CN115115552B - 图像矫正模型训练及图像矫正方法、装置和计算机设备 - Google Patents
图像矫正模型训练及图像矫正方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN115115552B CN115115552B CN202211025023.9A CN202211025023A CN115115552B CN 115115552 B CN115115552 B CN 115115552B CN 202211025023 A CN202211025023 A CN 202211025023A CN 115115552 B CN115115552 B CN 115115552B
- Authority
- CN
- China
- Prior art keywords
- image
- correction
- initial
- training
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 408
- 238000003702 image correction Methods 0.000 title claims abstract description 399
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012937 correction Methods 0.000 claims abstract description 414
- 238000004364 calculation method Methods 0.000 claims abstract description 63
- 238000004590 computer program Methods 0.000 claims abstract description 32
- 238000003709 image segmentation Methods 0.000 claims description 29
- 238000009432 framing Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像矫正模型训练方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括:获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息;将畸变图像输入到初始图像矫正模型中预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像;基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息;基于参数损失信息和图像损失信息进行迭代训练,得到目标图像矫正模型,目标图像矫正模型用于预测得到目标矫正参数信息,使用目标矫正参数信息进行图像矫正。采用本方法能够提高图像矫正的准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像矫正模型训练及图像矫正方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着图像处理技术的发展,出现了图像画面编辑技术,即可以通过图像画面编辑来对图像进行矫正,比如,可以通过对图像的饱和度、对比度、白平衡、色温、曝光等进行调整来实现对图像的矫正。目前,在进行图像矫正时,通常是通过计算图像画面的平均亮度、画面响应对比度、画面响应分布直方图等信息,然后利用平均信息与预设的标准信息进行对比,然后转化成画面的亮度调整参数、对比度调整参数等进行图像矫正。然而,计算通过平均信息与标准信息进行对比确定矫正参数的方法导致图像矫正的准确性低,效果差。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高图像矫正准确性的图像矫正模型训练及图像矫正方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种图像矫正模型训练方法。所述方法包括:
获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息;
将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像;
基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息;
基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型;
将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到目标图像矫正模型,目标图像矫正模型用于对输入图像进行矫正参数预测,得到目标矫正参数信息,目标矫正参数信息用于对输入图像进行图像矫正,得到目标矫正图像。
第二方面,本申请还提供了一种图像矫正模型训练装置。所述装置包括:
畸变模块,用于获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息;
初始矫正模块,用于将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像;
损失计算模块,用于基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息;
更新模块,用于基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型;
迭代模块,用于将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到目标图像矫正模型,目标图像矫正模型用于对输入图像进行矫正参数预测,得到目标矫正参数信息,目标矫正参数信息用于对输入图像进行图像矫正,得到目标矫正图像。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息;
将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像;
基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息;
基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型;
将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到目标图像矫正模型,目标图像矫正模型用于对输入图像进行矫正参数预测,得到目标矫正参数信息,目标矫正参数信息用于对输入图像进行图像矫正,得到目标矫正图像。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息;
将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像;
基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息;
基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型;
将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到目标图像矫正模型,目标图像矫正模型用于对输入图像进行矫正参数预测,得到目标矫正参数信息,目标矫正参数信息用于对输入图像进行图像矫正,得到目标矫正图像。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息;
将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像;
基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息;
基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型;
将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到目标图像矫正模型,目标图像矫正模型用于对输入图像进行矫正参数预测,得到目标矫正参数信息,目标矫正参数信息用于对输入图像进行图像矫正,得到目标矫正图像。
上述图像矫正模型训练方法、装置、计算机设备、存储介质和计算机程序产品,通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息;将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像;基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息;基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型;将更新图像矫正模型作为初始图像矫正模型,并进行循环迭代,直到达到训练完成条件时,得到目标图像矫正模型。即通过计算参数损失信息和图像损失信息来更新初始图像矫正模型并进行循环迭代,从而使训练得到的目标图像矫正模型更加准确。然后使用目标图像矫正模型预测得到目标矫正参数信息,提高了目标矫正参数信息的准确性,然后使用目标矫正参数信息对输入图像进行图像矫正,得到目标矫正图像,从而提高了得到的目标矫正图像的准确性。
第一方面,本申请提供了一种图像矫正方法。所述方法包括:
获取待矫正图像;
将待矫正图像输入到目标图像矫正模型中进行矫正参数预测,得到待矫正图像对应的矫正参数信息,目标图像矫正模型是通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像,基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息,基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型,将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时得到的;
使用矫正参数信息对待矫正图像进行图像矫正,得到目标矫正图像。
第二方面,本申请还提供了一种图像矫正装置。所述装置包括:
图像获取模块,用于获取待矫正图像;
参数预测模块,用于将待矫正图像输入到目标图像矫正模型中进行矫正参数预测,得到待矫正图像对应的矫正参数信息,目标图像矫正模型是通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像,基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息,基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型,将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时得到的;
图像矫正模块,用于使用矫正参数信息对待矫正图像进行图像矫正,得到目标矫正图像。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待矫正图像;
将待矫正图像输入到目标图像矫正模型中进行矫正参数预测,得到待矫正图像对应的矫正参数信息,目标图像矫正模型是通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像,基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息,基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型,将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时得到的;
使用矫正参数信息对待矫正图像进行图像矫正,得到目标矫正图像。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待矫正图像;
将待矫正图像输入到目标图像矫正模型中进行矫正参数预测,得到待矫正图像对应的矫正参数信息,目标图像矫正模型是通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像,基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息,基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型,将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时得到的;
使用矫正参数信息对待矫正图像进行图像矫正,得到目标矫正图像。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待矫正图像;
将待矫正图像输入到目标图像矫正模型中进行矫正参数预测,得到待矫正图像对应的矫正参数信息,目标图像矫正模型是通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像,基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息,基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型,将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时得到的;
使用矫正参数信息对待矫正图像进行图像矫正,得到目标矫正图像。
上述图像矫正方法、装置、计算机设备、存储介质和计算机程序产品,通过将待矫正图像输入到目标图像矫正模型中进行矫正参数预测,得到待矫正图像对应的矫正参数信息,目标图像矫正模型是通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像,基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息,基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型,将更新图像矫正模型作为初始图像矫正模型,并进行循环迭代,直到达到训练完成条件时得到的;使用矫正参数信息对待矫正图像进行图像矫正,得到目标矫正图像,从而提高了得到的目标矫正图像的准确性,即提高了图像矫正的准确性。
附图说明
图1为一个实施例中图像矫正模型训练方法的应用环境图;
图2为一个实施例中图像矫正模型训练方法的流程示意图;
图3为一个实施例中得到判别损失信息的流程示意图;
图4为一个实施例中得到初始图像判别网络的流程示意图;
图5为一个具体实施例中图像矫正模型的训练框架示意图;
图6为另一个具体实施例中图像矫正模型的训练框架示意图;
图7为一个实施例中图像矫正方法的流程示意图;
图8为一个具体实施例中对视频进行矫正的示意图;
图9为一个具体实施例中得到融合矫正图像的示意图;
图10为一个具体实施例中图像矫正方法的流程示意图;
图11为一个实施例中图像矫正模型训练装置的结构框图;
图12为一个实施例中图像矫正装置的结构框图;
图13为一个实施例中计算机设备的内部结构图;
图14为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的图像处理、视频处理等技术,具体通过如下实施例进行说明:
本申请实施例提供的图像矫正模型训练方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他服务器上。服务器104接收到终端102发送的模型训练指令,从数据存储系统中获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息;服务器104将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像;服务器104基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息;服务器104基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型;服务器104将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到目标图像矫正模型,目标图像矫正模型用于对输入图像进行矫正参数预测,得到目标矫正参数信息,目标矫正参数信息用于对输入图像进行图像矫正,得到目标矫正图像。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种图像矫正模型训练方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法,包括以下步骤:
步骤202,获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息。
其中,训练图像是指训练时使用的图像,该训练图像是正常图像。 畸变图像是指进行随机畸变后得到的图像,该畸变图像是需要矫正的图像,是负优化后得到的图像,可以是失真的图像。畸变参数信息是指对训练图像进行负向调整的参数信息,包括但不限于饱和度、对比度、白平衡、色温、曝光等负向调整参数。
具体地,服务器可以从数据库中获取训练图像,也可以从提供数据服务的服务器获取训练图像。服务器也可以获取到终端上传的训练图像。服务器也可以获取到业务方提供的训练图像。然后对训练图像进行负优化来得到训练图像对,包括正常的训练图像和负优化需要矫正的图像。服务器可以通过对训练图像进行随机数据畸变,得到畸变图像,并获取到在随机数据畸变时使用的畸变参数信息。
步骤204,将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像。
其中,初始图像矫正模型是指模型参数初始化的图像矫正模型,该图像矫正模型用于预测输入图像的矫正参数信息。模型参数初始化可以是随时初始化,为零初始化以及高斯分布初始化等。初始矫正参数信息是指使用初始化参数的初始图像矫正模型对畸变图像进行预测得到的矫正参数信息,该初始矫正参数信息与真实矫正参数信息存在误差,需要不断优化迭代。初始矫正图像是指使用初始矫正参数信息对畸变图像进行矫正得到的图像。
具体地,服务器使用神经网络来建立图像矫正模型的模型架构,并对模型的参数进行初始化,从而得到初始图像矫正模型。然后在对初始图像矫正模型进行训练。即将畸变图像作为初始图像矫正模型的输入,并使用初始图像矫正模型中的初始化参数来预测矫正参数,从而得到输出的初始矫正参数信息。然后使用初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像。
步骤206,基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息。
其中,参数损失信息用于表征预测得到的矫正参数信息与真实的矫正参数信息之间的误差,真实的矫正参数信息可以是使用畸变参数信息得到的。该参数损失信息越小,标识预测得到的矫正参数信息越准确。图像损失信息是指用于表征初始矫正图像与训练图像之间的误差,该图像损失信息越小,说明图像矫正的准确性越高,预测得到的矫正参数信息就越准确性。
具体地,服务器使用畸变参数信息来确定对应的矫正参数信息,将畸变参数信息对应的矫正参数信息作为训练时的标签。然后使用损失函数计算初始矫正参数信息与畸变参数信息对应的矫正参数信息之间的误差,得到参数损失信息,并使用损失函数计算初始矫正图像与训练图像之间的误差,得到图像损失信息。其中,损失函数可以是回归损失函数。比如,可以是距离损失函数、绝对值损失函数等等。
步骤208,基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型。
其中,更新图像矫正模型是指模型参数更新后的图像矫正模型。
具体地,服务器使用梯度下降算法通过参数损失信息和图像损失信息来计算梯度信息,使用梯度信息反向更新初始图像矫正模型中的初始化参数,当更新完成时,得到更新图像矫正模型。
步骤210,将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到目标图像矫正模型,目标图像矫正模型用于对输入图像进行矫正参数预测,得到目标矫正参数信息,目标矫正参数信息用于对输入图像进行图像矫正,得到目标矫正图像。
其中,训练完成条件是指训练得到目标图像矫正模型的条件,包括但不限于训练损失信息达到预设阈值或者训练迭代次数达到最大迭代次数或者模型参数不再发生变化等。目标图像矫正模型是指训练完成的图像矫正模型。输入图像是指需要进行矫正的图像,该矫正是指对图像进行画面编辑调节。目标矫正参数信息是指输入图像对应的矫正参数信息,不同的图像有不同的目标矫正参数信息。目标矫正图像是指输入图像矫正后得到的图像。
具体地,服务器判断是否达到训练完成条件时,比如,可以判断参数损失信息和图像损失信息是否达到预设损失阈值或者判断训练迭代次数是否达到最大迭代次数或者判断模型参数是否多次迭代未发生变化。当未达到训练完成条件时,服务器可以将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到目标图像矫正模型。服务器可以使用目标图像矫正模型对输入图像进行矫正参数预测,得到目标矫正参数信息,然后使用目标矫正参数信息对输入图像进行图像矫正,得到目标矫正图像。
上述图像矫正模型训练方法,通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息;将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像;基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息;基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型;将更新图像矫正模型作为初始图像矫正模型,并进行循环迭代,直到达到训练完成条件时,得到目标图像矫正模型。即通过计算参数损失信息和图像损失信息来更新初始图像矫正模型并进行循环迭代,从而使训练得到的目标图像矫正模型更加准确。然后使用目标图像矫正模型预测得到目标矫正参数信息,提高了目标矫正参数信息的准确性,然后使用目标矫正参数信息对输入图像进行图像矫正,得到目标矫正图像,从而提高了得到的目标矫正图像的准确性。
在一个实施例中,如图3所示,在步骤204之后,即在将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像之后,还包括:
步骤302,通过初始图像矫正模型将初始矫正图像进行图像分类判别,得到矫正图像分类判别结果;
步骤304,通过初始图像矫正模型将训练图像进行图像分类判别,得到训练图像分类判别结果;
步骤306,计算矫正图像分类判别结果与训练图像分类判别结果之间的误差,得到判别损失信息。
其中,图像分类判别用于进行图像二分类的判断识别,该图像二分类包括图像为正常类别图像和图像为欠佳类别图像。欠佳类别图像是指需要进行矫正的图像。判别损失信息用于表征图像分类判别的误差,判别损失信息表征的误差越小,说明无法准确的进行图像分类判别,即说明图像矫正模型输出的矫正图像和真实的正常图像越接近。矫正图像分类判别结果是指初始矫正图像进行图像二分类判断识别的结果,即识别得到初始矫正图像是否为正常类别图像或者欠佳类别图像。训练图像分类判别结果是指训练图像进行图像二分类判断识别的结果,即识别训练图像是否为正常类别图像或者欠佳类别图像。
具体地,服务器可以通过初始图像矫正模型进行图像分类判别。即可以先对初始矫正图像使用初始化的图像分类判别参数进行图像分类判别,得到矫正图像分类判别结果,该矫正图像分类判别结果可以包括初始矫正图像为正常类别图像的概率或者初始矫正图像为欠佳类别图像的概率。然后可以对训练图像使用初始化的图像分类判别参数进行图像分类判别,得到训练图像分类判别结果,该训练图像分类判别结果可以包括训练图像为正常类别图像的概率或者训练图像为欠佳类别图像的概率。然后服务器使用分类损失函数计算矫正图像分类判别结果与训练图像分类判别结果之间的误差,得到判别损失信息,其中,分类损失函数可以是交叉熵损失函数。
步骤208,即基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型,包括步骤:
基于判别损失信息、参数损失信息和图像损失信息反向更新初始图像矫正模型,得到目标更新图像矫正模型。
其中,目标更新图像矫正模型是指更新了初始化图像分类判别参数和初始化的图像矫正参数的图像矫正模型。
具体地,服务器计算判别损失信息、参数损失信息和图像损失信息的损失信息总和,然后使用损失信息总和来反向更新初始图像矫正模型中的初始化参数,包括初始化的图像分类判别参数和初始化的图像矫正参数,从而得到目标更新图像矫正模型。
在一个具体的实施例中,服务器可以使用如下所示的公式(1)计算得到判别损失信息。
在上述实施例中,通过图像分类判别得到矫正图像分类判别结果和训练图像分类判别结果,然后计算矫正图像分类判别结果与训练图像分类判别结果之间的误差,得到判别损失信息。最后使用判别损失信息、参数损失信息和图像损失信息来训练初始图像矫正模型,从而能够提高训练的准确性。
在一个实施例中,步骤302,通过初始图像矫正模型将初始矫正图像进行图像分类判别,得到矫正图像分类判别结果,包括步骤:
获取初始图像矫正模型对应的当前模型损失信息;当检测当前模型损失信息达到预设判别条件时,通过初始图像矫正模型将初始矫正图像进行图像分类判别,得到矫正图像分类判别结。
其中,当前模型损失信息是指当前获取到训练的模型对应的损失信息,该损失信息包括参数损失信息和图像损失信息。预设判别条件是指预先设置好的开始进行判别训练的条件,可以是当前模型损失信息达到预先设置好的损失阈值。
具体地,服务器获取到当前的初始图像矫正模型对应的参数损失信息和图像损失信息,然后计算参数损失信息和图像损失信息的损失信息总和,得到当前模型损失信息。然后将当前模型损失信息与预设判别条件进行比较,比如,将当前模型损失信息与预先设置好的损失阈值进行比较。当当前模型损失信息未达到预设判别条件时,继续进行正常的迭代训练。当当前模型损失信息达到预设判别条件时,说明需要开始进行判别训练。此时,服务器通过初始图像矫正模型将初始矫正图像进行图像分类判别,得到矫正图像分类判别结,并将训练图像进行图像分类判别,得到训练图像分类判别结果。
在一个实施例中,服务器也可以检测到训练达到预设的判别迭代次数阈值时,说明符合判别条件,此时通过初始图像矫正模型将初始矫正图像进行图像分类判别,得到矫正图像分类判别结果,并通过初始图像矫正模型将训练图像进行图像分类判别,得到训练图像分类判别结果。
在上述实施例中,当检测当前模型损失信息达到预设判别条件时,开始进行判别训练,即通过初始图像矫正模型将初始矫正图像进行图像分类判别,得到矫正图像分类判别结,并将训练图像进行图像分类判别,得到训练图像分类判别结果。从而能够在提高训练效率的基础上进一步提高训练的准确性。
在一个实施例中,初始图像矫正模型包括初始矫正参数预测网络;
步骤204,即将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像,包括步骤:
将畸变图像输入到初始矫正参数预测网络进行矫正参数预测,得到初始矫正参数信息;将使用初始矫正参数信息对畸变图像进行加权,得到初始矫正图像。
其中,初始矫正参数预测网络是指网络参数初始化的神经网络,该神经网络用于对图像矫正参数进行预测,该神经网络可以是卷积神经网络、前馈神经网络、循环神经网络等等。
具体地,服务器将畸变图像输入到初始图像矫正模型中,该初始图像矫正模型将畸变图像输入到初始矫正参数预测网络中,初始矫正参数预测网络对畸变图像进行矫正参数预测,得到输出的初始矫正参数信息。该初始矫正参数信息中可以包括各个不同类型的矫正参数,比如,可以包括饱和度初始调整参数、对比度初始调整参数、白平衡初始调整参数、色温初始调整参数、曝光度初始调整参数等。然后使用初始矫正参数信息对畸变图像进行加权,即使用各个不同类型的矫正参数对畸变图像进行调整,得到调整后的图像,即得到初始矫正图像。比如,可以使用饱和度初始调整参数对畸变图像的饱和度进行调整,然后再使用对比度初始调整参数对畸变图像的对比度进行调整,使用白平衡初始调整参数对畸变图像的白平衡进行调整,使用色温初始调整参数对畸变图像的色温进行调整,使用曝光度初始调整参数对畸变图像的曝光度进行调整,调整完成后,得到初始矫正图像。
上述实施例中,通过使用初始矫正参数预测网络来进行矫正参数预测,并使用将使用初始矫正参数信息对畸变图像进行加权,得到初始矫正图像,从而能够提高得到的初始矫正图像的准确性。
在一个实施例中,初始图像矫正模型还包括初始图像判别网络;
在将使用初始矫正参数信息对畸变图像进行加权,得到初始矫正图像之后,还包括步骤:
将初始矫正图像输入到图像判别网络中进行图像分类判别,得到矫正图像分类判别结果;将训练图像输入到图像判别网络中进行图像分类判别,得到训练图像分类判别结果。
其中,初始图像判别网络是用于对图像进行分类判别的神经网络,该神经网络可以是卷积神经网络、前馈神经网络、循环神经网络等等。在初始图像矫正模型的训练过程中当初始图像判别网络失去判断能力时,说明初始图像矫正模型达到训练完成条件了。
具体地,服务器在训练过程中,在得到初始矫正图像之后,可以进行图像分类判别,即将初始矫正图像输入到图像判别网络中进行图像分类判别,得到矫正图像分类判别结果,并将训练图像输入到图像判别网络中进行图像分类判别,得到训练图像分类判别结果。
步骤208,基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型,包括步骤:
计算矫正图像分类判别结果与训练图像分类判别结果之间的误差,得到判别损失信息;基于判别损失信息、参数损失信息和图像损失信息反向更新初始图像矫正模型中的初始矫正参数预测网络和初始图像判别网络,得到目标更新图像矫正模型。
具体地,服务器可以使用交叉熵损失函数计算矫正图像分类判别结果与训练图像分类判别结果之间的误差,得到判别损失信息,然后计算于判别损失信息、参数损失信息和图像损失信息的损失信息总和,使用损失信息总和反向更新初始图像矫正模型中的初始矫正参数预测网络和初始图像判别网络,得到更新后的初始图像矫正模型,即得到目标更新图像矫正模型,然后可以将目标更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于所述训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到最终训练得到的图像矫正模型。
在上述实施例中,通过在初始图像矫正模型中增加初始图像判别网络,进一步使用初始图像判别网络进行图像分类判别,得到判别损失信息,然后使用判别损失信息、参数损失信息和图像损失信息反向更新初始图像矫正模型中的初始矫正参数预测网络和初始图像判别网络,得到目标更新图像矫正模型,从而能够使得到的目标更新图像矫正模型更加准确,进而使最终训练得到的图像矫正模型更加准确,从而能够提高图像矫正的准确性。
在一个实施例中,如图4所示,初始图像判别网络的预训练包括以下步骤:
步骤402,获取预训练图像以及图像分类判别标签。
其中,预训练图像是指对图像判别网络进行预训练时使用的图像,该预训练图像可以是正常类别图像,也可以是欠佳类别图像。图像分类判别标签是指预训练图像对应的图像类别标签,即是在预训练时使用的图像类别标签。该图像类别包括正常类别图像和欠佳类别图像。
具体地,服务器可以直接从数据库中获取到预训练图像和对应的图像分类判别标签。服务器也可以是从提供数据服务的服务方获取到预训练图像以及图像分类判别标签。服务器也可以获取到终端上传的预训练图像以及图像分类判别标签。服务器还可以是从业务方获取到预训练图像,然后获取到预训练图像对应的图像分类判别标签。
步骤404,将预训练图像输入到待训练图像判别网络中进行图像判别,得到预训练图像分类判别结果。
其中,待训练图像判别网络是指需要进行预训练的图像判别网络,该待训练图像判别网络中包括有待训练的网络参数,该带训练的网络参数可以是为零初始化得到的,也可以是随机初始化得到的,也可以是高斯分布初始化得到的。预训练图像分类判别结果用于表征预训练图像对应的图像类别,可以包括正常类别图像和欠佳类别图像,该预训练图像分类判别结果可以是类别概率来表示,类别概率越高,预训练图像为对应图像类别的可能性就越高。
具体地,服务器将训练图像作为待训练图像判别网络的输入对待训练图像判别网络进行训练,得到输出的预训练图像分类判别结果。
步骤406,基于预训练图像分类判别结果和图像分类判别标签进行损失计算,得到预训练损失信息。
其中,预训练损失信息用于表征预训练时预训练图像分类判别结果与对应的图像分类判别标签之间的误差。
具体地,服务器使用分类损失函数计算预训练图像分类判别结果和图像分类判别标签之间的误差,得到预训练损失信息。其中,分类损失函数可以是交叉熵损失函数或者是对数损失函数或者是指数损失函数或者是平方损失函数。
步骤408,基于预训练损失信息反向更新待训练图像判别网络,得到更新图像判别网络,将更新图像判别网络作为待训练图像判别网络,并返回获取预训练图像以及图像分类判别标签的步骤迭代执行,直到达到预训练完成条件时,得到初始图像判别网络。
其中,预训练完成条件是指训练完成待训练图像判别网络的条件,可以是预训练损失信息达到预先设置好的损失阈值或者预训练的迭代次数达到迭代次数上限或者网络参数不再发送变化等等。
具体地,服务器先判断是否达到预训练完成条件,比如,可以比较预训练损失信息和预先设置好的损失阈值,当预训练损失信息超过预先设置好的损失阈值时,说明训练未达到预训练完成条件。当未达到预训练完成条件时,服务器使用梯度下降算法通过预训练损失信息反向更新待训练图像判别网络中的网络参数。该梯度下降算法可以是全梯度下降算法或者随机梯度下降算法或者随机平均梯度下降算法或者小批量梯度下降算法等。当网络参数更新完成时,得到更新图像判别网络。然后将更新图像判别网络作为待训练图像判别网络,并返回获取预训练图像以及图像分类判别标签的步骤迭代执行,直到达到预训练完成条件时,将达到预训练完成条件时的图像判别网络作为初始图像判别网络。
在上述实施例中,通过预训练来得到初始图像判别网络,然后使用初始图像判别网络来训练图像矫正模型,能够提高图像矫正模型的训练效率。
在一个具体的实施例中,如图5所示,提供一种图像矫正模型的训练框架示意图,具体来说:服务器获取到畸变图像 作为初始图像矫正模型的输入,初始图像矫正模型中通过参数预测网络NetP来进行图像矫正参数的预测,得到初始图像矫正参数r[r1,r2,r3,…],其中,r1为对比度调整参数,r2为曝光调节参数,r3为饱和度调节参数,参数预测网络NetP的网络结构可以根据需求设置,也可以是VGG(Visual Geometry Group,一种深层卷积网络结构)、Unet(由一个编码器和解码器组成的深度神经网络结构)、MobileNet(一种轻量级的深层神经网络)等经典的网络结构。然后使用初始图像矫正参数对畸变图像进行图像矫正,即通过图像编辑基础能力库中的对比度调整算法C使用对比度调整参数r1对畸变图像的对比度进行调整。通过图像编辑基础能力库中的曝光调节算法E使用曝光调整参数r2对畸变图像的曝光进行调整。通过图像编辑基础能力库中的饱和度调节算法S使用饱和度调参数r3对畸变图像的对比度进行调整,以及使用其它图像矫正参数对畸变图像进行矫正,当图像矫正完成后,输出矫正后的图像。然后再通过图像分类判别网络NetD(简写为D)来进行图像分类判别,即将矫正后的图像输入到图像分类判别网络NetD中进行图像分类判别,得到矫正图像分类判别结果,并将畸变图像对应的训练图像输入到图像分类判别网络NetD中进行图像分类判别,得到训练图像分类判别结果,然后计算矫正图像分类判别结果与训练图像分类判别结果之间的误差,可以是使用公式(1)计算得到判别损失信息。然后再计算得到参数损失信息和图像损失信息,使用判别损失信息、参数损失信息和图像损失信息更新初始图像矫正模型中的参数预测网络和图像分类判别网络,得到更新图像矫正模型。并将更新图像矫正模型作为初始图像矫正模型并进行循环迭代,直到达到训练完成条件时,将达到训练完成条件时图像矫正模型作为训练得到的目标图像矫正模型。在一个实施例中,也可以只使用图像损失信息来反向更新初始图像矫正模型,得到更新图像矫正模型,可以提高模型的训练效率。
在一个实施例中,步骤202,获取训练图像,包括步骤:
获取目标图像,将目标图像输入到目标图像分割模型中进行图像分割识别,得到蒙版图像;基于蒙版图像进行蒙版区域划分,得到各个图像区域;将各个图像区域分别作为训练图像。
其中,目标图像是指需要进行图像分割的图像,该目标图像不同的局部区域需要不同的矫正参数进行调整。蒙版图像是指通过图像分割得到的mask(蒙版)图像,该蒙版图像中标识了不同的局部区域,比如,图像中的不同人的区域用不同的像素值表示,同一人的区域使用相同的像素值表示,得到蒙版图像。图像区域是指目标图像中的区域,不同的图像区域可以是不同的图像内容,比如,不同的物体、人物、场景等等。
具体地,服务器获取目标图像,将目标图像输入到目标图像分割模型中进行图像分割识别,得到蒙版图像。然后基于蒙版图像将不同的蒙版区域进行分割,得到各个图像区域,将各个图像区域分别作为训练图像。即通过将目标图像进行分割,使用各个图像区域分别作为训练图像,可以使训练得到的图像矫正模型能够对目标图像中的不同图像区域对应的矫正参数进行预测,从而使图像矫正更加的灵活,极大的保证了图像局部区域的独特性。
在一个具体的实施例中,如图6所示,提供一种图像矫正模型的训练框架示意图,具体来说:服务器可以在图5所示的训练框架的基础上增加图像分割模型NetS。即先将畸变图像输入到图像分割模型中进行场景分割,识别出图像中的人、物体、动物等所在的区域,得到蒙版图像PM,然后根据蒙版图像将不同的图像区域进行分割,得到各个图像区域,然后将各个图像区域依次作为训练图像,并输入到图5所示的训练框架中进行后续的训练,当训练完成时,得到能够预先图像局部区域矫正参数的图像矫正模型。
在一个实施例中,步骤202,获取训练图像,包括步骤:
获取训练视频,将训练视频进行分帧,得到各个视频帧;将各个视频帧分别作为训练图像。
其中,训练视频是指在进行图像矫正模型训练时使用的视频。
具体地,服务器也可以从数据库中获取到训练视频,或者也可以从终端获取到上传的训练视频,或者也可以从提供数据服务的服务方获取到训练视频。然后将训练视频进行分帧,其中,可以按照预先设置好的帧间隔或者采集数量或者时间进行分帧,得到各个视频帧。服务器将各个视频帧依次作为训练图像来对初始图像矫正模型进行训练,从而使训练得到的目标图像矫正模型能够准确地对视频画面进行编辑矫正。在一个实施例中,服务器可以提取训练视频中的关键帧,将关键帧作为训练图像。
在上述实施例中,通过将训练视频进行分帧,得到各个视频帧,将各个视频帧分别作为训练图像来训练初始图像矫正模型,得到目标图像矫正模型,从而能够使目标图像矫正模型对视频进行矫正,拓展了应用场景,提高了适用性。
在一个实施例中,步骤202,即基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,包括步骤:
随机生成畸变参数信息;使用畸变参数信息对训练图像进行调整,得到畸变图像。
其中,畸变参数信息是指将训练图像调整为畸变图像的参数,即使用畸变参数信息对训练图像进行调整可以产生不符合正常分布的图像,即得到畸变图像。然后可以根据畸变参数信息可以确定对应的矫正参数信息。
具体地,服务器可以随机来生成对应的畸变参数信息,可以随机生成饱和度、对比度、白平衡、色温、曝光等参数,然后对训练图像的对应的调整。比如,随机生成对比度参数为0.2,则可以对训练图像的对比度使用对比度参数0.2进行加权计算,得到调整对比度后的训练图像,即得到畸变图像。又比如,随机生成曝光参数为0.2,则可以使用曝光调整算法通过曝光参数0.2对训练图像的曝光程度进行调整,得到调整曝光后的训练图像,即得到畸变图像,其中,曝光调整算法可以是,E表示调整曝光后的训练图像,x表示训练图像,r1表示曝光参数为0.2。
在上述实施例中,通过随机生成畸变参数信息,对训练图像进行调整,得到畸变图像,从而可以提高得到训练数据的效率,节省获取数据的成本。
在一个实施例中,步骤206,计算初始矫正参数信息和畸变参数信息之间的参数损失信息,并计算训练图像与初始矫正图像之间的图像损失信息,包括:
基于畸变参数信息进行矫正参数计算,得到矫正参数信息;计算矫正参数信息与初始矫正参数信息之间的误差,得到参数损失信息;计算训练图像与初始矫正图像之间的误差,得到图像损失信息。
其中,矫正参数信息是指用于将畸变图像还原为正常图像的参数信息,通过矫正参数信息可以将不符合正常分布的图像调整为正常分布的图像。
具体地,服务器使用畸变参数信息可以进行反向计算,得到矫正参数信息。比如,可以通过对比度的畸变参数信息进行矫正参数计算,得到对比度的矫正参数信息。然后使用预设损失函数计算矫正参数信息与初始矫正参数信息之间的误差,得到参数损失信息,并使用预设损失函数计算训练图像与初始矫正图像之间的误差,得到图像损失信息。
在一个具体的实施例中,可以使用如下公式(2)计算得到参数损失信息。
其中,Loss1表示参数损失信息,是指矫正参数信息,是根据畸变参数得到的。是指初始矫正参数信息,即预测得到的矫正参数信息。p可以设置为1或者2.当p为1时表示计算绝对值损失,当p为2时表示计算距离损失,该距离损失可以是欧式距离损失。还可以使用如下所示的公式(3)计算得到图像损失信息。
其中,Loss2表示图像损失信息,是指矫正图像,是指训练图像。p可以设置为1或者2.当p为1时表示计算绝对值损失,当p为2时表示计算距离损失,该距离损失可以是欧式距离损失。最后使用如下所示的公式(4)计算得到模型损失信息。
其中,Loss表示最终计算得到的模型损失信息。使用模型损失信息对要训练的初始图像矫正模型进行参数更新并不断进行循环迭代,当达到训练完成条件时,得到目标图像矫正模型。
在上述实施例中,通过计算参数损失信息和图像损失信息,最终得到模型损失信息,从而能够提高得到的模型损失信息的准确性。
在一个实施例中,如图7所示,提供了一种图像矫正模型训练方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法,包括以下步骤:
步骤702,获取待矫正图像。
其中,待矫正图像是指需要进行矫正的图像,比如,可以是失真图像,可以是发生了畸变的图像,也可以是图像采集装置采集的图像,也可以是存在运动模糊的图像。
具体地,服务器可以是从数据库中获取到待矫正图像,也可以是从业务服务方获取到待矫正图像,也可以获取到终端通过图像采集装置采集的图像,该图像采集装置可以是摄像头。
步骤706,将待矫正图像输入到目标图像矫正模型中进行矫正参数预测,得到待矫正图像对应的矫正参数信息,目标图像矫正模型是通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像,基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息,基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型,将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时得到的。
其中,目标图像矫正模型是用于进行图像矫正的深度神经网络模型。该目标图像矫正模型可以是通过上述图像矫正模型训练方法中任意一实施例进行训练得到的。待矫正图像对应的矫正参数信息是指对待矫正图像进行矫正时使用的调整参数,可以包括饱和度、对比度、白平衡、色温、曝光等调整参数。
具体地,服务器预先使用深度神经网络来建立图像矫正模型,并使用图像矫正模型训练方法进行训练得到目标图像矫正模型,然后将目标图像矫正模型进行部署。当需要进行图像矫正时,服务器调用部署的目标图像矫正模型,将待矫正图像输入到目标图像矫正模型中进行图像矫正参数预测,得到待矫正图像对应的矫正参数信息。
步骤708,使用矫正参数信息对待矫正图像进行图像矫正,得到目标矫正图像。
其中,目标矫正图像是指矫正后得到的图像,该目标矫正图像的图像分布是正常的,即是没有发生失真或者畸变的图像。
具体地,服务器从矫正参数信息确定具体要使用的矫正参数,然后使用对应的矫正算法通过该矫正参数对图像进行矫正,当所有的矫正参选都对图像进行矫正后,得到目标矫正图像。在一个实施例中,得到目标矫正图像后,可以通过画质增强算法对目标矫正图像进行画质增强。
上述图像矫正方法,通过将待矫正图像输入到目标图像矫正模型中进行矫正参数预测,得到待矫正图像对应的矫正参数信息,目标图像矫正模型是通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像,基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息,基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型,将更新图像矫正模型作为初始图像矫正模型,并进行循环迭代,直到达到训练完成条件时得到的;使用矫正参数信息对待矫正图像进行图像矫正,得到目标矫正图像,从而提高了得到的目标矫正图像的准确性,即提高了图像矫正的准确性。
在一个实施例中,步骤702,获取待矫正图像,包括:
获取待矫正视频,将待矫正视频进行分帧,得到各个视频帧,将各个视频帧分别作为待矫正图像。
其中,待矫正视频是指需要进行矫正的视频。
具体地,服务器可以获取到数据库中存储的待矫正视频,服务器也可以获取到终端通过采集装置采集的待矫正视频。服务器也可以是从业务服务方获取到待矫正视频。然后服务器将待矫正视频进行分帧,得到各个视频帧,然后依次对每个视频帧进行矫正。即将各个视频帧分布作为待矫正图像。在一个实施例中,可以提取关键视频帧作为待矫正图像。
在步骤706之后,在使用矫正参数信息对待矫正图像进行图像矫正,得到目标矫正图像之后,还包括步骤:
获取各个视频帧对应的目标矫正图像,并将各个视频帧对应的目标矫正图像进行合并,得到目标矫正视频。
其中,目标矫正视频是指矫正后的视频。
具体地,服务器按照各个视频帧的前后顺序依次对各个视频帧对应的目标矫正图像进行合并,得到目标矫正视频,其中,可以是将目标矫正图像依次进行拼接,得到目标矫正视频。
在一个具体的实施例中,如图8所示,为对视频进行矫正的示意图,具体来说:服务器获取到待矫正视频,将待矫正视频拆分为各个视频帧,然后将各个视频帧依次输入到目标图像矫正模型中进行矫正参数预测,得到输出的矫正参数信息,可以包括对比度矫正参数、曝光矫正参数、饱和度矫正参数等等。然后通过基础能力库中调用对应的矫正算法来进行图像矫正,其中,可以使用对比度调整算法C通过对比度矫正参数对视频帧的对比度进行调整,可以使用曝光调节算法E通过曝光矫正参数对视频帧的曝光进行调整,可以使用饱和度调节算法S通过饱和度矫正参数对视频帧的饱和度进行调整,还可以使用其它响应的矫正算法来对图像进行矫正。最终得到各个目标矫正图像,然后将各个目标矫正图像进行合并,得到目标矫正视频。
在上述实施例中,通过将待矫正视频进行分帧,得到各个视频帧,然后对各个视频帧进行图像矫正,得到各个目标矫正图像,并将各个视频帧对应的目标矫正图像进行合并,得到目标矫正视频,从而能够提高视频矫正的准确性。
在一个实施例中,步骤702,获取待矫正图像,包括:
获取目标待矫正图像,将目标待矫正图像输入到目标图像分割模型中进行图像分割识别,得到蒙版图像;基于蒙版图像进行蒙版区域划分,得到各个图像区域;将各个图像区域分别作为待矫正图像。
其中,目标待矫正图像是指需要对不同的局部区域进行不同矫正的图像,比如,人物场景图像需要对图像中人物区域和背景区域进行不同矫正。蒙版图像是指该目标待矫正图像进行图像分割识别后得到的mask图像,比如,人物场景图像对应的蒙版图像中人物区域像素为1,背景区域像素为0。目标图像分割模型用于对输入的图像进行分割识别,可以是对图像中的人物进行分割识别,也可以是对图像的物体进行分割识别。
具体地,服务器可以从数据库或者业务服务方获取到目标待矫正图像,也可以获取到终端上传的目标待矫正图像。然后服务器将目标待矫正图像输入到目标图像分割模型中进行图像分割识别,得到蒙版图像,然后根据该蒙版图像对目标待矫正图像进行划分,得到各个图像区域。
在步骤706之后,在使用矫正参数信息对待矫正图像进行图像矫正,得到目标矫正图像之后,还包括步骤:
获取各个图像区域对应的目标矫正图像,将各个图像区域对应的目标矫正图像按照蒙版图像进行融合,得到融合矫正图像。
其中,融合矫正图像是指将各个不同的图像区域进行图像矫正后得到的图像。
具体地,服务器将各个图像区域对应的目标矫正图像按照蒙版图像的区域划分进行融合,将目标待矫正图像中各个局部图像区域替换为目标矫正图像,得到融合矫正图像。在一个实施例中,也可以从各个图像区域中按照预先设置好的规则选取目标图像区域作为待矫正图像,其它图像区域不做图像矫正,比如,可以只对人物图像区域进行图像矫正,其它图像区域保持原状,然后将人图像区域替换为矫正后的图像,其它图像区域保持不变,得到矫正后的人物图像。
在一个具体的实施例中,如图9所示,为得到融合矫正图像的示意图,具体来说:服务器获取到目标待矫正图像,将目标待矫正图像输入到目标图像分割模型中进行图像分割识别,得到蒙版图像,按照蒙版图像对目标待矫正图像进行区域划分,得到各个图像区域,然后将各个图像区域依次输入到目标图像矫正模型中进行矫正参数预测,得到输出的矫正参数信息,可以包括对比度矫正参数、曝光矫正参数、饱和度矫正参数等等。然后通过基础能力库中调用对应的矫正算法来进行图像矫正,其中,可以使用对比度调整算法C通过对比度矫正参数对图像区域的对比度进行调整,可以使用曝光调节算法E通过曝光矫正参数对图像区域的曝光进行调整,可以使用饱和度调节算法S通过饱和度矫正参数对图像区域的饱和度进行调整,还可以使用其它响应的矫正算法来对图像区域进行矫正。最终得到各个图像区域对应的目标矫正图像,将各个图像区域对应的目标矫正图像按照蒙版图像进行融合,得到融合矫正图像。
在上述实施例中,通过目标图像分割模型中进行图像识别分割,得到各个图像区域,然后对各个图像区域使用目标图像矫正模型进行图像矫正,得到对应的目标矫正图像,最后将各个图像区域对应的目标矫正图像按照蒙版图像进行融合,得到融合矫正图像,从而能够提高图像矫正的灵活性。
在一个具体的实施例中,如图10所示,提供一种图像矫正方法,具体包括以下步骤:
步骤1002,获取训练图像,随机生成畸变参数信息,使用畸变参数信息对训练图像进行调整,得到畸变图像,并基于畸变参数信息进行矫正参数计算,得到矫正参数信息。
步骤1004,将畸变图像输入到初始图像矫正模型的初始矫正参数预测网络中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像。
步骤1006,判断是否达到预设判别条件,当达到判别条件时,通过初始图像矫正模型的初始图像判别网络将初始矫正图像进行图像分类判别,得到矫正图像分类判别结果,并将训练图像进行图像分类判别,得到训练图像分类判别结果。
步骤1008,计算矫正图像分类判别结果与训练图像分类判别结果之间的误差,得到判别损失信息;基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息。
步骤1010,基于判别损失信息、参数损失信息和图像损失信息反向更新初始图像矫正模型中的初始矫正参数预测网络和初始图像判别网络,得到目标更新图像矫正模型。其中,当未达到判别条件时,使用参数损失信息和图像损失信息反向更新初始图像矫正模型中的初始矫正参数预测网络,直到达到预设判别条件。
步骤1012,将目标更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到目标图像矫正模型。
步骤1014,获取待矫正图像,将待矫正图像输入到目标图像矫正模型中进行矫正参数预测,得到待矫正图像对应的矫正参数信息,使用矫正参数信息对待矫正图像进行图像矫正,得到目标矫正图像。
在一个具体的实施例中,应用在图像分享平台中,具体来说:使用者通过终端登录到图像分享平台中。当需要进行图像分享时,图像分享平台启动终端中的摄像装置来采集图像。该采集的图像是需要矫正的图像。此时,图像分享平台将采集的图像输入到目标图像矫正模型中,得到目标矫正参数信息,通过目标矫正参数信息对采集的图像进行图像矫正,即对采集图像的饱和度、对比度、白平衡、色温、曝光等进行调整,得到调整后的图像,即矫正图像。然后将矫正图像通过终端展示给使用者,可以节省使用者调整的时间和精力,增加使用者粘性。此时使用者可以进一步对矫正图像进行图像增强,然后最终要分享的图像。此时图像分享平台通过终端接收到将最终要分享的图像进行分享的操作指令时,将要分享的图像发送到各个图像分享展示页面进行展示,该使用者的好友可以通过图像分享平台中的图像分享展示页面来查看该图像,从而能够提高分享图像的效果,避免出现失真、模糊、畸变等问题。
在一个具体的实施例中,应用在视频分享平台中,具体来说:使用者通过终端登录到视频分享平台中。当需要进行视频分享时,视频分享平台启动终端中的摄像装置来采集视频。该采集的视频是需要矫正的视频。此时,视频像分享平台将采集的视频进行分帧,得到各个视频帧,然后从各个视频帧中提取到各个关键视频帧,将各个关键视频帧依次输入到目标图像矫正模型中,得到每个关键视频帧对应的目标矫正参数信息,通过目标矫正参数信息对采集的关键视频帧进行图像矫正,即对关键视频帧的饱和度、对比度、白平衡、色温、曝光等进行调整,得到调整后的关键视频帧,然后可以使用每个关键视频帧对应的目标矫正参数信息对关键视频帧之间的视频帧进行矫正,比如,可以是对每个关键视频帧的预设范围内的视频帧进行矫正。最终将所有的视频帧都进行矫正,得到每个视频帧对应的目标矫正图像,然后将每个视频帧对应的目标矫正图像进行合并,得到矫正视频。然后将矫正视频通过终端展示给使用者,可以节省使用者调整的时间和精力,增加使用者粘性。此时视频分享平台通过终端接收到将最终要分享的矫正视频进行分享的操作指令时,将要分享的矫正视频发送到各个视频分享页面进行展示,该使用者的好友可以通过视频分享平台中的视频分享页面来查看该矫正视频。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像矫正模型训练方法的图像矫正模型训练装置或者图像矫正方法的图像矫正装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像矫正模型训练装置实施例或者图像矫正装置实施例中的具体限定可以参见上文中对于图像矫正模型训练方法或者图像矫正方法的限定,在此不再赘述。
在一个实施例中,如图11所示,提供了一种图像矫正模型训练装置1100,包括:畸变模块1102、初始矫正模块1104、更新模块1108和迭代模块1110,其中:
畸变模块1102,用于获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息;
初始矫正模块1104,用于将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像;
损失计算模块1106,用于基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息;
更新模块1108,用于基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型;
迭代模块1110,用于将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到目标图像矫正模型,目标图像矫正模型用于对输入图像进行矫正参数预测,得到目标矫正参数信息,目标矫正参数信息用于对输入图像进行图像矫正,得到目标矫正图像。
在一个实施例中,图像矫正模型训练装置1100,还包括:
判别模块,用于通过初始图像矫正模型将初始矫正图像进行图像分类判别,得到矫正图像分类判别结果;通过初始图像矫正模型将训练图像进行图像分类判别,得到训练图像分类判别结果;计算矫正图像分类判别结果与训练图像分类判别结果之间的误差,得到判别损失信息;
更新模块1108还用于基于判别损失信息、参数损失信息和图像损失信息反向更新初始图像矫正模型,得到目标更新图像矫正模型。
在一个实施例中,判别模块还用于获取初始图像矫正模型对应的当前模型损失信息;当检测当前模型损失信息达到预设判别条件时,通过初始图像矫正模型将初始矫正图像进行图像分类判别,得到矫正图像分类判别结。
在一个实施例中,初始图像矫正模型包括初始矫正参数预测网络;
初始矫正模块1104还用于将畸变图像输入到初始矫正参数预测网络进行矫正参数预测,得到初始矫正参数信息;将使用初始矫正参数信息对畸变图像进行加权,得到初始矫正图像。
在一个实施例中,初始图像矫正模型还包括初始图像判别网络;
图像矫正模型训练装置1100,还包括:
网络判别模块,用于将初始矫正图像输入到图像判别网络中进行图像分类判别,得到矫正图像分类判别结果;将训练图像输入到图像判别网络中进行图像分类判别,得到训练图像分类判别结果;
更新模块1108还用于计算矫正图像分类判别结果与训练图像分类判别结果之间的误差,得到判别损失信息;基于判别损失信息、参数损失信息和图像损失信息反向更新初始图像矫正模型中的初始矫正参数预测网络和初始图像判别网络,得到目标更新图像矫正模型。
在一个实施例中,图像矫正模型训练装置1100,还包括:
预训练模块,用于获取预训练图像以及图像分类判别标签;将预训练图像输入到待训练图像判别网络中进行图像判别,得到预训练图像分类判别结果;基于预训练图像分类判别结果和图像分类判别标签进行损失计算,得到预训练损失信息;基于预训练损失信息反向更新待训练图像判别网络,得到更新图像判别网络,将更新图像判别网络作为待训练图像判别网络,并返回获取预训练图像以及图像分类判别标签的步骤迭代执行,直到达到预训练完成条件时,得到初始图像判别网络。
在一个实施例中,畸变模块1102还用于获取目标图像,将目标图像输入到目标图像分割模型中进行图像分割识别,得到蒙版图像;基于蒙版图像进行蒙版区域划分,得到各个图像区域;将各个图像区域分别作为训练图像。
在一个实施例中,畸变模块1102还用于获取训练视频,将训练视频进行分帧,得到各个视频帧;将各个视频帧分别作为训练图像。
在一个实施例中,畸变模块1102还用于随机生成畸变参数信息;使用畸变参数信息对训练图像进行调整,得到畸变图像。
在一个实施例中,更新模块1108还用于基于畸变参数信息进行矫正参数计算,得到矫正参数信息;
计算矫正参数信息与初始矫正参数信息之间的误差,得到参数损失信息;
计算训练图像与初始矫正图像之间的误差,得到图像损失信息。
在一个实施例中,如图12所示,提供了一种图像矫正装置1200,包括:图像获取模块1202、参数预测模块1204和图像矫正模块1206,其中:
图像获取模块1202,用于获取待矫正图像;
参数预测模块1204,用于将待矫正图像输入到目标图像矫正模型中进行矫正参数预测,得到待矫正图像对应的矫正参数信息,目标图像矫正模型是通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,将畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于初始矫正参数信息对畸变图像进行图像矫正,得到初始矫正图像,基于初始矫正参数信息和畸变参数信息进行损失计算,得到参数损失信息,并基于训练图像与初始矫正图像进行损失计算,得到图像损失信息,基于参数损失信息和图像损失信息反向更新初始图像矫正模型,得到更新图像矫正模型,将更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时得到的;
图像矫正模块1206,用于使用矫正参数信息对待矫正图像进行图像矫正,得到目标矫正图像。
在一个实施例中,图像获取模块1202还用于获取待矫正视频,将待矫正视频进行分帧,得到各个视频帧;将各个视频帧分别作为待矫正图像;
图像矫正装置1200,还包括:
图像合并模块,用于获取各个视频帧对应的目标矫正图像,并将各个视频帧对应的目标矫正图像进行合并,得到目标矫正视频。
在一个实施例中,图像获取模块1202还用于获取目标待矫正图像,将目标待矫正图像输入到目标图像分割模型中进行图像分割识别,得到蒙版图像;基于蒙版图像进行蒙版区域划分,得到各个图像区域;将各个图像区域分别作为待矫正图像;
图像矫正装置1200,还包括:
图像融合模块,用于获取各个图像区域对应的目标矫正图像,将各个图像区域对应的目标矫正图像按照蒙版图像进行融合,得到融合矫正图像。
上述图像矫正模型训练或者图像矫正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储训练图像数据、待矫正图像和待矫正视频等。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像矫正模型训练方法或者图像矫正方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图14所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像矫正模型训练方法或者图像矫正方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13或者14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (26)
1.一种图像矫正模型训练方法,其特征在于,所述方法包括:
获取训练图像,基于所述训练图像进行随机数据畸变,得到畸变图像和畸变参数信息;
将所述畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于所述初始矫正参数信息对所述畸变图像进行图像矫正,得到初始矫正图像,通过所述初始图像矫正模型将所述初始矫正图像进行图像分类判别,得到矫正图像分类判别结果,通过所述初始图像矫正模型将所述训练图像进行图像分类判别,得到训练图像分类判别结果,计算所述矫正图像分类判别结果与所述训练图像分类判别结果之间的误差,得到判别损失信息;
基于所述初始矫正参数信息和所述畸变参数信息进行损失计算,得到参数损失信息,并基于所述训练图像与所述初始矫正图像进行损失计算,得到图像损失信息;
基于所述判别损失信息、所述参数损失信息和所述图像损失信息反向更新所述初始图像矫正模型,得到更新图像矫正模型;
将所述更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于所述训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到目标图像矫正模型,所述目标图像矫正模型用于对输入图像进行矫正参数预测,得到目标矫正参数信息,所述目标矫正参数信息用于对所述输入图像进行图像矫正,得到目标矫正图像。
2.根据权利要求1所述的方法,其特征在于,通过所述初始图像矫正模型将所述初始矫正图像进行图像分类判别,得到矫正图像分类判别结果,包括:
获取所述初始图像矫正模型对应的当前模型损失信息;
当检测所述当前模型损失信息达到预设判别条件时,通过所述初始图像矫正模型将所述初始矫正图像进行图像分类判别,得到矫正图像分类判别结果。
3.根据权利要求1所述的方法,其特征在于,所述初始图像矫正模型包括初始矫正参数预测网络;
所述将所述畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于所述初始矫正参数信息对所述畸变图像进行图像矫正,得到初始矫正图像,包括:
将所述畸变图像输入到初始矫正参数预测网络进行矫正参数预测,得到初始矫正参数信息;
将使用所述初始矫正参数信息对所述畸变图像进行加权,得到所述初始矫正图像。
4.根据权利要求3所述的方法,其特征在于,所述初始图像矫正模型还包括初始图像判别网络;
在所述将使用所述初始矫正参数信息对所述畸变图像进行加权,得到所述初始矫正图像之后,还包括:
将所述初始矫正图像输入到所述初始图像判别网络中进行图像分类判别,得到矫正图像分类判别结果;
将所述训练图像输入到所述初始图像判别网络中进行图像分类判别,得到训练图像分类判别结果;
所述基于所述参数损失信息和所述图像损失信息反向更新所述初始图像矫正模型,得到更新图像矫正模型,包括:
计算所述矫正图像分类判别结果与所述训练图像分类判别结果之间的误差,得到判别损失信息;
基于所述判别损失信息、所述参数损失信息和所述图像损失信息反向更新所述初始图像矫正模型中的所述初始矫正参数预测网络和所述初始图像判别网络,得到目标更新图像矫正模型。
5.根据权利要求4所述的方法,其特征在于,所述初始图像判别网络的预训练包括以下步骤:
获取预训练图像以及图像分类判别标签;
将所述预训练图像输入到待训练图像判别网络中进行图像判别,得到预训练图像分类判别结果;
基于所述预训练图像分类判别结果和所述图像分类判别标签进行损失计算,得到预训练损失信息;
基于所述预训练损失信息反向更新所述待训练图像判别网络,得到更新图像判别网络,将所述更新图像判别网络作为待训练图像判别网络,并返回获取预训练图像以及图像分类判别标签的步骤迭代执行,直到达到预训练完成条件时,得到所述初始图像判别网络。
6.根据权利要求1所述的方法,其特征在于,所述获取训练图像,包括:
获取目标图像,将所述目标图像输入到目标图像分割模型中进行图像分割识别,得到蒙版图像;
基于所述蒙版图像进行蒙版区域划分,得到各个图像区域;
将所述各个图像区域分别作为所述训练图像。
7.根据权利要求1所述的方法,其特征在于,所述获取训练图像,包括:
获取训练视频,将所述训练视频进行分帧,得到各个视频帧;
将所述各个视频帧分别作为所述训练图像。
8.根据权利要求1所述的方法,其特征在于,所述基于所述训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,包括:
随机生成所述畸变参数信息;
使用所述畸变参数信息对所述训练图像进行调整,得到所述畸变图像。
9.根据权利要求1所述的方法,其特征在于,计算所述初始矫正参数信息和所述畸变参数信息之间的参数损失信息,并计算所述训练图像与所述初始矫正图像之间的图像损失信息,包括:
基于所述畸变参数信息进行矫正参数计算,得到矫正参数信息;
计算所述矫正参数信息与所述初始矫正参数信息之间的误差,得到所述参数损失信息;
计算所述训练图像与所述初始矫正图像之间的误差,得到所述图像损失信息。
10.一种图像矫正方法,其特征在于,所述方法包括:
获取待矫正图像;
将所述待矫正图像输入到目标图像矫正模型中进行矫正参数预测,得到所述待矫正图像对应的矫正参数信息,所述目标图像矫正模型是通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,将所述畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于所述初始矫正参数信息对所述畸变图像进行图像矫正,得到初始矫正图像,通过所述初始图像矫正模型将所述初始矫正图像进行图像分类判别,得到矫正图像分类判别结果,通过所述初始图像矫正模型将所述训练图像进行图像分类判别,得到训练图像分类判别结果,计算所述矫正图像分类判别结果与所述训练图像分类判别结果之间的误差,得到判别损失信息,基于所述初始矫正参数信息和所述畸变参数信息进行损失计算,得到参数损失信息,并基于所述训练图像与所述初始矫正图像进行损失计算,得到图像损失信息,基于所述判别损失信息、所述参数损失信息和所述图像损失信息反向更新所述初始图像矫正模型,得到更新图像矫正模型,将所述更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于所述训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时得到的;
使用所述矫正参数信息对所述待矫正图像进行图像矫正,得到目标矫正图像。
11.根据权利要求10所述的方法,其特征在于,所述获取待矫正图像,包括:
获取待矫正视频,将所述待矫正视频进行分帧,得到各个视频帧;
将所述各个视频帧分别作为所述待矫正图像;
在所述使用所述矫正参数信息对所述待矫正图像进行图像矫正,得到目标矫正图像之后,还包括:
获取所述各个视频帧对应的目标矫正图像,并将所述各个视频帧对应的目标矫正图像进行合并,得到目标矫正视频。
12.根据权利要求10所述的方法,其特征在于,所述获取待矫正图像,包括:
获取目标待矫正图像,将所述目标待矫正图像输入到目标图像分割模型中进行图像分割识别,得到蒙版图像;
基于所述蒙版图像进行蒙版区域划分,得到各个图像区域;
将所述各个图像区域分别作为所述待矫正图像;
在所述使用所述矫正参数信息对所述待矫正图像进行图像矫正,得到目标矫正图像之后,还包括:
获取所述各个图像区域对应的目标矫正图像,将所述各个图像区域对应的目标矫正图像按照所述蒙版图像进行融合,得到融合矫正图像。
13.一种图像矫正模型训练装置,其特征在于,所述装置包括:
畸变模块,用于获取训练图像,基于所述训练图像进行随机数据畸变,得到畸变图像和畸变参数信息;
初始矫正模块,用于将所述畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于所述初始矫正参数信息对所述畸变图像进行图像矫正,得到初始矫正图像,通过所述初始图像矫正模型将所述初始矫正图像进行图像分类判别,得到矫正图像分类判别结果,通过所述初始图像矫正模型将所述训练图像进行图像分类判别,得到训练图像分类判别结果,计算所述矫正图像分类判别结果与所述训练图像分类判别结果之间的误差,得到判别损失信息;
损失计算模块,用于基于所述初始矫正参数信息和所述畸变参数信息进行损失计算,得到参数损失信息,并基于所述训练图像与所述初始矫正图像进行损失计算,得到图像损失信息;
更新模块,用于基于所述判别损失信息、所述参数损失信息和所述图像损失信息反向更新所述初始图像矫正模型,得到更新图像矫正模型;
迭代模块,用于将所述更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于所述训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时,得到目标图像矫正模型,所述目标图像矫正模型用于对输入图像进行矫正参数预测,得到目标矫正参数信息,所述目标矫正参数信息用于对所述输入图像进行图像矫正,得到目标矫正图像。
14.根据权利要求13所述的装置,其特征在于,所述初始矫正模块还用于获取所述初始图像矫正模型对应的当前模型损失信息;当检测所述当前模型损失信息达到预设判别条件时,通过所述初始图像矫正模型将所述初始矫正图像进行图像分类判别,得到矫正图像分类判别结果。
15.根据权利要求13所述的装置,其特征在于,所述初始图像矫正模型包括初始矫正参数预测网络;
所述初始矫正模块还用于将所述畸变图像输入到初始矫正参数预测网络进行矫正参数预测,得到初始矫正参数信息;将使用所述初始矫正参数信息对所述畸变图像进行加权,得到所述初始矫正图像。
16.根据权利要求15所述的装置,其特征在于,所述初始图像矫正模型还包括初始图像判别网络;
所述装置,还包括:
网络判别模块,用于将所述初始矫正图像输入到所述初始图像判别网络中进行图像分类判别,得到矫正图像分类判别结果;将所述训练图像输入到所述初始图像判别网络中进行图像分类判别,得到训练图像分类判别结果;
所述更新模块还用于计算所述矫正图像分类判别结果与所述训练图像分类判别结果之间的误差,得到判别损失信息;基于所述判别损失信息、所述参数损失信息和所述图像损失信息反向更新所述初始图像矫正模型中的所述初始矫正参数预测网络和所述初始图像判别网络,得到目标更新图像矫正模型。
17.根据权利要求16所述的装置,其特征在于,所述装置,还包括:
预训练模块,用于获取预训练图像以及图像分类判别标签;将所述预训练图像输入到待训练图像判别网络中进行图像判别,得到预训练图像分类判别结果;基于所述预训练图像分类判别结果和所述图像分类判别标签进行损失计算,得到预训练损失信息;基于所述预训练损失信息反向更新所述待训练图像判别网络,得到更新图像判别网络,将所述更新图像判别网络作为待训练图像判别网络,并返回获取预训练图像以及图像分类判别标签的步骤迭代执行,直到达到预训练完成条件时,得到所述初始图像判别网络。
18.根据权利要求13所述的装置,其特征在于,所述畸变模块还用于获取目标图像,将所述目标图像输入到目标图像分割模型中进行图像分割识别,得到蒙版图像;基于所述蒙版图像进行蒙版区域划分,得到各个图像区域;将所述各个图像区域分别作为所述训练图像。
19.根据权利要求13所述的装置,其特征在于,所述畸变模块还用于获取训练视频,将所述训练视频进行分帧,得到各个视频帧;将所述各个视频帧分别作为所述训练图像。
20.根据权利要求13所述的装置,其特征在于,所述畸变模块还用于随机生成所述畸变参数信息;使用所述畸变参数信息对所述训练图像进行调整,得到所述畸变图像。
21.根据权利要求13所述的装置,其特征在于,所述更新模块还用于基于所述畸变参数信息进行矫正参数计算,得到矫正参数信息;计算所述矫正参数信息与所述初始矫正参数信息之间的误差,得到所述参数损失信息;计算所述训练图像与所述初始矫正图像之间的误差,得到所述图像损失信息。
22.一种图像矫正装置,其特征在于,所述装置包括:
图像获取模块,用于获取待矫正图像;
参数预测模块,用于将所述待矫正图像输入到目标图像矫正模型中进行矫正参数预测,得到所述待矫正图像对应的矫正参数信息,所述目标图像矫正模型是通过使用训练图像进行随机数据畸变,得到畸变图像和畸变参数信息,将所述畸变图像输入到初始图像矫正模型中进行矫正参数预测,得到初始矫正参数信息,基于所述初始矫正参数信息对所述畸变图像进行图像矫正,得到初始矫正图像,通过所述初始图像矫正模型将所述初始矫正图像进行图像分类判别,得到矫正图像分类判别结果,通过所述初始图像矫正模型将所述训练图像进行图像分类判别,得到训练图像分类判别结果,计算所述矫正图像分类判别结果与所述训练图像分类判别结果之间的误差,得到判别损失信息,基于所述初始矫正参数信息和所述畸变参数信息进行损失计算,得到参数损失信息,并基于所述训练图像与所述初始矫正图像进行损失计算,得到图像损失信息,基于所述判别损失信息、所述参数损失信息和所述图像损失信息反向更新所述初始图像矫正模型,得到更新图像矫正模型,将所述更新图像矫正模型作为初始图像矫正模型,并返回获取训练图像,基于所述训练图像进行随机数据畸变,得到畸变图像和畸变参数信息的步骤迭代执行,直到达到训练完成条件时得到的;
图像矫正模块,用于使用所述矫正参数信息对所述待矫正图像进行图像矫正,得到目标矫正图像。
23.根据权利要求22所述的装置,其特征在于,所述图像获取模块还用于获取待矫正视频,将所述待矫正视频进行分帧,得到各个视频帧;将所述各个视频帧分别作为所述待矫正图像;
所述装置,还包括:
图像合并模块,用于获取所述各个视频帧对应的目标矫正图像,并将所述各个视频帧对应的目标矫正图像进行合并,得到目标矫正视频。
24.根据权利要求22所述的装置,其特征在于,所述图像获取模块还用于获取目标待矫正图像,将所述目标待矫正图像输入到目标图像分割模型中进行图像分割识别,得到蒙版图像;基于所述蒙版图像进行蒙版区域划分,得到各个图像区域;将所述各个图像区域分别作为所述待矫正图像;
所述装置,还包括:
图像融合模块,用于获取所述各个图像区域对应的目标矫正图像,将所述各个图像区域对应的目标矫正图像按照所述蒙版图像进行融合,得到融合矫正图像。
25.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
26.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211025023.9A CN115115552B (zh) | 2022-08-25 | 2022-08-25 | 图像矫正模型训练及图像矫正方法、装置和计算机设备 |
PCT/CN2023/099636 WO2024041108A1 (zh) | 2022-08-25 | 2023-06-12 | 图像矫正模型训练及图像矫正方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211025023.9A CN115115552B (zh) | 2022-08-25 | 2022-08-25 | 图像矫正模型训练及图像矫正方法、装置和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115115552A CN115115552A (zh) | 2022-09-27 |
CN115115552B true CN115115552B (zh) | 2022-11-18 |
Family
ID=83336224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211025023.9A Active CN115115552B (zh) | 2022-08-25 | 2022-08-25 | 图像矫正模型训练及图像矫正方法、装置和计算机设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115115552B (zh) |
WO (1) | WO2024041108A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115115552B (zh) * | 2022-08-25 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 图像矫正模型训练及图像矫正方法、装置和计算机设备 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682628A (zh) * | 2016-12-30 | 2017-05-17 | 佳都新太科技股份有限公司 | 一种基于多层深度特征信息的人脸属性分类方法 |
CN107154027A (zh) * | 2017-04-17 | 2017-09-12 | 深圳大学 | 一种畸变图像复原的补偿方法及装置 |
CN109272014A (zh) * | 2018-08-03 | 2019-01-25 | 天津大学 | 一种基于畸变适应卷积神经网络的图像分类方法 |
CN110378837A (zh) * | 2019-05-16 | 2019-10-25 | 四川省客车制造有限责任公司 | 基于鱼眼摄像头的目标检测方法、装置和存储介质 |
CN111369466A (zh) * | 2020-03-05 | 2020-07-03 | 福建帝视信息科技有限公司 | 一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法 |
CN111898535A (zh) * | 2020-07-30 | 2020-11-06 | 杭州海康威视数字技术股份有限公司 | 目标识别方法、装置及存储介质 |
CN112652031A (zh) * | 2020-12-30 | 2021-04-13 | 上海联影智能医疗科技有限公司 | 伪影校正分析方法、电子设备及存储介质 |
CN112990381A (zh) * | 2021-05-11 | 2021-06-18 | 南京甄视智能科技有限公司 | 畸变图像目标识别方法及装置 |
WO2021179485A1 (zh) * | 2020-03-11 | 2021-09-16 | 平安科技(深圳)有限公司 | 图像矫正处理方法、装置、存储介质及计算机设备 |
CN113486975A (zh) * | 2021-07-23 | 2021-10-08 | 深圳前海微众银行股份有限公司 | 遥感图像的地物分类方法、装置、设备及存储介质 |
CN113963208A (zh) * | 2021-10-22 | 2022-01-21 | 石家庄喜高科技有限责任公司 | 籽骨等级识别方法、装置、计算机设备和存储介质 |
CN114429461A (zh) * | 2022-01-25 | 2022-05-03 | 河北工业大学 | 基于域适应的跨场景带钢表面缺陷检测方法 |
CN114463192A (zh) * | 2021-11-09 | 2022-05-10 | 浙江浙能嘉华发电有限公司 | 一种基于深度学习的红外视频畸变校正的方法 |
US11341605B1 (en) * | 2019-09-30 | 2022-05-24 | Amazon Technologies, Inc. | Document rectification via homography recovery using machine learning |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993713B (zh) * | 2019-04-04 | 2021-11-05 | 阿波罗智联(北京)科技有限公司 | 车载平视显示系统图像畸变矫正方法和装置 |
US11599974B2 (en) * | 2019-11-22 | 2023-03-07 | Nec Corporation | Joint rolling shutter correction and image deblurring |
US11853395B2 (en) * | 2020-07-02 | 2023-12-26 | International Business Machines Corporation | Augmentation loss function for image classification |
CN112215906A (zh) * | 2020-09-04 | 2021-01-12 | 北京迈格威科技有限公司 | 图像处理方法、装置和电子设备 |
CN112164002B (zh) * | 2020-09-10 | 2024-02-09 | 深圳前海微众银行股份有限公司 | 人脸矫正模型的训练方法、装置、电子设备及存储介质 |
CN112036398B (zh) * | 2020-10-15 | 2024-02-23 | 北京一览群智数据科技有限责任公司 | 一种文本校正方法及其系统 |
CN114359619A (zh) * | 2021-12-01 | 2022-04-15 | 南方电网科学研究院有限责任公司 | 基于增量学习的电网缺陷检测方法、装置、设备和介质 |
CN114332809A (zh) * | 2021-12-01 | 2022-04-12 | 腾讯科技(深圳)有限公司 | 一种图像识别方法、装置、电子设备和存储介质 |
CN114937187A (zh) * | 2022-06-16 | 2022-08-23 | 京东科技信息技术有限公司 | 一种图像优化方法、装置、设备和存储介质 |
CN115115552B (zh) * | 2022-08-25 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 图像矫正模型训练及图像矫正方法、装置和计算机设备 |
-
2022
- 2022-08-25 CN CN202211025023.9A patent/CN115115552B/zh active Active
-
2023
- 2023-06-12 WO PCT/CN2023/099636 patent/WO2024041108A1/zh unknown
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682628A (zh) * | 2016-12-30 | 2017-05-17 | 佳都新太科技股份有限公司 | 一种基于多层深度特征信息的人脸属性分类方法 |
CN107154027A (zh) * | 2017-04-17 | 2017-09-12 | 深圳大学 | 一种畸变图像复原的补偿方法及装置 |
CN109272014A (zh) * | 2018-08-03 | 2019-01-25 | 天津大学 | 一种基于畸变适应卷积神经网络的图像分类方法 |
CN110378837A (zh) * | 2019-05-16 | 2019-10-25 | 四川省客车制造有限责任公司 | 基于鱼眼摄像头的目标检测方法、装置和存储介质 |
US11341605B1 (en) * | 2019-09-30 | 2022-05-24 | Amazon Technologies, Inc. | Document rectification via homography recovery using machine learning |
CN111369466A (zh) * | 2020-03-05 | 2020-07-03 | 福建帝视信息科技有限公司 | 一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法 |
WO2021179485A1 (zh) * | 2020-03-11 | 2021-09-16 | 平安科技(深圳)有限公司 | 图像矫正处理方法、装置、存储介质及计算机设备 |
CN111898535A (zh) * | 2020-07-30 | 2020-11-06 | 杭州海康威视数字技术股份有限公司 | 目标识别方法、装置及存储介质 |
CN112652031A (zh) * | 2020-12-30 | 2021-04-13 | 上海联影智能医疗科技有限公司 | 伪影校正分析方法、电子设备及存储介质 |
CN112990381A (zh) * | 2021-05-11 | 2021-06-18 | 南京甄视智能科技有限公司 | 畸变图像目标识别方法及装置 |
CN113486975A (zh) * | 2021-07-23 | 2021-10-08 | 深圳前海微众银行股份有限公司 | 遥感图像的地物分类方法、装置、设备及存储介质 |
CN113963208A (zh) * | 2021-10-22 | 2022-01-21 | 石家庄喜高科技有限责任公司 | 籽骨等级识别方法、装置、计算机设备和存储介质 |
CN114463192A (zh) * | 2021-11-09 | 2022-05-10 | 浙江浙能嘉华发电有限公司 | 一种基于深度学习的红外视频畸变校正的方法 |
CN114429461A (zh) * | 2022-01-25 | 2022-05-03 | 河北工业大学 | 基于域适应的跨场景带钢表面缺陷检测方法 |
Non-Patent Citations (5)
Title |
---|
DeepCorrect: Correcting DNN Models against Image Distortions;Tejas Borkar 等;《arXiv:1705.02406v5》;20190409;第1-12页 * |
基于CNN的机器视觉系统图像畸变校正算法研究;杨雪;《万方数据知识服务平台》;20220812;第1-60页 * |
基于深度学习的单张图像畸变校正;陈文艺;《激光与光电子学进展》;20201231;第57卷(第24期);第1-8页 * |
基于神经网络的文档图像矫正系统的研究和设计;芮藤长;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210215(第02期);第I138-913页 * |
复杂光照条件下单幅图像的本征分解算法;邹代宇;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220215(第02期);第I138-708页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115115552A (zh) | 2022-09-27 |
WO2024041108A1 (zh) | 2024-02-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109543714B (zh) | 数据特征的获取方法、装置、电子设备及存储介质 | |
CN106778928B (zh) | 图像处理方法及装置 | |
CN109344742B (zh) | 特征点定位方法、装置、存储介质和计算机设备 | |
CN111754396B (zh) | 脸部图像处理方法、装置、计算机设备和存储介质 | |
CN110991380B (zh) | 人体属性识别方法、装置、电子设备以及存储介质 | |
CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
CN108897786A (zh) | 应用程序的推荐方法、装置、存储介质及移动终端 | |
CN111814620A (zh) | 人脸图像质量评价模型建立方法、优选方法、介质及装置 | |
CN112418195B (zh) | 一种人脸关键点检测方法、装置、电子设备及存储介质 | |
CN111666922A (zh) | 视频匹配方法、装置、计算机设备和存储介质 | |
CN111723707A (zh) | 一种基于视觉显著性的注视点估计方法及装置 | |
CN111739027A (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
CN108596070A (zh) | 人物识别方法、装置、存储介质、程序产品和电子设备 | |
CN112001285B (zh) | 一种美颜图像的处理方法、装置、终端和介质 | |
CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
CN114677611B (zh) | 数据识别方法、存储介质及设备 | |
CN113706550A (zh) | 图像场景识别和模型训练方法、装置和计算机设备 | |
CN117037244A (zh) | 人脸安全检测方法、装置、计算机设备和存储介质 | |
CN114463685B (zh) | 行为识别方法、装置、电子设备及存储介质 | |
CN115798005A (zh) | 基准照片的处理方法及装置、处理器和电子设备 | |
CN112699809B (zh) | 痘痘类别识别方法、装置、计算机设备及存储介质 | |
CN112822393B (zh) | 图像处理方法、装置及电子设备 | |
CN113642353B (zh) | 一种人脸检测模型的训练方法、存储介质及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |