CN117115014A - 一种模糊图像恢复方法、装置及电子设备 - Google Patents
一种模糊图像恢复方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117115014A CN117115014A CN202310948015.XA CN202310948015A CN117115014A CN 117115014 A CN117115014 A CN 117115014A CN 202310948015 A CN202310948015 A CN 202310948015A CN 117115014 A CN117115014 A CN 117115014A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- model
- fuzzy
- blurred
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 92
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 18
- 230000005284 excitation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 22
- 230000000875 corresponding effect Effects 0.000 description 105
- 238000010586 diagram Methods 0.000 description 26
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000004379 similarity theory Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种模糊图像恢复方法、装置及电子设备，基于模糊图像恢复模型实现模糊图像恢复得到对应的清晰图像。在训练模糊图像恢复模型时，对训练集中的多个样本图像进行噪声处理得到样本图像对应的加噪样本图像组，并且加噪样本图像组存在对应的样本清晰图像，基于多个加噪样本图像组和多个加噪样本图像组对应的样本清晰图像对模糊图像恢复模型进行训练，使得模糊图像恢复模型能够适应不同环境采集的模糊图像的图像恢复。当获取到待处理的模糊图像，基于模糊图像恢复模型确定模糊图像对应的清晰图像。相较于现有的图像增强算法，能够提高图像恢复的准确性。本申请的技术方案具有通用性、可靠性、实时性的特点，符合可信赖特性。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种模糊图像恢复方法、装置及电子设备。
背景技术
监控摄像机等监控设备、车载摄像机等在抓拍车辆的车牌号、路边文字信息、道路警示语以及交通标识时，会由于距离监控设备过远、迷雾浓重、暴风雨天气或暴风雪天气影响，或者因监控摄像头本身因大风晃动及道路颠簸，或摄像镜头脏污，从而造成设备获取的图像中文字及数字模糊不清，或像素不够。这种情况下，通过图像增强措施，来去除模糊，如去雨去雾、画质增强等手段，传统的方式往往效果不佳，所获得的车牌可能仍然无法清晰辨认号码。因此，现有技术的模糊图像恢复方法存在图像恢复准确性较差的问题。
发明内容
本申请提供了一种模糊图像恢复方法、装置及电子设备，用以解决现有技术的模糊图像恢复方法存在的图像恢复准确性较差的问题。
第一方面，本申请提供了一种模糊图像恢复方法，所述方法包括：
获取待处理的模糊图像，将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像；
其中，所述模糊图像恢复模型是通过以下方式训练得到的：
针对训练集中的多个样本图像，对所述样本图像进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将多个加噪样本图像组和所述多个加噪样本图像组对应的样本清晰图像输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
第二方面，本申请提供了一种模糊图像恢复装置，所述装置包括：
模型训练模块，用于针对训练集中的多个样本图像，对所述样本图像进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将多个加噪样本图像组和所述多个加噪样本图像组对应的样本清晰图像输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练；
图像恢复模块，用于获取待处理的模糊图像，将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像。
第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现所述的方法步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法步骤。
本申请提供了一种模糊图像恢复方法、装置及电子设备，所述方法包括：获取待处理的模糊图像，将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像；其中，所述模糊图像恢复模型是通过以下方式训练得到的：针对训练集中的多个样本图像，对所述样本图像进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将多个加噪样本图像组和所述多个加噪样本图像组对应的样本清晰图像输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
上述的技术方案具有如下优点或有益效果：
本申请中，首先训练得到模糊图像恢复模型，基于模糊图像恢复模型实现模糊图像恢复得到对应的清晰图像。在训练模糊图像恢复模型时，对训练集中的多个样本图像进行噪声处理得到样本图像对应的加噪样本图像组，并且加噪样本图像组存在对应的样本清晰图像，基于多个加噪样本图像组和多个加噪样本图像组对应的样本清晰图像对模糊图像恢复模型进行训练，使得模糊图像恢复模型能够适应不同环境采集的模糊图像的图像恢复。当获取到待处理的模糊图像，基于模糊图像恢复模型确定模糊图像对应的清晰图像。相较于现有的图像增强算法，能够提高图像恢复的准确性。本申请的技术方案具有通用性、可靠性、实时性的特点，符合可信赖特性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的模糊图像恢复过程示意图；
图2为本申请提供的模糊图像恢复模型的训练过程示意图；
图3为本申请提供的模糊图像恢复模型的训练过程示意图；
图4为本申请提供的模糊图像恢复过程示意图；
图5为本申请提供的模糊图像恢复过程示意图；
图6为本申请提供的模糊图像恢复过程示意图；
图7为本申请提供的语言问答模型的训练过程示意图；
图8为本申请提供的对模糊图像恢复模型进行更新的过程示意图；
图9为本申请提供的机动车号牌标准示意图；
图10为本申请提供的公开数据多分辨率数据集示意图；
图11为本申请提供的文本语义问答示例示意图；
图12为本申请提供的模糊图像恢复整体流程图；
图13为本申请提供的模糊图像恢复算法流程图；
图14为本申请提供的模糊图像恢复效果示意图；
图15为本申请提供的模糊图像恢复装置结构示意图；
图16为本申请提供的电子设备结构示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
图1为本申请提供的模糊图像恢复过程示意图，该过程包括以下步骤：
S101：针对训练集中的多个样本图像，对所述样本图像进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将多个加噪样本图像组和所述多个加噪样本图像组对应的样本清晰图像输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
S102：获取待处理的模糊图像，将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像。
本申请提供的模糊图像恢复方法应用于电子设备，该电子设备可以是PC、平板电脑等设备，也可以是服务器。
电子设备中部署有训练完成的模糊图像恢复模型，在训练模糊图像恢复模型时，首先获取训练集中的多个样本图像，多个样本图像可以是Mnist手写数据集，TimesNewRoman、黑体等大小写英文字母数据集，等公开数据集中的图像。分别对多个样本图像进行增加噪声处理，从而实现训练集增强。增加噪声处理例如是对样本图像增加高斯噪声、颜色成分中的相加噪声比、亮度成分中的相加噪声更密集、空间相关噪声、掩蔽噪声、高频噪声、脉冲噪声、量化噪声、高斯模糊、图像去噪、JPEG压缩、JPEG2000压缩、JPEG传输差错、JPEG2000传输差错、非偏移图案噪声、不同强度的局部逐块失真、平均偏移、强度偏移、对比度变化、改变色彩饱和度指数、有损压缩、多重高斯噪声、彩色图像量化、稀疏采样、色差和舒适噪声等中的一项或多项增加噪声处理，这样，一个样本图像增加噪声处理之后，得到样本图像对应的加噪样本图像组。例如，对于样本图像A1，对其进行不同的一种或几种组合增加噪声处理后，得到图像A2、A3、A4、A5，这样，A1、A2、A3、A4、A5为样本图像A1对应的加噪样本图像组。训练集中保存有样本图像A1对应的样本清晰图像，因为样本图像A1对应的加噪样本图像组是包含相同内容但是不同模糊程度的图像，因此样本图像A1对应的样本清晰图像，也就是加噪样本图像组对应的样本清晰图像。
针对多个加噪样本图像组，将加噪样本图像组和加噪样本图像组对应的样本清晰图像输入模糊图像恢复模型，模糊图像恢复模型对加噪样本图像组进行特征提取，并确定预测恢复图像，然后根据预测恢复图像和样本清晰图像确定模型损失值，根据模型损失值对模糊图像恢复模型进行训练，当达到预设的模型训练迭代次数，或者模型损失值满足要求时，模糊图像恢复模型训练完成。
电子设备获取到待处理的模糊图像之后，将模糊图像输入模糊图像恢复模型，基于模糊图像恢复模型对待处理的模糊图像进行特征提取，进而确定模糊图像对应的清晰图像。
本申请中，首先训练得到模糊图像恢复模型，基于模糊图像恢复模型实现模糊图像恢复得到对应的清晰图像。在训练模糊图像恢复模型时，对训练集中的多个样本图像进行噪声处理得到样本图像对应的加噪样本图像组，并且加噪样本图像组存在对应的样本清晰图像，基于多个加噪样本图像组和多个加噪样本图像组对应的样本清晰图像对模糊图像恢复模型进行训练，使得模糊图像恢复模型能够适应不同环境采集的模糊图像的图像恢复。当获取到待处理的模糊图像，基于模糊图像恢复模型确定模糊图像对应的清晰图像。相较于现有的图像增强算法，能够提高图像恢复的准确性。本申请的技术方案具有通用性、可靠性、实时性的特点，符合可信赖特性。
可信赖特性：
(1)通用性：本申请提供了一种用于恢复包含文字和数字信息模糊图像的手段，可用于任何此类模糊图像的图像恢复，符合通用性；
(2)可靠性：本申请为用户提供了比纯粹通过图像识别更加优秀的模糊图像文字恢复能力，并为用户提供可靠接口用于真实可靠的高清图片上传，增强模型准确性，符合可靠性特点；
(3)实时性：本申请能在对视频抽帧每5帧抽一帧的情况下，实时对所获取的帧的推理结果进行反馈，符合可信赖特性中实时性的特点。
为了进一步提高模糊图像恢复模型的准确性，本申请中，所述模糊图像恢复模型的训练过程包括：
针对训练集中的多个样本图像，按照预设的多个分辨率，对所述样本图像进行分辨率调整，得到所述样本图像对应的多分辨率图像组，对所述多分辨率图像组进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将多个加噪样本图像组和所述多个加噪样本图像组对应的样本清晰图像输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
预设的多个分辨率例如是512*512、256*256、128*128、64*64、32*32等，将样本图像进行分辨率调整，得到分别得到样本图像对应的分辨率512*512的样本图像、分辨率256*256的样本图像、分辨率128*128的样本图像、分辨率64*64的样本图像、分辨率32*32的样本图像等。样本图像对应的多分辨率图像组包括分辨率512*512的样本图像、分辨率256*256的样本图像、分辨率128*128的样本图像、分辨率64*64的样本图像、分辨率32*32的样本图像等。然后分别对多分辨率图像组中各分辨率的样本图像进行增加噪声处理，也就是说分别对分辨率512*512的样本图像、分辨率256*256的样本图像、分辨率128*128的样本图像、分辨率64*64的样本图像、分辨率32*32的样本图像等进行增加噪声处理，进而得到样本图像对应的加噪样本图像组。
再将多个加噪样本图像组和多个加噪样本图像组对应的样本清晰图像输入模糊图像恢复模型，对模糊图像恢复模型进行训练。本申请通过对样本图像进行多尺度变换，根据包含多尺度图像的加噪样本图像组对模糊图像恢复模型进行训练。这样得到的模糊图像恢复模型能够具备对多尺度图像的图像恢复能力，进一步提高了模糊图像恢复模型的准确性。
图2为本申请提供的模糊图像恢复模型的训练过程示意图，包括以下步骤：
S201：针对训练集中的多个样本图像，按照预设的多个分辨率，对所述样本图像进行分辨率调整，得到所述样本图像对应的多分辨率图像组，对所述多分辨率图像组进行增加噪声处理，得到所述样本图像对应的加噪样本图像组。
S202：将多个加噪样本图像组和所述多个加噪样本图像组对应的样本清晰图像输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
为了进一步提高模糊图像恢复模型的准确性，本申请中，所述模糊图像恢复模型的训练过程包括：
针对训练集中的多个样本图像，按照预设的多个分辨率，对所述样本图像进行分辨率调整，得到所述样本图像对应的多分辨率图像组，对所述多分辨率图像组进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将字符排列规范信息、多个加噪样本图像组、所述多个加噪样本图像组对应的样本清晰图像和所述多个加噪样本图像组对应的文本描述信息输入模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
以车牌图像恢复为例，字符排列规范信息可以是机动车号牌文件信息，字符排列规范信息中记载了车牌号码第一位为省、自治区、直辖市简称，第二位为发牌机关代号，发牌机关代号后面为间隔符，间隔符后面为车牌序号，并且车牌序号中不能有O和I等规定。将字符排列规范信息输入模糊图像恢复模型，可以学习到字符排列规范信息，例如，在车牌恢复中，数字“3”和文字“了”在模糊图像中相似度很高，但是模糊图像恢复模型会增强数字“3”的识别权重，降低文字“了”的识别权重。
对于字符图像恢复场景，文本描述信息为样本图像中的字符信息，例如样本图像为车牌图像，文本描述信息则为车牌号码的文本描述。例如文本描述信息为“京H*****”。将文本描述信息输入模糊图像恢复模型，可以更好的学习到待恢复的图像中的字符信息，提高模糊图像恢复模型的准确性。
图3为本申请提供的模糊图像恢复模型的训练过程示意图，包括以下步骤：
S301：针对训练集中的多个样本图像，按照预设的多个分辨率，对所述样本图像进行分辨率调整，得到所述样本图像对应的多分辨率图像组，对所述多分辨率图像组进行增加噪声处理，得到所述样本图像对应的加噪样本图像组。
S302：将字符排列规范信息、多个加噪样本图像组、所述多个加噪样本图像组对应的样本清晰图像和所述多个加噪样本图像组对应的文本描述信息输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
另外，若将字符排列规范信息、多个加噪样本图像组、所述多个加噪样本图像组对应的样本清晰图像和所述多个加噪样本图像组对应的文本描述信息输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。模糊图像恢复模型可以具备输出待处理的模糊图像中的目标文本描述信息的能力。
可选的，将待处理的将字符排列规范信息、多个加噪样本图像组、所述多个加噪样本图像组对应的样本清晰图像和所述多个加噪样本图像组对应的文本描述信息输入所述模糊图像恢复模型，模糊图像恢复模型输出预测文本描述信息，根据预测文本描述信息和目标文本描述信息计算损失值，根据损失值对模糊图像恢复模型进行参数调整，当达到预设的训练迭代次数，或损失值满足要求时，模糊图像恢复模型训练完成。这样，模糊图像恢复模型在应用时，将待处理的模糊图像输入模糊图像恢复模型，基于模糊图像恢复模型输出模糊图像对应的清晰图像和模糊图像对应的目标文本描述信息。
图4为本申请提供的模糊图像恢复过程示意图，该过程包括以下步骤：
S401：针对训练集中的多个样本图像，按照预设的多个分辨率，对所述样本图像进行分辨率调整，得到所述样本图像对应的多分辨率图像组，对所述多分辨率图像组进行增加噪声处理，得到所述样本图像对应的加噪样本图像组。
S402：将字符排列规范信息、多个加噪样本图像组、所述多个加噪样本图像组对应的样本清晰图像和所述多个加噪样本图像组对应的文本描述信息输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
S403：获取待处理的模糊图像，将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像和所述模糊图像中的目标文本描述信息。
本申请中，获取待处理的模糊图像包括：
获取待处理的图像，若所述图像为字符区域图像，则将所述字符区域图像作为所述待处理的模糊图像；若所述图像为感兴趣区域ROI图像或原始场景图像，按照所述预设的多个分辨率，对所述图像进行分辨率调整，将得到的所述图像对应的多分辨率图像组作为所述待处理的模糊图像。
若获取待处理的图像为字符区域图像，则直接对字符区域图像进行恢复处理，也就是直接将字符区域图像作为所述待处理的模糊图像。若图像为感兴趣区域ROI图像或原始场景图像，为了提高图像恢复处理的准确性，按照预设的多个分辨率，对感兴趣区域ROI图像或原始场景图像进行分辨率调整，将得到的感兴趣区域ROI图像或原始场景图像对应的多分辨率图像组，作为待处理的模糊图像。最终每一个包含有用字符信息的小图都能够进行图像恢复，从而进一步提高图像恢复的准确性。
图5为本申请提供的模糊图像恢复过程示意图，该过程包括以下步骤：
S501：针对训练集中的多个样本图像，按照预设的多个分辨率，对所述样本图像进行分辨率调整，得到所述样本图像对应的多分辨率图像组，对所述多分辨率图像组进行增加噪声处理，得到所述样本图像对应的加噪样本图像组。
S502：将字符排列规范信息、多个加噪样本图像组、所述多个加噪样本图像组对应的样本清晰图像和所述多个加噪样本图像组对应的文本描述信息输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
S503：获取待处理的图像，若所述图像为字符区域图像，则将所述字符区域图像作为所述待处理的模糊图像；若所述图像为感兴趣区域ROI图像或原始场景图像，按照所述预设的多个分辨率，对所述图像进行分辨率调整，将得到的所述图像对应的多分辨率图像组作为所述待处理的模糊图像；将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像和所述模糊图像中的目标文本描述信息。
在智能交通场景下进行图像恢复中，交通管理人员除了关注清晰的车牌图像，一般还关注车牌号码的相关规范信息。基于上述考虑，为了提高用户体验，本申请中，所述方法还包括：
将目标文本描述信息输入语言问答模型，基于所述语言问答模型确定所述目标文本描述信息对应的目标提问信息和目标回答信息。
电子设备预先训练有语言问答模型，语言问答模型用于生成提问信息，并根据提问信息生成对应的回答信息。语言问答模型可以是文心一言或GPT语言问答模型。
图6为本申请提供的模糊图像恢复过程示意图，该过程包括以下步骤：
S601：针对训练集中的多个样本图像，按照预设的多个分辨率，对所述样本图像进行分辨率调整，得到所述样本图像对应的多分辨率图像组，对所述多分辨率图像组进行增加噪声处理，得到所述样本图像对应的加噪样本图像组。
S602：将字符排列规范信息、多个加噪样本图像组、所述多个加噪样本图像组对应的样本清晰图像和所述多个加噪样本图像组对应的文本描述信息输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
S603：获取待处理的模糊图像，将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像和所述模糊图像中的目标文本描述信息。
S604：将目标文本描述信息输入语言问答模型，基于所述语言问答模型确定所述目标文本描述信息对应的目标提问信息和目标回答信息。
图7为本申请提供的语言问答模型的训练过程示意图，该过程包括以下步骤：
S701：将语言问答样本文件输入所述语言问答模型，基于所述语言问答模型确定设定数量的预测问答信息。
S702：确定所述设定数量的预测问答信息的标签，根据所述设定数量的预测问答信息的标签对所述语言问答模型进行训练，其中，所述标签包括正确问答标签和错误问答标签。
语言问答样本文件例如是机动车号牌文件，设定数量例如是1000条、2000条等。语言问答模型训练过程中，每个迭代周期内，语言问答模型确定出预测问答信息之后，确定预测问答信息中的正确问答信息和错误问答信息。其中，可以由人工对正确问答信息和错误问答信息进行筛选。然后将正确问答信息配置正确问答标签，为错误问答信息配置错误问答标签。然后将带标签的问答信息输入语言问答模型，这样迭代对语音问答模型进行训练。
语音问答模型训练完成后，将目标文本描述信息输入语言问答模型，基于语言问答模型确定目标文本描述信息对应的目标提问信息和目标回答信息。例如，目标文本描述信息为“京H*****”，基于语言问答模型确定目标文本描述信息对应的目标提问信息为：“车牌‘京H*****’是否属于合法的机动车车牌？”，目标回答信息为：“‘京H*****’符合机动车号牌标准，属于合法机动车车牌”。再例如，目标文本描述信息为“USH****”，基于语言问答模型确定目标文本描述信息对应的目标提问信息为：“车牌‘USH****’是否属于合法的机动车车牌？”，目标回答信息为：“‘USH****’不符合机动车号牌标准，国籍未知”。
为了进一步使模糊图像恢复模型更准确，本申请中，所述方法还包括：
获取用户输入的待处理的模糊图像对应的目标清晰图像，确定所述模糊图像对应的清晰图像和所述目标清晰图像的结构相似度，若所述结构相似度大于预设的第一相似度阈值，将所述清晰图像作为正激励预测结果对所述模糊图像恢复模型进行更新；若所述结构相似度小于预设的第二相似度阈值，将所述清晰图像作为负激励预测结果对所述模糊图像恢复模型进行更新；其中，所述预设的第二相似度阈值小于所述预设的第一相似度阈值。
在一些场景下，用户会向电子设备输入待处理的模糊图像对应的目标清晰图像。电子设备基于模糊图像恢复模型确定出待处理的模糊图像对应的清晰图像之后，确定模糊图像对应的清晰图像和所述目标清晰图像的结构相似度SSIM。
结构相似度SSIM计算过程如下：
给定两个图像x和y,两张图像的结构相似性可按照以下方式求出
其中μx是x的平均值，μy是y的平均值，是x的方差，/>是y的方差，σxy是x和y的协方差。c1＝(k1L)2，c2＝(k2L)2是用来维持稳定的常数。L是像素值的动态范围，k1＝0.01,k2＝0.03。结构相似性的范围为-1到1。当两张图像一模一样时，SSIM的值等于1。
若结构相似度大于预设的第一相似度阈值，将清晰图像作为正激励预测结果对模糊图像恢复模型进行更新。也就是说认为模糊图像对应的清晰图像的准确度是满足要求的。预设的第一相似度阈值例如是0.7、0.8等。若结构相似度小于预设的第二相似度阈值，将清晰图像作为负激励预测结果对模糊图像恢复模型进行更新。也就是说认为模糊图像对应的清晰图像的准确度是不满足要求的。预设的第二相似度阈值例如是0.2、0.3等。
图8为本申请提供的对模糊图像恢复模型进行更新的过程示意图，包括以下步骤：
S801：获取用户输入的待处理的模糊图像对应的目标清晰图像，确定所述模糊图像对应的清晰图像和所述目标清晰图像的结构相似度。
S802：若所述结构相似度大于预设的第一相似度阈值，将所述清晰图像作为正激励预测结果对所述模糊图像恢复模型进行更新。
S803：若所述结构相似度小于预设的第二相似度阈值，将所述清晰图像作为负激励预测结果对所述模糊图像恢复模型进行更新。
本申请提供的模糊图像恢复方法适用于交通场景、家庭场景以及工作场景中抓拍的模糊图像的恢复，也适用于文字数字等字符模糊图像的恢复。下面以文字数字等字符模糊图像的恢复为例，对本申请提供的模糊图像恢复方法进行详细说明。
本申请结合公开数据集，同包含了真实车牌或文字的实际拍摄的视频和图片数据放在一起，这些包含车牌数字和字符的视频和图片按照1024*1024图像、512*512图像、256*256图像、128*128图像、64*64图像等由高分辨率到低分辨率来组成的图像对为模型提供字母和数字排列规则的潜在约束条件，组成完整训练集、评估集和测试集；结合上述训练数据集利用自监督学习深度学习网络进行训练，并在模型收敛后，利用评估集进行约束，获得高清文本图像文本文档、各类车牌等的恢复模型，为后续模糊图像和清晰图像预置了增量和强化的接口和渠道，提供一种模糊图像恢复模型以及该模型的训练方案，并在应用中通过概率统计来提高识别成功效率。
该模型结合强化增量学习模式，为后续模糊图像和清晰图像预置了增量和强化的接口和渠道。在算法实际应用时，算法使用方，可以提供5～10张可疑车牌的目标清晰图像给算法，算法通过计算模型输出的清晰图像，同5～10个高清车牌的SSIM结构相似度，给出目标车牌可能性概率，从而缩小甄别范围。
本申请利用不仅限于Mnist手写数据集，TimesNewRoman、黑体等大小写英文字母数据集，等这些公开数据集，全国标准车牌号数据规范，车牌号使用公安部设计规范的特殊字体，以黑体为基本字体改进，根据现行机动车号牌标准，示例如图9所示，将一个数字或一个字符作为一个1024*1024的输入图像，且通过远距离拍摄、加入24类噪声、降分辨率等方式，分别提供上述数据集中的相应数字和图像的512*512图像、256*256图像、128*128图像、64*64图像等等，从而建立单个字母和特定单个汉字的高分辨率训练图像对数据集。这个数据集约束了模糊图像恢复模型中的文字和数字的生成范围。
例如，"一段TimesNewRoman字体的文字如下:"，"Innovation in China中国智造，慧及全球"，图集中的"①-Pic01分辨率为32×32"，"②-Pic02分辨率为64×64"，"③-Pic03分辨率为128×128"，"④-Pic04分辨率为256×256"，"⑤-Pic05分辨率为512×512"，"⑥-Pic06分辨率为1024×1024"；等等。
24类噪声、失真及其加入图片的方式如下：高斯噪声、颜色成分中的相加噪声比、亮度成分中的相加噪声更密集、空间相关噪声、掩蔽噪声、高频噪声、脉冲噪声、量化噪声、高斯模糊、图像去噪、JPEG压缩、JPEG2000压缩、JPEG传输差错、JPEG2000传输差错、非偏移图案噪声、不同强度的局部逐块失真、平均偏移(强度偏移)、对比度变化、改变色彩饱和度指数、有损压缩、多重高斯噪声、彩色图像量化、稀疏采样、色差和舒适噪声。
真实车牌图片或视频采集数据库、车辆信息数据库、车辆图片或视频数据集等，进行文字标注和语义标注，为模型提供字母和数字排列规则的潜在约束条件，以便后续模型训练时，能够学习到图片中的字符特征与文本特征相一致的特征信息，从而学习到车牌和车辆信息。
用文心一言或GPT4等语言类大模型算法，通过输入机动车号牌规范文件、Mnist手写数据集、TimesNewRoman、黑体等资料并合理提问，生成关于车牌法规标准的语义文本及其特征对齐关联，从而正向引导自监督训练过程，使得模糊图像恢复模型不仅适用于普通文字数字模糊图像分辨和识别，也适于车牌模糊恢复等具体应用场景。
图10为本申请提供的公开数据多分辨率数据集示意图，图10中包含了4个例子，两个TimesNewRoman举例，一个Mnist手写数据集举例，以及一个北京车牌举例。其中，若以TimesNewRoman为例，则，数据集标注时可以但是不限于按照如下内容对其加以描述——"一段TimesNewRoman字体的文字如下:"，"Innovation in China中国智造，慧及全球"，图集中的"①-Pic01分辨率为32×32"，"②-Pic02分辨率为64×64"，"③-Pic03分辨率为128×128"，"④-Pic04分辨率为256×256"，"⑤-Pic05分辨率为512×512"，"⑥-Pic06分辨率为1024×1024"。"⑥-Pic06分辨率为1024×1024"对应着高清图片，"①-Pic01分辨率为32×32"则对应着超低分辨率图片。各图片或视频各帧的分辨率，可以但不限于按照1024*1024、512*512、256*256、128*128、64*64(或再有32×32)等分辨率由高到低，来组成包含各类分辨率(如上述5类(或6类))集合的图像对，即为上述同一图片(或视频同一帧)对应的各类分辨率建立图像对集合，并对各分辨率图像进行语义标注，比如：分别标注为高清、高、中、低、极低(或超低)等，以便后续模型训练时，能够学习到这种“高清、高、中、低、极低(或超低)”且与上述各分辨率相匹配的特征。
图11为本申请提供的文本语义问答示例示意图，将机动车号牌规范文件、Mnist手写数据集、TimesNewRoman、黑体等资料输入语言问答模型，并合理提问。最终训练得到语言问答模型。
语言类大模型的文本问答举例：
问：“车牌‘京A33333’是否属于合法的机动车车牌？”；
答：“‘京A33333’符合GA 36-2018《中华人民共和国机动车号牌》标准，属于合法机动车车牌。”。
问：“车牌‘US.X77I66’是否属于合法的机动车车牌？”；
答：“‘US.X77I66’不符合GA 36-2018《中华人民共和国机动车号牌》标准，非中国车牌，国籍未知。”。
本申请包括但不限于结合Text to SQL方法配置问答模板，批量生成问答。
上述问答通过特征编码再次同图像特征编码进行对齐，利用自注意力机制等手段，开展问题和答案对应和对齐关系的深度学习训练，获得精炼和准确的政策、法规文本对齐和特征提取能力，回答比原问答语言类大模型更加准确和简练，利用脚本进行问题和答案随机组合，为后续进一步开展自监督训练提供丰富的政策、法规文本特征数据集。
最终可以达到的效果：
问：“‘鲁’在车牌中的含义是什么？”；
答：“‘鲁’是山东省的简称，在车牌中放在英文字母前面第一位，表示车辆归属为山东省。”。
问：“京H*****”；
答：“‘京H*****’符合机动车号牌标准，属于合法机动车车牌。
从而学习到“法规文献资料规定的标准国内车牌的文字构成以及法定顺序”，包括省份的简称及其在车牌中的固定位置，各省从属地域的英文字母所处位置，车牌颜色，车牌后面5～6个字母和数字的法定规则(如，不能有O和I等规定)，从而为后续所训练的模糊图像恢复模型能够真正理解和掌握法规文件，认识车牌。
图12为本申请提供的模糊图像恢复整体流程图，包括图10所示的公开数据多分辨率数据集部分和图11所示的文本语义问答示例部分。结合上述训练数据集、以及结合问答语义特征编码，将上述文本、文字、语义、图片等特征编码逐一匹配和完整对齐，利用自监督学习深度学习网络进行训练，并在模型收敛后，利用评估集进行约束。最终获得文字数字模糊图像恢复模型。
图13为本申请提供的模糊图像恢复算法流程图。
①通过人工画框选取模糊文字数字在图像中的区域，提取出框选后的小图，将模糊小图传递给模糊图像恢复模型，进而给出文字可能内容的前5名候选文字概率(输出端E)，由算法使用者或现场工作人员进行进一步人工判断；
②将所输入的完整图片通过128*128、64*64、32*32(或16*16)分辨率等多重分割策略进行多轮次分割，提取出分割后的每一张小图，将模糊小图一次性全部传递给模糊图像恢复算法，算法通过检测文字输出概率门限阈值，来筛选判断该片段是否包含模糊文字和数字，同时给出文字可能内容的前5名候选文字概率，并保留该模糊分割片段作为其中一张有用信息小图，依次对全部分割策略的全部分割子片段进行筛选，最终每一个包含有用信息小图及其文字数字前5名概率结果(输出端E)，均展示给算法使用者或现场工作人员，由算法使用者或现场工作人员进行进一步人工判断；
③算法使用者或现场工作人员可以在整张大图内通过框选ROI区域(region ofinterest，感兴趣区域)来缩小步骤②中的大图分割范围，剩余步骤与第②步类似，从而提高算法检测效率。
包含文本或文字信息的模糊图像进行图像恢复时，执行上述①～③中任意一类应用均可获得有效结果图片。
当算法在车牌模糊图片恢复的实际应用时，算法使用方，可以提供5～10张可疑车牌的清晰图像给算法，算法通过计算GAN网络生成的数字和字符组合，同5～10个高清车牌的SSIM(Structural Similarity，结构相似度)，给出目标车牌可能性概率，从而缩小甄别范围。
该模型结合强化增量学习模式，为后续模糊图像和清晰图像预置了增量和强化的接口和渠道(强化增量学习信息I)。应用层提供的5～10个高清车牌，经人工确认与某个标车牌可能性概率高的结果相符，或SSIM结构相似度很高，并超过阈值(如高于90％)，此时，强化增量学习会提取该部特征，并将此作为一次正向+1行为，给到自监督训练模型，得到强化1次，并对其图片和文本特征等编码信息完整对齐，从而模型的模糊图像恢复能力得到提升。
如图13所示，若直接框选了模糊文字目标，直接对模糊文字目标进行模糊图像恢复；若框选了ROI区域，对ROI区域进行多分辨率处理，并进行模糊图像恢复；或者直接对原始场景图像进行多分辨率处理，并进行模糊图像恢复。输出所识别文字的文本字符串，输出清晰图像及其百分比概率值。判断是否获取到人工输入的目标清晰图像，若获取到人工输入的目标清晰图像，根据清晰图像和目标清晰图像的结构相似度，对模糊图像恢复模型进行强化增量学习。若不存在人工输入的目标清晰图像，输出所识别文字的文本字符串，输出清晰图像及其百分比概率值。
在算法应用时，动态选取画面上的ROI区域，从而可以进一步提高检测和识别能力。
利用该模型可以对文字或字符模糊的图片整张图片或图片ROI区域进行高分辨率恢复，并给出备选车牌的可能性概率，为侦破和识别提供有用信息，提高侦破效率。
输出相似度，利用SSIM公式，具体如下：
给定两个图像x和y,两张图像的结构相似性可按照以下方式求出
其中μx是x的平均值，μy是y的平均值，是x的方差，/>是y的方差，σxy是x和y的协方差。c1＝(k1L)2，c2＝(k2L)2是用来维持稳定的常数。L是像素值的动态范围，k1＝0.01,k2＝0.03。
结构相似性的范围为-1到1。当两张图像一模一样时，SSIM的值等于1。作为结构相似性理论的实现，结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。
图14为本申请提供的模糊图像恢复效果示意图。由图14发现，可以将模糊图像清晰恢复。
图15为本申请提供的模糊图像恢复装置结构示意图，包括：
模型训练模块151，用于针对训练集中的多个样本图像，对所述样本图像进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将多个加噪样本图像组和所述多个加噪样本图像组对应的样本清晰图像输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练；
图像恢复模块152，用于获取待处理的模糊图像，将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像。
模型训练模块151，用于针对训练集中的多个样本图像，按照预设的多个分辨率，对所述样本图像进行分辨率调整，得到所述样本图像对应的多分辨率图像组，对所述多分辨率图像组进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将多个加噪样本图像组和所述多个加噪样本图像组对应的样本清晰图像输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
模型训练模块151，用于针对训练集中的多个样本图像，按照预设的多个分辨率，对所述样本图像进行分辨率调整，得到所述样本图像对应的多分辨率图像组，对所述多分辨率图像组进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将字符排列规范信息、多个加噪样本图像组、所述多个加噪样本图像组对应的样本清晰图像和所述多个加噪样本图像组对应的文本描述信息输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
图像恢复模块152，用于将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像和所述模糊图像中的目标文本描述信息。
图像恢复模块152，用于获取待处理的图像，若所述图像为字符区域图像，则将所述字符区域图像作为所述待处理的模糊图像；若所述图像为感兴趣区域ROI图像或原始场景图像，按照所述预设的多个分辨率，对所述图像进行分辨率调整，将得到的所述图像对应的多分辨率图像组作为所述待处理的模糊图像。
图像恢复模块152，用于将目标文本描述信息输入语言问答模型，基于所述语言问答模型确定所述目标文本描述信息对应的目标提问信息和目标回答信息。
模型训练模块151，还用于将语言问答样本文件输入所述语言问答模型，基于所述语言问答模型确定设定数量的预测问答信息；确定所述设定数量的预测问答信息的标签，根据所述设定数量的预测问答信息的标签对所述语言问答模型进行训练，其中，所述标签包括正确问答标签和错误问答标签。
模型训练模块151，还用于获取用户输入的待处理的模糊图像对应的目标清晰图像，确定所述模糊图像对应的清晰图像和所述目标清晰图像的结构相似度；若所述结构相似度大于预设的第一相似度阈值，将所述清晰图像作为正激励预测结果对所述模糊图像恢复模型进行更新；若所述结构相似度小于预设的第二相似度阈值，将所述清晰图像作为负激励预测结果对所述模糊图像恢复模型进行更新；其中，所述预设的第二相似度阈值小于所述预设的第一相似度阈值。
本申请还提供了一种电子设备，如图16所示，包括：处理器161、通信接口162、存储器163和通信总线164，其中，处理器161，通信接口162，存储器163通过通信总线164完成相互间的通信；
所述存储器163中存储有计算机程序，当所述程序被所述处理器161执行时，使得所述处理器161执行以上任一方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口162用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
本申请还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现以上任一方法步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种模糊图像恢复方法，其特征在于，所述方法包括：
获取待处理的模糊图像，将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像；
其中，所述模糊图像恢复模型是通过以下方式训练得到的：
针对训练集中的多个样本图像，对所述样本图像进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将多个加噪样本图像组和所述多个加噪样本图像组对应的样本清晰图像输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
2.如权利要求1所述的方法，其特征在于，所述模糊图像恢复模型的训练过程包括：
针对训练集中的多个样本图像，按照预设的多个分辨率，对所述样本图像进行分辨率调整，得到所述样本图像对应的多分辨率图像组，对所述多分辨率图像组进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将多个加噪样本图像组和所述多个加噪样本图像组对应的样本清晰图像输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
3.如权利要求2所述的方法，其特征在于，所述模糊图像恢复模型的训练过程包括：
针对训练集中的多个样本图像，按照预设的多个分辨率，对所述样本图像进行分辨率调整，得到所述样本图像对应的多分辨率图像组，对所述多分辨率图像组进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将字符排列规范信息、多个加噪样本图像组、所述多个加噪样本图像组对应的样本清晰图像和所述多个加噪样本图像组对应的文本描述信息输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练。
4.如权利要求3所述的方法，其特征在于，将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像包括：
将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像和所述模糊图像中的目标文本描述信息。
5.如权利要求2或3所述的方法，其特征在于，获取待处理的模糊图像包括：
获取待处理的图像，若所述图像为字符区域图像，则将所述字符区域图像作为所述待处理的模糊图像；若所述图像为感兴趣区域ROI图像或原始场景图像，按照所述预设的多个分辨率，对所述图像进行分辨率调整，将得到的所述图像对应的多分辨率图像组作为所述待处理的模糊图像。
6.如权利要求4所述的方法，其特征在于，所述方法还包括：
将目标文本描述信息输入语言问答模型，基于所述语言问答模型确定所述目标文本描述信息对应的目标提问信息和目标回答信息。
7.如权利要求6所述的方法，其特征在于，所述语言问答模型的训练过程包括：
将语言问答样本文件输入所述语言问答模型，基于所述语言问答模型确定设定数量的预测问答信息；确定所述设定数量的预测问答信息的标签，根据所述设定数量的预测问答信息的标签对所述语言问答模型进行训练，其中，所述标签包括正确问答标签和错误问答标签。
8.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
获取用户输入的待处理的模糊图像对应的目标清晰图像，确定所述模糊图像对应的清晰图像和所述目标清晰图像的结构相似度；若所述结构相似度大于预设的第一相似度阈值，将所述清晰图像作为正激励预测结果对所述模糊图像恢复模型进行更新；若所述结构相似度小于预设的第二相似度阈值，将所述清晰图像作为负激励预测结果对所述模糊图像恢复模型进行更新；其中，所述预设的第二相似度阈值小于所述预设的第一相似度阈值。
9.一种模糊图像恢复装置，其特征在于，所述装置包括：
模型训练模块，用于针对训练集中的多个样本图像，对所述样本图像进行增加噪声处理，得到所述样本图像对应的加噪样本图像组；将多个加噪样本图像组和所述多个加噪样本图像组对应的样本清晰图像输入所述模糊图像恢复模型，对所述模糊图像恢复模型进行训练；
图像恢复模块，用于获取待处理的模糊图像，将所述模糊图像输入模糊图像恢复模型，基于所述模糊图像恢复模型确定所述模糊图像对应的清晰图像。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310948015.XA CN117115014A (zh) | 2023-07-31 | 2023-07-31 | 一种模糊图像恢复方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310948015.XA CN117115014A (zh) | 2023-07-31 | 2023-07-31 | 一种模糊图像恢复方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117115014A true CN117115014A (zh) | 2023-11-24 |
Family
ID=88799295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310948015.XA Pending CN117115014A (zh) | 2023-07-31 | 2023-07-31 | 一种模糊图像恢复方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115014A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117812275A (zh) * | 2024-02-28 | 2024-04-02 | 哈尔滨学院 | 用于排球辅助训练的图像优化通信方法 |
-
2023
- 2023-07-31 CN CN202310948015.XA patent/CN117115014A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117812275A (zh) * | 2024-02-28 | 2024-04-02 | 哈尔滨学院 | 用于排球辅助训练的图像优化通信方法 |
| CN117812275B (zh) * | 2024-02-28 | 2024-05-28 | 哈尔滨学院 | 用于排球辅助训练的图像优化通信方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191663B (zh) | 车牌号码识别方法、装置、电子设备及存储介质 | |
| CN106960206B (zh) | 字符识别方法和字符识别系统 | |
| US11741578B2 (en) | Method, system, and computer-readable medium for improving quality of low-light images | |
| CN110674688B (zh) | 用于视频监控场景的人脸识别模型获取方法、系统和介质 | |
| CN111598182B (zh) | 训练神经网络及图像识别的方法、装置、设备及介质 | |
| CN109377494B (zh) | 一种用于图像的语义分割方法和装置 | |
| CN117115014A (zh) | 一种模糊图像恢复方法、装置及电子设备 | |
| CN113628152B (zh) | 一种基于多尺度特征选择性融合的暗光图像增强方法 | |
| Hou et al. | Saliency-guided deep framework for image quality assessment | |
| Tong et al. | Learning no-reference quality metric by examples | |
| CN109740553B (zh) | 一种基于识别的图像语义分割数据筛选方法及系统 | |
| CN111340041B (zh) | 一种基于深度学习的车牌识别方法及装置 | |
| Lee et al. | Super-resolution of license plate images via character-based perceptual loss | |
| CN115937022A (zh) | 一种基于迭代残差学习的少样本图像修复方法 | |
| US20220067882A1 (en) | Image processing device, computer readable recording medium, and method of processing image | |
| CN112597925B (zh) | 手写字迹的识别/提取、擦除方法及擦除系统、电子设备 | |
| CN113792659A (zh) | 文档识别方法、装置及电子设备 | |
| CN112750128A (zh) | 图像语义分割方法、装置、终端及可读存储介质 | |
| CN116386018A (zh) | 车牌字符分类方法以及系统 | |
| CN116091862A (zh) | 一种画质识别方法、装置、设备、存储介质及产品 | |
| CN113807194B (zh) | 一种增强性电力传输线故障图像识别方法 | |
| CN114612907A (zh) | 一种车牌识别方法及装置 | |
| CN114862724A (zh) | 一种基于指数移动平均知识蒸馏的对比式图像去雾方法 | |
| CN110648291B (zh) | 一种基于深度学习的无人机运动模糊图像的复原方法 | |
| CN113298102B (zh) | 一种目标分类模型的训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |