CN108986029B - 文字图像超分辨率重建方法、系统、终端设备及存储介质 - Google Patents
文字图像超分辨率重建方法、系统、终端设备及存储介质 Download PDFInfo
- Publication number
- CN108986029B CN108986029B CN201810722617.2A CN201810722617A CN108986029B CN 108986029 B CN108986029 B CN 108986029B CN 201810722617 A CN201810722617 A CN 201810722617A CN 108986029 B CN108986029 B CN 108986029B
- Authority
- CN
- China
- Prior art keywords
- layer
- feature layer
- feature
- image
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 238000005070 sampling Methods 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 54
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 8
- 230000008034 disappearance Effects 0.000 abstract description 12
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
本发明公开了一种文字图像超分辨率重建方法、系统、终端设备及存储介质，通过将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像，能够有效防止梯度消失现象，并且提升了网络性能，进而提取出图片更深层次的特征，使网络具有更强的学习能力，能够加快文字图像超分辨率重建的速度，提高了文字图像重建的精确度。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种文字图像超分辨率重建方法、系统、终端设备及存储介质。
背景技术
深度神经网络是一种复杂的数学模型，它由一层层网络层组成，输入的数据在经过所有网络层后得到输出数据，根据输出数据与标记数据的差异可以构造出损失函数，然后对损失函数梯度进行反向传播，就可以对网络层的权重进行更新，从而进一步减小输出数据和标记数据间的差异。其中，用于输入的数据集与对应的标记数据构成了深度神经网络的训练数据集，深度神经网络的功能及性能跟网络结构和训练数据集相关。深度学习在图像处理领域被广泛使用，并且普遍取得优于传统方法的性能。
图像超分辨重建是指把低分辨率的图像重建为高分辨率的图像，从而使图像具有更优的辨识度。使用深度神经网络对图像进行超分辨重建，是目前性能最优的图像超分辨方法。
当前基于深度神经网络的图像超分模型，虽然优于双三次插值等传统方法，但是还原的高清晰度图像，距离真实的高清晰度图像仍有较大差距。此外，对于带有文字的图像，由于文字这类图形带有很多高频的信号，在压缩的过程中往往会丢失高频的信号，使图像丢失细节(如纹理等)的信息，这使得文字在压缩后变得难以辨认。假如图像中的文字相对较小，使用常规的深度神经网络模型往往难以对文字信息进行还原至可辨识级别。另外，一般而言，网络越深，越能提取出图片的深度特征，使网络有更强大的能力。但是，随着深度神经网络的加深到一定层数后，会出现“梯度消失”的问题，从而使得难以对网络权重进行优化。
发明内容
本发明的主要目的在于提供一种文字图像超分辨率重建方法、系统、终端设备及存储介质，旨在解决现有技术中文字图像重建时细节丢失严重，还原的文字信息可辨识度低且会出现梯度消失现象的技术问题。
为实现上述目的，本发明提供一种文字图像超分辨率重建方法，所述文字图像超分辨率重建方法包括以下步骤：
将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；
将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；
将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像。
优选地，所述将所述当前低级特征层输入至残差网络块组中，获得新的特征层，具体包括：
将所述当前低级特征层输入至残差网络块组中，获得各残差网络块输出的特征层；
对各残差网络块输出的特征层进行融合处理，获得新的特征层。
优选地，所述将所述当前低级特征层输入至残差网络块组中，获得各残差网络块输出的特征层，具体包括：
将所述当前低级特征层输入至残差网络块组中，前一残差网络块输出的特征层作为下一残差网络块输入的特征层，依次获得各残差网络块输出的特征层。
优选地，所述根据各残差网络块输出的特征层进行融合处理，获得新的特征层，具体包括：
将各残差网络块输出的特征层进行拼接，获得融合后的特征层；
根据融合后的特征层与所述低级特征层获得新的特征层。
优选地，所述根据融合后的特征层与所述低级特征层获得新的特征层，具体包括：
将融合后的特征层的尺寸调整为与所述低级特征层的尺寸一致；
在所述融合后的特征层的尺寸与所述低级特征层的尺寸一致时，将所述融合后的特征层与所述低级特征层相加，获得新的特征层。
优选地，所述将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的文字图像，具体包括：
将所述新的特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；
将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像。
优选地，所述将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层之前，所述文字图像超分辨率重建方法还包括：
从预设文字图像集中选取预设数量的样本文字图像，并获取各样本文字图像对应的样本低级特征层；
将各样本文字图像代入至预设训练模型，获得训练结果，所述训练模型为基于深度卷积神经网络建立的模型；
获取各样本文字特征序列与所述训练结果的匹配度，根据所述匹配度对所述预设训练模型进行优化；
将优化后的预设训练模型作为预设图像特征提取模型。
此外，为实现上述目的，本发明还提出一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文字图像超分辨率重建程序，所述文字图像超分辨率重建程序配置为实现如上文所述的文字图像超分辨率重建方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有文字图像超分辨率重建程序，所述文字图像超分辨率重建程序被处理器执行时实现如上文所述的文字图像超分辨率重建方法的步骤。
此外，为实现上述目的，本发明还提供一种文字图像超分辨率重建系统，所述文字图像超分辨率重建系统包括：
特征层获取模块，用于将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；
残差运算模块，用于将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；
重建模块，用于将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像。
本发明提出的文字图像超分辨率重建方法，通过将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像，能够有效防止梯度消失现象，并且提升了网络性能，进而提取出图片更深层次的特征，使网络具有更强的学习能力，能够加快文字图像超分辨率重建的速度，提高了文字图像重建的精确度。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图；
图2为本发明文字图像超分辨率重建方法第一实施例的流程示意图；
图3为本发明文字图像超分辨率重建方法第二实施例的流程示意图；
图4为本发明文字图像超分辨率重建方法第三实施例的流程示意图；
图5为本发明文字图像超分辨率重建系统第一实施例的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的解决方案主要是：本发明通过将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像，能够有效防止梯度消失现象，并且提升了网络性能，进而提取出图片更深层次的特征，使网络具有更强的学习能力，能够加快文字图像超分辨率重建的速度，提高了文字图像重建的精确度，解决了现有技术中文字图像重建时细节丢失严重，还原的文字信息可辨识度低且会出现梯度消失现象的技术问题。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图。
如图1所示，该终端设备可以包括：处理器1001，例如CPU，通信总线1002、用户端接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户端接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户端接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端设备结构并不构成对该终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户端接口模块以及文字图像超分辨率重建程序。
本发明终端设备通过处理器1001调用存储器1005中存储的文字图像超分辨率重建程序，并执行以下操作：
将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；
将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；
将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像。
进一步地，处理器1001可以调用存储器1005中存储的文字图像超分辨率重建程序，还执行以下操作：
将所述当前低级特征层输入至残差网络块组中，获得各残差网络块输出的特征层；
对各残差网络块输出的特征层进行融合处理，获得新的特征层。
进一步地，处理器1001可以调用存储器1005中存储的文字图像超分辨率重建程序，还执行以下操作：
将所述当前低级特征层输入至残差网络块组中，前一残差网络块输出的特征层作为下一残差网络块输入的特征层，依次获得各残差网络块输出的特征层。
进一步地，处理器1001可以调用存储器1005中存储的文字图像超分辨率重建程序，还执行以下操作：
将各残差网络块输出的特征层进行拼接，获得融合后的特征层；
根据融合后的特征层与所述低级特征层获得新的特征层。
进一步地，处理器1001可以调用存储器1005中存储的文字图像超分辨率重建程序，还执行以下操作：
将融合后的特征层的尺寸调整为与所述低级特征层的尺寸一致；
在所述融合后的特征层的尺寸与所述低级特征层的尺寸一致时，将所述融合后的特征层与所述低级特征层相加，获得新的特征层。
进一步地，处理器1001可以调用存储器1005中存储的文字图像超分辨率重建程序，还执行以下操作：
将所述新的特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；
将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像。
进一步地，处理器1001可以调用存储器1005中存储的文字图像超分辨率重建程序，还执行以下操作：
从预设文字图像集中选取预设数量的样本文字图像，并获取各样本文字图像对应的样本低级特征层；
将各样本文字图像代入至预设训练模型，获得训练结果，所述训练模型为基于深度卷积神经网络建立的模型；
获取各样本文字特征序列与所述训练结果的匹配度，根据所述匹配度对所述预设训练模型进行优化；
将优化后的预设训练模型作为预设图像特征提取模型。
本实施例通过上述方案，通过将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像，能够有效防止梯度消失现象，并且提升了网络性能，进而提取出图片更深层次的特征，使网络具有更强的学习能力，能够加快文字图像超分辨率重建的速度，提高了文字图像重建的精确度。
基于上述硬件结构，提出本发明文字图像超分辨率重建方法实施例。
参照图2，图2为本发明文字图像超分辨率重建方法第一实施例的流程示意图。
在第一实施例中，所述文字图像超分辨率重建方法包括以下步骤：
步骤S10、将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系。
需要说明的是，所述待处理文字图像为需要进行处理的还有文字的图像，所述预设图像特征提取模型为预先设置的用于反映文字图像与低级特征层的映射关系的模型，通过将待处理文字图像输入至预设图像特征提取模型，可以获得与所述待处理文字图像对应的当前低级特征层，从而为后续图片重建做准备。
步骤S20、将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成。
需要说明的是，所述残差网络块(Residual Network Block，RNB)用于解决深度卷积神经网络增加深度带来的副作用即退化问题，这样能够通过单纯地增加网络深度，来提高网络性能，通过将所述当前低级特征层输入至残差网络块组中，可以获得新的特征层，所述残差网络块组由若干串联的残差网络块组成，一般的，获得图片的低级特征层(featuremaps)之后，将低级特征层传入到一系列串联的残差网络块中，以使所述残差网络块对输入的特征层进行处理，获得更高级别的特征层。
步骤S30、将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像。
可以理解的是，所述上采样就是采集模拟信号的样本。采样是将时间上、幅值上都连续的信号，在采样脉冲的作用下，转换成时间、幅值上离散的信号。上采样的过程也类似于一个卷积的过程，只不过在卷积之前将输入特征插值到一个更大的特征图然后进行卷积，通过将新的特征层进行上采样，再对上采样后的特征层进行特征提取，就可以获得重建后的超分辨率文字图像。
进一步地，所述步骤S30具体包括以下步骤：
将所述新的特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；
将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像。
应当理解的是，通过将所述信道特征层进行深度神经网络的上采样，并对上采样后的特征层进行特征提取，可以获得各层深度神经网络输出的特征，并且将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像，可以有效防止梯度消失现象，并且提升了网络性能，同时加快了文字图像超分辨率重建的速度，提高了文字图像重建的精确度。
在具体实现中，通过将新的特征层进行上采样网络后，再提取特征，就得到重建的高分辨率图片。这种网络结构可以有效的防止“梯度消失”，使网络可以变得更深，进而提取出图片更深层次的特征，网络也就有了更强的学习能力。
本实施例通过上述方案，通过将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像，能够有效防止梯度消失现象，并且提升了网络性能，进而提取出图片更深层次的特征，使网络具有更强的学习能力，能够加快文字图像超分辨率重建的速度，提高了文字图像重建的精确度。
进一步地，图3为本发明文字图像超分辨率重建方法第二实施例的流程示意图，如图3所示，基于第一实施例提出本发明文字图像超分辨率重建方法第二实施例，在本实施例中，所述步骤S20具体包括以下步骤：
步骤S21、将所述当前低级特征层输入至残差网络块组中，获得各残差网络块输出的特征层。
需要说明的是，将所述当前低级特征层输入至残差网络块组中，可以分别获得各个残差网络块输出的特征层，从而为后续对特征层的处理做准备。
进一步地，所述步骤S21具体包括以下步骤：
将所述当前低级特征层输入至残差网络块组中，前一残差网络块输出的特征层作为下一残差网络块输入的特征层，依次获得各残差网络块输出的特征层。
可以理解的是，将所述当前低级特征层输入至残差网络块组中，可以依次获得各个残差网络块的输出结果，即特征层，而相应的，前一个残差网络块输出的特征层作为下一个残差网络块输入的特征层，依次获得各残差网络块输出的特征层，直至所有的残差网络块都输出时，结束这一步骤。
步骤S22、对各残差网络块输出的特征层进行融合处理，获得新的特征层。
应当理解的是，各残差网络块输出结束后，统计各残差网络块输出的特征层，对各残差网络块输出的特征层进行融合处理，可以获得新的特征层，提升了网络性能，进而可以提取出文字图片更深层次的特征，保证了文字图片重建的准确度和清晰度。
进一步地，所述步骤S22具体包括以下步骤：
将各残差网络块输出的特征层进行拼接，获得融合后的特征层；
根据融合后的特征层与所述低级特征层获得新的特征层。
可以理解的是，通过将各残差网络块输出的特征层进行拼接，可以获得拼接后的特征层，即融合后的特征层，根据融合后的特征层结合所述低级特征层可以获得新的特征层。
进一步地，所述步骤根据融合后的特征层与所述低级特征层获得新的特征层，具体包括以下步骤：
将融合后的特征层的尺寸调整为与所述低级特征层的尺寸一致；
在所述融合后的特征层的尺寸与所述低级特征层的尺寸一致时，将所述融合后的特征层与所述低级特征层相加，获得新的特征层。
应当理解，通过将融合后的特征层与所述低级特征层进行尺寸调节，使所述融合后的特征层的尺寸与所述低级特征层的尺寸一致，从而更好的进行特征层的融合，将尺寸一致的融合后的特征层与所述低级特征层相加，就可以得到新的特征层。
在具体实现中，一般的，将低级特征层传入到一系列串联的残差网络块RNB之后。RNB对输入的特征层进行处理，产生更高级别的特征层，与输入的特征层进行相加后作为输出，然后作为下一个RNB的输入，直到最后一个RNB。随后，将所有RNB输出的特征拼接在一起后进行特征融合，使融合后特征层的尺寸与低级特征层一致，随后将两者相加，可以得到新的特征层。
本实施例通过上述方案，通过将所述当前低级特征层输入至残差网络块组中，获得各残差网络块输出的特征层；对各残差网络块输出的特征层进行融合处理，获得新的特征层，可以获得新的特征层，提升了网络性能，进而可以提取出文字图片更深层次的特征，保证了文字图片重建的准确度和清晰度。
进一步地，图4为本发明文字图像超分辨率重建方法第三实施例的流程示意图，如图4所示，基于第二实施例提出本发明文字图像超分辨率重建方法第三实施例，在本实施例中，所述步骤S10之前，所述文字图像超分辨率重建方法还包括以下步骤：
步骤S01、从预设文字图像集中选取预设数量的样本文字图像，并获取各样本文字图像对应的样本低级特征层。
需要说明的是，所述预设文字图像集为预先设置的用于训练模型的文字图像的集合，可以包含大量的各种类别的文字图像，从所述预设文字图像集中选取预设数量的样本文字图像，获取样本文字图像的方式可以是特殊指定，也可以是随机选取，当然也可以是其他方式，本实施例对此不加以限制；相应地，所述预设文字图像集还包括与各样本文字图像对应的样本低级特征层。
步骤S02、将各样本文字图像代入至预设训练模型，获得训练结果，所述训练模型为基于深度卷积神经网络建立的模型。
可以理解的是，所述预设训练模型为基于深度卷积神经网络建立的模型，用于反映文字图像与低级特征层之间的关系，通过将各样本文字图像代入至预设训练模型可以获得与各样本文字图像对应的训练结果。
步骤S03、获取各样本文字特征序列与所述训练结果的匹配度，根据所述匹配度对所述预设训练模型进行优化。
应当理解的是，将各样本文字特征序列与所述训练结果进行匹配，可以获得各样本文字特征序列与所述训练结果的匹配结果，即各样本低级特征层是否与训练结果一致，若不一致则寻找其差异处，生成相应的匹配结果，根据所述匹配结果可以对预设训练模型进行优化，即对预设的权重进行调整以及调整其他运算参数，直至所述匹配结果为匹配一致。
步骤S04、将优化后的预设训练模型作为预设图像特征提取模型。
可以理解的是，优化后的预设训练模型能够更加准确的获得所述文字图像对应的低级特征层，将优化后的预设训练模型作为预设特征提取模型可以提高文字图像超分辨率重建速度和效率，并且保证了文字图像的准确度和清晰度。
本实施例通过上述方案，通过从预设文字图像集中选取预设数量的样本文字图像，并获取各样本文字图像对应的样本低级特征层；将各样本文字图像代入至预设训练模型，获得训练结果，所述训练模型为基于深度卷积神经网络建立的模型；获取各样本文字特征序列与所述训练结果的匹配度，根据所述匹配度对所述预设训练模型进行优化；将优化后的预设训练模型作为预设图像特征提取模型，进一步提高了文字图像超分辨率重建速度和效率，并且保证了文字图像的准确度和清晰度，使网络具有更强的学习能力。
本发明进一步提供一种文字图像超分辨率重建系统。
参照图5，图5为本发明文字图像超分辨率重建系统第一实施例的功能模块图。
本发明文字图像超分辨率重建系统第一实施例中，该文字图像超分辨率重建系统包括：
特征层获取模块10，用于将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系。
需要说明的是，所述待处理文字图像为需要进行处理的还有文字的图像，所述预设图像特征提取模型为预先设置的用于反映文字图像与低级特征层的映射关系的模型，通过将待处理文字图像输入至预设图像特征提取模型，可以获得与所述待处理文字图像对应的当前低级特征层，从而为后续图片重建做准备。
残差运算模块20，用于将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成。
需要说明的是，所述残差网络块(Residual Network Block，RNB)用于解决深度卷积神经网络增加深度带来的副作用即退化问题，这样能够通过单纯地增加网络深度，来提高网络性能，通过将所述当前低级特征层输入至残差网络块组中，可以获得新的特征层，所述残差网络块组由若干串联的残差网络块组成，一般的，获得图片的低级特征层(featuremaps)之后，将低级特征层传入到一系列串联的残差网络块中，以使所述残差网络块对输入的特征层进行处理，获得更高级别的特征层。
重建模块30，用于将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像。
可以理解的是，所述上采样就是采集模拟信号的样本。采样是将时间上、幅值上都连续的信号，在采样脉冲的作用下，转换成时间、幅值上离散的信号。上采样的过程也类似于一个卷积的过程，只不过在卷积之前将输入特征插值到一个更大的特征图然后进行卷积，通过将新的特征层进行上采样，再对上采样后的特征层进行特征提取，就可以获得重建后的超分辨率文字图像。
应当理解的是，通过将所述信道特征层进行深度神经网络的上采样，并对上采样后的特征层进行特征提取，可以获得各层深度神经网络输出的特征，并且将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像，可以有效防止梯度消失现象，并且提升了网络性能，同时加快了文字图像超分辨率重建的速度，提高了文字图像重建的精确度。
在具体实现中，通过将新的特征层进行上采样网络后，再提取特征，就得到重建的高分辨率图片。这种网络结构可以有效的防止“梯度消失”，使网络可以变得更深，进而提取出图片更深层次的特征，网络也就有了更强的学习能力。
本实施例通过上述方案，通过将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像，能够有效防止梯度消失现象，并且提升了网络性能，进而提取出图片更深层次的特征，使网络具有更强的学习能力，能够加快文字图像超分辨率重建的速度，提高了文字图像重建的精确度。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有文字图像超分辨率重建程序，所述文字图像超分辨率重建程序被处理器执行时实现如下操作：
将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；
将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；
将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像。
进一步地，所述文字图像超分辨率重建程序被处理器执行时还实现如下操作：
将所述当前低级特征层输入至残差网络块组中，获得各残差网络块输出的特征层；
对各残差网络块输出的特征层进行融合处理，获得新的特征层。
进一步地，所述文字图像超分辨率重建程序被处理器执行时还实现如下操作：
将所述当前低级特征层输入至残差网络块组中，前一残差网络块输出的特征层作为下一残差网络块输入的特征层，依次获得各残差网络块输出的特征层。
进一步地，所述文字图像超分辨率重建程序被处理器执行时还实现如下操作：
将各残差网络块输出的特征层进行拼接，获得融合后的特征层；
根据融合后的特征层与所述低级特征层获得新的特征层。
进一步地，所述文字图像超分辨率重建程序被处理器执行时还实现如下操作：
将融合后的特征层的尺寸调整为与所述低级特征层的尺寸一致；
在所述融合后的特征层的尺寸与所述低级特征层的尺寸一致时，将所述融合后的特征层与所述低级特征层相加，获得新的特征层。
进一步地，所述文字图像超分辨率重建程序被处理器执行时还实现如下操作：
将所述新的特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；
将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像。
进一步地，所述文字图像超分辨率重建程序被处理器执行时还实现如下操作：
从预设文字图像集中选取预设数量的样本文字图像，并获取各样本文字图像对应的样本低级特征层；
将各样本文字图像代入至预设训练模型，获得训练结果，所述训练模型为基于深度卷积神经网络建立的模型；
获取各样本文字特征序列与所述训练结果的匹配度，根据所述匹配度对所述预设训练模型进行优化；
将优化后的预设训练模型作为预设图像特征提取模型。
本实施例通过上述方案，通过将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像，能够有效防止梯度消失现象，并且提升了网络性能，进而提取出图片更深层次的特征，使网络具有更强的学习能力，能够加快文字图像超分辨率重建的速度，提高了文字图像重建的精确度。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种文字图像超分辨率重建方法，其特征在于，所述文字图像超分辨率重建方法包括：
将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；
将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；
将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像；
其中，所述将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层的步骤之前，还包括：
从预设文字图像集中选取预设数量的样本文字图像，并获取各样本文字图像对应的样本低级特征层；
将各样本文字图像代入至预设训练模型，获得训练结果，所述训练模型为基于深度卷积神经网络建立的模型；
获取各样本文字特征序列与所述训练结果的匹配度，根据所述匹配度对所述预设训练模型进行优化；
将优化后的预设训练模型作为预设图像特征提取模型；
其中，所述将所述当前低级特征层输入至残差网络块组中，获得新的特征层，具体包括：
将所述当前低级特征层输入至残差网络块组中，获得各残差网络块输出的特征层；
对各残差网络块输出的特征层进行融合处理，获得新的特征层；
其中，所述根据各残差网络块输出的特征层进行融合处理，获得新的特征层，具体包括：
将各残差网络块输出的特征层进行拼接，获得融合后的特征层；
根据融合后的特征层与所述低级特征层获得新的特征层；
其中，所述将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的文字图像，具体包括：
将所述新的特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；
将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像。
2.如权利要求1所述的文字图像超分辨率重建方法，其特征在于，所述将所述当前低级特征层输入至残差网络块组中，获得各残差网络块输出的特征层，具体包括：
将所述当前低级特征层输入至残差网络块组中，前一残差网络块输出的特征层作为下一残差网络块输入的特征层，依次获得各残差网络块输出的特征层。
3.如权利要求1所述的文字图像超分辨率重建方法，其特征在于，所述根据融合后的特征层与所述低级特征层获得新的特征层，具体包括：
将融合后的特征层的尺寸调整为与所述低级特征层的尺寸一致；
在所述融合后的特征层的尺寸与所述低级特征层的尺寸一致时，将所述融合后的特征层与所述低级特征层相加，获得新的特征层。
4.一种文字图像超分辨率重建系统，其特征在于，所述文字图像超分辨率重建系统包括：
特征层获取模块，用于将待处理文字图像输入至预设图像特征提取模型，获得与所述待处理文字图像对应的当前低级特征层，所述预设图像特征提取模型反映文字图像与低级特征层的映射关系；
残差运算模块，用于将所述当前低级特征层输入至残差网络块组中，获得新的特征层，所述残差网络块组由若干串联的残差网络块组成；
重建模块，用于将所述新的特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像；
所述特征层获取模块，还用于从预设文字图像集中选取预设数量的样本文字图像，并获取各样本文字图像对应的样本低级特征层；将各样本文字图像代入至预设训练模型，获得训练结果，所述训练模型为基于深度卷积神经网络建立的模型；获取各样本文字特征序列与所述训练结果的匹配度，根据所述匹配度对所述预设训练模型进行优化；将优化后的预设训练模型作为预设图像特征提取模型；
所述残差运算模块，还用于将所述当前低级特征层输入至残差网络块组中，获得各残差网络块输出的特征层；对各残差网络块输出的特征层进行融合处理，获得新的特征层；
所述残差运算模块，还用于将各残差网络块输出的特征层进行拼接，获得融合后的特征层；根据融合后的特征层与所述低级特征层获得新的特征层；
所述重建模块，还用于将所述新的特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像。
5.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文字图像超分辨率重建程序，所述文字图像超分辨率重建程序配置为实现如权利要求1至3中任一项所述的文字图像超分辨率重建方法的步骤。
6.一种存储介质，其特征在于，所述存储介质上存储有文字图像超分辨率重建程序，所述文字图像超分辨率重建程序被处理器执行时实现如权利要求1至3中任一项所述的文字图像超分辨率重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810722617.2A CN108986029B (zh) | 2018-07-03 | 2018-07-03 | 文字图像超分辨率重建方法、系统、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810722617.2A CN108986029B (zh) | 2018-07-03 | 2018-07-03 | 文字图像超分辨率重建方法、系统、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108986029A CN108986029A (zh) | 2018-12-11 |
| CN108986029B true CN108986029B (zh) | 2023-09-08 |
Family
ID=64536077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810722617.2A Active CN108986029B (zh) | 2018-07-03 | 2018-07-03 | 文字图像超分辨率重建方法、系统、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108986029B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136134A (zh) * | 2019-04-03 | 2019-08-16 | 深兰科技（上海）有限公司 | 一种用于路面分割的深度学习方法、装置、设备及介质 |
| CN112863539B (zh) * | 2019-11-28 | 2024-04-16 | 科大讯飞股份有限公司 | 一种高采样率语音波形生成方法、装置、设备及存储介质 |
| CN111223161B (zh) * | 2020-01-02 | 2024-04-12 | 京东科技控股股份有限公司 | 一种图像重建方法、装置及存储介质 |
| CN112330540A (zh) * | 2020-11-08 | 2021-02-05 | 哈尔滨理工大学 | 一种基于多尺度优化的图像超分辨率方法 |
| CN112419159A (zh) * | 2020-12-07 | 2021-02-26 | 上海互联网软件集团有限公司 | 文字图像超分辨率重建系统及方法 |
| CN113591798B (zh) * | 2021-08-23 | 2023-11-03 | 京东科技控股股份有限公司 | 文档文字的重建方法及装置、电子设备、计算机存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017075768A1 (zh) * | 2015-11-04 | 2017-05-11 | 北京大学深圳研究生院 | 一种基于字典匹配的图像超分辨率重建方法及装置 |
| CN107358575A (zh) * | 2017-06-08 | 2017-11-17 | 清华大学 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
| CN107578377A (zh) * | 2017-08-31 | 2018-01-12 | 北京飞搜科技有限公司 | 一种基于深度学习的超分辨率图像重建方法及系统 |
| EP3319039A1 (en) * | 2016-11-07 | 2018-05-09 | UMBO CV Inc. | A method and system for providing high resolution image through super-resolution reconstruction |
-
2018
- 2018-07-03 CN CN201810722617.2A patent/CN108986029B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017075768A1 (zh) * | 2015-11-04 | 2017-05-11 | 北京大学深圳研究生院 | 一种基于字典匹配的图像超分辨率重建方法及装置 |
| EP3319039A1 (en) * | 2016-11-07 | 2018-05-09 | UMBO CV Inc. | A method and system for providing high resolution image through super-resolution reconstruction |
| CN107358575A (zh) * | 2017-06-08 | 2017-11-17 | 清华大学 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
| CN107578377A (zh) * | 2017-08-31 | 2018-01-12 | 北京飞搜科技有限公司 | 一种基于深度学习的超分辨率图像重建方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于残差神经网络的图像超分辨率改进算法;王一宁等;《计算机应用》;20180110(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108986029A (zh) | 2018-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108986029B (zh) | 文字图像超分辨率重建方法、系统、终端设备及存储介质 | |
| EP3754591A1 (en) | Image processing method and device, storage medium and electronic device | |
| CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN108921225B (zh) | 一种图像处理方法及装置、计算机设备和存储介质 | |
| CN108022212B (zh) | 高分辨率图片生成方法、生成装置及存储介质 | |
| CN112396115B (zh) | 基于注意力机制的目标检测方法、装置及计算机设备 | |
| CN110490082B (zh) | 一种有效融合神经网络特征的道路场景语义分割方法 | |
| EP3620987A1 (en) | Method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network | |
| KR20230054432A (ko) | 인물 이미지 복원 방법, 장치, 전자 기기, 기억 매체 및 프로그램 제품 | |
| CN110781923A (zh) | 特征提取方法及装置 | |
| CN114170167B (zh) | 基于注意力引导上下文校正的息肉分割方法和计算机设备 | |
| CN111553861B (zh) | 一种图像超分辨率重构方法、装置、设备及可读存储介质 | |
| EP4075373A1 (en) | Image processing method and apparatus | |
| CN110852980A (zh) | 交互式图像填充方法及系统、服务器、设备及介质 | |
| CN111754406B (zh) | 图像分辨率处理方法、装置、设备及可读存储介质 | |
| CN113221925A (zh) | 一种基于多尺度图像的目标检测方法及装置 | |
| CN111553290A (zh) | 文本识别方法、装置、设备及存储介质 | |
| CN111429468A (zh) | 细胞核分割方法、装置、设备及存储介质 | |
| CN111161386A (zh) | 超声图像的渲染方法、装置及超声设备 | |
| CN109996085B (zh) | 模型训练方法、图像处理方法、装置及电子设备 | |
| CN112489103A (zh) | 一种高分辨率深度图获取方法及系统 | |
| CN111429458A (zh) | 一种图像还原的方法、装置及电子设备 | |
| CN115393868A (zh) | 文本检测方法、装置、电子设备和存储介质 | |
| CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |