CN110675324B - 4k超高清图像清晰化处理方法 - Google Patents
4k超高清图像清晰化处理方法 Download PDFInfo
- Publication number
- CN110675324B CN110675324B CN201810707430.5A CN201810707430A CN110675324B CN 110675324 B CN110675324 B CN 110675324B CN 201810707430 A CN201810707430 A CN 201810707430A CN 110675324 B CN110675324 B CN 110675324B
- Authority
- CN
- China
- Prior art keywords
- image
- definition
- ultra
- features
- high definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003707 image sharpening Methods 0.000 title claims abstract description 11
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000003321 amplification Effects 0.000 abstract description 3
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种4K超高清图像清晰化处理方法，包括以下操作步骤：A)、图像采集；B)、图像放大；C)、数据传输；D)、卷积层处理；E)、采样层处理；F)、权值差值计算；G)、图像特征拟合；H)、图像清晰度校核：①对图像的清晰度进行校核，当图像的清晰度不好，则回到步骤F)；②当图像的清晰度符合；I)、完成。本发明通过卷积神经网络对4K超高清图像进行清晰化，通过图像的逐步放大使权值梯度在设定的范围内，通过图像清晰度校核模块避免图像过拟合问题，推广应用具有良好的经济效益和社会效益。
Description
技术领域
本发明属于音视频技术领域，特别涉及一种4K超高清图像清晰化处理方法。
背景技术
4K超高清图像是用4K分辨率即4096x2160的像素分辨率成像得到的图像，4K级别的分辨率可提供880多万像素，能提供近千万像素的显示品质。随着4K超高清图像处理技术广泛应用，它在数字高清成像、目标识别、遥感探测等领域具有广阔的应用前景。4K超高清图像清晰化处理是提高成像品质的关键技术，4K超高清图像在成像过程中受到图像采集仪器和环境等因素的影响，容易导致成像的清晰化程度不好。
图像分类是近年来才发展起来的一门新兴科学技术，它的主要研究内容为图像的分类与描述。一个图像分类系统主要由图像信息的获取、信息加工和处理、特征抽取、判断或分类等部分组成。图像分类的方法目前主要可以分为两大类：基于图像空间的分类方法和基于特征空间的分类方法。基于图像空间的分类方法主要是利用图像的颜色、灰度、纹理、形状、位置等底层特征来对图像进行分类。比如对于颜色特征，任何物体都有颜色特征，因此我们可以根据颜色特征来对物体进行分类，最早利用颜色特征进行图像分类是Swain提出的颜色直方图方法，该方法是利用不同颜色在整幅图像中所占比例来区分图像，但它无法准确的描述每种颜色所在的具体位置也无法描述图像中的对象或物体。对于纹理特征，它是描述像素间的灰度空间分布规律，它在日常生活中是无处不在的，如云朵、树木、水波纹等都是不同的纹理，在获取图像的纹理后经过计算机处理和数字化转换后可以得到对图像进行分析和处理的信号。在上个世纪70年代，Haralick就提出了基于纹理特征的灰度共生矩阵表示方法，该方法基于像素之间的距离和方向建立灰度共生矩阵，在由这个矩阵得到纹理特征向量。由于纹理图像的多样性以及分析算法的复杂性，目前没有一种普遍适用的方法以至于纹理特征很难跨领域推广。对于形状特征，它是描述一条封闭的轮廓曲线所包围的区域，形状通常与图像中的特定目标对象有关，是人们视觉系统对目标对象的初步认识，目前的基于形状分类的方法大多围绕从形状的轮廓特征和形状的区域特征建立图像索引。以上的一些图像空间分类方法大都是数据量较大，计算复杂性较高，而且分类精度一般不高。而基于特征空间的分类方法则是将原图像经过某种变换如K-L变换、小波变换等变换到特征空间去提取图像的高层特征来实现图像的分类。基于特征空间的分类方法在一定程度上可以降低数据的维度和计算复杂性，但是问题的相关性很强，而且与特征提取方法和效果有很大的关联性。一个图像分类系统中最重要的部分就是特征提取了，每幅图像都有自己本身独特的图像信息，这些信息是图像分类的基础，而特征提取就是提取图像信息的关键技术。
卷积神经网络(Convolutional NeuralNetwork，CNN)是一个新型的人工神经网络方法，在处理二维图像领域表现出良好的性能，卷积神经网络能增强特征选择模型，能将传统特征评价方法对特征重要性的理解结合到神经网络的学习过程中，以辅助神经网络进行特征选择，在大数据集上对于一个大规模的卷积神经网络来说，每一个训练实例都会在图像到标签的映射上强加很多约束，因此图像过拟合问题是不可避免的。
如何通过卷积神经网络对4K超高清图像进行清晰化，如何避免图像过拟合问题，成为急需解决的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种4K超高清图像清晰化处理方法，用于解决现有技术中图像过拟合的问题。
为实现上述目的及其他相关目的，本发明提供一种4K超高清图像清晰化处理方法，包括网络服务器，其特征在于：包括以下操作步骤：
A)、图像采集：
将图像采集仪器采集的图像上传到网络服务器；
B)、图像放大：
网络服务器将原始图像放大；
C)、数据传输：
网络服务器将原始图像、放大图像分别传输到卷积神经网络；
D)、卷积层处理：
卷积神经网络的卷积层分别对原始图像、放大图像的轮廓特征、线特征进行；
E)、采样层处理：
卷积神经网络的采样层分别对原始图像、放大图像的轮廓特征图采样、线特征图采样；
F)、权值差值计算：
①通过BP算法计算特征图的权值梯度，当权值梯度超出，则回到步骤B)；
②当权值梯度在设定的范围内，进入下一步；
G)、图像特征拟合：
对图像的特征进行拟合运算，并进行轮廓边缘的插值填充；
H)、图像清晰度校核：
①对图像的清晰度进行校核，当图像的清晰度不好，则回到步骤F)；
②当图像的清晰度符合，进入下一步；
I)、完成。
于本发明的一实施例中，所述的步骤B)中，原始图像放大按照0.25倍的倍数逐步放大。
于本发明的一实施例中，所述的步骤D)中，卷积层中有若干个卷积核函数，这些卷积核函数分别作用于原始图像、放大图像，提取图像轮廓特征、线特征的局部特征。
于本发明的一实施例中，所述的步骤E)中，采样层对卷积层内的特征图进行子采样，使其减小分辨率从而减小模型的复杂度，经过子采样后的特征具有缩放不变的能力。
本发明通过卷积神经网络对4K超高清图像进行清晰化，通过图像的逐步放大使权值梯度在设定的范围内，通过图像清晰度校核模块避免图像过拟合问题，推广应用具有良好的经济效益和社会效益。
附图说明
图1是本发明的工序流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，4K超高清图像清晰化处理方法，包括网络服务器，包括以下操作步骤：
A)、图像采集：
将图像采集仪器采集的图像上传到网络服务器；
B)、图像放大：
网络服务器将原始图像放大；
C)、数据传输：
网络服务器将原始图像、放大图像分别传输到卷积神经网络；
D)、卷积层处理：
卷积神经网络的卷积层分别对原始图像、放大图像的轮廓特征、线特征进行；
E)、采样层处理：
卷积神经网络的采样层分别对原始图像、放大图像的轮廓特征图采样、线特征图采样；
F)、权值差值计算：
①通过BP算法计算特征图的权值梯度，当权值梯度超出，则回到步骤B)；
②当权值梯度在设定的范围内，进入下一步；
G)、图像特征拟合：
对图像的特征进行拟合运算，并进行轮廓边缘的插值填充；
H)、图像清晰度校核：
①对图像的清晰度进行校核，当图像的清晰度不好，则回到步骤F)；
②当图像的清晰度符合，进入下一步；
I)、完成；
所述的步骤B)中，原始图像放大按照0.25倍的倍数逐步放大；
所述的步骤D)中，卷积层中有若干个卷积核函数，这些卷积核函数分别作用于原始图像、放大图像，提取图像轮廓特征、线特征的局部特征；
所述的步骤E)中，采样层对卷积层内的特征图进行子采样，使其减小分辨率从而减小模型的复杂度，经过子采样后的特征具有缩放不变的能力。
综上所述，本发明通过卷积神经网络对4K超高清图像进行清晰化，通过图像的逐步放大使权值梯度在设定的范围内，通过图像清晰度校核模块避免图像过拟合问题。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (3)
1.4K超高清图像清晰化处理方法，包括网络服务器，其特征在于：包括以下操作步骤：
A)、图像采集：
将图像采集仪器采集的图像上传到网络服务器；
B)、图像放大：
网络服务器将原始图像放大；
C)、数据传输：
网络服务器将原始图像、放大图像分别传输到卷积神经网络；
D)、卷积层处理：
卷积神经网络的卷积层分别对原始图像、放大图像的轮廓特征、线特征进行卷积，卷积层中有若干个卷积核函数，这些卷积核函数分别作用于原始图像、放大图像，提取图像轮廓特征、线特征的局部特征；
E)、采样层处理：
卷积神经网络的采样层分别对原始图像、放大图像的轮廓特征图采样、线特征图采样；
F)、权值差值计算：
①通过BP算法计算特征图的权值梯度，当权值梯度超出，则回到步骤B)；
②当权值梯度在设定的范围内，进入下一步；
G)、图像特征拟合：
对图像的特征进行拟合运算，并进行轮廓边缘的插值填充；
H)、图像清晰度校核：
①对图像的清晰度进行校核，当图像的清晰度不好，则回到步骤F)；
②当图像的清晰度符合，进入下一步；
I)、完成。
2.根据权利要求1所述的4K超高清图像清晰化处理方法，其特征在于：所述的步骤B)中，原始图像放大按照0.25倍的倍数逐步放大。
3.根据权利要求1所述的4K超高清图像清晰化处理方法，其特征在于：所述的步骤E)中，采样层对卷积层内的特征图进行子采样，使其减小分辨率从而减小模型的复杂度，经过子采样后的特征具有缩放不变的能力。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810707430.5A CN110675324B (zh) | 2018-07-02 | 2018-07-02 | 4k超高清图像清晰化处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810707430.5A CN110675324B (zh) | 2018-07-02 | 2018-07-02 | 4k超高清图像清晰化处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110675324A CN110675324A (zh) | 2020-01-10 |
| CN110675324B true CN110675324B (zh) | 2023-10-10 |
Family
ID=69065965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810707430.5A Active CN110675324B (zh) | 2018-07-02 | 2018-07-02 | 4k超高清图像清晰化处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110675324B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1819621A (zh) * | 2006-01-25 | 2006-08-16 | 杭州维科软件工程有限责任公司 | 医学图像增强处理方法 |
| WO2016019484A1 (en) * | 2014-08-08 | 2016-02-11 | Xiaoou Tang | An apparatus and a method for providing super-resolution of a low-resolution image |
| CN105976318A (zh) * | 2016-04-28 | 2016-09-28 | 北京工业大学 | 一种图像超分辨率重建方法 |
| CN106228162A (zh) * | 2016-07-22 | 2016-12-14 | 王威 | 一种基于深度学习的移动机器人快速物体识别方法 |
| CN107066995A (zh) * | 2017-05-25 | 2017-08-18 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
| CN107564025A (zh) * | 2017-08-09 | 2018-01-09 | 浙江大学 | 一种基于深度神经网络的电力设备红外图像语义分割方法 |
| CN107563422A (zh) * | 2017-08-23 | 2018-01-09 | 西安电子科技大学 | 一种基于半监督卷积神经网络的极化sar分类方法 |
| CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
| CN108122197A (zh) * | 2017-10-27 | 2018-06-05 | 江西高创保安服务技术有限公司 | 一种基于深度学习的图像超分辨率重建方法 |
| CN108229381A (zh) * | 2017-12-29 | 2018-06-29 | 湖南视觉伟业智能科技有限公司 | 人脸图像生成方法、装置、存储介质和计算机设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4521468B1 (ja) * | 2009-02-25 | 2010-08-11 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
| FR3059804B1 (fr) * | 2016-12-07 | 2019-08-02 | Idemia Identity And Security | Systeme de traitement d'images |
-
2018
- 2018-07-02 CN CN201810707430.5A patent/CN110675324B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1819621A (zh) * | 2006-01-25 | 2006-08-16 | 杭州维科软件工程有限责任公司 | 医学图像增强处理方法 |
| WO2016019484A1 (en) * | 2014-08-08 | 2016-02-11 | Xiaoou Tang | An apparatus and a method for providing super-resolution of a low-resolution image |
| CN105976318A (zh) * | 2016-04-28 | 2016-09-28 | 北京工业大学 | 一种图像超分辨率重建方法 |
| CN106228162A (zh) * | 2016-07-22 | 2016-12-14 | 王威 | 一种基于深度学习的移动机器人快速物体识别方法 |
| CN107066995A (zh) * | 2017-05-25 | 2017-08-18 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
| CN107564025A (zh) * | 2017-08-09 | 2018-01-09 | 浙江大学 | 一种基于深度神经网络的电力设备红外图像语义分割方法 |
| CN107563422A (zh) * | 2017-08-23 | 2018-01-09 | 西安电子科技大学 | 一种基于半监督卷积神经网络的极化sar分类方法 |
| CN108122197A (zh) * | 2017-10-27 | 2018-06-05 | 江西高创保安服务技术有限公司 | 一种基于深度学习的图像超分辨率重建方法 |
| CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
| CN108229381A (zh) * | 2017-12-29 | 2018-06-29 | 湖南视觉伟业智能科技有限公司 | 人脸图像生成方法、装置、存储介质和计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 曾凯,丁世飞.图像超分辨率重建的研究进展.计算机工程与应用.2017,29-35. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110675324A (zh) | 2020-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898065B (zh) | 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法 | |
| Ke et al. | A review of methods for automatic individual tree-crown detection and delineation from passive remote sensing | |
| CN107358260B (zh) | 一种基于表面波cnn的多光谱图像分类方法 | |
| CN111462120B (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
| CN107480620B (zh) | 基于异构特征融合的遥感图像自动目标识别方法 | |
| CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
| CN110070545B (zh) | 一种城镇纹理特征密度自动提取城镇建成区的方法 | |
| CN112766155A (zh) | 一种基于深度学习的海水养殖区提取方法 | |
| CN112132166A (zh) | 一种数字细胞病理图像智能分析方法、系统及装置 | |
| CN114067118B (zh) | 一种航空摄影测量数据的处理方法 | |
| CN113313081B (zh) | 融合车载三维激光点云与影像的道路交通杆状物分类方法 | |
| CN115880594A (zh) | 一种基于无人机视觉感知和深度学习的堤坝裂缝智能检测方法 | |
| Vidyarthi et al. | Classification of breast microscopic imaging using hybrid CLAHE-CNN deep architecture | |
| Ensafi et al. | Accurate HEp-2 cell classification based on sparse bag of words coding | |
| Yang et al. | Classification of 3D terracotta warriors fragments based on geospatial and texture information | |
| Li et al. | Evaluation the performance of fully convolutional networks for building extraction compared with shallow models | |
| CN107729863B (zh) | 人体指静脉识别方法 | |
| CN113628252A (zh) | 一种基于热成像视频的泄漏气体云团检测方法 | |
| Wu | Neural network big data fusion in remote sensing image processing technology | |
| CN110675324B (zh) | 4k超高清图像清晰化处理方法 | |
| Abishek et al. | Soil Texture Prediction Using Machine Learning Approach for Sustainable Soil Health Management | |
| Wei et al. | Method for vortex shape retrieval and area calculation based on convex hull algorithm | |
| Nasri et al. | Images enhancement of ancient mural painting of Bey’s palace constantine, Algeria and Lacuna extraction using mahalanobis distance classification approach | |
| CN108154107B (zh) | 一种确定遥感图像归属的场景类别的方法 | |
| Huang et al. | Medical image super-resolution based on the generative adversarial network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231114 Address after: 033000 Leijiagou Yangta, Ningxiang Township, Zhongyang County, Lvliang City, Shanxi Province (settled at No. A-012, Panshi Incubation Co., Ltd., Zhongyang County) Patentee after: Shanxi Zhiyu Technology Co.,Ltd. Address before: Room 333, 3rd Floor, Building 3, No. 118 Huguang East Road, Huangpu District, Shanghai, 200000 Patentee before: Shanghai Voice Intelligent Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |