CN117057987A - 一种栅格海图超分辨率提升方法 - Google Patents

一种栅格海图超分辨率提升方法 Download PDF

Info

Publication number
CN117057987A
CN117057987A CN202310933620.XA CN202310933620A CN117057987A CN 117057987 A CN117057987 A CN 117057987A CN 202310933620 A CN202310933620 A CN 202310933620A CN 117057987 A CN117057987 A CN 117057987A
Authority
CN
China
Prior art keywords
chart
resolution
slice
super
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310933620.XA
Other languages
English (en)
Inventor
董箭
马梦锴
唐露露
谢天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA Dalian Naval Academy
Original Assignee
PLA Dalian Naval Academy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA Dalian Naval Academy filed Critical PLA Dalian Naval Academy
Priority to CN202310933620.XA priority Critical patent/CN117057987A/zh
Publication of CN117057987A publication Critical patent/CN117057987A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种栅格海图超分辨率提升方法，属于海图制图技术领域。本发明从海图制图实际出发，基于SRGAN网络模型设计栅格海图超分辨率提升方法，成功地解决了海图制图资料中低分辨率栅格海图的超分辨率提升问题。相较于传统插值方法，本发明采用数据驱动的方式，通过构建先验知识库来让网络模型学习栅格图像的特征并进行像素重组。这种方法与传统的插值重采样方法本质上不同，实验结果表明本发明在视觉感受和相似度上均具有显著的提升效果。

Description

一种栅格海图超分辨率提升方法
技术领域
本发明属于海图制图技术领域，涉及一种栅格海图超分辨率提升方法，以提高栅格海图分辨率。
背景技术
近年来，随着我国深远海战略的持续实施，海图保障范围也在逐步扩大，栅格海图作为海图制图中的重要资料，其主要来源于遥感、纸质海图扫描及矢量数据转化。然而，栅格海图资料来源具有多样性，其数据质量并不能很好统一，甚至有些栅格海图数据因分辨率过低出现注记模糊、要素重叠、线划锯齿化等问题，难以满足制图需求。面对这种情况，若该区域无其他可靠制图资料，往往会采用超分辨率提升技术将低分辨率图像重建为高分辨率图像。
随着深度学习在其他计算机视觉领域中取得的突破性进展，人们尝试引入生成对抗网络，通过构建生成对抗网络模型解决图像超分辨率提升问题。当前，基于深度学习的图像超分辨率提升方法在船舶图像目标检测、遥感图像重建、图像质量提升等问题上已经取得较好的效果与应用，该方法让网络模型学习低分辨率图像和高分辨率图像之间的映射关系，其输出的图像精度高、质量好，逐渐成为超分辨率提升领域的研究热点。
因此，为解决低质量栅格海图资料的分辨率提升问题，本发明尝试通过生成对抗网络模型设计了一种栅格海图超分辨率提升方法。
发明内容
虽然基于深度学习的图像超分辨率方法已经应用到了不同领域并取得了较好效果，但目前尚未有学者针对栅格海图的超分辨率提升方法做出研究。故本发明为填补低分辨率栅格海图利用深度学习方法提升质量的研究空白，选取经典的SRGAN模型作为主体模型，将其应用于栅格海图的超分辨率提升，并分别通过定性及定量实验证明方法的有效性。
本发明为实现上述目的所采用的技术方案是：
一种栅格海图超分辨率提升方法，包括以下步骤：
a、构建深度学习成对数据集，并进行模型训练
首先，对高分辨率原始图像通过高斯滤波及双三次插值下采样得到近似标准尺寸的低分辨率图像，与高分辨率原始图像组成成对训练集。然后将所得到的成对训练集输入到SRGAN网络模型中，在训练过程中，SRGAN网络模型会分别训练两个模型，即生成模型和判别模型，生成模型用于根据低分辨率图像生成高分辨率结果；判别模型用于判断生成结果是真实与否，当判别模型无法准确判别生成结果是原始高分辨率图像还是生成图像时，即完成网络模型训练，模型收敛。后续在应用时采用的是训练过程中的生成模型。
b、将资料栅格图进行依托缓冲区的均匀切分
由于大幅面原始栅格海图尺寸与SRGAN网络模型第一个卷积层尺寸差异过大，进而导致大幅面栅格海图无法直接作为SRGAN网络模型输入，因此，采用参数自适应的切分方法将原栅格海图切分为多个海图切片，通过减小图像输入尺寸，使SRGAN网络模型可以被引入到解决大幅面栅格海图超分辨率提升的问题。切分方法如式(1)所示：
式中：m、n分别表示总列数、总行数，width和height分别表示原始海图宽、高的像素值，结果舍弃小数向下取整，s表示网络模型的标准尺寸。
c、海图切片定位
在完成海图切片切分后，为了后续将其拼接复原，还需一并记录每个切片相对大幅面栅格海图的位置信息，实现海图切片定位的方法主要依托海图切片角点坐标值，任取原始栅格海图中某一海图切片x，其列、行数已知，结合均匀切分法海图切片的宽高width、height，即可计算出该切片角点的坐标，坐标计算公式如式(2)：
式中：Xp和Yp分别表示海图切片x其左上角点图上横、纵坐标，单位为像素；m、n分别为总列数和总行数；width和height分别表示栅格图像宽、高的像素值；i、j分别表示海图切片所在的列数和行数，列、行号从1起算。
d、基于SRGAN模型对海图切片进行超分辨率提升
将切分、定位好的海图切片逐一送入步骤a所训练的SRGAN网络生成模型中，基于已训练好的SRGAN网络模型对切片进行超分辨率提升，保证提升分辨率后的海图切片大小一致。
e、保持空间关系不变的海图切片拼接
在完成超分辨率提升后，结合步骤c中的定位信息对输出结果进行行、列编号；其次保证SRGAN网络模型输出与输入编号不变，确定其相对关系，再根据海图切片像素提升倍数推算出新的角点坐标。进而将提升质量后的各海图切片角点坐标和其编号进行拼接，在空间关系不变的基础上还原海图，得到高分辨率栅格海图。
本发明的有益效果：本发明从海图制图实际出发，基于SRGAN网络模型设计栅格海图超分辨率提升方法，成功地解决了海图制图资料中低分辨率栅格海图的超分辨率提升问题。相较于传统插值方法，本发明采用数据驱动的方式，通过构建先验知识库来让网络模型学习栅格图像的特征并进行像素重组。这种方法与传统的插值重采样方法本质上不同，实验结果表明本发明在视觉感受和相似度上均具有显著的提升效果。
附图说明
图1是SRGAN模型训练方法略图。
图2是基于SRGAN模型实现超分辨率提升原理图。
图3是本发明所属栅格海图超分辨率提升方法的总流程图。
图4是本发明实现栅格海图水深注记自动提取的效果图，其中第一列为原始栅格图像，第二列为下采样后的栅格图像，第三列为超分辨率提升后的栅格图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合附图，对本发明的具体实施方式进行详细的描述。
如图1所示，本实施例在训练SRGAN栅格海图超分辨率提升模型的基础上，不仅构建了顾及SRGAN输入要求的栅格海图切分模型，还设计并实现了可保持栅格海图关系不变的SRGAN输出拼接模型。上述三个部分共同构成了栅格海图超分辨率提升方法。
本实施例可以较好地实现栅格海图的超分辨率提升，其具体实施步骤如下：
a、构建深度学习成对数据集，并进行模型训练；
b、将资料栅格图进行依托缓冲区的均匀切分；
c、海图切片定位；
d、基于SRGAN模型对海图切片进行超分辨率提升；
e、保持空间关系不变的海图切片拼接。
本实施例首先将切分后的海图切片作为训练集，通过高斯滤波及双三次插值下采样得到近似标准尺寸的低分辨率图像，与高分辨率原始图像组成成对数据集，形成样本数为2453对的超分辨率提升数据集。然后对SRGAN模型进行了训练，如图2所示，生成器子网络通过映射特征实现图像的重建，而判别器子网络用于鉴别生成器子网络生成的图像是否与原图(高清图)相似，当鉴别器子网络无法鉴别生成图像的真假时，整个网络即可适用于重建高清图。通常情况下，栅格海图图像尺寸远大于神经网络的第一个卷积层尺寸，无法将其直接应用到大幅面栅格海图中。其主要原因是SRGAN模型中反卷积层会对原始图片进行上采样，若尺寸差异过大，则SRGAN模型提升分辨率的结果较差。故本实施例通过切分方法将原始栅格海图进行预处理，使切分后的栅格海图切片符合SRGAN模型的输入要求。
为满足SRGAN模型的输入要求，本实施例按照通常情况，栅格海图按扫描纸质海图的数字化作业经验，其分辨率一般为300dpi，尺寸约为10000×14000像素。若将其直接作为SRGAN生成网络输入，需对原始栅格海图进行重采样至该网络模型第一个卷积层尺寸。显然，两者尺寸差异过大，将导致细节信息损失严重，进而无法识别其中的目标要素。步骤b中采用参数自适应的切分方法将原始栅格海图切分为多个海图切片，所采用的SRGAN模型标准尺寸为150*150像素。因此，本实施例首先在原始图像边缘处填充空白像素至150的倍数，而后根据栅格海图尺寸，实现栅格海图的自适应切片。切分公式为式(1)。
本实施例以英版栅格海图为例，上述步骤a、b预处理步骤完成后，海图切片其大小符合SRGAN模型输入要求。步骤c为了后续将SRGAN模型输出进行还原拼接，需要在切分时将切分的海图切片进行定位。首先，通过式(1)可以计算得到切分后的总列数和行数。然后，在此基础上根据切分顺序确定每个海图切片所处的列、行数。最后，任取原始栅格海图中某一海图切片，其列、行数已知，结合均匀切分法海图切片的宽高，即可计算出该切片角点的坐标，其计算方法如式(2)。而后，步骤d通过训练好的SRGAN模型对海图切片一一进行超分辨率提升。
最后，通过步骤e将这些高质量海图切片重新拼接为完整海图，通过以下步骤实现可保持栅格海图关系不变的拼接输出。首先，在切分模型的基础上，对其输出结果进行行、列编号；其次保证SRGAN网络模型输出与输入编号不变，确定其相对关系；再次，结合前文所叙述的切片定位，根据切片质量提升倍数推算出新的角点坐标；最后根据提升质量后的各海图切片角点坐标和其编号进行拼接，在空间关系不变的基础上还原海图，得到高分辨率栅格海图。

Claims (7)

1.一种栅格海图超分辨率提升方法，其特征在于，该方法包括如下步骤：
a、构建深度学习成对数据集，并进行模型训练；
b、将资料栅格图进行依托缓冲区的均匀切分；
c、海图切片定位；
d、基于SRGAN模型对海图切片进行超分辨率提升；
e、保持空间关系不变的海图切片拼接。
2.根据权利要求1所述的一种栅格海图超分辨率提升方法，其特征在于，所述步骤a的具体过程如下：首先，对高分辨率原始图像通过高斯滤波及双三次插值下采样得到低分辨率图像，与高分辨率原始图像组成成对训练集；然后将所得到的成对训练集输入到SRGAN网络模型中，在训练过程中，SRGAN网络模型会分别训练两个模型，即生成模型和判别模型，生成模型用于根据低分辨率图像生成高分辨率结果；判别模型用于判断生成结果是真实与否，当判别模型无法准确判别生成结果是原始高分辨率图像还是生成图像时，即完成网络模型训练，模型收敛。
3.根据权利要求1或2所述的一种栅格海图超分辨率提升方法，其特征在于，所述步骤b中，采用参数自适应的切分方法将原栅格海图切分为多个海图切片，通过减小图像输入尺寸，使SRGAN网络模型可以被引入到解决大幅面栅格海图超分辨率提升的问题；切分方法如式(1)所示：
式中：m、n分别表示总列数、总行数，width和height分别表示原始海图宽、高的像素值，结果舍弃小数向下取整，s表示网络模型的标准尺寸。
4.根据权利要求1或2所述的一种栅格海图超分辨率提升方法，其特征在于，所述步骤c中，实现海图切片定位的方法依托海图切片角点坐标值，任取原始栅格海图中某一海图切片x，其列、行数已知，结合均匀切分法海图切片的宽高width、height，计算出该切片角点的坐标，坐标计算公式如式(2)：
式中：Xp和Yp分别表示海图切片x其左上角点图上横、纵坐标，单位为像素；m、n分别为总列数和总行数；width和height分别表示栅格图像宽、高的像素值；i、j分别表示海图切片所在的列数和行数，列、行号从1起算。
5.根据权利要求3所述的一种栅格海图超分辨率提升方法，其特征在于，所述步骤c中，实现海图切片定位的方法依托海图切片角点坐标值，任取原始栅格海图中某一海图切片x，其列、行数已知，结合均匀切分法海图切片的宽高width、height，计算出该切片角点的坐标，坐标计算公式如式(2)：
式中：Xp和Yp分别表示海图切片x其左上角点图上横、纵坐标，单位为像素；m、n分别为总列数和总行数；width和height分别表示栅格图像宽、高的像素值；i、j分别表示海图切片所在的列数和行数，列、行号从1起算。
6.根据权利要求1、2或5所述的一种栅格海图超分辨率提升方法，其特征在于，所述步骤d中，将切分、定位好的海图切片逐一送入步骤a所训练的SRGAN网络生成模型中，基于已训练好的SRGAN网络模型对切片进行超分辨率提升，保证提升分辨率后的海图切片大小一致。
7.根据权利要求1、2或5所述的一种栅格海图超分辨率提升方法，其特征在于，所述步骤e中，在完成超分辨率提升后，结合步骤c中的定位信息对输出结果进行行、列编号；其次保证SRGAN网络模型输出与输入编号不变，确定其相对关系，再根据海图切片像素提升倍数推算出新的角点坐标；进而将提升质量后的各海图切片角点坐标和其编号进行拼接，在空间关系不变的基础上还原海图，得到高分辨率栅格海图。
CN202310933620.XA 2023-07-27 2023-07-27 一种栅格海图超分辨率提升方法 Pending CN117057987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310933620.XA CN117057987A (zh) 2023-07-27 2023-07-27 一种栅格海图超分辨率提升方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310933620.XA CN117057987A (zh) 2023-07-27 2023-07-27 一种栅格海图超分辨率提升方法

Publications (1)

Publication Number Publication Date
CN117057987A true CN117057987A (zh) 2023-11-14

Family

ID=88656439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310933620.XA Pending CN117057987A (zh) 2023-07-27 2023-07-27 一种栅格海图超分辨率提升方法

Country Status (1)

Country Link
CN (1) CN117057987A (zh)

Similar Documents

Publication Publication Date Title
CN111723585B (zh) 一种风格可控的图像文本实时翻译与转换方法
CN102790841B (zh) 书籍的书脊区域中数字图像的检测和校正方法
CN109448001B (zh) 一种图片自动裁剪方法
DE102016011380A1 (de) Bildsynthese unter Verwendung einer Aktivmaske
CN110580680B (zh) 基于组合学习的人脸超分辨率方法及装置
CN110544300B (zh) 一种基于二维手绘图像特征自动生成三维模型的方法
CN111899295B (zh) 一种基于深度学习的单目场景深度预测方法
CN114049420B (zh) 一种模型训练方法、图像渲染方法、装置和电子设备
CN110222784A (zh) 融合短时和长时深度特征的太阳能电池片缺陷检测方法
Chen et al. Single depth image super-resolution using convolutional neural networks
CN114863258B (zh) 海天线场景中基于视角转换检测小目标的方法
CN107085505A (zh) 一种cdr文件自动处理和自动比对方法及系统
CN107689050A (zh) 一种基于彩色图像边缘引导的深度图像上采样方法
CN110889374A (zh) 印章图像处理方法、装置、计算机及存储介质
JP5254250B2 (ja) ベクトルグラフィックをラスター化するプロセスにおいて境界を発生させるための方法およびシステム、ならびに、システムを製造するための方法
CN102737240A (zh) 分析数字文档图像的方法
CN113362361B (zh) 形态学先验约束的甲骨文字检测的图像数据集构建方法
CN117523592B (zh) 一种印章区域表格线检测方法
CN112949755B (zh) 一种基于图像结构信息的ocr数据合成方法
CN117576699A (zh) 一种基于深度学习的机车工单信息智能识别方法及系统
CN113705640A (zh) 基于遥感影像快速构建飞机检测数据集的方法
JP2014106713A (ja) プログラム、方法、及び情報処理装置
CN117333369A (zh) 一种深度学习框架下矩形边界保持的图像拼接方法
CN117057987A (zh) 一种栅格海图超分辨率提升方法
CN103927533B (zh) 一种针对早期专利文档扫描件中图文信息的智能处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination