CN110180186B - 一种地形图转换方法及系统 - Google Patents

一种地形图转换方法及系统 Download PDF

Info

Publication number
CN110180186B
CN110180186B CN201910453305.0A CN201910453305A CN110180186B CN 110180186 B CN110180186 B CN 110180186B CN 201910453305 A CN201910453305 A CN 201910453305A CN 110180186 B CN110180186 B CN 110180186B
Authority
CN
China
Prior art keywords
geometric
picture
interference
matched
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910453305.0A
Other languages
English (en)
Other versions
CN110180186A (zh
Inventor
闫立婷
张然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wonderful Idea Information Technology Co ltd
Original Assignee
Beijing Wonderful Idea Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wonderful Idea Information Technology Co ltd filed Critical Beijing Wonderful Idea Information Technology Co ltd
Priority to CN201910453305.0A priority Critical patent/CN110180186B/zh
Publication of CN110180186A publication Critical patent/CN110180186A/zh
Application granted granted Critical
Publication of CN110180186B publication Critical patent/CN110180186B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5378—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for displaying an additional top view, e.g. radar screens or maps
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种地形图转换方法及系统，涉及图像编辑技术领域，解决现有技术中玩家编辑地形图时存在效率低下、操作繁琐的问题。该方法包括：对草稿地形图进行预处理，获得去干扰图片；通过深度神经网络，识别去干扰图片中表示地形元素类型和几何参数的标签；将识别出的标签从去干扰图片中删除，获得去标签图片；识别去标签图片中表示地形元素轮廓的几何图形；将识别出的标签与识别出的几何图形进行匹配；根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，将草稿地形图转换成可编辑电子地形图。本发明的方案能够自动将玩家的草稿地形图转换成游戏编辑器中可编辑的电子蓝图，实现方式简单、方便、易操作，且提高了处理效率。

Description

一种地形图转换方法及系统
技术领域
本发明涉及图像编辑技术领域，尤其涉及一种地形图转换方法及系统。
背景技术
随着电子技术的不断发展，网络游戏已经成为很多用户娱乐消遣的方式，网络游戏的种类和内容也越来越丰富，同时用户对网络游戏的体验要求也越来越高。为了满足不同用户的体验需求，玩家可自行设计地形图，但在传统游戏地图编辑器中，玩家编辑地形图时存在效率低下、操作繁琐的问题，这一问题亟待解决。
发明内容
本发明实施例提供一种地形图转换方法及系统，以解决现有技术中玩家编辑地形图时存在效率低下、操作繁琐的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明的实施例提供了一种地形图转换方法，包括：
对草稿地形图进行预处理，获得去干扰图片；
通过深度神经网络，识别所述去干扰图片中表示地形元素类型和几何参数的标签；
将识别出的标签从所述去干扰图片中删除，获得去标签图片；
识别所述去标签图片中表示地形元素轮廓的几何图形；
将识别出的标签与识别出的几何图形进行匹配；
根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，将草稿地形图转换成可编辑电子地形图。
可选的，所述对草稿地形图进行预处理，获得去干扰图片的步骤包括：
对草稿地形图进行二值化处理，获得二值化图片；
对二值化图片的图像噪点及干扰线进行去除处理，获得去干扰图片。
可选的，所述通过深度神经网络，识别所述去干扰图片中表示地形元素类型和几何参数的标签的步骤包括：
通过第一深度神经网络，识别并截取所述去干扰图片中表示地形元素类型和几何参数的标签预选区域；
将标签预选区域的范围按预设参数扩大后，对标签预选区域内的干扰线进行去除处理，并调整标签预选区域的坐标位置，获得标记有标签预先区域的标记图片；
通过第二深度神经网络，识别所述标记图片中各标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字。
可选的，所述第一深度神经网络包括第一深层卷积神经网络层、第一双向循环长短时记忆神经网络层、第一全连接层和第一输出层；
所述通过第一深度神经网络，识别并截取所述去干扰图片中表示地形元素类型和几何参数的标签预选区域的步骤包括：
将所述去干扰图片作为第一深层卷积神经网络层的输入，通过所述第一深层卷积神经网络层对所述去干扰图片进行特征提取，获得第一网络特征图；
将所述第一网络特征图以预定尺寸的窗口为滑动单位，逐行逐位滑动，每行得到W个一维向量，W为所述第一网络特征图的宽度；
将每行得到的W个一维向量分别作为第一双向循环长短时记忆神经网络层的输入，通过所述第一双向循环长短时记忆神经网络层获得第一张量；
将所述第一张量作为第一全连接层的输入，通过所述第一全连接层获得第二张量；
将所述第二张量作为第一输出层的输入，通过所述第一输出层获得所述第一网络特征图中每个像素点所映射的去干扰图片中像素区域的输出结果，所述输出结果包括纵坐标偏移量预测结果、文字概率预测结果和边界偏移量预测结果；
根据所述网络特征图中每个像素点所映射的去干扰图片中像素区域的输出结果，确定所述去干扰图片中表示地形元素类型和几何参数的标签预选区域。
可选的，所述将所述第二张量作为第一输出层的输入，通过所述第一输出层获得所述第一网络特征图中每个像素点所映射的去干扰图片中像素区域的输出结果的步骤包括：
将所述第二张量作为第一输出层的输入，通过所述第一输出层获得所述第一网络特征图中每个像素点在不同锚anchor尺寸下所映射的去干扰图片中像素区域的输出结果。
可选的，所述第二深度神经网络包括第二深层卷积神经网络层、第二双向循环长短时记忆神经网络层、第二全连接层和第二输出层；
所述通过第二深度神经网络，识别所述标记图片中各标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字的步骤包括：
将所述标记图片作为第二深层卷积神经网络层的输入，通过所述第二深层卷积神经网络层对所述标记图片中各标签预选区域进行特征提取，获得第二网络特征图；
将所述第二网络特征图作为第二双向循环长短时记忆神经网络层的输入，通过所述第二双向循环长短时记忆神经网络层获得第三张量；
将所述第三张量作为第二全连接层的输入，通过所述第二全连接层获得第四张量；
将所述第四张量作为第二输出层的输入，通过所述第二输出层获得所述二网络特征图中每帧结果向量映射为所有图标和文字的概率；
根据所述二网络特征图中每帧结果向量映射为所有图标和文字的概率，确定所述标记图片中各标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字。
可选的，所述通过第一深度神经网络，识别并截取所述去干扰图片中表示地形元素类型和几何参数的标签预选区域之前，还包括：
通过预先准备的第一草稿标签数据集，对第一深度神经网络进行训练，并在训练过程中增加干扰线和干扰文字；
其中，所述第一草稿标签数据集包括图标数据集和文字数据集；
所述通过第二深度神经网络，识别所述标记图片中各标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字之前，还包括：
通过预先准备的第二草稿标签数据集，对第二深度神经网络进行训练，并在训练过程中增加干扰线和干扰文字；
其中，所述第二草稿标签数据集包括图标数据集和文字数据集。
可选的，所述识别所述去标签图片中表示地形元素轮廓的几何图形的步骤包括：
将所述去标签图片按照预设细化算法进行一次图像细化，并对图像细化处理后的去标签图片进行膨胀处理和腐蚀处理，获得第一阶段图片；
将所述第一阶段图片与图像细化处理前的去标签图片进行逻辑与操作，获得第二阶段图片；
将所述第二阶段图片按照预设细化算法进行二次图像细化，获得第三阶段图片；
在所述第三阶段图片中通过遍寻的方式查找几何图形轮廓线的轮廓点，根据遍寻结果确定所述第三阶段图片中表示地形元素轮廓的几何图形。
可选的，在所述第三阶段图片中按照遍寻的方式查找几何图形轮廓线的轮廓点，根据遍寻结果确定所述第三阶段图片中表示地形元素轮廓的几何图形之后，还包括：
获取所述第三阶段图片中确定出的各几何图形的评价参数，将各几何图形的评价参数分别与预设评价指标进行比较；
删除所述第三阶段图片中评价参数小于预设评价指标的几何图形；
其中，所述评价参数包括轮廓最小像素点个数和轮廓最小外接矩形面积。
可选的，所述将识别出的标签与识别出的几何图形进行匹配的步骤包括：
将识别出的标签作为目标标签，根据目标标签与每个几何图形的相对位置关系，确定目标标签的待匹配几何图形；
若待匹配几何图形未匹配给其他标签，则将该待匹配几何图形作为目标标签的匹配几何图形；
若待匹配几何图形已匹配给其他标签，则获取目标标签最小外接矩形与待匹配几何图形最小外接矩形的交集与并集的第一比例，并获取已匹配标签最小外接矩形与待匹配几何图形最小外接矩形的交集与并集的第二比例；
若第一比例大于第二比例，则将待匹配几何图形作为目标标签的匹配几何图形；若第二比例大于第一比例，则将待匹配几何图形继续作为已匹配标签的匹配几何图形；
若第一比例与第二比例相同，则获取目标标签最小外接矩形中心点与待匹配几何图形最小外接矩形中心点的第一距离，并获取已匹配标签最小外接矩形中心点与待匹配几何图形最小外接矩形中心点的第二距离；
若第一距离小于第二距离，则将待匹配几何图形作为目标标签的匹配几何图形；若第二距离大于第一距离，则将待匹配几何图形继续作为已匹配标签的匹配几何图形。
可选的，所述根据目标标签与每个几何图形的相对位置关系，确定目标标签的待匹配几何图形的步骤包括：
查找覆盖区域与目标标签具有交集的几何图形；
若只有一个几何图形的覆盖区域与目标标签的覆盖区域具有交集，则将该几何图形作为目标标签的待匹配几何图形；
若有多个几何图形的覆盖区域与目标标签的覆盖区域具有交集，则将多个具有交集的几何图形作为候选图形，获取目标标签最小外接矩形与每个候选图形最小外接矩形的交集与并集的比例，并获取比例最大的候选图形作为目标标签的待匹配几何图形；
若没有覆盖区域与目标标签具有交集的几何图形，则获取目标标签最小外接矩形中心点与每个几何图形最小外接矩形中心点的距离，并获取距离最小的几何图形作为目标标签的待匹配几何图形。
可选的，所述根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，将草稿地形图转换成可编辑电子地形图的步骤包括：
根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，分别确定草稿地形图中地形元素的轮廓、类型、几何参数和位置；
根据地形元素的类型和几何参数，获取表现地形元素立体效果的灰度图；
对地形元素的轮廓和灰度图分别进行扭曲处理，根据扭曲后的地形元素的轮廓和灰度图获得表现地形元素立体效果，且与地形元素形状匹配的高度图；
根据地形元素的位置，将所有地形元素的高度图叠加到预先生成的三维数字矩阵中；
根据叠加后的三维数字矩阵，生成可编辑电子地形图。
第二方面，本发明的实施例还提供了一种地形图转换系统，包括：
预处理模块，用于对草稿地形图进行预处理，获得去干扰图片；
第一识别模块，用于通过深度神经网络，识别所述去干扰图片中表示地形元素类型和几何参数的标签；
删除模块，用于将识别出的标签从所述去干扰图片中删除，获得去标签图片；
第二识别模块，用于识别所述去标签图片中表示地形元素轮廓的几何图形；
匹配模块，用于将识别出的标签与识别出的几何图形进行匹配；
转换模块，用于根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，将草稿地形图转换成可编辑电子地形图。
可选的，所述第一识别模块包括：
第一识别子模块，用于通过第一深度神经网络，识别并截取所述去干扰图片中表示地形元素类型和几何参数的标签预选区域；
去除子模块，用于将标签预选区域的范围按预设参数扩大后，对标签预选区域内的干扰线进行去除处理，并调整标签预选区域的坐标位置，获得标记有标签预先区域的标记图片；
第二识别子模块，用于通过第二深度神经网络，识别所述标记图片中各标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字。
在本发明实施例中，首先对草稿地形图进行预处理，获得去干扰图片；然后通过深度神经网络，识别去干扰图片中表示地形元素类型和几何参数的标签；再将识别出的标签从去干扰图片中删除，获得去标签图片后，识别去标签图片中表示地形元素轮廓的几何图形；然后将识别出的标签与识别出的几何图形进行匹配；最后根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，将草稿地形图转换成可编辑电子地形图。如此通过本发明实施例的方法能够自动将玩家的草稿地形图转换成游戏编辑器中可编辑的电子蓝图，玩家只需在草稿地形图中通过图标确定指定区域的地貌类型，通过几何图形线条描绘地貌轮廓形状，无需执行其他操作，实现方式简单、方便、易操作，且提高了处理效率。
附图说明
图1为本发明实施例提供的地形图转换方法的流程图；
图2为本发明实施例提供的地形图转换方法中经过二值化处理的图片示意图；
图3为本发明实施例提供的地形图转换方法中经过噪点及干扰线去除的图片示意图；
图4为本发明实施例提供的地形图转换方法中扩大标签预选区域的图片示意图；
图5为本发明实施例提供的地形图转换方法中去除标签预选区域内干扰线的示意图；
图6为本发明实施例提供的地形图转换方法中精确标记标签预选区域的图片示意图；
图7为本发明实施例提供的地形图转换方法中去标签图片示意图；
图8为本发明实施例提供的地形图转换方法中增加干扰线示意图一；
图9为本发明实施例提供的地形图转换方法中增加干扰线示意图二；
图10为本发明实施例提供的地形图转换方法中膨胀腐蚀后的结果示意图；
图11为本发明实施例提供的地形图转换方法中细化后膨胀腐蚀的结果示意图；
图12为本发明实施例提供的地形图转换方法中二次细化后的结果示意图；
图13为本发明实施例提供的地形图转换方法中遍历轮廓点的示意图一；
图14为本发明实施例提供的地形图转换方法中遍历轮廓点的示意图二；
图15为本发明实施例提供的地形图转换方法中扭曲轮廓的示意图；
图16为本发明实施例提供的地形图转换方法中扭曲凹多边形的示意图；
图17为本发明实施例提供的地形图转换方法中扭曲灰度图的示意图；
图18为本发明实施例提供的地形图转换系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的一些实施例中，提供了一种地形图转换方法，参照图1所示，所述方法包括：
步骤101：对草稿地形图进行预处理，获得去干扰图片。
本发明实施例对草稿地形图的获得方式不做限定，例如玩家可以通过线下手绘的方式完成草稿地形图，然后通过拍照或扫描上传到系统，或者玩家可以通过手机、电脑等终端的绘图软件绘图完成草稿地形图，然后将图片传输到系统。
但通常玩家绘制并上传的草稿地形图为RGB三通道图片，受限于不同的纸张纹理、光照条件以及拍摄背景等会产生很多冗余信息，干扰后续的识别判断，为了提升识别效果，本步骤通过对草稿地形图进行预处理，获得清晰的去干扰图片，便于后续能够准确识别图片中的标签和几何图形。
步骤102：通过深度神经网络，识别所述去干扰图片中表示地形元素类型和几何参数的标签。
这里，通过深度神经网络，能够准确在经过预处理的去干扰图片中识别出标签，以确定出草稿地形图中地形元素的类型和几何参数。
其中，地形元素的类型如可包括高山、河流、胡泊、草原、沙滩、道路等，但不限于此。
其中，地形元素的几何参数可包括形成地形元素的基本参数，具体的，地形元素的几何参数可对应于地形元素的类型设置，如若地形元素的类型为高山，则地形元素的几何参数可包括高山的相对高度等，如若地形元素的类型为道路，则地形元素的几何参数可包括道路的长度和宽度等。当然，上述地形元素的几何参数仅仅为举例说明，本发明实施例的地形元素的几何参数并不限于上述几种。
步骤103：将识别出的标签从所述去干扰图片中删除，获得去标签图片。
这里，通过将识别出的标签从去干扰图片中删除，获得去标签图片，便于后续从图片中识别几何图形。
步骤104：识别所述去标签图片中表示地形元素轮廓的几何图形。
这里，通过识别去标签图片中的几何图形，能够确定出草稿地形图中地形元素的轮廓形状。
步骤105：将识别出的标签与识别出的几何图形进行匹配。
这里，草稿地形图中的几何图形和标签是单独绘制的，通过将识别出的标签和识别出的几何图形进行匹配，能够确定出草稿地形图中地形元素的轮廓形状匹配的类型和几何参数，便于后续将草稿地形图中的地形元素准确转换到电子地形图中。
步骤106：根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，将草稿地形图转换成可编辑电子地形图。
这里，根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，能够确定出草稿地形图中地形元素的轮廓形状、地形元素匹配的类型和几何参数及地形元素的位置，从而将草稿地形图转换成可编辑电子地形图。
本发明实施例的地形图转换方法，能够自动将玩家的草稿地形图转换成游戏编辑器中可编辑的电子蓝图，玩家只需在草稿地形图中通过图标确定指定区域的地貌类型，通过几何图形线条描绘地貌轮廓形状，无需执行其他操作，实现方式简单、方便、易操作，且提高了处理效率。
可选的，上述步骤101包括：
步骤1011：对草稿地形图进行二值化处理，获得二值化图片。
这里，首先对草稿地形图进行自适应阈值二值化处理，生成二值化图片，此时如图2所示，草稿地形图中大部分纹理以及干扰已经被去除。
步骤1012：对二值化图片的图像噪点及干扰线进行去除处理，获得去干扰图片。
这里，继续对二值化图片中由于拍摄环境等原因导致的图像噪点及干扰线进行去除处理，此时如图3所示，获得了清晰的二值化图片。
其中，可通过开操作(先腐蚀后膨胀)消除二值化图片的图像噪点及干扰线，但不限于此。
可选的，上述步骤102包括：
步骤1021：通过第一深度神经网络，识别并截取所述去干扰图片中表示地形元素类型和几何参数的标签预选区域。
这里，首先通过第一深度神经网络，在经过预处理的去干扰图片中识别并截取出标签预选区域，便于后续步骤进一步精确识别标签的位置。
步骤1022：将标签预选区域的范围按预设参数扩大后，对标签预选区域内的干扰线进行去除处理，并调整标签预选区域的坐标位置，获得标记有标签预先区域的标记图片。
由于标签预选区域的范围不一定非常精确，有时候不能完全包含待预测的图标和文字信息，需要对其位置进行精确调整以及干扰去除。本步骤中，为保证全部图标和文字信息都被选中，首先将标签预选区域的范围按预设参数扩大，此时全部图标和文字都被标签预选区域包含。但是扩大之后一部分几何图形线段也有可能会被包含至标签预选区域内，如图4所示，会对流程中下一步识别图标和文字造成干扰。本步骤进一步通过对标签预选区域内的干扰线进行去除处理，如图5所示，并精细调整标签预选区域的坐标位置，得到只包含图标和文字信息的标签预选区域，此时可以精确标记所有图标和文字的像素位置，如图6所示，方便对图标和文字的识别，且可用于后续从原图中精确删除图标和文字，获得去标签图片，如图7所示，从而方便对几何图形的识别。
其中，将标签预选区域的范围按预设参数扩大时，如可将标签预选区域在横向和纵向分别扩大40像素，但不限于此。
步骤1023：通过第二深度神经网络，识别所述标记图片中各标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字。
这里，通过第二深度神经网络，能够准确识别出各标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字，从而确定地形元素的类型和几何参数。
近年来，随着深度学习算法的持续进步和突破，计算机视觉目标检测任务取得了巨大进展，文字目标检测作为目标检测任务的子集，由于其海量的应用市场，例如OCR(Optical Character Recognition，光学字符识别)任务、自然场景下多语言翻译等，也愈发受到重视。
区别于传统自然目标检测，文字目标检测的目标文字序列通常具有不定长、边界模糊等特性，直接应用成熟目标检测模型效果并不理想，因此本发明实施例中采用将文字序列以16像素为宽度、文字实际高度为高度，将原始文字切分为小尺度文字块，神经网络独立预测每个小尺度文字块的得分，最终拼接成长文字序列。此外，由于强行切割的缘故，每个文字块包含的文字信息并不完整，需要结合其横向上下文辅助判断，故在传统CNN(Convolutional Neural Networks，卷积神经网络)之后，加入了双向循环递归神经网络完善横向的上下文信息，增加模型的鲁棒性。下面进行详细介绍。
可选的，所述第一深度神经网络包括第一深层卷积神经网络层、第一双向循环长短时记忆神经网络层、第一全连接层和第一输出层。
本发明实施例中，使用的第一深度神经网络由第一深层卷积神经网络层、第一双向循环长短时记忆(B-LSTM，Bidirectional-Long Short Term Memory)神经网络层、第一全连接层和第一输出层构成。
上述步骤1021包括：
步骤10211：将所述去干扰图片作为第一深层卷积神经网络层的输入，通过所述第一深层卷积神经网络层对所述去干扰图片进行特征提取，获得第一网络特征图。
这里，经过预处理的去干扰图片首先进入第一深层卷积神经网络层提取图片特征，获得第一网络特征图。第一深层卷积神经网络层如可采用常用的VGG16网络架构，经过五组卷积池化层后得到最终的第一网络特征图，其尺寸为Wx H x 512(原图片尺寸的十六分之一)。
步骤10212：将所述第一网络特征图以预定尺寸的窗口为滑动单位，逐行逐位滑动，每行得到W个一维向量，W为所述第一网络特征图的宽度。
这里，将第一深层卷积神经网络层输出的第一网络特征图以预定尺寸的窗口为滑动单位，逐行逐位滑动，每行得到W个一维向量。例如将第一网络特征图以3x3x512的窗口组成一维向量作为滑动单位，逐行逐位横向滑动(每次滑动映射到输入图片上滑动了16个像素，这个滑动距离是由卷积网络结构中4个最大值池化层决定的)，每行得到W(特征图宽度)个维度为3x 3x C的一维向量，C为通道数。
步骤10213：将每行得到的W个一维向量分别作为第一双向循环长短时记忆神经网络层的输入，通过所述第一双向循环长短时记忆神经网络层获得第一张量。
这里，将每行得到的W个一维向量分别作为第一双向循环长短时记忆神经网络B-LSTM层的输入，获得第一张量。例如，将一行W个维度为3x 3x C的一维向量作为B-LSTM层的输入，得到W个256维隐状态向量(由2个单向LSTM网络的128维隐状态向量拼接而成)，对所有行进行上述操作，得到W x H x 256的第一张量。
步骤10214：将所述第一张量作为第一全连接层的输入，通过所述第一全连接层获得第二张量。
这里，如将W x H x 256的第一张量输入第一全连接层，得到W x H x 512的张量。
步骤10215：将所述第二张量作为第一输出层的输入，通过所述第一输出层获得所述第一网络特征图中每个像素点所映射的去干扰图片中像素区域的输出结果，所述输出结果包括纵坐标偏移量预测结果、文字概率预测结果和边界偏移量预测结果。
这里，将之前的结果即第二张量输入第一输出层，第一网络特征图中的每个像素点得到三组输出，分别负责纵坐标偏移量预测结果、文字概率预测结果和边界偏移量预测结果。由于第一网络特征图中的每个像素点(实际感受野为原始图片中的228x228像素区域)映射到去干扰图片后之间间隔为16像素，因此第一网络特征图中的每个像素点负责预测去干扰图片中固定宽度为16像素区域的信息，包括：该区域是文字块的概率，该区域文字块的高度及垂直中心点位置，该区域文字块的边界偏移量。
步骤10216：根据所述网络特征图中每个像素点所映射的去干扰图片中像素区域的输出结果，确定所述去干扰图片中表示地形元素类型和几何参数的标签预选区域。
此时，通过第一深度神经网络输出的最终结果，能够确定出去干扰图片中表示地形元素类型和几何参数的标签预选区域。
可选的，上述步骤10215包括：
将所述第二张量作为第一输出层的输入，通过所述第一输出层获得所述第一网络特征图中每个像素点在不同锚anchor尺寸下所映射的去干扰图片中像素区域的输出结果。
这里，为了满足模型的多尺度预测特性，增加了目标检测神经网络中常用的anchor机制，由于文字块宽度已经固定为16像素，此时不同的anchor只负责区分在高度方面不同尺度的文字块，如可定义9个anchor尺度，分别代表11像素高至273像素高的预测尺度，在制作训练集时，只有尺度与文字块最接近的anchor才会被表为正例，其余均为负例。
通过第一输出层的输出结果如下表所示：
Figure BDA0002075809370000131
其中，对于第一项预测结果可采用对数损失函数，对于第二、三项损失函数，可采用MSE损失函数。
可选的，上述步骤1021之前，还包括：
通过预先准备的第一草稿标签数据集，对第一深度神经网络进行训练，并在训练过程中增加干扰线和干扰文字；其中，所述第一草稿标签数据集包括图标数据集和文字数据集。
这里，由于深度神经网络需要海量数据进行训练，而获得符合要求的训练集非常困难，故本步骤第一深度神经网络在训练过程中，采用人工生成的方式构造训练集，即通过预先准备的第一草稿标签数据集进行训练。
具体的，可从公开的MNIST手写数字数据集以及我们准备的若干手写图标中，随机挑选图标、数字拼接为字符序列，对拼接好的数字在16像素高-65像素间进行随机缩放。之后在尺寸为1440x900的图片中粘贴拼接好的字符序列，并记录下字符序列位置，将其按照16像素的宽度切分为文字块供训练时使用。
同时由于未来用于识别的手绘蓝图中，除了文字标识外，还会存在大量手绘几何图线，为了在训练中使深度学习模型具备区分文字和几何图形的能力，在训练集中增加干扰线和干扰文字。干扰线条可由椭圆曲线、贝赛尔曲线、直线以及手绘涂鸦训练集中的图像随机组合而成，如图8所示。
最终，通过生成海量(如50万张)训练集训练模型，使得模型具备了识别精确的文字区域标记功能。
可选的，所述第二深度神经网络包括第二深层卷积神经网络层、第二双向循环长短时记忆神经网络层、第二全连接层和第二输出层；
上述步骤1023包括：
将所述标记图片作为第二深层卷积神经网络层的输入，通过所述第二深层卷积神经网络层对所述标记图片中各标签预选区域进行特征提取，获得第二网络特征图；
将所述第二网络特征图作为第二双向循环长短时记忆神经网络层的输入，通过所述第二双向循环长短时记忆神经网络层获得第三张量；
将所述第三张量作为第二全连接层的输入，通过所述第二全连接层获得第四张量；
将所述第四张量作为第二输出层的输入，通过所述第二输出层获得所述二网络特征图中每帧结果向量映射为所有图标和文字的概率；
根据所述二网络特征图中每帧结果向量映射为所有图标和文字的概率，确定所述标记图片中各标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字。
这里，文字识别采用端到端深度神经网络预测，网络的设计架构与标签预选区域的第一深度神经网络类似，同样是卷积神经网络+循环神经网络的架构，通过卷积神经网络提取特征交由循环神经网络判断最终结果，网络在训练时使用CTC-LOSS评估损失并优化网络参数。
具体网络参数如下表所示，但不限于此。
Figure BDA0002075809370000151
在模型的1-14层为深层卷积神经网络层，在该过程中部分池化层采用矩形池化窗口代替传统的方形池化窗口，使最终的特征图提取结果尺寸为w/16 x 1，每个512维特征向量代表感受野(帧)的图像信息。
由于每帧不一定包含字母的全部信息，模型无法根据每帧的特征向量独立判断字符，需要融合上下文信息，故将所有代表每帧信息的512维向量投入双层双向B-LSTM网络，得出最终帧数量(W/16)个256维向量送往最终的输出层。
输出层可通过softmax归一化指数函数将每帧的结果向量映射为字典中所有字符的概率，训练时用于计算CTC-Loss(Connectionist temporal classification-Loss，连接时序分类损失)函数反向传播。
此时，通过第二深度神经网络输出的最终结果，能够识别出所有标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字，从而确定地形元素的类型和几何参数。
可选的，上述步骤1023之前，还包括：
通过预先准备的第二草稿标签数据集，对第二深度神经网络进行训练，并在训练过程中增加干扰线和干扰文字；其中，所述第二草稿标签数据集包括图标数据集和文字数据集。
这里，与标签预选区域的深度神经网络模型类似，很难获得大量真实用户绘制的图标文字，需要使用模拟生成的方式来构造训练集，即通过预先准备的第二草稿标签数据集进行训练。具体的，如可由事先收集的图标库和手写数字训练集中随机拼接出50万张测试用图片作为第二草稿标签数据集进行训练，但不限于此。同时为了增强模型的泛化能力，随机添加干扰线和干扰文字，如图9所示。
可选的，上述步骤104包括：
步骤1041：将所述去标签图片按照预设细化算法进行一次图像细化，并对图像细化处理后的去标签图片进行膨胀处理和腐蚀处理，获得第一阶段图片。
步骤1042：将所述第一阶段图片与图像细化处理前的去标签图片进行逻辑与操作，获得第二阶段图片。
这里，二值化后的去标签图片轮廓都比较粗，并且有一些噪点，我们采用膨胀，腐蚀，细化的方式来进一步处理。
膨胀与腐蚀原理基本相同，构造一个N*N的值为全1的矩阵,作为一个小窗在全图上移动，移动步长为M(M<＝N)，每次移动的时候，将图上与窗口重合的像素点的值与窗口矩阵进行“与”操作。在膨胀过程中，如果“与”操作结果全为0，则窗口内的像素点的值全部设置为0，否则全部设置为255。在腐蚀过程中，如果“与”操作全为1，则窗口内的像素点的值全部设置为255,否则全部设置为0。
单纯的先膨胀，后腐蚀，结果并不好，尤其是对于一些比较靠近的线条，可能会重合成一条粗线条，如图10所示。因此，我们采用先进行图像细化，再膨胀，腐蚀，然后在与二值化后的去标签图片做“与”操作，这样结果就基本与原图一致，如图11所示。其中细化算法如可采用zhang-suen算法，但不限于此。
步骤1043：将所述第二阶段图片按照预设细化算法进行二次图像细化，获得第三阶段图片。
这里，由于细化之后做过腐蚀、膨胀，轮廓依然会有很多粗的地方，我们再次使用细化算法(如zhang-suen算法)细化一次，得到我们想要的进行轮廓线条识别前的最终图像数据，即第三阶段图片，如图12所示。
步骤1044：在所述第三阶段图片中通过遍寻的方式查找几何图形轮廓线的轮廓点，根据遍寻结果确定所述第三阶段图片中表示地形元素轮廓的几何图形。
此时，通过遍寻的方式能够查找到几何图形轮廓线的轮廓点，从而确定出表示地形元素轮廓的几何图形。
下面对本发明实施例通过遍寻的方式查找几何图形轮廓线的轮廓点的一具体应用流程举例说明如下。
首先找轮廓起点，从左上角开始遍历，找到第一个像素值为255的点A，作为第一个轮廓线的起点，以该点为中心，判断该点相邻的8个点。如果只有一个点B值为255，则A点是该轮廓的一个端点，B点是轮廓的下一个点；如果有2个点B、C值均为255,则说明A不是轮廓的端点，需要沿B、C两个点的方向继续寻找轮廓的后续点；如果大于2个点值为255，说明A是多个轮廓的交叉点，要在多个点中找到合适的两个点，作为寻找轮廓后续的两个方向。确定两点的规则：计算这些点与A点连线的斜率，取斜率最相近的两个点作为该轮廓的后续点。
如图13所示，(0,7)(1,6)(2,5)(3,4)为最佳周边两点；
(0,4)(0,6)(1,5)(1,7)(2,3)(2,6)(3,7)(4,5)为其次周边两点；
(0,5)(0,2)(1,3)(1,4)(2,7)(3,6)(4,6),(5,7)为再次周边两点；
(0,1)(0,3)(1,2)(2,4)(3,5)(4,7)(5,6)(6,7)为最次周边两点。
将找到的ABC(可能没有C)点的值设置为0，防止再遍历到该点。
然后寻找B的周边8个点。如果B的周边没有点的值为255，理论上轮廓线该方向应到此停止。但实际上手绘误差或者经过形态学处理后的误差，有可能应该是连着的点已经断掉了，这时需要进行误差处理(断点接续)。原理上就是沿着轮廓原来的方向向前找N个点的范围，如果找到了，则认为该点为后续点，否则轮廓线在该方向终止。如图14所示，B点周边没有相邻的值为255的点，则寻找阴影部分的点，如果有值为255的点，则作为B点的后续点继续寻找，如果没有找到，则轮廓在B方向的搜索结束。
如果B的周边只有一个点的值为255，则必然是轮廓线的下一个点。
如果B的周边大于一个点的值为255，则B点是交叉点，需要进行选择判断(交叉点选择)。对于每一个等于255的周边点，作为起点，寻找所有长度大于等于N(假设N＝20)的子线段，对每一个子线段的相邻两点求斜率并求整条线的斜率平均值，斜率平均值与原轮廓最后N个点的斜率平均值最相近的作为子线段的所有点作为轮廓的后续点。以选中子线段的最后一个点继续寻找周边8个点。
如果有C点，则按照寻找B周边8个点相同的方式，得到轮廓的另外一部分。
识别出所有的轮廓线中，由于噪点的存在，会有很多短的或者面积小的无用的轮廓，同时由于标签的存在，标签的轮廓线也属于无用的轮廓线。为了消除无用轮廓，可选的，在步骤1044之后，还包括：
获取所述第三阶段图片中确定出的各几何图形的评价参数，将各几何图形的评价参数分别与预设评价指标进行比较；
删除所述第三阶段图片中评价参数小于预设评价指标的几何图形；
其中，所述评价参数包括轮廓最小像素点个数和轮廓最小外接矩形面积。
这里，定义了轮廓最小像素点个数和轮廓最小外接矩形面积两个指标，将所有轮廓按这两个评价指标进行计算，删除小于指标的轮廓线。同时，识别出标签的最小矩形，将标签最小矩形包含的轮廓线删除。避免了无用轮廓线的干扰，从而准确得到了表示地形元素轮廓的几何图形。
可选的，上述步骤105包括：
步骤1051：将识别出的标签作为目标标签，根据目标标签与每个几何图形的相对位置关系，确定目标标签的待匹配几何图形；
步骤1052：若待匹配几何图形未匹配给其他标签，则将该待匹配几何图形作为目标标签的匹配几何图形；
步骤1053：若待匹配几何图形已匹配给其他标签，则获取目标标签最小外接矩形与待匹配几何图形最小外接矩形的交集与并集的第一比例，并获取已匹配标签最小外接矩形与待匹配几何图形最小外接矩形的交集与并集的第二比例；
步骤1054：若第一比例大于第二比例，则将待匹配几何图形作为目标标签的匹配几何图形；若第二比例大于第一比例，则将待匹配几何图形继续作为已匹配标签的匹配几何图形；
步骤1055：若第一比例与第二比例相同，则获取目标标签最小外接矩形中心点与待匹配几何图形最小外接矩形中心点的第一距离，并获取已匹配标签最小外接矩形中心点与待匹配几何图形最小外接矩形中心点的第二距离；
步骤1056：若第一距离小于第二距离，则将待匹配几何图形作为目标标签的匹配几何图形；若第二距离大于第一距离，则将待匹配几何图形继续作为已匹配标签的匹配几何图形。
此时，采用几何图形的最小外接矩形与标签的最小外接矩形作为评价指标基础，准确得到了标签匹配的几何图形。
可选的，步骤1051中，根据目标标签与每个几何图形的相对位置关系，确定目标标签的待匹配几何图形的步骤包括：
查找覆盖区域与目标标签具有交集的几何图形；
若只有一个几何图形的覆盖区域与目标标签的覆盖区域具有交集，则将该几何图形作为目标标签的待匹配几何图形；
若有多个几何图形的覆盖区域与目标标签的覆盖区域具有交集，则将多个具有交集的几何图形作为候选图形，获取目标标签最小外接矩形与每个候选图形最小外接矩形的交集与并集的比例，并获取比例最大的候选图形作为目标标签的待匹配几何图形；
若没有覆盖区域与目标标签具有交集的几何图形，则获取目标标签最小外接矩形中心点与每个几何图形最小外接矩形中心点的距离，并获取距离最小的几何图形作为目标标签的待匹配几何图形。
此时，采用几何图形的最小外接矩形与标签的最小外接矩形作为评价指标基础，首先获得标签的待匹配几何图形，再通过前述步骤1052-1056得到标签匹配的几何图形。
其中，几何图形的覆盖区域与目标标签具有交集包括几何图形的覆盖区域包含目标标签以及几何图形的覆盖区域与目标标签相交两种情况。
可选的，上述步骤106包括：
步骤1061：根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，分别确定草稿地形图中地形元素的轮廓、类型、几何参数和位置。
步骤1062：根据地形元素的类型和几何参数，获取表现地形元素立体效果的灰度图。
这里，上游系统已经识别出了地形元素的位置，轮廓形状以及一些主要的几何参数，但是这些要实现一个现实的元素还是远远不够的，例如游戏地图中的山川上升曲线不可能是简单的直线，为了符合现实要有一定的起起伏伏，山岭山谷等，并且还能达到几何参数的要求。更进一步的要求可能需要实现指定形状的山，甚至一个文字的山。为了达到这些五花八门的需求最后决定采用灰度图的方式形成山川。
灰度图的优势为几乎可以将所有的需求都进行数字化，然后存储到一张图片中。这张图片可以根据尺寸近乎无限的山川精度。并且易于他人查看和展示以及最终的共享给其他用户。甚至最后可以变成指定地形的灰度图库。
步骤1063：对地形元素的轮廓和灰度图分别进行扭曲处理，根据扭曲后的地形元素的轮廓和灰度图获得表现地形元素立体效果，且与地形元素形状匹配的高度图。
这里，图片的一个缺点为形状为矩形，但是获得的地形元素的轮廓形状因为手绘或者各种其他原因，很难有规则的形状。但是也不能将灰度图生硬的套在指定形状中做裁剪这样会形成像素的不连续。还有灰度图一般会有大量的空白、中空等情况，一样会导致生成的地形会小于指定地形(因为空边的缘故)。所以本步骤采取双重扭曲技术，即同时扭曲灰度图和地形元素的轮廓，使其达到匹配，之后进行高度图的制作。
具体的，扭曲地形元素的轮廓时，如图15所示，可将图片中的曲线去除X、Y两个方向最大和最小两个极限值，然后匹出最小外接矩形。再通过射线穿透奇偶法检测出所有曲线内的点，最后通过扭曲公式将所有曲线内的点映射到最小外接矩形区域中。
对于凹多边形，如图16所示，可在上述情况中多一种叠处理方式即可。也就是当识别凹点两侧ab或者cd之间的点的时候，可以判定在多边形内的情况下，扭曲到矩形的半径使用点对应的ab长度(或者cd长度即可)。这样会形成矩形区域内的一个点对应多边形中的的多个点的情况。
扭曲灰度图的目的是为了去除空边的情况，让所有的灰度充满这个矩形区域。可以采用膨胀法，先在X轴方向逐行扫描，获得宽度的累计值。然后在根据矩形的宽度形成缩放因子，通过这个缩放因子计算出原来只累计到矩形的位置。然后再逐列扫描，原理和X轴方向操作一样。扭曲后灰度图如图17所示。
最后得到了两张矩形图，把两张矩形图缩放成长宽比一致，这样所有位置就形成了一对一的效应，然后利用两张矩形图生成高度图。
步骤1064：根据地形元素的位置，将所有地形元素的高度图叠加到预先生成的三维数字矩阵中。
这里，确定要存储的地形功能，第一是要有明确的表现，高山、河流和草原要有明显区别，第二是三维空间的立体表现力，第三是地形方便的支持后来增删改查操作。所以采用了建立三维的数字矩阵，将整个世界数字化，这样既可以使用三维贴图明确表现，同时具备立体感，更因为是矩阵可以快速准确的定位指定精度位置的内容。
将所有的地形元素的高度图都叠加到生成的三维数字矩阵之中，以基于三维数字矩阵得到电子地形图。其中，叠加的时候应注意顺序，如可采用先固体添加，然后在镂空雕刻。比如先堆叠平原山川，然后在消减出河流湖泊等等。这样最后形成了最终的三维数字矩阵。
步骤1065：根据叠加后的三维数字矩阵，生成可编辑电子地形图。
本发明实施例的地形图转换方法，能够自动将玩家的草稿地形图转换成游戏编辑器中可编辑的电子蓝图，玩家只需在草稿地形图中通过图标确定指定区域的地貌类型，通过几何图形线条描绘地貌轮廓形状，无需执行其他操作，实现方式简单、方便、易操作，且提高了处理效率。
在本发明的一些实施例中，参照图18所示，还提供了一种地形图转换系统，包括：
预处理模块181，用于对草稿地形图进行预处理，获得去干扰图片；
第一识别模块182，用于通过深度神经网络，识别所述去干扰图片中表示地形元素类型和几何参数的标签；
删除模块183，用于将识别出的标签从所述去干扰图片中删除，获得去标签图片；
第二识别模块184，用于识别所述去标签图片中表示地形元素轮廓的几何图形；
匹配模块185，用于将识别出的标签与识别出的几何图形进行匹配；
转换模块186，用于根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，将草稿地形图转换成可编辑电子地形图。
本发明实施例的地形图转换系统，能够自动将玩家的草稿地形图转换成游戏编辑器中可编辑的电子蓝图，玩家只需在草稿地形图中通过图标确定指定区域的地貌类型，通过几何图形线条描绘地貌轮廓形状，无需执行其他操作，实现方式简单、方便、易操作，且提高了处理效率。
可选的，所述预处理模块181包括：
第一处理子模块，用于对草稿地形图进行二值化处理，获得二值化图片；
第二处理子模块，用于对二值化图片的图像噪点及干扰线进行去除处理，获得去干扰图片。
可选的，所述第一识别模块182包括：
第一识别子模块，用于通过第一深度神经网络，识别并截取所述去干扰图片中表示地形元素类型和几何参数的标签预选区域；
去除子模块，用于将标签预选区域的范围按预设参数扩大后，对标签预选区域内的干扰线进行去除处理，并调整标签预选区域的坐标位置，获得标记有标签预先区域的标记图片；
第二识别子模块，用于通过第二深度神经网络，识别所述标记图片中各标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字。
可选的，所述第一深度神经网络包括第一深层卷积神经网络层、第一双向循环长短时记忆神经网络层、第一全连接层和第一输出层；
所述第一识别子模块具体用于：
将所述去干扰图片作为第一深层卷积神经网络层的输入，通过所述第一深层卷积神经网络层对所述去干扰图片进行特征提取，获得第一网络特征图；
将所述第一网络特征图以预定尺寸的窗口为滑动单位，逐行逐位滑动，每行得到W个一维向量，W为所述第一网络特征图的宽度；
将每行得到的W个一维向量分别作为第一双向循环长短时记忆神经网络层的输入，通过所述第一双向循环长短时记忆神经网络层获得第一张量；
将所述第一张量作为第一全连接层的输入，通过所述第一全连接层获得第二张量；
将所述第二张量作为第一输出层的输入，通过所述第一输出层获得所述第一网络特征图中每个像素点所映射的去干扰图片中像素区域的输出结果，所述输出结果包括纵坐标偏移量预测结果、文字概率预测结果和边界偏移量预测结果；
根据所述网络特征图中每个像素点所映射的去干扰图片中像素区域的输出结果，确定所述去干扰图片中表示地形元素类型和几何参数的标签预选区域。
可选的，第一识别子模块还用于：
将所述第二张量作为第一输出层的输入，通过所述第一输出层获得所述第一网络特征图中每个像素点在不同锚anchor尺寸下所映射的去干扰图片中像素区域的输出结果。
可选的，所述第二深度神经网络包括第二深层卷积神经网络层、第二双向循环长短时记忆神经网络层、第二全连接层和第二输出层；
所述第二识别子模块具体用于：
将所述标记图片作为第二深层卷积神经网络层的输入，通过所述第二深层卷积神经网络层对所述标记图片中各标签预选区域进行特征提取，获得第二网络特征图；
将所述第二网络特征图作为第二双向循环长短时记忆神经网络层的输入，通过所述第二双向循环长短时记忆神经网络层获得第三张量；
将所述第三张量作为第二全连接层的输入，通过所述第二全连接层获得第四张量；
将所述第四张量作为第二输出层的输入，通过所述第二输出层获得所述二网络特征图中每帧结果向量映射为所有图标和文字的概率；
根据所述二网络特征图中每帧结果向量映射为所有图标和文字的概率，确定所述标记图片中各标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字。
可选的，系统还包括：
第一训练模块，用于通过预先准备的第一草稿标签数据集，对第一深度神经网络进行训练，并在训练过程中增加干扰线和干扰文字；
其中，所述第一草稿标签数据集包括图标数据集和文字数据集；
第二训练模块，用于通过预先准备的第二草稿标签数据集，对第二深度神经网络进行训练，并在训练过程中增加干扰线和干扰文字；
其中，所述第二草稿标签数据集包括图标数据集和文字数据集。
可选的，所述第二识别模块184包括：
第三处理子模块，用于将所述去标签图片按照预设细化算法进行一次图像细化，并对图像细化处理后的去标签图片进行膨胀处理和腐蚀处理，获得第一阶段图片；
逻辑与操作子模块，用于将所述第一阶段图片与图像细化处理前的去标签图片进行逻辑与操作，获得第二阶段图片；
二次细化子模块，用于将所述第二阶段图片按照预设细化算法进行二次图像细化，获得第三阶段图片；
遍寻子模块，用于在所述第三阶段图片中通过遍寻的方式查找几何图形轮廓线的轮廓点，根据遍寻结果确定所述第三阶段图片中表示地形元素轮廓的几何图形。
可选的，系统还包括：
比较模块，用于获取所述第三阶段图片中确定出的各几何图形的评价参数，将各几何图形的评价参数分别与预设评价指标进行比较；
删除模块，用于删除所述第三阶段图片中评价参数小于预设评价指标的几何图形；
其中，所述评价参数包括轮廓最小像素点个数和轮廓最小外接矩形面积。
可选的，所述匹配模块185包括：
第一确定子模块，用于将识别出的标签作为目标标签，根据目标标签与每个几何图形的相对位置关系，确定目标标签的待匹配几何图形；
第一匹配子模块，用于若待匹配几何图形未匹配给其他标签，则将该待匹配几何图形作为目标标签的匹配几何图形；
第一获取子模块，用于若待匹配几何图形已匹配给其他标签，则获取目标标签最小外接矩形与待匹配几何图形最小外接矩形的交集与并集的第一比例，并获取已匹配标签最小外接矩形与待匹配几何图形最小外接矩形的交集与并集的第二比例；
第二匹配子模块，用于若第一比例大于第二比例，则将待匹配几何图形作为目标标签的匹配几何图形；若第二比例大于第一比例，则将待匹配几何图形继续作为已匹配标签的匹配几何图形；
第二获取子模块，用于若第一比例与第二比例相同，则获取目标标签最小外接矩形中心点与待匹配几何图形最小外接矩形中心点的第一距离，并获取已匹配标签最小外接矩形中心点与待匹配几何图形最小外接矩形中心点的第二距离；
第三匹配子模块，用于若第一距离小于第二距离，则将待匹配几何图形作为目标标签的匹配几何图形；若第二距离大于第一距离，则将待匹配几何图形继续作为已匹配标签的匹配几何图形。
可选的，所述第一确定子模块包括：
查找单元，用于查找覆盖区域与目标标签具有交集的几何图形；
第一确定单元，用于若只有一个几何图形的覆盖区域与目标标签的覆盖区域具有交集，则将该几何图形作为目标标签的待匹配几何图形；
第二确定单元，用于若有多个几何图形的覆盖区域与目标标签的覆盖区域具有交集，则将多个具有交集的几何图形作为候选图形，获取目标标签最小外接矩形与每个候选图形最小外接矩形的交集与并集的比例，并获取比例最大的候选图形作为目标标签的待匹配几何图形；
第三确定单元，用于若没有覆盖区域与目标标签具有交集的几何图形，则获取目标标签最小外接矩形中心点与每个几何图形最小外接矩形中心点的距离，并获取距离最小的几何图形作为目标标签的待匹配几何图形。
可选的，所述转换模块186包括：
第二确定子模块，用于根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，分别确定草稿地形图中地形元素的轮廓、类型、几何参数和位置；
第三获取子模块，用于根据地形元素的类型和几何参数，获取表现地形元素立体效果的灰度图；
第四获取子模块，用于对地形元素的轮廓和灰度图分别进行扭曲处理，根据扭曲后的地形元素的轮廓和灰度图获得表现地形元素立体效果，且与地形元素形状匹配的高度图；
叠加子模块，用于根据地形元素的位置，将所有地形元素的高度图叠加到预先生成的三维数字矩阵中；
生成子模块，用于根据叠加后的三维数字矩阵，生成可编辑电子地形图。
本发明实施例的地形图转换系统，能够自动将玩家的草稿地形图转换成游戏编辑器中可编辑的电子蓝图，玩家只需在草稿地形图中通过图标确定指定区域的地貌类型，通过几何图形线条描绘地貌轮廓形状，无需执行其他操作，实现方式简单、方便、易操作，且提高了处理效率。
本发明实施例提供的地形图转换系统能实现图1至图17的方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，在此不再赘述。本发明实施例的地形图转换系统，
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述地形图转换方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (7)

1.一种地形图转换方法，其特征在于，包括：
对草稿地形图进行预处理，获得去干扰图片；
通过深度神经网络，识别所述去干扰图片中表示地形元素类型和几何参数的标签；
将识别出的标签从所述去干扰图片中删除，获得去标签图片；
识别所述去标签图片中表示地形元素轮廓的几何图形；
将识别出的标签与识别出的几何图形进行匹配；
根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，将草稿地形图转换成可编辑电子地形图；
其中，所述对草稿地形图进行预处理，获得去干扰图片的步骤包括：
对草稿地形图进行二值化处理，获得二值化图片；
对二值化图片的图像噪点及干扰线进行去除处理，获得去干扰图片；
其中，所述通过深度神经网络，识别所述去干扰图片中表示地形元素类型和几何参数的标签的步骤包括：
通过第一深度神经网络，识别并截取所述去干扰图片中表示地形元素类型和几何参数的标签预选区域；
将标签预选区域的范围按预设参数扩大后，对标签预选区域内的干扰线进行去除处理，并调整标签预选区域的坐标位置，获得标记有标签预先区域的标记图片；
通过第二深度神经网络，识别所述标记图片中各标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字；
其中，所述第一深度神经网络包括第一深层卷积神经网络层、第一双向循环长短时记忆神经网络层、第一全连接层和第一输出层；
所述通过第一深度神经网络，识别并截取所述去干扰图片中表示地形元素类型和几何参数的标签预选区域的步骤包括：
将所述去干扰图片作为第一深层卷积神经网络层的输入，通过所述第一深层卷积神经网络层对所述去干扰图片进行特征提取，获得第一网络特征图；
将所述第一网络特征图以预定尺寸的窗口为滑动单位，逐行逐位滑动，每行得到W个一维向量，W为所述第一网络特征图的宽度；
将每行得到的W个一维向量分别作为第一双向循环长短时记忆神经网络层的输入，通过所述第一双向循环长短时记忆神经网络层获得第一张量；
将所述第一张量作为第一全连接层的输入，通过所述第一全连接层获得第二张量；
将所述第二张量作为第一输出层的输入，通过所述第一输出层获得所述第一网络特征图中每个像素点所映射的去干扰图片中像素区域的输出结果，所述输出结果包括纵坐标偏移量预测结果、文字概率预测结果和边界偏移量预测结果；
根据所述网络特征图中每个像素点所映射的去干扰图片中像素区域的输出结果，确定所述去干扰图片中表示地形元素类型和几何参数的标签预选区域。
2.根据权利要求1所述的方法，其特征在于，所述识别所述去标签图片中表示地形元素轮廓的几何图形的步骤包括：
将所述去标签图片按照预设细化算法进行一次图像细化，并对图像细化处理后的去标签图片进行膨胀处理和腐蚀处理，获得第一阶段图片；
将所述第一阶段图片与图像细化处理前的去标签图片进行逻辑与操作，获得第二阶段图片；
将所述第二阶段图片按照预设细化算法进行二次图像细化，获得第三阶段图片；
在所述第三阶段图片中通过遍寻的方式查找几何图形轮廓线的轮廓点，根据遍寻结果确定所述第三阶段图片中表示地形元素轮廓的几何图形。
3.根据权利要求2所述的方法，其特征在于，在所述第三阶段图片中按照遍寻的方式查找几何图形轮廓线的轮廓点，根据遍寻结果确定所述第三阶段图片中表示地形元素轮廓的几何图形之后，还包括：
获取所述第三阶段图片中确定出的各几何图形的评价参数，将各几何图形的评价参数分别与预设评价指标进行比较；
删除所述第三阶段图片中评价参数小于预设评价指标的几何图形；
其中，所述评价参数包括轮廓最小像素点个数和轮廓最小外接矩形面积。
4.根据权利要求1所述的方法，其特征在于，所述将识别出的标签与识别出的几何图形进行匹配的步骤包括：
将识别出的标签作为目标标签，根据目标标签与每个几何图形的相对位置关系，确定目标标签的待匹配几何图形；
若待匹配几何图形未匹配给其他标签，则将该待匹配几何图形作为目标标签的匹配几何图形；
若待匹配几何图形已匹配给其他标签，则获取目标标签最小外接矩形与待匹配几何图形最小外接矩形的交集与并集的第一比例，并获取已匹配标签最小外接矩形与待匹配几何图形最小外接矩形的交集与并集的第二比例；
若第一比例大于第二比例，则将待匹配几何图形作为目标标签的匹配几何图形；若第二比例大于第一比例，则将待匹配几何图形继续作为已匹配标签的匹配几何图形；
若第一比例与第二比例相同，则获取目标标签最小外接矩形中心点与待匹配几何图形最小外接矩形中心点的第一距离，并获取已匹配标签最小外接矩形中心点与待匹配几何图形最小外接矩形中心点的第二距离；
若第一距离小于第二距离，则将待匹配几何图形作为目标标签的匹配几何图形；若第二距离大于第一距离，则将待匹配几何图形继续作为已匹配标签的匹配几何图形。
5.根据权利要求4所述的方法，其特征在于，所述根据目标标签与每个几何图形的相对位置关系，确定目标标签的待匹配几何图形的步骤包括：
查找覆盖区域与目标标签具有交集的几何图形；
若只有一个几何图形的覆盖区域与目标标签的覆盖区域具有交集，则将该几何图形作为目标标签的待匹配几何图形；
若有多个几何图形的覆盖区域与目标标签的覆盖区域具有交集，则将多个具有交集的几何图形作为候选图形，获取目标标签最小外接矩形与每个候选图形最小外接矩形的交集与并集的比例，并获取比例最大的候选图形作为目标标签的待匹配几何图形；
若没有覆盖区域与目标标签具有交集的几何图形，则获取目标标签最小外接矩形中心点与每个几何图形最小外接矩形中心点的距离，并获取距离最小的几何图形作为目标标签的待匹配几何图形。
6.根据权利要求1所述的方法，其特征在于，所述根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，将草稿地形图转换成可编辑电子地形图的步骤包括：
根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，分别确定草稿地形图中地形元素的轮廓、类型、几何参数和位置；
根据地形元素的类型和几何参数，获取表现地形元素立体效果的灰度图；
对地形元素的轮廓和灰度图分别进行扭曲处理，根据扭曲后的地形元素的轮廓和灰度图获得表现地形元素立体效果，且与地形元素形状匹配的高度图；
根据地形元素的位置，将所有地形元素的高度图叠加到预先生成的三维数字矩阵中；
根据叠加后的三维数字矩阵，生成可编辑电子地形图。
7.一种地形图转换系统，其特征在于，包括：
预处理模块，用于对草稿地形图进行预处理，获得去干扰图片；
第一识别模块，用于通过深度神经网络，识别所述去干扰图片中表示地形元素类型和几何参数的标签；
删除模块，用于将识别出的标签从所述去干扰图片中删除，获得去标签图片；
第二识别模块，用于识别所述去标签图片中表示地形元素轮廓的几何图形；
匹配模块，用于将识别出的标签与识别出的几何图形进行匹配；
转换模块，用于根据识别出的几何图形、几何图形匹配的标签及几何图形的位置，将草稿地形图转换成可编辑电子地形图；
其中，所述对草稿地形图进行预处理，获得去干扰图片的步骤包括：
对草稿地形图进行二值化处理，获得二值化图片；
对二值化图片的图像噪点及干扰线进行去除处理，获得去干扰图片；
其中，所述通过深度神经网络，识别所述去干扰图片中表示地形元素类型和几何参数的标签的步骤包括：
通过第一深度神经网络，识别并截取所述去干扰图片中表示地形元素类型和几何参数的标签预选区域；
将标签预选区域的范围按预设参数扩大后，对标签预选区域内的干扰线进行去除处理，并调整标签预选区域的坐标位置，获得标记有标签预先区域的标记图片；
通过第二深度神经网络，识别所述标记图片中各标签预选区域内表示地形元素类型的图标和表示地形元素几何参数的文字；
其中，所述第一深度神经网络包括第一深层卷积神经网络层、第一双向循环长短时记忆神经网络层、第一全连接层和第一输出层；
所述通过第一深度神经网络，识别并截取所述去干扰图片中表示地形元素类型和几何参数的标签预选区域的步骤包括：
将所述去干扰图片作为第一深层卷积神经网络层的输入，通过所述第一深层卷积神经网络层对所述去干扰图片进行特征提取，获得第一网络特征图；
将所述第一网络特征图以预定尺寸的窗口为滑动单位，逐行逐位滑动，每行得到W个一维向量，W为所述第一网络特征图的宽度；
将每行得到的W个一维向量分别作为第一双向循环长短时记忆神经网络层的输入，通过所述第一双向循环长短时记忆神经网络层获得第一张量；
将所述第一张量作为第一全连接层的输入，通过所述第一全连接层获得第二张量；
将所述第二张量作为第一输出层的输入，通过所述第一输出层获得所述第一网络特征图中每个像素点所映射的去干扰图片中像素区域的输出结果，所述输出结果包括纵坐标偏移量预测结果、文字概率预测结果和边界偏移量预测结果；
根据所述网络特征图中每个像素点所映射的去干扰图片中像素区域的输出结果，确定所述去干扰图片中表示地形元素类型和几何参数的标签预选区域。
CN201910453305.0A 2019-05-28 2019-05-28 一种地形图转换方法及系统 Expired - Fee Related CN110180186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910453305.0A CN110180186B (zh) 2019-05-28 2019-05-28 一种地形图转换方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910453305.0A CN110180186B (zh) 2019-05-28 2019-05-28 一种地形图转换方法及系统

Publications (2)

Publication Number Publication Date
CN110180186A CN110180186A (zh) 2019-08-30
CN110180186B true CN110180186B (zh) 2022-08-19

Family

ID=67718332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910453305.0A Expired - Fee Related CN110180186B (zh) 2019-05-28 2019-05-28 一种地形图转换方法及系统

Country Status (1)

Country Link
CN (1) CN110180186B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711965B (zh) * 2019-10-24 2023-12-05 深圳市优必选科技股份有限公司 一种绘本识别方法、装置及设备
CN110969659B (zh) * 2019-10-31 2024-03-15 浙江清华长三角研究院 一种被动式标记点的空间定位装置和方法
CN111199194A (zh) * 2019-12-25 2020-05-26 吉林大学 基于机器视觉和深度学习的汽车智能座舱仪表测试方法
CN111870953A (zh) * 2020-07-24 2020-11-03 上海米哈游天命科技有限公司 一种高度图生成方法、装置、设备及存储介质
CN111744187B (zh) * 2020-08-10 2022-04-15 腾讯科技（深圳）有限公司 一种游戏数据处理方法、装置、计算机及可读存储介质
CN111957045B (zh) * 2020-09-01 2021-06-04 网易（杭州）网络有限公司 地形形变方法、装置、设备及存储介质
CN112862929B (zh) * 2021-03-10 2024-05-28 网易（杭州）网络有限公司 生成虚拟目标模型的方法、装置、设备及可读存储介质
CN113158982A (zh) * 2021-05-17 2021-07-23 广东中卡云计算有限公司 一种半介入式的目标关键点标注方法
CN114088063B (zh) * 2021-10-19 2024-02-02 青海省交通工程技术服务中心 一种基于移动终端的桥墩局部冲刷地形测量方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2885823B2 (ja) * 1989-04-11 1999-04-26 株式会社豊田中央研究所 視覚認識装置
FR2671648B1 (fr) * 1991-01-15 1995-03-10 Csf Thomson Procede de reconnaissance d'une forme d'image.
US7016536B1 (en) * 1999-11-24 2006-03-21 Gtx Corporation Method and apparatus for automatic cleaning and enhancing of scanned documents
US9104962B2 (en) * 2007-03-06 2015-08-11 Trion Worlds, Inc. Distributed network architecture for introducing dynamic content into a synthetic environment
US8898325B2 (en) * 2007-03-06 2014-11-25 Trion Worlds, Inc. Apparatus, method, and computer readable media to perform transactions in association with participants interacting in a synthetic environment
FR3027136B1 (fr) * 2014-10-10 2017-11-10 Morpho Procede d'identification d'un signe sur un document deforme
WO2017158058A1 (en) * 2016-03-15 2017-09-21 Imra Europe Sas Method for classification of unique/rare cases by reinforcement learning in neural networks
CN110334706B (zh) * 2017-06-30 2021-06-01 清华大学深圳研究生院 一种图像目标识别方法及装置
KR101947650B1 (ko) * 2017-11-14 2019-05-20 국방과학연구소 게임 엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법

Also Published As

Publication number Publication date
CN110180186A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110180186B (zh) 一种地形图转换方法及系统
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
Wei et al. Simultaneous road surface and centerline extraction from large-scale remote sensing images using CNN-based segmentation and tracing
US20210342586A1 (en) Systems and methods for extracting and vectorizing features of satellite imagery
CN110322495B (zh) 一种基于弱监督深度学习的场景文本分割方法
CN111723585B (zh) 一种风格可控的图像文本实时翻译与转换方法
Kadam et al. Detection and localization of multiple image splicing using MobileNet V1
CN108564120B (zh) 基于深度神经网络的特征点提取方法
CN110287952B (zh) 一种维语图片字符的识别方法及系统
CN113435240B (zh) 一种端到端的表格检测和结构识别方法及系统
CN109948533B (zh) 一种文本检测方法、装置、设备及可读存储介质
Galvanin et al. Extraction of building roof contours from LiDAR data using a Markov-random-field-based approach
CN114092700B (zh) 基于目标检测和知识图谱的古文字识别方法
CN115457565A (zh) 一种ocr文字识别方法、电子设备及存储介质
Roy et al. Text line extraction in graphical documents using background and foreground information
CN110728307A (zh) 自生成数据集与标签实现x光影像图小样本字符识别方法
Huang et al. OEC-RNN: Object-oriented delineation of rooftops with edges and corners using the recurrent neural network from the aerial images
CN111126127A (zh) 一种多级空间上下文特征指导的高分辨率遥感影像分类方法
CN113269049A (zh) 一种用于检测手写汉字区域的方法
Zhao et al. Boundary regularized building footprint extraction from satellite images using deep neural network
Obaidullah et al. Structural feature based approach for script identification from printed Indian document
CN117115824A (zh) 一种基于笔划区域分割策略的视觉文本检测方法
Rampurkar et al. An approach towards text detection from complex images using morphological techniques
CN115471849A (zh) 一种手写汉字图像评估方法及系统
Toaha et al. Automatic signboard detection from natural scene image in context of Bangladesh Google street view

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Yan Liting

Inventor after: Zhang Ran

Inventor before: Zhang Ran

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220819