CN113344772A - 一种用于地图艺术化的迁移模型的训练方法和计算机设备 - Google Patents
一种用于地图艺术化的迁移模型的训练方法和计算机设备 Download PDFInfo
- Publication number
- CN113344772A CN113344772A CN202110558234.8A CN202110558234A CN113344772A CN 113344772 A CN113344772 A CN 113344772A CN 202110558234 A CN202110558234 A CN 202110558234A CN 113344772 A CN113344772 A CN 113344772A
- Authority
- CN
- China
- Prior art keywords
- map
- artistic
- training
- block
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 235
- 238000013508 migration Methods 0.000 title claims abstract description 91
- 230000005012 migration Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000006870 function Effects 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010422 painting Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种用于地图艺术化的迁移模型的训练方法和计算机设备，用于地图艺术化的迁移模型的训练方法包括：确定地理地图，获取航拍地图，以及确定艺术图像；将地理地图分割为多个地理块，将航拍地图分割为多个航拍块，将艺术图像分割为多个艺术块，并基于多个地理块和多个航拍块，得到地图域训练集，基于多个艺术块，得到艺术域训练集；基于地图域训练集和艺术域训练集对环形生成对抗模型进行训练，得到迁移模型。本发明中，航拍图包括风景信息，艺术图像是风景类的图像，提高了地图域训练集和艺术域训练集之间的相似度，使得训练得到的迁移模型可以实现地图域和艺术域之间的迁移，且得到高质量的艺术风格地图。
Description
技术领域
本申请涉及图像处理领域，特别是涉及一种用于地图艺术化的迁移模型的训练方法和计算机设备。
背景技术
提高地图的艺术性，一直以来是地图制作领域的一个难点，地图的艺术性是由地图符号、注记、色彩等所体现的美，对提高地图的质量起至关重要的作用，地图的艺术性来源于制作者的巧妙涉及和娴熟技巧，地图的艺术属性赋予了地图活力，提升了其表现力和艺术美感。
目前，可以基于深度学习的图像迁移方法学习图像的艺术风格，并将其迁移到其他图像上。现有的基于深度学习的图像迁移方法，用于图像内容相似的两类图像之间的迁移，可以得到较好的效果，例如，将人脸图像转化为漫画风格的图像，在图像内容相似度低的两个图像之间的迁移，得到的迁移图像的质量非常差。地图和艺术图像在图像内容上相似度低，现有的图像迁移方法难以在地图艺术化上得图像质量高、艺术表现好的艺术地图。
因此，现有技术有待改进。
发明内容
本发明所要解决的技术问题是，现有的图像迁移方法难以在地图艺术化上得图像质量高、艺术表现好的艺术地图。本发明提出了一种用于地图艺术化的迁移模型的训练方法和计算机设备，增加包括风景信息的航拍图，以及采用风景类的艺术图像，提高了地图域训练集和艺术域训练集之间的相似度，使得训练得到的迁移模型可以实现地图域和艺术域之间的迁移，且得到高质量的艺术风格地图。
第一方面，本发明实施例提供了一种用于地图艺术化的迁移模型的训练方法，包括：
确定地理地图，获取航拍地图，以及确定艺术图像，其中，所述航拍地图包括风景信息，所述艺术图像是风景类的图像；
将所述地理地图分割为多个地理块，将所述航拍地图分割为多个航拍块，将所述艺术图像分割为多个艺术块，并基于所述多个地理块和所述多个航拍块得到地图域训练集，基于所述多个艺术块得到艺术域训练集；
基于所述地图域训练集和所述艺术域训练集对环形生成对抗模型进行训练，得到迁移模型。
作为进一步的改进技术方案，所述确定地理地图，具体包括：
获取地图源数据，其中，所述地图源数据包括地理数据和地理地图；
去除所述地图源数据中的地理数据，得到地理地图。
作为进一步的改进技术方案，所述确定艺术图像，具体包括：
获取同一艺术风格对应的多个艺术画作；
选取所述多个艺术画作中内容为风景的艺术画作，并将选取的艺术画作作为艺术图像。
作为进一步的改进技术方案，所述基于所述地图域训练集和所述艺术域训练集对环形生成对抗模型进行训练，得到迁移模型，具体包括：
将所述地图域训练集中的地图块输入所述环形生成对抗模型，得到第一艺术训练块和第一地图训练块，其中，所述地图块为地理块或者航拍块；
将所述艺术域训练集中的艺术块输入所述环形生成对抗模型，得到第二地图训练块和第二艺术训练块；
基于所述艺术块、所述第一艺术训练块、所述第二艺术训练块、所述地图块、所述第一地图训练块、所述第二地图训练块和所述环形生成对抗模型确定损失函数值，基于所述损失函数值修改所述环形生成模型的参数，并继续执行所述将所述地图域训练集中的地图块输入所述环形生成对抗模型的步骤，直至满足预设训练条件，以得到迁移模型。
作为进一步的改进技术方案，所述环形生成对抗模型包括第一生成器和第二生成器；所述将所述地图域训练集中的地图块输入所述环形生成对抗模型，得到第一艺术训练块和第一地图训练块，具体包括：
将所述地图域训练集中的地图块输入第一生成器，得到第一艺术训练块；
将所述第一艺术训练块输入所述第二生成器，得到第一地图块；
将所述艺术域训练集中的艺术块输入所述环形生成对抗模型，得到第二地图训练块和第二艺术训练块，具体包括：
将所述艺术域训练集中的艺术块输入所述第二生成器，得到第二地图训练块；
将所述第二地图训练块输入所述第一生成器，得到第二艺术训练块。
作为进一步的改进技术方案，所述环形生成对抗模型包括第一判别器和第二判别器；所述基于所述艺术块、所述第一艺术训练块、所述第二艺术训练块、所述地图块、所述第一地图训练块、所述第二地图训练块和所述环形生成对抗模型确定损失函数值，具体包括：
基于所述第一艺术训练块、所述艺术块和所述第一判别器确定第一损失函数值；
基于所述第二地图训练块、所述地图块和所述第二判别器确定第二损失函数值；
基于所述第二艺术训练块、所述艺术块、所述第一地图训练块和所述地图块确定第三损失函数值；
基于所述第一损失函数值、第二损失函数值和第三损失函数值确定损失函数值。
作为进一步的改进技术方案，所述地理块、所述航拍块以及所述艺术块的图像尺寸相同。
第二方面，本发明还提供了一种地图艺术化方法，包括：
获取待处理地图源数据，并基于所述待处理地图源数据确定待处理地理地图和待处理地图信息；
将所述待处理地理地图分割为多个待处理地图块，其中，每个待处理地图块均配置有各自分别对应的编号；
将所述多个待处理地图块输入迁移模型，得到多个艺术地图块，其中，所述迁移模型是上述用于地图艺术化的迁移模型的训练方法中的迁移模型；
基于所述多个艺术地图、每个待处理地图块的编号和所述待处理地图信息得到多个艺术地图块，将所述多个艺术风格地图块拼接得到艺术风格地图。
第三方面，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
确定地理地图，获取航拍地图，以及确定艺术图像，其中，所述航拍地图包括风景信息，所述艺术图像是风景类的图像；
将所述地理地图分割为多个地理块，将所述航拍地图分割为多个航拍块，将所述艺术图像分割为多个艺术块，并基于所述多个地理块和所述多个航拍块得到地图域训练集，基于所述多个艺术块得到艺术域训练集；
基于所述地图域训练集和所述艺术域训练集对环形生成对抗模型进行训练，得到迁移模型。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
确定地理地图，获取航拍地图，以及确定艺术图像，其中，所述航拍地图包括风景信息，所述艺术图像是风景类的图像；
将所述地理地图分割为多个地理块，将所述航拍地图分割为多个航拍块，将所述艺术图像分割为多个艺术块，并基于所述多个地理块和所述多个航拍块得到地图域训练集，基于所述多个艺术块得到艺术域训练集；
基于所述地图域训练集和所述艺术域训练集对环形生成对抗模型进行训练，得到迁移模型。
与现有技术相比，本发明实施例具有以下优点：
在本发明实施例中，确定地理地图，获取航拍地图，以及确定艺术图像，其中，所述航拍地图包括风景信息，所述艺术图像是风景类的图像；将所述地理地图分割为多个地理块，将所述航拍地图分割为多个航拍块，将所述艺术图像分割为多个艺术块，并基于所述多个地理块和所述多个航拍块，得到地图域训练集，基于所述多个艺术块，得到艺术域训练集；基于所述地图域训练集和所述艺术域训练集对环形生成对抗模型进行训练，得到迁移模型。本发明中，航拍图包括风景信息，艺术图像是风景类的图像，提高了地图域训练集和艺术域训练集之间的相似度，使得训练得到的迁移模型可以实现地图域和艺术域之间的迁移，且得到高质量的艺术风格地图。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种用于地图艺术化的迁移模型的训练方法的流程示意图；
图2为本发明实施例中Cycle GAN的工作流程示意图；
图3为本发明实施例中一种地图艺术化方法的流程示意图；
图4为本发明实施例中的艺术图像为毕沙罗风格的艺术图像时，得到的一个艺术地图块示例；
图5为本发明实施例中的艺术图像为毕沙罗风格的艺术图像时，得到的与图4不同的艺术地图块示例；
图6为本发明实施例中的艺术图像为毕沙罗风格的艺术图像时，得到的与图4和图5不同的艺术地图块示例；
图7为本发明实施例中的艺术图像为梵高风格的艺术图像时，得到的一个艺术地图块；
图8为本发明实施例中的艺术图像为梵高风格的艺术图像时，得到的与图7不同的艺术地图块；
图9为本发明实施例中的艺术图像为梵高风格的艺术图像时，得到的与图8和图9不同的艺术地图块；
图10为本发明实施例中的艺术图像为梵高风格的艺术图像时，得到的部分艺术风格地图；
图11为本发明实施例中的艺术图像为梵高风格的艺术图像时，得到的与图10不同的部分艺术风格地图；
图12为本发明实施例中的艺术图像为梵高风格的艺术图像时，得到的与图10和图11不同的部分艺术风格地图；
图13为本发明实施例中一种计算机设备的内部结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
发明人经过研究发现，提高地图的艺术性，一直以来是地图制作领域的一个难点，地图的艺术性是由地图符号、注记、色彩等所体现的美，对提高地图的质量起至关重要的作用，地图的艺术性来源于制作者的巧妙涉及和娴熟技巧，地图的艺术属性赋予了地图活力，提升了其表现力和艺术美感。
目前，可以基于深度学习的图像迁移方法学习图像的艺术风格，并将其迁移到其他图像上。现有的基于深度学习的图像迁移方法，用于图像内容相似的两类图像之间的迁移，可以得到较好的效果，例如，将人脸图像转化为漫画风格的图像，但是在图像内容相似度低的两个图像之间的迁移，得到的迁移图像的质量非常差。但是地图和艺术图像在图像内容上相似度低，现有的图像迁移方法难以在地图艺术化上得图像质量高、艺术表现好的艺术地图。
为了解决上述问题，本发明确定地理地图，获取航拍地图，以及确定艺术图像，其中，所述航拍地图包括风景信息，所述艺术图像是风景类的图像；将所述地理地图分割为多个地理块，将所述航拍地图分割为多个航拍块，将所述艺术图像分割为多个艺术块，并基于所述多个地理块和所述多个航拍块，得到地图域训练集，基于所述多个艺术块，得到艺术域训练集；基于所述地图域训练集和所述艺术域训练集对环形生成对抗模型进行训练，得到迁移模型。本发明中，航拍图包括风景信息，艺术图像是风景类的图像，提高了地图域训练集和艺术域训练集之间的相似度，使得训练得到的迁移模型可以实现地图域和艺术域之间的迁移，且得到高质量的艺术风格地图。
本申请提供的一种用于地图艺术化的迁移模型的训练方法的计算机设备，所述电子设备可以以各种形式来实现，例如，PC机、服务器、手机、平板电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)等。另外，该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，所述电子设备至少包括处理器和存储介质。
下面结合附图，详细说明本发明的各种非限制性实施方式。
参见图1，示出了本发明实施例中的一种用于地图艺术化的迁移模型的训练方法，包括以下步骤：
S1、确定地理地图，获取航拍地图，以及确定艺术图像，其中，所述航拍地图包括风景信息，所述艺术图像是风景类的图像。
在本发明实施例中，所述确定地理地图的过程包括：获取地图源数据，其中，所述地图源数据包括地理数据和地理地图；去除所述地图源数据中的地理数据得到地理地图。
在本发明实施例中，所述地理数据包括多个专题要素，例如，国界、国名、道路网、河流、岸线、注记等，这些专题要素难以迁移，也无需迁移为艺术风格，因此，训练时不需要这些信息。所述地理地图是地图晕渲图，地图晕渲图可以反映地理信息，例如，蓝色代表海洋，黄色代表土地。
在本发明实施例中，为了提升迁移效果，引入航拍地图。所述航拍地图包括风景信息。所述航拍地图可以是高空拍摄得到的所述地理地图对应的鸟瞰图像。
在本发明实施例中，所述艺术图像可以是一个任意风格对应的艺术图像，例如，将前印象派毕沙罗的作品作为艺术图像，或者，将后印象派梵高的作品作为艺术图像。为了提升迁移效果，所述艺术图像是风景类的图像。航拍地图包括风景信息，相较于地理地图，航拍地图与艺术图像的相似性更高，可以提升迁移效果。
所述确定艺术图像的过程包括：获取同一艺术风格对应的多个艺术画作；选取所述多个艺术画作中内容为风景的艺术画作，并将选取的艺术画作作为艺术图像。
S2、将所述地理地图分割为多个地理块，将所述航拍地图分割为多个航拍块，将所述艺术图像分割为多个艺术块，并基于所述多个地理块和所述多个航拍块得到地图域训练集，基于所述多个艺术块得到艺术域训练集。
在本发明实施例中，由于地理地图较大，难以直接用于训练，因此将所述地理地图分割为多个地理块。进一步地，所述多个地理块中可能存在影响训练结果的地理块，例如，纯色的地理块，可以将影响训练结果的地理块剔除。
在本发明实施例中，将所述多个地理块划分为验证集和训练集，所述验证集中地理块的数量与所述训练集中的地理块的数量之间的比例为：2∶8。将航拍地图分割为多个航拍块。在本发明实施例中，所述多个航拍块和所述多个地图块之间的数量比例可以设定为：1∶2。将艺术图像分割为多个艺术块。
在本发明实施例中，所述地理图像可以有多张，将多个地理图像中的每张地理图像均分割为多个地理块；所述航拍地图可以有多张，将多张航拍地图中的每张航拍图像均分割为多个航拍块；同样的，所述艺术图像可以有多张，将多张艺术图像中的每张艺术图像均分割为多个艺术块；所述地理块、所述航拍块以及所述艺术块的尺寸相同，例如，所述地理块、所述航拍块以及所述艺术块的尺寸均可以为：512×512像素大小。
在本发明实施例中，将地理地图作为X域，将艺术图像作为Y域，当X域和Y域的相似性较高时，可以得到较好的迁移效果。所述地图域训练集中的航拍块包括风景信息，所述艺术域训练集中的艺术块是基于风景类艺术图像得到的，因此，本发明提高了地图域训练集和艺术域训练集之间的相似度，进而提升了迁移效果。
S3、基于所述地图域训练集和所述艺术域训练集对环形生成对抗模型进行训练，得到迁移模型。
在本发明实施例中，所述地图域训练集中包括多个地图块，所述地图块为所述地理块或者航拍块。所述环形生成对抗模型最大的特点是无监督，也就是不需要训练数据是成对的，只需要提供不同域的图像，就能训练不同域之间图像的映射。成对的图像是指，例如，同一个场景夏天的图像和秋天的图像，身体相似的斑马和马。而地图和艺术图像很难成对，因此，环形生成对抗模型可以用于地图和艺术图像之间的映射。
在本发明实施例中，将所述地图域训练集和所述艺术域训练集的tfrecord格式的数据导入环形生成对抗模型，利用CPU资源进行训练。
在本发明实施例中，所述环形生成对抗模型是Cycle GAN。Cycle GAN包括两个生成器和两个判别器，具有循环一致性结构，生成器的作用在于伪造图像，而判别器的作用在于鉴别图像，循环一致性的结构可以摆脱需要成对图像的缺点。两个生成器中的第一生成器用于将图像从X域翻译成Y域，两个生成器中的第二生成器用于将图像从Y域翻译成X域。
具体的，步骤S3包括：
S31、将所述地图域训练集中的地图块输入所述环形生成对抗模型，得到第一艺术训练块和第一地图训练块。
在本发明实施例中，参见图2，示出了Cycle GAN的工作流程示意图；将所述地图域训练集中的地图块输入第一生成器，得到第一艺术训练块；将所述第一艺术训练块输入所述第二生成器，得到第一地图块。所述第一艺术训练块是第一生成器根据地图域的地图块生成的图像，第一艺术训练块属于艺术域，第一艺术训练块再通过第二生成器，被转化回到地图域的第一地图训练块。所述第一地图训练块与所述地图块应尽量相似。
S32、将所述艺术域训练集中的艺术块输入所述环形生成对抗模型，得到第二地图训练块和第二艺术训练块。
在本发明实施例中，将所述艺术域训练集中的艺术块输入所述第二生成器，得到第二地图训练块；将所述第二地图训练块输入所述第一生成器，得到第二艺术训练块。第二地图训练块是第二生成器根据艺术域的艺术块生成的图像，第二地图训练块属于地图域，第二地图训练块再通过第一生成器，被转化回到艺术域的第二艺术训练块。所述艺术块和所述第二艺术训练块应尽量相似。
S33、基于所述艺术块、所述第一艺术训练块、所述第二艺术训练块、所述地图块、所述第一地图训练块、所述第二地图训练块和所述环形生成对抗模型确定损失函数值，基于所述损失函数值修改所述环形生成模型的参数，并继续执行所述将所述地图域训练集中的地图块输入所述环形生成对抗模型的步骤，直至满足预设训练条件，以得到迁移模型。
在本发明实施例中，所述损失函数值包括：第一损失函数值、第二损失函数值和第三损失函数值，其中，第一损失函数值用于反映第一艺术训练块和艺术块之间的差异，所述第二损失函数值用于反映所述第二地图训练块和所述地图块之间的差异，所述第三损失函数值用于反映所述艺术块和所述第二艺术训练块之间的差异，以及所述地图块和所述第一地图训练块之间的差异。
在本发明实施例中，基于所述第一艺术训练块、所述艺术块和所述第一判别器确定第一损失函数值。
在本发明实施例中，通过所述环形生成对抗模型中的第一判别器确定第一损失函数值。具体的，将所述第一艺术训练块和所述艺术块输入所述第一判别器，得到所述第一艺术训练块对应的第一得分，以及所述艺术块对应的第二得分；基于所述第一得分和所述第二得分确定第一损失函数值。
可以通过公式(1)计算第一损失函数值。
其中，L1是第一损失函数值，
表示判别器DY辨别出y属于艺术块的期望，
表示判别器辨别出G(x)不属于艺术块的期望，DY表示第一判别器，G表示第一生成器。y是艺术块，x是地图块，G(x)是第一艺术训练块，DY(G(x))是第一得分，DY(y)是第二得分。
在本发明实施例中，基于所述第二地图训练块、所述地图块和所述第二判别器确定第二损失函数值。
在本发明实施例中，通过所述环形生成抗模型中的第二判别器确定第二损失函数值。具体的，将所述第二地图训练块和所述地图块输入所述第二判别器，得到所述第二地图训练块对应的第三得分，以及所述地图块对应的第四得分；基于所述第三得分和所述第四得分确定第二损失函数值。
可以通过公式(2)计算第二损失函数值。
其中，L2是第二损失值，
表示判别器辨别出x属于地图块的期望，
表示判别器辨别出F(y)不属于地图块的期望，DX表示第二判别器，F表示第二生成器。y是艺术块，x是地图块，F(y)是第二地图训练块，DX(F(y))是第三得分，DX(x)是第四得分。
在本发明实施例中，基于所述第二艺术训练块、所述艺术块、所述第一地图训练块和所述地图块确定第三损失函数值。
在本发明实施例中，第三损失函数值为循环一致性损失函数值，主要是为了避免第一生成器和第二生成器产生冲突。可以通过公式(3)计算第三损失函数值。
其中，L3为第三损失函数值，
表示x经过第一生成器和第二生成器后与原始x之间差距的期望，
表示y经过第二生成器和第一生成器后与原始y之间差距的期望，x是地图块，y是艺术块，G表示第一生成器，F表示第二生成器，F(G(x))是第一地图训练块，G(F(y))是第二艺术训练块。
在本发明实施例中，基于所述第一损失函数值、第二损失函数值和第三损失函数值确定损失函数值。
在本发明实施例中，根据公式(3)计算损失函数值。
L＝L1+L2+λL3 (3)
其中，L是损失函数值，L1是第一损失函数值，L2是第二损失函数值，L3是第三损失函数值，λ是预设参数。
在本发明实施例中，每修改一次环形生成对抗模型的参数，则完成一次迭代训练，所述预设训练条件可以是所述环形生成对抗模型收敛，或者迭代次数满足预设次数，或者所述损失函数值小于阈值。
在一种实现方式中，利用Tensorboard记录和可视化损失函数值的变化，判断在迭代次数达到多少时停止训练。所述预设次数的取值范围可以是20万次至50万次。
在本发明实施例中，环形生成对抗模型的训练达到预设训练条件后得到一个ckpt文件，将ckpt文件转化成pd文件，该pd文件则是迁移模型。ckpt文件是Tensorflow存储训练后模型的一种模型形式，包含三个部分，meta file、index file和data file。但ckpt文件的数据量过大，一般需要将ckpt文件转化成pd文件，pd文件是另一种Tensorflow保存的模型的形式，数据量小，使用更加方便。
在一种实现方式中，对于训练得到的迁移模型，通过验证集验证所述迁移模型是否具有普适性，若验证通过，则确定得到最终的迁移模型，若验证不通过，则需要对艺术图像进行调整，得到更新后的艺术图像，并执行步骤S2至步骤S3，得到新的迁移模型。
在本发明实施例中，将所述验证集中的地理块输入所述迁移模型，得到验证图像，若所述验证图像的图像纹理清晰、色彩符合地图设色规律、未出现halo效应，则验证通过，否则对艺术图像进行调整，得到更新后的艺术图像，，并执行步骤S2至步骤S3，得到新的迁移模型。设置验证集，通过验证集验证迁移模型均可以采用现有技术的方案，在此不赘述了。
在本发明实施例中，确定地理地图，获取航拍地图，以及确定艺术图像，其中，所述航拍地图包括风景信息，所述艺术图像是风景类的图像；将所述地理地图分割为多个地理块，将所述航拍地图分割为多个航拍块，将所述艺术图像分割为多个艺术块，并基于所述多个地理块和所述多个航拍块，得到地图域训练集，基于所述多个艺术块，得到艺术域训练集；基于所述地图域训练集和所述艺术域训练集对环形生成对抗模型进行训练，得到迁移模型。本发明中，航拍图包括风景信息，艺术图像是风景类的图像，提高了地图域训练集和艺术域训练集之间的相似度，使得训练得到的迁移模型可以实现地图域和艺术域之间的迁移，且得到高质量的艺术风格地图。
基于上述一种用于地图艺术化的迁移模型的训练方法，参见图3，本发明还提供了一种地图艺术化方法，包括：
M1、获取待处理地图源数据，并基于所述待处理地图源数据确定待处理地理地图和待处理地图信息；
M2、将所述待处理地理地图分割为多个待处理地图块，其中，每个待处理地图块均配置有各自分别对应的编号；
在本发明实施例中，所述待处理地图信息包括：多个专题要素，例如，国界、国名、道路网、河流、岸线、注记等。所述待处理地图块的尺寸与训练所用的地图块的图像尺寸相同。可以按照待处理地图块在所述待处理地图中的顺序为每个待处理地图块配置编号。
M3、将所述多个待处理地图块输入迁移模型，得到多个艺术地图块，其中，所述迁移模型是上述一种用于地图艺术化的迁移模型的训练方法中的迁移模型；
M4、基于所述多个艺术地图、每个待处理地图块的编号和所述待处理地图信息得到多个艺术地图块，将所述多个艺术风格地图块拼接得到艺术风格地图。
在本发明实施例中，所述多个艺术地图块与多个待处理地图块的编号一一对应，可以将艺术地图块导入图像处理软件中，按照每个待处理地图块的编号进行镶嵌拼接，并添加所述待处理地图信息，以得到多个艺术地图块，将所述多个艺术风格地图块拼接得到艺术风格地图。所述图像处理软件可以是CorelDraw X6。
在本发明实施例中，当艺术图像为毕沙罗风格的艺术图像时，得到多个艺术地图块，如图4、图5和图6所示。当艺术图像为梵高风格的艺术图像时，得到多个艺术地图块，如图7、图8和图9所示。当训练所用的艺术图像为毕沙罗风格的艺术图像时，得到的部分艺术风格地图如图10、图11和图12所示。
在本发明实施例中，由于地图域训练集和艺术域训练集之间的相似度较高，使得训练得到的迁移模型可以实现地图域和艺术域之间的迁移，且得到高质量的艺术风格地图。
本发明实施例还提供了一种计算机设备，该设备可以是终端，内部结构如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用于地图艺术化的迁移模型的训练方法或一种地图艺术化方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13所示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
确定地理地图，获取航拍地图，以及确定艺术图像，其中，所述航拍地图包括风景信息，所述艺术图像是风景类的图像；
将所述地理地图分割为多个地理块，将所述航拍地图分割为多个航拍块，将所述艺术图像分割为多个艺术块，并基于所述多个地理块和所述多个航拍块得到地图域训练集，基于所述多个艺术块得到艺术域训练集；
基于所述地图域训练集和所述艺术域训练集对环形生成对抗模型进行训练，得到迁移模型；
或者，获取待处理地图源数据，并基于所述待处理地图源数据确定待处理地理地图和待处理地图信息；
将所述待处理地理地图分割为多个待处理地图块，其中，每个待处理地图块均配置有各自分别对应的编号；
将所述多个待处理地图块输入迁移模型，得到多个艺术地图块，其中，所述迁移模型是所述的用于地图艺术化的迁移模型的训练方法中的迁移模型；
基于所述多个艺术地图、每个待处理地图块的编号和所述待处理地图信息得到多个艺术地图块，将所述多个艺术风格地图块拼接得到艺术风格地图。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
确定地理地图，获取航拍地图，以及确定艺术图像，其中，所述航拍地图包括风景信息，所述艺术图像是风景类的图像；
将所述地理地图分割为多个地理块，将所述航拍地图分割为多个航拍块，将所述艺术图像分割为多个艺术块，并基于所述多个地理块和所述多个航拍块得到地图域训练集，基于所述多个艺术块得到艺术域训练集；
基于所述地图域训练集和所述艺术域训练集对环形生成对抗模型进行训练，得到迁移模型；
或者，获取待处理地图源数据，并基于所述待处理地图源数据确定待处理地理地图和待处理地图信息；
将所述待处理地理地图分割为多个待处理地图块，其中，每个待处理地图块均配置有各自分别对应的编号；
将所述多个待处理地图块输入迁移模型，得到多个艺术地图块，其中，所述迁移模型是所述的用于地图艺术化的迁移模型的训练方法中的迁移模型；
基于所述多个艺术地图、每个待处理地图块的编号和所述待处理地图信息得到多个艺术地图块，将所述多个艺术风格地图块拼接得到艺术风格地图。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
Claims (10)
1.一种用于地图艺术化的迁移模型的训练方法，其特征在于，包括：
确定地理地图，获取航拍地图，以及确定艺术图像，其中，所述航拍地图包括风景信息，所述艺术图像是风景类的图像；
将所述地理地图分割为多个地理块，将所述航拍地图分割为多个航拍块，将所述艺术图像分割为多个艺术块，并基于所述多个地理块和所述多个航拍块得到地图域训练集，基于所述多个艺术块得到艺术域训练集；
基于所述地图域训练集和所述艺术域训练集对环形生成对抗模型进行训练，得到迁移模型。
2.根据权利要求1所述的用于地图艺术化的迁移模型的训练方法，其特征在于，所述确定地理地图，具体包括：
获取地图源数据，其中，所述地图源数据包括地理数据和地理地图；
去除所述地图源数据中的地理数据，得到地理地图。
3.根据权利要求1所述的用于地图艺术化的迁移模型的训练方法，其特征在于，所述确定艺术图像，具体包括：
获取同一艺术风格对应的多个艺术画作；
选取所述多个艺术画作中内容为风景的艺术画作，并将选取的艺术画作作为艺术图像。
4.根据权利要求1所述的用于地图艺术化的迁移模型的训练方法，其特征在于，所述基于所述地图域训练集和所述艺术域训练集对环形生成对抗模型进行训练，得到迁移模型，具体包括：
将所述地图域训练集中的地图块输入所述环形生成对抗模型，得到第一艺术训练块和第一地图训练块，其中，所述地图块为地理块或者航拍块；
将所述艺术域训练集中的艺术块输入所述环形生成对抗模型，得到第二地图训练块和第二艺术训练块；
基于所述艺术块、所述第一艺术训练块、所述第二艺术训练块、所述地图块、所述第一地图训练块、所述第二地图训练块和所述环形生成对抗模型确定损失函数值，基于所述损失函数值修改所述环形生成模型的参数，并继续执行所述将所述地图域训练集中的地图块输入所述环形生成对抗模型的步骤，直至满足预设训练条件，以得到迁移模型。
5.根据权利要求4所述的用于地图艺术化的迁移模型的训练方法，其特征在于，所述环形生成对抗模型包括第一生成器和第二生成器；所述将所述地图域训练集中的地图块输入所述环形生成对抗模型，得到第一艺术训练块和第一地图训练块，具体包括：
将所述地图域训练集中的地图块输入第一生成器，得到第一艺术训练块；
将所述第一艺术训练块输入所述第二生成器，得到第一地图块；
将所述艺术域训练集中的艺术块输入所述环形生成对抗模型，得到第二地图训练块和第二艺术训练块，具体包括：
将所述艺术域训练集中的艺术块输入所述第二生成器，得到第二地图训练块；
将所述第二地图训练块输入所述第一生成器，得到第二艺术训练块。
6.根据权利要求4所述的用于地图艺术化的迁移模型的训练方法，其特征在于，所述环形生成对抗模型包括第一判别器和第二判别器；所述基于所述艺术块、所述第一艺术训练块、所述第二艺术训练块、所述地图块、所述第一地图训练块、所述第二地图训练块和所述环形生成对抗模型确定损失函数值，具体包括：
基于所述第一艺术训练块、所述艺术块和所述第一判别器确定第一损失函数值；
基于所述第二地图训练块、所述地图块和所述第二判别器确定第二损失函数值；
基于所述第二艺术训练块、所述艺术块、所述第一地图训练块和所述地图块确定第三损失函数值；
基于所述第一损失函数值、第二损失函数值和第三损失函数值确定损失函数值。
7.根据权利要求1至6中任一所述的用于地图艺术化的迁移模型的训练方法，其特征在于，所述地理块、所述航拍块以及所述艺术块的图像尺寸相同。
8.一种地图艺术化方法，其特征在于，包括：
获取待处理地图源数据，并基于所述待处理地图源数据确定待处理地理地图和待处理地图信息；
将所述待处理地理地图分割为多个待处理地图块，其中，每个待处理地图块均配置有各自分别对应的编号；
将所述多个待处理地图块输入迁移模型，得到多个艺术地图块，其中，所述迁移模型是权利要求1-7中任一所述的用于地图艺术化的迁移模型的训练方法中的迁移模型；
基于所述多个艺术地图、每个待处理地图块的编号和所述待处理地图信息得到多个艺术地图块，将所述多个艺术风格地图块拼接得到艺术风格地图。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任意一项所述的用于地图艺术化的迁移模型的训练方法，或者权利要求8中所述的地图艺术化方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述的用于地图艺术化的迁移模型的训练方法，或者权利要求8中所述的地图艺术化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110558234.8A CN113344772B (zh) | 2021-05-21 | 2021-05-21 | 一种用于地图艺术化的迁移模型的训练方法和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110558234.8A CN113344772B (zh) | 2021-05-21 | 2021-05-21 | 一种用于地图艺术化的迁移模型的训练方法和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113344772A true CN113344772A (zh) | 2021-09-03 |
| CN113344772B CN113344772B (zh) | 2023-04-07 |
Family
ID=77470667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110558234.8A Active CN113344772B (zh) | 2021-05-21 | 2021-05-21 | 一种用于地图艺术化的迁移模型的训练方法和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344772B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544442A (zh) * | 2018-11-12 | 2019-03-29 | 南京邮电大学 | 基于双重对抗的生成式对抗网络的图像局部风格迁移方法 |
| CN109949214A (zh) * | 2019-03-26 | 2019-06-28 | 湖北工业大学 | 一种图像风格迁移方法及系统 |
| US20190325264A1 (en) * | 2018-04-24 | 2019-10-24 | Here Global B.V. | Machine learning a feature detector using synthetic training data |
| CN110570346A (zh) * | 2019-08-19 | 2019-12-13 | 西安理工大学 | 一种基于循环生成对抗网络对书法进行风格迁移的方法 |
| CN110930295A (zh) * | 2019-10-25 | 2020-03-27 | 广东开放大学（广东理工职业学院） | 一种图像风格迁移方法、系统、装置和存储介质 |
| CN110992252A (zh) * | 2019-11-29 | 2020-04-10 | 北京航空航天大学合肥创新研究院 | 一种基于潜变量特征生成的图像多风格转化方法 |
| US20200134778A1 (en) * | 2018-08-13 | 2020-04-30 | Shenzhen Sensetime Technology Co., Ltd. | Image style transform methods and apparatuses, devices and storage media |
| CN111724299A (zh) * | 2020-05-21 | 2020-09-29 | 同济大学 | 一种基于深度学习的超现实主义绘画图像风格迁移方法 |
| CN111753908A (zh) * | 2020-06-24 | 2020-10-09 | 北京百度网讯科技有限公司 | 图像分类方法和装置及风格迁移模型训练方法和装置 |
| CN112465970A (zh) * | 2020-11-27 | 2021-03-09 | 北京斯年智驾科技有限公司 | 导航地图构建方法、装置、系统、电子装置和存储介质 |
| CN112487999A (zh) * | 2020-12-02 | 2021-03-12 | 西安邮电大学 | 一种基于CycleGAN的遥感图像鲁棒特征提取方法 |
-
2021
- 2021-05-21 CN CN202110558234.8A patent/CN113344772B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190325264A1 (en) * | 2018-04-24 | 2019-10-24 | Here Global B.V. | Machine learning a feature detector using synthetic training data |
| US20200134778A1 (en) * | 2018-08-13 | 2020-04-30 | Shenzhen Sensetime Technology Co., Ltd. | Image style transform methods and apparatuses, devices and storage media |
| CN109544442A (zh) * | 2018-11-12 | 2019-03-29 | 南京邮电大学 | 基于双重对抗的生成式对抗网络的图像局部风格迁移方法 |
| CN109949214A (zh) * | 2019-03-26 | 2019-06-28 | 湖北工业大学 | 一种图像风格迁移方法及系统 |
| CN110570346A (zh) * | 2019-08-19 | 2019-12-13 | 西安理工大学 | 一种基于循环生成对抗网络对书法进行风格迁移的方法 |
| CN110930295A (zh) * | 2019-10-25 | 2020-03-27 | 广东开放大学（广东理工职业学院） | 一种图像风格迁移方法、系统、装置和存储介质 |
| CN110992252A (zh) * | 2019-11-29 | 2020-04-10 | 北京航空航天大学合肥创新研究院 | 一种基于潜变量特征生成的图像多风格转化方法 |
| CN111724299A (zh) * | 2020-05-21 | 2020-09-29 | 同济大学 | 一种基于深度学习的超现实主义绘画图像风格迁移方法 |
| CN111753908A (zh) * | 2020-06-24 | 2020-10-09 | 北京百度网讯科技有限公司 | 图像分类方法和装置及风格迁移模型训练方法和装置 |
| CN112465970A (zh) * | 2020-11-27 | 2021-03-09 | 北京斯年智驾科技有限公司 | 导航地图构建方法、装置、系统、电子装置和存储介质 |
| CN112487999A (zh) * | 2020-12-02 | 2021-03-12 | 西安邮电大学 | 一种基于CycleGAN的遥感图像鲁棒特征提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| W JIN,ET AL.: "Map style transfer using pixel-to-pixel model", 《JOURNAL OF PHYSICS:CONFERENCE SERIES》 * |
| 彭晏飞等: "基于循环生成对抗网络的图像风格迁移", 《计算机工程与科学》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113344772B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022017163A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN105354248A (zh) | 基于灰度的分布式图像底层特征识别方法及系统 | |
| CN111476863B (zh) | 一种黑白漫画上色的方法、装置、电子设备及存储介质 | |
| WO2021169740A1 (zh) | 图像修复方法、装置、计算机设备及存储介质 | |
| CN108765520B (zh) | 文本信息的渲染方法和装置、存储介质、电子装置 | |
| CN104580883B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| CN115965840A (zh) | 图像风格迁移和模型训练方法、装置、设备和介质 | |
| CN106210928A (zh) | 在视频中添加实时地理位置信息水印系统以及方法 | |
| CN112950640A (zh) | 视频人像分割方法、装置、电子设备及存储介质 | |
| CN110321849A (zh) | 图像数据处理方法、装置以及计算机可读存储介质 | |
| US10810775B2 (en) | Automatically selecting and superimposing images for aesthetically pleasing photo creations | |
| US10049425B2 (en) | Merging filters for a graphic processing unit | |
| CN113344772B (zh) | 一种用于地图艺术化的迁移模型的训练方法和计算机设备 | |
| CN111339315B (zh) | 知识图谱构建方法、系统、计算机可读介质和电子设备 | |
| CN111161377B (zh) | 一种图片中添加字符的方法、装置、电子设备及存储介质 | |
| CN117557708A (zh) | 图像生成方法、装置、存储介质及计算机设备 | |
| CN111127592B (zh) | 一种图片填色方法、装置、电子设备及可读存储介质 | |
| CN117112090A (zh) | 业务页面主题生成方法、装置、计算机设备、介质和产品 | |
| CN106469437B (zh) | 图像处理方法和图像处理装置 | |
| CN109741420B (zh) | 一种区域填充方法、装置、电子设备及存储介质 | |
| CN115953597B (zh) | 图像处理方法、装置、设备及介质 | |
| CN116309944A (zh) | 地图处理方法、装置、设备和存储介质 | |
| CN112614047B (zh) | 一种基于TuiGAN改进的脸谱图像风格迁移的方法 | |
| CN113160028B (zh) | 基于彩色字符画的信息隐藏及恢复方法、设备及存储介质 | |
| CN113191208B (zh) | 一种用于遥感图像实例分割的特征提取方法和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |