CN111583412A - 构建书法浮雕深度学习网络的方法及构建书法浮雕的方法 - Google Patents

构建书法浮雕深度学习网络的方法及构建书法浮雕的方法 Download PDF

Info

Publication number
CN111583412A
CN111583412A CN202010353361.XA CN202010353361A CN111583412A CN 111583412 A CN111583412 A CN 111583412A CN 202010353361 A CN202010353361 A CN 202010353361A CN 111583412 A CN111583412 A CN 111583412A
Authority
CN
China
Prior art keywords
calligraphy
relief
deep learning
learning network
font
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010353361.XA
Other languages
English (en)
Other versions
CN111583412B (zh
Inventor
陈彦钊
张玉伟
王金磊
龙文斐
周浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202010353361.XA priority Critical patent/CN111583412B/zh
Publication of CN111583412A publication Critical patent/CN111583412A/zh
Application granted granted Critical
Publication of CN111583412B publication Critical patent/CN111583412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种构建书法浮雕深度学习网络的方法及构建书法浮雕的方法，属于书法浮雕建模领域，要解决的技术问题为：如何结合深度学习实现由单张书法图像生成书法浮雕。包括如下步骤：基于多种数量和种类的书法字体图像及对应的书法字体浮雕构建数据集；分别构建渐变型书法字体浮雕和扁平型书法字体浮雕，并将书法字体及对应的书法字体浮雕分别进行组合；基于损失函数训练浮雕深度学习网络中的参数，对训练后浮雕深度学习网络中参数进行优化和预测，得到训练后的扁平型浮雕深度学习网络模型及训练后的渐变型浮雕深度学习网络模型。通过上述构建书法浮雕深度学习网络的方法得到扁平型浮雕深度学习网络和渐变型浮雕深度学习网络，并预测书法字体浮雕的高度场。

Description

构建书法浮雕深度学习网络的方法及构建书法浮雕的方法
技术领域
本发明涉及书法浮雕建模领域，具体地说是一种构建书法浮雕深度学习网络的方法及构建书法浮雕的方法。
背景技术
汉字书法在中国传统文化中占有突出的地位，为了长期保存，许多书法作品被以浮雕的形式雕刻在石头或木材上。传统浮雕建模方法仅适用于制作平面浮雕，无法展现更好的光照效果，立体感不强，而且，此类方法基于拉普拉斯网格变形等优化技术，需要耗费大量时间求解线性方程组，建模速度慢；现有商业建模软件如ArtForm和JDPaint为曲面浮雕的创建提供了特定的工具，然而，使用这些工具时需要大量的手动交互操作，专业性较强，费时费力，不适用于普通用户。
深度学习是学习样本数据的内在规律和表示层次，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音识别和图像处理方面取得的效果，远远超过先前相关技术。
基于深度学习的优势，如何结合深度学习实现由单张书法图像生成书法浮雕，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供一种构建书法浮雕深度学习网络的方法及构建书法浮雕的方法，来解决如何结合深度学习实现由单张书法图像生成书法浮雕的问题。
第一方面，本发明提供一种构建书法浮雕深度学习网络的方法，包括如下步骤：
基于多种数量和种类的书法字体图像及对应的书法字体浮雕构建数据集，所述书法字体浮雕的类型包括渐变型和扁平型；
基于书法字体浮雕的类型，分别构建渐变型书法字体浮雕和扁平型书法字体浮雕，并将数据集中书法字体及对应的书法字体浮雕分别进行组合，得到扁平型浮雕数据集和渐变型浮雕数据集，每种数据集均划分为训练子集、验证子集和测试子集；
构建浮雕深度学习网络，所述浮雕深度学习网络主要由收缩路径和扩展路径组成；
以扁平型高度场数据集中的训练子集为输入，基于损失函数训练浮雕深度学习网络中的参数，以扁平型高度场数据集中的验证子集验证模型，经过不断迭代和模型参数调整，得到训练后的扁平型浮雕深度学习网络模型，以扁平型高度场数据集中测试子集对训练后的扁平型浮雕深度学习网络模型进行评估；
以渐变型高度场数据集中的训练子集为输入，基于损失函数训练浮雕深度学习网络中的参数，以渐变型高度场数据集中的验证子集验证模型，经过不断迭代和模型参数调整，得到训练后的渐变型浮雕深度学习网络模型，以渐变型高度场数据集中测试子集对训练后的渐变型浮雕深度学习网络模型进行评估。
本实施方式中，收集不同书法家的不同风格手写书法字体图像，根据书法浮雕的类型分别生成扁平型和渐变型书法浮雕模型数据集，用于后续深度神经网络的训练；基于深度学习构建深度学习网络，实现扁平型和渐变型两种书法浮雕高度场的训练、验证和预测，得到最终的扁平型深度学习网络模型和渐变型深度学习网络模型。通过上述扁平型深度学习网络模型和渐变型深度学习网络模型可以后续进行高度场预测，从而可直接、快速的构建书法浮雕模型，适应不同分辨率的书法作品图像的输入。
作为优选，所述数据集中书法字体图像为单通道位图，且所述书法字体图像中背景部分像素灰度值为0，字体部分像素灰度值为255。
作为优选，通过拉普拉斯曲面膨胀构造渐变型书法字体浮雕，包括如下步骤：
对于每个输入的书法字体图像，将其转换为三角形网格的形式；
以背景网格顶点为约束，通过求解如下公式来膨胀字体区域：
Figure BDA0002472623350000031
其中，▽2为Laplace–Beltrami算子，h(vi)为高度值，s为小常量，默认情况下s＝0.0001；
求解上述公式后，将高度场大小调整在[0.0,0.025×d]范围内，其中d为整个网格模型的宽度；
将整个网格模型转换为8位灰度图像，作为ground truth中对应的输出，得到渐变型高度场以及渐变型书法字体浮雕网格。
作为优选，通过计算一个新法向场生成扁平型书法字体浮雕，包括如下步骤：
设Ni＝[nx,ny,nz]为笔画边界处的法向量，令nz＝0，并将法向量Ni归一化为Ni'＝[n'x,n'y,0.0]，使得法向量Ni'垂直于高度方向[0.0,0.0,1.0]；
以Ni'(i＝0,1,......,n)为输入，通过求解如下线性系统计算网格顶点法向x-和y-分量：
▽2N(vi)＝0
其中，▽2为Laplace–Beltrami算子，N(vi)为法向x-或y-分量；
通过如下计算公式计算法向z-分量：
Figure BDA0002472623350000032
得到网格顶点法向x-、y-分量以及z-分量后，字体区域已均匀膨胀，将背景网格顶点的高度设置为0，并将字体网格顶点的高度定义为0.05×nZ，得到扁平型高度场以及扁平型书法字体浮雕网格。
作为优选，所述收缩路径包括多个收缩模块，每个收缩模块均配置有卷积层和池化层，卷积层采用same填充，且共有两个，分别为第一卷积层和第二卷积层，所述收缩模块用于通过执行如下步骤进行特征提取：
第一卷积层完成卷积并通过ReLU函数激活后，进行随机失活；
第二卷积层完成卷积并通过ReLU函数激活后，通过池化层进行下采样，输出特征图；
所述扩展路径包括多个扩展模块，扩展模块与收缩模块一一对应并串接，每个扩展模块均配置有卷积层，卷积层采用same填充，且共有两个，分别为第一卷积层和第二卷积层，所述扩展模块用于通过执行如下步骤进行特征提取：
进行上采样，并从与其串接的收缩模块中获取特征图，将上采样获取的特征图和从与其串接的收缩模块中获取的输出特征图相结合，得到相结合特征图；
第一卷积层完成卷积并通过ReLU函数激活后，进行随机失活；
第二卷积层完成卷积并通过ReLU函数激活后，输出特征图。
作为优选，所述收缩路径和扩展路径通过中间模块进行连接，所述中间模块配置有卷积层，卷积层采用same填充且共有两个，分别为第一卷积层和第二卷积层，所述中间模块用于通过如下步骤进行特征提取：
第一卷积层完成卷积并通过ReLU函数激活后，进行随机失活；
第二卷积层完成卷积并通过ReLU函数激活后，进行随机失活。
作为优选，所述收缩路径中收缩模块共四个，对应的，所述扩展路径中扩展模块共四个。
作为优选，通过最小化如下公式中的损失函数训练浮雕深度学习网络中的参数：
Figure BDA0002472623350000041
其中，
Figure BDA0002472623350000042
表示预测灰度值，
Figure BDA0002472623350000043
表示ground truth灰度值。
第二方面，本发明提供一种构建书法浮雕的方法，通过如第一方面任一项所述的构建书法浮雕深度学习网络的方法得到训练后的扁平型浮雕深度学习网络模型以及训练后的渐变型浮雕深度学习网络模型，通过训练后的扁平型浮雕深度学习网络模型以及训练后的渐变型浮雕深度学习网络模型预测书法字体浮雕的高度场，所述方法包括如下步骤：
给定单张书法字体图像作为目标图像；
将目标图像输入训练后的扁平型浮雕深度学习网络模型进行书法浮雕预测，得到扁平型高度场；
将目标图像输入训练后的渐变型浮雕深度学习网络模型进行书法浮雕预测，得到渐变型高度场；
将扁平型高度场和渐变型高度场进行线性合并，得到书法字体浮雕。
作为优选，将目标图像输入扁平型浮雕深度学习网络以及渐变型浮雕深度学习网络之前，对目标图像进行预处理，将目标图像转换为单通道位图，转换后目标图像中背景部分像素灰度值为0，字体部分像素灰度值为255。
本发明的构建书法浮雕深度学习网络的方法及构建书法浮雕的方法具有以下优点：
1、建立不同书法字体组成的数据集，通过数据集训练构建的深度学习网络模型并优化参数，得到训练后的深度学习网络模型，通过训练后深度学习网络模型可预测书法字体浮雕高度场，得到浮雕三维网格模型，相对于传统的书法浮雕模型构建方法，可快速生成模型，节省了时间，且自动化程度高，无需人工几何交互，易于应用；
2、基于浮雕的类型将数据集分为两类，分别为扁平型和渐变型，以扁平型和渐变型的数据子集为输入，训练深度学习网络得到两种书法浮雕深度学习网络模型，分别为扁平型深度学习网络模型和渐变型深度学习模型，可生成不同风格的书法字体浮雕，并可在浮雕中体现书法字体的细节。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
附图1为实施例1构建书法浮雕深度学习网络的方法的流程框图；
附图2为实施例1构建书法浮雕深度学习网络的方法中数据集的字体结构示意图；
附图3为实施例1构建书法浮雕深度学习网络的方法中书法浮雕高度场的构造示意图；
附图4为实施例1构建书法浮雕深度学习网络的方法中浮雕深度学习网络的结构示意图；
附图5为实施例2构建书法浮雕的方法的流程示意图；
附图6为实施例2构建书法浮雕的方法对应不同高度风格的建模结果示意图；
附图7为实施例2构建书法浮雕的方法对应的以不同分辨率书法图像为输入的建模结果，其中书法作品作者为欧阳中石；
附图8为实施例2构建书法浮雕的方法中书法作品“兰亭序”的建模结果示意图；
其中，附图2中，第一行为字体图像，第二行为渐变型浮雕高度场灰度图，第三行为扁平型浮雕高度场灰度图；
附图3中，(a)表示输入的书法字体图像，(b-c)表示高度图和渐变型浮雕对应的网格，(d)由笔画边界法向推测得到的法向图，(e-f)高度图和对应的扁平型浮雕网格；
附图6中，(a)表示渐变风格，混合比0.0，(b)表示扁平风格，混合比1.0；(c)表示复合风格，混合比0.5；(d)表示将(c)中高度值加倍后的结果；
附图7中，(a)对应的分辨率为2048×1536，(b)对应的分辨率为1024×768，(c)对应的分辨率为512×384；
附图8中分辨率为3040×1840，(a)表示手写汉字书法作品图像，(b)表示书法字体浮雕建模结果，(c)表示(b)的局部放大结果。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例中的“多个”，是指两个或两个以上。
本发明实施例提供构建书法浮雕深度学习网络的方法及构建书法浮雕的方法，用于解决如何结合深度学习实现由单张书法图像生成书法浮雕的技术问题。
实施例1：
如附图1所示，本发明的构建书法浮雕深度学习网络的方法，包括如下步骤：
S100、基于多种数量和种类的书法字体图像及对应的书法字体浮雕构建数据集，上述书法字体浮雕的类型包括渐变型和扁平型；
S200、基于书法字体浮雕的类型，分别构建渐变型书法字体浮雕和扁平型书法字体浮雕，并将数据集中书法字体及对应的书法字体浮雕分别进行组合，得到扁平型浮雕数据集和渐变型浮雕数据集，每种数据集均划分为训练子集、验证子集和测试子集；
S300、构建浮雕深度学习网络，上述浮雕深度学习网络主要由收缩路径和扩展路径组成；
S400、以扁平型高度场数据集中的训练子集为输入，基于损失函数训练浮雕深度学习网络中的参数，以扁平型高度场数据集中的验证子集验证模型，经过不断迭代和模型参数调整，得到训练后的扁平型浮雕深度学习网络模型，以扁平型高度场数据集中测试子集对训练后的扁平型浮雕深度学习网络模型进行评估；
以渐变型高度场数据集中的训练子集为输入，基于损失函数训练浮雕深度学习网络中的参数，以渐变型高度场数据集中的验证子集验证模型，经过不断迭代和模型参数调整，得到训练后的渐变型浮雕深度学习网络模型，以渐变型高度场数据集中测试子集对训练后的渐变型浮雕深度学习网络模型进行评估。
其中，步骤S100中建立一个包含足够数量和种类的书法字体图像和相应的字体浮雕数据集，本实施例中构建了一套包含1150个汉字书法浮雕的数据集，其中，书法字体包含多种样式，分别是：欧阳中石作品200幅；启功作品200幅；楷书150幅，篆书150幅，隶书150幅，行书150幅，草书150幅，所有图像的分辨率均为512×512，部分训练集字体如图2所示。
在上述数据集中书法字体图像为单通道位图，具体的，书法字体图像中背景部分像素灰度值为0，字体部分像素灰度值为255。
在真实场景中，汉字书法浮雕有两种常见的类型：一种是扁平型，其中笔划边界已平滑，但每个笔划的总高度几乎相同；另一种是渐变型，笔划高度随笔划宽度的变化而变化。基于此，本实施例提出了一种合成的方法来生成对应的扁平型和渐变型书法浮雕高度场各1150件，并将其作为“ground truth”数据中对应的输出。
步骤S200中，通过拉普拉斯曲面膨胀构造渐变型书法字体浮雕，包括如下步骤：
(1)对于每个输入的书法字体图像，将其转换为三角形网格的形式；
(2)以背景网格顶点为约束，通过求解如下公式来膨胀字体区域：
Figure BDA0002472623350000081
其中，
Figure BDA0002472623350000082
为Laplace–Beltrami算子，h(vi)为高度值，s为小常量，默认情况下s＝0.0001；
(3)求解上述公式后，将高度场大小调整在[0.0,0.025×d]范围内，其中d为整个网格模型的宽度，膨胀结果如附图3c所示，其中背景网格顶点保持固定，而字体内的网格顶点高度被非均匀的提升；
(4)将整个网格模型转换为8位灰度图像，作为ground truth中对应的输出，如附图3b所示，得到渐变型高度场以及渐变型书法字体浮雕网格。
通过计算一个新法向场生成扁平型书法字体浮雕，包括如下步骤：
(1)设Ni＝[nx,ny,nz]为笔画边界处的法向量，令nz＝0，并将法向量Ni归一化为Ni'＝[n'x,n'y,0.0]，使得法向量Ni'垂直于高度方向[0.0,0.0,1.0]；
(2)以Ni'(i＝0,1,......,n)为输入，通过求解如下线性系统计算网格顶点法向x-和y-分量：
Figure BDA0002472623350000083
其中，
Figure BDA0002472623350000084
为Laplace–Beltrami算子，N(vi)为法向x-或y-分量；
(3)通过如下计算公式计算法向z-分量：
Figure BDA0002472623350000091
得到网格顶点法向x-、y-分量以及z-分量后，得到的法图如附图3d所示，字体区域已均匀膨胀，将背景网格顶点的高度设置为0，并将字体网格顶点的高度定义为0.05×nZ，最终的高度图如附图3e所示，得到扁平型高度场以及扁平型书法字体浮雕网格。
将数据集中书法字体图像和对应的浮雕高度场分别进行组合，构成[输入黑白字体图像—>渐变型高度场]以及[输入黑白字体图像—>扁平型高度场]两类数据各1150对，得到扁平型浮雕数据集和渐变型浮雕数据集，每种数据集均划分为训练子集、验证子集和测试子集，其中，900对数据用于训练，100对数据用于验证，150对数据用于测试。
附图4所示，步骤S300构建的浮雕深度学习网络，在收缩路径中共有四个收缩模块，每个收缩模块均配置有卷积层和池化层，卷积层尺寸为7×7、并采用same填充，且共有两个，分别为第一卷积层和第二卷积层，池化层尺寸为2×2，该收缩模块用于通过执行如下步骤进行特征提取：
第一卷积层完成卷积并通过ReLU函数激活后，进行随机失活(p＝2)；
第二卷积层完成卷积并通过ReLU函数激活后，通过池化层进行下采样，输出特征图。
上述扩展路径包括多个扩展模块，扩展模块与收缩模块一一对应并串接，每个扩展模块均配置有卷积层，卷积层尺寸为7×7、并采用same填充，且共有两个分别为第一卷积层和第二卷积层，上述收缩模块用于通过执行如下步骤进行特征提取：
进行上采样，并从与其串接的收缩模块中获取特征图，将上采样获取的特征图和从与其串接的收缩模块中获取的输出特征图相结合，得到相结合特征图；
第一卷积层完成卷积并通过ReLU函数激活后，进行随机失活(p＝2)；
第二卷积层完成卷积并通过ReLU函数激活后，输出特征图。
每个扩展模块的输出特征图通道数减半，最后采用的一个1*1的卷积层来恢复通道数，输出每个像素点对应的高度值。
其中，收缩路径和扩展路径通过中间模块进行连接，上述中间模块配置有卷积层，卷积层采用same填充且共有两个，分别为第一卷积层和第二卷积层，所述中间模块用于通过如下步骤进行特征提取：
第一卷积层完成卷积并通过ReLU函数激活后，进行随机失活；
第二卷积层完成卷积并通过ReLU函数激活后，进行随机失活。
步骤S300中，通过最小化如下公式中的损失函数训练浮雕深度学习网络中的参数：
Figure BDA0002472623350000101
其中，
Figure BDA0002472623350000102
表示预测灰度值，
Figure BDA0002472623350000103
表示ground truth灰度值。
本实施例中使用Keras来建立书法浮雕深度学习网络，该网络采用ADAM求解器在Quadro P4000 GPU上进行训练，对于渐变型样本，学习率从2×10-5开始，对于扁平型样本，学习率从5×10-5开始。训练batchsize为2的网络大约用时3个小时。
本实施例构建的训练后的扁平型浮雕深度学习网络模型以及训练后的渐变型浮雕深度学习网络模型可对汉字字体进行预测，得到渐变型高度场以及扁平型高度场，从而实现书法字体浮雕建模。
实施例2：
如附图5所示，本发明的一种构建书法浮雕的方法，通过实施例1公开的一种构建书法浮雕深度学习网络的方法得到训练后的扁平型浮雕深度学习网络模型以及训练后的渐变型浮雕深度学习网络模型，通过训练后的扁平型浮雕深度学习网络模型以及训练后的渐变型浮雕深度学习网络模型预测书法字体浮雕的高度场，该方法包括如下步骤：
S100、给定单张书法字体图像作为目标图像；
S200、将目标图像输入训练后的扁平型浮雕深度学习网络模型进行书法浮雕预测，得到扁平型高度场；
S300、将目标图像输入训练后的渐变型浮雕深度学习网络模型进行书法浮雕预测，得到渐变型高度场；
S400、将扁平型高度场和渐变型高度场进行线性合并，得到书法字体浮雕。
步骤S200中，将目标图像输入训练后的扁平型浮雕深度学习网络模型以及训练后的渐变型浮雕深度学习网络模型之前，对目标图像进行预处理，将目标图像转换为单通道位图，转换后目标图像中背景部分像素灰度值为0，字体部分像素灰度值为255。
将转换后的位图分别输入训练后的扁平型浮雕深度学习网络模型以及训练后的渐变型浮雕深度学习网络模型进行两种类型的书法浮雕快速预测，预测过程中无需调整参数，网络输出为单通道位图，每个像素以8位整数存储高度值，最后将扁平型高度场和渐变型高度场按照指定的混合比进行线性合并，并输出书法浮雕深度学习网络模型，从而完成书法浮雕建模。
不同风格混合比的建模结果如附图6所示，当混合比例为0时，建模结果完全呈现出渐变风格，当混合比为1时，建模结果完全呈现出扁平风格，当混合比介于0和1之间时，建模结果呈现出不同的混合风格。
附图7及附图8展示了由不同分辨率的相同书法作品预测生成的浮雕效果，随着分辨率的提高，图像中记录了更多的笔划细节，相应地，浮雕中也可以恢复更多的高度细节。当输入分辨率为2048×1536、1024×768和512×384时，预测时间分别为1.997秒、0.586秒和0.189秒。本方法适用于超高分辨率输入图像，附图7展示了分辨率为3040×1840时的建模结果，建模时间仅为4.125秒。本发明所提出的书法浮雕建模方法，除可以生成凸起的书法浮雕外，还可以生成具有凹陷风格的书法浮雕。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.构建书法浮雕深度学习网络模型的方法，其特征在于包括如下步骤：
基于多种数量和种类的书法字体图像及对应的书法字体浮雕构建数据集，所述书法字体浮雕的类型包括渐变型和扁平型；
基于书法字体浮雕的类型，分别构建渐变型书法字体浮雕和扁平型书法字体浮雕，并将数据集中书法字体及对应的书法字体浮雕分别进行组合，得到扁平型浮雕数据集和渐变型浮雕数据集，每种数据集均划分为训练子集、验证子集和测试子集；
构建浮雕深度学习网络，所述浮雕深度学习网络主要由收缩路径和扩展路径组成；
以扁平型高度场数据集中的训练子集为输入，基于损失函数训练浮雕深度学习网络中的参数，以扁平型高度场数据集中的验证子集验证模型，经过不断迭代和模型参数调整，得到训练后的扁平型浮雕深度学习网络模型，以扁平型高度场数据集中测试子集对训练后的扁平型浮雕深度学习网络模型进行评估；
以渐变型高度场数据集中的训练子集为输入，基于损失函数训练浮雕深度学习网络中的参数，以渐变型高度场数据集中的验证子集验证模型，经过不断迭代和模型参数调整，得到训练后的渐变型浮雕深度学习网络模型，以渐变型高度场数据集中测试子集对训练后的渐变型浮雕深度学习网络模型进行评估。
2.根据权利要求1所述的构建书法浮雕深度学习网络的方法，其特征在于所述数据集中书法字体图像为单通道位图，且所述书法字体图像中背景部分像素灰度值为0，字体部分像素灰度值为255。
3.根据权利要求1或2所述的构建书法浮雕深度学习网络的方法，其特征在于通过拉普拉斯曲面膨胀构造渐变型书法字体浮雕，包括如下步骤：
对于每个输入的书法字体图像，将其转换为三角形网格的形式；
以背景网格顶点为约束，通过求解如下公式来膨胀字体区域：
Figure FDA0002472623340000011
其中，
Figure FDA0002472623340000012
为Laplace–Beltrami算子，h(vi)为高度值，s为小常量，默认情况下s＝0.0001；
求解上述公式后，将高度场大小调整在[0.0,0.025×d]范围内，其中d为整个网格模型的宽度；
将整个网格模型转换为8位灰度图像，作为ground truth中对应的输出，得到渐变型高度场以及渐变型书法字体浮雕网格。
4.根据权利要求1或2所述的构建书法浮雕深度学习网络的方法，其特征在于通过计算一个新法向场生成扁平型书法字体浮雕，包括如下步骤：
设Ni＝[nx,ny,nz]为笔画边界处的法向量，令nz＝0，并将法向量Ni归一化为N′i＝[n′x,n′y,0.0]，使得法向量Ni′垂直于高度方向[0.0,0.0,1.0]；
以N′i(i＝0,1,......,n)为输入，通过求解如下线性系统计算网格顶点法向x-和y-分量：
Figure FDA0002472623340000021
其中，
Figure FDA0002472623340000022
为Laplace–Beltrami算子，N(vi)为法向x-或y-分量；
通过如下计算公式计算法向z-分量：
Figure FDA0002472623340000023
得到网格顶点法向x-、y-分量以及z-分量后，字体区域已均匀膨胀，将背景网格顶点的高度设置为0，并将字体网格顶点的高度定义为0.05×nZ，得到扁平型高度场以及扁平型书法字体浮雕网格。
5.根据权利要求1或2所述的构建书法浮雕深度学习网络的方法，其特征在于所述收缩路径包括多个收缩模块，每个收缩模块均配置有卷积层和池化层，卷积层采用same填充，且共有两个，分别为第一卷积层和第二卷积层，所述收缩模块用于通过执行如下步骤进行特征提取：
第一卷积层完成卷积并通过ReLU函数激活后，进行随机失活；
第二卷积层完成卷积并通过ReLU函数激活后，通过池化层进行下采样，输出特征图；
所述扩展路径包括多个扩展模块，扩展模块与收缩模块一一对应并串接，每个扩展模块均配置有卷积层，卷积层采用same填充，且共有两个，分别为第一卷积层和第二卷积层，所述扩展模块用于通过执行如下步骤进行特征提取：
进行上采样，并从与其串接的收缩模块中获取特征图，将上采样获取的特征图和从与其串接的收缩模块中获取的输出特征图相结合，得到相结合特征图；
第一卷积层完成卷积并通过ReLU函数激活后，进行随机失活；
第二卷积层完成卷积并通过ReLU函数激活后，输出特征图。
6.根据权利要求5所述的构建书法浮雕深度学习网络的方法，其特征在于所述收缩路径和扩展路径通过中间模块进行连接，所述中间模块配置有卷积层，卷积层采用same填充且共有两个，分别为第一卷积层和第二卷积层，所述中间模块用于通过如下步骤进行特征提取：
第一卷积层完成卷积并通过ReLU函数激活后，进行随机失活；
第二卷积层完成卷积并通过ReLU函数激活后，进行随机失活。
7.根据权利要求5所述的构建书法浮雕深度学习网络的方法，其特征在于所述收缩路径中收缩模块共四个，对应的，所述扩展路径中扩展模块共四个。
8.根据权利要求1或2所述的构建书法浮雕深度学习网络的方法，其特征在于通过最小化如下公式中的损失函数训练浮雕深度学习网络中的参数：
Figure FDA0002472623340000031
其中，
Figure FDA0002472623340000032
表示预测灰度值，
Figure FDA0002472623340000033
表示ground truth灰度值。
9.构建书法浮雕的方法，其特征在于通过如权利要求1-8任一项所述的构建书法浮雕深度学习网络的方法得到训练后的扁平型浮雕深度学习网络模型以及训练后的渐变型浮雕深度学习网络模型，通过训练后的扁平型浮雕深度学习网络模型以及训练后的渐变型浮雕深度学习网络模型预测书法字体浮雕的高度场，所述方法包括如下步骤：
给定单张书法字体图像作为目标图像；
将目标图像输入训练后的扁平型浮雕深度学习网络模型进行书法浮雕预测，得到扁平型高度场；
将目标图像输入训练后的渐变型浮雕深度学习网络模型进行书法浮雕预测，得到渐变型高度场；
将扁平型高度场和渐变型高度场进行线性合并，得到书法字体浮雕。
10.根据权利要求7所述的构建书法浮雕的方法，其特征在于将目标图像输入扁平型浮雕深度学习网络以及渐变型浮雕深度学习网络之前，对目标图像进行预处理，将目标图像转换为单通道位图，转换后目标图像中背景部分像素灰度值为0，字体部分像素灰度值为255。
CN202010353361.XA 2020-04-29 2020-04-29 构建书法浮雕深度学习网络的方法及构建书法浮雕的方法 Active CN111583412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010353361.XA CN111583412B (zh) 2020-04-29 2020-04-29 构建书法浮雕深度学习网络的方法及构建书法浮雕的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010353361.XA CN111583412B (zh) 2020-04-29 2020-04-29 构建书法浮雕深度学习网络的方法及构建书法浮雕的方法

Publications (2)

Publication Number Publication Date
CN111583412A true CN111583412A (zh) 2020-08-25
CN111583412B CN111583412B (zh) 2021-06-01

Family

ID=72124576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010353361.XA Active CN111583412B (zh) 2020-04-29 2020-04-29 构建书法浮雕深度学习网络的方法及构建书法浮雕的方法

Country Status (1)

Country Link
CN (1) CN111583412B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561797A (zh) * 2020-12-09 2021-03-26 齐鲁工业大学 花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法
CN116524132A (zh) * 2023-05-08 2023-08-01 齐鲁工业大学(山东省科学院) 由单张人体图像生成人体浮雕的建模方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100191565A1 (en) * 2009-01-23 2010-07-29 Hudson Marine Management Services System and Method for Complying With TMSA Guidelines
CN110766786A (zh) * 2019-09-18 2020-02-07 湖南大学 基于生成对抗网络的草图到浅浮雕模型生成的方法
CN111062290A (zh) * 2019-12-10 2020-04-24 西北大学 基于生成对抗网络中国书法风格转换模型构建方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100191565A1 (en) * 2009-01-23 2010-07-29 Hudson Marine Management Services System and Method for Complying With TMSA Guidelines
CN110766786A (zh) * 2019-09-18 2020-02-07 湖南大学 基于生成对抗网络的草图到浅浮雕模型生成的方法
CN111062290A (zh) * 2019-12-10 2020-04-24 西北大学 基于生成对抗网络中国书法风格转换模型构建方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561797A (zh) * 2020-12-09 2021-03-26 齐鲁工业大学 花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法
CN116524132A (zh) * 2023-05-08 2023-08-01 齐鲁工业大学(山东省科学院) 由单张人体图像生成人体浮雕的建模方法及系统

Also Published As

Publication number Publication date
CN111583412B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN108510456B (zh) 基于感知损失的深度卷积神经网络的草图简化方法
CN113240580A (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN107274345A (zh) 一种中文打印字符图像合成方法及装置
CN111583412B (zh) 构建书法浮雕深度学习网络的方法及构建书法浮雕的方法
CN112529989B (zh) 一种基于票据模板的图片重构方法
CN109447897B (zh) 一种真实场景图像合成方法及系统
CN112561791B (zh) 一种基于优化AnimeGAN的图像风格迁移
US20230109732A1 (en) Generation of stylized drawing of three-dimensional shapes using neural networks
CN111062290A (zh) 基于生成对抗网络中国书法风格转换模型构建方法及装置
CN115937690B (zh) 一种槽线生成方法、装置、存储介质及终端
CN112017263B (zh) 基于深度学习的试卷智能生成方法和系统
CN114419430A (zh) 一种基于SE-U-Net++模型的耕地地块提取方法及装置
CN113111906B (zh) 一种基于单对图像训练的条件生成对抗网络模型的方法
CN113963232A (zh) 一种基于注意力学习的网络图数据提取方法
CN111462084B (zh) 基于随机森林的图像矢量化印刷出血点预测系统和方法
Zhang et al. A fast solution for Chinese calligraphy relief modeling from 2D handwriting image
CN111161266A (zh) 一种基于矢量量化的变分自编码机的多风格字体生成方法
CN114037644B (zh) 一种基于生成对抗网络的艺术字图像合成系统及方法
CN114493997A (zh) 一种基于数字高程模型与风格迁移的地形水墨画生成方法
CN114119874A (zh) 基于gan的单图重建高清3d面部纹理的方法
CN112686099A (zh) 适用于用电业扩报装申请的图文资料自动识别方法及系统
Morita et al. Inscription segmentation using synthetic inscription images for text detection at stone monuments
CN114399593B (zh) 基于深度学习的人脸眼镜移除和三维模型生成方法
CN112949719B (zh) 基于gan的试井解释代理模型生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant