CN112084551A - 一种基于对抗生成网络的建筑立面识别与生成方法 - Google Patents
一种基于对抗生成网络的建筑立面识别与生成方法 Download PDFInfo
- Publication number
- CN112084551A CN112084551A CN202010630520.6A CN202010630520A CN112084551A CN 112084551 A CN112084551 A CN 112084551A CN 202010630520 A CN202010630520 A CN 202010630520A CN 112084551 A CN112084551 A CN 112084551A
- Authority
- CN
- China
- Prior art keywords
- generator
- image
- discriminator
- building facade
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000004913 activation Effects 0.000 claims abstract description 7
- 238000013508 migration Methods 0.000 claims abstract description 4
- 230000005012 migration Effects 0.000 claims abstract description 4
- 238000010606 normalization Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 238000012886 linear function Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Computational Mathematics (AREA)
- Architecture (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于对抗生成网络的建筑立面识别与生成方法，包括以下步骤：A:获得训练图像集A，所述训练图像集由不同风格的建筑立面图像组成；B:将训练图像集A作为输入图像输入至生成器G中得到建筑立面隐含特征图集B，所述生成器G采用卷积到批标准化到激活Relu函数的卷积单元形式的网络结构；C:将待处理的图像与生成器G中得到的建筑隐含特征图集B相加得到风格迁移图像C，并将该图像C输入至判别器D中；D:通过判别器D与生成器G博弈，输出生成器G的最终图像。本发明将对抗生成网络技术运用到建筑立面的图像处理上，解决传统的建筑立面的图像处理中分析、整理、评价以及再设计等步骤，降低了建筑立面的设计门槛和设计成本。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于对抗生成网络的建筑立面识别与生成方法。
背景技术
随着城镇化的快速推进，城市风貌建设的乱象引起各界高度重视，各级城乡政府积极响应，建立相应的城市建筑风貌控制导则。如何将渐失的城市风貌和建筑特色得以传承成为当下社会关注的热点。
建筑立面是建筑风貌的主要组成部分，其相关研究与品质提升涉及现状收集、分析、整理、评价以及再设计等步骤，以往该过程涉及大量人工操作，包括人工标记扣取图片中的立面要素、人工对大量立面要素进行整理归纳，非常费时费力且最终提取总结出的立面特征有较强主观性，且建筑立面的生成效率降低。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于对抗生成网络的建筑立面识别与生成方法，解决目前在设计建筑立面的过程中需要大量人工操作，导致建筑立面的生成效率降低的技术问题。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种基于对抗生成网络的建筑立面识别与生成方法，包括以下步骤：
A:获得训练图像集A，所述训练图像集由不同风格的建筑立面图像组成；
B:将训练图像集A作为输入图像输入至生成器G中得到建筑立面隐含特征图集B，所述生成器G采用卷积到批标准化到激活Relu函数的卷积单元形式的网络结构；
C:将待处理的图像与生成器G中得到的建筑隐含特征图集B相加得到风格迁移图像C，并将该图像C输入至判别器D中；
D:构造一个与生成器G具有相同的卷积单元形式的判别器D对图像C和训练图像集A进行判别，若判别器D将图像C与训练图像集A归为一类，那么再次训练判别器D的调节参数，若判别器D将图像C与训练图像集A分为两类，则再次训练生成器G的调节参数，并重新执行步骤B，直到判别器D与生成器G没有更多的改进余地，输出生成器G的最终图像。
作为本发明的一种优选技术方案，所述步骤D中输出生成器G的最终图像的计算公式为
其中，D(x，y)表示图像x输入至判别器D的映射值，G(x，z)表示图像x和随机噪声向量z输入至生成器G的映射值，G*表示最终的输出值；
为生成器G的的损失函数的值。
作为本发明的一种优选技术方案，所述生成器G包括八个卷积基层、八个反卷积层和八个concat层，所述concat层用于将输入图片映射到反卷积过程，所述卷积与反卷积的结构对齐，第i层会链接到第n-i层，其中n是生成器G中层的总数，所述判别器D包括四个卷积层、一个标准化层以及一个归一化层。
作为本发明的一种优选技术方案，所述激活函数Relu为线性函数，当输入数值为负值时，输出值为0，当输入数值为正值时，输出值与输入值相同。
作为本发明的一种优选技术方案，所述批标准化计算包括以下步骤：
1：将同一批次的特征图
输入至批标准化层中进行计算得出
的均值
和方差
2：对所有的xi，i∈1…m进行标准化，得到
3：对
做一个线性变换，输出批标准化处理结果yi。
所述
的均值
和方差
的计算公式分别为
所述xi的标准化计算公式为
所述yi的计算公式为
式中，m代表批次容量；ε代表一个很小的定数，避免分母为0带来的系统错误；β、γ均表示调节参数。
作为本发明的一种优选技术方案，所述步骤A中，获得训练图像集A后对训练图像集A进行预处理，将训练图像集A进行像素值尺度变换，再通过随机裁剪将图片转回，并通过加入随机镜像的方式进一步丰富训练图像集A。
与现有技术相比，本发明的有益效果如下：
本发明将对抗生成网络技术运用到建筑立面的图像处理上，解决传统的建筑立面的图像处理中分析、整理、评价以及再设计等步骤，降低了建筑立面的设计门槛和设计成本，大大缩短了建筑立面的制作周期，加快了建筑立面的生成效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的整体结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
此外，如果已知技术的详细描述对于示出本发明的特征是不必要的，则将其省略。
实施例1
如图1所示，本发明提供一种基于对抗生成网络的建筑立面识别与生成方法，包括以下步骤：
A:获得训练图像集A，训练图像集由不同风格的建筑立面图像组成；
B:将训练图像集A作为输入图像输入至生成器G中得到建筑立面隐含特征图集B，生成器G采用卷积到批标准化到激活Relu函数的卷积单元形式的网络结构；
C:将待处理的图像与生成器G中得到的建筑隐含特征图集B相加得到风格迁移图像C，并将该图像C输入至判别器D中；
D:构造一个与生成器G具有相同的卷积单元形式的判别器D对图像C和训练图像集A进行判别，若判别器D将图像C与训练图像集A归为一类，那么再次训练判别器D的调节参数，若判别器D将图像C与训练图像集A分为两类，则再次训练生成器G的调节参数，并重新执行步骤B，直到判别器D与生成器G没有更多的改进余地，输出生成器G的最终图像。
生成器G：在生成器输入时，除了初始随机噪声，还会输入一个条件(condition)，生成器的输出会受到输入条件的干涉。那么如果把一幅图像作为条件，则输出就与输入的条件图像产生某种对应关系，从而实现了一种“图像翻译”的过程。网络架构上，由于生成器的输入与输出是成对图片，具有相似的结构，二者应该共享一些信息，因此卷积与反卷积的结构大致对齐，第i层会链接到第n-i层，其中n是生成器中层的总数。该生成器结构被命名为“U-Net”，以暗指其中的对称性。本研究中生成器共包含八个卷基层、八个反卷积层以及八个concat层(用于将输入图片映射到反卷积过程)
Unet反向传播步骤如下：
(1)Y＝Matrix_1(Filter)*Matrix_2(Image)
Matrix_1和Matrix_2分别是将卷积核和图像转成矩阵函数。也就说给一个输入X，利用矩阵乘法能得到卷积后输出Y。
(2)Y＝c*x
卷积可以分解成两个矩阵相乘，卷积反向传播就是C的转置相乘。
(3)Y＝[1,2]*[X,x_1]T
Y对x求导，dy/dx＝[1,2]^T，反卷积就是转置卷积，也是一种卷积，转置卷积是由小尺寸到大尺寸的过程。也就是反卷积也可以表示为两个矩阵乘积，转置卷积的反向传播就是也可以进行。
判别器D：为了对图像的局部做出更好的判断，判别器D采用patchGAN结构，最终的输出结果不是一个值而是一个30*30的矩阵，这相当于将输入图片切分为许多个patch，再分别判断每个Patch的真假。这样做的好处是判别器计算量小，训练速度快，同时判断结果更为精细。判别器在输入上同时接收生成器输入图像与待判别图像(真实图像或者是生成的图像)，这样的结构使得判别器除了考虑生成图像是否真实，同时也要考虑生成图像与生成器输入图像的关联性。本发明中判别器包含四个卷积层，一个标准化层以及一个归一化层。
步骤D中输出生成器G的最终图像的计算公式为
其中，D(x，y)表示图像x输入至判别器D的映射值，G(x，z)表示图像x和随机噪声向量z输入至生成器G的映射值，G*表示最终的输出值；
为生成器G的的损失函数的值。
生成器的损失函数共有两个分别是gan_loss和L1_loss。gan_loss用来表明生成器的生成结果对于判别器是否具有足够的欺骗性，生成结果越是无法欺骗判别器gan_loss越大；L1_loss用来监测测生成结果与原始真实图像在数值上的绝对值差距，L1_loss越小说明生成图像越接近原始真实图像。我们单独分出L1loss项，GANloss项，结果发现只使用L1loss会产生图片模糊的问题。只使用cGAN(λ＝0)的情况下，生成的图片细节确实更好，但是在一些情况下会有不自然的问题。将两种loss结合(λ＝100)起来能够减轻这种现象。于是生成器使用Adam优化器来缩小gan_loss和L1_loss，L1_loss的权重大约是gan_loss的两倍，这样可以更好的优化图片生成效果。
判别器的损失函数total_disc_loss等于real_loss与generated_loss之和，real_loss用来表明判别器是否有能力将真实图片判断为真实，generated_loss用来表明判别器是否有能力将生成器生成的图片判断为假，所以total_disc_loss表明了判别器区分图片真假的能力。生成器使用Adam优化器来缩小total_disc_loss。
生成器G和判别器D都使用conv-BatchNorm-ReLu的卷积单元形式，其中，激活函数Relu为线性函数，当输入数值为负值时，输出值为0，当输入数值为正值时，输出值与输入值相同。
批标准化计算包括以下步骤：
1：将同一批次的特征图
输入至批标准化层中进行计算得出
的均值
和方差
2：对所有的xi，i∈1…m进行标准化，得到
3：对
做一个线性变换，输出批标准化处理结果yi。
式中，m代表批次容量；ε代表一个很小的定数，避免分母为0带来的系统错误；β、γ均表示调节参数。
为了弥补训练数据集规模较小的不足，作者通过数据增强的方式对数据集的丰富性进行补充，首先将训练图像集A进行像素值尺度变换，再通过随机裁剪将图片转回，并通过加入随机镜像的方式进一步丰富数据集，通过数据增强，图像数据集实际训练时的规模得到了极大的扩展，从而有助于提升图像生成的质量。
本发明将对抗生成网络技术运用到建筑立面的图像处理上，解决传统的建筑立面的图像处理中分析、整理、评价以及再设计等步骤，降低了建筑立面的设计门槛和设计成本，大大缩短了建筑立面的制作周期，加快了建筑立面的生成效率。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于对抗生成网络的建筑立面识别与生成方法，其特征在于，包括以下步骤：
A:获得训练图像集A，所述训练图像集由不同风格的建筑立面图像组成；
B:将训练图像集A作为输入图像输入至生成器G中得到建筑立面隐含特征图集B，所述生成器G采用卷积到批标准化到激活Relu函数的卷积单元形式的网络结构；
C:将待处理的图像与生成器G中得到的建筑隐含特征图集B相加得到风格迁移图像C，并将该图像C输入至判别器D中；
D:构造一个与生成器G具有相同的卷积单元形式的判别器D对图像C和训练图像集A进行判别，若判别器D将图像C与训练图像集A归为一类，那么再次训练判别器D的调节参数，若判别器D将图像C与训练图像集A分为两类，则再次训练生成器G的调节参数，并重新执行步骤B，直到判别器D与生成器G没有更多的改进余地，输出生成器G的最终图像。
2.根据权利要求1所述的一种基于对抗生成网络的建筑立面识别与生成方法，其特征在于，所述步骤D中输出生成器G的最终图像的计算公式为
其中，D(x，y)表示图像x输入至判别器D的映射值，G(x，z)表示图像x和随机噪声向量z输入至生成器G的映射值，G*表示最终的输出值；
为生成器G的的损失函数的值。
3.根据权利要求1所述的一种基于对抗生成网络的建筑立面识别与生成方法，其特征在于，所述生成器G包括八个卷积基层、八个反卷积层和八个concat层，所述concat层用于将输入图片映射到反卷积过程，所述卷积与反卷积的结构对齐，第i层会链接到第n-i层，其中n是生成器G中层的总数，所述判别器D包括四个卷积层、一个标准化层以及一个归一化层。
4.根据权利要求1所述的一种基于对抗生成网络的建筑立面识别与生成方法，其特征在于，所述激活函数Relu为线性函数，当输入数值为负值时，输出值为0，当输入数值为正值时，输出值与输入值相同。
5.根据权利要求1所述的一种基于对抗生成网络的建筑立面识别与生成方法，其特征在于，所述批标准化计算包括以下步骤：
1：将同一批次的特征图
输入至批标准化层中进行计算得出
的均值
和方差
2：对所有的xi，i∈1…m进行标准化，得到
3：对
做一个线性变换，输出批标准化处理结果yi。
所述
的均值
和方差
的计算公式分别为
所述xi的标准化计算公式为
所述yi的计算公式为
式中，m代表批次容量；ε代表一个很小的定数，避免分母为0带来的系统错误；β、γ均表示调节参数。
6.根据权利要求1所述的一种基于对抗生成网络的建筑立面识别与生成方法，其特征在于，所述步骤A中，获得训练图像集A后对训练图像集A进行预处理，将训练图像集A进行像素值尺度变换，再通过随机裁剪将图片转回，并通过加入随机镜像的方式进一步丰富训练图像集A。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010630520.6A CN112084551A (zh) | 2020-07-03 | 2020-07-03 | 一种基于对抗生成网络的建筑立面识别与生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010630520.6A CN112084551A (zh) | 2020-07-03 | 2020-07-03 | 一种基于对抗生成网络的建筑立面识别与生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112084551A true CN112084551A (zh) | 2020-12-15 |
Family
ID=73735029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010630520.6A Pending CN112084551A (zh) | 2020-07-03 | 2020-07-03 | 一种基于对抗生成网络的建筑立面识别与生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112084551A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114239116A (zh) * | 2021-12-21 | 2022-03-25 | 盈嘉互联（北京）科技有限公司 | 一种基于风格迁移的bim设计推荐方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598770A (zh) * | 2018-12-07 | 2019-04-09 | 秦嘉艺 | 一种城市建筑物的智能配色方法及智能配色系统 |
| CN109766934A (zh) * | 2018-12-26 | 2019-05-17 | 北京航空航天大学 | 一种基于深度Gabor网络的图像目标识别方法 |
| CN109815814A (zh) * | 2018-12-21 | 2019-05-28 | 天津大学 | 一种基于卷积神经网络的人脸检测方法 |
| CN109886402A (zh) * | 2019-01-10 | 2019-06-14 | 平安科技（深圳）有限公司 | 深度学习模型训练方法、装置、计算机设备及存储介质 |
| CN111127435A (zh) * | 2019-12-25 | 2020-05-08 | 福州大学 | 基于双流卷积神经网络的无参考图像质量评估方法 |
-
2020
- 2020-07-03 CN CN202010630520.6A patent/CN112084551A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598770A (zh) * | 2018-12-07 | 2019-04-09 | 秦嘉艺 | 一种城市建筑物的智能配色方法及智能配色系统 |
| CN109815814A (zh) * | 2018-12-21 | 2019-05-28 | 天津大学 | 一种基于卷积神经网络的人脸检测方法 |
| CN109766934A (zh) * | 2018-12-26 | 2019-05-17 | 北京航空航天大学 | 一种基于深度Gabor网络的图像目标识别方法 |
| CN109886402A (zh) * | 2019-01-10 | 2019-06-14 | 平安科技（深圳）有限公司 | 深度学习模型训练方法、装置、计算机设备及存储介质 |
| CN111127435A (zh) * | 2019-12-25 | 2020-05-08 | 福州大学 | 基于双流卷积神经网络的无参考图像质量评估方法 |
Non-Patent Citations (2)
| Title |
|---|
| ISOLA PHILLIP等: "Image-to-image ranslation with conditional adversarial networks", IEEE 计算机视觉与模式识别会议, 26 November 2018 (2018-11-26), pages 1125 - 1134 * |
| 陆萍等: "基于条件生成对抗网络的图像生成", 甘肃科技纵横, vol. 48, no. 7, 31 July 2019 (2019-07-31), pages 1 - 3 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114239116A (zh) * | 2021-12-21 | 2022-03-25 | 盈嘉互联（北京）科技有限公司 | 一种基于风格迁移的bim设计推荐方法 |
| CN114239116B (zh) * | 2021-12-21 | 2022-07-12 | 盈嘉互联（北京）科技有限公司 | 一种基于风格迁移的bim设计推荐方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859190B (zh) | 一种基于深度学习的目标区域检测方法 | |
| CN112101190B (zh) | 一种遥感图像分类方法、存储介质及计算设备 | |
| CN107945204B (zh) | 一种基于生成对抗网络的像素级人像抠图方法 | |
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN112991354B (zh) | 一种基于深度学习的高分辨率遥感影像语义分割方法 | |
| CN107358262B (zh) | 一种高分辨率图像的分类方法及分类装置 | |
| CN112116605A (zh) | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 | |
| CN112307982B (zh) | 基于交错增强注意力网络的人体行为识别方法 | |
| CN111931931A (zh) | 一种针对病理全场图像的深度神经网络训练方法、装置 | |
| CN109934826A (zh) | 一种基于图卷积网络的图像特征分割方法 | |
| CN110400275B (zh) | 一种基于全卷积神经网络和特征金字塔的颜色校正方法 | |
| CN113420643B (zh) | 基于深度可分离空洞卷积的轻量级水下目标检测方法 | |
| CN114913379B (zh) | 基于多任务动态对比学习的遥感图像小样本场景分类方法 | |
| CN113205502A (zh) | 一种基于深度学习的绝缘子缺陷检测方法及其系统 | |
| CN113657404B (zh) | 一种东巴象形文字的图像处理方法 | |
| CN109949200B (zh) | 基于滤波器子集选择和cnn的隐写分析框架构建方法 | |
| CN113344110B (zh) | 一种基于超分辨率重建的模糊图像分类方法 | |
| CN111709929A (zh) | 一种肺部癌变区域分割与分类检测系统 | |
| CN114092793A (zh) | 适用于复杂水下环境的端到端生物目标检测方法 | |
| CN116630183A (zh) | 一种基于生成式对抗网络的文字图像修复方法 | |
| CN115830592A (zh) | 一种重叠宫颈细胞分割方法及系统 | |
| CN112084551A (zh) | 一种基于对抗生成网络的建筑立面识别与生成方法 | |
| CN116703744B (zh) | 一种基于卷积神经网络的遥感影像匀光匀色方法和装置 | |
| CN116778164A (zh) | 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法 | |
| CN112508958B (zh) | 一种轻量多尺度的生物医学图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |