CN109598770A - 一种城市建筑物的智能配色方法及智能配色系统 - Google Patents

Abstract

本发明涉及到一种城市建筑物的智能配色方法，该方法包括有依次连接的图像导入环节、图像分割环节、图像分析环节和图像自动配色环节：图像导入环节是获得大量有价值的城市建筑物图像作为原始图像；图像分割环节是在原始图像中排除无关信息，以建筑物群落为研究内容；图像分析环节是获知图像色彩信息并生成色彩报告及该颜色值分布与各种配色信息，进而获得某一地区整体建筑群的色彩分布规律；图像自动配色环节是从建筑图像色彩规律，对草图建筑做自动配色；本发明还涉及到智能城市建筑物配色系统。本发明的方法和系统全面智能分析城市建筑物配色信息，大幅降低建筑设计师配色工作量，实现黑白设计草图到彩色稿的转换，为城市建筑物设计带来便利。

Description

一种城市建筑物的智能配色方法及智能配色系统

技术领域

本发明涉及到建筑设计，具体涉及到一种城市建筑物的智能配色方法及配色系统。

背景技术

城市是历史与现实的共同载体，它既包含着人类过去所经历的文明，也蕴含着人们对于美好未来的期待。随着城市的现代化进程，城市历史建筑色彩保护成为近年来国内许多城市，特别是历史文化名城所关注的问题。自上世纪80年代以来，中国城市在超高速发展及扩容过程中，由于缺少统一管理，更由于普遍缺少对历史建筑色彩保护的重视，新涂料争奇斗艳的色彩，失去鲜明的城市个性，又切断历史文脉，而且造成严重的视觉污染。

城市色彩是指城市公共空间中所有物体外部被感知的色彩总和。色彩不仅有助于现代化社会文明程度的提升，而且对于城市传统特征的保持和地域文脉的传承都具有现实的和深远的意义。城市色彩包含了城市历史建筑色彩，城市历史建筑色彩是一个城市总体的建筑色彩中的重要组成部分。城市历史建筑保护不仅是对一个城市历史建筑确立某种城市色调，更重要的是突出城市的自然美和自然环境的和谐。在一定程度上，能反映一个城市的历史文化命脉，因而作为上海这座历史文化名城的规划部门亟需通过有效的技术手段将上海历史建筑色彩保护纳入到总体规划之中。

上海历史色彩既包含历史中心城区的建筑群的色彩，也是反映出城市经济、社会、文化、生活、民俗、手工技艺等历史色彩。为了避免在全球化进程中城市同质化的影响，保持多元文化对话，需在保持历史建筑区色彩的风格统一、完整性、原真性的同时，保持上海本土的传统文化特色和文化元素以及地方特色，为此，历史保护色彩规划方法需传承中创新，在保持现有的风貌色彩同时，加入对色彩风格保护，保留上海江南文化特色，让新旧建筑的色彩衔接，中西色彩文化风格的色彩融合。

国外对建筑色彩的议题由来已久，著名建筑师柯布西耶提出：“多彩色＝快乐”；著名色彩规划师斯皮尔曼认为，历史色彩保护不仅是针对单体建筑的立面，而是从整体上考虑街道界面和空间的连续性、整体性和多样性。

传统方法的配色原理往往是专门邀请相关设计师，给予其大量参考图像，并直接在所建建筑上进行人工填色处理。这种方法虽然可以以最标准的方式实现对建筑的配色需求，但同时也非常有可能因为相关信息整合缺失而导致整体配色效果与预期产生差异。同时针对大规模建筑配色需求的工作又过于繁琐与费时，人工成本也过于高昂。

发明内容

本发明的目的在于克服现有技术存在的不足，提供一种城市建筑物的智能配色方法及配色系统。本发明的方法和系统要能够全面的分析采集到的城市建筑物配色信息，为后续城市建筑物设计带来便利，能大幅度降低建筑设计师配色工作量，并且要能够实现建筑物黑白设计草图到彩色稿的全自动智能风格转换。

为了达到上述发明目的，本发明专利提供的技术方案如下：

一种城市建筑物的智能配色方法，其特征在于，该方法包括有图像导入环节、图像分割环节、图像分析环节和图像自动配色环节四个依次进行的步骤：

第一步，所述的图像导入环节是从互联网或线下数据库中获得大量有价值的城市建筑物图像，导入的城市建筑物图像作为原始图像；

第二步，所述的图像分割环节是在原始图像中排除包括天空、地面在内的无关信息，突出建筑物群落作为重点研究内容；

第三步，所述的图像分析环节是为设计师用户获知图像色彩信息，并生成多张或单张图像的色彩报告，用户通过该色彩报告获知该图像的颜色值分布与各种配色信息，利用该颜色值分布与各种配色信息配合每张图像的地理经纬度空间位置，获得某一地区整体建筑群的色彩分布规律；

第四步，所述的图像自动配色环节是从已有建筑图像，对草图建筑做自动配色。

在本发明的城市建筑物的智能配色方法中，所述图像导入环节中包含两种相应的导入方式：线上爬虫与线下导入。

在本发明的城市建筑物的智能配色方法中，作为进一步设计，所述的线下导入是指用户直接对其个人数据库中的所有图片数据进行导入处理，导入为对象单张图像，或指定文件夹下的所有图像。

在本发明的城市建筑物的智能配色方法中，作为进一步设计，所述的线上爬虫技术基于百度云端API开发，用户在系统提供的UI上输入建筑图片对应的地理坐标位置，即可实现对该经纬度坐标下(location)，指定尺寸(size)，旋转角度(pitch)，朝向角度(heading)的建筑图像爬取。

在本发明的城市建筑物的智能配色方法中，作为进一步设计，所述的线上爬虫技术基于百度云端API开发，用户通过直接导入包含有位置信息的Excel表格，对建筑物图像进行批量下载。

在本发明的城市建筑物的智能配色方法中，所述第二步中对图像进行分割处理的方式包括有：基于mask-RCNN的全自动分割，基于GrabCut的半自动分割方法与纯手动分割。

在本发明的城市建筑物的智能配色方法中，作为进一步设计，所述的mask-RCNN是一种基于深度学习的全自动图像检测方法，完成目标检测的同时完成高质量的语义分割，其在原有的Faster-RCNN进行扩展，添加一个分支使用现有的检测对目标进行并行预测。

在本发明的城市建筑物的智能配色方法中，作为进一步设计，基于GrabCut的半自动分割方法通过简单且少量的辅助点确定与框操作，配合图像边界与纹理信息，用户就能在比纯手动分割少的多的交互操作下，获得较精确的分割效果。

在本发明的城市建筑物的智能配色方法中，作为进一步设计，纯手动分割即是直接利用UI对图像的建筑物区域进行纯手动分割。

在本发明的城市建筑物的智能配色方法中，述第三步中完成如下内容：

a.提取图像色板信息，先对原始分割后图形进行马赛克处理，减少噪声信息与细节信息的干扰；

b.分析色板图像，分析除背景外所有像素点RGB值的统计分布，并选定指定数目高频RGB值作为该批图像的主要色板特征进行保存；

c.地理位置投影色板信息，

d.转换彩色格式，以形成RGB格式、HSV格式、CIELAB格式、CMYK格式、SRGB格式或MUNSELL格式中的一种或几种。

在本发明的城市建筑物的智能配色方法中，所述第四步中基于Pix2Pix人工智能设计技术，从已有建筑图像，对草图建筑图像做自动配色，该Pix2Pix框架基于GAN生成学习框架，把一副图像A按照另一幅图像B的模式/风格进行转换的一个操作。

本发明还涉及到一种智能城市建筑物配色系统，该系统包括有图像导入模块、图像分割模块、图像分析模块和图像自动配色模块，图像导入模块、图像分割模块、图像分析模块和图像自动配色模块之间关系为串联。

图形导入模块，从互联网或者用户本人线下数据库中获取大量有价值的城市建筑物图像；

图像分割模块，在原始图像中排除包括天空、地面在内的无关信息，突出建筑物群落作为重点研究内容；

图像分析模块，为设计师用户获知图像色彩信息，并生成多张或单张图像的色彩报告，用户通过该色彩报告获知该图像的颜色值分布与各种配色信息，利用该颜色值分布与各种配色信息配合每张图像的地理经纬度空间位置，获得某一地区整体建筑群的色彩分布规律；

图像自动配色模块，从已有建筑图像，对草图建筑做自动配色。

在本发明的城市建筑物配色的智能系统中，作为进一步设计，所述的图像分析模块包括有四个子模块，分别为像色板信息的提取子模块，色板图像的分析子模块，色板信息的地理位置投影子模块，彩色格式的多重转换子模块，四个子模块之间关系为并联。

基于上述技术方案，本发明专利城市建筑物的智能配色方法及配色系统与现有技术相比具有如下技术优点：

本发明的方法和系统该系统能够全面的分析采集到的城市建筑物配色信息，为后续城市建筑物设计带来便利，能大幅度降低建筑设计师配色工作量，实现建筑物黑白设计草图到彩色稿的全自动智能风格转换。

附图说明

图1是本发明一种城市建筑物的智能配色方法的流程示意图。

图2是本发明一种城市建筑物的智能配色方法中图像导入环节的示意图。

图3是本发明一种城市建筑物的智能配色方法中图像分割环节中基于手动分割，半自动分割与自动分割对比示意图。

图4是本发明一种城市建筑物的智能配色方法中图像分析环节中单张图片色板提取示意图。

图5是本发明一种城市建筑物的智能配色方法的色彩报告图。

图6是本发明一种城市建筑物的智能配色方法实施例中上海市建筑群落色彩分析报告图。

图7是本发明一种城市建筑物的智能配色方法及系统的实现示意图。

具体实施方式

下面我们结合附图和具体的实施例来对本发明一种城市建筑物的智能配色方法和系统做进一步的详细阐述，以求更为清楚明了地理解其结构组成和工作方式，当不能以此来限制本发明的保护范围。

如图1所示，本发明首先是一种城市建筑物的智能配色方法，该方法包括有图像导入环节、图像分割环节、图像分析环节和图像自动配色环节四个依次进行的步骤。

第一步，所述的图像导入环节是从互联网或线下数据库中获得大量有价值的城市建筑物图像，导入的城市建筑物图像作为原始图像，例如各种地标建筑，历史建筑，地区特色建筑，文化建筑，名人故居与大型现代建筑等等。

第二步，所述的图像分割环节是在原始图像中排除包括天空、地面在内的无关信息，突出建筑物群落作为重点研究内容。

第三步，所述的图像分析环节是为设计师用户获知图像色彩信息，并生成多张或单张图像的色彩报告，用户通过该色彩报告获知该图像的颜色值分布与各种配色信息，利用该颜色值分布与各种配色信息配合每张图像的地理经纬度空间位置，获得某一地区整体建筑群的色彩分布规律。

第四步，所述的图像自动配色环节是从已有建筑图像，对草图建筑做自动配色。

本发明城市建筑物的智能配色系统总共分为四个模块：图像导入模块，图像分割模块，图像分析模块和图像自动配色模块，图像导入模块、图像分割模块、图像分析模块和图像自动配色模块之间关系为串联。各模块的具体功能、实现方法以及实际效果与优势在下面会有进一步详细叙述。

上述图像导入模块的具体功能是从互联网或者用户本人线下数据库中获取大量有价值的城市建筑物图像。本发明的配色系统提出了两种相应的导入方式，如图2所示，具体包括：线上爬虫(online crawling)与线下导入(offline loading)。

对于线下导入(offline loading)，用户可以直接对其个人数据库中的所有图片数据进行导入处理。导入对象可以仅是一张图像，也可以是指定文件夹下的所有图像。

本发明的系统提供的线上爬虫技术(online crawling)是基于百度云端API开发的。用户可以在系统提供的UI上输入建筑图片对应的地理坐标位置，即可实现对该经纬度坐标下(location)，指定尺寸(size)，旋转角度(pitch)，朝向角度(heading)的建筑图像爬取。另一方面，用户也可以通过直接导入包含有位置信息的Excel表格，对建筑物图像进行批量下载。

上述图像分割模块具体功能是，在原始图像中排除大量无关信息诸如天空地面等等，重点突出研究重点内容即建筑群落部分。本系统提供了三种方式对图像进行分割处理，具体包括：基于mask-RCNN的全自动分割，纯手动分割与基于GrabCut的半自动分割方法。

纯手动分割即是直接利用UI对图像的建筑物区域进行纯手动分割。该方法的好处是所得的结果即是金标准，有着极高的准确率。但与此同时，该方法需要大量人工操作，过于费时也费力。

另一方面，mask-RCNN是一种在2017年刚刚由人工智能专家何凯明在ICCV会议上最新提出的基于深度学习的全自动图像检测方法。不同与其他基于深度学习的检测方法，该方法能在有效地完成目标检测的同时完成高质量的语义分割。该方法的主要思路就是在原有的Faster-RCNN进行扩展，添加一个分支使用现有的检测对目标进行并行预测。相比其他深度学习方法，mask-RCNN在网络结构上比较容易实现和训练，运行速度也较快。目前被广泛运用于车辆人物关键点检测，但在建筑图像分割领域还不多见。在检测过程中，无需任何手动操作是mask-RCNN的最大优势，然而mask-RCNN的效果好坏极大程度取决于之前大量带标注标识的训练数据，考虑到这是个需要大量前期准备工作，但后期一劳永逸的方法，本发明的系统提供了算法框架，需要用户在使用中导入大量带标注数据才能获得理想的效果。

基于GrabCut的半自动分割方法则是上述两种方法的折中思路，该方法是微软研究院在2004年研发出的一种新型交互式分割方法。GrabCut可以有效的从复杂背景中提取前景目标。它是基于Graphcuts算法的原理改进而来，利用高斯混合模型来描述像素的分布，并采用迭代估计法实现能量最小化，同时是目前比较优秀实用的算法之一。更详细的内容可以参考相关文献Interactive Foreground Extraction using Iterated GraphCuts。

就在建筑物分割任务的实际效果来看，虽然该方法不能真正意义上做到自动分割，但通过简单且少量的辅助点确定与框操作，配合图像边界与纹理信息，用户就能在比纯手动分割少得多的交互操作下，获得较精确的分割效果，如图3边界所示。对于有着大型结构特征的建筑图像分割，可以看出效果并不比纯手动差多少，与此同时所需对应交互共作量大大减少了。大量实验证实，这样的交互方式能够大大节约用户图像分割的工作量，同时也不用训练复杂的深度学习模型。

总体来说，如图3中的分割案例指出的，在交互操作工作量方面，手动分割操作>GrabCut半自动分割>mask-RCNN的全自动分割。在实现成本方面，手动分割操作≈GrabCut半自动分割<mask-RCNN的全自动分割。事实上用户完全可以凭借GrabCut与手动分割获取大量分割后的建筑图像与对应标注。当收集到图像有一定数量时再带入mask-RCNN部分进行人工智能训练，这无疑是一个两全其美的方法。当然，在前期数据量较少的情况下，手动与半自动分割无可替代。

图像分析模块以视作为整个系统的核心枢纽，如图4所示。多个重要任务需要在该模块中完成，主要包括以下四个内容：图像色板信息的提取，色板图像的分析，色板信息的地理位置投影，彩色格式的多重转换。这四个功能所获得的结果可以直接作为整个系统的输出供设计师参考，同时也能作为后续自动配色模块的输入信息。

关于图像色板信息的提取部分，我们首先对原始分割后图像或批量图像进行马赛克处理(Mosaic processing)，试图减少噪声信息与细节信息的干扰。接着通过统计学方法，分析除背景外所有像素点RGB值的统计分布，并选取指定数目前高频RGB值作为该张或批量图像的主要色板特征并加以保存，该部分的输出即可看作为是衔接后续图像显示与生成模块之间的重要中间步骤，同时涉及的各子模块也能直接作为供应给建筑设计师的信息输出。

上述色板图像的分析部分的主要目的是为了更方便设计师用户获知图像色彩信息，并生成相应多张或单张图像的色彩报告，如图5所示，通过该报告，用户能容易的获知该图像或该批次图像的颜色值分布与各种配色信息，从而为后续人工配色提供信息支撑与便利。整个报告将具体显示每种颜色的使用频率，空间分布以及相似性程度。

单张图片的色彩分析至于色板信息的地理位置投影，事实上就可以看作利用前一模块得到的单张或批量图像的色彩信息并配合每张图像采集获得的地理经纬度空间位置，获得某一地区整体建筑群的色彩分布规律等等，这里以上海为例，在有限的建筑数据前期采集工作下，上海的建筑群色彩分布如图6所示。毋庸置疑，这对后期设计师城市规划或是新建建筑群落配色意义重大。

为了方便设计师用户操作，该模块还额外提供了多种色彩格式的转换功能，用户可以将批量或单张图像在RGB格式,HSV格式,CIELAB格式,CMYK格式,SRGB格式及MUNSELL格式这六种目前市面上流行彩色格式中任意转换。从而为后续设计进一步提供便利。

上述图像自动配色模块利用2017刚刚提出的Pix2Pix人工智能设计技术从已有建筑图像对草图建筑图像做自动配色。Pix2Pix框架基于GAN生成学习框架，能把一副图像A按照另一幅图像B的模式/风格进行转换的一个操作。例如“白天->黑夜”，“晴天->雨天”等等。Pix2Pix框架的基本构造与GAN网络类似，均包含一个生成器模型与一个判别器模型，通过生成器模型与判别器模型的不断竞争，两个模型的效果交替上升，从而实现最终效果。与原始GAN不同的是，在pix2pix中，生成网络的输入是一张待转换的图片和随机向量z，D网络的输入是待转换图片x和目标图片y，同时观察x和y，以判断生成的图片是不是真实的。随着上述两个网络不断竞争对抗，转换图片在风格上回越来越靠近目标图像。

关于pix2pix在建筑之间的风格转移或自动配色，目前还没有先例。其在建筑配色领域的基本demo演示过程在图7中可以看出，通过对左上图各种预处理与色板提取，其色彩分格结果Pix2Pix处理后能很好的嫁接到右上图并形成下图，即下图中综合了左上图和右上图，将左上图的色彩配色到了右上图中，从而得到了下图中右上图的建筑配上左上图的色彩，从而实现了建筑的智能配色。显然若能实现，配色图像即能批量实现，这无疑能大幅度降低设计师负担，并以最快速提供相关建筑设计预览方案。这无疑对于建筑设计领域与城市规划是革命性的进步。

本发明的方法和系统能够全面的分析采集到的城市建筑物配色信息，为后续城市建筑物设计带来便利。本发明的方法和系统不仅能大幅度降低建筑设计师配色工作量，甚至可以实现建筑物黑白设计草图到彩色稿的全自动智能风格转换。

Claims (10)

1.一种城市建筑物的智能配色方法，其特征在于，该方法包括有图像导入环节、图像分割环节、图像分析环节和图像自动配色环节四个依次进行的步骤：

第一步，所述的图像导入环节是从互联网或线下数据库中获得大量有价值的城市建筑物图像，导入的城市建筑物图像作为原始图像；

第二步，所述的图像分割环节是在原始图像中排除包括天空、地面在内的无关信息，突出建筑物群落作为重点研究内容；

第三步，所述的图像分析环节是为设计师用户获知图像色彩信息，并生成多张或单张图像的色彩报告，用户通过该色彩报告获知该图像的颜色值分布与各种配色信息，利用该颜色值分布与各种配色信息配合每张图像的地理经纬度空间位置，获得某一地区整体建筑群的色彩分布规律；

第四步，所述的图像自动配色环节是从已有建筑图像，对草图建筑做自动配色。

2.根据权利要求1所述的一种城市建筑物的智能配色方法，其特征在于，所述图像导入环节中包含两种相应的导入方式：互联网上采用线上爬虫导入，线下数据库采用线下导入。

3.根据权利要求2所述的一种城市建筑物的智能配色方法，其特征在于，所述的线下导入是指用户直接对其个人数据库中的所有图片数据进行导入处理，导入为对象单张图像，或指定文件夹下的所有图像。

4.根据权利要求2所述的一种城市建筑物的智能配色方法，其特征在于，所述的线上爬虫技术基于百度云端API开发，用户在系统提供的UI上输入建筑图片对应的地理坐标位置，以实现对该经纬度坐标下、指定尺寸、旋转角度和朝向角度的建筑图像爬取。

5.根据权利要求2所述的一种城市建筑物的智能配色方法，其特征在于，所述的线上爬虫技术基于百度云端API开发，用户通过直接导入包含有位置信息的Excel表格，对建筑物图像进行批量下载。

6.根据权利要求1所述的一种城市建筑物的智能配色方法，其特征在于，所述第二步中对图像进行分割处理的方式包括有：基于mask-RCNN的全自动分割，基于GrabCut的半自动分割方法与纯手动分割。

7.根据权利要求6所述的一种城市建筑物的智能配色方法，其特征在于，纯手动分割即是直接利用UI对图像的建筑物区域进行纯手动分割，基于mask-RCNN的全自动分割是基于深度学习的全自动图像检测方法，完成目标检测的同时完成高质量的语义分割，其在原有的Faster-RCNN进行扩展，添加一个分支使用现有的检测对目标进行并行预测；基于GrabCut的半自动分割方法通过简单且少量的辅助点确定与框操作，配合图像边界与纹理信息。

8.根据权利要求1所述的一种城市建筑物的智能配色方法，其特征在于，所述第三步中完成如下内容：

a.提取图像色板信息，先对原始分割后图形进行马赛克处理，减少噪声信息与细节信息的干扰；

b.分析色板图像，分析除背景外所有像素点RGB值的统计分布，并选定指定数目高频RGB值作为该批图像的主要色板特征进行保存；

c.地理位置投影色板信息；

d.转换彩色格式，以形成RGB、HSV、CIELAB、CMYK、SRGB和MUNSELL格式中的一种或多种。

9.根据权利要求1所述的一种城市建筑物的智能配色方法，其特征在于，所述第四步中基于Pix2Pix人工智能设计技术，从已有建筑图像，对草图建筑图像做自动配色，该Pix2Pix框架基于GAN生成学习框架，把一副图像A按照另一幅图像B的模式/风格进行转换的操作。

10.一种智能城市建筑物配色系统，其特征在于，该系统包括有图像导入模块、图像分割模块、图像分析模块和图像自动配色模块，图像导入模块、图像分割模块、图像分析模块和图像自动配色模块四个模块的衔接关系为串联：

图形导入模块，从互联网或者用户本人线下数据库中获取大量有价值的城市建筑物图像；

图像分割模块，在原始图像中排除包括天空、地面在内的无关信息，突出建筑物群落作为重点研究内容；

图像分析模块，为设计师用户获知图像色彩信息，并生成多张或单张图像的色彩报告，用户通过该色彩报告获知该图像的颜色值分布与各种配色信息，利用该颜色值分布与各种配色信息配合每张图像的地理经纬度空间位置，获得某一地区整体建筑群的色彩分布规律，彩色格式的多重转换等等；

图像自动配色模块，从已有建筑图像，对草图建筑做自动配色。