CN110197511A - 基于深度学习的城市建筑色彩获取方法 - Google Patents
基于深度学习的城市建筑色彩获取方法 Download PDFInfo
- Publication number
- CN110197511A CN110197511A CN201910170727.7A CN201910170727A CN110197511A CN 110197511 A CN110197511 A CN 110197511A CN 201910170727 A CN201910170727 A CN 201910170727A CN 110197511 A CN110197511 A CN 110197511A
- Authority
- CN
- China
- Prior art keywords
- color
- deep learning
- acquisition methods
- urban construction
- building
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000010276 construction Methods 0.000 title claims abstract description 18
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 230000003068 static effect Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000013136 deep learning model Methods 0.000 claims abstract description 3
- 239000000284 extract Substances 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 6
- 238000011835 investigation Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000013439 planning Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 241000532370 Atla Species 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Abstract
基于深度学习的城市建筑色彩获取方法，包括：获取城市建筑的静态图片；对所获得图片进行批量白平衡处理；利用深度学习模型，提取每张图片中的建筑物；对所提取建筑物的颜色进行拾取、汇总，并统计；颜色聚类实现，分别获取不同区域内的主色调。本发明获取速度快，能够准确地分割图像、拾取所需要的内容；人员投入较少，分析方法更为客观，能实现结果的一致性。
Description
技术领域
本发明涉及城市规划和计算机图像识别技术领域，具体地说是一种基于深度学习的城市建筑色彩获取方法。
背景技术
城市规划中，不仅要表现一座城市的特点，更要体现其建筑、街区的美感和人文内涵，其中色彩最具展现力。因此，相对于城市硬件的规划而言，城市色彩的规划更应受到重视。
目前，城市建筑色彩现状调查一般借助色卡现场比对、色谱仪现场颜色拾取、照片拍摄后计算机颜色拾取的方法获取，通常为低样本的抽样形式。存在如下缺点：
1)耗时。由于城市建筑量庞大，利用上述现有技术方法，欲获取城市建筑的各项色彩指标将要耗费巨大的工作量。2)耗力。现有技术方法需要派出大量的人员到现场进行建筑色彩拾取与空间化工作。3)过于主观。现有技术方法采用个人主观判断建筑颜色，根据不同情境调查人员可能获取不同的建筑颜色值。
因此需要一种高效、准确且节省人工的方法来完成上述工作。本专利主要解决现状照片快速采集、建筑批量提取、颜色批量拾取、色彩聚类等工作，较现有技术大大提高了工作效率。本方法还借用了互联网图像大数据分析，可大大减少现场调查人员的投入。另外借助计算机来拾取建筑色彩，为客观评价，将使结果较为客观统一。
发明内容
本发明为解决现有的问题，旨在提供一种基于深度学习的城市建筑色彩获取方法。
为了达到上述目的，本发明采用的技术方案包括如下步骤：
S1，获取城市建筑的静态图片；
S2，对所获得图片进行批量白平衡处理；
S3，利用深度学习模型，提取每张图片中的建筑物；
S4，对所提取建筑物的颜色进行拾取、汇总，并统计；
S5，颜色聚类实现，并分别获取不同区域内的建筑主色调。
进一步地，S1中，利用全市路网数据，以30米为间隔，在城市路网上打点，并计算经纬度坐标；左右两方向各采集一张，批量抓取点所对应的城市街景静态图片。
进一步地，S2中，利用AWB白平衡算法对静态图片由于不同光照条件下的色差问题进行处理，使图片建筑色彩更为接近现实。
进一步地，S3中，利用卷积神经网络对静态图片进行识别，并分割成不同要素；然后将提取的要素分层设色用于分类。
进一步地，S4中，利用要素分割图层，获取各静态图片建筑物的像素点集合；对建筑物的像素点的颜色值进行提取，结果以RGB颜色值形式保存并汇总各颜色值的像素点；最后，批量化上述颜色提取进程。
进一步地，S4中，将RGB颜色值转换为HSV值，并归纳为14400种颜色。所述颜色，色相36等分，每10个色相为一组；彩度20等分，每5个彩度区间为一组；明度20等分，每5个明度区间为一组。
进一步地，S4中，将城市分割为若干街坊，作为最小调查单元；识别各图片空间位置所处单元；将落于各单元内的建筑颜色值进行汇总统计。
进一步地，S5中，依据获得的RGB颜色值利用K均值聚类算法，获取各组色彩值的最具代表性的K类色彩。即随机选取K个对象作为初始的聚类中心，再将每个点指派到最近的质心，形成K个簇重新计算每个簇的质心直到不再发生变化；然后，一个单元内K的选取为10-15不等；再次，对聚类算法做出改进，各个质心以现有值为基础；最后，所得结果再转化为14400种HSV值，同类再归纳，以最终获取的最大颜色值作为主色调。
和现有技术相比，本发明对于原始静态图片的获取速度快。即借用开放的街景数据库来取代人工现场拍照，能够快速获取全上海市各街坊表达建筑色彩的图片；本发明利用卷积神经网络对图片进行处理，能够准确地分割图像、拾取所需要的内容；人员投入较少，本专利仅需1至2名专业设计人员，外加2名数据程序员，便可完成大量调研照片的获取；结果更为客观，依靠计算机辅助判别，能够实现结果的一致性，不受主观因素影响。
附图说明
图1为本发明的流程示意图；
图2为街景数据抓取流程示意图；
图3为基于深度学习的要素分类流程示意图；
图4为原始的街景静态图片；
图5为按不同要素分层的表达图，其中不同颜色（灰度深浅）代表不同要素；
图6为颜色拾取与汇总统计的流程示意图；
图7为HSV色彩三属性区间归纳示意图；
图8为处理后所得到的上海街坊分布图。
具体实施方式
参见图1，图1展示的是本发明的一个实施例，本实施例以上海这个特大城市为例，对本发明作进一步地说明。
参见图2，第一步、海量图片批量获取。
获取城市建筑色彩的首要任务就是全面地获取研究范围内城市建筑色彩的基础图片。具体步骤是，以上海为例，在ARCGIS软件中，利用全市路网数据，以30米为间隔，在全市路网上打下60多万个点，并计算各个点的经纬度坐标；其次，本实施例借助现有数据库（可选用百度地图）所提供的街景图片替代人工拍照的方式，快速获取大批量的现状照片。优选地，利用PYTHON程序调用百度API提供的静态街景图片调用接口，凭借企业级账号的数据优势，输入各点的经纬度坐标，由计算机批量抓取该点的城市街景图片。各点沿道路左右两方向各采集一张照片，图像像素大小为1024*512，合计共获取约80多万张有效的城市街景照片。
第二步、图片批量白平衡处理。不同色温光源下街景图像会呈现不同程度的偏色，白平衡与色温紧密相关，解决图像由于不同光照条件下的色差问题，使结果更为接近现实。所采用的算法是AWB白平衡算法。
第三步、图片建筑物提取及批量化处理。需要将每张图片中的建筑面单独分离出来。参见图3，基于深度学习的算法，使用PYTHON程序语言，利用谷歌开源的TensorFlow源码的卷积神经网络(CNN)，整体采用新颖的encoder-decoder网络架构，基本单元和残差单元类似, 不需要额外的后续处理或者预训练模型。其次，借用奔驰公司的街景图片训练集辅以上海本地数据集进行模型训练，指导计算机识别街景中的不同物体，并分成道路、人行道、建筑、电线杆、交通灯、交通标志、树木、草地、天空、人、轿车、卡车、公交车、火车、摩托车、自行车等十六类要素。参见图4和图5，其分割结果以同尺寸大小（1024*512）的图片表达；该图片里，设定不同的颜色值代表不同的要素分类，其中的深灰色（RGB值为70,70,70）区域为建筑物。最后，上述操作在PYTHON程序里使用了循环语句，实现图片的批量化处理。这为下一步分析建筑的颜色值奠定了基础。
第四步、图片建筑物颜色值拾取与汇总统计。整体颜色提取是分析的基础库。参见图6，利用上述要素分割图层，获取各图片建筑物所在的像素点集合；其次，利用MATLAB程序语言，对建筑物的像素点的颜色值进行提取，结果并以RGB颜色值形式保存并做求和汇总；最后，利用循环语句对上述颜色提取程序进行批量化处理，计算机按要求不间断分析数千乃至数万张图片。为便于对各张照片建筑物颜色进行可视化表达（包括色相分组表达及色彩值由大到小的排序表达两种），同时将RGB颜色值转换为HSV值，并归纳为14400种颜色，参见图7，即为色相36等分，每10个色相为一组；彩度20等分，每5个彩度区间为一组；明度20等分，每5个明度区间为一组。
第五步、街坊尺度的建筑颜色值汇总。具体步骤是，首先，参考第三次经济普查里的普查小区单元，将上海全市划分为一万四千多个街坊；其次，以其为最小调查单元，识别各图片空间位置所属于哪个街坊；最后，将落于各街坊内的图片的建筑颜色值进行汇总统计，并将RGB值转换成预设的14400种HSV颜色区间内,供统计结果可视化。
第六步、颜色聚类实现及主色调获取。根据第五步获得的RGB颜色值利用K均值聚类算法，获取各组色彩值的最具代表性的K类色彩。首先，K均值聚类算法是先随机选取K个对象作为初始的聚类中心，再将每个点指派到最近的质心，形成K个簇，重新计算每个簇的质心，直到不再发生变化。然后，一个街坊内由于建筑多样性往往拥有多种代表性颜色，故K的选取较大，为10-15不等。再次，为使结果更为真实且能代表现状，对聚类算法做出改进，各个质心必须以现有值为基础。最后，所得结果再转化为14400种HSV值，同类再归纳的，以最终获取的最大颜色值作为主色调。
参见图8，最后得到了关于上海的各个街区的城市色彩分布图。本实施例中，分别采用了百度街景图片的批量化获取与标准化存储、以奔驰无人驾驶图像分割数据集加上上海本地分割数据集为训练样本，建立图像要素分割模型，实现了各要素的范围匹配及颜色值拾取统计以及街坊内的色彩值统计与主色调表达，具有以下至少一种优点：
速度快。借用开放的百度街景取代人工现场拍照，能够快速获取全上海市各街坊内包含建筑的图片。人工拍照预计6个月每人工时（“每人工时”指一个人一天工作8个小时），街景采集预计1星期每人工时。人工判读照片内建筑颜色预计3个月每人工时，计算机深度学习判读预计1星期每人工时。
人员投入少。现有技术方法为了满足项目的应用需求，需要派出数十人甚至更多人才能在短时间内调查完毕建筑色彩。本专利仅需1至2名专业设计人员，外加2名数据程序员，便可完成大量调研照片的获取。
结果客观。现有技术方法中，对色彩的判断完全依靠设计人员的眼睛，不同的人员在不同的环境下，对结果的判断有可能不同。本专利依靠计算机辅助判别，能够实现结果的一致性，不受主观因素影响。
上面结合附图及实施例描述了本发明的实施方式，实施例给出的并不构成对本发明的限制，本领域内熟练的技术人员可依据需要做出调整，在所附权利要求的范围内做出各种变形或修改均在保护范围内。
Claims (10)
1.一种基于深度学习的城市建筑色彩获取方法，其特征在于包括如下步骤：
S1，获取城市建筑的静态图片；
S2，对所获得图片进行批量白平衡处理；
S3，利用深度学习模型，提取每张图片中的建筑物；
S4，对所提取建筑物的颜色进行拾取、汇总，并统计；
S5，颜色聚类实现，获取不同区域内的建筑主色调。
2.根据权利要求1所述的基于深度学习的城市建筑色彩获取方法，其特征在于：S1中，利用全市路网数据，以30米为间隔，在城市路网上打点，并计算经纬度坐标；左右两方向各采集一张，批量抓取点所对应的城市街景静态图片。
3.根据权利要求1所述的基于深度学习的城市建筑色彩获取方法，其特征在于：S2中，利用AWB白平衡算法对静态图片由于不同光照条件下的色差问题进行处理，使结果更为接近现实。
4.根据权利要求1所述的基于深度学习的城市建筑色彩获取方法，其特征在于：S3中，利用卷积神经网络对静态图片进行识别，并分割成不同要素；然后提取出的要素以不同颜色值进行分类。
5.根据权利要求4所述的基于深度学习的城市建筑色彩获取方法，其特征在于：S4中，利用要素分割图层，获取各静态图片建筑物所在的像素点集合；对建筑物像素点的颜色值进行提取，结果以RGB颜色值形式保存并汇总各颜色值对应的像素点；最后，批量化上述颜色提取进程。
6.根据权利要求5所述的基于深度学习的城市建筑色彩获取方法，其特征在于：S4中，将RGB颜色值转换为HSV值，并归纳为14400种颜色。
7.根据权利要求6所述的基于深度学习的城市建筑色彩获取方法，其特征在于：所述颜色中，色相36等分，每10个色相为一组；彩度20等分，每5个彩度区间为一组；明度20等分，每5个明度区间为一组。
8.根据权利要求1或5所述的基于深度学习的城市建筑色彩获取方法，其特征在于：S4中，将城市分割为若干街坊单元，作为最小调查单元；识别各图片空间位置所处的单元；将落于各单元内的建筑颜色值进行汇总统计。
9.根据权利要求1所述的基于深度学习的城市建筑色彩获取方法，其特征在于：S5中，依据获得的RGB颜色值利用K均值聚类算法，获取各组色彩值的最具代表性的K类色彩。
10.根据权利要求9所述的基于深度学习的城市建筑色彩获取方法，其特征在于：首先，随机选取K个对象作为初始的聚类中心，再将每个点指派到最近的质心，形成K个簇，重新计算每个簇的质心，直到不再发生变化；然后，一个单元内K的选取10-15不等；再次，对聚类算法做出改进，各个质心以现有值为基础；最后，所得结果再转化为14400种HSV值，同类再归纳，以最终获取的最大颜色值作为主色调。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910170727.7A CN110197511A (zh) | 2019-03-07 | 2019-03-07 | 基于深度学习的城市建筑色彩获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910170727.7A CN110197511A (zh) | 2019-03-07 | 2019-03-07 | 基于深度学习的城市建筑色彩获取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110197511A true CN110197511A (zh) | 2019-09-03 |
Family
ID=67751807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910170727.7A Pending CN110197511A (zh) | 2019-03-07 | 2019-03-07 | 基于深度学习的城市建筑色彩获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197511A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111010605A (zh) * | 2019-11-26 | 2020-04-14 | 杭州东信北邮信息技术有限公司 | 一种视频画中画窗口的显示方法 |
| CN113222971A (zh) * | 2021-05-31 | 2021-08-06 | 深圳市蝶讯网科技股份有限公司 | 一种色彩和搭配浏览款式的方法、计算机设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130188866A1 (en) * | 2012-01-24 | 2013-07-25 | Telefonica, S.A. | Method to assess aesthetic quality of photographs |
| CN107705254A (zh) * | 2017-11-03 | 2018-02-16 | 福州大学 | 一种基于街景图的城市环境评估方法 |
-
2019
- 2019-03-07 CN CN201910170727.7A patent/CN110197511A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130188866A1 (en) * | 2012-01-24 | 2013-07-25 | Telefonica, S.A. | Method to assess aesthetic quality of photographs |
| CN107705254A (zh) * | 2017-11-03 | 2018-02-16 | 福州大学 | 一种基于街景图的城市环境评估方法 |
Non-Patent Citations (2)
| Title |
|---|
| VIJAY等: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", 《ARXIV》 * |
| 吴泽宇等: "基于大规模街景图像的城市色彩量化方法研究", 《共享与品质——2018中国城市规划年会论文集（05城市规划新技术应用）》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111010605A (zh) * | 2019-11-26 | 2020-04-14 | 杭州东信北邮信息技术有限公司 | 一种视频画中画窗口的显示方法 |
| CN111010605B (zh) * | 2019-11-26 | 2021-08-17 | 杭州东信北邮信息技术有限公司 | 一种视频画中画窗口的显示方法 |
| CN113222971A (zh) * | 2021-05-31 | 2021-08-06 | 深圳市蝶讯网科技股份有限公司 | 一种色彩和搭配浏览款式的方法、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287849A (zh) | 一种适用于树莓派的轻量化深度网络图像目标检测方法 | |
| Recky et al. | Windows detection using k-means in cie-lab color space | |
| CN104636759A (zh) | 一种获取图片推荐滤镜信息的方法及图片滤镜信息推荐系统 | |
| WO2012005461A2 (ko) | 자동 구름 정보 산출방법 | |
| CN106355607B (zh) | 一种宽基线彩色图像模板匹配方法 | |
| CN107392880A (zh) | 一种仿造迷彩自动生成方法 | |
| CN106096603A (zh) | 一种融合多特征的动态火焰检测方法及装置 | |
| CN111325661B (zh) | 一种名为msgan的图像的季节风格转换模型及方法 | |
| CN110197511A (zh) | 基于深度学习的城市建筑色彩获取方法 | |
| CN110119740A (zh) | 一种从复杂城市道路网络提取简化拓扑关系的方法 | |
| CN110516707A (zh) | 一种图像标注方法及其装置、存储介质 | |
| CN108648210A (zh) | 一种静态复杂场景下快速多目标检测方法及装置 | |
| CN115082254A (zh) | 一种变电站精益管控数字孪生系统 | |
| CN113515655A (zh) | 一种基于图像分类的故障识别方法及装置 | |
| CN106570440A (zh) | 基于图像分析的人数统计方法和人数统计装置 | |
| CN112287838A (zh) | 基于静止气象卫星影像序列的云雾自动判识方法及系统 | |
| CN108898098A (zh) | 基于监控平台的早期视频烟雾检测方法 | |
| CN113033386B (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
| CN112884795A (zh) | 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法 | |
| CN113284218A (zh) | 粒子动画实现方法、装置、设备及存储介质 | |
| CN111311695B (zh) | 一种基于卷积神经网络的清水混凝土表面色差分析方法 | |
| CN108986103A (zh) | 一种基于超像素以及多超图融合的图像分割方法 | |
| CN107463968A (zh) | 烟雾判断码书的产生方法、产生系统及烟雾的检测方法 | |
| Zhang et al. | The color analysis of building façades: Based on the panoramic street view images | |
| CN102999622B (zh) | 一种基于数据库的在视频中搜索目标的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210924 Address after: 200011 No. 433, Baotun Road, Huangpu District, Shanghai Applicant after: Shanghai shangguiyuan urban planning and Design Co.,Ltd. Applicant after: FUDAN University Address before: Floor 13, No. 331, Tongren Road, Jing'an District, Shanghai 200040 Applicant before: Shanghai Shucheng Network Information Co.,Ltd. Applicant before: FUDAN University |