CN112507444B - 一种基于ai构建的数字城市建筑夜景生成方法及系统 - Google Patents

一种基于ai构建的数字城市建筑夜景生成方法及系统 Download PDF

Info

Publication number
CN112507444B
CN112507444B CN202110146835.8A CN202110146835A CN112507444B CN 112507444 B CN112507444 B CN 112507444B CN 202110146835 A CN202110146835 A CN 202110146835A CN 112507444 B CN112507444 B CN 112507444B
Authority
CN
China
Prior art keywords
window
building
model
bright
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110146835.8A
Other languages
English (en)
Other versions
CN112507444A (zh
Inventor
罗德宁
高旻
郭美
何佚
刘银河
段强
陶李
彭林春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Jianshan Technology Co ltd
Original Assignee
Sichuan Jianshan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Jianshan Technology Co ltd filed Critical Sichuan Jianshan Technology Co ltd
Priority to CN202110146835.8A priority Critical patent/CN112507444B/zh
Publication of CN112507444A publication Critical patent/CN112507444A/zh
Application granted granted Critical
Publication of CN112507444B publication Critical patent/CN112507444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/13Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本发明涉及图像处理领域,涉及一种基于AI构建的数字城市建筑夜景生成方法及系统,包括:收集楼体外立面的图片集,手动标注出窗户所在的位置;利用所述图片集构造训练集和测试集;利用所述训练集拟合图像识别模型,利用所述测试集测试图像识别模型泛化性能;将待识别的背景贴图输入所述图像识别模型,输出标记后的背景贴图;利用所述背景贴图对目标建筑模型进行贴面,生成建筑模型的外立面;根据目标建筑物所在区域的人口热力图建立亮窗比函数,求出亮灯数量;根据所述亮灯数量在外立面上随机点亮窗户;本发明用于解决现有技术中需要投入大量的时间和人力进行建模,耗费大量的人力成本,且不能根据真实情况动态调节夜景灯光的技术问题。

Description

一种基于AI构建的数字城市建筑夜景生成方法及系统
技术领域
本发明涉及图像处理领域,具体而言,涉及一种基于AI构建的数字城市建筑夜景生成方法及系统。
背景技术
近年来,建设智慧城市已经成为我国的重要发展方向之一。智慧城市集成城市的组成系统和服务来提升资源运用的效率,优化城市管理和服务,以及改善市民生活质量。在建设智慧城市的过程中,基于图像重建大规模三维虚拟城市是不可或缺的一环,在智能导航、交通管理、城市规划等方面具有广泛的应用前景。
在三维虚拟城市建模中,不仅需要对白天正常光照下的建筑进行建模,还需要对建筑的夜景进行建模。夜景建模中,现有技术中所采用的是建筑物室内亮灯方式,通常是在配置模型的过程中,在模型需要点亮部分(窗户所在的位置)定点上写入一组UV数据,再绘制一张专门针对模型亮灯效果的灯光贴图,然后再通过写入的UV数据去采样灯光贴图,最后将灯光贴图合成或映射在模型中。而当模型规模较大、几何结构较为复杂、光源数量较大时,需要投入大量的时间和人力进行建模,耗费大量的人力成本。
同时,城市夜景与其繁华程度和人口密集度密切相关,建筑在夜晚的亮灯数量和亮度可体现出其所在区域的人员密集程度。在人工建模的过程中,亮灯数量由灯光师根据自身的经验来决定,没有将建筑的实际状况考虑在内,从而构建的每个建筑的灯光数量无明显区别,无法体现出建筑本身所处区域的真实状况。
发明内容
本发明的目的在于提供一种基于AI构建的数字城市建筑夜景生成方法及系统,以改善上述问题。
为了实现上述目的,本申请实施例提供了如下技术方案:
一种基于AI构建的数字城市建筑夜景生成方法,包括:
收集楼体外立面的图片集,手动标注出窗户所在的位置;
利用所述图片集构造训练集和测试集;
利用所述训练集拟合图像识别模型,利用所述测试集测试图像识别模型泛化性能;
将待识别的背景贴图输入所述图像识别模型,输出标记后的背景贴图;
利用所述标记后的背景贴图对目标建筑模型进行贴面,生成建筑模型的外立面;
根据目标建筑物所在区域的人口热力图建立亮窗比函数,求出亮灯数量;
根据所述亮灯数量在外立面上随机点亮窗户,并将所述窗户的亮度控制在预设亮度范围内。
进一步的,所述收集楼体外立面的图片集,手动标注出窗户所在的位置,包括:
收集包含有窗户的楼体外立面图片;
利用Labeling工具中的矩形框标注出外立面图片中窗户所在的位置;
获取所述矩形框的左上角像素点的坐标和右下角像素点的坐标;
将所述坐标存储在外立面图片对应的注解文件中。
进一步的,所述利用所述图片集构造训练集和测试集,包括:
创建训练集文件和测试集文件;
在训练集文件内,创建第一图片文件和第一注释文件,将图片集中70%—80%的图片放入所述第一图片文件中,将图片对应的注解文件放入第一注释文件中;
在测试集文件内,创建第二图片文件和第二注释文件,将图片集中剩余的图片放入所述第二图片文件中,将图片对应的注解文件放入第二注释文件中。
进一步的,所述利用所述训练集拟合图像识别模型,利用所述测试集测试图像识别模型泛化性能,包括:
将完成训练的YOLOv3模型的参数迁移到新模型中;
利用所述训练集文件中的图片和数据对新模型进行训练;
利用所述测试集文件夹的图片和数据对新模型进行测试;
生成若干个模型文件和一个json文件;
在所述若干个模型文件中选取出检测精确度最高的模型文件;
将所述检测精确度最高的模型文件和所述json文件用于自定义对象检测方法中,生成图像识别模型。
进一步的,所述将待识别的背景贴图输入所述图像识别模型,输出标记后的背景贴图,包括:
将待识别的背景贴图输入图像识别模型中;
利用Labeling工具中的矩形框对背景贴图中窗户所在的位置进行标注;
自动获取矩形框的左上角坐标
Figure 190523DEST_PATH_IMAGE001
和右下角坐标
Figure 903264DEST_PATH_IMAGE002
,其中,所述i表示背 景贴图中的第i个矩形框,分别对
Figure 765041DEST_PATH_IMAGE001
Figure 196023DEST_PATH_IMAGE002
所在像素点的alpha通道重新赋值以进 行标记;
输出标记后的背景贴图。
进一步的,所述根据目标建筑物所在区域的人口热力图建立亮窗比函数,求出亮灯数量,包括:
建立人口热力图的像素值范围与亮窗比例之间的对应关系,所述亮窗比例为需点亮的窗户与窗户总数的比值;
在预设时间点获取目标建筑物所在区域的人口热力图;
根据所述人口热力图的像素值确定亮窗比,并计算出亮窗数量。
进一步的,所述根据所述亮灯数量在外立面上随机点亮窗户,并将所述窗户亮度控制在预设亮度范围内,包括:
构造灯光贴图;
识别背景贴图中alpha通道被重新赋值的两个像素点,并确定所述两个像素点的 坐标
Figure 932772DEST_PATH_IMAGE003
Figure 500020DEST_PATH_IMAGE002
根据所述所述坐标
Figure 532698DEST_PATH_IMAGE001
Figure 654238DEST_PATH_IMAGE002
确定窗户所在的区域;
将灯光贴图映射在所述区域内的背景贴图上,具体的,在灯光贴图样本集中随机获取灯光贴图;
在预设亮度范围内随机调整各灯光贴图的亮度;
进一步的,所述在预设亮度范围内随机调整各灯光贴图的亮度,包括:
将建筑类别划分为住宅和写字楼;
将住宅的近景亮度范围值设置为[100,300],写字楼的近景亮度范围值设置为[100,400];
根据目标建筑所属类别,在其近景亮度范围值内随机选择各灯光贴图的亮度。
进一步的,所述根据所述亮灯数量在外立面上随机点亮窗户,并将所述窗户亮度控制在预设亮度范围内之后,还包括:
计算出下一时间点的亮窗数量;
将所述下一时间点的亮窗数量与当前时间点的亮窗数量进行比较;
在目标建筑模型上随机减少或增加亮窗数量。
一种基于AI构建的数字城市建筑夜景生成系统,所述系统包括:
注解模块:用于收集楼体外立面的图片集,手动标记出窗户所在的位置;
图片集划分模块:用于利用所述图片集构造训练集和测试集;
模型训练模块:用于利用所述训练集拟合图像识别模型,利用所述测试集测试图像识别模型泛化性能;
标记模块:用于将待识别的背景贴图输入所述图像识别模型,输出标记后的背景贴图;
贴图模块:用于利用所述标记后的背景贴图对目标建筑模型赋予材质,生成建筑模型的外立面;
窗户计算模块:用于根据目标建筑物所在区域的人口热力图建立亮窗比函数,求出亮灯数量;
窗户点亮模块:用于根据所述亮灯数量在目标建筑物的外立面上随机点亮窗户,并将所述窗户的亮度控制在预设亮度范围内。
一种基于AI构建的数字城市建筑夜景生成设备,所述设备包括存储器和处理器,所述存储器用于存储计算机程序;所述处理器用于执行所述计算机程序时实现上述基于AI构建的数字城市建筑夜景生成方法的步骤。
一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于AI构建的数字城市建筑夜景生成方法的步骤。
本发明的有益效果为:
1、本发明所采用的YOLOv3模型是目前位置速度和精度最均衡的目标检测网络。利用机器学习算法可以自动识别出背景贴图中窗户所在位置,再利用标记了的背景贴图生成建筑模型的外立面,用于为后续步骤的点亮窗户的操作奠定基础,有效的提高了工作效率。
2、本发明改变了传统的点亮窗户模式,传统的点亮窗户的操作与生成建筑模型外立面的操作同步进行,是一个建模过程,而本发明为将点亮窗户的步骤放在外立面建立完成之后进行,将外立面贴图中的窗户所在的位置直接映射灯光贴片,并随机调亮灯光贴片的亮度,使场景更加真实,为实时绘制过程。
3、本发明对反应人口密集程度的人口热力图进行密度等级划分,使不同等级对应不同的亮窗比例。再通过实时获取建筑所在区域的人口人力图,根据人口热力图计算出需要亮窗的数量,再随机将外立面的窗户点亮,并根据人口热力图的实时变化,改变亮窗的数量,从而使建筑的亮灯程度能够真实反映出所处区域的真实繁华程度和人口密集度,对开发商或购房者具有一定的参考作用。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一中所述的图像识别模型的构建流程示意图;
图2是本发明实施例一中所述的点亮窗户的流程示意图;
图3是本发明实施例一中所述的外立面图片一;
图4是本发明实施例一中所述的外立面图片二;
图5是本发明实施例一中所述标注窗户后的外立面图片一;
图6是本发明实施例一中所述标注窗户后的外立面图片二;
图7是本发明实施例一中所述待标记的背景贴图;
图8是本发明实施例一中标记后的背景贴图;
图9是本发明实施例一中通道的像素图;
图10是本发明实施例一中灯光贴图样本集;
图11是本发明实施例一中生成的建筑模型外立面图一;
图12是本发明实施例一中生成的建筑模型外立面图二;
图13是本发明实施例一中生成的城市建筑模型外立面图;
图14是本发明实施例二中基于AI构建的数字城市建筑夜景生成系统的模块结构图;
图15是本发明实施例三中基于AI构建的数字城市建筑夜景生成设备示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号或字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1
本实施例提供了一种基于AI构建的数字城市建筑夜景生成方法,该方法包括以下步骤:
如图1所示,S1.收集楼体外立面的图片集,手动标注出窗户所在的位置;
具体的,所述外立面的图片的要求为:包含有对象的图片,其中所述对象为窗户,对窗户的形状、大小及朝向均无要求。
基于以上实施例,所述S1包括:
S11.收集包含有窗户的楼体外立面图片;
S12.利用Labeling工具中的矩形框标注出窗户所在的位置;
S13.获取所述矩形框的左上角像素点的坐标和右下角像素点的坐标;
S14.将所述坐标存储在外立面图片对应的注解文件中。
如图3、图4所示,为本实施例以外立面图片一和外立面图片二为例,利用Labeling工具中的矩形框标注出窗户所在的位置,标注后的图片如图5、图6所示;
需要说明的是,窗户为不规则形状时或为侧向时,以窗户的外接矩形标记窗户。
从图片中得到外立面图片一中矩形框的左上角像素点的坐标为(199,151),右下角像素点的坐标为(371,545);
将上述坐标以如下格式存储在注解文件中:
<bndbox>
<xmin>199</xmin>
<ymin>151</ymin>
<xmax>371</xmax>
<ymax>545</ymax>
</bndbox>
注解文件用于描述对象在图片上的位置、名称等信息的文件,以PASCAL VOC格式保存为XML文件。
优选的,所述图片集还可以包括灯带的外立面图片,利用所述图片集训练模型,得到的模型可自动标记出灯带所在的位置,其具体实现方法可参考窗户的识别方法。
S2.将所述图片集划分为训练集和测试集;
基于以上实施例,所述S2包括:
S21.创建一个文件夹,以所述文件夹为父文件夹生成两个子文件夹train和validation;
S22.在train文件夹内,创建images和annotations子文件夹,将图片集中70%—80%的图片放入所述images文件夹中,将图片对应的注解文件放入annotations中;
S23.在validation文件夹内,创建images*和annotations*子文件夹,将图片集中剩余的图片放入所述images*文件夹中,将图片对应的注解文件放入annotations*文件夹中。
S3.利用所述训练集拟合图像识别模型,利用所述测试集测试图像识别模型泛化性能;
基于以上实施例,所述S3包括:
S31.将完成训练的YOLOv3模型的参数迁移到新模型中;
其中,所述转移训练(Transfer Learning)也叫迁移训练、迁移学习,是把已经训练好的模型参数迁移到新的模型来帮助新模型训练。由于大部分数据或任务是存在相关性的,所以通过转移训练,可以将已经学到的模型参数通过某种方式来分享给新模型从而加快并优化模型的学习效率。
S32.利用所述train文件夹中的图片和数据对新模型进行训练;
S33.利用所述validation文件夹中的图片和数据对新模型进行测试;
S34.生成若干个以“h5”后缀名结尾的模型文件和一个以“json”后缀名结尾的json文件;
S35.在所述若干个模型文件中选取出检测精确度最高的模型文件;
S36.将所述检测精确度最高的模型文件和所述json文件用于自定义对象检测方法中,生成图像识别模型。
如图2所示,S4.将待识别的贴图输入所述图像识别模型,输出标记后的背景贴图;
基于以上实施例,所述S4包括:
S41.将待识别的背景贴图输入图像识别模型中;
S42.利用矩形框对背景贴图中窗户所在的位置进行标注;
S43.自动获取矩形框的左上角坐标
Figure 289618DEST_PATH_IMAGE004
和右下角坐标
Figure 117897DEST_PATH_IMAGE005
,其中,所述i 表示背景贴图中的第i个矩形框,分别对
Figure 649372DEST_PATH_IMAGE004
Figure 54946DEST_PATH_IMAGE006
所在像素点的alpha通道重新 赋值以进行标记;
具体的,在背景贴图上新建alpha通道,将背景贴图的alpha通道值默认设置为0, 将所在像素点的alpha通道值设置为0.1,将所在像素点的alpha通道值设置为0.3,所述
Figure 962859DEST_PATH_IMAGE004
Figure 973540DEST_PATH_IMAGE007
所在像素点的alpha通道值可设置为任意不同的值,不限于上述值;
优选的,将所述矩形框的内部区域的alpha通道值默认设置为0.2,用于区分窗户和背景区域,以便于后续对窗户进行其他操作,如:抠图等。
S44.输出标记后的背景贴图。
本实施例中,所述图像识别模型通过机器学习可自动识别出窗户所在的位置,并在过程文件中利用矩形框对窗户进行标记,但所述矩形框在输出背景贴图中不显示,背景贴图中改变的只有像素点的alpha通道;
如图8所示,为本实施例中背景贴图和alpha通道同时显示的图像,如图9所示,为 本实施例中仅显示alpha通道的图像,所述背景贴图中包括若干窗户(背景贴图包括一个或 若干窗户均可以),所述图像识别模型将所有的窗户利用方形框标注出后,分别获取每个方 形框的左上角和右下角所在像素点的坐标
Figure 613600DEST_PATH_IMAGE004
Figure 444153DEST_PATH_IMAGE005
,并改变其alpha通道的值;
具体的,所述矩形框的顺序按照从左到右、从上到下的顺序进行排列。
S5.利用所述标记后的背景贴图对目标建筑模型赋予材质,生成建筑模型的外立面,本实施例中采用Unreal Engine4(第4代虚幻引擎,缩写为UE4引擎)制作模型贴图,UE4位目前全球公认最优秀的引擎之一,能够高质量地实现实时交互,其画面效果能够达到接近逼真效果图90%以上;
具体的,所述S5包括以下步骤:
S51.将背景贴图转换为UE4引擎支持的格式;
S52.将背景贴图导入到UE4引擎的工程文件中;
S53.在UE4引擎中连接贴图。
利用UE4引擎制作模型贴图为本领域较为成熟的技术手段,本实施例不再赘述。
S6.根据目标建筑物所在区域的人口热力图建立亮窗比函数,求出亮灯数量;
基于以上实施例,所述S6包括:
S61.建立人口热力图的像素值范围与亮窗比例之间的对应关系,所述亮窗比例为需点亮的窗户与窗户总数的比值;
具体的,百度热力图的alpha通道中各像元的像素值与颜色存在对应关系,将人口热力图的像素值范围0-205划分为8个区间,每个区间代表不同的人口活动密度值,以所述人口活动密度值为中间值建立人口热力图对应的亮窗比例关系如表1所示,
像素值范围 0-59 59-132 132-138 138-151 151-163 163-170 170-179 179-205
人口活动密度值 1 5 8 10 15 30 50 60
亮窗比例 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
表1
S62.在预设时间点获取目标建筑物所在区域的人口热力图,其中,代表不同的时间点,令两个相邻的时间点的间隔为1h,在[0:00,7:00)或(19:00,24:00]期间每间隔1h接入一次目标建筑物所在区域的百度热力图数据;
S63.根据所述人口热力图的像素值确定亮窗比,并计算出亮窗数量;
具体的,随机获取所述人口热力图上的5个以上像素点的像素值,所述5个以上像素点随机分布在人口热力图上,求出所述5个以上的像素点的平均值,将所述平均值作为该目标建筑物的人口热力图像素值的平均值;例如,所述目标建筑物的窗户为500,根据人口热力图像素值的平均值求出的亮窗比为0.6,则需要点亮的窗户数量为300个。
S7.在目标建筑物的外立面上随机点亮窗户,并将所述窗户亮度控制在预设亮度范围内;
基于以上实施例,所述S7包括:
S71.构造灯光贴片,如图10所示,为灯光贴片集,所述灯光贴片具有纹理或场景;
S72.识别背景贴图中alpha通道被重新赋值的像素点,并确定所述像素点的坐标
Figure 686916DEST_PATH_IMAGE008
Figure 552103DEST_PATH_IMAGE009
S73.根据所述坐标
Figure 691678DEST_PATH_IMAGE010
Figure 9527DEST_PATH_IMAGE011
确定窗户所在的区域;
具体的,所述S73的具体算法如下:
从左到右、从上到下遍历每一个像素的alpha值,第一行像素点遍历完后,遍历第二行像素点;
将第一个alpha值为0.1的像素值设置为第一个窗户的左上角坐标
Figure 55980DEST_PATH_IMAGE012
继续遍历像素点,将第二个alpha值为0.1的像素点设置为第二个窗户的左上角坐 标
Figure 775675DEST_PATH_IMAGE013
重复上述步骤n次,将第n个alpha值为0.1像素点设置为第n个窗户的左上角坐标
Figure 757537DEST_PATH_IMAGE014
将第一个alpha值为0.3的像素点设置为第一个窗户的右下角坐标
Figure 562682DEST_PATH_IMAGE015
继续遍历像素点,将第二个alpha值为0.3的像素点设置为第二个窗户的右上角坐 标
Figure 412826DEST_PATH_IMAGE016
重复上述步骤n次,将第n个alpha值为0.3像素点设置为第n个窗户的右上角坐标
Figure 987027DEST_PATH_IMAGE017
得到n个窗户的左上角坐标和右下角坐标
Figure 139791DEST_PATH_IMAGE018
S74.在所有的窗户中随机选择需要点亮的窗户,将灯光贴图映射在所述由坐标
Figure 432232DEST_PATH_IMAGE010
Figure 23750DEST_PATH_IMAGE011
确定的区域内的背景贴图上;
具体的,1)利用方程式组(1)确定映射的区域:
Figure 514775DEST_PATH_IMAGE019
(1)
2)转换
Figure 572860DEST_PATH_IMAGE020
得到纹理坐标
Figure 352598DEST_PATH_IMAGE021
3)将灯光贴图映射在所述纹理坐标
Figure 544544DEST_PATH_IMAGE022
所表示的区域内。
S75.在预设亮度范围内随机调整各灯光贴图的亮度。
基于以上实施例,所述S75包括:
S751.将建筑模型类别划分为住宅和写字楼;
S752.将住宅的近景亮度范围值设置为[100,300],单位为坎德拉,写字楼的近景亮度范围值设置为[100,400],单位为坎德拉;具体的,所述近景亮度指的是距相机最近距离10米处的亮度;
S753.根据目标建筑模型所属类别,在其近景亮度范围值内随机选择各灯光贴片的亮度;具体的,所述随机选择的规则自定义,本实施例不进行限定。
具体的,映射得到的图片颜色=背景贴图
Figure 827758DEST_PATH_IMAGE023
+灯光贴图
Figure 915800DEST_PATH_IMAGE024
其中,所述alpha’表示背景贴图当前所取的alpha通道值,其与背景贴图原始alpha通道值、灯光贴图的亮度、时间及距离有关,其计算公式如下:
Figure 353472DEST_PATH_IMAGE025
;(2)
其中,所述100为补偿参数,所述0.2为背景贴图原始alpha通道值,其表示背景贴图上窗户的透明度值;
所述
Figure 21214DEST_PATH_IMAGE026
表示与亮度有关的系数,由于住宅和公寓的近景亮度值范围不同,因此住 宅的
Figure 486830DEST_PATH_IMAGE026
表达式为,
公寓的
Figure 480194DEST_PATH_IMAGE026
表达式为
Figure 641048DEST_PATH_IMAGE027
其中,L表示近景亮度值。
所述
Figure 378060DEST_PATH_IMAGE028
表示与时间点有关的系数,
Figure 698183DEST_PATH_IMAGE028
的表达式为:
Figure 596869DEST_PATH_IMAGE029
(3)
其中,所述t表示时间点,[t]表示不超过实数t的最大整数称为t的整数部分,即分别在[0:00,7:00)或(19:00,24:00]的时间段中取整点数。
所述
Figure 510598DEST_PATH_IMAGE030
表示与距离有关的系数,
Figure 785722DEST_PATH_IMAGE030
的表达式为:
Figure 960351DEST_PATH_IMAGE031
(4)
其中,所述d表示距相机的距离,单位为m。
基于以上实施例,在所述S7之后,还包括:
S8.计算出下一时间点的亮窗数量,例如,上一时间点为7:00,则下一时间点为8:00,计算得出8:00的亮窗数量;
S9.将所述下一时间点的亮窗数量与当前时间点的亮窗数量进行比较;
S10.在目标建筑模型上随机减少或增加亮窗数量。
如图11、图12、图13所示,为采用本方法生成的带有灯光效果的建筑模型外立面图。
实施例2
相应于上面的方法实施例,本公开实施例还提供了一种基于AI构建的数字城市建筑夜景生成系统,下文描述的基于AI构建的数字城市建筑夜景生成系统与上文描述的基于AI构建的数字城市建筑夜景生成方法可相互对应参照。
如图14所示,该系统包括如下模块:
注解模块:用于收集楼体外立面的图片集,手动标注出窗户所在的位置;
图片集划分模块:用于利用所述图片集构造训练集和测试集;
模型训练模块:用于利用所述训练集拟合图像识别模型,利用所述测试集测试图像识别模型泛化性能;
标记模块:用于将待识别的贴图输入所述图像识别模型,输出标记后的背景贴图;
贴图模块:用于利用所述标记后的背景贴图对目标建筑模型赋予材质,生成建筑模型的外立面;
窗户计算模块:用于根据目标建筑物所在区域的人口热力图建立亮窗比函数,求出亮灯数量;
窗户点亮模块:用于根据所述亮灯数量在目标建筑物的外立面上随机点亮窗户,并将所述窗户的亮度控制在预设亮度范围内。
需要说明的是,关于上述实施例中的系统,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
实施例3
相应于上面的方法实施例,本公开实施例还提供了一种基于AI构建的数字城市建筑夜景生成设备,下文描述的一种基于AI构建的数字城市建筑夜景生成设备与上文描述的一种基于AI构建的数字城市建筑夜景生成方法可相互对应参照。
如图15所示,该电子设备可以包括:处理器,存储器。该电子设备还可以包括多媒体组件,输入/输出(I/O)接口,以及通信组件中的一者或多者。
其中,处理器用于控制该电子设备的整体操作,以完成上述的OD客流预测方法中的全部或部分步骤。存储器用于存储各种类型的数据以支持在该电子设备的操作,这些数据例如可以包括用于在该电子设备上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(StaticRandom Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或通过通信组件发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口为处理器和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件用于该电子设备与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,电子设备可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的OD客流预测方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的OD客流预测方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器,上述程序指令可由电子设备的处理器执行以完成上述的OD客流预测方法。
实施例4
相应于上面的方法实施例,本公开实施例还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种基于AI构建的数字城市建筑夜景生成方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的基于AI构建的数字城市建筑夜景生成方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于AI构建的数字城市建筑夜景生成方法,其特征在于,包括:
收集楼体外立面的图片集,手动标注出窗户所在的位置;
利用所述图片集构造训练集和测试集;
利用所述训练集拟合图像识别模型,利用所述测试集测试图像识别模型泛化性能;
将待识别的背景贴图输入所述图像识别模型,输出标记后的背景贴图,包括:
将待识别的背景贴图输入图像识别模型中;
利用矩形框对背景贴图中窗户所在的位置进行标注;
自动获取矩形框的左上角坐标
Figure DEST_PATH_IMAGE001
和右下角坐标
Figure 781709DEST_PATH_IMAGE002
,其中,所述i表示背景 贴图中的第i个矩形框,分别对
Figure 322412DEST_PATH_IMAGE001
Figure 497041DEST_PATH_IMAGE002
所在像素点的alpha通道重新赋值以进 行标记;
输出标记后的背景贴图;
利用所述标记后的背景贴图对目标建筑模型进行贴面,生成建筑模型的外立面;
根据目标建筑物所在区域的人口热力图建立亮窗比函数,求出亮灯数量,包括:
建立人口热力图的像素值范围与亮窗比例之间的对应关系,所述亮窗比例为需点亮的窗户与窗户总数的比值;
在预设时间点获取目标建筑物所在区域的人口热力图;
根据所述人口热力图的像素值确定亮窗比,并计算出亮窗数量;
根据所述亮灯数量在外立面上随机点亮窗户,并将所述窗户的亮度控制在预设亮度范围内,包括:
构造灯光贴图;
识别背景贴图中通道被重新赋值的像素点,并确定所述像素点的坐标
Figure 97787DEST_PATH_IMAGE001
Figure 92287DEST_PATH_IMAGE002
根据所述坐标
Figure 702260DEST_PATH_IMAGE001
Figure 465817DEST_PATH_IMAGE002
确定窗户所在的区域;
将灯光贴图映射在所述区域内的背景贴图上;
在预设亮度范围内随机调整各灯光贴图的亮度。
2.根据权利要求1所述的基于AI构建的数字城市建筑夜景生成方法,其特征在于,所述收集楼体外立面的图片集,手动标注出窗户所在的位置,包括:
收集包含有窗户的楼体外立面图片;
利用矩形框标注出外立面图片中窗户所在的位置;
获取所述矩形框的左上角像素点的坐标和右下角像素点的坐标;
将所述坐标存储在外立面图片对应的注解文件中。
3.根据权利要求2所述的基于AI构建的数字城市建筑夜景生成方法,其特征在于,所述利用所述图片集构造训练集和测试集,包括:
创建训练集文件和测试集文件;
在训练集文件内,创建第一图片文件和第一注释文件,将图片集中70%—80%的图片放入所述第一图片文件中,将图片对应的注解文件放入第一注释文件中;
在测试集文件内,创建第二图片文件和第二注释文件,将图片集中剩余的图片放入所述第二图片文件中,将图片对应的注解文件放入第二注释文件中。
4.根据权利要求3所述的基于AI构建的数字城市建筑夜景生成方法,其特征在于,所述利用所述训练集拟合图像识别模型,利用所述测试集测试图像识别模型泛化性能,包括:
将完成训练的YOLOv3模型的参数迁移到新模型中;
利用所述训练集文件中的图片和数据对新模型进行训练;
利用所述测试集文件夹的图片和数据对新模型进行测试;
生成若干个模型文件和一个json文件;
在所述若干个模型文件中选取出检测精确度最高的模型文件;
将所述检测精确度最高的模型文件和所述json文件用于自定义对象检测方法中,生成图像识别模型。
5.根据权利要求1所述的基于AI构建的数字城市建筑夜景生成方法,其特征在于,所述在预设亮度范围内随机调整各灯光贴图的亮度,包括:
将建筑类别划分为住宅和写字楼;
将住宅的近景亮度范围值设置为[100,300],写字楼的近景亮度范围值设置为[100,400];
根据目标建筑所属类别,在其近景亮度范围值内随机选择各灯光贴图的亮度。
6.根据权利要求1所述的基于AI构建的数字城市建筑夜景生成方法,其特征在于,所述根据所述亮灯数量在外立面上随机点亮窗户,并将所述窗户的亮度控制在预设亮度范围内之后,还包括:
计算出下一时间点的亮窗数量;
将所述下一时间点的亮窗数量与当前时间点的亮窗数量进行比较;
在目标建筑模型上随机减少或增加亮窗数量。
7.一种基于AI构建的数字城市建筑夜景生成系统,其特征在于,包括:
注解模块:用于收集楼体外立面的图片集,手动标注出窗户所在的位置;
图片集划分模块:用于利用所述图片集构造训练集和测试集;
模型训练模块:用于利用所述训练集拟合图像识别模型,利用所述测试集测试图像识别模型泛化性能;
标记模块:用于将待识别的背景贴图输入所述图像识别模型,输出标记后的背景贴图,包括:
将待识别的背景贴图输入图像识别模型中;
利用矩形框对背景贴图中窗户所在的位置进行标注;
自动获取矩形框的左上角坐标
Figure 503043DEST_PATH_IMAGE001
和右下角坐标
Figure 719261DEST_PATH_IMAGE002
,其中,所述i表示背景 贴图中的第i个矩形框,分别对
Figure 867345DEST_PATH_IMAGE001
Figure 485408DEST_PATH_IMAGE002
所在像素点的alpha通道重新赋值以进 行标记;
输出标记后的背景贴图;
贴图模块:用于利用所述标记后的背景贴图对目标建筑模型赋予材质,生成建筑模型的外立面;
窗户计算模块:用于根据目标建筑物所在区域的人口热力图建立亮窗比函数,求出亮灯数量,包括:
建立人口热力图的像素值范围与亮窗比例之间的对应关系,所述亮窗比例为需点亮的窗户与窗户总数的比值;
在预设时间点获取目标建筑物所在区域的人口热力图;
根据所述人口热力图的像素值确定亮窗比,并计算出亮窗数量;
窗户点亮模块:用于根据所述亮灯数量在目标建筑物的外立面上随机点亮窗户,并将所述窗户的亮度控制在预设亮度范围内,包括:
构造灯光贴图;
识别背景贴图中通道被重新赋值的像素点,并确定所述像素点的坐标
Figure 460580DEST_PATH_IMAGE001
Figure 164094DEST_PATH_IMAGE002
根据所述坐标
Figure 850290DEST_PATH_IMAGE001
Figure 854018DEST_PATH_IMAGE002
确定窗户所在的区域;
将灯光贴图映射在所述区域内的背景贴图上;
在预设亮度范围内随机调整各灯光贴图的亮度。
CN202110146835.8A 2021-02-03 2021-02-03 一种基于ai构建的数字城市建筑夜景生成方法及系统 Active CN112507444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110146835.8A CN112507444B (zh) 2021-02-03 2021-02-03 一种基于ai构建的数字城市建筑夜景生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110146835.8A CN112507444B (zh) 2021-02-03 2021-02-03 一种基于ai构建的数字城市建筑夜景生成方法及系统

Publications (2)

Publication Number Publication Date
CN112507444A CN112507444A (zh) 2021-03-16
CN112507444B true CN112507444B (zh) 2021-05-07

Family

ID=74952856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110146835.8A Active CN112507444B (zh) 2021-02-03 2021-02-03 一种基于ai构建的数字城市建筑夜景生成方法及系统

Country Status (1)

Country Link
CN (1) CN112507444B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113345090B (zh) * 2021-06-28 2023-02-03 北京优锘科技有限公司 一种3d模型中生成建筑外立面的方法、装置和存储介质
CN113886252B (zh) * 2021-09-30 2023-05-23 四川大学 基于热力图的回归测试用例优先级确定方法
CN117115243B (zh) * 2023-10-23 2024-02-09 北京科技大学 一种基于街景图片的建筑群外立面窗户定位方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947423B2 (en) * 2013-08-23 2018-04-17 Global Energy Research Associates, LLC Nanofuel internal engine
CN106296815B (zh) * 2015-06-24 2020-11-10 程昊 一种交互式三维数字城市的构建和显示方法
US20180230692A1 (en) * 2015-08-11 2018-08-16 Francisco Jules Thebaud Multi-story multi-unit buildings
CN107016139B (zh) * 2016-01-28 2020-07-21 上海广茂达光艺科技股份有限公司 建筑物的布灯设计方法及系统
CN110189384B (zh) * 2018-02-22 2023-12-26 深圳市萌蛋互动网络有限公司 基于Unity3D的图像压缩方法、装置、计算机设备和存储介质
CN109947887A (zh) * 2019-03-20 2019-06-28 智慧足迹数据科技有限公司 人口分布统计方法及装置
CN109978264B (zh) * 2019-03-27 2022-06-17 西安电子科技大学 一种基于时空信息的城市人口分布预测方法
CN110197525B (zh) * 2019-06-10 2023-05-26 网易(杭州)网络有限公司 虚拟建筑模型的窗口灯光控制方法、装置、处理器及终端
CN110517487B (zh) * 2019-08-16 2020-11-06 重庆特斯联智慧科技股份有限公司 基于热力图变化识别的城市区域交通资源调控方法及系统
CN111125490B (zh) * 2019-11-15 2020-11-20 广州市城市规划勘测设计研究院 基于百度热力图的人口活动数量提取方法、装置及介质
CN111291799A (zh) * 2020-01-21 2020-06-16 青梧桐有限责任公司 房间窗户分类模型构建方法、房间窗户分类方法及系统
CN112069235B (zh) * 2020-11-16 2021-02-12 脉策(上海)智能科技有限公司 用于呈现目标区域人口数据的方法、设备和存储介质

Also Published As

Publication number Publication date
CN112507444A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112507444B (zh) 一种基于ai构建的数字城市建筑夜景生成方法及系统
CN108919944B (zh) 一种基于数字城市模型实现在显示端进行数据无损交互的虚拟漫游方法
CN116090065B (zh) 一种基于数字孪生的智慧城市绿化设计方法及装置
CN113449355A (zh) 一种基于人工智能的建筑户型图自动生成方法
CN111221867A (zh) 一种保护性建筑信息管理系统
Khayyal et al. Creation and spatial analysis of 3D city modeling based on GIS data
CN111090717A (zh) 一种基于cga规则的自动化建筑模型
CN110660125A (zh) 用于电力配网系统的三维建模装置
Pinto Technologies for Urban and Spatial Planning: Virtual Cities and Territories: Virtual Cities and Territories
CN113420109B (zh) 一种街道界面渗透率的测量方法、计算机及存储介质
CN115937461A (zh) 多源融合模型构建及纹理生成方法、装置、介质及设备
CN112883240B (zh) 一种基于数字孪生的数据轻量化的bim建筑模型管理方法及其管理系统
CN113988677A (zh) 一种基于智慧城市规划一体化城市规划决策支持系统
CN117351162A (zh) 一种基于数字孪生的实景三维规划设计方法
CN114937137B (zh) 一种基于bim与gis的建筑环境智能分析方法
CN115713603A (zh) 基于建筑空间图谱的多类型街区建筑群形态智能生成方法
WO2023005934A1 (zh) 数据处理方法、系统及电子设备
CN115393731A (zh) 一种基于交互想定和深度学习生成虚拟云图的方法和系统
CN113987902A (zh) 一种天气场景模拟方法、装置、电子设备及存储介质
CN114091133A (zh) 一种城市信息模型建模方法、装置、终端设备及存储介质
Agbossou Urban Augmented Reality for 3D Geosimulation and Prospective Analysis
CN113269875A (zh) 基于实景与仿真三维模型虚实融合的建筑设计方案评审方法及系统和存储介质
Sun et al. Research on key technologies of three-dimensional digital reconstruction of cultural heritage in historical and cultural blocks
Tang et al. Smart City Public Art Planning and Design in a Multimedia Internet of Things Environment Integrating Scene Elements
CN117197364B (zh) 区域建模方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and system for building night scene generation of digital city based on AI

Effective date of registration: 20230104

Granted publication date: 20210507

Pledgee: Bank of Chengdu science and technology branch of Limited by Share Ltd.

Pledgor: SICHUAN JIANSHAN TECHNOLOGY CO.,LTD.

Registration number: Y2023980030123