CN114241325A - 基于街景图片的空调挂机空间分布自动识别方法及系统 - Google Patents

基于街景图片的空调挂机空间分布自动识别方法及系统 Download PDF

Info

Publication number
CN114241325A
CN114241325A CN202210115996.5A CN202210115996A CN114241325A CN 114241325 A CN114241325 A CN 114241325A CN 202210115996 A CN202210115996 A CN 202210115996A CN 114241325 A CN114241325 A CN 114241325A
Authority
CN
China
Prior art keywords
air conditioner
street view
hook
view picture
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210115996.5A
Other languages
English (en)
Inventor
杨飞
王梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Geographic Sciences and Natural Resources of CAS
Original Assignee
Institute of Geographic Sciences and Natural Resources of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Geographic Sciences and Natural Resources of CAS filed Critical Institute of Geographic Sciences and Natural Resources of CAS
Priority to CN202210115996.5A priority Critical patent/CN114241325A/zh
Publication of CN114241325A publication Critical patent/CN114241325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于街景图片的空调挂机空间分布自动识别方法及系统,以网络平台提供的街景图片为数据源实现空调挂机空间分布识别,包括通过爬虫抓取街景图片;基于空调挂机场景特点对爬取的街景图片进行预筛选,进行窗户实体与空调挂机目标实体的标注,输入YOLOX网络中分别进行空调挂机实体模型训练和窗户实体模型训练,训练完成后对每张街景图片分别利用相应模型进行预测,并输出每张图片中的空调外挂机与窗户实体的个数;计算空调外挂机和窗户数量间的比率,结合每个街景图片的坐标信息进行空间投影,输出地区相应的空调覆盖率。本发明通过挖掘网络街景图片信息,识别空调挂机与窗户的比率,提取空调空间分布信息,可大量节约人工成本。

Description

基于街景图片的空调挂机空间分布自动识别方法及系统
技术领域
本发明涉及空调挂机智能识别技术领域,具体涉及一种基于街景图片的空调挂机空间分布方法及系统。
背景技术
近些年来随着全球范围内的剧烈气候变化,全球各地区有记录的极端高温事件在发生的频次、强度和灾害持续的持续时间都呈现不断的上升趋势,由此而诱发的相关地区有记录的人口并发疾病的相关发病率和死亡率数字也呈现不断的攀升态势。
目前关于一定地区内的空调使用数据有记录在案的情况仍然非常稀少,统计空调使用数据的方法目前仍然停留在传统的人力统计策略。而常用的传统人力统计调查方法天然具有繁琐、高人力成本时间成本、昂贵的经济成本等缺点。因此目前急需一种成本开销较小,且能够快速便捷的获取空调使用情况的手段。
现有的关于空调的专利多涉及空调的控制装置、空调的系统配置以及空调外挂机保护技术领域,诸如空调的散热控制装置;机柜空调系统;空调系统与空调冷媒干燥方法;防空调外挂机坠落监测预警装置,以实现空调挂机状况的实时监测,可在挂机发生坠落之前的一段时间及时发出预警信息,及时进行报警风险排除。同时,另外一些关于空调的专利则涉及空调的总体控制系统领域,包括了由空调系统中送风总管上温度变送器、风量变送器和回风总管上温度变送器共同组成的空调系统总负荷变化信息提取系统;送风机进出口压差变送器和送风总管上的风量变送器组成的空调系统总风阻变化信息提取系统;每一条送风支路上的手动调节阀和末端风口组成的支路静态水力平衡调节系统;以及一种空调器睡眠模式设置方法和空调器系统等等方向。
而对于现有可用的空调挂机信息提取的技术方案均多以普查方法即人工统计普查的形式出现,且传统登记方法十分繁琐,耗时冗长。因此,急需一种便捷高效的快速自动扫描方法,实现快速高效掌握其在一定地区内的空间分布情况。
发明内容
目前,空调使用率数据的来源主要是空调商家销售数据、各地统计局的统计数据,较难客观反应空调的使用率,且难以表达各个地区的空调使用的空间分布情况。目前空调信息提取的数据源和提取方法都非常欠缺,致使目前仍难以准确提取出城市空调使用率的空间分布。
为了解决上述现有技术中存在的不足,本发明提出了一种基于街景图片的空调挂机空间分布方法及系统,提出充分利用逐渐丰富的街景图片,结合深度学习方法,识别街景图片中道路两侧的建筑物上的空调挂机,与窗户,获得街景图片中的空调与窗户的数量比值信息,从而获得图片中空调的普及率;结合街景图片自带的经纬度属性进行空间化的投影处理,实现较为快速便捷的自动化识别一定地区内的空调普及率的空间分布信息。
为了实现上述目的,本发明技术方案提供一种基于街景图片的空调挂机空间分布自动识别方法,以网络平台提供的街景图片为数据源实现空调挂机空间分布识别,实现过程包括以下步骤,
步骤1,通过爬虫抓取街景图片,为后续图像分析提供源数据;
步骤2,基于空调挂机场景特点对爬取的街景图片进行预筛选,进行窗户实体与空调挂机目标实体的标注,获得预标注图片集;
步骤3,将标注完成的空调实体与窗户实体数据作为训练数据,输入YOLOX网络中分别进行空调挂机实体模型训练和窗户实体模型训练,训练完成后对每张街景图片分别利用所得空调挂机实体模型和窗户实体模型进行预测,并输出每张图片中的空调外挂机与窗户实体的个数;计算空调外挂机和窗户数量间的比率,结合每个街景图片的坐标信息进行空间投影,输出地区相应的空调覆盖率。
而且,基于街景图片的唯一的标识号码panoID和路的编号sid,实现爬虫抓取街景图片。
而且,所述爬虫抓取街景图片的实现过程如下,
第一步,输入待爬取的矩形区域的四个顶点坐标,作为起始panoID;
第二步,遍历到每条道路存放的panoID数组中的最后一个元素时,解析Roads数组中的非当前元素,并对应到Links数组中的panoID,得到下一条道路的首个panoID,并作为下一条道路的sid;所述Roads数组为道路数组,所述Links数组为映射数组;
第三步,根据前两步的方式,广度优先搜索区域内的所有的sid;
第四步,将搜索到的每个sid分别建立相应文档,并写入该道路中的所有panoID编号;
第五步,根据panoID发送请求命令,获取响应,遍历每条panoID,拼接每个点位的图片下载链接并进行街景图片的下载。
而且,所述基于空调挂机场景特点对爬取的街景图片进行预筛选的实现过程如下,
选取照片拍摄范围内的建筑物高度不超过10层楼;
选择正视空调挂机与窗户实体拍摄的街景图片且每个实体畸变变形程度小于30%,同时筛选去拍摄时俯仰角度差大于30度的街景图片;
对被遮盖物遮挡达总面积30%以上的空调挂机与窗户实体进行筛除。
而且,所述街景图片采用百度街景图片。
另一方面,本发明提供一种基于街景图片的空调挂机空间分布自动识别系统,用于实现如上所述的一种基于街景图片的空调挂机空间分布自动识别方法。
而且,包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的存储指令执行如上所述的一种基于街景图片的空调挂机空间分布自动识别方法。
或者,包括可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序执行时,实现如上所述的一种基于街景图片的空调挂机空间分布自动识别方法。
本发明创造性地提出,将街景图片中街道两侧的建筑物窗户与空调外挂机作为识别目标。通过识别两侧建筑物墙外的空调挂机与窗户的比率,提取获得街景图片中此区域的空调空间分布信息。由于每一张拍摄的街景图片都带有其经纬度坐标点,因而本发明获得的空调挂机与窗户的比率数据得以转换为带有地理坐标的空调使用量的空间化数据,从而获得一定地区内的空调普及率。空调普及程度越高的地区,则说明该地区受到的高温热浪侵扰等级也越低,从而对该地区内高温热浪风险做出可量化的有效评价,并为科学应对提供决策支持。并且,从街景图片中使用人工智能领域中的目标检测方法以实现空调挂机提取,具有以下重要特点:
①本专利的创新在于,首次提出使用深度学习方法在城市街景图片中快速提取空调挂机数量,充分利用网络新数据来源进行挖掘,探索了新的空调空间信息识别和提取途径,对比传统调查方法,节约了大量时间与人力成本。
②优选使用了labelme图片标注工具,利用百度开放的街景图片数据库,首次建立了识别空调挂机的专用数据集。
③通过对多种深度学习方法对比,优选使用当前新颖且高效的目标检测技术YOLOX方法来训练空调挂机模型,实现了较好的训练结果与较高的识别率。
④相较于传统人工登记普查方法,本专利方法可以随时随地服务于任何场所的空调挂机统计,方便使用者可以快速的使用相应模型进行预测任务。
本发明方案实施简单方便,实用性强,解决了相关技术存在的实用性低及实际应用不便的问题,能够提高用户体验,具有重要的市场价值。
附图说明
图1为本发明实施例的方法流程图。
具体实施方式
以下结合附图和实施例具体说明本发明的技术方案。
本发明实施例提出的一种基于街景图片的空调挂机空间分布技术方案,以网络平台提供的街景图片为数据源实现空调挂机空间分布识别,包括爬取街景图片,并在下载的街景图片中成功构建空调挂机数据集。接下来搭建YOLOX为主体的模型迁移学习框架,以便能够自动识别测试图片中的所有空调挂机与窗户,从而成功获取城市一定区域内的空调覆盖率的空间分布情况。
为此需要实现以下具体任务:
①从百度地图提供的街景图片库中,爬取一定范围内的街景图片;
②在数据集训练过程中,需要对前一步已经爬取的街景图片进行空调挂机的标注工作,同时标注生成的预训练数据集需要准确可靠,保证后续实际训练中训练数据集的样本可靠性;
③在使用YOLOX模型进行模型的训练与预测时,需要保证一致的图片输入标准;
④使用YOLOX模型进行最终的挂机识别输出时,直观的展示每个图片的名称、处理时间与图片中的空调挂机数量和窗户数量。最后算出空调外挂机和窗户数量间的比率,结合每个街景图片名字中蕴含的坐标信息进行空间投影处理。
参见图1,实施例提出的一种基于街景图片的空调挂机空间分布方法,基于YOLOX模型,结合模型迁移学习思想,以实现一定区域内空调覆盖率的自动识别目标。实施例使用的源数据来源于百度地图中的街景图片。其中,源数据集主要由使用广度优先搜索思路爬取的北京2环以内主要街道的街景实景图片组成。
实施例提出的一种基于街景图片的空调挂机空间分布方法,包括以下步骤:
1)街景图片爬取:通过爬虫抓取街景图片,为后续图像分析提供源数据;
本发明优选从百度地图API中爬取一定量的街景图片,以此作为原始数据运用深度学习方法。得益于街景图片较易获取,且数据源提供的街景图片为360度全景图片,提供了拍摄点各个角度的街景实景图片,能够很好的模拟街道的真实景象。在此基础上,在爬取的街道街景图片中提取某一类实体目标,并分析其数量分布,得出的结果也具有一定真实可信性。
本步骤进一步的优选实施方式为,考虑到数据量的方面,选择以广度优先搜索方法为思路,结合百度街景API与百度街景图片中特殊的路段编号以及采样点编号,广度优先遍历爬取北京二环以内的主要街道的街景影像图片。
广度优先搜索方法(又称宽度优先搜索),是许多重要的图遍历方法的理论原型。广度优先搜索方法简称为BFS,从原理上来说,这种方法不考虑目标数据的可能所在位置,而是盲目的遍历搜索所有节点,直到搜索到最终的数据为止。
实施例使用的源数据来源于百度地图中的街景图片。其中,源数据集主要由使用广度优先搜索思路爬取的北京二环以内主要街道的街景实景图片组成。
在本步骤中,实施例需要爬虫抓取北京市二环内街景图片,为后续进行的图像分析提供分析的源数据。
对于每一个百度街景图片,都有一个唯一的标识号码,panoID。同时百度地图平台定义每一个panoID都存放了百度街景图片编号的一个数组结构,包含该位置的所有街景信息,即附近所有的拍摄点位编号(panoID),该位置的历史图片,拍摄时期等参数。在百度街景遍历的时候,同时也引入了sid标识编号。sid编号为每一条路的编号。一个sid编号遍历时可以遍历到此街道上的所有街景图片点,每个街景图片点的编号用panoID表示。panoID为一条道路上的一个拍摄的街景图片定位点编号。把panoID传入上方的链接,则会返回其附近的其他图片采样点,如此遍历循环,就能获取一条道路的所有图片。同时,每条道路上的第一个panoID与sid一致。
接下来简单阐述本专利实施例使用的具体爬虫任务流程:首先决定在一条道路寻找一个种子panoID,然后根据当前panoID点位附近的前向panoID集合,从而解决了抓取单条道路上的所有街景图片问题。接下来利用panoID之间以及panoID与sid之间的对应关系,实现各个道路网络的连接。再使用广度优先搜索思路,搜索给定区域内的所有sid道路标识号。再分别进行每条道路的panoID遍历,从而爬取区域内的所有街景图片。
具体实施时,本步骤具体流程可以分为以下步骤:
第一步:输入待爬取的矩形区域的四个顶点坐标,作为起始panoID(可将其存入配置文件或数据库);
第二步:遍历到每条道路存放的panoID数组中的最后一个元素时,解析Roads数组(道路数组)中的非当前元素,并将其对应到Links数组(映射数组)中的panoID,即可得到下一条道路的首个panoID,即为下一条道路的sid(可称之为锚节点);
Roads数组中存储的是每个panolid数组中存放的当前路段信息(包括路段名,路段编号sid以及拍摄的时间)。由于当前道路记录的最后一个panolid,势必处于道路的尽头终点,即处于多条道路的交汇处,包含着多条道路信息;因而可以筛选出其他的相交道路信息,从而进行整个路网的爬取。link数组(链接数组)则是存放一个panolid的所有后继panolid的网络地址信息,即一个panolid的所有后继panolid的网络地址链接。因此被称为链接数组。
第三步:根据前两步的方式,广度优先搜索区域内的所有的sid;具体来说,广度优先搜索可类比队列(queue)这一数据结构,整个方法的搜索过程也可以视作一个倒立的树形结构,其具体搜索步骤如下所示:
① 将搜索得出的目标根节点放到队列的末尾;
② 从目前队列数据的头部取出一个元素,查看这个元素的所有下一级元素,将搜索得到的所有元素再放到队列的末尾。并把这个元素记为它下一级元素的前继;
③ 找到所要搜索的全部目标元素,结束整个搜索过程。
第四步:将搜索到的每个sid分别建立相应文档(优选以sid为文件名的txt文档),并写入该道路中的所有panoID编号;
第五步:根据panoID发送请求命令,获取响应,遍历每条panoID,拼接每个点位的图片下载链接并进行街景图片的下载。
2)数据标注:基于空调挂机场景特点对爬取的街景图片进行预筛选,进行数据分类标注,获得预标注图片集;
在完成上述的街景图片爬取任务后,接下来将进行挂机数据集的数据标注。本专利的图片标注工具选择了著名的标注工具,labelme。使用labelme图像标注方法,框出目标物体,运行Python程序,能够便捷生成每个目标的数据集文件,以便下一步进行调用。同时在此步骤中,也对爬取的街景图片进行了筛选,筛选去除了质量较差的街景图片。
本发明相关的大部分图片中识别对象占图像面积比很小,而与其他对象识别专利中的识别对象有差别(如基于MASK-RNN进行猪只数识别专利中,猪对象占图片面积比相对较大)。因此,本发明提出对图像数据源做筛选以保证识别效果。
本步骤以labelme图片标注方法为主体,在使用Qt(PyQt)创建的可视化图形界面中进行实例分割标注,生成JSON类型的预训练文件。最后将JSON文件扩展成数据集文件夹,作为下一模块的输入数据。
图像的语义分割任务属于pixel-wise级的一种图像分类任务,语义分割任务的目的是为图像中属于同一个类别的目标实体打上相同的分类标签,以能够对图片中的所有物体进行分类操作。在实现机器对图片中的物体进行自动分类之前,需要预先告知机器各个物体样本所属的类别。因此,实施例中首先需要对一些图片样本数据进行物体类别的标注工作。实施例优选采用的标注工具为Labelme,其是由麻省理工人工智能实验室(MITCSAIL)研制出的一款开源图像标注软件。
本步骤用于处理前一步骤下载的原始街景图片文件,为其加上分类标签,为最后的模型训练进行数据的预处理工作。
由于目前没有整体完整的关于空调挂机与窗户数据的影像数据集,因此,实施例选择采用对可获得且质量较高的街景图片影像进行标注的方法构建训练数据集。数据集的来源为百度在线地图平台API,在爬取了足量的北京二环内的街景图片后,使用labelme图片标注工具进一步对街景图片数据进行窗户实体与空调挂机目标实体的标注工作,获得了可以训练的空调挂机数据集。
由于街景图片中的场景比较复杂,且不同道路选取拍摄点位与拍摄角度的限制,以及两侧建筑物距离拍摄点的距离远近大多不同,导致获取的部分街景图片中出现了目标空调外挂机实体的角度畸变严重与单个空调挂机在图片中所占的比例较小的问题。即在一张1024*1024的街景图片中,对比图片的背景特征,空调挂机在图像中所占的像素过少,所能提供的特征太少,而背景提供的特征太多,同时空调挂机实体的角度变形问题在部分街景图片中较为严重。针对以上存在的问题,经过大量实践和研究对比,实施例采用以下优选标准,在爬取的所有街景图片中,根据图片中空调挂机实体的情况进行预标注图像的严格初筛选:
1. 选取照片拍摄范围内的建筑物高度不超过10层楼,以实现现有公开数据集如谷歌、coco数据集中要求的,每个参与训练的实体目标的像素值尺寸不小于128*128的规则要求;
2. 预标注图片集选择正视空调挂机与窗户实体拍摄的街景图片且每个实体畸变变形程度小于30%,同时筛选去拍摄时俯仰角度差大于30度的街景图片;
3. 由于城市街道植被绿化与街道两端其他类型物体由于远近比例原因而导致的空调实体的部分遮盖问题在街景图片中时有发生,诸如树木、广告牌、空调外置金属固定架,以及其他实体投下的阴影的遮挡,对被以上遮盖物遮挡达总面积30%以上的空调挂机与窗户实体进行了筛除。
最终,实施例在爬取的18607张北京市二环内街景实景图片中,筛选出了533张符合要求的街景图片,其中一共包括了1502个空调挂机实体与4044个窗户实体。
在本模块中,在完成了预训练街景图片的初步筛选工作之后,接下来使用Labelme图片标注工具对目标空调外挂机与窗户实体进行标注工作。
在本步骤中,实施例启动labelme.exe,选择数据集所在的文件夹,通过open读取文件,选择create polygons(创建多边形)对想要的区域进行编辑,进行预先标注。
Labelme生成的标注文件格式为JSON格式,其主要包括了标注框的4个顶点的坐标,其可以帮助实施例快速的实现YOLOX中训练数据的读入。然而YOLOX针对标注框读入的数据格式要求是txt文件形式,同时只要求给出每个标注框的中心点横纵坐标以及标注框相对图片大小的宽度与高度。因此,再将数据输入YOLOX网络结构之前,实施例还需要进一步的将每个JSON文件进行格式转换,将其数据与文件格式转换为YOLOX能够读入的标注框数据格式与标准的txt文件格式。
以上便完成了模型训练前的准备工作,即训练数据集的物体类别标注工作。
本标注具体流程可以分为以下步骤:
①启动labelme,选择数据集所在的文件夹,通过open命令读取每个原始街景图片源文件;
②使用create polygon(创建多边形)命令,对目标区域边框进行编辑,进行目标标注工作;
③保存前一步生成的JSON文件,编码对其进行数据内容以及格式的转换扩展工作。
3)模型训练与空间化处理:训练模型实现预测,并输出每张图片中的空调外挂机与窗户实体的个数;计算空调外挂机和窗户数量间的比率,结合每个街景图片的坐标信息进行空间投影处理。
在本步骤中,主要以YOLOX作为主体网络模型,进行数据集的训练和最终结果的输出。
Yolo(You Only Look Once)是一种基于深度神经网络的对象识别和定位方法,其最大的特点是运行速度很快,可以用于实时系统。yolo方法的核心思想就是利用整张图作为网络的输入,直接在输出层回归bounding box的位置和bounding box所属的类别,即将单个卷积神经网络(CNN)应用于整个图像,将图像分成网格,并预测每个网格的类概率和边界框。相对比来看,另外一种著名的目标检测方法faster RCNN中也将整张图作为输入,但是其整体仍采用的是RCNN提取proposal+分类的思想;而yolo方法则采用直接回归的思想。
YOLOX:YOLOX是yolo (You Only Look Once)系列目标检测算法中的最新版算法。YOLOX将解耦头、数据增强、无锚点以及标签分类等目标检测领域的优秀进展与YOLO进行了巧妙的集成组合,不仅实现了超越YOLOv3、YOLOv4和YOLOv5的准确度表现,而且取得了极具竞争力的推理速度。
在YOLOX的前代YOLOv3方法中,针对coco80类的检测任务,每一个anchor会对应产生h*w*85维度的预测结果,其中cls(用于区分目标是前景背景)占用1个通道,reg(用于保存坐标信息)占用4个通道,obj(预测识别的物体类别)占用80个通道。
而YOLOX首先使用1*1卷积将原本不同channel数的特征图先统一到256维,用于特征的降维处理。接下来使用两个平行分支,两个平行分支分别使用3*3卷积,同时regression分支里还添加了IoU分支。这一全新的结构被命名为Decoupled head(预测分支解耦)。同时,这一结构极大的改善了模型的收敛速度,相比较于非解耦的端到端方式,预测分支解耦的设计能带来4.2%AP提升。
YOLOX也使用了强大的数据增强方法,添加进了Mosaic和MixUp组件,在数据的预处理上获得了极大的数据增强效果。
针对anchor的选择问题,原有的模型在使用anchor时,为了调优模型,需要对数据聚类分析,确定最优锚点,缺乏泛化性;同时anchor机制增加了检测头复杂度,增加了每幅图像预测数量。
因此,YOLOX提出使用ancho-free策略,其可以减少调整参数数量,减少涉及的使用技巧,从原有一个特征图预测3组anchor减少成只预测1组,直接预测4个值(左上角xy坐标和bounding box高宽)。减少了参数量,模型训练速度更快且表现更好。
从使用的框架来说,YOLOX的网络框架继承了前代yolo系列方法的基础,具有运行快速简洁的优势。同时YOLOX主要提出解耦Head、anchor-free和SimOTA这三大思路,对网络结构进行了优化。且YOLOX对比前代的YOLOv5网络框架,其精确度明显比前代网络得到了显著的提高,取得了极佳的表现。因此将YOLOX网络架构作为本任务的训练网络架构是十分可行的。
本专利基于YOLOX模型,结合模型迁移学习思想,以实现一定区域内空调覆盖率的自动识别目标。在步骤1完成街景图片爬取任务后,步骤2进行空调挂机与窗户数据集的数据标注。
步骤3则需要使用YOLOX网络框架进行迁移学习训练与预测,训练阶段在输入待训练的图像时,需要将上一步生成的各类数据集图像数据进行统一的格式调整处理,实施例将格式统一为:[1024, 1024, 3]。再将所有的待训练数据,即将标注完成的空调实体与窗户实体数据作为训练数据,输入YOLOX的主干网络中分别进行空调挂机实体与窗户实体模型的训练。训练结束即可使用得到的模型文件对每张街景图片进行预测,并输出每张图片中的空调外挂机与窗户实体的个数。本专利的YOLOX主干网络使用YOLOv3为baseline(基础网络)。YOLOX对Decoupled head(预测分支解耦)进行了改进,同时也对数据进行了增强等处理,最终完成训练模型与预测输出的整体流程。
现有技术中的YOLOX网络可参见相关文献。
在将数据输入YOLOX模型前,实施例中仍先需对上一步生成的预训练图像数据进行统一格式处理,将输入的图像格式统一转换为1024*1024*3(RGB)格式。
图像格式转换完成后,根据YOLOX网络架构,按照YOLOX方法执行的具体流程,
最终,计算空调覆盖率并实现其空间化处理:
基于之前的步骤,在得到YOLOX训练出的窗户模型文件与空调外挂机模型文件后,即可使用得到的窗户模型文件与空调外挂机模型文件,对通过百度街景平台爬取获得的每一张街景图片进行预测,并输出每张图片中的空调外挂机与窗户实体的个数,因而可以得出每一张街景图片中的空调外挂机与窗户数目。接下来,本专利计算出空调挂机与窗户的数目比值,用于直观展示一定地区(区域)内的空调覆盖率。
同时,获得的街景图片均从百度街景平台上下载所得,百度街景平台对每一张街景图片实行统一的命名规则,每张街景图片的名称由图片所在的路段号、拍摄点位号以及拍摄时间这三个信息进行组合命名而得。实施例在爬取的北京二环内18000张街景图片中筛选了533张街景图片用于模型训练,使用训练出的模型对所得的北京二环区域内全部街景图片进行预测。对于每一个百度街景图片,都有一个唯一的标识号码,panoID。在百度街景遍历的时候,同时也引入了sid标识编号。sid编号可以理解为每一条路的编号。一个sid编号遍历时可以遍历到此街道上的所有街景图片点,每个街景图片点的编号用panoID表示。具体实施时,采用其他类型的街景图片时也可以使用类似的处理方式。
实施例从爬取的街景图片名称中提取出路段号与拍摄点位号,再根据百度地图提供的坐标对照规则信息,进而提取出每一张街景图片的经度纬度坐标信息。
在获得了图片的坐标信息后,将每张图片中蕴含的空调外挂机数目与窗户数目比值进行了空间化处理,将其比值投影至城市空间上具体点位,因而可直观便捷的展示一定地区中的空调覆盖率。本专利将空调空间分布与热浪灾害联系起来,以空调空间分布为指标,评价部分地区对热浪的承受能力和抵御能力。这项研究为高度准确地自动评估热浪风险和热岛影响提供了重要的数据来源,同时在尽量避免占用人工资源的情况下,有力的支持政府科学地应对高温热浪灾害。可应用于各种预警灾害平台与手机APP中,针对不同地区对高温热浪灾害的受灾程度,实现高温热浪灾害来袭的便携通知与防灾预警。
具体实施时,本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程,实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备,也应当在本发明的保护范围内。
在一些可能的实施例中,提供一种基于街景图片的空调挂机空间分布自动识别系统,包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的存储指令执行如上所述的一种基于街景图片的空调挂机空间分布方法。
在一些可能的实施例中,提供一种基于街景图片的空调挂机空间分布自动识别系统,包括可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序执行时,实现如上所述的一种基于街景图片的空调挂机空间分布方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于街景图片的空调挂机空间分布自动识别方法,其特征在于:以网络平台提供的街景图片为数据源实现空调挂机空间分布识别,实现过程包括以下步骤,
步骤1,通过爬虫抓取街景图片,为后续图像分析提供源数据;
步骤2,基于空调挂机场景特点对爬取的街景图片进行预筛选,进行窗户实体与空调挂机目标实体的标注,获得预标注图片集;
步骤3,将标注完成的空调实体与窗户实体数据作为训练数据,输入YOLOX网络中分别进行空调挂机实体模型训练和窗户实体模型训练,训练完成后对每张街景图片分别利用所得空调挂机实体模型和窗户实体模型进行预测,并输出每张图片中的空调外挂机与窗户实体的个数;计算空调外挂机和窗户数量间的比率,结合每个街景图片的坐标信息进行空间投影,输出地区相应的空调覆盖率。
2.根据权利要求1所述基于街景图片的空调挂机空间分布自动识别方法,其特征在于:基于街景图片的唯一的标识号码panoID和路的编号sid,实现爬虫抓取街景图片。
3.根据权利要求2所述基于街景图片的空调挂机空间分布自动识别方法,其特征在于:所述爬虫抓取街景图片的实现过程如下,
第一步,输入待爬取的矩形区域的四个顶点坐标,作为起始panoID;
第二步,遍历到每条道路存放的panoID数组中的最后一个元素时,解析Roads数组中的非当前元素,并对应到Links数组中的panoID,得到下一条道路的首个panoID,并作为下一条道路的sid;所述Roads数组为道路数组,所述Links数组为映射数组;
第三步,根据前两步的方式,广度优先搜索区域内的所有的sid;
第四步,将搜索到的每个sid分别建立相应文档,并写入该道路中的所有panoID编号;
第五步,根据panoID发送请求命令,获取响应,遍历每条panoID,拼接每个点位的图片下载链接并进行街景图片的下载。
4.根据权利要求1所述基于街景图片的空调挂机空间分布自动识别方法,其特征在于:所述基于空调挂机场景特点对爬取的街景图片进行预筛选的实现过程如下,
选取照片拍摄范围内的建筑物高度不超过10层楼;
选择正视空调挂机与窗户实体拍摄的街景图片且每个实体畸变变形程度小于30%,同时筛选去拍摄时俯仰角度差大于30度的街景图片;
对被遮盖物遮挡达总面积30%以上的空调挂机与窗户实体进行筛除。
5.根据权利要求1或2或3或4所述基于街景图片的空调挂机空间分布自动识别方法,其特征在于:所述街景图片采用百度街景图片。
6.一种基于街景图片的空调挂机空间分布自动识别系统,其特征在于:用于实现如权利要求1-5任一项所述的一种基于街景图片的空调挂机空间分布自动识别方法。
7.根据权利要求6所述基于街景图片的空调挂机空间分布自动识别系统,其特征在于:包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的存储指令执行如权利要求1-5任一项所述的一种基于街景图片的空调挂机空间分布自动识别方法。
8.根据权利要求6所述基于街景图片的空调挂机空间分布自动识别系统,其特征在于:包括可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序执行时,实现如权利要求1-5任一项所述的一种基于街景图片的空调挂机空间分布自动识别方法。
CN202210115996.5A 2022-02-07 2022-02-07 基于街景图片的空调挂机空间分布自动识别方法及系统 Pending CN114241325A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210115996.5A CN114241325A (zh) 2022-02-07 2022-02-07 基于街景图片的空调挂机空间分布自动识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210115996.5A CN114241325A (zh) 2022-02-07 2022-02-07 基于街景图片的空调挂机空间分布自动识别方法及系统

Publications (1)

Publication Number Publication Date
CN114241325A true CN114241325A (zh) 2022-03-25

Family

ID=80747469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210115996.5A Pending CN114241325A (zh) 2022-02-07 2022-02-07 基于街景图片的空调挂机空间分布自动识别方法及系统

Country Status (1)

Country Link
CN (1) CN114241325A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677604A (zh) * 2022-04-20 2022-06-28 电子科技大学 一种基于机器视觉的窗户状态检测方法
CN115359346A (zh) * 2022-10-19 2022-11-18 北京市城市规划设计研究院 基于街景图片的小微空间识别方法、装置及电子设备
CN115631402A (zh) * 2022-12-22 2023-01-20 联通(四川)产业互联网有限公司 一种适用于智慧养殖的ai算法服务平台构建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033516A (zh) * 2021-05-25 2021-06-25 中国科学院地理科学与资源研究所 对象识别统计方法及装置、电子设备、存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033516A (zh) * 2021-05-25 2021-06-25 中国科学院地理科学与资源研究所 对象识别统计方法及装置、电子设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FEI YANG等: "Deep Learning-Based Method for Detection of External Air Conditioner Units from Street View Images", 《REMOTE SENSING》, vol. 13, 15 September 2021 (2021-09-15), pages 1 - 2 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677604A (zh) * 2022-04-20 2022-06-28 电子科技大学 一种基于机器视觉的窗户状态检测方法
CN114677604B (zh) * 2022-04-20 2023-04-07 电子科技大学 一种基于机器视觉的窗户状态检测方法
CN115359346A (zh) * 2022-10-19 2022-11-18 北京市城市规划设计研究院 基于街景图片的小微空间识别方法、装置及电子设备
CN115359346B (zh) * 2022-10-19 2023-03-07 北京市城市规划设计研究院 基于街景图片的小微空间识别方法、装置及电子设备
CN115631402A (zh) * 2022-12-22 2023-01-20 联通(四川)产业互联网有限公司 一种适用于智慧养殖的ai算法服务平台构建方法
CN115631402B (zh) * 2022-12-22 2023-05-23 联通(四川)产业互联网有限公司 一种适用于智慧养殖的ai算法服务平台构建方法

Similar Documents

Publication Publication Date Title
CN114241325A (zh) 基于街景图片的空调挂机空间分布自动识别方法及系统
CN111325788B (zh) 一种基于街景图片的建筑物高度确定方法
CN113033516A (zh) 对象识别统计方法及装置、电子设备、存储介质
CN115409069A (zh) 村镇建筑的识别方法、分类方法、装置、电子设备和介质
CN107392252A (zh) 计算机深度学习图像特征并量化感知度的方法
CN109840559A (zh) 图像筛选方法、装置以及电子设备
CN112668375B (zh) 景区内游客分布分析系统及方法
CN110659546A (zh) 一种违法摊位检测方法及装置
CN113744226A (zh) 一种农业害虫智能识别与定位方法及系统
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
KR102388777B1 (ko) 360도 vr 카메라를 이용한 연도변 조사 서비스 제공 시스템
CN114399692A (zh) 基于深度学习的违建识别监控检测方法及系统
CN114187532A (zh) 一种遥感影像时空样本生成与智能迭代分类方法及系统
CN114036603A (zh) 一种用于公路运维期的三维bim模型优化方法
CN116822798B (zh) 一种用于城乡风貌特色塑造的区域地方性度量方法
CN117131441A (zh) 夜间光污染监测方法、装置、计算机设备和存储介质
Wang et al. Instance segmentation of soft‐story buildings from street‐view images with semiautomatic annotation
WO2023116359A1 (zh) 绿色、蓝色和灰色基础设施分类方法、装置、系统与介质
CN115984603A (zh) 基于gf-2与开放地图数据的城市绿地精细化分类方法与系统
Sun et al. Automatic building age prediction from street view images
CN114580975A (zh) 街区活力获得方法及系统及装置及介质
CN113971348A (zh) 一种基于综合能源系统的源端功率短期预测方法
CN114529721A (zh) 一种基于深度学习的城市遥感影像植被覆盖识别方法
Liu et al. High-precision automatic detection method of illegal construction object images in complex scenes
Tarkhan et al. Capturing façade diversity in urban settings using an automated window to wall ratio extraction and detection workflow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220325

RJ01 Rejection of invention patent application after publication