CN111461250A - 一种街景模型生成方法、装置、系统及存储介质 - Google Patents

一种街景模型生成方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN111461250A
CN111461250A CN202010275032.8A CN202010275032A CN111461250A CN 111461250 A CN111461250 A CN 111461250A CN 202010275032 A CN202010275032 A CN 202010275032A CN 111461250 A CN111461250 A CN 111461250A
Authority
CN
China
Prior art keywords
street view
image data
city
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010275032.8A
Other languages
English (en)
Inventor
姜男
熊鑫
刘浏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Chengshi Information Technology Co ltd
Original Assignee
Shanghai Chengshi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Chengshi Information Technology Co ltd filed Critical Shanghai Chengshi Information Technology Co ltd
Priority to CN202010275032.8A priority Critical patent/CN111461250A/zh
Publication of CN111461250A publication Critical patent/CN111461250A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种街景模型生成方法、装置、系统及存储介质，主要涉及计算机信息技术领域。包括获取采集的图像数据，所述图像数据是带有坐标信息的城市街景图像数据；对图像数据进行训练并提取特征，生成图像模型；获取城市信息，根据城市信息与图像模型进行匹配，生成街景图片。本发明的有益效果在于：它能够获得代表性的街景模型。

Description

一种街景模型生成方法、装置、系统及存储介质
技术领域
本发明涉及计算机信息技术领域，具体是一种街景模型生成方法、装置、系统及存储介质。
背景技术
图像识别、物体检测、图像生成是计算机视觉领域重要的研究问题，在人脸识别、安全监控以及动态追踪等很多方面都有广泛的应用前景。图像识别是指利用计算机对图像进行处理、分析和理解，一事被各种不同模式的目标和对像的技术。物体检测是指对于任意一帧或者连续帧图像，检测和识别其中特定的目标，并返回目标的位置、大小信息、例如输出包围目标的边界框。图像生成是指计算机对图像进行处理和理解，进行模仿和生成新图像的技术。目前，深度学习已经被广泛的应用于图像分类、物体检测等方面，但是图像生成技术却发展缓慢，目前大部分只停留在单一物体或者场景进行生成，无法生成良好的复杂语义环境下的图像例如街景图片等。同时神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如物体检测、图片生成等等，因此技术会出现以下缺陷：(1)在街景生成方面并无应用的先例。(2)需要手机巨大的真实的街景数据来进行训练，这些图片必须具有当地特色例如建筑风貌等代表性。(3)深度学习计算复杂度较高，对其在实时性较高的场景中产生了限制。
发明内容
本发明的目的在于提供一种街景模型生成方法、装置、系统及存储介质，它能够获得代表性的街景模型。
本发明为实现上述目的，通过以下技术方案实现：
一种街景模型生成方法，包括：
获取采集的图像数据，所述图像数据是带有坐标信息的城市街景图像数据；
对图像数据进行训练并提取特征，生成图像模型；
获取城市信息，根据城市信息与图像模型进行匹配，生成街景图片。
进一步的，所述城市信息包括城市名称。
进一步的，所述采集的图像数据为对城市街景随机采集10000张带有坐标信息的图像数据，进行标签化，并且将数据数进行删选，得到5000张具有地方特色的街景图像数据。
进一步的，所述对图像数据进行训练并提取特征，包括使用DenseNet在Pytorch的深度学习框架下训练，所生成的模型使用模型服务技术布局在阿里云服务器上进行流水生成，每张图像生成在1s左右。
作为本发明的另一个方面，提供了一种街景模型生成装置，包括：
获取单元，配置用于获取采集的采集图像数据，所述图像数据是带有坐标信息的城市街景图像数据；
训练单元，配置用于对图像数据进行训练并提取特征，生成图像模型；
确认单元，配置用于获取城市信息，根据城市信息与图像模型进行匹配，生成街景图片。
作为本发明的另一个方面，提供了一种街景模型生成系统，包括上述的一种街景模型生成装置、输入单元和显示单元；
所述输入单元配置用于向获取单元输入图像数据；
所述显示单元配置用于输入城市信息，并对应该城市信息将由确认单元生成的街景图片结果显示到前端。
作为本发明的另一个方面，提供了一种计算机可读的存储介质，其中存储有代码，所述代码经运行以通过计算设备执行上述的方法。
对比现有技术，本发明的有益效果在于：
街景图像生成在深度学习尚未实现之前是通过传统的传播算子方法(PM)来对图像进行降噪和特征提取等处理，速度较慢并且对于街景等复杂语义场景效果较差。其次街景数据量和信息较大，用传统的方法会导致测试集的包容度不够。
本申请的方法是业界首次将深度学习框架用在街景生成上，通过在DenseNet中输入大批量训练样本来训练模型。将用在城市规划行业中，将各城市的风貌特征很好地展示给研究院进行分析等。
附图说明
附图1是本发明实施例1中步骤一的图像信息示例图。
附图2是本发明实施例1中步骤二的原理图。
附图3是本发明实施例1中步骤三的结果显示图例。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。
下述实施例中所涉及的仪器、试剂、材料等，若无特别说明，均为现有技术中已有的常规仪器、试剂、材料等，可通过正规商业途径获得。下述实施例中所涉及的实验方法，检测方法等，若无特别说明，均为现有技术中已有的常规实验方法，检测方法等。
实施例1：一种街景模型生成方法
步骤一：海量的街景图片(带坐标)的轨迹数据收集
我们经过采集部分城市的街景数据，每个城市随机采集10000张带有坐标信息的图像数据，进行标签化，并且将数据数进行删选5000张具有地方特色的街景数据。
步骤二：利用处理好的数据进行训练并提取特征进行生成图片
经过处理后，图片数据可直接进入卷积神经网络进行训练。在卷积神经网络方面，我们使用了当下比较前沿的DenseNet。DenseNet是一种具有密集连接的卷积神经网络。在该网络中，任何两层之间都具有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，二该层所学习的特征图也会被直接传给其后面所有层作为输入。该网络比传统的PM算法，可以提取更复杂语义特征，并且改善了网络中信息和梯度的传递，这就让网络容易取得较好的效果。并采用对抗生成的策略，自行判别生成的图像的真假程度，利用高性能图形处理单元(GPU)使用DenseNet在Pytorch的深度学习框架下训练。在进行四万多次训练，将其使用模型服务技术布局在阿里云服务器上进行流水生成，每张图像生成在1s左右。
步骤三：在网页上实现简单的可视化，生成风貌图像
首先，用户可以在前端输入城市名称信息。后台收到请求的信息经过若干步骤进行计算，将得到的结果绘画成图片，然后将结果图片返回到前端进行显示。

Claims (10)

1.一种街景模型生成方法，其特征在于，包括：
获取采集的图像数据，所述图像数据是带有坐标信息的城市街景图像数据；
对图像数据进行训练并提取特征，生成图像模型；
获取城市信息，根据城市信息与图像模型进行匹配，生成街景图片。
2.根据权利要求1所述的一种街景模型生成方法，其特征在于，所述城市信息包括城市名称。
3.根据权利要求1所述的一种街景模型生成方法，其特征在于，所述采集的图像数据为对城市街景随机采集10000张带有坐标信息的图像数据，进行标签化，并且将数据数进行删选，得到5000张具有地方特色的街景图像数据。
4.根据权利要求1所述的一种街景模型生成方法，其特征在于，所述对图像数据进行训练并提取特征，包括使用DenseNet在Pytorch的深度学习框架下训练，所生成的模型使用模型服务技术布局在阿里云服务器上进行流水生成，每张图像生成在1s左右。
5.一种街景模型生成装置，其特征在于，包括：
获取单元，配置用于获取采集的采集图像数据，所述图像数据是带有坐标信息的城市街景图像数据；
训练单元，配置用于对图像数据进行训练并提取特征，生成图像模型；
确认单元，配置用于获取城市信息，根据城市信息与图像模型进行匹配，生成街景图片。
6.根据权利要求5所述的一种街景模型生成装置，其特征在于，所述城市信息包括城市名称。
7.根据权利要求5所述的一种街景模型生成装置，其特征在于，所述对图像数据进行训练并提取特征，包括使用DenseNet在Pytorch的深度学习框架下训练，所生成的模型使用模型服务技术布局在阿里云服务器上进行流水生成，每张图像生成在1s左右。
8.根据权利要求5所述的一种街景模型生成装置，其特征在于，所述采集的图像数据为对城市街景随机采集10000张带有坐标信息的图像数据，进行标签化，并且将数据数进行删选，得到5000张具有地方特色的街景图像数据。
9.一种街景模型生成系统，其特征在于，包括权利要求5-8任一项所述的一种街景模型生成装置、输入单元和显示单元；
所述输入单元配置用于向获取单元输入图像数据；
所述显示单元配置用于输入城市信息，并对应该城市信息将由确认单元生成的街景图片结果显示到前端。
10.一种计算机可读的存储介质，其中存储有代码，其特征在于，所述代码经运行以通过计算设备执行如权利要求1-4任一所定义的方法。
CN202010275032.8A 2020-04-09 2020-04-09 一种街景模型生成方法、装置、系统及存储介质 Pending CN111461250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010275032.8A CN111461250A (zh) 2020-04-09 2020-04-09 一种街景模型生成方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010275032.8A CN111461250A (zh) 2020-04-09 2020-04-09 一种街景模型生成方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN111461250A true CN111461250A (zh) 2020-07-28

Family

ID=71681028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010275032.8A Pending CN111461250A (zh) 2020-04-09 2020-04-09 一种街景模型生成方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111461250A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199944A (zh) * 2014-09-10 2014-12-10 重庆邮电大学 一种实现街景视图展示的方法及装置
CN108446310A (zh) * 2018-02-05 2018-08-24 优视科技有限公司 虚拟街景地图生成方法、装置和客户端设备
CN108932534A (zh) * 2018-07-15 2018-12-04 瞿文政 一种基于深度卷积生成对抗网络的图片生成方法
CN110634170A (zh) * 2019-08-30 2019-12-31 福建帝视信息科技有限公司 一种基于语义内容和快速图像检索的照片级图像生成方法
CN110648389A (zh) * 2019-08-22 2020-01-03 广东工业大学 基于无人机和边缘车辆协同的城市街景3d重建方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199944A (zh) * 2014-09-10 2014-12-10 重庆邮电大学 一种实现街景视图展示的方法及装置
CN108446310A (zh) * 2018-02-05 2018-08-24 优视科技有限公司 虚拟街景地图生成方法、装置和客户端设备
CN108932534A (zh) * 2018-07-15 2018-12-04 瞿文政 一种基于深度卷积生成对抗网络的图片生成方法
CN110648389A (zh) * 2019-08-22 2020-01-03 广东工业大学 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
CN110634170A (zh) * 2019-08-30 2019-12-31 福建帝视信息科技有限公司 一种基于语义内容和快速图像检索的照片级图像生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GAO HUANG等: "Densely Connected Convolutional Networks", 《ARXIV》 *
王晓宇等: "基于密集连接生成对抗网络的图像颜色迁移", 《液晶与显示》 *

Similar Documents

Publication Publication Date Title
CN108537269B (zh) 一种弱交互式的物体检测深度学习方法及其系统
Zhu et al. Concrete column recognition in images and videos
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
CN117593304B (zh) 基于交叉局部全局特征的半监督工业品表面缺陷检测方法
WO2022007451A1 (zh) 目标检测方法、装置、计算机可读介质及电子设备
CN112163447B (zh) 基于Attention和SqueezeNet的多任务实时手势检测和识别方法
CN107024989A (zh) 一种基于Leap Motion手势识别的沙画制作方法
CN109272543B (zh) 用于生成模型的方法和装置
CN109558792B (zh) 一种基于样本和特征检测互联网徽标内容的方法和系统
CN110133443B (zh) 基于平行视觉的输电线路部件检测方法、系统、装置
CN112257665A (zh) 图像内容的识别方法、图像识别模型的训练方法及介质
CN117274388B (zh) 基于视觉文本关系对齐的无监督三维视觉定位方法及系统
CN114333070A (zh) 一种基于深度学习的考生异常行为检测方法
CN114693908B (zh) 一种基于YOLOv5的工业二维码定位方法
CN116721104B (zh) 实景三维模型缺陷检测方法、装置、电子设备及存储介质
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN112907734B (zh) 基于虚拟crh380a模型和深度学习的teds故障检测方法
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
CN114494773A (zh) 一种基于深度学习的零件分拣识别系统和方法
Dong et al. Intelligent pixel-level pavement marking detection using 2D laser pavement images
CN114329050A (zh) 视觉媒体数据去重处理方法、装置、设备和存储介质
CN116978125A (zh) 一种吸烟检测方法、装置、电子设备及介质
Ragusa et al. Semantic object segmentation in cultural sites using real and synthetic data
CN116524772A (zh) 一种基于互联网的传统文化教育系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200728

RJ01 Rejection of invention patent application after publication