CN111527467A - 使用机器学习、图像分析和/或计算机视觉自动限定计算机辅助设计文件的方法和装置 - Google Patents
使用机器学习、图像分析和/或计算机视觉自动限定计算机辅助设计文件的方法和装置 Download PDFInfo
- Publication number
- CN111527467A CN111527467A CN201880084881.6A CN201880084881A CN111527467A CN 111527467 A CN111527467 A CN 111527467A CN 201880084881 A CN201880084881 A CN 201880084881A CN 111527467 A CN111527467 A CN 111527467A
- Authority
- CN
- China
- Prior art keywords
- point
- points
- data
- shape
- shapes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 82
- 238000011960 computer-aided design Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims description 91
- 238000010191 image analysis Methods 0.000 title description 8
- 230000015654 memory Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000003066 decision tree Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000007637 random forest analysis Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 158
- 230000008569 process Effects 0.000 description 37
- 239000013598 vector Substances 0.000 description 23
- 230000011218 segmentation Effects 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Astronomy & Astrophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Radar, Positioning & Navigation (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Pure & Applied Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- Architecture (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Electrically Operated Instructional Devices (AREA)
- Image Generation (AREA)
Abstract
一种非暂态处理器可读介质包括使得处理器接收具有以图案布置的多个点的空中数据的代码。提供与每个点相关联的指示作为机器学习模型的输入,以将每个点分类到来自多个类别中的类别中。对于每个点,识别(1)与该点相邻并且(2)具有共同的类别的点的集合,以限定来自多个形状中的形状。每个形状的折线界线通过相对于标准分析与该形状的边界相关联的每个点相对于至少一个其它点的位置来限定。限定针对每个类别的层,该层包括与该类别相关联的每个形状,并使用每个形状的折线界线和针对每个类别的层来生成计算机辅助设计文件。
Description
相关申请的交叉引用
本申请要求于2017年11月2日提交的标题为“System and Method forConverting Segmented Aerial Images Automatically into Construction Site Plansand Architecture Drawings and Models with Building and Street Information”的美国临时专利申请序列No.62/580,933的优先权和权益,该申请的公开内容通过引用以其整体并入本文。
背景技术
本文描述的实施例和方法一般而言涉及限定和/或创建计算机辅助设计文件,并且更具体地涉及使用机器学习、图像分析和/或计算机视觉来自动限定计算机辅助设计文件。
现代提高电子设备能力导致传统上由人类执行的许多任务至少部分地由机器执行。例如,使用计算机辅助设计(CAD),可以使用计算机来创建、绘制和/或分析模型、设计和/或绘图。更具体地,CAD软件可以被用于产生二维(2D)或三维(3D)模型,这些模型可以包括和/或呈现任何合适的信息,诸如模型的特定视图、度量单位和/或比例尺、公差、材料特性、制造和/或构造惯例和/或指令、机器指令(诸如计算机数控(CNC)指令或代码(例如,g-代码))和/或任何其它合适的信息。在许多情况下,计算机辅助设计(CAD)已代替架构图、工程图、蓝图和/或传统上由人类(例如,使用笔和纸)执行的其它技术文件的手动制图。
在一些情况下,CAD可以被用于对地产(property)、地块和/或感兴趣的场所(site)的一个或多个特征进行建模。模型可以包括与地质特征、地形和/或建筑物、道路和/或土地上的其它人造结构相关联的信息。在一些已知的情况下,可以对土地的至少一部分进行详细测量,并将详细测量用作CAD程序的输入来产生土地的至少一部分的2D或3D模型(例如,场所平面图、场所勘测等)。同样,建筑师、工程师、建筑工人、承包商等可以类似地创建和/或限定在土地上建造的结构或尚未实际建造的未来的结构的2D和/或3D CAD模型和/或图。与由人类使用例如笔和纸进行的制图和/或绘制相比,虽然创建和/或限定这样的模型和/或设计已经导致效率提高,但是创建和/或限定这些模型和/或绘图的一些已知的过程仍然是耗时、劳动密集和/或昂贵的。另外,一些这样的过程可能使用相对大量的计算资源来生成2D和/或3D CAD模型,以及使用相对大量的计算资源来查看和/或以其它方式使用CAD程序中生成的2D和/或3D CAD模型。
因此,存在对使用机器学习、图像分析和/或计算机视觉来自动限定计算机辅助设计文件的需要。
发明内容
本文描述了用于使用机器学习、图像分析和/或计算机视觉来自动限定计算机辅助设计文件的方法和装置。在一些实施例中,非暂态处理器可读介质包括使得处理器接收具有以图案布置的多个数据点的空中(aerial)数据的代码。处理器提供与每个点相关联的指示作为机器学习模型的输入,以将每个点分类为来自多个类别中的类别。对于每个点,使得处理器识别在图案中与该点相邻并且具有与该点共同的类别的点的集合,以限定来自多个形状中的形状。处理器通过关于标准分析与每个形状的边界(border)相关联的每个点相对于与该形状的边界相关联的至少一个其它点的位置来限定该形状的折线(polyline)界线(boundary)。处理器限定针对每个类别的层,该层包括与该类别相关联的每个形状。处理器使用每个形状的折线界线和针对每个类别的层来生成计算机辅助设计文件。
附图说明
图1是根据实施例的用于使用机器学习来自动创建和/或限定计算机辅助设计文件的系统的示意图。
图2是图1的系统中包括的主机设备的示意图。
图3是图示使用图1的系统来自动创建和/或限定计算机辅助设计文件的过程的系统框图。
图4是图1的系统可以用来自动创建和/或限定计算机辅助设计文件的空中图像的示例。
图5是图1的系统可以用来自动创建和/或限定计算机辅助设计文件的正马赛克(orthomosaic)图像的示例。
图6是根据实施例的U-Net的示意图。
图7和图8分别是例如由图1的系统创建和/或限定的2D计算机辅助设计文件的示例。
图9是例如由图1的系统创建和/或限定的3D计算机辅助设计文件的示例。
图10是图1的系统可以用来自动创建和/或限定计算机辅助设计文件的点云图像的示例。
图11是图示根据实施例的用于使用机器学习来自动创建和/或限定计算机辅助设计文件的方法的流程图。
具体实施方式
本文描述的实施例和/或方法一般而言涉及计算机辅助设计(CAD)文件的创建和/或生成,该计算机辅助设计(CAD)文件提供和/或能够提供地产或其它感兴趣的场所的一个或多个模型和/或绘图。CAD文件是从地产或感兴趣的场所捕获和/或取得的图像数据自动生成的。CAD文件中包含的模型和/或绘图可以是一个或多个场所平面图、场所勘测、建筑图或建筑物模型等的(一个或多个)准确的二维(2D)或三维(3D)数字表示。相应地,CAD文件中的模型和/或绘图可以提供与土地的地质和/或地形相关联的信息和/或与建筑物、道路、人行道、排水系统、管道系统、电网和/或其它安排在地产和/或感兴趣的场所上或中的人造结构相关联的信息。
在一些情况下,出于多种原因,可能期望的是具有以经由本文描述的系统和/或方法生成的一个或多个CAD文件的格式而不是感兴趣的场所的一个或多个图像(例如,照片)的格式的与感兴趣的场所相关联的数据(被表示为一个或多个2D或3D模型)。一些此类原因的非详尽列表可以例如包括:相对于与图像中的(一个或多个)对应对象相关联的数据的数量和/或质量,与CAD模型中的(一个或多个)对象相关联的数据的数量更大和/或质量更高;相对于访问与图像中的(一个或多个)对应对象相关联的数据的便利性,访问与CAD模型中的(一个或多个)对象相关联的数据的便利性更高;移动、更改、修订、更新和/或以其它方式修改CAD模型中的(一个或多个)对象的能力,这在对应的图像中不容易被执行;等等。另外,当计算设备在计算设备的显示器上呈现感兴趣的场所的图像时,感兴趣的场所的图像可能是使用相对大量的计算资源的相对大的文件。在一些情况下,相对于对应图像,经由本文描述的系统和/或方法生成的CAD文件可以呈现更大数量和/或更高质量的数据,同时CAD文件的尺寸可以更小(例如,被压缩),以及/或者所使用的计算资源的量可以小于对应图像的所使用的计算资源量(例如,执行CAD程序和CAD文件的计算设备可以更高效地和/或以更高的性能操作)。另外,与人类将感兴趣的场所的图像转换(例如,追踪)成CAD文件中包含的感兴趣的场所的对应的2D和/或3D模型的已知方法相比,经由本文描述的系统和/或方法生成的CAD文件可以更准确和/或更不易于发生人为误差。
在一些情况下,主机设备可以被配置为至少部分地基于从空中数据提供者接收到的空中数据(例如,图像、绘图、扫描、点云等)创建和/或限定一个或多个CAD文件。空中数据提供者可以是能够捕获空中数据的任何合适的设备和/或被配置为存储空中数据的任何合适的设备、数据库和/或储存库。在接收到空中数据之后,主机设备可以分析空中数据、可以识别由数据的至少一部分表示的一个或多个形状并对该一个或多个形状进行归类,并且可以生成对该一个或多个形状进行建模、绘制和/或描绘的CAD文件。在一些情况下,对该一个或多个形状的识别和/或归类可以由一个或多个机器学习模型执行,并且/或者可以是一个或多个机器学习模型的输出。另外,出于训练的目的,例如,为了提高对该一个或多个形状的识别和归类的准确度和/或效率,空中数据和/或分析空中数据的结果可以被提供为机器学习模型的输入。相应地,本文描述的实施例和/或方法可以被用于使用机器学习、图像分析和/或计算机视觉来自动限定CAD文件,如本文进一步详细描述的。
如本文进一步详细描述,主机设备可以被配置为根据一个或多个预定和/或期望的规则和/或方法来处理空中数据。在一些情况下,主机设备可以被配置为执行与分割图像(例如,照片或摄影测量数据)相关联的过程、规则和/或指令的集合,以识别该图像中包含的一个或多个形状(例如,经由机器学习)。然后,主机设备可以执行与将识别出的形状分类为一个或多个类别相关联的过程、规则和/或指令的集合,该一个或多个类别对应于要在CAD文件中包含和/或限定的一个或多个期望的层。主机设备然后可以执行与将图像中的每个形状的边界(例如,以第一格式)转换成该形状的折线界线(例如,以第二格式)相关联的过程、规则和/或指令的集合。在一些情况下,主机设备可以被配置为根据一个或多个阈值、标准和/或规则来分析折线界线以生成平滑的、简化的和/或经滤波的折线界线。然后,主机设备可以生成CAD文件,该CAD文件包括与原始图像中所示的形状(例如,以第一格式的形状)对应的具有平滑的和/或简化的折线界线的形状(例如,以第二格式的形状)。
在一些实施例中,一种非暂态处理器可读介质包括使得处理器接收具有以图案布置的多个点的空中数据的代码。处理器提供与每个点相关联的指示作为机器学习模型的输入,以将每个点分类为来自多个类别中的类别。对于每个点,使得处理器识别在图案中与该点相邻并且具有与该点共同的类别的点的集合,以限定来自多个形状中的形状。处理器通过关于标准分析与每个形状的边界相关联的每个点相对于与该形状的边界相关联的至少一个其它点的位置来限定该形状的折线界线。处理器限定针对每个类别的层,其包括与该类别相关联的每个形状。处理器使用每个形状的折线界线和针对每个类别的层来生成计算机辅助设计文件。
在一些实施例中,一种装置包括存储器和可操作地耦合到该存储器的处理器。处理器被配置为接收具有以图案布置的多个点的空中数据。处理器被配置为提供与每个点相关联的指示作为机器学习模型的输入,以将每个点分类到来自多个类别中的类别的集合中。处理器被配置为基于预先限定的类别层级来选择针对每个点的类别。对于每个点,处理器被配置为识别(1)在图案中与该点相邻并且(2)具有共同的类别的点集合,以限定来自多个形状中的形状。处理器被配置为使用来自多个形状中的每个形状来生成计算机辅助设计文件。
在一些实施例中,一种方法包括使用具有第一形状集合的第一空中数据集在第一时间训练机器学习模型。每个形状(1)利用来自多个类别中的类别进行标记,并且(2)包括完全包含该形状并且与其余形状的折线界线不同的折线界线。在第一时间之后的第二时间,接收具有以图案布置的多个点的第二空中数据集。与每个点相关联的指示作为机器学习模型的输入,以将每个点分类到类别中。对于每个点,识别(1)在图案中与该点相邻并且(2)具有共同的类别的点的集合,以限定来自第二形状集合中的形状。通过关于标准分析与每个形状的边界相关联的每个点相对于与该形状的边界相关联的至少一个其他点的位置来限定来自第二形状集合中的该形状的折线界线。使用来自第二形状集合中的每个形状的折线界线来限定计算机辅助设计文件。
在一些实施例中,非暂态处理器可读介质包括使得处理器接收具有以图案布置的多个点的空中数据的代码。处理器对空中数据进行滤波,以限定来自多个点中的点的集合。对于来自该点的集合中的每个点,处理器识别在图案中与该点相邻的点的分组,以限定来自多个聚类中的聚类。处理器基于在每个聚类中的多个点中的至少一个点或每个聚类中的每个点满足高程(elevation)标准来限定聚类的集合。处理器至少部分地基于至少一个聚类满足规则性标准来限定由来自聚类的集合中的至少一个聚类形成的形状的集合中的形状。处理器通过关于标准分析与每个形状的边界相关联的每个点相对于与该形状的边界相关联的至少一个其它点的位置来生成该形状的折线界线,并且使用每个聚类的折线界线来生成计算机辅助设计文件。
如本说明书中所使用的,单数形式的“一”、“一个”和“该”包括复数指示物,除非上下文以其他方式明确指示。因此,例如,术语“图像”旨在意味着单个图像或图像的组合,“模型”旨在意味着一个或多个模型或其组合。
本文描述的实施例被配置为处理一个或多个图像和/或数据点的一个或多个集合,以生成与一个或多个图像和/或数据点的一个或多个集合相关联和/或对一个或多个图像和/或数据点的一个或多个集合进行建模的计算机辅助设计(CAD)文件。一般而言,数字图像可以在计算设备的存储器中存储为或者光栅图像或者向量图像。对于两种类型的图像,以具体图案布置数据点的集合,以限定和/或创建图像。对于光栅图像,每个数据点被表示为像素,通常为其分配指示例如该像素在红色、绿色、蓝色(RGB)颜色系统中的颜色和/或与该像素相关联和/或嵌入在该像素中的任何其它合适的数据的值或值的集合。在一些情况下,每个数据点还可以包括该点相对于期望参考(例如,参考坐标系、绝对坐标系、地球表面和/或任何其它合适的参考)的地点数据,如本文进一步详细描述的。对于向量图像,每个数据点在已知坐标系中具有限定的位置,并确定连接两个或更多个数据点的路径(例如,折线、弯曲折线、Bézier曲线等)的方向。换句话说,向量图像是使得处理器以已知或期望的方式在两个或更多个数据点之间绘制一条或多条线的指令的图形表示。
如本文所使用的,短语“感兴趣的场所”通常是指任何合适的地产、改良或未改良的地块、建筑场所或计划的建筑场所,和/或感兴趣的一方对其感兴趣的地球表面的任何其它部分。
如本文所使用的,术语“空中数据”通常是指与感兴趣的场所相关联并且从相对于该感兴趣的场所的空中视点的视角捕获、扫描、记录、收集和/或取得的任何合适的数据。在一些情况下,空中数据可以包括感兴趣的场所(或其一部分)的任何合适数量的空中图像(例如,照片)。在多个空中图像的情况下,感兴趣的场所的空中图像可以具有例如相对大量的覆盖和/或重叠,并且可以各自从基本相同的海拔(altitude)取得。
在一些情况下,“空中数据”可以是来自一个或多个正马赛克图像的数据和/或包括在一个或多个正马赛克图像中的数据。正马赛克图像可以是例如已被几何改正(被称为“正射校正”)以准确表示空中图像中示出的地球表面的一个或多个空中图像(例如,感兴趣的场所的至少一部分的照片)。另外,可以对正马赛克图像进行地理参考(georeference),使得图像包含坐标和/或坐标系,以允许正马赛克图像表示图像在地球表面上的真实地点(例如,在预定的公差内)。在一些情况下,可以将经地理参考的正马赛克图像转换成和/或保存为“geotiff”(一种开源标准,其允许将与地理参考过程相关联的坐标变换产生的数据嵌入TIFF文件内)。虽然上面描述了产生正马赛克图像和/或经地理参考的图像的方法和/或过程的具体示例,但是应该理解的是该方法和/或过程仅作为示例而不是限制给出。因此,应该理解的是地理参考图像的其它方法、格式和/或标准也是可能的。
在一些情况下,“空中数据”可以是来自点云(例如,空间中的数据点的集合)的数据和/或包括在点云中的数据。例如,在一些情况下,可以使用任何合适的摄影测量过程和/或技术来捕获和/或获得感兴趣的场所的图像(例如,通常从空中位置取得),然后可以对感兴趣的场所的图像进行分析以生成可以对例如感兴趣的场所的地形进行建模的数据点的集合(例如,点云)。如上面参考正马赛克图像所描述的,可以对点云中的每个点(例如,通过摄影测量生成的所得到的数据点)进行地理参考,从而允许点云表示该点云在地球表面上的真实地点(在预定的公差内)。除了进行地理参考之外,点云中的每个点还可以包括指示该点的高程的数据。在一些情况下,高程数据可以指示数据点是地平面数据点还是非地平面数据点。由此,数据点可以表示3D表面,该3D表面表示感兴趣的场所处地球表面的覆盖,包括指示地面、植物、树木、水体、人行道、道路、桥梁、建筑物等的数据点。
在一些情况下,点云可以是对经由摄影测量方法和/或分析生成的数据和/或经由任何数量的附加方法、扫描和/或分析方法或技术生成的数据进行组合而得到的数据集合。例如,在一些情况下,摄影测量数据可以与(例如,通常从空中位置取得的经由LiDAR扫描和/或从任何其它合适设备的扫描生成的)范围数据进行组合,以生成3D数据点的集合。在一些情况下,使用经由多种模式捕获和/或生成的数据集合可以允许验证位置数据和/或增强位置数据(例如,与使用单一模式相比,提高准确度)。在其它情况下,可以使用除了摄影测量以外的方法和/或模式来生成点云。例如,在一些情况下,点云可以包含由LiDAR扫描生成的数据,而无需附加的摄影测量数据。虽然上面描述了产生点云的具体方法和/或过程,但是应该理解的是,该方法和/或过程仅作为示例而不是限制给出。因此,应该理解的是,与获取和/或使用点云数据相关联的其它方法、格式和/或标准也是可能的。
在一些情况下,空中数据或其一部分可以是从相机、扫描仪、发射器、传感器等取得的原始数据。在其它情况下,空中数据或其一部分可以是从一个或多个数据集得出和/或计算出的数据。虽然上面提供了空中数据的示例,但是应该理解的是,空中数据可以是与感兴趣的场所相关联的任何其它合适的数据(例如,除了正马赛克图像和/或点云之外的任何合适的空中数据和/或任何合适的非空中数据),并且/或者可以包括与感兴趣的场所相关联的任何其它合适的数据。
图1是用于自动限定CAD文件的系统100的示意图。系统100至少包括经由网络进行通信的主机设备110和空中数据提供者150。如本文进一步详细描述的,在一些实施方式中,系统100可以被用于创建和/或限定一个或多个CAD文件,该一个或多个CAD文件包含与地产或其它感兴趣的场所的一个或多个2D或3D模型和/或绘图相关联的数据。在一些实施方式中,主机设备110可以被配置为经由网络105从空中数据提供者150接收空中数据。进而,主机设备110可以使用空中数据来生成和/或限定与感兴趣的场所相关联的一个或多个特征的模型和/或绘图,诸如,例如,一个或多个场所平面图、场所勘测和/或任何其它合适的模型、绘图等。
网络105可以是例如局域网(LAN)、广域网(WAN)、城域网(MAN)、全球接入微波互操作性(WiMAX)、电话网(诸如公共交换电话网(PSTN)和/或公共陆地移动网(PLMN))、内联网、互联网、基于光学纤维(或光纤)的网络、虚拟网络、蜂窝网络和/或任何其它合适的网络。此外,网络105可以被实现为有线和/或无线的网络。在一些实施方式中,网络105可以包括一个或多个任何类型的网络,诸如,例如,有线或无线的LAN和互联网。
主机设备110可以是任何合适的基于硬件的计算设备。例如,在一些实施例中,主机设备110可以是例如智能电话、平板电脑、膝上型计算机、个人计算机(PC)、服务器设备、工作站等。如图2中所示,主机设备110可以至少包括存储器120、处理器112和通信接口122。
主机设备110的存储器120可以是例如随机存取存储器(RAM)、存储器缓冲器、硬盘驱动器、只读存储器(ROM)、可擦可编程只读存储器(EPROM)等。存储器120可以被配置为存储例如一个或多个软件模块和/或代码,该一个或多个软件模块和/或代码可以包括可以使得处理器112执行一个或多个过程、功能等(例如,与基于空中数据生成CAD文件相关联的过程、功能等)的指令。在一些实施方式中,存储器120可以在主机设备110中或由主机设备110物理地包含和/或容纳。在其它实施方式中,存储器120和/或其至少一部分可以可操作地耦合到主机设备110和/或至少处理器112。在这样的实施方式中,存储器120可以例如被包括在一个或多个设备中和/或分布在一个或多个设备上,该一个或多个设备诸如例如服务器设备、基于云的计算设备、网络计算设备等。存储器120和/或其至少一部分可以包括一个或多个数据存储结构(诸如例如一个或多个数据库等)并且/或者可以与一个或多个数据存储结构通信,如本文进一步详细描述的。
处理器112可以是基于硬件的集成电路(IC)和/或任何其它合适的处理设备,其被配置为运行或执行存储在例如存储器120中的指令和/或代码的集合。例如,处理器112可以是通用处理器、中央处理单元(CPU)、加速处理单元(APU)、专用集成电路(ASIC)、网络处理器、前端处理器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等。处理器112可以经由任何适当的互连、系统总线、电路等与存储器120通信。如本文进一步详细描述的,处理器112可以包括被配置为执行与基于例如感兴趣的场所的空中数据生成该场所的CAD文件相关联的代码、指令、模块、过程和/或功能的任何数量的引擎、处理单元、核等。
通信接口122可以是与处理器112和存储器120通信的任何合适的基于硬件的设备和/或存储在存储器120中并由处理器112执行的任何合适的软件。在一些实施方式中,通信接口122可以被配置为与网络105通信(例如,与网络105通信的任何合适的设备)。通信接口122可以包括一个或多个有线和/或无线的接口,诸如例如网络接口卡(NIC)。在一些实施方式中,NIC可以包括例如一个或多个以太网接口、光载波(OC)接口和/或异步传输模式(ATM)接口、一个或多个无线的无线电装置(例如,无线电、无线电等)。如本文进一步详细描述的,在一些实施方式中,通信接口122可以被配置为从空中数据提供者150接收空中数据,并且可以被配置为将空中数据传输和/或传送到存储器120以供存储以及/或者传输和/或传送到处理器112以进行处理。
空中数据提供者150可以是任何合适的设备或设备的集合和/或任何合适的服务,其被配置为提供感兴趣的场所的空中数据和/或与感兴趣的场所相关联的空中数据。例如,空中数据可以是以上提供的空中数据的任何示例。类似地,感兴趣的场所可以是以上提供的感兴趣的场所的任何示例。在一些实施方式中,空中数据提供者150可以是能够捕获空中数据的任何合适的设备,诸如相机、录像机或成像设备、勘测设备(例如,LiDAR设备、红外相机、辐射探测器、频率分析仪和/或任何其它合适的多光谱数据)、扫描仪等。此外,通过耦合到例如远程操作的无人机、具有任何合适的自治程度的无人飞行器(UAV)、驾驶的飞行器(例如,飞机、直升机等)、卫星和/或任何其它空中或飞行或轨道交通工具、设备或机器,包含在其中,以及/或者以其它方式由其携带,该一个或多个设备可以直接或间接地定位在感兴趣的场所上方。作为一个示例,空中数据提供者150可以是远程操作的无人机,该远程操作的无人机(1)包括一个或多个相机、录像机、LiDAR设备、传感器、计算设备等;(2)例如由用户操作的遥控器操作;以及(3)与网络105通信或者以其它方式能够经由有线或无线的连接与网络105通信。
在其它实施方式中,空中数据提供者150可以是可以存储(例如,在数据库中)和/或存档所捕获的空中数据并且可以根据请求提供空中数据的设备或服务。例如,数据库可以是例如表、储存库、关系数据库、面向对象的数据库、对象关系数据库、结构化查询语言(SQL)数据库、可扩展标记语言(XML)数据库等。在一些这样的实施方式中,主机设备110可以发送请求并且/或者可以查询存储与感兴趣的场所相关联的空中数据的数据库。在一些实施例中,这样的数据库可以被包括在系统100中并且/或者可以被包括在主机设备110中(例如,作为存储器120的一部分)。在其它实施例中,这样的数据库可以是基于服务协议等选择性地向其授予访问权限的第三方数据库。
如上所述,主机设备110被配置为经由例如网络105从空中数据提供者150接收空中数据。更具体地,主机设备110的处理器112可以包括第一处理引擎113和第二处理引擎114,如图3中所示。第一处理引擎113和第二处理引擎114可以是硬件和/或软件(存储在存储器120中并且由处理器112执行的)的任何合适的组合。在一些实施方式中,第一处理引擎113可以是处理器112的第一部分,并且第二处理引擎114可以是处理器112的与第一部分离散的第二部分。在其它实施方式中,第一处理引擎113和第二处理引擎114可以使用资源、处理单元、集成电路等的任何合适的组合。如本文进一步详细描述的,第一处理引擎113可以被配置为接收以例如感兴趣的场所的正马赛克图像152和/或感兴趣的场所的点云154的形式的空中数据。
虽然未在图3中示出,但是在一些实施方式中,包括在系统100中的空中数据提供者150、主机设备110和/或任何其它合适的计算设备可以被配置为将感兴趣的场所的一个或多个空中图像转换为例如一个或多个正马赛克图像152。图4示出了在被正射校正(例如,改正空中图像以产生正马赛克图像的过程)之前在400英尺处取得的感兴趣的场所的空中图像151的示例。
在一些情况下,可以捕获感兴趣的场所的多个空中图像,使得所得到的正马赛克图像(例如,正马赛克图像152)具有期望的分辨率。此外,可以由被安排在至少部分地基于捕获图像的设备(例如,相机)的分辨率、设备的焦距、飞行海拔等的高度或高程(例如,被测量为高于地平面的海拔(AGL)、高于平均海平面的高程(ASML)等)处的设备来捕获空中图像。例如,如本文所使用的,“地面样本距离”(GSD)可以指地面上的与地面的图像中的两个相邻像素的中心对应的两个点之间的距离。相应地,GSD可以被用于指图像分辨率的特性和/或对图像分辨率的限制,并且被表达为(地面的图像中)每个像素(在地面上)的距离。在一些情况下,捕获场所的图像的设备的AGL可以基于所捕获的图像的期望GSD,并且因此可以产生正马赛克图像152的期望分辨率。例如,在一些情况下,多个空中图像可以在150英尺(ft.)的AGL处捕获,并且可以具有每个像素大约0.5英寸(in.)的GSD。此外,多个空中图像可以依次被捕获,使得空中图像与紧接在前的空中图像重叠高达约85%或更多,并且空中图像在横向方向上与相邻的空中图像重叠高达约80%或更多。由此,正马赛克图像152可以具有期望的清晰度和/或分辨率。
图5示出了感兴趣的场所的正马赛克图像152A的示例。如上所述,感兴趣的场所的正马赛克图像152A可以是改正或调整(例如,正射校正)任何合适数量的空中图像的结果,使得正马赛克图像152A准确地表示正马赛克图像152A在地球的表面上的真实地点。在一些情况下,系统100可以被配置为使用例如可用的软件工具(诸如但不限于Pix4D、DroneDeploy、Agisoft等)将空中图像(例如,类似于图4中所示的空中图像151)转换成正马赛克图像(例如,类似于图5中所示的正马赛克图像152A)。此外,任何合适数量的地面控制点(GCP)和/或任何其它合适的参考点可以被用来验证正马赛克图像152A在地球的表面上的地点。例如,在一些情况下,多个18英寸乘18英寸的GCP标志可以被放置在感兴趣的场所上的期望位置处(例如,场所的拐角处、场所的中心处、局部最大或局部最小高程处等),并且每个GCP的位置可以使用实时运动(RTK)全球定位系统(GPS)、全站仪(TST)和/或任何其它合适的勘测工具或其组合来确定。在一些情况下,RTK GPS可以使用例如至少10颗卫星以及高达20颗或更多的卫星以约0.05ft的准确度对GCP标志的位置进行三角测量。相应地,正马赛克图像152中所示的地理参考的地点可以通过使GCP标志在场所上(例如,场所的真实世界表面上)的位置与GCP标志在正马赛克图像152中所示的位置关联来验证到相对高度的确信度。在将空中图像转换为正马赛克图像152并且验证正马赛克图像152的地理参考的地点的准确度之后,可以将正马赛克图像提供给第一处理引擎113(例如,正马赛克图像152,如图3中所示)。
以下提供了处理和/或分析空中数据的三个示例。虽然具体描述了三个示例,但是应该理解的是,用于处理和/或分析空中数据的其它方法和/或处理也是可能的。
在第一示例中,第一处理引擎113可以从例如空中数据提供者150接收(一个或多个)正马赛克图像152。在一些情况下,例如,空中数据可以被包含和/或存储在被配置为存储任何数量的空中图像和/或任何合适的空中数据的数据库中。在其它情况下,可以从捕获空中数据的设备(例如,无人机等)接收空中数据。如上所述,正马赛克图像152可以是以geotiff格式,其中每个数据点由像素表示,该像素通常被分配值或值的集合,该值或值的集合指示例如该像素的RGB颜色值和/或与该像素相关联和/或嵌入在该像素中的任何其它合适的数据。此外,geotiff是已经地理参考的图像,使得每个像素是其在地球表面上的真实地点的表示(例如,在期望的公差内)。geotiff可以包括诸如例如用于正马赛克图像152的坐标系和/或每个像素相对于坐标系的位置之类的数据。因此,geotiff中的每个像素可以包括指示像素在geotiff的坐标系(例如,X-Y平面)中的位置的数据以及指示像素的颜色的值(例如,RGB值)。响应于接收到正马赛克图像152,第一处理引擎113可以被配置为:分析与每个像素相关联的数据,以识别正马赛克图像152中的一个或多个特征、形状、对象等(为简单起见,此后集体称为“形状”);对每个识别出的形状进行分类、归类和/或标记;以及根据分类、归类和/或标记对包括在正马赛克图像中的数据进行分割。
在一些实施方式中,第一处理引擎113可以是一个或多个机器学习模型和/或可以被配置为执行一个或多个机器学习模型以对(一个或多个)正马赛克图像152进行分类、归类和/或标记(为简化起见,此后集体称为“归类”)。在这样的实施方式中,第一处理引擎113可以将与每个像素相关联的数据提供为到机器学习模型中的输入,该机器学习模型转而可以对像素和/或由像素的分组或聚类形成的一个或多个形状进行分析、识别和/或归类。更具体地,与每个像素相关联的数据可以被分解成任何合适数量的变量(例如,二进制变量),其被输入到机器学习模型中。例如,如本文中关于训练进一步详细描述的,数据可以被分解成二进制值(即,“零”值或“一”值)的一个或多个向量。在一些情况下,这样的向量可以被限定和/或描述为[X,Y,R,G,B],其中X和Y分别是X坐标和Y坐标,并且R、G和B在RGB颜色系统中分别是红色值、绿色值和蓝色值。
第一处理引擎113可以使用任何合适的机器学习模型来使用训练数据集生成、改善和/或优化统计模型。最初,机器学习模型可以利用任何合适数量的训练数据集来播种(seed),并且在合适的初始化之后可以被配置为使用包含在正马赛克图像152中的数据和/或由于处理正马赛克图像152而产生的输出数据作为一个或多个训练数据集。
在一些情况下,由第一处理引擎113使用、实行和/或执行的机器学习模型可以使用在任何合适的计算环境中实现的任何合适的机器学习工具并且使用任何合适的计算语言来生成、改善、训练和/或优化。例如,实施方式可以在诸如例如Python、TensorFlow等的环境中完成。在一些实施方式中,可以例如使用线性或非线性的空间和/或使用有监督和/或无监督的方法来构建统计模型。例如,无监督的方法可以包括聚类方法、独立元分析、矩阵分解方法、无监督的神经网络等。作为另一个示例,有监督的方法可以包括相似性和度量学习方法、有监督的神经网络和/或任何其它合适的有监督的方法。
实现神经网络的一些已知机器学习模型可以具有多个不同的层,其中每个层包含多个节点。在一些实施方式中,属于不同层的节点具有与其它节点的互连以限定网络。该多个节点的网络可以被用于对图像、数据、文件、文档等进行分类。神经网络的一些实现可以使用可以前馈和/或反馈信息的计算节点的一个或多个隐藏层。在一些情况下,具有或不具有神经元的隐藏计算层的神经网络可以被配置为通过非线性统计建模找到特征发生的信息图案。此外,包括神经网络的机器学习工具的使用可以包括数据预处理的一个或多个步骤,诸如输入归一化,其可以被用于例如稳定神经网络的行为。
在其中第一处理引擎113被配置为包括和/或执行一个或多个神经网络的实施方式中,该一个或多个神经网络可以具有(一个或多个)任何合适的架构,包括例如任何合适数量的隐藏层、每个隐藏层的任何合适数量的计算单元、任何合适数量的输入和输出层、不同层之间的任何合适的交互、层内和跨层的整体网络架构中的任何合适的递归、用于生成每个层的(一个或多个)任何合适类型的计算单元、每个计算单元的任何合适的计算能力(例如,线性或非线性)、处理反馈的任何合适的方法等。
在一些情况下,用于计算机视觉、图像分割等的机器学习模型可以包括和/或可以基于卷积神经网络(CNN)架构。在一些实施方式中,卷积神经网络可以包括用以生成数据矩阵的任何数量的卷积层或操作、经校正的线性单元(ReLU)和最大池化操作,该数据矩阵然后被平坦化并提供为到任何数量的完全连接层中的输入,从而产生最终输出。一些卷积神经网络可以包括用以捕获图像的背景(context)的收缩路径和用于使得结构能够定位的对称扩展路径。在一些实施方式中,卷积神经网络可以具有“u-net”架构(或经修改的u-net架构)。在图6中示出了可以在系统100的一些实施方式中使用的示例u-net卷积神经网络160。例如,u-net神经网络160可以基于用于语义分割的全卷积神经网络。如图6中所示,u-net神经网络160可以包括具有在ReLU和最大池化操作之前的任何数量的卷积的收缩路径161,在一些情况下,这可以减少空间信息并增加特征信息。另外,u-net神经网络160可以包括扩展路径162,该扩展路径162被配置为将空间信息和特征信息组合为上卷积和连结的结果。
虽然在图6中示出了u-net的示例,但是在一些实施方式中,第一处理引擎113可以使用已经以任何合适的方式被调整、修改和/或定制的任何合适的CNN,以更好地适合由第一处理引擎113执行的图像分割和识别。例如,类似于u-net 160的CNN可以被修改和/或被配置为执行语义分割的多路径细化网络,诸如例如RefineNet。在其它实施方式中,CNN可以被修改和/或以其它方式配置为执行任何合适的计算机视觉过程、任务、方法等。例如,在一些情况下,第一处理引擎113可以实现基于CNN架构但被配置为跳过网络的层的残差神经网络(被称为“ResNet”)。
可以被用于图像分割的机器学习模型的附加示例可以包括:基于CNN架构但被配置为跳过网络的多个层的残差神经网络(被称为“DenseNet”);全卷积DenseNet编码器解码器(FCDED),例如,实现诸如ResNet或DenseNet架构之类的编码器网络和被配置为将由编码器学习到的区分特征以语义方式投影到像素级的解码器网络;全分辨率残差网络(FRRN),例如,使用在全分辨率级和像素级实现的ResNet或DenseNet架构;金字塔场景解析网络(PSPNet),例如,实现被修改为包含任何数量的膨胀卷积的ResNet架构;移动u-net,例如,实现移动兼容的u-net架构;决策树模型,例如,使用决策树来基于关于项的观察得出关于该项的目标值的结论;随机森林模型,例如,在训练处使用多个决策树并且在输出处使用各个决策树的分类和/或回归以减轻对给定训练集的过度拟合;贝叶斯网络,例如,使用贝叶斯定理为基础,从后验分布和给定输出的似然度得出推论;聚类模型,被配置为将相似的对象分组到同一分组或聚类等中。
虽然上面描述了一些具体的模型和/或方法,但是应该理解的是,这些模型和/或方法仅作为示例而不是限制给出。例如,在一些情况下,可以使用线性或非线性的空间和/或使用有监督或无监督的方法来实现和/或训练机器学习模型(例如,神经网络等)。在一些情况下,在训练期间使用的方法可以类似于或不同于在实现期间使用的方法(例如,生成输出而不是训练)。
如上所述,第一处理引擎113被配置为对正马赛克图像152中的每个数据点(例如,每个像素)进行分析以识别正马赛克图像152中的形状的集合,以基于一个或多个参数对形状(和/或形成形状的每个点或像素)进行归类,并根据归类对包括在正马赛克图像152中的数据进行分割。例如,在一些实施方式中,第一处理引擎113(例如,经由机器学习模型)可以识别与在感兴趣的场所上发现的自然或人造的特征对应的形状的集合。在一些实施方式中,第一处理引擎113可以基于与形成每个形状的每个像素相关联的数据(例如,位置、真实颜色、高程等)来限定该形状。例如,第一处理引擎113可以对每个像素(例如,每个数据点)进行分类和/或归类,并且可以通过识别具有相同的种类或类别的相邻像素来限定形状。在一些情况下,对包含在正马赛克图像152中的形状的检测和/或限定可以是基于机器学习模型的自动化过程。
在一些实施方式中,第一处理引擎113可以被配置为对数据点、像素和/或形状进行归类,并基于归类对正马赛克图像152中包含的数据进行分割。归类可以基于任何合适的参数或参数的组合。如图3中所示,第一处理引擎113可以与例如被配置为存储一个或多个参数、滤波器、用户偏好等的数据库125(例如,由存储器120限定和/或作为存储器120的一部分或与存储器120分开)通信。
在一些情况下,用户可以例如基于用户关于场所已知的信息来限定一个或多个类别。例如,用户可能知道感兴趣的场所包含与该场所的自然地面相关联的第一部分、与道路相关联的第二部分(例如,被道路覆盖的自然地面的一部分)和与建筑物相关联的第三部分(例如,建筑物在其上建造的自然地面的一部分)。在这样的情况下,用户可以限定和/或设置与自然地面相关联的第一类别、与道路相关联的第二类别,以及与建筑物相关联的第三类别,并且与每个类别相关联的数据可以被存储在例如数据库125中。相应地,第一处理引擎113可以向数据库125查询类别的集合和/或指令、参数、数据等的任何其它集合,并且然后可以基于数据库125中存储的数据、基于机器学习模型的输出和/或基于任何其它合适的数据来将每个数据点、像素和/或形状分配到类别。在其它情况下,该一个或多个类别可以是不特定于场所和/或用户的类别的默认集合。然后可以使用机器学习模型将数据分类为一个或多个默认类别。
作为示例,第一处理引擎113可以确定相邻像素的三个分组或聚类应该被放置在第一类别中,因为正马赛克图像152的被包含在每个分组和/或聚类的界线中的部分(例如,像素)描绘了自然地面。类似地,第一处理引擎113可以确定相邻像素的两个分组或聚类应该被放置在第二类别中,并且相邻像素的一个分组或聚类应该被放置在第三类别中。由此,第一处理引擎113可以识别和/或限定被分配给第一类别的三个形状、被分配给第二类别的两个形状以及被分配给第三类别的一个形状。在一些实施方式中,一旦每种形状已经被限定并分配给类别,那么第一处理引擎113就可以向数据库125发送信号,该信号指示存储表示所归类的形状和/或与所归类的形状相关联的数据的指令。由此,数据库125可以被配置为存储正马赛克图像152的由第一处理引擎113限定和/或生成的经分割的数据。
第一处理引擎113可以被配置为将每个数据点、像素和/或形状分配给任何合适数量的类别之一。类别可以基于例如用户偏好和/或用户限定的类别、与建筑图、工程图、场所平面图、场所勘测等相关联的行业标准。此外,类别可以与在数据点、像素和/或形状中表示的或由数据点、像素和/或形状表示的结构、特征和/或对象的类型相关联,以及/或者指示在数据点、像素和/或形状中表示的或由数据点、像素和/或形状表示的结构、特征和/或对象的类型。类别的非限制性示例可以包括诸如地面、植被、树木、岩石、水等的地质特征和/或诸如建筑物、道路、人行道、停车场、排水系统、公用设施等的人造特征,和/或任何其它合适的类别。在一些情况下,类别可以包括与CAD文件中使用的行业标准层相关联的类别。而且,在一些这样的情况下,层(以及因此类别)可以基于分配给该层的特征的种类或类型,以及/或者与分配给该层的特征的种类或类型相关联。例如,层的种类和/或类型(以及因此类别)以及被包括在种类和/或类型中的层在表1中示出,如下:
表1:
在一些情况下,层和/或类别也可以包括与一个或多个过程等相关联的任何合适的层和/或类别。
在一些情况下,类别可以具有一个或多个特性和/或可以与一个或多个特性相关联,可以针对该一个或多个特性评估数据点。以下提供类别和相关联的特性的非详尽列表:
·建筑物-高于某个识别出的阈值的高程和/或与存储在数据库中的建筑物的图像匹配的颜色信息。
·道路-满足地面阈值的高程和/或与存储在数据库中的道路的图像匹配的颜色信息。
·人行道-满足地面阈值的高程和/或与存储在数据库中的人行道的图像匹配的颜色信息。
·停车场-以其他方式将被分类为道路并且颜色信息以可识别的方式偏离(例如,存储在数据库中的)道路的图像的区域和/或与存储在数据库中的停车场的图像匹配的颜色信息。
·建筑物细节-被分类为建筑物的区域并且基于存储在数据库中的建筑物的信息偏离以其他方式指示建筑物的信息的颜色信息和/或高程信息。
·道路细节-被分类为道路的区域内的交通控制信号或线和/或与存储在数据库中的道路细节的图像匹配的颜色信息。
·公共设施-具有与存储在数据库中的公共设施的图像匹配的颜色信息的可能或可能不会以其它方式被分类为更宽泛的分类的区域。
·墙壁-具有可识别的开始和结束的以其它方式被分类为建筑物并且至少近似垂直的表面。
·窗户-以其它方式被分类为墙壁的表面,以及可识别为和与墙壁相关联的颜色信息不同的颜色信息以及/或者与存储在数据库中的窗户的图像匹配的颜色信息。
·门-以其它方式被分类为墙壁的表面,以及可识别为和与墙壁相关联的颜色信息不同的颜色信息以及/或者与数据库中存储的门的图像匹配的颜色信息。
·屋顶-具有高于地面阈值的高程的以其它方式被分类为建筑物并且非垂直的表面。
在一些情况下,数据库125可以存储任何数量的类别,类别的集合可以由用户针对具体的感兴趣的场所来选择以及/或者基于分析与具体的感兴趣的场所相关联的数据的机器学习模型来自动选择。例如,未开发的感兴趣的场所(例如,计划的建筑工地等)可以与关于地质特征而不是人造结构的类别的集合相关联。
在一些情况下,类别可以按层级布置和/或以其它方式以期望的优先级顺序被分配到一个位置。例如,在一些情况下,层级和/或优先级可以基于哪个类别更可能是正马赛克图像152中所示的数据点、像素和/或形状的准确类别。如上所述,第一处理引擎113被配置为将每个数据点、像素和/或形状分配到单个类别。因此,如果数据点、像素和/或形状将与多个类别相关联和/或被分配到多个类别,那么第一处理引擎113可以被配置为确定潜在的类别中的每一个在层级和/或优先级顺序中的位置和/或状态,并且可以将该类别分配给数据点、像素和/或形状。例如,在一些情况下,第一处理引擎113可以确定数据点、像素和/或形状可以与“建筑物”类别、“道路”类别和“地面”类别相关联。在这种情况下,因为建筑物和道路中的每一个都建造在感兴趣的场所处的地面上和/或覆盖感兴趣的场所处的地面,所以可以在层级和/或优先级中为地面类别分配最低的位置。类似地,建筑物通常具有比道路高的高程(例如,当被建造在以其他方式具有相对恒定的高程的感兴趣的场所上时),并且因此,建筑物被分配在层级和/或优先级中的最高的位置。相应地,在刚刚描述的示例中,第一处理引擎113将基于具体类别的层级和/或优先级将“建筑物”类别分配给数据点、像素和/或形状。在一些情况下,用户可以针对数据库125中存储的所有类别或类别的子集限定层级和/或优先级。
在一些情况下,类别可以与不同的细节水平相关联。例如,一些类别可以是宽泛或通用的类别,并且具有与该宽泛或通用的类别的一个或多个细节相关联的任何合适数量的附加类别。在一些情况下,类别可以被嵌套在层级、分组等中。例如,与建筑物的详细特征相关联的类别的分组中的每个类别可以被嵌套在诸如“建筑物细节”之类的类别中,诸如“建筑物细节”之类该类别进而可以被嵌套在“建筑物”的宽泛或通用的类别中。换句话说,一些类别可以被布置在任何合适的分组或嵌套中,使得详细的类别被分组和嵌套在更宽泛或更通用的类别中和/或下。在其它情况下,描述一个或多个细节的类别无需被分组或嵌套。
详细类别可以与更宽泛和/或更通用的类别的任何合适的细节和/或特征相关联。例如,“建筑物细节”类别可以被分配给与建筑物的建筑物界线、墙壁、门、窗户、屋顶、公用设施等相关联的数据点、像素和/或形状。类似地,“道路细节”类别可以被分配给与例如交通控制标志(例如,被画或安排在道路上的符号或线)等相关联的数据点、像素和/或形状等。在一些情况下,第一处理引擎113可以被配置为对“细节”类别中的数据点和/或像素进行识别和归类,并且可以限定对应的所归类的形状而不修改更宽泛和/或更通用的类别。更具体而言,因为第一处理引擎113将每个数据点、像素和/或形状分配给单个类别,所以由细节类别中的数据点和/或像素形成的形状—当被移除、被隐藏和/或以其它方式未被考虑时—可能导致在更宽泛和/或更通用的类别中缺少该形状。例如,第一处理引擎113和/或机器学习模型可以确定分配给细节类别(例如,“道路细节”类别)的第一形状的存在,该第一形状由分配给更宽泛和/或更通用的类别(例如,“道路”类别)的第二形状包含和/或至少部分地包围。由此,第一处理引擎113和/或机器学习模型可以独立于被分配给更宽泛和/或更通用的类别的第二形状来将第一形状分配给细节类别,使得第一形状的归类不会导致第二形状中的相应的缺失、切口和/或空洞。
如图3所示,在第一处理引擎113对正马赛克图像152中的数据进行识别、归类和/或分割之后,例如,第二处理引擎114可以被配置为滤波和/或以其它方式进一步处理经分割的数据并生成2D输出132和/或3D输出134中的至少一个。例如,在一些实施方式中,第二处理引擎114可以从第一处理引擎113和/或从数据库125接收经分割的数据。在接收后,第二处理引擎114被配置为识别相邻并且与相同类别相关联的数据点和/或像素和/或其分组。在一些情况下,第二处理引擎114可以将形成形状的数据点和/或像素的分组的边界识别为形成不同形状的数据点和/或像素的不同分组的边界,以限定例如新形状(例如,组合的形状)。另外,第二处理引擎114可以被配置为识别与边界相邻的任何未归类的数据点和/或像素,该未归类的数据点和/或像素以其他方式应该被类似地归类和/或以其他方式应该形成新形成的形状的一部分。
在限定一个或多个期望的形状之后,第二处理引擎114可以被配置为限定经过与形成形状的边界的至少一些数据点和/或像素相关联的位置的折线(例如,以向量格式的线)。换句话说,第二处理引擎114可以限定经过形成形状的边界的数据点和/或像素(或那些数据点和/或像素的位置)中的至少一些的向量。进一步扩展,在一些情况下,第二处理引擎114可以被配置为限定折线(例如,以向量格式的线),该折线使用形成形状的界线的数据点(例如,以光栅格式的像素)中的至少一些。由此,第二处理引擎114可以限定针对在正马赛克图像152的经分割的数据中的每个形状的折线界线。此外,在一些情况下,第二处理引擎114可以被配置为将正马赛克图像152中的每个形状的类别限定和/或分配给该形状(例如,以光栅格式)的折线界线(例如,以向量格式)。
在一些情况下,第二处理引擎114可以限定完全将形状包围的形状的折线界线。也就是说,折线界线以向量格式创建和/或限定封闭的多边形形状。但是,在其它情况下,特征的边界可能不在感兴趣的场所的界线内。例如,道路可以经过感兴趣的场所的一部分,该道路具有安排在感兴趣的场所的界线之外的开始部分和结束部分。由此,对应于道路的形状的一部分可以具有一个或多个开放端部和/或不具有清晰边界的端部。在一些这样的情况下,第二处理引擎114可以基于形成图像的边界的对应部分(例如,像素的边缘或最外面的线)并且与道路类别相关联的像素的集合来限定道路的边界。因此,第二处理引擎114可以沿着图像的边界的对应部分创建和/或生成折线(例如,创建和/或生成连接限定道路两侧的折线的端点的折线。在一些情况下,这可以在第二处理引擎114创建针对形状的折线界线时被执行,或者是一旦第二处理引擎114创建形状的折线界线之后的在后过程或二次处理。以这种方式,第二处理引擎114可以限定针对每个形状的闭合的折线界线。在其它情况下,第二处理引擎114可以确定图像的边界不是形状的边界,并且由此可以被配置为使得以其他方式使形状闭合的折线不被创建和/或生成。
此外,虽然形状的一些折线界线可以相邻、可以至少部分重叠和/或可以具有基本相同的坐标,但是每个形状可以彼此不同(并且形状的折线界线可以与另一形状的折线界线不同),无论该形状类别如何。在一些情况下,形状的相邻和/或重叠的边界可能导致边界被分配给单个类别。在这样的情况下,第二处理引擎114可以被配置为限定针对具有与未被分配的类别相关联的边界的形状的折线界线。例如,在一些情况下,第二处理引擎114可以确定和/或识别形状是开放的,并且因此可以通过限定针对该边界并与对应的类别相关联的折线界线来闭合该形状。因此,与不同类别相关联的折线可以相邻和/或可以至少部分地重叠,同时保持彼此不同。
已经限定了针对每个形状的折线界线,第二处理引擎114可以被配置为滤波、平滑、简化和/或以其它方式处理形状的界线。例如,在一些情况下,使用至少一些数据点和/或像素(如上所述)形成折线会导致具有大量的点、节点等的折线,这进而会导致可能不是感兴趣的场所处的特征的准确模型的不规则的路径。另外,具有大量点、节点等的折线可能导致对主机设备110的资源(例如,处理器112的处理资源和/或存储器120的存储器资源)和/或用于查看所生成的CAD文件的电子设备的非期望使用或负担,以及/或者可能与对主机设备110的资源(例如,处理器112的处理资源和/或存储器120的存储器资源)和/或用于查看所生成的CAD文件的电子设备的非期望使用或负担相关联。相应地,第二处理引擎114可以被配置为相对于与形状的边界相关联的每个点以及与形状的边界相关联的至少一个其它点的位置来分析折线界线,以确定和/或限定该点的位置偏离期望的、预计的和/或预期的位置的量。例如,在一些情况下,第二处理引擎114可以确定在第一点和第二点之间限定的线的角度是否小于阈值角和/或在第一点和第二点之间限定的线的长度是否小于长度或距离阈值。在这种情况下,例如,当在第一点和第二点之间限定的线的角度和/或长度分别小于角度阈值和长度阈值时,折线可以被简化、滤波和/或代替为例如直线和/或以其它方式简化的折线。
在一些情况下,第二处理引擎114可以被配置为通过评估在第一点和第二点之间的折线上的每个点的位置相对于例如第一点和第二点之间限定的直线折线上的其它点的位置的偏差来平滑和/或简化在第一点(例如,折线的起点)和第二点(例如,折线的终点)之间限定的折线或折线的一部分。在一些这样的情况下,折线的平滑、拉直和/或简化可以类似于例如限定两个点之间的线性回归,其中在该两个点之间安排任何合适数量的点。因此,如果在第一点和第二点之间的折线上的每个点的位置相对于所限定的回归线的偏差小于偏差阈值,那么第二处理引擎114可以拉直、平滑和/或简化折线和/或至少在第一点和第二点之间限定的部分。在一些情况下,第一点和第二点可以基于例如第一点和第二点之间的折线上的多个点(例如,在第一点和第二点之间的1个点、2个点、3个点、4个点、5个点、6个点、7个点、8个点、9个点、10个点、15个点、20个点、30个点、50个点、100个点、200个点、500个点、1000个点和/或更多个或任何数量的点)。在其它情况下,第一点和第二点可以基于例如阈值长度(例如,或者最小长度或者最大长度)。在又有其它的情况下,第一点和第二点可以基于在第一点和第二点之间限定的折线的角度以及在第一点和第三点之间限定的不同折线或在第二点和第三点之间限定的不同折线中的至少一个之间的角度。在还有其它的情况下,第一点和第二点可以是用户限定的和/或可以经由任何其它合适的方法来限定和/或确定。
在一些情况下,第二处理引擎114可以被配置为当每个点的位置的偏差小于偏差阈值时,用在第一点和第二点之间限定的新折线来代替折线和/或折线的一部分。在其它情况下,第二处理引擎114可以被配置为当每个点的位置的偏差小于偏差阈值时,移除和/或删除以其他方式在第一点和第二点之间限定的折线或折线的一部分上的每个点。因此,在第一点和第二点之间定义的穿过每个点的折线和/或折线的一部分(例如,复杂和/或以其它方式有噪声、非简化和/或不平滑的折线或其一部分)现在是在第一点和第二点之间限定的直线折线(例如,其中在第一点和第二点之间限定的直线折线上安排了或没有安排一个或多个点)。由此,第二处理引擎114可以被配置为创建和/或生成经滤波的、平滑的、简化的和/或经处理的折线界线,例如在图7中所图示的至少部分经处理的图像155中所示。
如上所述,在一些情况下,第二处理引擎114可以被配置为评估和比较相对于例如偏差阈值的点的位置的偏差。在一些情况下,偏差阈值可以由用户限定,或者可以是预设或预先限定的偏差阈值。在一些情况下,偏差阈值可以按照距以其他方式在两点之间限定的直线上(例如,回归线等)的期望位置的距离和/或角度来表达。在其它情况下,偏差阈值可以按照偏差的百分比来表达(例如,点的位置可以偏离期望或所计算的位置一定百分比),并且偏差阈值可以是允许进行平滑等的偏差的最大百分比。在还有的其它情况下,偏差阈值可以按照距期望位置(诸如例如回归线的位置等)的标准偏差的数量(例如,小于一个标准偏差、小于两个标准偏差等)来表达。
在对每个形状的折线界线进行滤波、代替、平滑等之后,第二处理引擎114可以被配置为基于例如折线界线生成包括每个形状的2D和/或3D模型的CAD文件。另外,第二处理引擎114可以被配置为限定CAD文件中针对每个类别的层。在这种上下文中,层可以是可以使用CAD软件一起处理、分组和/或显示的对象、形状和/或点的列表。如上所述,在一些情况下,类别以及因此层可以是任何合适的类别和/或层。作为具体示例,层可以包括地面、建筑物、建筑物细节、道路、道路细节、人行道、停车场、植被、排水系统、公共设施和/或任何其它合适的层。在限定了期望的层的情况下,第二处理引擎114可以根据每个形状的类别将该形状放置在其对应的层上和/或将该形状与其对应的层相关联。
如图3中所示,第二处理引擎114被配置为生成一个或多个CAD文件,诸如,例如2D输出132和/或3D输出134。在一些情况下,2D输出132可以是CAD文件,其包括2D图,诸如场所平面图。更具体地,场所平面图可以是例如2D建筑、工程、景观、构造和/或场所图的集合,其可以提供包含在感兴趣的场所中或感兴趣的场所上的特征的布置的俯视图表示。场所平面图上示出的特征的非限制性列表可以包括产权线、现有或计划的建筑物的占地面积、特征的或在特征之间的距离和/或维度、停车场、道路、人行道、景观区域、水体、地役权、公共设施、排水系统、坡道、小路、轮廓、梯度、斜坡和/或任何其它合适的特征。例如,图8图示了例如作为第二处理引擎114的2D输出(例如,2D输出132)生成的场所平面图132A的图形表示。在一些情况下,场所平面图132A可以包括例如地理位置数据、一个或多个特征的相关维度和/或任何其它合适的数据。
第二处理引擎114还可以生成3D输出134,如图3中所示。3D输出134可以是CAD文件,该CAD文件包括感兴趣的场所中或感兴趣的场所上包括的一个或多个特征和/或结构的3D模型或图。在一些情况下,例如,3D输出134可以是一个或多个建筑物的3D模型。建筑物134A的3D模型例如在图9中示出。如图所示,建筑物134A的3D模型可以包括建筑物的总体形状、占地面积和/或轮廓线以及建筑物的具体细节,其可以对应于分配给那些具体详细类别(例如,由第一处理引擎113识别并归类的)的形状。例如,建筑物134A的3D模型可以包括诸如例如墙壁、门、屋顶、窗户、遮阳篷、烟囱、管道、装备、连接件、结构、螺栓、线缆等的细节。另外,3D模型可以包括和/或以图形方式表示诸如用于制作一个或多个墙的材料的类型等的细节。
第二处理引擎114可以被配置为以任何合适的CAD文件格式生成一个或多个CAD文件(例如,2D输出132和/或3D输出134)。例如,在一些情况下,第二处理引擎114可以以绘图互换格式或绘图交换格式生成一个或多个CAD文件(被称为DXF文件)。在其它情况下,可以以任何合适的中性CAD格式生成CAD文件,诸如,例如,用于交换产品介质数据的标准(被称为STEP文件)、初始图形交换规范(被称为IGES文件)和/或任何其它合适的CAD文件。在还有其它的情况下,可以以由任何合适的CAD程序使用的任何合适的CAD格式来生成CAD文件。相应地,用户可以使用任何合适的CAD软件来打开、查看和/或修改由第二处理引擎114生成的CAD文件。
下面提供处理空中数据的第二示例。如上所述,正马赛克图像152可以是以geotiff格式,其中geotiff中的每个像素基于其颜色(例如,RGB值)被分配值或值的集合。另外,每个像素都经地理参考,使得每个像素是其在地球的表面上的真实地点的表示(例如,在期望的公差内)。因此,如上所述,第一处理引擎113可以被配置为提供任何合适数量的变量作为输入,这些变量指示每个像素的颜色值和由其在geotiff坐标系统中的X和Y坐标限定的位置,这进而可以分析数据集以对由像素的集合和/或聚类形成的一个或多个形状进行识别和/或归类。
但是,在这个示例中,第一处理引擎113可以接收正马赛克图像152和点云154,它们均作为输入被提供给机器学习模型(如上所述)。如上所述,点云154可以是数据点的集合,其可以对例如感兴趣的场所的地形进行建模。在一些情况下,数据点可以表示3D表面,该3D表面表示感兴趣的场所处地球表面的覆盖,包括指示地面、植物、树木、水体、人行道、道路、桥梁、建筑物和/或任何其它合适的特征或结构的数据点。例如,图10图示了感兴趣的场所的点云154A,其可以作为输入被提供给第一处理引擎113。在一些情况下,点云154中的每个数据点可以被对准和/或可以对应于正马赛克图像152中的不同数据点(例如,像素)。因此,第一处理引擎113可以组合来自正马赛克图像152和数据点云154的数据,并且可以将组合的数据集作为输入提供给机器学习模型,如本文进一步详细描述的。
点云154中的每个数据点(例如,经由摄影测量生成的、作为LiDAR扫描的输出生成的数据点等)可以经地理参考,从而允许点云表示点云在地球的表面上的真实地点(在预定的公差内)。相应地,点云154中的每个数据点可以包括指示该数据点在例如X-Y平面中的位置的数据,如上面参考正马赛克图像152所描述的。除了经地理参考之外,点云154中的每个数据点还可以包括指示该数据点的高程的数据。因此,每个数据点的位置由其X、Y和Z坐标限定。在其中经由摄影测量分析生成点云154的情况下,点云154中的每个数据点(例如,点云图像中的每个像素)可以包括颜色值。
在一些情况下,点云154中的数据的至少一部分可以被用于验证正马赛克图像152中的对应数据。例如,如上所述,正马赛克图像152中的每个数据点(例如,像素)可以包括限定该数据点的由其X和Y坐标限定的位置及其颜色值的数据(例如,限定和/或描述为[X,Y,R,G,B]的数据向量),并且点云154中的每个数据点(例如,像素)可以包含限定该数据点的由其X、Y和Z坐标限定的位置及其颜色值的数据(例如,限定和/或描述为[X,Y,Z,R,G,B]的数据向量)。相应地,在一些情况下,点云154中数据点的X、Y、R、G和B值或数据可以被用于验证正马赛克图像152中的对应数据点的X、Y、R、G和B值或数据(或反之亦然)。
由此,在这个示例中,第一处理引擎113可以被配置为将指示每个像素的由其X、Y和Z坐标限定的位置及其颜色值的任何合适数量的变量(例如,限定和/或描述为例如[X,Y,Z,R,G,B]的向量)作为输入提供给机器学习模型。在一些情况下,机器学习模型可以被配置为在同一卷积层中处理附加高程变量。在其它情况下,机器学习模型可以包括用于处理高程变量的附加卷积层。
在一些实施方式中,第一处理引擎113可以被配置为分析每个数据点以确定该数据点的分类。例如,在一些情况下,可以(例如,由用户或自动但由第一处理引擎113)限定阈值高程,使得高程处于或低于阈值高程的任何数据点被分配给例如地面类并且高程高于阈值高程的任何数据点被分配给例如非地面类(例如,二进制类,其中地面类具有“零”值,并且非地面类具有“一”值,或者反之亦然)。在这样的实施方式中,类值可以是输入到机器学习模型中的附加变量,因此,变量可以是被限定和/或描述为例如[X,Y,Z,R,G,B,类]的向量。
在一些情况下,基于每个数据点的高程的附加数据可以提高由机器学习模型生成的输出的准确度。在一些情况下,高程可以促进数据点的归类。例如,如果数据点被分类在地面类中,那么在将数据点分配给例如建筑物类别时该数据点可以忽略和/或丢弃,因为建筑物类别中的数据点会被分类在非地面类中。由此,第一处理引擎113可以处理来自正马赛克152和点云154二者的数据点,以对每个像素进行识别和/或归类以及对包含类似地被归类的数据点的集合或聚类的一个或多个形状进行识别和/或归类。因此,第一处理引擎113可以输出经分割的数据集,该经分割的数据集可以被存储在数据库125中,并且可以由第二处理引擎114进一步处理,以生成2D输出132和/或3D输出154,如上所述。
虽然在上文中描述为基于包含正马赛克图像152和点云154二者的空中数据来限定CAD文件,但是在其它情况下,机器学习模型可以根据分析正马赛克图像152来生成第一输出,并且可以根据分析点云154来生成第二输出。然后,第一处理引擎113可以比较第一输出和第二输出,以验证和/或增强第一输出和/或第二输出。
在一些实施方式中,输入到机器学习模型中的空中数据可以是来自点云154而不是正马赛克图像152的数据。例如,如上所述,点云154可以包括针对被限定和/或描述为[X,Y,Z,R,G,B]的每个数据点的数据的向量,并且正马赛克图像152可以包括针对限定和/或描述为[X,Y,R,G,B]的每个数据点的数据的向量。由此,在一些情况下,点云154中的数据可以与正马赛克图像数据和点云数据的所组合的数据集合相同。因此,机器学习模型可以被配置为基于例如地理位置数据和/或值、高程数据和/或值、颜色数据和/或值、类数据和/或值和/或点云154中包含的任何其它合适的数据和/或值来输出经分割的数据。
下面提供处理空中数据的第三示例。在这个示例中,第一处理引擎113可以接收点云154,可以通过算法而不是经由机器学习模型(如上所述)来分析点云154。在一些情况下,使用算法分析从第一处理引擎113输出的经处理和/或经分割的数据可以被用于检查、验证、扩充和/或补充机器学习模型。
如上所述,点云154可以是表示3D网格的数据点的集合,其可以对例如感兴趣的场所的地形进行建模(例如,参见图10中的点云154A)。可以对点云154中的每个数据点(例如,经由摄影测量生成的、作为LiDAR扫描的输出生成的数据点等)进行地理参考,从而允许点云表示点云中每个数据点在地球的表面上的真实地点和真实高程。相应地,点云154中的每个数据点可以包括指示该数据点的由其X、Y和Z坐标限定的位置的数据。
在这个示例中,第一处理引擎113可以被配置为使用渐进形态学滤波(PMF)来执行地面分割(在本文中被称为“PMF分割”)。例如,第一处理引擎113可以通过在移动评估窗口下面评估与每个数据点相关联的数据来将与地面特征相关联的数据点和与非地面特征相关联的数据点分离。评估窗口下和/或所包含的点云的部分的密度可以被计算,并且与感兴趣的场所的类型(例如,城市场所、自然场所和/或其组合)相关联的数据一起可以被用于确定针对地面分割的参数的期望的集合(例如,被用于限定被分析的数据集合的界线的形态学移动窗口的单元尺寸和初始距离)。例如,形态学移动窗口可以是窗口或框架,该窗口或框架可以将被分析的数据限制为在该窗口或框架内部和/或由该窗口或框架界定的数据。一旦确定期望的参数,第一处理引擎113就可以执行地面分割以分离与地面特征相关联的数据点和与非地面特征相关联的数据点。
在一些情况下,第一处理引擎113然后可以执行一个或多个处理,以基于非地面数据点的密度将非地面数据点进行聚类。例如,非地面数据点的密度可以被用于确定最小聚类尺寸。更具体而言,第一处理引擎113可以确定和/或限定感兴趣的特征的集合,并且可以针对每个特征确定可以被用来充分表示该感兴趣的特征的最小数量的数据点(例如,可以充分表示建筑物的最小数量的数据点)。对于每个感兴趣的特征,第一处理引擎113可以将满足期望密度阈值和/或标准的数据点的集合进行聚类,并且不属于聚类的任何数据集可以被丢弃和/或以其他方式不被考虑。
然后,第一处理引擎113可以相对于期望的高度滤波器评估每个聚类。例如,高度滤波器(例如,高程标准)可以是针对被认为是感兴趣特征的特征的最小高度(例如,针对被认为是建筑物的特征的最小高度)。高度阈值可以基于感兴趣的特征自动地限定,或者可以是用户限定的。由此,第一处理引擎113相对于所限定的高度阈值和/或标准(例如,高程标准)评估每个聚类中的数据点的最大高度,并且不满足或超过阈值和/或以其它方式不满足标准的任何聚类可以被丢弃和/或以其他方式不被考虑。
在一些情况下,在第一处理引擎113基于例如密度、高度和/或任何其它合适的参数对非地面数据点进行滤波之后,第一处理引擎113可以被配置为将非地面数据点转换为灰度geotiff格式。然后,第一处理引擎113可以分析geotiff中的数据点(例如,像素),以确定、识别和/或限定与数据点相关联的轮廓。例如,在一些情况下,第一处理引擎113可以相对于期望的阈值灰度值评估每个像素的灰度值,使得灰度值等于或低于阈值灰度值的任何像素被分配第一二进制值(例如,“零”),并且灰度值高于阈值灰度值的任何像素被分配第二二进制值(例如,“一”)。由此,第一处理引擎113可以识别具有相对高浓度的相似像素值的一个或多个区域、区段、聚类等,这可以被用于从背景特征(例如,非建筑物)中分割与感兴趣的特征(例如,建筑物)相关联的数据点。
在一些情况下,第一处理引擎113然后可以评估具有相对高浓度的相似像素值的每个区域的一个或多个轮廓和/或紧密度,并且可以例如滤掉其中轮廓和/或紧密度指示噪声而不是感兴趣的特征的区域。类似地陈述的,第一处理引擎113可以滤掉其中轮廓和/或紧密度不满足期望标准(例如,规则性标准或阈值等)的区域。例如,在一些情况下,第一处理引擎113可以分析和/或确定给定聚类中的数据点的轮廓和/或表面,并且可以分配与该轮廓相关联的值和/或与数据点的紧密度相关联的值。由此,第一处理引擎113可以比较所分配的值与指示规则性标准和/或阈值的值,并且可以滤出其中值不满足标准的区域和/或聚类。
在其它情况下,第一处理引擎113可以执行任何合适的滤波过程以移除非期望的噪声。例如,在一些情况下,第一处理引擎113可以评估区域的和/或聚类的分形维度指数(FRAC),FRAC可以表示指示形状的复杂度的值。可能的FRAC值在1和2之间,其中较高的值表示高度复杂的图形,这些图形可能例如偏离欧几里得几何,并且因此不太可能是感兴趣的特征(例如,建筑物)。在一些情况下,可以相对于感兴趣的特征的附加特征来评估每个区域和/或聚类。例如,与建筑物相关联的特性的集合可以包括边缘(墙壁)长度、边缘之间的角度和/或任何其它合适的特性。在一些情况下,可以对其余数据点(像素)进行地理参考,以确保数据点表示地球表面上的真实地点。此外,可以相对于每个感兴趣的特征执行上述处理。由此,第一处理引擎113可以识别、归类和/或分割点云154中的数据(现在以geotiff格式),并且可以输出经分割的数据,该经分割的数据转而可以被存储在数据库125中,并且进一步由第二处理引擎114进行处理以生成2D输出132和/或3D输出154,如上文详细描述的。
如上所述,在一些情况下,将数据分割为经识别和归类的形状和/或特征可以被用于验证机器学习模型对于相同数据点的输出。例如,在一些情况下,使用PMF分割过程(例如,不使用机器学习的过程)确定为与感兴趣的特征相关联的任何数据点可以被分配一个值(例如,“一”值)。然后,第一处理引擎113可以评估从PMF分割和机器学习模型的输出所得到的数据点的值。在一些情况下,如果第一处理引擎113确定PMF分割生成了指示感兴趣的特征的存在的数据点(例如,像素)的值,那么由PMF分割生成的数据点的值可以代替由机器学习模型的输出生成的对应数据点的值。相反,如果来自PMF分割的数据点的值未指示感兴趣的特征的存在,那么由机器学习模型的输出生成的数据点的值不被代替。因此,PMF分割的输出可以被用于验证和/或改善机器学习模型的输出和/或可以被用于对机器学习模型进行补充。
上面将系统100的一些实施方式描述为包括机器学习模型,该机器学习模型被配置为“学习”如何将图像分割和/或将图像中包含的形状识别和归类为“训练”的结果。例如,如上所述,第一处理引擎113可以被配置为将空中数据作为输入提供到机器学习模型中,该机器学习模型转而生成其中每个数据点(例如,像素)与类别相关联的输出。但是,在一些实施方式中,由第一处理引擎113实现的机器学习模型在接收训练之前不能生成期望的输出。在一些情况下,训练可以包括例如提供具有明显可识别为属于已知类别的数据点(例如,像素)的数据(例如,图像),机器学习模型可以将其用作对例如将来分析的数据集合的参考。
如以上参考对图像的处理详细描述的,在训练期间,第一处理引擎113可以接收以例如正马赛克geotiff的形式的空中数据。在像素级,geotiff包含指示例如与每个像素相关联的RGB颜色值的数据,但这些像素未标记和/或以其他方式不与类别相关联。但是,训练机器学习模型使用经归类的数据点(例如,像素)。相应地,在一些情况下,训练机器学习模型可以包括准备在训练期间使用的数据。
例如,在一些情况下,第一处理引擎113可以将geotiff(例如,光栅图像)转换成dxf格式(例如,向量图)。在一些情况下,可以通过手动跟踪光栅图像中的特征并将跟踪到的特征分配给期望类别(例如,本文描述的那些类别中的任一个)来执行geotiff格式到dxf格式的转换。换句话说,转换包括限定与光栅图像中所示的特征的边界对应的一个或多个折线界线。更具体地,dxf格式允许对对象进行标记和/或归类以及将经归类的对象分组到与类别相关联的层中(如上所述)。另外,dxf文件包括内部笛卡尔坐标系(UCS),该坐标系可以基于所显示的对象的X坐标、Y坐标和Z坐标来定位该对象。这些坐标可以在从dxf格式转换回geotiff格式期间被变换和/或以其他方式延续,如本文进一步详细描述的。
在一些情况下,数据准备可以包括除了手动跟踪geotiff中示出的特征、形状、对象等之外的过程和/或步骤。例如,如以上详细描述的,在一些情况下,特征可能不形成闭合形状和/或可能具有延伸超过感兴趣的场所的界线的部分。相应地,在这种情况下,特征的手动跟踪还可以包括闭合任何开放形状。另外,特征的追踪和/或闭合可以包括确保折线的所有挤压方向对准。在一些情况下,数据准备还可以使得形状或对象被分配给单个类别,并且将对象或形状分配给细节类别(例如,“道路细节”)不会导致被分配给更宽泛和/或更通用的类别(例如,“道路”)的对象或形状中的空洞或未归类的区段。换句话说,例如,细节类别上的特征可以由在其中安排细节类别的更宽泛和/或更通用的类别在空间上包封。
在限定表示每个特征的折线形状和/或对象之后,并且在将每个形状和/或对象放置在dxf文件中的期望层上之后,第一处理引擎113可以被配置为将dxf文件转换回tiff格式。更具体地,对于dxf文件中的每个层,第一处理引擎113可以识别和存储(或使得存储器120存储)该层上的每个形状和/或对象的坐标,并且然后可以“光栅化”该层(例如,从向量格式转换成光栅格式)。在对每一层进行光栅化时,基于特征、形状和/或对象是否在该地点来为每个数据点(例如,像素)分配二进制值。在一些情况下,正分类(例如,特征存在)被分配为“一”的值,而负分类(例如,特征不存在)被分配为“零”的值。在光栅化每个层之后,第一处理引擎113可以被配置为合并与每个层相关联的数据,以限定最终或合并的数据集。在一些情况下,合并的数据集可以是并且/或者可以被转换成独热向量(one-hot vector)数据集(例如,单元的矩阵,其中每个单元具有二进制值或“零”或“一”),该数据集可以被输入到机器学习模型中。
在一些情况下,第一处理引擎113可以执行和/或实行Softmax成本函数,从而以独热向量格式和/或任何其它合适的格式变换和/或限定合并的数据集。合并的数据集的独热向量格式使得tiff中的每个特征与仅一个二进制值(例如,“零”或“一”)相关联。如果对多于一个层在光栅化期间为数据点(例如,像素)分配“一”的值,那么第一处理引擎113可以被配置为基于例如类别的优先级和/或层级来应用改正,如以上详细描述的。因此,例如,如果数据点与道路和人行道类别二者相关联,那么第一处理引擎113可以被配置为仅基于在层级中具有较高优先级和/或较高状态的道路类别将数据点分配给道路类别(如上所述)。在一些情况下,类别的优先级和/或层级可以使得细节类别被分配层级中的较高优先级和/或较高状态。由此,分配给道路细节类别和道路类别二者的数据点可以被改正为仅与道路细节类别相关联。另外,第一处理引擎113可以被配置为将预先限定的值分配给不与任何类别相关联的数据点。例如,在一些情况下,分配预先限定的值(例如,99或除了“零”和“一”以外的任何其它合适的值)可以使不与任何类别相关联的数据点和不与特定类别相关联的数据点(例如,对于给定类别被分配“零”的数据点)区分开。
在一些情况下,由光栅化和合并的层形成的图像可以被分割和/或拆分为具有期望数量的像素(例如,数据点)的图块。例如,在一些情况下,第一处理引擎113可以被配置为将图像分割和/或拆分为具有224像素×224像素的尺寸的正方形图块。在将图像分割和/或拆分成图块之后,第一处理引擎113可以被配置为将像素的每个图块作为输入提供给机器学习模型。相应地,可以通过分析合并的数据集来训练机器学习模型,在该合并的数据集中,每个数据点包括数据和/或与数据相关联,该数据限定了例如与该数据点相关联的类别、与该数据点相关联的颜色值和/或任何其它合适的数据。
在一些情况下,可以使用任何合适的机器学习模型和/或架构(诸如例如ResNet图像分割模型)来执行训练。在其它情况下,可以使用例如RefineNet语义分割模型、FCDED、FRRN、Mobile U-Net、PSPNet和/或任何其它合适的模型(诸如本文描述的模型)来执行训练。虽然第一处理引擎113在上文被描述为将图像分割和/或拆分为具有具体尺寸的图块,但是在其它情况下,第一处理引擎113可以将图像分割和/或拆分为任何合适数量的具有任何合适尺寸的图块。在还有其它的情况下,第一处理引擎113不需要将图像分割和/或拆分成图块(例如,第一处理引擎可以实现机器学习模型来执行图像分析而无需分割图像。
在一些情况下,第一处理引擎113可以执行和/或实行损失函数以确定和/或限定训练的准确度。例如,第一处理引擎113可以测量实际输出与期望输出之间的差。例如,这种损失函数可以由等式表示,其中损失=cost_function(Y,Y’)。在其它情况下,第一处理引擎113可以经由“交并比(intersection over union)”方法确定和/或限定训练的准确度,在该方法中,第一处理引擎113测量重叠面积(交集)和联合面积之间的差。更具体地,第一处理引擎113可以被配置为通过计算正确地分类的像素的数量相对于所分析的像素总数的比率(例如,被称为“真阳性”率)来确定和/或限定训练准确度。
在一些情况下,机器学习模型针对每个图块的输出可以被组合以生成和/或形成包括针对每个像素的归类数据和颜色值的图像。在一些情况下,第一处理引擎113可以被配置为应用一个或多个滤波器和/或验证,其中第一处理引擎113验证细节类别由其对应的更宽泛或更通用的类别包封(例如,被归类为“道路细节”的像素由被归类为“道路”的像素包封),如上面详细描述的。
在一些情况下,将以geotiff格式的原始光栅图像转换成以dxf格式的向量图像然后再转换回以tiff格式的光栅图像会导致原始geotiff中的经地理参考的数据丢失。在这样的情况下,第一处理引擎113可以被配置为执行可以对来自机器学习模型的输出图像进行地理参考的一个或多个过程。例如,第一处理引擎113可以被配置为从原始geotiff图像识别和/或提取源参考系统,并且可以限定和/或参考输出图像中的每个数据点(例如,像素)相对于源参考系统的地点,从而对输出图像进行地理参考。
现在参考图11,在11处,使用机器学习自动地限定CAD文件的方法10可以包括使用具有第一组形状的第一空中数据集在第一时间训练机器学习模型。如以上详细描述的,在一些情况下,主机设备(例如,主机设备110)和/或其中包括的处理器(例如,处理器112)可以被配置为接收第一空中数据集,诸如感兴趣的场所的正马赛克图像。在这样的情况下,数据点和/或像素的集合以图案布置,该图案转而形成和/或限定图像。在一些情况下,图像可以在由主机设备和/或处理器接收之前被预处理。例如,预处理可以包括例如将图像(例如,光栅图像)转换成向量图像、使用完全包含每个形状的不同折线界线来限定该形状(例如,经由跟踪和/或任何其它合适的方法)、将每个形状分配给类别以及光栅化图像以使得每个数据点(例如,像素)被归类(如上面详细描述的)。由此,如上所述,可以使用第一空中数据集中的数据来训练机器学习模型。
在一些情况下,在12处,主机设备和/或处理器可以在第一时间之后的第二时间接收具有以图案布置的任何数量的数据点的第二空中数据集。第二空中数据集可以是例如感兴趣的场所的正马赛克图像,其中每个数据点由像素表示,以形成图像。在其它情况下,第二空中数据集可以是例如与感兴趣的场所的覆盖表面对应的包括数据点的3D网格的点云。在还有其它的情况下,第二空中数据集可以包括与感兴趣的场所的正马赛克图像相关联的数据以及与感兴趣的场所相关联的点云。在13处,主机设备和/或处理器然后可以提供与每个数据点相关联的指示作为机器学习模型的输入,以将每个点分类和/或归类到类别中。如以上详细描述的,在一些情况下,类别可以是用户限定的,并且/或者可以基于例如CAD文件中使用的工业标准层来限定。虽然数据点在上文被描述为输入到机器学习模型中,但在其它实施方式中,数据点可以被提供为任何合适的图像分析(诸如例如上述的PMF分割分析等)的输入。
在14处,主机设备和/或处理器可以被配置为对于每个点识别具有与该点具有共同的类别的相邻点的集合,以限定来自第二组形状中的形状。例如,在一些实施方式中,主机设备和/或处理器识别针对每个点(例如,像素)的数据,诸如例如地点数据、颜色值数据、类别数据、高程数据和/或任何其它合适的数据。每个形状可以对应于感兴趣的场所上和/或感兴趣的场所中的特征。如以上详细描述的,主机设备和/或处理器可以将第二空中数据集中的每个数据点作为输入提供给机器学习模型,并且可以被配置为输出与每个形状和每个形状的类别相关联的数据(例如,经分割的数据)。
在一些情况下,图像的经分割的数据可以被存储在例如数据库(例如,数据库125)或存储器中。此外,在15处,主机设备和/或处理器可以被配置为通过关于标准分析与来自第二组形状中的每个形状的边界相关联的每个点相对于与该形状的边界相关联的至少一个其它点的位置来限定该形状的折线界线。更具体而言,在一些情况下,主机设备和/或处理器可以使用每个形状的至少一些数据点来限定针对该形状的折线界线,这些数据点限定该形状的边界、与该形状的边界关联和/或以其它方式表示该形状的边界。在一些情况下,主机设备和/或处理器然后可以通过关于标准分析相对于每个点的期望和/或预期位置的该点的位置来滤波、平滑、简化和/或以其它方式限定折线(如以上参考图3详细描述的)。此外,由折线界线限定和/或形成的每个形状可以与包含在该形状中的数据点(例如,像素)的类别相关联和/或以其它方式分配给包含在该形状中的数据点(例如,像素)的类别。相应地,在16处,在已经限定了每个形状的折线界线并已对每个形状进行归类之后,主机设备和/或处理器可以被配置为使用来自第二组形状中的每个形状的折线界线来生成CAD文件。然后该CAD文件可以通过任何合适的CAD软件被打开、查看、修改等。
本文描述的一些实施例涉及具有非暂态计算机可读介质(也可以被称为非暂态处理器可读介质)的计算机存储产品,该介质上具有用于执行各种计算机实现的操作的指令或计算机代码。在计算机可读介质(或处理器可读介质)本身不包括暂态传播信号(例如,在诸如空间或线缆之类的传输介质上携带信息的传播电磁波)的意义上,它是非暂态的。介质和计算机代码(也可以被称为代码)可以是出于一个或多个具体目的而设计和构造的介质和计算机代码。非暂态计算机可读介质的示例包括但不限于:磁存储介质,诸如硬盘、软盘和磁带;光学存储介质,诸如紧凑盘/数字视频盘(CD/DVD)、紧凑盘只读存储器(CD-ROM)和全息设备;磁光存储介质,诸如光盘;载波信号处理模块;以及专门配置为存储和执行程序代码的硬件设备,诸如专用集成电路(ASIC)、可编程逻辑器件(PLD)、只读存储器(ROM)和随机存取存储器(RAM)设备。本文描述的其它实施例涉及计算机程序产品,其可以包括例如本文所讨论的指令和/或计算机代码。
本文描述的一些实施例和/或方法可以由(在硬件上执行的)软件、硬件或其组合来执行。硬件模块可以包括例如通用处理器、现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)。(在硬件上执行的)软件模块可以用多种软件语言(例如,计算机代码)表达,该多种软件语言包括C、C++、JavaTM、Ruby、Visual BasicTM和/或其它面向对象的、过程式或其它编程语言和开发工具。计算机代码的示例包括但不限于:微代码或微指令;机器指令,诸如由编译器产生的;用于产生web服务的代码;以及包含由计算机使用解释程序执行的更高级指令的文件。例如,可以使用命令式编程语言(例如,C、Fortran等)、功能性编程语言(Haskell、Erlang等)、逻辑编程语言(例如,Prolog)、面向对象的编程语言(例如,Java、C++等)或其它合适的编程语言和/或开发工具来实现实施例。计算机代码的附加示例包括但不限于控制信号、加密代码和压缩代码。
虽然上文已经描述了各种实施例,但是应当理解的是,它们仅仅作为示例而非限制而提出。在上文描述的示意图和/或实施例指示以某些朝向或位置布置的某些部件的情况下,部件的布置可以修改。虽然实施例已被具体地示出并描述,但是将理解的是,可以进行形式和细节上的各种改变。虽然各种实施例已被描述为具有特定特征和/或部件的组合,但是具有来自本文描述的任何实施例的任何特征和/或部件的组合的其它实施例是有可能的。
在上述方法和/或事件指示某些事件和/或过程以一定次序发生的情况下,可以修改某些事件和/或过程的次序。此外,某些事件和/或过程可以在可能的时候在并行过程中并发地执行,以及如上所述顺序地执行。
Claims (31)
1.一种非暂态处理器可读介质,存储表示要由处理器执行的指令的代码,所述代码包括使得处理器执行以下操作的代码:
接收具有以图案布置的多个点的空中数据;
提供与来自所述多个点中的每个点相关联的指示作为机器学习模型的输入,以将来自所述多个点中的每个点分类到来自多个类别中的类别中;
对于来自所述多个点中的每个点,从所述多个点中识别在图案中与该点相邻并且具有来自所述多个类别中的与该点共同的类别的点的集合,以限定来自多个形状中的形状;
通过关于标准分析与来自所述多个形状中的每个形状的边界相关联的每个点的相对于与该形状的边界相关联的至少一个其它点的位置的位置,限定该形状的折线界线;
限定针对来自所述多个类别中的每个类别的层,针对来自所述多个类别中的类别的层包括与该类别相关联的来自所述多个形状中的每个形状;以及
使用来自所述多个形状中的每个形状的折线界线以及针对来自所述多个类别中的每个类别的层来生成计算机辅助设计文件。
2.如权利要求1所述的非暂态处理器可读介质,其中,空中数据来自由多个像素形成的空中正马赛克图像,来自所述多个点中的每个点与空中正马赛克图像中的来自所述多个像素中的像素相关联。
3.如权利要求1所述的非暂态处理器可读介质,其中,空中数据来自点云。
4.如权利要求1所述的非暂态处理器可读介质,其中,所述多个类别与人造结构或地质特征中的至少一个相关联。
5.如权利要求1所述的非暂态处理器可读介质,所述代码还包括使得处理器执行以下操作的代码:
基于预先限定的类别层级从类别的集合中选择针对来自所述多个点中的点的类别,来自类别的集合中的每个类别都来自所述多个类别,所述点由机器学习模型分类到类别的集合。
6.如权利要求1所述的非暂态处理器可读介质,其中,空中数据包括与来自所述多个点中的每个点相关联的高程数据。
7.如权利要求1所述的非暂态处理器可读介质,其中,所述机器学习模型包括神经网络、残差神经网络、全分辨率残差网络(FRRN)、决策树模型、随机森林模型、贝叶斯网络或聚类模型中的至少一个。
8.如权利要求1所述的非暂态处理器可读介质,其中,使得处理器限定折线界线的代码包括使得处理器执行以下操作的代码:将针对来自所述多个形状中的每个形状的折线界线限定为(1)包含该形状以及(2)与针对来自所述多个形状中的其余形状的折线界线不同。
9.如权利要求1所述的非暂态处理器可读介质,其中,使用地面控制点来验证空中数据。
10.如权利要求1所述的非暂态处理器可读介质,其中,标准是预定的偏差阈值,使得处理器限定折线界线的代码包括使得处理器执行以下操作的代码:当以其它方式在折线界线上的与边界相关联的每个点的位置的偏差小于预定的偏差阈值时,将针对来自所述多个形状中的该形状的折线界线限定为与边界相关联的第一点和与边界相关联的第二点之间的直线。
11.一种装置,包括:
存储器;以及
可操作地耦合到所述存储器的处理器,处理器被配置为接收具有以图案布置的多个点的空中数据,处理器被配置为提供与来自所述多个点中的每个点相关联的指示作为机器学习模型的输入,以将来自所述多个点中的每个点分类到来自多个类别中的类别的集合中,
处理器被配置为,对于来自所述多个点中的每个点,基于预先限定的类别层级选择针对该点的来自类别的集合中的类别,
处理器被配置为,对于来自所述多个点中的每个点,从所述多个点中识别在图案中与该点相邻并且具有来自所述多个类别中的与该点共同的类别的点的集合,以限定来自多个形状中的形状,
处理器被配置为使用来自所述多个形状中的每个形状来生成计算机辅助设计文件。
12.如权利要求11所述的装置,其中,空中数据来自由多个像素形成的空中正马赛克图像,来自所述多个点中的每个点与空中正马赛克图像的来自所述多个像素中的像素相关联。
13.如权利要求11所述的装置,其中,空中数据来自点云。
14.如权利要求11所述的装置,其中,处理器被配置为,通过关于标准分析与来自所述多个形状中的每个形状的边界相关联的每个点的相对于与该形状的边界相关联的至少一个其它点的位置的位置,限定该形状的折线界线。
15.如权利要求11所述的装置,其中,处理器被配置为限定针对来自所述多个类别中的每个类别的层,针对来自所述多个类别中的类别的层包括与该类别相关联的来自所述多个形状中的每个形状。
16.如权利要求11所述的装置,其中,空中数据包括与来自所述多个点中的每个点相关联的高程数据。
17.如权利要求1所述的装置,其中,所述多个类别与人造结构或地质特征中的至少一个相关联。
18.一种方法,包括:
使用具有第一多个形状的第一空中数据集在第一时间训练机器学习模型,来自所述第一多个形状中的每个形状(1)利用来自多个类别中的类别进行标记,并且(2)包括完全包含该形状并且与针对来自所述第一多个形状中的其余形状的折线界线不同的折线界线;
在所述第一时间之后的第二时间接收具有以图案布置的多个点的第二空中数据集;
提供与来自所述多个点中的每个点相关联的指示作为机器学习模型的输入,以将来自所述多个点中的每个点分类到来自所述多个类别中的类别中;
对于来自所述多个点中的每个点,从所述多个点中识别在图案中与该点相邻并且具有来自所述多个类别中的与该点共同的类别的点的集合,以限定来自第二多个形状中的形状;
通过关于标准分析与来自所述第二多个形状中的每个形状的边界相关联的每个点的相对于与该形状的边界相关联的至少一个其它点的位置的位置,限定该形状的折线界线;以及
使用来自所述第二多个形状中的每个形状的折线界线来生成计算机辅助设计文件。
19.如权利要求18所述的方法,其中,标准是预定的偏差阈值,限定折线界线包括:当以其它方式在折线界线上的与边界相关联的每个点的位置的偏差小于预定的偏差阈值时,将针对来自所述第二多个形状中的该形状的折线界线限定为与该形状的边界相关联的第一点和与该形状的边界相关联的第二点之间的直线。
20.如权利要求18所述的方法,其中,所述第二空中数据集包括与来自所述多个点中的每个点相关联的高程数据。
21.如权利要求18所述的方法,其中,所述多个类别包括建筑物、道路、人行道、停车场、墙壁、窗户、门或屋顶中的至少一个。
22.如权利要求18所述的方法,还包括:
基于预先限定的类别层级从类别的集合中选择针对来自所述多个点中的点的类别,来自类别的集合中的每个类别都来自所述多个类别,所述点由机器学习模型分类到类别的集合。
23.如权利要求18所述的方法,其中,使用地面控制点来验证包括在所述第一空中数据集和所述第二空中数据集中的每一个中的空中数据。
24.如权利要求18所述的方法,其中,包括在所述第一空中数据集和所述第二空中数据集的每一个中的空中数据来自由多个像素形成的空中正马赛克图像,来自所述多个点中的每个点与空中正马赛克图像的来自所述多个像素中的像素相关联。
25.如权利要求18所述的方法,其中,包括在所述第一空中数据集和所述第二空中数据集的每一个中的空中数据来自点云。
26.一种非暂态处理器可读介质,存储表示要由处理器执行的指令的代码,所述代码包括使得处理器执行以下操作的代码:
接收具有以图案布置的多个点的空中数据;
对空中数据进行滤波,以限定来自所述多个点中的点的集合;
对于来自点的集合中的每个点,识别在图案中与该点相邻的点的分组,以限定来自多个聚类中的聚类;
基于来自聚类的集合中的每个聚类中的来自点的集合中的多个点或者来自聚类的集合中的每个聚类中的来自点的集合中的每个点中的至少一者满足高程标准,限定来自所述多个聚类中的聚类的集合;
至少部分地基于来自聚类的集合中的至少一个聚类满足规则性标准,限定由来自聚类的集合中的所述至少一个聚类形成的来自多个形状中的形状;
通过关于标准分析与来自所述多个形状中的每个形状的边界相关联的每个点的相对于与该形状的边界相关联的至少一个其它点的位置的位置,生成该形状的折线界线;以及
使用来自聚类的集合中的每个聚类的折线界线来生成计算机辅助设计文件。
27.如权利要求26所述的非暂态处理器可读介质,其中,空中数据来自点云。
28.如权利要求26所述的非暂态处理器可读介质,其中,使得处理器限定聚类的集合的代码是基于来自聚类的集合中的每个聚类中的来自点的集合中的点的数量满足点云密度阈值。
29.如权利要求26所述的非暂态处理器可读介质,其中,来自所述多个形状中的形状由来自聚类的集合中的一个聚类形成。
30.如权利要求26所述的非暂态处理器可读介质,其中,来自所述多个形状中的形状由来自聚类的集合中的多于一个聚类集体地形成。
31.如权利要求26所述的非暂态处理器可读介质,其中,来自所述多个形状中的形状由来自聚类的集合中的每个聚类集体地形成。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762580933P | 2017-11-02 | 2017-11-02 | |
US62/580,933 | 2017-11-02 | ||
PCT/US2018/058953 WO2019090072A1 (en) | 2017-11-02 | 2018-11-02 | Methods and apparatus for automatically defining computer-aided design files using machine learning, image analytics, and/or computer vision |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111527467A true CN111527467A (zh) | 2020-08-11 |
CN111527467B CN111527467B (zh) | 2024-08-06 |
Family
ID=66332728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880084881.6A Active CN111527467B (zh) | 2017-11-02 | 2018-11-02 | 使用机器学习、图像分析和/或计算机视觉自动限定计算机辅助设计文件的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10719641B2 (zh) |
EP (1) | EP3704567A4 (zh) |
CN (1) | CN111527467B (zh) |
AU (1) | AU2018360836B2 (zh) |
CA (1) | CA3099443A1 (zh) |
WO (1) | WO2019090072A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114485694A (zh) * | 2020-11-13 | 2022-05-13 | 元平台公司 | 用于自动检测建筑物覆盖区的系统和方法 |
CN117875671A (zh) * | 2024-02-23 | 2024-04-12 | 广东格绿朗节能科技有限公司 | 基于人工智能的遮阳篷生产分析方法、系统及存储介质 |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3020282A1 (en) | 2016-06-27 | 2018-01-04 | Omniearth, Inc. | Systems and methods for utilizing property features from images |
US10943149B2 (en) | 2017-08-31 | 2021-03-09 | Omniearth, Inc. | Systems and methods for automatic estimation of object characteristics from digital images |
WO2019090072A1 (en) | 2017-11-02 | 2019-05-09 | Airworks Solutions, Inc. | Methods and apparatus for automatically defining computer-aided design files using machine learning, image analytics, and/or computer vision |
US11080537B2 (en) * | 2017-11-15 | 2021-08-03 | Uatc, Llc | Autonomous vehicle lane boundary detection systems and methods |
WO2019098418A1 (ko) * | 2017-11-16 | 2019-05-23 | 삼성전자 주식회사 | 뉴럴 네트워크 학습 방법 및 디바이스 |
CA3085096A1 (en) | 2017-12-08 | 2019-06-13 | Geomni, Inc. | Computer vision systems and methods for geospatial property feature detection and extraction from digital images |
US10762063B2 (en) * | 2017-12-15 | 2020-09-01 | International Business Machines Corporation | Cognitive mobile application design search engine including a keyword search |
US10650531B2 (en) * | 2018-03-16 | 2020-05-12 | Honda Motor Co., Ltd. | Lidar noise removal using image pixel clusterings |
US11164067B2 (en) * | 2018-08-29 | 2021-11-02 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging |
AU2019346569A1 (en) | 2018-09-25 | 2021-04-29 | Geomni, Inc. | Computer vision systems and methods for ground surface condition detection and extraction from digital images |
US10902238B2 (en) * | 2018-11-28 | 2021-01-26 | Toyota Research Institute, Inc. | Systems and methods for predicting semantics of a particle using semantic segmentation |
US11315036B2 (en) * | 2018-12-31 | 2022-04-26 | Paypal, Inc. | Prediction for time series data using a space partitioning data structure |
US20200210804A1 (en) * | 2018-12-31 | 2020-07-02 | Qi Lu | Intelligent enclosure systems and computing methods |
US11790773B2 (en) * | 2019-02-25 | 2023-10-17 | Quantifly Llc | Vehicle parking data collection system and method |
WO2020190821A1 (en) * | 2019-03-15 | 2020-09-24 | Genentech, Inc. | Deep convolutional neural networks for tumor segmentation with positron emission tomography |
EP3742398A1 (en) * | 2019-05-22 | 2020-11-25 | Bentley Systems, Inc. | Determining one or more scanner positions in a point cloud |
CA3139486A1 (en) * | 2019-06-07 | 2020-12-10 | Stephen Ng | Systems and methods for automated detection of changes in extent of structures using imagery |
US11927944B2 (en) * | 2019-06-07 | 2024-03-12 | Honeywell International, Inc. | Method and system for connected advanced flare analytics |
CN111078830B (zh) * | 2019-07-11 | 2023-11-24 | 广东小天才科技有限公司 | 一种听写提示方法及电子设备 |
WO2021046304A1 (en) * | 2019-09-04 | 2021-03-11 | Shake N Bake Llc | Uav surveying system and methods |
US11303795B2 (en) * | 2019-09-14 | 2022-04-12 | Constru Ltd | Determining image capturing parameters in construction sites from electronic records |
US11971871B1 (en) * | 2019-09-17 | 2024-04-30 | Sketch Align, Inc. | System controlled by data bearing records |
CA3149080A1 (en) | 2019-09-20 | 2021-03-25 | Shadrian Strong | Roof condition assessment using machine learning |
WO2021062152A1 (en) | 2019-09-25 | 2021-04-01 | Pictometry International Corp. | Systems and methods for creating automated faux-manual markings on digital images imitating manual inspection results |
AU2020365115A1 (en) | 2019-10-18 | 2022-03-10 | Pictometry International Corp. | Geospatial object geometry extraction from imagery |
EP3825730A1 (en) | 2019-11-21 | 2021-05-26 | Bentley Systems, Incorporated | Assigning each point of a point cloud to a scanner position of a plurality of different scanner positions in a point cloud |
CN111028151B (zh) * | 2019-12-03 | 2023-05-26 | 西安科技大学 | 基于图残差神经网络融合的点云数据拼接方法 |
CN110924457A (zh) * | 2019-12-30 | 2020-03-27 | 青岛国信海天中心建设有限公司 | 一种基于测量机器人的基坑变形监测方法及系统 |
US11842538B2 (en) | 2020-01-27 | 2023-12-12 | AIDash, Inc. | System and method of intelligent vegetation management |
WO2021173277A1 (en) * | 2020-02-27 | 2021-09-02 | Apple Inc. | Semantic labeling of point cloud clusters |
US11734767B1 (en) | 2020-02-28 | 2023-08-22 | State Farm Mutual Automobile Insurance Company | Systems and methods for light detection and ranging (lidar) based generation of a homeowners insurance quote |
US11663550B1 (en) | 2020-04-27 | 2023-05-30 | State Farm Mutual Automobile Insurance Company | Systems and methods for commercial inventory mapping including determining if goods are still available |
US20210390424A1 (en) * | 2020-06-10 | 2021-12-16 | At&T Intellectual Property I, L.P. | Categorical inference for training a machine learning model |
DE102020117059A1 (de) | 2020-06-29 | 2021-12-30 | Bayernwerk Ag | System zum Verarbeiten georeferenzierter 3D-Punktwolken und Verfahren zum Erzeugen georeferenzierter 3D-Punktwolken |
WO2022126054A2 (en) * | 2020-11-09 | 2022-06-16 | University Of Florida Research Foundation | Drone-based lowest floor elevation |
JP7030937B1 (ja) * | 2020-11-26 | 2022-03-07 | 株式会社ラグロフ設計工房 | 土木構造物の3次元モデルを生成するためのコンピュータプログラム、そのコンピュータプログラムがインストールされたコンピュータ及び土木構造物の3次元モデルの生成システム |
CN112734675B (zh) * | 2021-01-19 | 2024-02-09 | 西安理工大学 | 一种基于金字塔模型和非局部增强密集块的图像去雨方法 |
US11030456B1 (en) * | 2021-01-29 | 2021-06-08 | Booz Allen Hamilton Inc. | Systems and methods for geo-localization in sensor-deprived or sensor-limited environments |
CN112884760B (zh) * | 2021-03-17 | 2023-09-26 | 东南大学 | 近水桥梁多类型病害智能检测方法与无人船设备 |
KR102557870B1 (ko) * | 2021-04-30 | 2023-07-21 | 주식회사 서연이화 | 자동차 부품의 성능 검증 결과를 예측하는 인공지능 모델의 학습 데이터를 생성하는 방법 및 장치 |
US11928505B2 (en) * | 2021-05-12 | 2024-03-12 | Lockheed Martin Corporation | Feature extraction from perception data for pilot assistance with high workload tasks |
CN113569315B (zh) * | 2021-07-27 | 2023-11-28 | 中铁大桥局集团有限公司 | 桥梁集群动态评估方法、装置、设备和可读存储介质 |
CN113805834B (zh) * | 2021-08-23 | 2024-07-26 | 桂林未来鹏创软件有限公司 | 一种汽车智能座舱测试方法、系统、装置和存储介质 |
CN113780313A (zh) * | 2021-09-18 | 2021-12-10 | 东软睿驰汽车技术(沈阳)有限公司 | 线特征的提取方法、装置和电子设备 |
US12046049B2 (en) * | 2021-12-01 | 2024-07-23 | Motional Ad Llc | Automatically detecting traffic signals using sensor data |
CN114241087B (zh) * | 2021-12-21 | 2023-05-05 | 中设数字技术股份有限公司 | 一种基于气泡图的建筑平面布局生成方法 |
CN114004004B (zh) * | 2022-01-04 | 2022-04-01 | 城云科技(中国)有限公司 | 基于深度学习的隧道裂缝变化趋势预测方法、装置及应用 |
CN114707199B (zh) * | 2022-01-04 | 2024-04-30 | 上海品览数据科技有限公司 | 一种cad电气照明平面图公共照明灯自动排布方法 |
US11908185B2 (en) * | 2022-06-30 | 2024-02-20 | Metrostudy, Inc. | Roads and grading detection using satellite or aerial imagery |
CN116306318B (zh) * | 2023-05-12 | 2023-08-01 | 青岛哈尔滨工程大学创新发展中心 | 基于深度学习的三维海洋温盐场预报方法、系统及设备 |
CN117789053B (zh) * | 2024-01-02 | 2024-07-16 | 东南大学建筑设计研究院有限公司 | 一种基于多图像增强语义分割的产权地块识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020059042A1 (en) * | 1996-04-24 | 2002-05-16 | Kacyra Ben K. | Integrated system for quickly and accurately imaging and modeling three-dimensional objects |
US20150006117A1 (en) * | 2013-07-01 | 2015-01-01 | Here Global B.V. | Learning Synthetic Models for Roof Style Classification Using Point Clouds |
CN105637512A (zh) * | 2013-08-22 | 2016-06-01 | 贝斯普客公司 | 用于创造定制产品的方法和系统 |
US20160267326A1 (en) * | 2015-03-10 | 2016-09-15 | Fringefy Ltd. | Image abstraction system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9111146B2 (en) * | 2008-02-15 | 2015-08-18 | Tivo Inc. | Systems and methods for semantically classifying and normalizing shots in video |
US20150117712A1 (en) | 2011-05-31 | 2015-04-30 | Pointgrab Ltd. | Computer vision based control of a device using machine learning |
US9679227B2 (en) | 2013-08-02 | 2017-06-13 | Xactware Solutions, Inc. | System and method for detecting features in aerial images using disparity mapping and segmentation techniques |
KR102147361B1 (ko) * | 2015-09-18 | 2020-08-24 | 삼성전자주식회사 | 객체 인식 장치 및 방법, 객체 인식 모델 학습 장치 및 방법 |
WO2018035805A1 (en) * | 2016-08-25 | 2018-03-01 | Intel Corporation | Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation |
US9928448B1 (en) * | 2016-09-23 | 2018-03-27 | International Business Machines Corporation | Image classification utilizing semantic relationships in a classification hierarchy |
WO2019090072A1 (en) | 2017-11-02 | 2019-05-09 | Airworks Solutions, Inc. | Methods and apparatus for automatically defining computer-aided design files using machine learning, image analytics, and/or computer vision |
-
2018
- 2018-11-02 WO PCT/US2018/058953 patent/WO2019090072A1/en unknown
- 2018-11-02 AU AU2018360836A patent/AU2018360836B2/en active Active
- 2018-11-02 CA CA3099443A patent/CA3099443A1/en active Pending
- 2018-11-02 CN CN201880084881.6A patent/CN111527467B/zh active Active
- 2018-11-02 US US16/179,401 patent/US10719641B2/en active Active
- 2018-11-02 EP EP18872755.6A patent/EP3704567A4/en active Pending
-
2020
- 2020-06-10 US US16/897,877 patent/US11599689B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020059042A1 (en) * | 1996-04-24 | 2002-05-16 | Kacyra Ben K. | Integrated system for quickly and accurately imaging and modeling three-dimensional objects |
US20150006117A1 (en) * | 2013-07-01 | 2015-01-01 | Here Global B.V. | Learning Synthetic Models for Roof Style Classification Using Point Clouds |
CN105637512A (zh) * | 2013-08-22 | 2016-06-01 | 贝斯普客公司 | 用于创造定制产品的方法和系统 |
US20160267326A1 (en) * | 2015-03-10 | 2016-09-15 | Fringefy Ltd. | Image abstraction system |
Non-Patent Citations (2)
Title |
---|
DANIEL MUNOZ 等: "Stacked Hierarchical Labeling", 11TH EUROPEAN CONFERENCE ON COMPUTER VISION, pages 57 - 70 * |
TIMO HACKEL 等: "Contour Detection in Unstructured 3D Point Clouds", 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR), pages 1610 - 1618 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114485694A (zh) * | 2020-11-13 | 2022-05-13 | 元平台公司 | 用于自动检测建筑物覆盖区的系统和方法 |
CN117875671A (zh) * | 2024-02-23 | 2024-04-12 | 广东格绿朗节能科技有限公司 | 基于人工智能的遮阳篷生产分析方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
AU2018360836A1 (en) | 2020-06-25 |
US10719641B2 (en) | 2020-07-21 |
WO2019090072A1 (en) | 2019-05-09 |
CA3099443A1 (en) | 2019-05-09 |
US20210124855A1 (en) | 2021-04-29 |
CN111527467B (zh) | 2024-08-06 |
EP3704567A4 (en) | 2021-06-30 |
US11599689B2 (en) | 2023-03-07 |
AU2018360836B2 (en) | 2023-11-02 |
EP3704567A1 (en) | 2020-09-09 |
US20190155973A1 (en) | 2019-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111527467B (zh) | 使用机器学习、图像分析和/或计算机视觉自动限定计算机辅助设计文件的方法和装置 | |
CN107735794B (zh) | 使用图像处理的状况检测 | |
CN107835997B (zh) | 使用计算机视觉的用于电力线走廊监测的植被管理 | |
CN110222626B (zh) | 一种基于深度学习算法的无人驾驶场景点云目标标注方法 | |
Sahar et al. | Using aerial imagery and GIS in automated building footprint extraction and shape recognition for earthquake risk assessment of urban inventories | |
Soilán et al. | Automatic extraction of road features in urban environments using dense ALS data | |
Teodoro et al. | Comparison of performance of object-based image analysis techniques available in open source software (Spring and Orfeo Toolbox/Monteverdi) considering very high spatial resolution data | |
Chen et al. | Photogrammetric point cloud segmentation and object information extraction for creating virtual environments and simulations | |
Chen et al. | 3D photogrammetry point cloud segmentation using a model ensembling framework | |
Han et al. | Scan2drawing: use of deep learning for as-built model landscape architecture | |
Shokri et al. | Utility poles extraction from mobile lidar data in urban area based on density information | |
Hao et al. | Automatic building extraction from terrestrial laser scanning data | |
Costantino et al. | Features and ground automatic extraction from airborne LiDAR data | |
Fernandes et al. | Extraction of building roof contours from the integration of high-resolution aerial imagery and laser data using Markov random fields | |
Ahmed et al. | High-quality building information models (BIMs) using geospatial datasets | |
Zhang | Photogrammetric point clouds: quality assessment, filtering, and change detection | |
Teo | Deep-Learning for Lod1 Building Reconstruction from Airborne Lidar Data | |
Fang et al. | Semantic supported urban change detection using ALS point clouds | |
Yu et al. | Advanced approach for automatic reconstruction of 3d buildings from aerial images | |
Uthai et al. | Deep Learning-Based Automation of Road Surface Extraction from UAV-Derived Dense Point Clouds in Large-Scale Environment | |
Daghigh | Efficient automatic extraction of discontinuities from rock mass 3D point cloud data using unsupervised machine learning and RANSAC | |
Sümer | Automatic reconstruction of photorealistic 3-D building models from satellite and ground-level images | |
Elaksher et al. | Automatic generation of high-quality three-dimensional urban buildings from aerial images | |
Ye | Extraction of digital terrain models from airborne laser scanning data based on transfer-learning | |
Ahmed et al. | Delineating planner surfaces from correlation-based DEMS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |