CN110678737B - 用于分析物件的装置及方法 - Google Patents

用于分析物件的装置及方法 Download PDF

Info

Publication number
CN110678737B
CN110678737B CN201880024022.8A CN201880024022A CN110678737B CN 110678737 B CN110678737 B CN 110678737B CN 201880024022 A CN201880024022 A CN 201880024022A CN 110678737 B CN110678737 B CN 110678737B
Authority
CN
China
Prior art keywords
spectral
data points
data
information
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880024022.8A
Other languages
English (en)
Other versions
CN110678737A (zh
Inventor
卡尔·克里斯蒂安·维索
查鲁拉·安德鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vosglade Co ltd
Original Assignee
Vosglade Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vosglade Co ltd filed Critical Vosglade Co ltd
Publication of CN110678737A publication Critical patent/CN110678737A/zh
Application granted granted Critical
Publication of CN110678737B publication Critical patent/CN110678737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提出一种用于分析物件的装置及方法，所述物件包含建筑物、建筑环境及/或环境区域。采集物件的图像数据点并进行地理参考以便生成物件数据点。基于光谱特性评估来确定所述物件的性质，例如材料组成、材料状态或材料性质。根据所述光谱特性评估来生成三维物件模型。

Description

用于分析物件的装置及方法
技术领域
本文件涉及获得建筑物、建筑环境及/或环境区域的几何形状及材料性质以及它们相应的三维模型生成及表示的装置及方法。此外，可极高效地且以快速方式确定建筑物、建筑环境及/或环境区域等所勘测物件的材料性质，例如劣化程度。
背景技术
网络地图服务能够针对城镇或自然景观等各种位置提供地图。具体地说，一个位置中的地图图像可包括直接整合三维景观及地形特征的鸟瞰视角。举例来说，可在地图表示中显示纹理化的3D建筑物模型。
此外，这些网络地图服务还可提供各种位置的街道级视图。具体地说，可根据请求显示拼接图像的全景，从而向用户提供所选地图位置的360°全景街道级视图。
此外，用于车辆的高级驾驶辅助系统设计成通过提供向驾驶员警示潜在问题的技术来避免碰撞及事故，或通过实施保护措施并接管对车辆的控制来避免碰撞。具体地说，驾驶辅助系统可配置成辨识车辆附近的物体，且在即将发生碰撞时警告驾驶员或者隐匿地采取行动。
然而，为网络地图服务以及驾驶辅助系统中的三维结构模型提供的详细信息的水平是有限的。具体地说，当前系统并不提供与所显示物件的物件组成(例如，显示的建筑物外立面中含有什么类别的材料)或例如材料劣化状态或污染状态等材料性质有关的足够信息。
发明内容
本发明的目标是实现一种用于分析包含建筑物、建筑环境及/或环境区域的物件的装置及方法，其允许有效且在短时间内确定所述物件的材料性质。
此外，提出一种用于物件分析及装置建模的装置及方法，其提高所勘测物件的可用信息的水平，并且能够以相当快速的方式实现物件的更准确、详细的模型生成。
本发明可应用于网络地图服务图表(例如谷歌地图)或驾驶辅助系统。然而，应注意，各方面及实施例还可应用于不同领域，例如维护、耕种或景观美化操作。此外，一些方面及实施例的应用也可在航海环境中实施，例如船舶、船只或石油钻塔的劣化状态监控。
在下文中，将给出对示范性实施例的特征及方面的支持，并且将描述优势。从后面的附图及相关示范性实施例的更详细描述中，其它优势及特征将变得显而易见。
根据一方面，可提供一种用于分析物件的装置。所述物件可包含或包括建筑物、建筑环境或环境区域中的至少一种。换句话说，所述物件可包含或包括建筑物、建筑环境及/或环境区域。
举例来说，物件可包括街道、高速公路、铁轨、桥梁或任何其它基础设施元素。另外，物件还可包括房屋、摩天大楼、工业设施或自然景观。
在一些实施例中，用于分析物件的装置可包括成像构件。所述成像构件可配置成用于检测所述物件的图像数据点。
举例来说，所述成像构件可以是能够检测或接收由所勘测物件反射或发射的光子(即光波)的任何传感器或传感器系统(例如相机或相机系统)。此类物件信号，即与所勘测物件相关联的辐射信号，可被分类为图像数据点。
此外，所述装置可包括指派构件，所述指派构件配置成用于将空间坐标指派给所述相应图像数据点。具体地说，可通过将空间坐标指派给所述相应图像数据点来获得物件数据点。
换句话说，用于分析物件的装置可包括用于将空间坐标指派给所述相应图像数据点以便获得物件数据点的指派构件。
举例来说，所述指派构件可包括全球定位系统/装置或用于确定空间中的位置的任何其它构件。因此，所收集的图像数据点可由用于分析物件的装置进行地理参考，并且可将空间中的位置分配给通过成像构件收集的信息，即图像数据点。另外，指派构件还可包括与全球定位系统或装置相关联的一个或多个计算装置。因此，可通过在一个或多个计算装置上执行的数据处理来实现地理参考。
此外，用于分析物件的装置可包括用于基于所述物件数据点至少确定所述物件的材料性质的构件。
确定构件可指能够识别或检测物件的可测量特性的任何装置或设备。举例来说，确定构件可指测量或确定温度的能力。另外，确定构件还可包括一个或多个计算装置，其用于对测量或确定的数据进行数据处理。因此，性质可指例如物件温度，例如通过热成像所得。然而，性质可以是任何类别的物理、构造、化学及/或生物材料性质。另外，性质还可指例如所勘测物件的几何形状及/或大小。此外，性质还可指组成的变化，例如制成更构成物件的物质的变化。
在一些实施例中，至少光谱库数据可用于所述确定。此外，所述光谱库数据可包括对应于物理、构造、化学及/或生物材料性质的材料光谱特性的系综。
举例来说，光谱库数据可存储在与用于分析物件的装置相关联的硬件(例如，存储器装置)上。具体地说，光谱库数据可指与相应材料相关的预先记录的或预定的光谱特性的集合或系综。举例来说，光谱库数据可包括针对在不同照明或湿度条件等某些外部条件下的各种材料的反射及/或发射光谱，例如，反射率分布波长依赖性。此外，光谱库数据还可包括与众多材料的不同劣化状态或不同物理及化学状态相关的光谱特征(例如，辐射率及/或反射率与波长之间的函数关系)。举例来说，光谱库数据可指示特定材料是否含有水、冰、雪或任何其它物质，例如铁锈、苔藓或甚至微观生物体。构造或构造性质可指物件的特定结构特征。举例来说，关于建筑物，构造可指不同建筑物区段的材料及几何组成及/或布置的差异。具体地说，建筑物屋顶可利用例如木材及/或钢的材料构造，其中建筑物外立面可由混凝土或砖制成。另外，建筑物屋顶及地基的几何形状及/或特征通常显示各种差异。因此，构造或构造性质可考虑此类各种几何及材料性质。
因此，可通过对记录的光谱信息或特征等所获得物件数据点与存储在光谱库数据中的光谱信息的比较及/或其它处理(例如成像处理技术)来执行物件的性质确定。具体地说，在记录的光谱信息与光谱库数据中包括的光谱特性之间匹配时，可指派对应的材料性质。举例来说，在记录的光谱特征与指示玻璃为材料的光谱库数据匹配或一致的情况下，用于分析物件的装置可输出：探测到的物件包括玻璃或由玻璃组成。另外，光谱库数据还可包括在玻璃被水及/或雪覆盖的情况下的相应光谱特性。在检测到对应的光谱特征时，用于分析物件的装置还可确定探测的物件包括水及/或雪所覆盖的玻璃或由水及/或雪所覆盖的玻璃组成。可根据植物(例如苔藓)或其它物质(例如铁锈、污物)所覆盖的材料执行类似确定。
可例如通过计算装置自动执行对应的比较及/或其它处理以及指派程序。
可对光谱库数据中指示的所有材料及其对应的光谱特性执行上文指示的性质确定。
因此，用于分析物件的装置能够采集或收集物件数据点，所述物件数据点指示与其相应物件信号相关联的物件或物件要素的相应空间位置以及关于所分析物件的物理、构造、化学及/或生物材料性质的信息。因此，可提供详细信息以用于生成详细的三维物件模型以及用于准确监控或监测物件的当前状态(例如，性质)。
此信息还可用于提高安全性并降低与建筑物、建筑环境及/或环境区域的维护或修理相关的成本。举例来说，可迅速且容易地辨识相应建筑物的受损或劣化部分。另外，用于分析物件的装置还能够可靠地检测建筑物的部分(例如，入户门或窗户)是否被液态水或冻结水(冰、雪)、有机材料或尘土、涂料、涂鸦、矿物质等其它污染物覆盖。
此外，网络地图服务中的结构细节水平可显著提高。具体地说，用于分析物件的装置使得能够在网络地图服务的鸟瞰视图及/或街道级视图中对建筑物、建筑环境及环境区域进行极准确的建模。因此，显著促进关于网络地图服务的导航及定向。
材料性质可至少包含所述物件的劣化程度。
举例来说，劣化程度可指材料的结构完整性，即材料是否受损或磨损、或破裂、覆盖有其它材料或具有不均匀导热性。
优选的是，材料性质可至少包含所述物件的覆盖程度、污染程度或湿度。换句话说，材料性质可包含所述物件的覆盖程度、污染程度及/或湿度。
举例来说，覆盖程度可指示物件被另一物质覆盖的量，所述另一物质例如液体或冷冻形式的水、化学组合物(例如铁锈)或生物材料(例如微生物或植物)。污染程度可指污物、尘土或其它污染物质在物件上的积聚度。湿度可指物件材料的不同润湿水平。
材料性质信息可受到上述影响程度的严重影响。举例来说，取决于材料是否被水覆盖，材料的光谱信息或热信息可相当大地改变。类似地，材料的光谱特性及/或热性质也可因其使用期而改变。因此，对上文指示的影响程度的考虑能够更准确地确定材料以及可靠地检测材料状态，例如材料是否劣化或被另一物质覆盖或污染。另外，可将一些材料辨识为仅在特定时期内建构及/或使用的材料。举例来说，可实现对例如石棉等有害成分的辨识或检测。
因此，实现更准确的分析程序。另外，可根据环境条件的改变来调适网络地图服务图表中的三维模型的生成。举例来说，可在网络地图服务图表的鸟瞰视图或街道视图中指示季节性影响(例如，冬季里在建筑物、建筑环境及环境区域上的积雪)。因此，可显著提高网络地图服务图表的细节水平。
光谱库数据可包括预定光谱信息。预定光谱信息可与各种空间、时间、大气及照明条件以及多种相应材料的组成变化相关联。
如上文已指示，光谱库数据可存储在与用于分析物件的装置相关联的存储器装置上。因此，可通过光谱特征测量来生成与多种不同材料及环境条件相关联的光谱信息(例如，反射率及/或辐射率的波长依赖性)。举例来说，对于多种不同材料，可取决于例如信号记录角度(例如，物件或物件表面与用于分析物件的装置的成像构件之间的角度)、一天中的时间(例如早晨、中午、下午、傍晚或夜晚)、天气条件(例如雨、雾、日照、降雪)及照明条件(例如，当物件位于另一结构的阴影中时的阴影强度)等特性来记录光谱特性。
这提供了在多种环境条件下区分各种不同材料及材料性质的优势。因此，可促进维护及/或修理操作及模型建构。
可获得与所述物件相关联的一个或多个光谱特性，并将其与预定光谱信息进行比较。可基于所获得光谱特性(即，源自物件或由物件反射的所测量辐射信号)与预定光谱信息之间的一致性来确定所述物件的材料性质。
换句话说，可针对任何相应材料生成考虑了空间、时间、大气及照明条件的多样性的预定光谱信息，并将其组合以形成光谱库数据。因此，接着可将源自物件的所测量信号(例如反射或发射的光束)与一些或所有存储的材料的相应光谱特性进行比较。接着，基于记录的光谱特性与光谱库数据之间的匹配来识别物件的材料性质(例如材料的组成或状态)。
因此，可更高效地构造识别材料及材料性质的过程。另外，可防止或抑制对材料及材料性质的错误识别。因此，物件的分析及确定程序变得更加可靠。
优选的是，物件数据点可映射到预定土地注册图表或网络地图服务图表中的至少一个的参考坐标上。换句话说，物件数据点可映射到预定土地注册图表及/或网络地图服务图表的参考坐标上。
举例来说，与用于分析物件的装置相关联的计算装置可执行物件数据点到此类参考坐标上的上述映射。土地注册图表可通过相应数据库(例如来自市政办事处)获得，并且可用于与分析物件的装置相关联的计算装置的数字处理。例如谷歌地图的网络地图服务图表可通过互联网(万维网)获得。因此，物件数据点，即所勘测物件的地理参考图像数据点，可映射到土地注册图表或网络地图服务图表所包括的布局或平面图上。因此，可根据土地注册图表或网络地图服务图表将所获得物件数据点与所分析物件的位置相对应。换句话说，根据土地注册图表或网络地图服务图表，可指派物件数据点以使得它们相应的位置反映物件的位置。
因此，用于分析物件的装置使得能够将物件数据点与由土地注册图表或网络地图服务图表指示的特定参考系统进行匹配。因此，本发明提供生成高度准确的地图及/或平面图的优势。
在一些实施例中，可利用映射的物件数据点(体素)来生成物件的三维模型。此外，可相对于预定图表的尺寸缩放三维物件模型。
因此，可布置映射到土地注册图表或网络地图服务图表的特定参考系统中的物件数据点，使得生成所分析物件的三维模型。举例来说，与用于分析物件的装置相关联的计算装置可执行上述布置，以便生成三维模型。当可在用于分析物件的装置与计算装置之间处理及/或交换数据时，可将所述计算装置与用于分析物件的装置相关联。举例来说，用于分析物件的装置可包括计算装置，并且可配置成使得能够处理数据以及与计算装置交换数据。
为了使三维物件模型适应预定图表的标准或比例，可调整或缩放三维物件模型的尺寸，使得建模的物件符合预定图表指定的长度尺寸。
因此，本发明能够提供高度准确的三维物件模型以及物件模型在由预定图表指定的坐标系中的放置或定位。因此，可实现高度逼真的地图。因此，可促进根据网络地图服务图表的导航及定向。另外，根据相应的三维房屋模型，可更高效地进行翻新或建造房屋的规划。
因此，可更准确地规划建筑结构的构造或修复，且因此可节省成本。
用于分析物件的装置可由自主及/或非自主移动实体构成。换句话说，用于分析物件的装置可由自主以及非自主移动实体中的至少一个构成。
举例来说，自主移动实体可指任何类别的自动控制或远程控制机器人或机器人载具。机器人可指能够自动执行复杂系列动作(例如沿空间轨迹移动)的机器(例如机器人漫游车、仿人型机器人、工业机器人、机器人飞行无人机)。另外，机器人或机器人载具可由外部控制装置远程引导，或控制件可嵌入机器人内。换句话说，机器人或机器人载具可例如充当非自主移动实体。或者，自主移动实体还可指沿着指定空间轨迹携带用于分析物件的装置的人员或用户。
自主及/或非自主移动实体可以是气载载具及陆基载具中的至少一个。换句话说，用于分析物件的装置可由作为气载载具及/或陆基载具的自主移动实体及非自主移动实体中的至少一个构成。
举例来说，气载载具可以是任何类别或类型的能飞行装置，例如无人机、直升机、飞机、气球或飞艇。陆基载具可以是能够在地面上移动的任何类别的装置，例如汽车或移动框架。另外，三脚架等框架可分类为陆基载具。此外，在本发明的框架中，由用户或操作者手持或携带的用于分析物件的装置也可分类为陆基。具体地说，陆基载具可配置成调适用于分析物件的装置相对于地平面的高度位置或高程。举例来说，用于分析物件的装置可由框架的可移动平台或三脚架(即，可沿着空间轨迹移动的平台或三脚架)构成。
这提供了从各种视角及查看点生成数据的优势。因此，提高了积累的数据的细节水平。
优选的是，成像构件可包括激光扫描仪、光学相机、红外相机、成像光谱仪、惯性测量单元，IPS传感器(室内定位系统传感器)、IBeacon及/或GPS传感器中的至少一个。
激光扫描仪是用于可见或不可见激光束的受控偏转的装置。激光扫描仪允许增强扫描过程并减少数据收集误差。因此，可节省时间及金钱。
光学相机是一种光学遥感装置，其用于在没有物理接触的情况下感测物件。光学相机可对电磁波谱中的可见光谱或其它部分起作用。因此，可利用光学相机捕捉物件的特性，例如颜色或对比度。因此，能实现所分析的物件的真实表示以用于生成三维模型。
红外相机或热像相机是使用红外辐射生成图像的装置。因此，可记录建筑结构的温度特性。举例来说，这还使得能够在隔热性质方面分析建筑结构。此外，热辐射信息可用以区分建筑结构的不同结构要素。举例来说，热辐射信息可用以确定或辨识附着于所分析物件的要素的有机生物体(例如霉菌或苔藓)。
室内定位系统(IPS)是使用能够接收及/或处理无线电波、磁场、声学信号或其它感官信息的IPS传感器来定位建筑物内部的物件的系统。
惯性测量单元(IMU)是一种电子装置，其使用加速度计、陀螺仪及/或磁力计的组合来测量并报告力、角速率，有时还有磁场。
GPS传感器是具有天线或接收构件的接收器，其配置成使用具有围绕地球沿轨道运行的卫星网络的基于卫星的导航系统来提供位置、速度及定时信息。
成像光谱仪可收集信息作为一组数据单元。每个数据单元表示电磁波谱的窄波长范围，也称为谱带。这些数据单元可组合以形成用于处理及分析的光谱数据立方体(N元组)，其中N元组中的N-1个分量表示空间维度，且第N个元组分量表示包括一系列波长的光谱维度。因此，可高效地表示所分析物件的光谱及空间信息，并且可实现基于光谱特性的材料确定。
因此，上文指示的成像构件的利用能实现更逼真的物件模型及地图生成。另外，可促进对建筑结构中的霉菌等劣化影响的辨识。因此，可更高效地辨识及防止对建筑物居民的负面健康影响或有害状况。
物件数据点可表示为一组三维图形信息单元。每个三维图形信息单元可指示与相应空间坐标相关联的光谱、RGB(红绿蓝色)及热数据信息中的至少一个。换句话说，每个三维图形信息单元可指示与相应空间坐标相关联的光谱及/或热数据信息。
因此，每个相应的三维图形信息单元(体素)可包括空间信息分量。因此，可实现对三维模型建构的促进。另外，光谱信息使得能够确定物件性质，例如光学外观(例如颜色)，及/或识别物件材料组成。此外，热数据信息使得能够表示物件模型的热特性，例如绝热特性。
因此，可高效地表示及/或评估物件数据点中包括的信息。举例来说，获得的信息可在计算机生成的图片上或屏幕上表示。因此，可促进全尺寸三维模型建构。
优选的是，可将物件数据点投射到平面上。所述平面可平行于与物件数据点的空间X、Y坐标相关联的X、Y平面。可通过评估平面中的数据点群集密度分布来支持物件的相应几何要素的识别。
所分析物件的三维性质反映在所投射物件数据点的空间信息中。因此，对每个相应物件数据点的空间分量的抑制会使所有物件数据点投射到二维表面或平面上。因此，相应物件数据点的相对空间布置反映在所述投射平面或表面中的数据点密度分布或数据点群集密度分布中。举例来说，在每个物件数据点与坐标(X，Y，Z)相关联的三维配置中，可通过将每个物件数据点的Z分量设置为零来执行二维表面上的投射。因此，所有数据点都“投射”到X、Y平面中。因此，投射的物件数据点在平面中形成不同密度的群集。换句话说，投射的数据点在平面内生成数据点(群集)密度分布。
因此，可通过评估投射平面中的数据点密度分布来支持或促进对所分析物件的几何要素及/或结构的识别。
优选的是，可仅通过考虑高于预定密度阈值的密度来实现识别。因此，实现对所述要素及/或结构的更快识别。
优选的是，装置可配置成从物件数据中提取精细物件结构。具体地说，装置可配置成从密度分布中识别一个或多个物件表面。另外，装置可配置成推知物件表面的外部轮廓。此外，装置可配置成提取轮廓的特性线。此外，装置可配置成确定特性线的几何2D性质并且提取所有具有相同性质的线，而不管它们的密度如何。此外，装置可配置成确定具有与所确定几何性质相比在相同范围内的几何性质的区域，以便构建一组线性相依二维点。可鉴于程序要求交换上文指示的步骤的次序。
因此，创建三维模型有两个主要步骤。
在第一步骤中，从图像数据生成(建筑物)点云。随后，将点云划分为有意义的建筑结构。因此，点云的若干区段可标记为外立面、屋顶、地板。
在下文中，提供上文指示的分段过程的更详细描述。首先，建筑物点云可分成例如两部分。一部分含有与所勘测建筑物的竖直结构(例如外立面)相关联的点。另一部分包括所有其它点。
接下来，将与竖直结构相关联的点云投射到XY平面上。从此投射图片中检测并提取所有平行线。一般来说，对应于外立面的线将具有更多的点，即，对于对应于外立面的点，投射平面中的点的密度将更高。根据密度准则检测这些线，并将其称为主线或特性线。通常，密集度不足以被自动检测到或提取(例如通过计算构件)但仍然与最终结果相关的其它线具有与主线或特性线相同的方向。举例来说，天窗、楼梯及烟囱通常具有平行于至少一个外立面的平面。因此，可基于其方向将这些线分类为重要的。具体地说，潜在的楼梯可检测为具有大约相同长度并且位于距彼此相同或匹配距离(通常所述距离小于60cm)处的一组平行线。因此，利用投射的点云密度特征曲线，可在点云内轻松识别对应于楼梯等的特征。
如上文所指示，每个线(即，利用平面中投射的数据点的增大的密度分布识别的线)对应于投射在XY平面上的竖直结构。这些线在z方向上伸出。接着，对于每条线，创建高度对应于建筑物高度的网格。随后，在网格的所有点上执行对建筑物点云的搜索。具体地说，针对每个点检查相应点的法线，即与所述点相关联的法向向量，是否对应于网格平面的法向向量。使用网格及搜索结果，创建外立面的图像，所述图像随后可用于与建筑物的光谱特性相关。因此，外立面中的所有点都可用与光谱特性相关联的材料信息来标记。可对点云数据中识别的每个竖直结构执行此过程。
在涉及检测屋顶平面的第二步骤中，识别出对应于屋顶平面的点。为了识别此类屋顶平面点，利用的是：通常，建筑物中的所有外立面与屋顶相交。因此，属于或位于外立面段与屋顶之间的相交区上的点属于这两者，即外立面及屋顶。因此，可执行对应于屋顶平面的点的识别。
接下来，限定边界线，即，嵌于此组屋顶平面点中的屋顶线。举例来说，屋顶线可由位于外立面段与屋顶之间的相交区上的点指定。然而，可利用外立面轮廓中的任何线。随后，提取位于屋顶线预定附近范围内的屋顶点云中的所有点。举例来说，与屋顶线的距离可以是80cm。接着，通过这些提取的点拟合平面，以便根据方程式aX+bY+cZ+d＝0(方程式a)获得平面系数(a，b，c，d)。
接下来，找到此平面上的所有点。换句话说，检查由方程式a)给出的与屋顶平面的近似值匹配的所有点。
此外，重新拟合新发现的点中的平面。因此，获得根据方程式a'X+b'Y+c'Z+d'＝0(方程式b))的新系数(a'，b'，c'，d')。
重复寻找平面上的所有点以及重新拟合平面及新发现的点的程序，直到找到对应于此屋顶平面的所有点。
因此，可以高效且简单的方式提取屋顶平面。
在最终步骤中，将识别的屋顶平面、外立面及提取的几何建筑特征放在一起，以便生成建筑物的三维粗略模型。从光谱、光学及/或热成像装置获得的额外信息可并入到模型中，以便生成逼真的三维物件模型。
数据点群集密度分布的评估可用以支持三维物件模型的内部精细结构、外部精细结构或构造中的至少一个的生成。换句话说，数据点群集密度分布的评估可用以支持三维物件模型的内部及外部精细结构及/或构造的生成。
因此，可通过利用数据点密度分布所包括的信息来识别建筑物的内部结构(例如楼梯间)的布局或方面以及外部结构(例如山墙或凸窗)的细微细节的识别。因此，可生成具有更高细节水平的三维模型。
根据另一方面，可提供一种用于分析物件的方法。所述物件可包含建筑物、建筑环境及环境区域中的至少一种。换句话说，所述物件可包含建筑物、建筑环境及/或环境区域。另外，所述方法可包括检测所述物件的图像数据点的步骤。此外，所述方法可包括将空间坐标指派给所述相应图像数据点以便获得物件数据点的步骤。所述方法还可包括基于所述物件数据点确定所述物件的性质的步骤。优选的是，所述方法可至少将光谱库数据用于所述确定。所述光谱库数据可包括对应于物理、构造、化学及生物材料性质的至少之一的材料光谱特性的系综。换句话说，所述光谱库数据可包括对应于物理、构造、化学及/或生物材料性质的材料光谱特性的系综。
因此，用于分析物件的方法使得能够采集或收集物件数据点，所述物件数据点指示物件要素的相应空间位置以及关于所分析物件的物理、化学及/或生物材料性质的信息。因此，所述方法使得能够提供用于生成高度详细的三维物件模型的数据。此外，所述方法还实现确定物件状态的监控或监测程序。
优选的是，物件数据点可映射到预定土地注册图表及网络地图服务图表中的至少一个的参考坐标上。换句话说，物件数据点可映射到预定土地注册图表及/或网络地图服务图表的参考坐标上。此外，可利用映射的物件数据点来生成物件的三维模型。另外，可相对于预定图表的尺寸缩放三维物件模型。
因此，提供了一种方法，其能够生成嵌入在预定地图及/或图表中的高度准确及逼真的三维模型。
附图说明
在下文中，还将参考所附示范性附图，基于本发明的至少一个优选实例来解释本发明，在图中：
图1示意性地描绘用于扫描及/或分析物件的示范性成像构件，
图2示意性地描绘用于分析物件的装置的勘测或数据积累情况，
图3描绘示范性情况，其中根据预定参考坐标获得、映射及缩放物件数据点，
图4示意性地描绘光谱库所包括的一组光谱特征，其中不同光谱分布与不同材料相关联，
图5A、B、C示范性地描绘与建筑表面相关联的所收集光谱数据以及根据所收集光谱数据对材料性质的评估，
图6示意性地描绘空间数据在平面上的投射过程以及根据平面中数据点群集密度分布的评估对物件要素的识别，
图7示意性地描绘用于分析物件及确定材料性质的方法。
具体实施方式
在下文中，将参考附图更详细地描述本发明的优选方面。不同附图中的相同或类似特征由类似的附图标号指代。应理解，以下关于本发明的各种优选方面的详细描述并不意味着限制本发明的范围。
图1示范性地描绘用于分析物件的装置100。具体地说，示出装置100包括激光扫描仪100A、相机100B及光谱传感器100C。用于分析物件的装置100可在空间上旋转，使得激光扫描仪100A、相机100B及光谱传感器(成像光谱仪)100C可对准，以便能够从任何方向接收信号。在所描绘的实例中，可利用激光扫描仪100A及/或相机100B来确定所勘测或分析的物件200(例如，建筑物或建筑结构)的几何结构或几何形状。具体地说，可使用相机以便提供所勘测物件的光学成像。换句话说，可通过相机100B提供光学图像或摄影。为了提供所勘测物件的空间(三维)信息，可例如通过相关联计算装置组合从相对于所勘测物件的不同装置100位置获取的重叠照片。换句话说，可生成摄影测量点云，其包括关于所勘测物件的光学及空间信息。
激光扫描仪100A可配置成朝向待勘测物件发射激光并且检测来自所勘测物件的返回或反射激光。因此，可通过信号运行时间，即激光扫描，准确地确定装置100与所勘测物件或所勘测物件的特定要素或段之间的距离。因此，可准确地确定所勘测物件的几何形状。因此，可生成激光扫描的点云，其包括关于所勘测物件的空间信息。另外，激光扫描仪可包括GNSS传感器(全球导航卫星系统)及/或惯性测量单元，其用于使装置100及/或激光扫描仪100A能够确定其位置及/或空间对准。
此外，用于分析物件的装置100的示范性描绘包括配置成用于光谱成像过程的光谱传感器100C。光谱成像收集且处理来自整个电磁波谱的信息。光谱成像的目标是获得图像中每个像素的光谱，目的是发现物件特征及材料。在光谱成像中，记录的谱图具有预定的长度分辨率并覆盖广泛范围的波长。具体地说，光谱传感器收集信息作为一组图像对象。每个图像对象表示电子光谱的窄波长范围(谱带)。将这些图像对象组合以形成用于处理及分析的三维光谱数据立方体。举例来说，相应的三维光谱数据立方体可具有分量(X，Y，λ)，其中X、Y分量可对应于物件表面的空间维度(例如，所勘测物件上的表面坐标)，并且λ表示包括一系列波长的光谱维度。因此，可采集所勘测物件的详细光谱信息。此光谱信息可与装置100的激光扫描仪100A及/或相机100B所采集的信息组合。换句话说，可生成所勘测物件的图像数据点，即包括与所勘测物件的几何形状及光谱性质有关的信息的数据点云。
另外，装置100还可包括地理位置构件，例如全球导航卫星系统(例如GPS系统)、IPS系统(室内定位系统)及/或惯性测量单元。因此，可对收集的关于所勘测物件的数据进行地理参考。换句话说，此组图像数据点(即点云数据)中的每个点可与精确的地理位置相关联。因此，可生成一组物件数据点，这使得能够相对于土地注册图表或网络地图服务图表等预定的参考坐标对所勘测物件进行准确三维建模。
图2示范性地描绘通过装置100对物件200(例如建筑物)进行数据采集或勘测的过程。具体地说，装置100可安装在气载载具(例如，遥控或自主驱动的无人机)上或可安装在陆基的可移动载具或框架上。因此，从各种不同位置30A、30B、30C连续扫描或勘测物件(例如建筑物)。接着，由装置100(例如，通过所包括的计算装置(未描绘))或在外部由计算装置(未描绘)组合积累的数据，以便生成物件数据点。换句话说，成像构件(例如，相机100、激光扫描装置100A及/或光谱传感器100C)用于生成图像数据点，即所勘测建筑物的光学、几何及光谱信息。另外，装置100的地理参考构件(未描绘)对图像数据点进行地理参考，这引起物件数据点的生成。换句话说，对包括所勘测物件(例如建筑物)的光学、几何及光谱信息的任何图像数据点进行地理参考，即为其提供相应地理位置信息。
图3示范性地描绘从装置100的积累的数据生成所勘测物件200(例如建筑物)的三维模型300。可利用计算装置(未描绘)来执行物件200的三维模型300的生成。此外，可在任何显示装置(例如TV或计算机屏幕(未描绘))上显示或输出所生成的三维模型300。
如图3中所示，装置100执行物件200的勘测。具体地说，通过激光扫描101A及摄影成像101B勘测建筑物200。此外，装置100还配置成记录建筑物200的光谱数据(未描绘)。因此，可确定物件200的表面与装置100之间的距离，并且可识别建筑物200的光学以及几何特征或形状。具体地说，可识别建筑物墙壁、窗户202或建筑物屋顶203的结构，例如几何形状。此外，可提取颜色及材料组成的差异。根据积累的数据，基于光学、空间及光谱信息，即物件数据点，生成三维建筑物模型300。另外，可将三维物件模型300映射到预定的参考系统中。具体地说，对于此类映射程序，所有物件数据点(即地理参考的图像数据点)在预定的参考系统中具有相应坐标。基于相应物件数据点中包括的信息，生成三维物件模型300。具体地说，利用光谱库数据(其可存储在与装置100相关联的数据库或存储器中)以便识别建筑物200的材料或材料性质并且在三维物件模型300中反映这些结构。另外，这些数据还可用于增大位置准确度。举例来说，根据光谱库数据(未描绘)所包括的信息，三维物件模型300可反映不同的结构及材料，例如建模的玻璃窗302、楼梯间301、屋顶边界303。另外，基于光谱库数据信息，三维物件模型300还可考虑建筑物外立面的表面是否被水、雪、冰、污染物或有机材料(未描绘)覆盖。
此外，根据预定标准缩放三维物件模型300。举例来说，当三维物件模型300被映射到网络地图服务图表的特定坐标中时，物件模型300也相应地缩放。因此，实现三维物件模型300在网络地图服务图表的描绘中的逼真插入。
图4描绘光谱库数据所包括的一组光谱特征的说明性实例。光谱库数据可存储在存储器或存储设施(例如数据库)中，所述存储器或存储设施可由配置成处理光谱信息的计算装置存取。具体地说，此类计算装置可配置成将收集的光谱数据与光谱库数据进行比较，以便从此类比较中确定相应的材料性质。计算装置可包括在用于分析物件的装置100中。或者，用于分析物件的装置100可与计算装置相关联，使得成像数据可供计算装置存取。举例来说，用于分析物件的装置100可通过通信链路与计算装置连接。
具体地说，图4示范性地示出包括在示范性光谱库数据中的八种材料及其各自对应的光谱特性(即，350到1050nm的波长范围内的反射百分比的依赖性)的系综。具体地说，项目
(1)涉及砾石砂墙及其相关联光谱行为，
(2)涉及在墙壁上生长的有机材料(植物或苔藓)及其相关联光谱行为，
(3)涉及砖墙及其相关联光谱行为，
(4)涉及铁栅栏及其相关联光谱行为，
(5)涉及白石膏及其相关联光谱行为，
(6)涉及木框架上的白漆及其相关联光谱行为，
(7)涉及金属雨水管及其相关联光谱行为，以及
(8)涉及屋顶瓦(砖或混凝土)及其相关联光谱行为。
实际上，可针对各种不同材料采集并存储对应的光谱数据。另外，可采集每种材料的光谱特性，其反映不同的环境条件，例如不同的照明程度(例如不同时间、阴影程度)或不同的大气条件(例如雾或雨)。因此，光谱库数据可用于精确且可靠地确定所勘测物件材料或材料性质。
图5A示出利用光谱库数据来确定所勘测物件200(例如建筑物200)的材料或材料性质的过程。具体地说，图5A描绘具有不同区域202、202A、204A、204B、205及206的建筑物200的图像。此外，描绘了相关联光谱特性图。从图5A中可看出，每种材料表示不同的光谱特征。因此，各种所描绘光谱特性之间的差异涉及与相应材料相关联的不同光谱特征。因此，可利用光谱特性的差异，以便可靠地确定所勘测物件区域的特定材料组成。
举例来说，如图5A所描绘，建筑物200的砖墙204包括一段干砖墙204B及一段湿砖墙204A。如光谱分布图中可见，干砖墙区域204B与湿砖墙区域204A的光谱是类似的，但在整个所描绘的波长范围中反映了小差异。因此，可利用光谱库数据中包括的信息来确定区域204A及204B中的建筑物墙壁204的材料是相同的。另外，可推断出两个区域204A及204B中的材料(即砖石)具有不同的润湿程度或湿度。
此外，建筑物200的图像显示砖墙204中对应于窗口的区域202。另外，在建筑物200的邻近砖墙204的另一段中，可辨识区域202A。根据光谱分布图中可用的信息(204B、204A、205等)，区域202及202A的光谱特性是相同的。因此，可确定所描绘的区域202及202A由相同的材料(窗玻璃)构成。
此外，建筑物200包括区域205，根据对应的光谱数据，所述区域205由钢制成。从摄影中也可推断，在建筑物200的前面可看到包括植被的区域206。
因此，可执行材料及其物理状态(例如湿或干)的可靠识别。
图5B详细示出可如何将关于所勘测物件200的材料组成及材料状态的信息用于逼真模型建构。具体地说，根据通过光谱成像接收到的信息对建筑物200的摄影进行分类。从图5B中可看出，具有相同光谱特性的区域被指派相同的材料及材料状态。举例来说，根据光谱库数据与记录的光谱特性的比较，区域204B的特征为干砖。类似地，区域204A被分类为湿砖墙。另外，区域205可识别为由钢制成。此外，区域205被识别为由玻璃制成。另外，于区域206识别植被(例如树木或灌木丛)。
因此，有可能生成反映材料组成以及材料状态的所勘测物件200的精确模型。
图5C示意性地描绘根据预定光谱库数据的比较来指定材料性质(例如材料及/或材料状态)的过程。具体地说，图5C示出光谱特征曲线或反射率500标号(即波长与反射率之间的函数关系)。材料表面的反射率是其反射辐射能量的效力。具体地说，它是在物件表面反射的入射电磁功率的分率。如图5C所指示，反射光谱或光谱反射率曲线是随波长而变的反射率的曲线图。所描绘的波长范围从大约500nm延伸到900nm。然而，也可选择不同的波长体系或范围。此外，图5C中500标号显示光谱或反射特征曲线500A、500B的系综。具体地说，所描绘的光谱特征曲线500A对应于在各种外部条件(在此特定情况为湿砖石)下记录或测量的特定材料的光谱记录或测量值。举例来说，相应的所描绘光谱特征曲线500A对应于根据湿砖石的不同角度及/或照明程度记录的反射辐射能量(即光或电磁波)。对应地，光谱特征曲线500B对应于根据干砖石的不同角度及/或照明程度记录的反射辐射能量。
对应于图5C中600标号详细解释根据用于分析物件的装置识别所勘测物件的材料及/或材料状态的具体过程。图5C中600标号示出图5C中500标号的放大段。具体地说，图5C中600标号描绘光谱特征曲线600A、600B的放大区段(光谱特征曲线600A、600B的放大段对应于相应的光谱特征曲线500A、500B)。放大的光谱特征曲线段的光谱范围从大约690nm延伸到750nm(波长)。如从图5C中600标号中可见，图形600B的光谱特征曲线的特定路线或函数在大约690到750nm的波长范围内在某一程度上对应或匹配。类似地，图形600A的函数分布在相应波长体系中也在某一程度上匹配或对应。
因此，联系与砖石相关联的预定光谱特性或信息来执行物件材料或物件的材料状态的识别。具体地说，光谱库数据含有关于相应材料在一个或多个波长体系中的光谱特征曲线分布的信息。另外，光谱库数据还包括关于各种物理状态及/或例如不同照明程度的外部条件下的材料的光谱特征曲线分布的信息。举例来说，可针对多个波长范围或体系存储干砖石的光谱行为。类似地，还可针对各种波长体系将湿砖石的光谱行为存储在光谱库数据中。在记录测量值后，即，记录反射的辐射能量后，用于分析物件的装置可将记录的光谱特性与光谱库数据中的预定光谱信息相匹配。具体地说，将给定波长体系中的预定光谱行为与对应的波长体系中的记录的光谱信息进行比较。当记录的光谱特征曲线的光谱分布或光谱特征曲线与相同波长体系内的光谱库数据中包括的分布一致或对应时，用于分析物件的装置指派与光谱库数据中的光谱信息相关联的材料。类似地，可确定物理状态。具体地说，光谱库数据包括与各种材料性质(例如材料的物理状态)相关联的光谱特性。在记录反射的辐射能量后，可将所测量量的光谱特性与光谱库数据的信息进行比较。取决一个或多个波长体系中光谱分布的特定分布，指派对应的材料性质或材料状态。举例来说，如在图5C中600标号中可见，光谱图形600A在大约690到750nm的波长范围中显示出类似的函数行为。因此，基于预定的光谱库数据，用于分析物件的装置确定光谱图形600A对应于处于潮湿条件或状态的砖石。类似地，用于分析物件的装置可确定光谱图形600B对应于处于干燥条件或状态的砖石。
相应光谱特征曲线600A与600B的差异归因于不同的光照(照明)条件及/或变化的测量角度以及不同的材料组成。然而，特定材料或材料性质的确定过程基于特定波长体系内的特定(预定)光谱分布或图案。因此，能够实现对材料及/或材料性质(在所描述的情况下为湿砖石或干砖石)的可靠且防错的识别。
图6示意性地描绘三维建筑物模型300及其在二维表面上的投射。具体地说，通过利用多个物件数据点生成模型。换句话说，相应数据点包括光学及空间或地理位置信息。
因此，每个数据点包括例如将预定参考系中的(X，Y，Z)坐标的元组与每个相应数据点相关联的三维信息。通过将每个相应数据点的Z坐标设置为零来执行到平面400(2D表面)上的投射。因此，生成三维建筑物模型300的数据点“落入”平面中。换句话说，每个数据点被映射到其在平面(投射表面)400中的相应位置。因此，在平面400内生成数据点(群集)密度分布500或多个分布。密度分布500由平面400中的数据点形成。
因此，与三维中的数据点的群集或聚集相关联的竖直结构，例如山墙310，可通过它们在投射平面500中的相应密度特征曲线510来识别。因此，可通过利用上述密度分布评估来促进物件结构的识别。为此目的，可在任何方向上对准物件数据点所投射到的区段表面。图6的所描绘情况仅是针对区段表面或投射表面对准的特定选择的一个实例。图6的投射表面400或优选地其表面法线可旋转任何空间角度，并且可执行物件数据点在此类新对准的投射平面400上的对应投射，以便获得各种数据点群集密度分布特征曲线。通过使用表面法线，可进一步强有力地减少计算时间。此外，可提高对应物件的3D结构的分辨率。
因此，即使在由成像构件提供的数据(即图像数据点)缺乏准确性的情形下，也能够识别物件特征或结构。因此，物件的相应几何要素利用投射平面中的数据点群集密度分布的关系的这一启迪充当降噪或错误避免途径。因此，可显著改进物件200的三维模型质量。
图7示意性地描绘用于分析物件及/或物件性质的方法或光谱数据分析工作流程。
所述方法开始于数据获取步骤710。具体地说，在步骤710中采集或测量物件数据。另外，所述物件数据包括地理位置信息。可通过GPS传感器构件、IPS传感器构件及IMU构件提供地理位置或地理参考信息。
在步骤720中，预处理积累的物件数据，即与所勘测物件相关联的信息。举例来说，物件数据的预处理可经历清理、标准化或变换物件数据的一个或多个步骤。另外，预处理可包括提取及/或选择某些物件特征。可利用与用于分析物件的装置相关联的计算装置(未描绘)来执行预处理步骤。
在步骤730中，执行降噪步骤。一般来说，降噪是从信号中去除噪声的过程。噪声可以是不具相干性的随机或白噪声，或是由用于分析物件的装置或预处理步骤引入的相干噪声。
在步骤740中，执行光谱匹配。换句话说，通过利用包括在光谱库中的信息，物件数据(其预先已经历噪声去除过程)可与光谱库所包括的特定物件信息相关联(步骤745)。例如，光谱库可在与计算装置相关联的存储装置上实施。另外，计算装置可包括在用于分析物件的装置中或与所述装置相关联。具体地说，光谱库数据可包括光谱信息或光谱特性，使得能够基于反射或发射的物件辐射所包括的光谱特性来识别物件材料或材料性质。因此，物件数据的光谱部分与光谱库所包括的信息相匹配，并且指派物件的相应物件材料或材料性质。换句话说，可执行识别相应的物件材料及/或材料性质的光谱匹配过程或步骤740。
随后，在步骤750中，可执行各种过程步骤。举例来说，包括与相应物件材料及/或性质相关联的物件数据的数据集可映射到预定的参考系统，例如网络地图服务图表(例如谷歌地图)。另外，可在预定参考系统(未描绘)的相应坐标中生成所勘测物件的三维模型。此外，可执行例如解混及匹配滤波的额外处理步骤。举例来说，可去除或滤波也包括在物件数据中的温度信息，以便强调电磁波谱的可见体系(大约400到700nm)中所含的信息。因此，可根据不同的波长或光谱范围指定或显示物件模型信息。
虽然上文描述了由本发明的某些实施例执行的特定操作次序，但应理解，此类次序是示范性的，因为替代实施例可按不同次序执行操作、组合某些操作、重叠某些操作等。本发明的以上实例、方面及/或实施例可部分或整体地以任何方式组合。
此外，应注意，各种上述方法的步骤以及所描述系统的组件可由已编程计算机执行。此处，一些实施例还旨在涵盖程序存储装置，例如数字数据存储介质，其为机器或计算机可读的并且对指令的机器可执行或计算机可执行程序进行编码，其中所述指令执行上文所描述的所述方法的一些或全部步骤。程序存储装置可以是例如数字存储器、如磁盘及磁带的磁性存储介质、硬盘驱动器、光学可读数字数据存储介质或互联网云解决方案。实施例还旨在涵盖被编程为执行上文所描述的方法的所述步骤的计算机。
另外，应注意，可通过使用专用硬件以及能够联合适当软件执行软件的硬件来提供本专利文件中描述的各种要素的功能。当由处理器提供时，所述功能可由单个专用处理器、由单个共享处理器，或由多个个别处理器提供，其中的一些可共享。此外，术语“处理器”或“控制器”的明确使用不应解释为仅仅指能够执行软件的硬件，而是可隐含地包含不限于数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)以及非易失性存储装置。还可包含常规及/或自定义的其它硬件，例如图形卡处理器。
最后应注意，本文任何框图表示体现本发明原理的说明性电路的概念图。类似地，应了解，任何流程图表、流程图、状态转换图、伪代码等表示可基本上在计算机可读介质中表示并且因此由计算机或处理器执行的各种过程，无论是否明确示出此类计算机或处理器。

Claims (17)

1.一种用于分析物件的装置，所述物件包含建筑物、建筑环境及/或环境区域，所述装置包括：
成像构件（100A-C），其用于检测所述物件的图像数据点，其中所述成像构件（100A-C）包括：
成像光谱仪；
激光扫描仪、光学相机及红外相机中的至少一个；以及
惯性测量单元、IPS传感器及GPS传感器中的至少一个；
计算机，其耦接于成像构件（100A-C），其中所述计算机包括耦接于在其具有指令的非暂时性计算机可读介质的处理器, 当由所述处理器执行时, 使得所述计算机执行:
将空间坐标指派给所述图像数据点以便获得物件数据点；以及
基于所述物件数据点至少确定所述物件的材料性质，其中存储在与所述装置相关联的数据库或存储器中的至少光谱库数据用于所述确定，所述光谱库数据包括材料光谱特性的系综；
其中物件材料的确定或物件数据点的材料状态的确定系通过将由所述成像构件检测的光谱特性与所述光谱库数据中的存储的光谱特性相匹配，联系所述光谱库数据中包括的与所述材料相关联的所述存储的光谱特性来执行, 其中将给定波长体系中的存储的光谱行为与对应的波长体系中的检测的光谱信息进行比较;
并且特定材料或材料性质的确定过程基于特定波长体系内的特定光谱分布或图案。
2.根据权利要求1所述的装置，其中所述材料性质至少包含所述物件的劣化程度。
3.根据权利要求1项所述的装置，其中所述材料性质至少包含所述物件的覆盖程度、污染程度及/或湿度。
4.根据权利要求1项所述的装置，其中所述光谱库数据包括与各种空间、时间、大气及照明条件以及多种相应材料的组成变化相关联的预定光谱信息。
5.根据权利要求4所述的装置，其中获得与所述物件相关联的一个或多个光谱特性，且将所述一个或多个光谱特性与预定光谱信息相比较，且其中基于所获得的光谱特性与所述预定光谱信息之间的一致性来确定所述物件的所述材料性质。
6.根据权利要求1项所述的装置，其中所述物件数据点映射到预定土地注册图表及/或网络地图服务图表的参考坐标上。
7.根据权利要求6所述的装置，其中映射的所述物件数据点用以生成所述物件的三维模型，且其中所述物件的所述三维模型相对于预定图表的尺寸进行缩放。
8.根据权利要求1项所述的装置，其中所述装置被包括在自主及/或非自主移动实体中。
9.根据权利要求8所述的装置，其中所述自主及/或非自主移动实体是气载载具及/或陆基载具。
10.根据权利要求1项所述的装置，其中所述物件数据点表示为一组三维图形信息单元，其中每个三维图形信息单元指示与相应空间坐标相关联的光谱、RGB及/或热数据信息。
11.根据权利要求1项所述的装置，其中所述物件数据点投射到投射表面（400）上，且其中所述物件的相应几何要素的识别基于对所述投射表面（400）中的数据点群集密度分布（500）的评估。
12.根据权利要求11所述的装置，其中能够通过仅考虑高于预定密度阈值的密度来实现所述识别。
13.根据权利要求11所述的装置，其中通过使所述投射表面（400）旋转多个空间角度来获得各种数据点群集密度分布特征曲线。
14.根据权利要求11所述的装置，其中所述装置（100）配置成：
从所述密度分布（500）识别一个或多个物件表面；
推知所述物件表面的外部轮廓；
提取所述轮廓的特性线；
确定所述特性线的几何2D性质，并且提取所有具有相同性质的线而不论其密度如何；
确定具有与所确定几何性质相比在相同范围中的几何性质的区域，以便构建一组线性相依二维点。
15.根据权利要求11至14中任一项所述的装置，其中对所述数据点群集密度分布的所述评估用以支持所述物件的三维模型的内部及外部精细结构及/或构造的生成。
16.一种用于分析物件的方法，应用于权利要求1所述装置，所述物件包含建筑物、建筑环境及/或环境区域，所述方法包括以下步骤：
使用成像构件检测所述物件的图像数据点，所述成像构件包括：
成像光谱仪；
激光扫描仪、光学相机及红外相机中的至少一个；以及
惯性测量单元、IPS传感器及GPS传感器中的至少一个；
将空间坐标指派给所述图像数据点以便获得物件数据点；以及
基于所述物件数据点至少确定所述物件的材料性质，其中存储在与所述装置相关联的数据库或存储器中的至少光谱库数据用于所述确定，所述光谱库数据包括材料光谱特性的系综;
其中物件材料的确定或物件数据点的材料状态的确定系通过将由所述成像构件检测的光谱特性与所述光谱库数据中的存储的光谱特性相匹配，联系所述光谱库数据中包括的与所述材料相关联的所述存储的光谱特性来执行,其中将给定波长体系中的存储的光谱行为与对应的波长体系中的检测的光谱信息进行比较;
并且特定材料或材料性质的确定过程基于特定波长体系内的特定光谱分布或图案。
17.根据权利要求16所述的方法，其中所述物件数据点映射到预定土地注册图表及/或网络地图服务图表的参考坐标上，且其中映射的所述物件数据点用以生成所述物件的三维模型，且其中所述物件的所述三维模型相对于预定图表的尺寸进行缩放。
CN201880024022.8A 2017-02-10 2018-02-09 用于分析物件的装置及方法 Active CN110678737B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17000215.8A EP3361235A1 (en) 2017-02-10 2017-02-10 Device and method for analysing objects
EP17000215.8 2017-02-10
PCT/EP2018/053352 WO2018146279A1 (en) 2017-02-10 2018-02-09 Device and method for analyzing objects

Publications (2)

Publication Number Publication Date
CN110678737A CN110678737A (zh) 2020-01-10
CN110678737B true CN110678737B (zh) 2023-02-28

Family

ID=58046440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024022.8A Active CN110678737B (zh) 2017-02-10 2018-02-09 用于分析物件的装置及方法

Country Status (5)

Country Link
US (1) US11002669B2 (zh)
EP (2) EP3361235A1 (zh)
JP (2) JP7136422B2 (zh)
CN (1) CN110678737B (zh)
WO (1) WO2018146279A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10989816B2 (en) * 2018-02-09 2021-04-27 Matterport, Inc. Selecting exterior images of a structure based on capture positions of indoor images associated with the structure
US10955256B2 (en) * 2018-10-26 2021-03-23 Here Global B.V. Mapping system and method for applying texture to visual representations of buildings
JP7196640B2 (ja) * 2019-01-29 2022-12-27 セイコーエプソン株式会社 情報システムおよび特定方法
WO2021117388A1 (ja) * 2019-12-09 2021-06-17 富士フイルム株式会社 移動体、制御装置、及び撮像方法
WO2021152340A1 (ja) * 2020-01-31 2021-08-05 日産自動車株式会社 物体認識方法及び物体認識装置
JP2021131652A (ja) * 2020-02-19 2021-09-09 株式会社トプコン データ構造、記録媒体、プログラム、及びシステム
JP7168995B2 (ja) * 2020-07-15 2022-11-10 株式会社アスマップ アスベスト３次元マップ生成システム
US11270418B1 (en) * 2020-11-19 2022-03-08 VPIX Medical Incorporation Method and system for correcting phase of image reconstruction signal
CN112613369A (zh) * 2020-12-15 2021-04-06 中国建筑第八工程局有限公司 建筑窗面积的计算方法及系统
CN112833855B (zh) * 2021-01-06 2022-04-19 河北科技师范学院 一种工程监理建管信息化装置
CN113418878A (zh) * 2021-06-15 2021-09-21 桂林电子科技大学 基于微型光谱传感器的水果成熟度检测系统及方法
KR20230027508A (ko) * 2021-08-19 2023-02-28 고려대학교 산학협력단 실내 측위를 위한 맵 압축 방안
US11810249B2 (en) * 2022-01-03 2023-11-07 Signetron Inc. 3D point cloud processing
JP7322237B1 (ja) 2022-04-27 2023-08-07 大和ハウス工業株式会社 仮設住宅団地設計システム
CN114882192B (zh) * 2022-07-08 2022-10-11 浙江国遥地理信息技术有限公司 一种建筑立面的分割方法、装置、电子设备以及存储介质
CN115656238B (zh) * 2022-10-17 2023-05-12 中国科学院高能物理研究所 一种微区xrf元素分析与多维成像方法及系统
CN117455119B (zh) * 2023-11-24 2024-04-09 佛山市盈科工程造价咨询事务所有限公司 一种夜间工程项目造价进度监管方法、系统、设备及介质
CN117851528A (zh) * 2023-12-21 2024-04-09 北京英视睿达科技股份有限公司 基于大气环境数据时空网格划分方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102939531A (zh) * 2010-03-26 2013-02-20 德固萨有限责任公司 用于确定对象的材料特性的方法
CN102967561A (zh) * 2012-12-11 2013-03-13 河南中原光电测控技术有限公司 一种后向多波长红外光谱非接触式路面状况检测方法
CN103942388A (zh) * 2014-04-18 2014-07-23 重庆市勘测院 一种大规模建筑信息模型与三维数字城市集成方法
CN104252630A (zh) * 2013-06-26 2014-12-31 现代摩比斯株式会社 物体识别系统
CN104658039A (zh) * 2015-02-12 2015-05-27 南京市测绘勘察研究院有限公司 一种城市数字地图三维建模制作方法
CN104952107A (zh) * 2015-05-18 2015-09-30 湖南桥康智能科技有限公司 基于车载LiDAR点云数据的桥梁三维重建方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2919712B2 (ja) * 1993-06-30 1999-07-19 キヤノン株式会社 文字発生方法および装置
JPH07318510A (ja) * 1994-03-28 1995-12-08 Nippon Steel Corp 建物屋根材の劣化度評価方法
JPH09187038A (ja) * 1995-12-27 1997-07-15 Canon Inc ３次元形状抽出装置
JP4588225B2 (ja) * 2001-01-17 2010-11-24 パイオニア株式会社 通信ナビゲーションシステムにおける地図データの修正装置
JP2003006612A (ja) 2001-06-20 2003-01-10 Ntt Data Corp 収穫予測装置及び方法
JP2004309491A (ja) 2003-02-21 2004-11-04 Fast:Kk 建築および土木構造物計測・解析システム
JP4228745B2 (ja) 2003-03-28 2009-02-25 株式会社日立製作所 多スペクトル撮像画像解析装置
JP2005283519A (ja) * 2004-03-31 2005-10-13 Hitachi Zosen Corp 塗膜劣化診断システム
JP2007047136A (ja) * 2005-08-05 2007-02-22 Aomoriken Kogyo Gijutsu Kyoiku Shinkokai ラジコンヘリコプターを用いた環境観測システム
JP4568845B2 (ja) * 2007-04-26 2010-10-27 三菱電機株式会社 変化領域認識装置
WO2010009498A1 (en) * 2008-07-21 2010-01-28 Commonwealth Scientific And Industrial Research Organisation Method and system for autonomous habitat analysis
JP2011170599A (ja) 2010-02-18 2011-09-01 Mitsubishi Electric Corp 屋外構造物計測装置及び屋外構造物計測方法
WO2011153624A2 (en) * 2010-06-11 2011-12-15 Ambercore Software Inc. System and method for manipulating data having spatial coordinates
US8890896B1 (en) * 2010-11-02 2014-11-18 Google Inc. Image recognition in an augmented reality application
CN103620381B (zh) * 2011-06-29 2015-09-30 富士通株式会社 植物种类识别装置以及方法
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
US10013507B2 (en) 2013-07-01 2018-07-03 Here Global B.V. Learning synthetic models for roof style classification using point clouds
JP2015063216A (ja) 2013-09-25 2015-04-09 日産自動車株式会社 回避制御装置
US9256786B2 (en) * 2013-10-15 2016-02-09 Ge Aviation Systems Llc Method of identification from a spatial and spectral object model
JP6017487B2 (ja) 2014-03-28 2016-11-02 大和ハウス工業株式会社 外装材の劣化シミュレーションシステム
JP2017015527A (ja) 2015-06-30 2017-01-19 株式会社トプコン 広域センサシステム、飛行検出方法およびプログラム
US9495618B1 (en) * 2015-08-06 2016-11-15 Digitalglobe, Inc. Object detection with textural to spectral domain adaptation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102939531A (zh) * 2010-03-26 2013-02-20 德固萨有限责任公司 用于确定对象的材料特性的方法
CN102967561A (zh) * 2012-12-11 2013-03-13 河南中原光电测控技术有限公司 一种后向多波长红外光谱非接触式路面状况检测方法
CN104252630A (zh) * 2013-06-26 2014-12-31 现代摩比斯株式会社 物体识别系统
CN103942388A (zh) * 2014-04-18 2014-07-23 重庆市勘测院 一种大规模建筑信息模型与三维数字城市集成方法
CN104658039A (zh) * 2015-02-12 2015-05-27 南京市测绘勘察研究院有限公司 一种城市数字地图三维建模制作方法
CN104952107A (zh) * 2015-05-18 2015-09-30 湖南桥康智能科技有限公司 基于车载LiDAR点云数据的桥梁三维重建方法

Also Published As

Publication number Publication date
JP2022101552A (ja) 2022-07-06
JP2020507776A (ja) 2020-03-12
US20190371056A1 (en) 2019-12-05
US11002669B2 (en) 2021-05-11
WO2018146279A1 (en) 2018-08-16
EP3361235A1 (en) 2018-08-15
JP7136422B2 (ja) 2022-09-13
EP3580547A1 (en) 2019-12-18
CN110678737A (zh) 2020-01-10
EP3580547B1 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
CN110678737B (zh) 用于分析物件的装置及方法
Armesto-González et al. Terrestrial laser scanning intensity data applied to damage detection for historical buildings
Abellán et al. Terrestrial laser scanning of rock slope instabilities
Daneshmand et al. 3d scanning: A comprehensive survey
Hassani Documentation of cultural heritage; techniques, potentials, and constraints
González-Jorge et al. Monitoring biological crusts in civil engineering structures using intensity data from terrestrial laser scanners
JPWO2018146279A5 (zh)
Hyyppä et al. Unconventional LIDAR mapping from air, terrestrial and mobile
Riveiro et al. Laser scanning technology: fundamentals, principles and applications in infrastructure
Liu et al. Development of building height data in Peru from high-resolution SAR imagery
Teppati Losè et al. New developments in lidar uas surveys. performance analyses and validation of the Dji zenmuse L1
Bouziani et al. Comparison assessment of digital 3D models obtained by drone-based lidar and drone imagery
Shan et al. Feasibility of Accurate Point Cloud Model Reconstruction for Earthquake‐Damaged Structures Using UAV‐Based Photogrammetry
Soderman et al. Three-dimensional environment models from airborne laser radar data
Crespo et al. Damage detection on historical buildings using unsupervised classification techniques
Martino et al. Digitization approaches for urban cultural heritage: last generation MMS within Venice outdoor scenarios
Del Pozo et al. Multispectral imaging: Fundamentals, principles and methods of damage assessment in constructions
Johnston et al. Estimating building floor plans from exterior using laser scanners
Markovic et al. Application of modern technologies in assessing facade condition of building structures
Vasilakos et al. Comparison of terrestrial photogrammetry and terrestrial laser scanning for earthquake response management
Vasilakos et al. Terrestrial photogrammetry vs laser scanning for rapid earthquake damage assessment
Grasso et al. The use of SLAM and UAV technology in geological field for monitoring: the case study of the Bossea Cave
Fandáková et al. Retention of cultural heritage with the help of innovative technologies
Palomba et al. Multi-scalar surveys for complex architectures
Ahokas et al. Quality of laser scanning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant