CN113920269A - 工程进度获取方法、装置、电子设备及介质 - Google Patents
工程进度获取方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN113920269A CN113920269A CN202111217560.9A CN202111217560A CN113920269A CN 113920269 A CN113920269 A CN 113920269A CN 202111217560 A CN202111217560 A CN 202111217560A CN 113920269 A CN113920269 A CN 113920269A
- Authority
- CN
- China
- Prior art keywords
- image
- building
- point cloud
- acquiring
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000010276 construction Methods 0.000 claims abstract description 28
- 238000003708 edge detection Methods 0.000 claims abstract description 20
- 238000005259 measurement Methods 0.000 claims description 32
- 238000001914 filtration Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000005764 inhibitory process Effects 0.000 claims description 6
- 230000003313 weakening effect Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Geometry (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Computer Graphics (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能领域,揭露一种工程进度获取方法,包括:获取目标建筑的多个原始建筑图像,得到原始建筑图像集;获取原始建筑图像集中各个原始建筑图像的三维图像点,得到建筑图像点云;利用边缘检测算法获取原始建筑图像集中各个原始建筑图像的特征边界线;基于建筑图像点云和多个所述特征边界线构建建筑工程点云模型;根据目标建筑的建造信息构建工程信息模型,并将建筑工程点云模型和工程信息模型对比,得到工程进度。本发明还涉及区块链技术,所述原始建筑图像可存储于区块链节点中。本发明可以获取准确的工程进度信息,提高工程进度的监督效果。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种工程进度获取方法、装置、电子设备及计算机可读存储介质。
背景技术
现有的建筑建造工程存在很多钢结构装配式的大型建筑,如产业园、地标性大厦,此类建筑结构体系复杂,项目周期长,如何实时根据建筑的建造情况获取工程进度并对工程进行监督成了一个难以处理的问题。
现有的工程进度获取方法都是利用将建筑数据通过人工导入系统,然而通过数据展示工程进度,可视化程度不高,并且容易出现人为的失误,而采用拍摄建筑的二维图像后进行工程进度的调查无法显示出建筑的内在结构和纹理信息,因此,也无法准确得到工程的进度信息。
发明内容
本发明提供一种工程进度获取方法、装置、电子设备及计算机可读存储介质,其主要目的在于获取准确的工程进度信息,提高工程进度的监督效果。
为实现上述目的,本发明提供的一种工程进度获取方法,包括:
获取目标建筑的多个原始建筑图像,得到原始建筑图像集;
获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到建筑图像点云;
利用边缘检测算法获取所述原始建筑图像集中各个原始建筑图像的特征边界线;
基于所述建筑图像点云和多个所述特征边界线构建建筑工程点云模型;
根据所述目标建筑的建造信息构建工程信息模型,并将所述建筑工程点云模型和所述工程信息模型对比,得到工程进度。
可选地,所述获取目标建筑的多个原始建筑图像,得到原始建筑图像集,包括:
获取对所述目标建筑进行像控点布设的布设像控点集;
根据所述布设像控点集中的布设像控点对所述目标建筑进行测量,得到多个测量数据;
获取所述测量数据的数据类别,并根据所述数据类别查找对应的数据精度规则;
根据所述数据精度规则对多个所述测量数据进行测量精度检查;
若所述测量精度不合格,则重新根据所述布设像控点集中的布设像控点对所述目标建筑进行测量;
若所述测量精度合格则得到多个合格测量数据;
生成无人机拍摄航线,将所述无人机拍摄航线发送至无人机,以及获取所述无人机根据所述无人机拍摄航线拍摄的多个建筑航拍图;
当多个所述建筑航拍图通过影像质量检查时,基于多个所述合格测量数据和多个所述建筑航拍图得到多个所述原始建筑图像。
可选地,所述获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到建筑图像点云,包括:
获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到稀疏三维点云;
将所述稀疏三维点云及所述原始建筑图像集和所述原始建筑图像集的图像采集参数输入多视立体重建库,进行视图重建,得到所述建筑图像点云。
可选地,所述获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到稀疏三维点云,包括:
通过描述算子检测所述原始建筑图像集中各个原始建筑图像的特征点,得到各个所述原始建筑图像的影像特征点集;
将各个所述原始建筑图像的影像特征点集进行匹配,得到多个匹配点、多个匹配邻接矩阵和多个匹配图像对;
对各个所述匹配点、各个所述匹配邻接矩阵和各个所述匹配图像对进行几何过滤,得到多个过滤匹配点、多个过滤匹配邻接矩阵及多个过滤匹配影像对;
根据多个所述过滤匹配点、多个所述过滤匹配邻接矩阵及多个所述过滤匹配影像对获取各个所述原始建筑图像的三维图像点,得到所述稀疏三维点云。
可选地,所述将所述稀疏三维点云及所述原始建筑图像集和所述原始建筑图像集的图像采集参数输入多视立体重建库,进行视图重建,得到所述建筑图像点云,包括:
步骤A、从所述稀疏三维点云中获取一个三维点作为目标点,从所述原始建筑图像集中获取与所述目标点对应的目标图像以及目标像素点;
步骤B、利用目标像素点的深度和拍摄所述目标图像的图像采集参数计算所述目标像素点的三维坐标点;
步骤C、从所述原始建筑图像集中获取所述目标图像的关联图像,并基于所述关联图像获取拍摄所述关联图像的图像采集参数,得到关联拍摄参数;
步骤D、利用所述关联拍摄参数得到所述三维坐标点对应的关联像素点的深度,将所述目标像素点的深度和所述关联像素点的深度进行比较,得到差异深度值;
步骤E、若所述差异深度值小于预设阈值,则计算所述关联像素点的法向线值,并将所述关联像素点的法向线值和所述目标像素点的法向线值进行比较,得到法向线比较值;
步骤F、若所述法向线比较值大于预设阈值,则将所述关联像素点存储至关联像素点存储库;
步骤G、重复上述步骤C至步骤F,直至得到所述三维坐标点所有的关联像素点,确定所述三维坐标点和所有关联像素点组成增强三维点;
步骤H、对所有稀疏三维点云中的三维点都重复上述步骤A至步骤G,得到由增强三维点组成的增强三维点云,确定所述增强三维点云为所述建筑图像点云。
可选地,所述利用边缘检测算法获取所述原始建筑图像集中各个原始建筑图像的特征边界线,包括:
将所述原始建筑图像集中的各个原始建筑图像灰度化,得到多个建筑灰度图像;
利用高斯滤波器对各个所述建筑灰度图像去噪,得到多个建筑去噪图像;
计算各个所述建筑去噪图像中每个像素点的梯度强度和梯度方向,并基于所述梯度强度和梯度方向对各个所述像素点进行非极大值抑制,得到多个抑制图像;
对各个所述抑制图像的像素点进行双阈值检测和边缘弱化,并对双阈值检测和边缘弱化后的所述抑制图像进行轮廓边缘检测,得到多个特征边界线。
可选地,所述基于所述建筑图像点云和多个所述特征边界线构建建筑工程点云模型,包括:
将多个所述特征边界线添加至所述建筑图像点云中,利用各个所述特征边界线将所述建筑图像点云划分为所述特征边界线线内的点云数据和所述特征边界线线外的点云数据;
将多个所述特征边界线线外的点云数据删除,所述特征边界线线内的点云数据保留,以及根据所述所述特征边界线线内的点云数据构建建筑工程点云模型。
为了解决上述问题,本发明还提供一种工程进度获取装置,所述装置包括:
原始图像获取模块,用于获取目标建筑的多个原始建筑图像,得到原始建筑图像集;
图像点云获取模块,用于获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到建筑图像点云;
边界线查询模块,用于利用边缘检测算法获取所述原始建筑图像集中各个原始建筑图像的特征边界线;
点云模型构建模块,用于基于所述建筑图像点云和多个所述特征边界线构建建筑工程点云模型;
模型对比模块,用于根据所述目标建筑的建造信息构建工程信息模型,并将所述建筑工程点云模型和所述工程信息模型对比,得到工程进度。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的工程进度获取方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储创建的数据,存储程序区存储有计算机程序;其中,所述计算机程序被处理器执行时实现如上所述的工程进度获取方法。
本发明实施例中,获取目标建筑的多个原始建筑图像,从多个原始建筑图像中获取三维图像点,得到建筑图像点云,再利用边缘检测算法从原始建筑图中获取特征边界线,基于建筑图像点云和特征边界线得到建筑工程点云模型,基于目标建筑的建造信息构建的工程信息模型,通过将建筑工程点云模型和工程信息模型进行对比,可以得到准确的工程进度,提高了工程进度的监督效果,因此,本发明实施例可以实现获取准确的工程进度信息,提高工程进度的监督效果的目的。
附图说明
图1为本发明一实施例提供的一种工程进度获取方法的流程示意图;
图2为本发明一实施例提供一种工程进度获取方法中一个步骤的详细流程示意图;
图3为本发明一实施例提供一种工程进度获取方法中一个步骤的详细流程示意图;
图4为本发明一实施例提供一种工程进度获取方法中一个步骤的详细流程示意图;
图5为本发明一实施例提供的工程进度获取装置的模块示意图;
图6为本发明一实施例提供的实现工程进度获取方法的电子设备的内部结构示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例提供一种工程进度获取方法。所述工程进度获取方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。其中,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。换言之,所述工程进度获取方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示,为本发明一实施例提供的一种工程进度获取方法的流程示意图。在本实施例中,所述工程进度获取方法包括:
S1、获取目标建筑的多个原始建筑图像,得到原始建筑图像集。
本发明实施例中,所述目标建筑为正在进行的建造的项目工程建筑,所述原始建筑图像为所述目标建筑在建造过程中的图像,例如,在建造一栋地标性建筑时,获取建造过程中的原始地标性建筑图像。
本发明实施例中,所述获取目标建筑的多个原始建筑图像,得到原始建筑图像集,包括:
获取对所述目标建筑进行像控点布设的布设像控点集;
根据所述布设像控点集中的布设像控点对所述目标建筑进行测量,得到多个测量数据;
获取所述测量数据的数据类别,并根据所述数据类别查找对应的数据精度规则;
根据所述数据精度规则对多个所述测量数据进行测量精度检查;
若所述测量精度不合格,则重新根据所述布设像控点集中的布设像控点对所述目标建筑进行测量;
若所述测量精度合格则得到多个合格测量数据;
生成无人机拍摄航线,将所述无人机拍摄航线发送至无人机,以及获取所述无人机根据所述无人机拍摄航线拍摄的多个建筑航拍图;
当多个所述建筑航拍图通过影像质量检查时,基于多个所述合格测量数据和多个所述建筑航拍图得到多个所述原始建筑图像。
本发明实施例中,所述无人机上设置有航拍相机用于拍摄所述建筑航拍图。
本发明实施例中,所述像控点为进行无人机航测时,通过使用实时动态测量技术(Real-time kinematic,RTK)在拍摄位置建立的具有标识性的真实坐标点,通过计算所述布设像控点集中布设像控点的距离可以等比得到目标建筑的测量数据。
本发明实施例中,对多个所述测量数据进行测量精度检查用于筛出测量误差较大的数据,避免影响所述原始建筑图像的精度。
进一步地,通过获取所述测量数据的数据类别,根据所述数据类别对应的数据精度规则对所述测量数据进行测量精度检查。例如,对于基础控制点,不超过地物点平面中误差(0.6mm)的1/5。其中,基础控制点为进行图像测量中布设最多的参考点。
本实施例中,通过对多个所述建筑航拍图进行影像质量检查用于确保建筑航拍图的清晰度,避免影响原始建筑图像的质量,例如,检查建筑航拍图是否存在过度曝光或者曝光不足,检查建筑航拍图是否存在重影。
具体的,可以通过计算所述建筑航拍图的图像亮度对所述建筑航拍图进行质量检查。
S2、获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到建筑图像点云。
本发明实施例中,所述建筑图像点云为多个原始建筑图像的三维图像点的集合。
请参见图2,图2为本发明一实施例提供一种工程进度获取方法中一个步骤的详细流程示意图。
本发明实施例中,所述获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到建筑图像点云,包括:
S201、获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到稀疏三维点云;
S202、将所述稀疏三维点云及所述原始建筑图像集和所述原始建筑图像集的图像采集参数输入多视立体重建库,进行视图重建,得到所述建筑图像点云。
详细地,所述多视立体重建库(Open Multi-View reconstruction library,openMVS)是一个计算机视觉领域重要的三维重建库,用于实现多视图像的稠密重建,获取稠密点云,即建筑图像点云。
请参见图3,图3为本发明一实施例提供一种工程进度获取方法中一个步骤的详细流程示意图;
本发明实施例中,所述获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到稀疏三维点云,包括:
S2011、通过描述算子检测所述原始建筑图像集中各个原始建筑图像的特征点,得到各个所述原始建筑图像的影像特征点集;
S2012、将各个所述原始建筑图像的影像特征点集进行匹配,得到多个匹配点、多个匹配邻接矩阵和多个匹配图像对;
S2013、对各个所述匹配点、各个所述匹配邻接矩阵和各个所述匹配图像对进行几何过滤,得到多个过滤匹配点、多个过滤匹配邻接矩阵及多个过滤匹配影像对;
S2014、根据多个所述过滤匹配点、多个所述过滤匹配邻接矩阵及多个所述过滤匹配影像对获取各个所述原始建筑图像的三维图像点,得到所述稀疏三维点云。
本发明实施例中,所述描述算子包括SIFT算子、AZAKE算子等。
本发明实施例中,对所述原始建筑图像的影像特征点集进行匹配具体是通过判断所述原始建筑图像的影像特征点是否为所述目标建筑的同一个点实现的,当所述原始建筑图像中的两个影像特征点表示所述建筑目标的同一个点时,确认这两个影像特征点互相匹配匹配,当所述原始建筑图像中的两个影像特征点所述表示的建筑目标不是同一点时,确认这两个影像特征点不为互相匹配匹配。
本发明实施例中,所述匹配点为各个原始建筑图像中相互匹配的特征点,所述匹配邻接矩阵为各个所述原始建筑图像中表示顶点之间相邻关系的矩阵,所述匹配图像对为各个所述原始建筑图像中相匹配的两个原始建筑图像,其中,若两个图像拍的同一个物体的同一个特征,仅仅拍摄角度不同,则该两个图像为相匹配的图像。
具体的,对所述匹配点、所述匹配邻接矩阵和所述匹配图像对进行几何过滤包括长度相似性过滤、曲线相似度过滤等,具体的,对所述匹配点、所述匹配邻接矩阵和所述匹配图像对进行几何过滤包括:将相同的匹配点,相同的匹配邻接矩阵和相同的匹配图像仅保留一个,其余的删除。
本发明实施例中,所述根据多个所述过滤匹配点、多个所述过滤匹配邻接矩阵及多个所述过滤匹配影像对获取各个所述原始建筑图像的三维图像点,包括:
通过运动结构恢复将所述过滤匹配点、所述过滤匹配邻接矩阵和所述过滤匹配图像对进行三角化生成三维点,根据所述三维点估计出图像的位姿,然后进行整体优化得到稀疏三维点云。
具体的,运动结构恢复(Structure from Motion,SFM)包括全局SFM和增量SFM。本实施例中,全局SFM先对所有的原始建筑图像计算匹配关系,再进行三角化生成三维点,之后通过PNP算法估计出图像的位姿,然后BA算法进行整体的优化,得到稀疏三维点云。同时,本实施例中,增量SFM具体用于进行三角化生成三维点和PNP算法估计物体位姿,以及用于进行局部BA算法优化。其中,PNP(pespective-n-point)算法为根据三维点估计位姿的算法,BA(Bundle Adjustment)算法为图像优化算法。
请参见图4,图4为本发明一实施例提供一种工程进度获取方法中一个步骤的详细流程示意图。
本发明实施例中,所述将所述稀疏三维点云及所述原始建筑图像集和所述原始建筑图像集的图像采集参数输入多视立体重建库,进行视图重建,得到所述建筑图像点云,包括:
S2021、从所述稀疏三维点云中获取一个三维点作为目标点,从所述原始建筑图像集中获取与所述目标点对应的目标图像以及目标像素点;
S2022、利用目标像素点的深度和拍摄所述目标图像的图像采集参数计算所述目标像素点的三维坐标点;
S2023、从所述原始建筑图像集中获取所述目标图像的关联图像,并基于所述关联图像获取拍摄所述关联图像的图像采集参数,得到关联拍摄参数;
S2024、利用所述关联拍摄参数得到所述三维坐标点对应的关联像素点的深度,将所述目标像素点的深度和所述关联像素点的深度进行比较,得到差异深度值;
S2025、若所述差异深度值小于预设阈值,则计算所述关联像素点的法向线值,并将所述关联像素点的法向线值和所述目标像素点的法向线值进行比较,得到法向线比较值;
S2026若所述法向线比较值大于预设阈值,则将所述关联像素点存储至关联像素点存储库;
S2027、重复上述S2023至S2026,直至得到所述三维坐标点所有的关联像素点,确定所述三维坐标点和所有关联像素点组成增强三维点;
S2028、对所有稀疏三维点云中的三维点都重复上述S2021至S2027,得到由增强三维点组成的增强三维点云,确定所述增强三维点云为所述建筑图像点云。
本发明实施例中,所述像素点的深度即为像素点所占bit数,例如在二值化图像中,各个像素点的深度为0或者为1。
S3、利用边缘检测算法获取所述原始建筑图像集中各个原始建筑图像的特征边界线。
本发明实施例中,所述边缘检测算法为Canny边缘检测算法,是一种多级检测算法,用于在保留原有图像属性的情况下,显著减少图像的数据规模,在本方案中,用于检测图像的边缘。
本发明实施例中,所述利用边缘检测算法获取所述原始建筑图像集中各个原始建筑图像的特征边界线,包括:
将所述原始建筑图像集中的各个原始建筑图像灰度化,得到多个建筑灰度图像;
利用高斯滤波器对各个所述建筑灰度图像去噪,得到多个建筑去噪图像;
计算各个所述建筑去噪图像中每个像素点的梯度强度和梯度方向,并基于所述梯度强度和梯度方向对各个所述像素点进行非极大值抑制,得到多个抑制图像;
对各个所述抑制图像的像素点进行双阈值检测和边缘弱化,并对双阈值检测和边缘弱化后的所述抑制图像进行轮廓边缘检测,得到多个特征边界线。
本发明实施例中,通过所述高斯滤波器进行去噪,所述高斯滤波器维一种线性滤波器,用于抑制噪声,平滑图像,作用原理和均值滤波器相类似,但对于图像的模糊程度较小。
本发明实施例中,所述梯度强度为梯度变换的大小,所述梯度方向为梯度变换的方向。所述非极大值抑制为搜索图像的局部像素最大值,并通过预设权重进行抑制。
本发明实施例中,所述双阈值检测为设置一个高阈值和一个低阈值用于区分边缘像素。所述轮廓边缘检测为忽略图像背景和图像内部纹理以及噪声干扰,提取图像中目标轮廓的过程。
S4、基于所述建筑图像点云和多个所述特征边界线构建建筑工程点云模型。
本发明实施例中,所述基于所述建筑图像点云和多个所述特征边界线构建建筑工程点云模型,包括:
将多个所述特征边界线添加至所述建筑图像点云中,利用各个所述特征边界线将所述建筑图像点云划分为所述特征边界线线内的点云数据和所述特征边界线线外的点云数据;
将多个所述特征边界线线外的点云数据删除,所述特征边界线线内的点云数据保留,以及根据所述所述特征边界线线内的点云数据构建建筑工程点云模型。
本发明实施例中,通过mesh算法实现根据所述特征边界线线内的点云数据构建建筑工程点云模型,其中,所述mesh算法是一种点云模型构建算法。
本发明其他实施例中,在构建建筑工程点云模型之前还包括对删除部分点云数据的剩余图像点云进行表面重建和网格拼接,便于构建建筑工程点云模型。
S5、根据所述目标建筑的建造信息构建工程信息模型,并将所述建筑工程点云模型和所述工程信息模型对比,得到工程进度。
本发明实施例中,根据所述目标建筑的建造工程信息构建工程信息模型是基于建筑信息模型(Building Information Modeling,BIM)实现的,所述建筑信息模型具体可以是Autodesk开发的,用于建立虚拟的建筑工程三维模型。
本发明实施例中,利用BIM构建工程信息模型为根据所述目标建筑的工程信息生成多个建筑CAD图,利用BIM整合多个所述建筑CAD图,并根据所述目标建筑的建造信息添加构件信息,得到工程信息模型。其中,所述构件信息包括柱、梁、墙等构建的信息。
本发明实施例中,所述将所述建筑工程点云模型和所述工程信息模型对比,得到工程进度,包括:
将所述工程信息模型和所述建筑工程点云模型添加至同一三维坐标系;
获取所述工程信息模型的轮廓和所述建筑工程点云模型的轮廓;
获取所述工程信息模型的轮廓的X、Y、Z值和所述建筑工程点云模型的轮廓的X、Y、Z值;
将所述工程信息模型的轮廓的X、Y、Z值和所述建筑工程点云模型的轮廓的X、Y、Z值进行对比;
若存在所述建筑工程点云模型的轮廓的X值或Y值或Z值小于所述工程信息模型的轮廓的X、Y、Z值,则确定所述目标建筑的工程进度不满足预设工程进度,若不存在所述建筑工程点云模型的轮廓的X值或Y值或Z值小于所述工程信息模型的轮廓的X、Y、Z值,则确定所述目标建筑的工程进度满足预设工程进度。
本发明实施例中,获取目标建筑的多个原始建筑图像,从多个原始建筑图像中获取三维图像点,得到建筑图像点云,再利用边缘检测算法从原始建筑图中获取特征边界线,基于建筑图像点云和特征边界线得到建筑工程点云模型,基于目标建筑的建造信息构建的工程信息模型,通过将建筑工程点云模型和工程信息模型进行对比,可以得到准确的工程进度,提高了工程进度的监督效果,因此,本发明实施例可以实现获取准确的工程进度信息,提高工程进度的监督效果的目的。
如图5所示,是本发明工程进度获取装置的模块示意图。
本发明所述工程进度获取装置100可以安装于电子设备中。根据实现的功能,所述工程进度获取装置可以包括原始图像获取模块101、图像点云获取模块102、边界线查询模块103、点云模型构建模块104和模型对比模块106。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
所述原始图像获取模块101,用于获取目标建筑的多个原始建筑图像,得到原始建筑图像集;
图像点云获取模块102,用于获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到建筑图像点云;
边界线查询模块103,用于利用边缘检测算法获取所述原始建筑图像集中各个原始建筑图像的特征边界线;
点云模型构建模块104,用于基于所述建筑图像点云和多个所述特征边界线构建建筑工程点云模型;
模型对比模块105,用于根据所述目标建筑的建造信息构建工程信息模型,并将所述建筑工程点云模型和所述工程信息模型对比,得到工程进度。
详细地,本发明实施例中所述工程进度获取装置100中所述的各模块在使用时采用与上述图1至图4中所述的工程进度获取方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
如图6所示,是本发明实现工程进度获取方法的电子设备的结构示意图。
所述电子设备可以包括处理器10、存储器11、通信总线12以及通信接口13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如工程进度获取程序。
其中,所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行工程进度获取程序等),以及调用存储在所述存储器11内的数据,以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据,例如工程进度获取程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图6仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图6示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备中的所述存储器11存储的工程进度获取程序是多个计算机程序的组合,在所述处理器10中运行时,可以实现:
获取目标建筑的多个原始建筑图像,得到原始建筑图像集;
获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到建筑图像点云;
利用边缘检测算法获取所述原始建筑图像集中各个原始建筑图像的特征边界线;
基于所述建筑图像点云和多个所述特征边界线构建建筑工程点云模型;
根据所述目标建筑的建造信息构建工程信息模型,并将所述建筑工程点云模型和所述工程信息模型对比,得到工程进度。
具体地,所述处理器10对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
获取目标建筑的多个原始建筑图像,得到原始建筑图像集;
获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到建筑图像点云;
利用边缘检测算法获取所述原始建筑图像集中各个原始建筑图像的特征边界线;
基于所述建筑图像点云和多个所述特征边界线构建建筑工程点云模型;
根据所述目标建筑的建造信息构建工程信息模型,并将所述建筑工程点云模型和所述工程信息模型对比,得到工程进度。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种工程进度获取方法,其特征在于,所述方法包括:
获取目标建筑的多个原始建筑图像,得到原始建筑图像集;
获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到建筑图像点云;
利用边缘检测算法获取所述原始建筑图像集中各个原始建筑图像的特征边界线;
基于所述建筑图像点云和多个所述特征边界线构建建筑工程点云模型;
根据所述目标建筑的建造信息构建工程信息模型,并将所述建筑工程点云模型和所述工程信息模型对比,得到工程进度。
2.如权利要求1所述的工程进度获取方法,其特征在于,所述获取目标建筑的多个原始建筑图像,得到原始建筑图像集,包括:
获取对所述目标建筑进行像控点布设的布设像控点集;
根据所述布设像控点集中的布设像控点对所述目标建筑进行测量,得到多个测量数据;
获取所述测量数据的数据类别,并根据所述数据类别查找对应的数据精度规则;
根据所述数据精度规则对多个所述测量数据进行测量精度检查;
所述测量精度不合格,则重新根据所述布设像控点集中的布设像控点对所述目标建筑进行测量;
若所述测量精度合格则得到多个合格测量数据;
生成无人机拍摄航线,将所述无人机拍摄航线发送至无人机,以及获取所述无人机根据所述无人机拍摄航线拍摄的多个建筑航拍图;
当多个所述建筑航拍图通过影像质量检查时,基于多个所述合格测量数据和多个所述建筑航拍图得到多个所述原始建筑图像。
3.如权利要求1所述的工程进度获取方法,其特征在于,所述获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到建筑图像点云,包括:
获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到稀疏三维点云;
将所述稀疏三维点云及所述原始建筑图像集和所述原始建筑图像集的图像采集参数输入多视立体重建库,进行视图重建,得到所述建筑图像点云。
4.如权利要求3所述的工程进度获取方法,其特征在于,所述获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到稀疏三维点云,包括:
通过描述算子检测所述原始建筑图像集中各个原始建筑图像的特征点,得到各个所述原始建筑图像的影像特征点集;
将各个所述原始建筑图像的影像特征点集进行匹配,得到多个匹配点、多个匹配邻接矩阵和多个匹配图像对;
对各个所述匹配点、各个所述匹配邻接矩阵和各个所述匹配图像对进行几何过滤,得到多个过滤匹配点、多个过滤匹配邻接矩阵及多个过滤匹配影像对;
根据多个所述过滤匹配点、多个所述过滤匹配邻接矩阵及多个所述过滤匹配影像对获取各个所述原始建筑图像的三维图像点,得到所述稀疏三维点云。
5.如权利要求3所述的工程进度获取方法,其特征在于,所述将所述稀疏三维点云及所述原始建筑图像集和所述原始建筑图像集的图像采集参数输入多视立体重建库,进行视图重建,得到所述建筑图像点云,包括:
步骤A、从所述稀疏三维点云中获取一个三维点作为目标点,从所述原始建筑图像集中获取与所述目标点对应的目标图像以及目标像素点;
步骤B、利用目标像素点的深度和拍摄所述目标图像的图像采集参数计算所述目标像素点的三维坐标点;
步骤C、从所述原始建筑图像集中获取所述目标图像的关联图像,并基于所述关联图像获取拍摄所述关联图像的图像采集参数,得到关联拍摄参数;
步骤D、利用所述关联拍摄参数得到所述三维坐标点对应的关联像素点的深度,将所述目标像素点的深度和所述关联像素点的深度进行比较,得到差异深度值;
步骤E、若所述差异深度值小于预设阈值,则计算所述关联像素点的法向线值,并将所述关联像素点的法向线值和所述目标像素点的法向线值进行比较,得到法向线比较值;
步骤F、若所述法向线比较值大于预设阈值,则将所述关联像素点存储至关联像素点存储库;
步骤G、重复上述步骤C至步骤F,直至得到所述三维坐标点所有的关联像素点,确定所述三维坐标点和所有关联像素点组成增强三维点;
步骤H、对所有稀疏三维点云中的三维点都重复上述步骤A至步骤G,得到由增强三维点组成的增强三维点云,确定所述增强三维点云为所述建筑图像点云。
6.如权利要求1所述的工程进度获取方法,其特征在于,所述利用边缘检测算法获取所述原始建筑图像集中各个原始建筑图像的特征边界线,包括:
将所述原始建筑图像集中的各个原始建筑图像灰度化,得到多个建筑灰度图像;
利用高斯滤波器对各个所述建筑灰度图像去噪,得到多个建筑去噪图像;
计算各个所述建筑去噪图像中每个像素点的梯度强度和梯度方向,并基于所述梯度强度和梯度方向对各个所述像素点进行非极大值抑制,得到多个抑制图像;
对各个所述抑制图像的像素点进行双阈值检测和边缘弱化,并对双阈值检测和边缘弱化后的所述抑制图像进行轮廓边缘检测,得到多个特征边界线。
7.如权利要求1所述的工程进度获取方法,其特征在于,所述基于所述建筑图像点云和多个所述特征边界线构建建筑工程点云模型,包括:
将多个所述特征边界线添加至所述建筑图像点云中,利用各个所述特征边界线将所述建筑图像点云划分为所述特征边界线线内的点云数据和所述特征边界线线外的点云数据;
将多个所述特征边界线线外的点云数据删除,所述特征边界线线内的点云数据保留,以及根据所述所述特征边界线线内的点云数据构建建筑工程点云模型。
8.一种工程进度获取装置,其特征在于,所述装置包括:
原始图像获取模块,用于获取目标建筑的多个原始建筑图像,得到原始建筑图像集;
图像点云获取模块,用于获取所述原始建筑图像集中各个原始建筑图像的三维图像点,得到建筑图像点云;
边界线查询模块,用于利用边缘检测算法获取所述原始建筑图像集中各个原始建筑图像的特征边界线;
点云模型构建模块,用于基于所述建筑图像点云和多个所述特征边界线构建建筑工程点云模型;
模型对比模块,用于根据所述目标建筑的建造信息构建工程信息模型,并将所述建筑工程点云模型和所述工程信息模型对比,得到工程进度。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的工程进度获取方法。
10.一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储创建的数据,存储程序区存储有计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的工程进度获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111217560.9A CN113920269A (zh) | 2021-10-19 | 2021-10-19 | 工程进度获取方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111217560.9A CN113920269A (zh) | 2021-10-19 | 2021-10-19 | 工程进度获取方法、装置、电子设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113920269A true CN113920269A (zh) | 2022-01-11 |
Family
ID=79241617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111217560.9A Pending CN113920269A (zh) | 2021-10-19 | 2021-10-19 | 工程进度获取方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113920269A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115131520A (zh) * | 2022-09-01 | 2022-09-30 | 武汉天际航信息科技股份有限公司 | 基于三维点云的建筑施工监测方法、装置、设备和产品 |
-
2021
- 2021-10-19 CN CN202111217560.9A patent/CN113920269A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115131520A (zh) * | 2022-09-01 | 2022-09-30 | 武汉天际航信息科技股份有限公司 | 基于三维点云的建筑施工监测方法、装置、设备和产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107767457B (zh) | 一种基于点云快速重建的stl数模生成方法 | |
CN107169981B (zh) | 一种道砟颗粒三维廓形的检测方法及装置 | |
CN116229007B (zh) | 利用bim建模的四维数字图像构建方法、装置、设备及介质 | |
CN115526924B (zh) | 一种蒙特卡洛模拟的水文环境建模方法及系统 | |
CN111695609A (zh) | 目标物损伤程度判定方法、装置、电子设备及存储介质 | |
CN113436338A (zh) | 火灾现场的三维重建方法、装置、服务器及可读存储介质 | |
CN111080682A (zh) | 点云数据的配准方法及装置 | |
CN115984662B (zh) | 一种多模态数据预训练及识别方法、装置、设备及介质 | |
CN116091724A (zh) | 一种建筑数字孪生建模方法 | |
CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
CN113920269A (zh) | 工程进度获取方法、装置、电子设备及介质 | |
CN114693678A (zh) | 工件质量智能检测方法、装置 | |
CN114429530A (zh) | 自动提取建筑物三维模型的方法、系统、存储介质及设备 | |
CN116051777B (zh) | 超高层建筑提取方法、设备和可读存储介质 | |
CN115880448B (zh) | 基于双目成像的三维测量方法及装置 | |
CN116106904B (zh) | 面向对象MT-InSAR的设施变形监测方法及设备 | |
CN113704276A (zh) | 地图更新方法、装置、电子设备及计算机可读存储介质 | |
CN114202631A (zh) | 一种岩石二次破碎作业中岩石作业面与作业点的确定方法 | |
CN113887384A (zh) | 基于多轨迹融合的行人轨迹分析方法、装置、设备及介质 | |
CN113516083B (zh) | 一种草原区弃耕地植被的生态修复建模方法 | |
CN113496468A (zh) | 深度图像的修复方法、装置和存储介质 | |
CN114708230B (zh) | 基于图像分析的车架质量检测方法、装置、设备及介质 | |
US20240153207A1 (en) | Systems, methods, and media for filtering points of a point cloud utilizing visibility factors to generate a model of a scene | |
CN114882059A (zh) | 基于图像分析的尺寸测量方法、装置、设备及存储介质 | |
CN117910727A (zh) | 一种bim和体素化模型结合的进度管理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |