CN116341875B - 应用于建筑施工现场的工程检测系统及方法 - Google Patents
应用于建筑施工现场的工程检测系统及方法 Download PDFInfo
- Publication number
- CN116341875B CN116341875B CN202310458919.4A CN202310458919A CN116341875B CN 116341875 B CN116341875 B CN 116341875B CN 202310458919 A CN202310458919 A CN 202310458919A CN 116341875 B CN116341875 B CN 116341875B
- Authority
- CN
- China
- Prior art keywords
- construction
- determining
- model
- target
- site
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 238000009435 building construction Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000010276 construction Methods 0.000 claims abstract description 332
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06313—Resource planning in a project environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Strategic Management (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
本发明提供应用于建筑施工现场的工程检测系统及方法,其中,系统包括:现场图像获取子系统,用于获取建筑施工现场的现场图像;第一施工项目确定子系统,用于根据现场图像,确定建筑施工现场的第一施工项目;施工模型构建子系统,用于构建第一施工项目的施工模型;施工模型切片确定子系统,用于确定施工模型中符合现场图像的拍摄角度的施工模型切片;工程检测子系统,用于根据现场图像和施工模型切片,进行工程检测。本发明的应用于建筑施工现场的工程检测系统及方法,引入现场图像构建施工模型,确定施工模型中符合现场图像的拍摄角度的施工模型切片,基于施工模型切片进行每一第一施工项目的工程检测,提升了检测效率,也有效提高了检测精度。
Description
技术领域
本发明涉及建筑工程管理技术领域,特别涉及应用于建筑施工现场的工程检测系统及方法。
背景技术
建筑施工现场是指进行工业项目和民用项目的房屋建筑、土木工程、设备安装和管线敷设等施工活动的地域,为了保证施工的质量和施工工人的安全,需要对建筑施工现场进行工程检测。
申请号为:CN202011628801.4的发明公开了建筑工程管理技术领域的一种建筑施工的工程检测系统及其检测方法,所述的建筑施工的工程检测系统,包括施工数据导入模块、图像数据对比模块、设计模型存储模块和施工数据管理模块;所述施工数据导入模块,用于导入待检测的特征信息以及建筑的施工完成图像信息;所述设计模型存储模块,用于存储建筑施工的3D建筑模型数据信息,上述发明通过对建筑施工过程中的指定特征以及特征图像导入系统,根据建筑的3D模型角度定位后,进行特征的尺寸偏差数据的查询,可以便于实现对人工端的报警或对系统的控制存储,从而可以更好的实现对建筑施工过程中每一个环节的检测管控,尽量降低误差,实现建筑施工的安全性。
但是,上述现有技术构建的是建筑的3D模型,需要当建筑工程已经出现问题时才能够检测出偏差数据,检测具有滞后性,无法及时规避不规范的施工行为,检测效率较低,同时,上述现有技术虽然对3D模型角度定位,但是指定特征的特征类型不一,对全部的指定特征进行检测,检测精度也较低。
有鉴于此,亟需一种解决办法。
发明内容
本发明目的之一在于提供了应用于建筑施工现场的工程检测系统,引入现场图像确定建筑施工现场的第一施工项目,再构建第一施工项目对应的施工模型,确定施工模型中符合现场图像的拍摄角度的施工模型切片,基于施工模型切片进行每一第一施工项目工程检测,提高了检测效率,避免了选取的标准化的施工模型切片的角度不适宜的情形,能够极大提高工程检测的精度。
本发明实施例提供的应用于建筑施工现场的工程检测系统,包括:
现场图像获取子系统,用于获取建筑施工现场的多个现场图像;
第一施工项目确定子系统,用于根据现场图像,确定建筑施工现场的至少一个第一施工项目;
施工模型构建子系统,用于构建第一施工项目对应于建筑施工现场的施工模型;
施工模型切片确定子系统,用于确定施工模型中符合现场图像的拍摄角度的施工模型切片;
工程检测子系统,用于根据现场图像和施工模型切片,进行相应工程检测。
优选的,所述现场图像获取子系统,包括:
第一待获取图像获取模块,用于获取建筑施工现场预设的目标位置处的固定拍摄装置拍摄的第一待获取图像;
施工计划获取模块,用于获取建筑施工现场的施工计划,同时,获取当前施工进程;
施工位置确定模块,用于根据当前施工进程和施工计划,确定当前施工点位;
第二待获取图像获取模块,用于控制预设的飞行拍摄装置基于当前施工点位进行动态巡航,获取飞行拍摄装置在动态巡航的过程中拍摄的第二待获取图像;
现场图像确定模块,用于将第一待获取图像和第二待获取图像共同作为现场图像。
优选的,所述第一施工项目确定子系统,包括:
建筑现场特征提取模块,用于通过预设的第一特征提取器从现场图像提取建筑现场特征;
第一现场特征组获取模块,用于根据预设的特征分类器对建筑现场特征进行特征分类,获得至少一个第一现场特征组;
第二现场特征组获取模块,用于获取预设的第二施工项目的第二现场特征组;
特征匹配器获取模块,用于获取特征匹配器;
第一匹配值获确定模块,用于基于特征匹配器,根据第一现场特征组和第二现场特征组,确定第一匹配值;
第一施工项目确定模块,用于根据第一匹配值,确定第二施工项目中的第一施工项目。
优选的,所述特征匹配器获取模块,包括:
目标类型确定子模块,用于识别特征匹配目标,确定特征匹配目标的目标类型,并将同一目标类型的特征匹配目标作为匹配组;
第二匹配值获取子模块,用于对每一匹配组中的组间元素进行特征匹配,获得第二匹配值;
匹配深度确定子模块,用于根据匹配组的目标类型,确定匹配组的匹配深度;
加权值确定子模块,用于根据匹配深度,确定第二匹配值的加权值;
第三匹配值确定子模块,用于根据加权值和第二匹配值,确定匹配目标的第三匹配值,并将第三匹配值作为特征匹配器的输出结果。
优选的,所述施工模型构建子系统,包括:
规范施工标准获取模块,用于获取第一施工项目的通用规范施工标准;
专属规范施工标准制定模块,用于根据通用规范施工标准和建筑施工现场的现场情况,确定建筑施工现场的专属规范施工标准;
现场模型构建模块,用于基于BIM/GIS技术,根据现场图像,构建建筑施工现场的现场模型;
施工模型获取模块,用于设置人体模型根据专属规范施工标准在现场模型进行模拟施工,获得施工模型。
优选的,所述施工模型切片确定子系统,包括:
第一参数获取模块,用于获取现场图像中的多个目标物体在现场图像中呈现的第一参数;
第二参数获取模块,用于获取目标物体实测的第二参数;
参数比值计算模块,用于计算第一参数和第二参数的参数比值;
拍摄距离确定模块,用于根据参数比值,确定目标物体的拍摄距离;
球面绘制模块,用于确定施工模型中目标物体对应的目标模型,在施工模型中,以目标模型为球心,目标模型对应的拍摄距离为半径,绘制球面;
球面交点获取模块,用于获取球面的球面交点,计算球面交点所属球面的球面个数;
模拟拍摄点位确定模块,用于将球面个数最多的球面交点作为模拟拍摄点位;
施工模型切片获取模块,用于根据模拟拍摄点位,确定施工模型切片。
优选的,所述第二参数获取模块,包括:
第一轮廓信息获取子模块,用于提取目标物体在现场图像中的第一轮廓信息;
第二轮廓信息获取子模块,用于将目标物体的等比例三维模型在预设的三维空间内进行随机旋转,获取等比例三维模型在随机旋转过程中的第二轮廓信息;
相似值计算子模块,用于计算第一轮廓信息和第二轮廓信息的相似值;
第三轮廓信息确定子模块,用于当相似值大于等于预设的相似值阈值时,将对应第二轮廓信息作为第三轮廓信息;
第二参数确定子模块,用于根据第三轮廓信息,确定轮廓面积,并将轮廓面积作为第二参数。
优选的,所述施工模型切片获取模块,包括:
目标点位确定子模块,用于确定目标模型在施工模型中的目标点位;
射线绘制子模块,用于绘制从模拟拍摄点位出发且经过目标点位的目标射线;
射线夹角计算子模块,用于计算目标射线之间的射线夹角,确定射线夹角中夹角最大的射线夹角作为目标夹角;
角平分线获取子模块,用于获取目标夹角的角平分线;
目标切片确定子模块,用于确定施工模型中垂直于角平分线且包含模拟拍摄点位的目标切片,并作为施工模型切片。
优选的,所述工程检测子系统,包括:
施工特征提取模块,用于通过预设的第二特征提取器提取现场图像中的第一施工特征和施工模型切片的第二施工特征;
第三施工特征确定模块,用于根据第一施工特征和第二施工特征,确定不规范的第三施工特征;
检测结果确定模块,用于基于预设的检测结果输出模板,根据第三施工特征,确定工程检测的检测结果。
本发明实施例提供的应用于建筑施工现场的工程检测方法,包括:
步骤1:获取建筑施工现场的多个现场图像;
步骤2:根据现场图像,确定建筑施工现场的至少一个第一施工项目;
步骤3:构建第一施工项目对应于建筑施工现场的施工模型;
步骤4:确定施工模型中符合现场图像的拍摄角度的施工模型切片;
步骤5:根据现场图像和施工模型切片,进行相应工程检测。
本发明的有益效果为:
本发明引入现场图像确定建筑施工现场的第一施工项目,再构建第一施工项目对应的施工模型,确定施工模型中符合现场图像的拍摄角度的施工模型切片,基于施工模型切片进行每一第一施工项目工程检测,提高了检测效率,避免了选取的标准化的施工模型切片的角度不适宜的情形,能够极大提高工程检测的精度。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中应用于建筑施工现场的工程检测系统的示意图;
图2为本发明实施例中应用于建筑施工现场的工程检测方法的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提供了应用于建筑施工现场的工程检测系统,如图1所示,包括:
现场图像获取子系统1,用于获取建筑施工现场的多个现场图像;建筑施工现场为:进行工业项目和民用项目的房屋建筑、土木工程、设备安装和管线敷设等施工活动的地域;现场图像为:建筑施工现场的拍摄装置搭载的深度摄像头拍摄的图片;
第一施工项目确定子系统2,用于根据现场图像,确定建筑施工现场的至少一个第一施工项目;第一施工项目为:施工任务,例如:填筑土方;
施工模型构建子系统3,用于构建第一施工项目对应于建筑施工现场的施工模型;施工模型为:模拟工作人员进行符合规范施工标准的第一施工项目的施工的三维模型;
施工模型切片确定子系统4,用于确定施工模型中符合现场图像的拍摄角度的施工模型切片;施工模型切片为:施工模型中符合现场图像的拍摄角度的三维切片;由于不同角度的拍摄图像会在各个方向出现一定的畸变,因此,为了避免不同角度的施工模型确定的施工特征产生的误差,故,需要确定符合现场图像的拍摄角度的施工模型切片,避免选取的施工模型切片的不同的角度带来的影响;
工程检测子系统5,用于根据现场图像和施工模型切片,进行相应工程检测。例如:检测现场图像中的工作人员是否规范施工。
上述技术方案的工作原理及有益效果为:
本申请根据获取的建筑施工现场的现场图像,确定第一施工项目,构建第一施工项目对应于建筑施工现场的施工模型,引入符合现场图像的拍摄角度的施工模型切片,再根据现场图像和施工模型切片进行工程检测。
本申请引入现场图像确定建筑施工现场的第一施工项目,再构建第一施工项目对应的施工模型,确定施工模型中符合现场图像的拍摄角度的施工模型切片,基于施工模型切片进行每一第一施工项目工程检测,提高了检测效率,避免了选取的标准化的施工模型切片的角度不适宜的情形,能够极大提高工程检测的精度。
在一个实施例中,所述现场图像获取子系统,包括:
第一待获取图像获取模块,用于获取建筑施工现场预设的目标位置处的固定拍摄装置拍摄的第一待获取图像;预设的目标位置为:建筑施工现场设置的固定位置的拍摄装置的位置;固定拍摄装置为:建筑施工现场设置的不可临时移动的深感摄像机;第一待获取图像为:固定拍摄装置拍摄的图片;
施工计划获取模块,用于获取建筑施工现场的施工计划,同时,获取当前施工进程;施工计划为,例如:何时在何处开展何种施工项目;当前施工进程为:已经开展的施工项目;
施工位置确定模块,用于根据当前施工进程和施工计划,确定当前施工点位;当前施工点位为:建筑施工现场中正在进行施工作业的位置;
第二待获取图像获取模块,用于控制预设的飞行拍摄装置基于当前施工点位进行动态巡航,获取飞行拍摄装置在动态巡航的过程中拍摄的第二待获取图像;预设的飞行拍摄装置为:搭载深感摄像装置的无人机;动态巡航为:先到达哪个当前施工点位,再到达那个当前施工点位,动态巡航的路线基于路径规划技术实现,路径规划技术属于现有技术范畴,不作赘述;
现场图像确定模块,用于将第一待获取图像和第二待获取图像共同作为现场图像。
上述技术方案的工作原理及有益效果为:
本申请引入固定的拍摄装置拍摄的第一待获取图像和飞行拍摄装置拍摄的第二待获取图像,将第一待获取图像和第二待获取图像共同作为现场图像,提高了现场图像的全面性,避免了后续检测的遗漏。
在一个实施例中,所述第一施工项目确定子系统,包括:
建筑现场特征提取模块,用于通过预设的第一特征提取器从现场图像提取建筑现场特征;预设的第一特征提取器为:预先设置的用于建筑现场特征提取的模块,基于特征提取技术构建,特征提取技术属于现有技术范畴,不作赘述;建筑现场特征为,例如:采用何种施工设备;
第一现场特征组获取模块,用于根据预设的特征分类器对建筑现场特征进行特征分类,获得至少一个第一现场特征组;预设的特征分类器为:预先设置的对现场特征进行特征分类的模块,基于特征聚类技术确定,特征聚类技术属于现有技术范畴,不作赘述;第一现场特征组为:同一特征类型的建筑现场特征组成的集合;
第二现场特征组获取模块,用于获取预设的第二施工项目的第二现场特征组;预设的第二施工项通过获取建筑施工现场的多个历史施工记录,根据历史施工记录确定;
特征匹配器获取模块,用于获取特征匹配器;特征匹配器为:用于计算现场特征的匹配程度的模块;
第一匹配值获确定模块,用于基于特征匹配器,根据第一现场特征组和第二现场特征组,确定第一匹配值;第一匹配值为:第一现场特征组和第二现场特征组的匹配程度,第一匹配值越大,现场图像中越可能包含对应的第二施工项目;
第一施工项目确定模块,用于根据第一匹配值,确定第二施工项目中的第一施工项目。第一匹配值大于人工预设阈值,则对应第二施工项目为第一施工项目。
上述技术方案的工作原理及有益效果为:
本申请引入第一特征提取器提取现场图像的建筑现场特征,提高了建筑现场特征获取的准确性;引入特征分类器对建筑现场特征进行特征分类,提升了分类的合理性;引入特征匹配器用于第一现场特征组和第二现场特征组的匹配,确定第一匹配值,确定过程更加精确。
在一个实施例中,所述特征匹配器获取模块,包括:
目标类型确定子模块,用于识别特征匹配目标,确定特征匹配目标的目标类型,并将同一目标类型的特征匹配目标作为匹配组;特征匹配目标为,例如:第一现场特征和第二现场特征;目标类型为:第一现场特征或第二现场特征的特征类型;匹配组为:待匹配的同一目标类型的第一现场特征和第二现场特征;
第二匹配值获取子模块,用于对每一匹配组中的组间元素进行特征匹配,获得第二匹配值;组间元素为:一一对应的第一现场特征和第二现场特征;
匹配深度确定子模块,用于根据匹配组的目标类型,确定匹配组的匹配深度;匹配深度根据目标类型对应设置;
加权值确定子模块,用于根据匹配深度,确定第二匹配值的加权值;加权值由匹配深度-加权值对照库确定;
第三匹配值确定子模块,用于根据加权值和第二匹配值,确定匹配目标的第三匹配值,并将第三匹配值作为特征匹配器的输出结果。第三匹配值为:每一加权值和对应第二匹配值相乘的结果的和值。
上述技术方案的工作原理及有益效果为:
本申请引入目标类型,根据目标类型确定匹配组,再对每一匹配组的组间元素进行特征匹配,确定第二匹配值,在根据目标类型,确定匹配深度,根据匹配深度确定加权值,加权值的确定更加合理,根据加权值和第二匹配值确定匹配目标的第三匹配值,极大提高了第三匹配值的精确程度。
在一个实施例中,所述施工模型构建子系统,包括:
规范施工标准获取模块,用于获取第一施工项目的通用规范施工标准;通用规范施工标准为:第一施工项目的行业统一标准;
专属规范施工标准制定模块,用于根据通用规范施工标准和建筑施工现场的现场情况,确定建筑施工现场的专属规范施工标准;现场情况为:建筑施工现场的施工特征,例如:建筑规模和地形条件等;专属规范施工标准为:根据建筑施工现场的实际情况调整过的规范的施工标准;
现场模型构建模块,用于基于BIM/GIS技术,根据现场图像,构建建筑施工现场的现场模型;BIM(Building Information Modeling,建筑信息模型)和GIS(GeographicInformation Systems,地理信息系统)属于现有技术范畴,不作赘述;现场模型为:建筑施工现场的三维模型;
施工模型获取模块,用于设置人体模型根据专属规范施工标准在现场模型进行模拟施工,获得施工模型。人体模型为:工作人员的人体三维模型;
上述技术方案的工作原理及有益效果为:
本申请根据通用规范施工标准和现场情况,确定建筑施工现场的专属规范施工标准,再构建建筑施工现场的现场模型,设置人体模型根据专属规范施工标准在现场模型进行模拟施工,获得施工模型,提高了施工模型获取的适宜性。
在一个实施例中,所述施工模型切片确定子系统,包括:
第一参数获取模块,用于获取现场图像中的多个目标物体在现场图像中呈现的第一参数;目标物体为:施工设备(例如:水泥搅拌机);第一参数为,例如:目标物体在现场图像中的面积;
第二参数获取模块,用于获取目标物体实测的第二参数;第二参数为:目标物体的等比例三维模型在显示装置上的呈现角度和目标物体在现场图像中的呈现角度一致时等比例三维模型在显示装置上呈现的面积;
参数比值计算模块,用于计算第一参数和第二参数的参数比值;参数比值为:目标物体的缩放比例;
拍摄距离确定模块,用于根据参数比值,确定目标物体的拍摄距离;拍摄距离为,例如:50m;
球面绘制模块,用于确定施工模型中目标物体对应的目标模型,在施工模型中,以目标模型为球心,目标模型对应的拍摄距离为半径,绘制球面;目标模型为:目标物体在施工模型中对应的模拟模型;
球面交点获取模块,用于获取球面的球面交点,计算球面交点所属球面的球面个数;球面个数为,例如:13个;
模拟拍摄点位确定模块,用于将球面个数最多的球面交点作为模拟拍摄点位;
施工模型切片获取模块,用于根据模拟拍摄点位,确定施工模型切片。
上述技术方案的工作原理及有益效果为:
本申请根据目标物体在现场图像的第一参数和目标物体实测的第二参数,计算第一参数和第二参数的参数比值,根据参数比值,确定目标物体的拍摄距离,拍摄距离的确定更加合理;将目标模型作为球心,目标模型对应的拍摄距离作为半径绘制球面的确定的球面交点,将球面个数最多的球面交点确定为模拟拍摄点位,提高了模拟拍摄点位确定的适宜性。
在一个实施例中,所述第二参数获取模块,包括:
第一轮廓信息获取子模块,用于提取目标物体在现场图像中的第一轮廓信息;第一轮廓信息为:目标物体在现场图像中呈现的轮廓,基于轮廓提取技术实现,轮廓提取技术属于现有技术范畴,不作赘述;
第二轮廓信息获取子模块,用于将目标物体的等比例三维模型在预设的三维空间内进行随机旋转,获取等比例三维模型在随机旋转过程中的第二轮廓信息;等比例三维模型为:根据目标物体在实际空间的形状信息1:1构建的三维模型;预设的三维空间由人工基于现有的三维仿真软件进行设置;第二轮廓信息为:等比例三维模型呈现在显示装置上的轮廓;其中,随机旋转的公式为:
其中,X、Y和Z分别为等比例三维模型在上述三维空间内预设的三维坐标系中旋转前的X轴、Y轴和Z轴的坐标值,X′、Y′和Z′分别为等比例三维模型在上述三维坐标系中旋转后的X轴、Y轴和Z轴的坐标值,和/>分别为:
其中,α为等比例三维模型绕X轴的旋转角度,β为等比例三维模型绕Y轴的旋转角度,γ为等比例三维模型绕Z轴的旋转角度;
相似值计算子模块,用于计算第一轮廓信息和第二轮廓信息的相似值;相似值越高,说明等比例三维模型在显示装置上的呈现角度和目标物体在现场图像中的呈现角度越一致;
第三轮廓信息确定子模块,用于当相似值大于等于预设的相似值阈值时,将对应第二轮廓信息作为第三轮廓信息;相似值阈值为,例如:98%;第三轮廓信息为:等比例三维模型在显示装置上的呈现角度和目标物体在现场图像中的呈现角度一致时,等比例三维模型在显示装置上显示的轮廓;
第二参数确定子模块,用于根据第三轮廓信息,确定轮廓面积,并将轮廓面积作为第二参数。轮廓面积通过仿真软件计算输出即可。
上述技术方案的工作原理及有益效果为:
本申请提取目标物体在现场图像中的第一轮廓信息,同时,引入目标物体的等比例三维模型,确定等比例三维模型随机旋转过程中的第二轮廓信息,根据第一轮廓信息和第二轮廓信息的相似值,确定相似值大于等于预设的相似值阈值的第三轮廓信息,根据第三轮廓信息确定第二参数,提高了第二参数的获取的准确性。
在一个实施例中,所述施工模型切片获取模块,包括:
目标点位确定子模块,用于确定目标模型在施工模型中的目标点位;目标点位为:目标模型在施工模型中的位置;
射线绘制子模块,用于绘制从模拟拍摄点位出发且经过目标点位的目标射线;
射线夹角计算子模块,用于计算目标射线之间的射线夹角,确定射线夹角中夹角最大的射线夹角作为目标夹角;射线夹角为,例如:70°;
角平分线获取子模块,用于获取目标夹角的角平分线;
目标切片确定子模块,用于确定施工模型中垂直于角平分线且包含模拟拍摄点位的目标切片,并作为施工模型切片。
上述技术方案的工作原理及有益效果为:
本申请引入从模拟拍摄点位出发且经过目标点位的目标射线,根据目标射线之间的射线夹角,确定夹角最大的目标夹角,确定垂直于目标夹角的角平分线且包含模拟拍摄点位的施工模型切片,在可以对所有目标物体进行工程检测的同时,尽量小的避免了拍摄角度不同带来的影响,提高了工程检测精度。
在一个实施例中,所述工程检测子系统,包括:
施工特征提取模块,用于通过预设的第二特征提取器提取现场图像中的第一施工特征和施工模型切片的第二施工特征;预设的第二特征提取器为:预先设置的用于施工特征提取的模块,基于特征提取技术构建,特征提取技术属于现有技术范畴,不作赘述;第一施工特征为,例如:建筑施工现场的土方的浇筑情况;第二施工特征为,例如:施工模型中的土方对应的模拟土方的浇筑情况;
第三施工特征确定模块,用于根据第一施工特征和第二施工特征,确定不规范的第三施工特征;确定不规范的第三施工特征时,计算第一施工特征和第二施工特征的相似度,若相似度小于相似度对应预设阈值,将相应第一施工特征作为第三施工特征;
检测结果确定模块,用于基于预设的检测结果输出模板,根据第三施工特征,确定工程检测的检测结果。检测结果输出模板约束只进行工程检测的检测结果为输出,不输出其他内容;检测结果为,例如:检测合格,又例如:检测安全。
上述技术方案的工作原理及有益效果为:
本申请引入符合现场图像的拍摄角度的施工模型切片,避免选取的标准化的施工模型切片的角度带来的影响,并根据第二特征提取器提取现场图像中的第一施工特征和施工模型切片的第二施工特征,基于第一施工特征和第二施工特征的比较结果,确定不规范的第三施工特征,提高了第三施工特征获取的精确性;引入检测结果输出模板输入对应于第三施工特征的检测结果,提升了检测结果输出的规范性。
本发明实施例提供了应用于建筑施工现场的工程检测方法,如图2所示,包括:
步骤1:获取建筑施工现场的多个现场图像;
步骤2:根据现场图像,确定建筑施工现场的至少一个第一施工项目;
步骤3:构建第一施工项目对应于建筑施工现场的施工模型;
步骤4:确定施工模型中符合现场图像的拍摄角度的施工模型切片;
步骤5:根据现场图像和施工模型切片,进行相应工程检测。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (5)
1.应用于建筑施工现场的工程检测系统,其特征在于,包括:
现场图像获取子系统,用于获取建筑施工现场的多个现场图像;
第一施工项目确定子系统,用于根据现场图像,确定建筑施工现场的至少一个第一施工项目;
施工模型构建子系统,用于构建第一施工项目对应于建筑施工现场的施工模型;
施工模型切片确定子系统,用于确定施工模型中符合现场图像的拍摄角度的施工模型切片;
工程检测子系统,用于根据现场图像和施工模型切片,进行相应工程检测;
其中,所述第一施工项目确定子系统,包括:
建筑现场特征提取模块,用于通过预设的第一特征提取器从现场图像提取建筑现场特征;
第一现场特征组获取模块,用于根据预设的特征分类器对建筑现场特征进行特征分类,获得至少一个第一现场特征组;
第二现场特征组获取模块,用于获取预设的第二施工项目的第二现场特征组;
特征匹配器获取模块,用于获取特征匹配器;
第一匹配值获确定模块,用于基于特征匹配器,根据第一现场特征组和第二现场特征组,确定第一匹配值;
第一施工项目确定模块,用于根据第一匹配值,确定第二施工项目中的第一施工项目;
其中,所述特征匹配器获取模块,包括:
目标类型确定子模块,用于识别特征匹配目标,确定特征匹配目标的目标类型,并将同一目标类型的特征匹配目标作为匹配组;
第二匹配值获取子模块,用于对每一匹配组中的组间元素进行特征匹配,获得第二匹配值;
匹配深度确定子模块,用于根据匹配组的目标类型,确定匹配组的匹配深度;
加权值确定子模块,用于根据匹配深度,确定第二匹配值的加权值;
第三匹配值确定子模块,用于根据加权值和第二匹配值,确定匹配目标的第三匹配值,并将第三匹配值作为特征匹配器的输出结果;
其中,所述施工模型切片确定子系统,包括:
第一参数获取模块,用于获取现场图像中的多个目标物体在现场图像中呈现的第一参数;
第二参数获取模块,用于获取目标物体实测的第二参数;
参数比值计算模块,用于计算第一参数和第二参数的参数比值;
拍摄距离确定模块,用于根据参数比值,确定目标物体的拍摄距离;
球面绘制模块,用于确定施工模型中目标物体对应的目标模型,在施工模型中,以目标模型为球心,目标模型对应的拍摄距离为半径,绘制球面;
球面交点获取模块,用于获取球面的球面交点,计算球面交点所属球面的球面个数;
模拟拍摄点位确定模块,用于将球面个数最多的球面交点作为模拟拍摄点位;
施工模型切片获取模块,用于根据模拟拍摄点位,确定施工模型切片;
其中,所述第二参数获取模块,包括:
第一轮廓信息获取子模块,用于提取目标物体在现场图像中的第一轮廓信息;
第二轮廓信息获取子模块,用于将目标物体的等比例三维模型在预设的三维空间内进行随机旋转,获取等比例三维模型在随机旋转过程中的第二轮廓信息;
其中,随机旋转的公式为:
其中,X、Y和Z分别为等比例三维模型在上述三维空间内预设的三维坐标系中旋转前的X轴、Y轴和Z轴的坐标值,X′、Y′和Z′分别为等比例三维模型在上述三维坐标系中旋转后的X轴、Y轴和Z轴的坐标值,和/>分别为:
其中,α为等比例三维模型绕X轴的旋转角度,β为等比例三维模型绕Y轴的旋转角度,γ为等比例三维模型绕Z轴的旋转角度;
相似值计算子模块,用于计算第一轮廓信息和第二轮廓信息的相似值;
第三轮廓信息确定子模块,用于当相似值大于等于预设的相似值阈值时,将对应第二轮廓信息作为第三轮廓信息;
第二参数确定子模块,用于根据第三轮廓信息,确定轮廓面积,并将轮廓面积作为第二参数;
其中,所述施工模型切片获取模块,包括:
目标点位确定子模块,用于确定目标模型在施工模型中的目标点位;
射线绘制子模块,用于绘制从模拟拍摄点位出发且经过目标点位的目标射线;
射线夹角计算子模块,用于计算目标射线之间的射线夹角,确定射线夹角中夹角最大的射线夹角作为目标夹角;
角平分线获取子模块,用于获取目标夹角的角平分线;
目标切片确定子模块,用于确定施工模型中垂直于角平分线且包含模拟拍摄点位的目标切片,并作为施工模型切片。
2.如权利要求1所述的应用于建筑施工现场的工程检测系统,其特征在于,所述现场图像获取子系统,包括:
第一待获取图像获取模块,用于获取建筑施工现场预设的目标位置处的固定拍摄装置拍摄的第一待获取图像;
施工计划获取模块,用于获取建筑施工现场的施工计划,同时,获取当前施工进程;
施工位置确定模块,用于根据当前施工进程和施工计划,确定当前施工点位;
第二待获取图像获取模块,用于控制预设的飞行拍摄装置基于当前施工点位进行动态巡航,获取飞行拍摄装置在动态巡航的过程中拍摄的第二待获取图像;
现场图像确定模块,用于将第一待获取图像和第二待获取图像共同作为现场图像。
3.如权利要求1所述的应用于建筑施工现场的工程检测系统,其特征在于,所述施工模型构建子系统,包括:
规范施工标准获取模块,用于获取第一施工项目的通用规范施工标准;
专属规范施工标准制定模块,用于根据通用规范施工标准和建筑施工现场的现场情况,确定建筑施工现场的专属规范施工标准;
现场模型构建模块,用于基于BIM/GIS技术,根据现场图像,构建建筑施工现场的现场模型;
施工模型获取模块,用于设置人体模型根据专属规范施工标准在现场模型进行模拟施工,获得施工模型。
4.如权利要求1所述的应用于建筑施工现场的工程检测系统,其特征在于,所述工程检测子系统,包括:
施工特征提取模块,用于通过预设的第二特征提取器提取现场图像中的第一施工特征和施工模型切片的第二施工特征;
第三施工特征确定模块,用于根据第一施工特征和第二施工特征,确定不规范的第三施工特征;
检测结果确定模块,用于基于预设的检测结果输出模板,根据第三施工特征,确定工程检测的检测结果。
5.应用于建筑施工现场的工程检测方法,其特征在于,包括:
步骤1:获取建筑施工现场的多个现场图像;
步骤2:根据现场图像,确定建筑施工现场的至少一个第一施工项目;
步骤3:构建第一施工项目对应于建筑施工现场的施工模型;
步骤4:确定施工模型中符合现场图像的拍摄角度的施工模型切片;
步骤5:根据现场图像和施工模型切片,进行相应工程检测;
其中,步骤2:根据现场图像,确定建筑施工现场的至少一个第一施工项目,包括:
通过预设的第一特征提取器从现场图像提取建筑现场特征;
根据预设的特征分类器对建筑现场特征进行特征分类,获得至少一个第一现场特征组;
获取预设的第二施工项目的第二现场特征组;
获取特征匹配器;
基于特征匹配器,根据第一现场特征组和第二现场特征组,确定第一匹配值;
根据第一匹配值,确定第二施工项目中的第一施工项目;
其中,获取特征匹配器,包括:
识别特征匹配目标,确定特征匹配目标的目标类型,并将同一目标类型的特征匹配目标作为匹配组;
对每一匹配组中的组间元素进行特征匹配,获得第二匹配值;
根据匹配组的目标类型,确定匹配组的匹配深度;
根据匹配深度,确定第二匹配值的加权值;
根据加权值和第二匹配值,确定匹配目标的第三匹配值,并将第三匹配值作为特征匹配器的输出结果;
其中,步骤4:确定施工模型中符合现场图像的拍摄角度的施工模型切片,包括:
获取现场图像中的多个目标物体在现场图像中呈现的第一参数;
获取目标物体实测的第二参数;
计算第一参数和第二参数的参数比值;
根据参数比值,确定目标物体的拍摄距离;
确定施工模型中目标物体对应的目标模型,在施工模型中,以目标模型为球心,目标模型对应的拍摄距离为半径,绘制球面;
获取球面的球面交点,计算球面交点所属球面的球面个数;
将球面个数最多的球面交点作为模拟拍摄点位;
根据模拟拍摄点位,确定施工模型切片;
其中,获取目标物体实测的第二参数,包括:
提取目标物体在现场图像中的第一轮廓信息;
将目标物体的等比例三维模型在预设的三维空间内进行随机旋转,获取等比例三维模型在随机旋转过程中的第二轮廓信息;
其中,随机旋转的公式为:
其中,X、Y和Z分别为等比例三维模型在上述三维空间内预设的三维坐标系中旋转前的X轴、Y轴和Z轴的坐标值,X′、Y′和Z′分别为等比例三维模型在上述三维坐标系中旋转后的X轴、Y轴和Z轴的坐标值,和/>分别为:
其中,α为等比例三维模型绕X轴的旋转角度,β为等比例三维模型绕Y轴的旋转角度,γ为等比例三维模型绕Z轴的旋转角度;
计算第一轮廓信息和第二轮廓信息的相似值;
当相似值大于等于预设的相似值阈值时,将对应第二轮廓信息作为第三轮廓信息;
根据第三轮廓信息,确定轮廓面积,并将轮廓面积作为第二参数;
其中,根据模拟拍摄点位,确定施工模型切片,包括:
确定目标模型在施工模型中的目标点位;
绘制从模拟拍摄点位出发且经过目标点位的目标射线;
计算目标射线之间的射线夹角,确定射线夹角中夹角最大的射线夹角作为目标夹角;
获取目标夹角的角平分线;
确定施工模型中垂直于角平分线且包含模拟拍摄点位的目标切片,并作为施工模型切片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310458919.4A CN116341875B (zh) | 2023-04-25 | 2023-04-25 | 应用于建筑施工现场的工程检测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310458919.4A CN116341875B (zh) | 2023-04-25 | 2023-04-25 | 应用于建筑施工现场的工程检测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116341875A CN116341875A (zh) | 2023-06-27 |
CN116341875B true CN116341875B (zh) | 2023-11-21 |
Family
ID=86878955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310458919.4A Active CN116341875B (zh) | 2023-04-25 | 2023-04-25 | 应用于建筑施工现场的工程检测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116341875B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117114782B (zh) * | 2023-10-24 | 2024-05-28 | 佛山电力设计院有限公司 | 建筑工程造价分析方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110490415A (zh) * | 2019-07-15 | 2019-11-22 | 同济大学 | 一种多无人机视觉协同的建筑进度评估方法 |
CN114066206A (zh) * | 2021-11-11 | 2022-02-18 | 广东诚浩工程项目管理有限公司 | 装配式施工质量监理控制方法、装置、设备及存储介质 |
CN114693236A (zh) * | 2020-12-30 | 2022-07-01 | 上海长浩工程建设集团有限公司 | 一种建筑施工的工程检测系统及其检测方法 |
CN115273126A (zh) * | 2022-08-02 | 2022-11-01 | 清华大学 | 建筑工程图中构件的识别方法、装置、和电子设备 |
WO2022235209A1 (en) * | 2021-05-07 | 2022-11-10 | National University Of Singapore | A system and method for detecting a hazard and for determining construction site progress |
CN115424155A (zh) * | 2022-11-04 | 2022-12-02 | 浙江大华技术股份有限公司 | 违建检测方法、违建检测装置以及计算机存储介质 |
-
2023
- 2023-04-25 CN CN202310458919.4A patent/CN116341875B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110490415A (zh) * | 2019-07-15 | 2019-11-22 | 同济大学 | 一种多无人机视觉协同的建筑进度评估方法 |
CN114693236A (zh) * | 2020-12-30 | 2022-07-01 | 上海长浩工程建设集团有限公司 | 一种建筑施工的工程检测系统及其检测方法 |
WO2022235209A1 (en) * | 2021-05-07 | 2022-11-10 | National University Of Singapore | A system and method for detecting a hazard and for determining construction site progress |
CN114066206A (zh) * | 2021-11-11 | 2022-02-18 | 广东诚浩工程项目管理有限公司 | 装配式施工质量监理控制方法、装置、设备及存储介质 |
CN115273126A (zh) * | 2022-08-02 | 2022-11-01 | 清华大学 | 建筑工程图中构件的识别方法、装置、和电子设备 |
CN115424155A (zh) * | 2022-11-04 | 2022-12-02 | 浙江大华技术股份有限公司 | 违建检测方法、违建检测装置以及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116341875A (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116341875B (zh) | 应用于建筑施工现场的工程检测系统及方法 | |
Zhou et al. | Image-based onsite object recognition for automatic crane lifting tasks | |
Kopsida et al. | BIM registration methods for mobile augmented reality-based inspection | |
Lokhat et al. | Enhancing building footprints with squaring operations | |
CN112489099A (zh) | 点云配准方法、装置、存储介质及电子设备 | |
EP4068210A1 (en) | System and method for automated estimation of 3d orientation of a physical asset | |
Moemen et al. | 3-D reconstruction and measurement system based on multimobile robot machine vision | |
Oniga et al. | Accuracy assessment of a complex building 3d model reconstructed from images acquired with a low-cost Uas | |
Ghorbani et al. | A novel 3-D local DAISY-style descriptor to reduce the effect of point displacement error in point cloud registration | |
CN113160401B (zh) | 一种面向物体的视觉slam轻量化语义地图创建方法 | |
CN112381873A (zh) | 一种数据标注方法及装置 | |
CN112325857A (zh) | 基于倾斜摄影的无人机障碍预警方法 | |
CN116524143A (zh) | 一种gis地图构建方法 | |
Ahmad et al. | Generation of three dimensional model of building using photogrammetric technique | |
CN116203976A (zh) | 变电站室内巡检方法、装置、无人机和存储介质 | |
CN112906092A (zh) | 一种映射方法和映射系统 | |
Streier et al. | Determination of the statistical distribution of drag and lift coefficients of refuse derived fuel by computer vision | |
CN110853103A (zh) | 一种用于深度学习姿态估计的数据集制作方法 | |
Xu et al. | Classification of photogrammetric point clouds of scaffolds for construction site monitoring using subspace clustering and PCA | |
Chen et al. | Intelligent Interpretation of the Geometric Properties of Rock Mass Discontinuities Based on an Unmanned Aerial Vehicle | |
CN117685881B (zh) | 一种混凝土结构实体位置与尺寸偏差的感知与检测方法 | |
CN115527008A (zh) | 基于混合现实技术的安全模拟体验培训系统 | |
Savii | Camera calibration using compound genetic-simplex algorithm | |
Kortaberria et al. | Theoretical accuracy assessment of model-based photogrammetric approach for pose estimation of cylindrical elements | |
Dabbiru et al. | Object detection in synthetic aerial imagery using deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |