CN114411867A - 一种挖掘工程作业结果的三维图形渲染展示方法及装置 - Google Patents
一种挖掘工程作业结果的三维图形渲染展示方法及装置 Download PDFInfo
- Publication number
- CN114411867A CN114411867A CN202210153059.9A CN202210153059A CN114411867A CN 114411867 A CN114411867 A CN 114411867A CN 202210153059 A CN202210153059 A CN 202210153059A CN 114411867 A CN114411867 A CN 114411867A
- Authority
- CN
- China
- Prior art keywords
- construction
- elevation
- area
- dimensional
- excavation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Mining & Mineral Resources (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Robotics (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及挖掘机操作辅助技术领域,公开了一种挖掘工程作业结果的三维图形渲染展示方法及装置,可根据铲斗末梢空间坐标的历史轨迹,确定已作业区域在挖掘后的当前高程及当前挖掘状态,最后在输出显示施工任务区域的三维体时,根据所述已作业区域的当前挖掘状态和与不同挖掘状态对应的预设纹理像素,对所述三维体中与所述已作业区域对应的面进行渲染展示,从而可根据构筑的三维几何体实时渲染施工设计面,动态展示挖掘工程作业的进展,大大提升具象化表达能力,降低理解门槛,特别利于操作员感知在高程方面的作业结果,进而精确掌握每一次运动状态,甚至可辅助无人机施工作业,便于实际应用和推广。
Description
技术领域
本发明属于挖掘机操作辅助技术领域,具体地涉及一种挖掘工程作业结果的三维图形渲染展示方法及装置。
背景技术
挖掘机,又称挖掘机械(Excavating Machinery),也称挖土机,是用铲斗挖掘高于或低于承机面的物料,并装入运输车辆或卸至堆料场的土方机械。最初挖掘机是手动的,从诞生到2013年已经有一百三十多年了,期间经历了由蒸汽驱动斗回转挖掘机到电力驱动和内燃机驱动回转挖掘机,以及到应用机电液一体化技术的全自动液压挖掘机的逐步发展过程。目前已经发展到第三代挖掘机,即基于电子技术尤其是计算机技术的广泛应用,使挖掘机有了自动化的控制系统,也使挖掘机向高性能、自动化和智能化方向发展。
在现有的挖掘机操作辅助系统中,对用于反映挖掘工程作业结果的工程数据进行展示的手段,主要还是以2D形式进行展示,存在具象表达力不足以及理解门槛较高(即需要操作员具有较高的空间想象能力才能感知挖掘工程作业结果,以便进行下一步操作)的问题,因此如何对挖掘工程作业结果进行3D形式展示,增强具象化表达能力和降低理解门槛,是本领域技术人员亟需研究的课题。
发明内容
为了解决现有挖掘机操作辅助系统在展示挖掘工程作业结果时存在具象表达力不足以及理解门槛较高的问题,本发明目的在于提供一种挖掘工程作业结果的三维图形渲染展示方法、装置、计算机设备及计算机可读存储介质,可根据构筑的三维几何体实时渲染施工设计面,动态展示挖掘工程作业的进展,大大提升具象化表达能力,降低理解门槛,特别利于操作员感知在高程方面的作业结果,进而精确掌握每一次运动状态,甚至可辅助无人机施工作业。
第一方面,本发明提供了一种挖掘工程作业结果的三维图形渲染展示方法,包括:
接收施工设计图纸文件,其中,所述施工设计图纸文件包含有挖掘施工平面图;
根据在所述挖掘施工平面图中标注的空间坐标信息,运用数字高程模型技术将所述施工设计图纸文件转换为施工作业任务文件,其中,所述施工作业任务文件记录有施工任务区域;
获取挖掘机的铲斗末梢空间坐标,其中,所述铲斗末梢空间坐标包含有铲斗末梢的平面坐标和高程;
根据所述铲斗末梢空间坐标的历史轨迹,确定已作业区域在挖掘后的当前高程及当前挖掘状态,其中,所述已作业区域是指在所述施工任务区域中的且根据平面坐标匹配结果确定所述铲斗末梢已到达过的最小不可分区域,所述当前高程取所述铲斗末梢在到达所述已作业区域时的高程最低值,所述当前挖掘状态根据所述当前高程与对应已作业区域的施工设计面高程的比较结果确定;
根据所述施工作业任务文件以及所有已作业区域在挖掘后的所述当前高程,运用数字高程模型技术构建所述施工任务区域的三维体;
在输出显示所述三维体时,根据所述已作业区域的当前挖掘状态和与不同挖掘状态对应的预设纹理像素,对所述三维体中与所述已作业区域对应的面进行渲染展示。
基于上述发明内容,提供了一种对挖掘工程作业结果进行3D形式展示的新方案,即在接收包含有挖掘施工平面图的施工设计图纸文件后,可先根据在所述挖掘施工平面图中标注的空间坐标信息,运用数字高程模型技术将所述施工设计图纸文件转换为记录有施工任务区域的施工作业任务文件,然后根据铲斗末梢空间坐标的历史轨迹,确定已作业区域在挖掘后的当前高程及当前挖掘状态,再然后根据所述施工作业任务文件以及所有已作业区域在挖掘后的所述当前高程,运用数字高程模型技术构建所述施工任务区域的三维体,最后在输出显示所述三维体时,根据所述已作业区域的当前挖掘状态和与不同挖掘状态对应的预设纹理像素,对所述三维体中与所述已作业区域对应的面进行渲染展示,从而可根据构筑的三维几何体实时渲染施工设计面,动态展示挖掘工程作业的进展,大大提升具象化表达能力,降低理解门槛,特别利于操作员感知在高程方面的作业结果,进而精确掌握每一次运动状态,甚至可辅助无人机施工作业。此外,由于开创性地自研纹理像素坐标系统,并结合数字高程模型技术,实现了建模+2D渲染投影的渲染模式,做到了分米级渲染精度的同时,保证了渲染操作的复杂度在O(n2)级别内,进而可以优化计算机处理海量施工数据的复杂度以及高效地渲染三维体。
在一个可能的设计中,获取挖掘机的铲斗末梢空间坐标,包括:
获取来自全球导航卫星系统GNSS接收器的定位信息和来自倾角传感器的倾角信息,其中,所述GNSS接收器固定安装在挖掘机的机体顶端,所述定位信息包含有机体顶端安装点的三维坐标以及偏航角,所述倾角传感器的数目有多个且分别布置在挖掘机大臂、挖掘机斗杆和挖掘机铲斗上;
根据所述定位信息、所述倾角信息、所述机体顶端安装点与机体的相对位置关系和挖掘机机型数据,推算出在绝对坐标系下的所述铲斗末梢空间坐标,其中,所述挖掘机机型数据包含有所述挖掘机中每一个部件的尺寸信息。
在一个可能的设计中,所述当前挖掘状态分为超挖状态、欠挖状态和合格状态,其中,所述超挖状态表示所述当前高程小于所述施工设计面高程,所述欠挖状态表示所述当前高程大于所述施工设计面高程,所述合格状态表示所述当前高程等于所述施工设计面高程。
在一个可能的设计中,将与所述超挖状态对应的预设纹理像素设为红色,将与所述欠挖状态对应的预设纹理像素设为黄色,以及将与所述合格状态对应的预设纹理像素设为绿色。
在一个可能的设计中,所述最小不可分区域的尺寸大小为0.2m*0.2m。
在一个可能的设计中,在根据所述施工作业任务文件以及所有已作业区域在挖掘后的所述当前高程,运用数字高程模型技术构建所述施工任务区域的三维体之后,所述方法还包括:
在所述三维体中,若判定某个三角面的三角面积小于预设阈值,则遍历与所述某个三角面相邻的各对三角面,当发现某对三角面与所述某个三角面合并后仍然为三角面时,对所述某个三角面和所述某对三角面进行合并处理,得到新三角面及新三维体。
在一个可能的设计中,在输出显示所述三维体时,包括:
在正视图展示视窗中展示所述三维体的正视面渲染结果/和所述铲斗末梢与施工设计面高程之间的偏移线;
在侧视图展示视窗中展示所述三维体的侧视面渲染结果/和所述挖掘机的机体及所述铲斗末梢与施工设计面的相对空间关系;
在俯视图展示视窗中展示所述三维体的俯视面渲染结果/和所述挖掘机在所述施工任务区域中与所述已作业区域的相对位置关系。
第二方面,本发明提供了一种挖掘工程作业结果的三维图形渲染展示装置,包括有文件接收模块、文件转换模块、空间坐标获取模块、挖掘状态确定模块、三维体构建模块和显示模块;
所述文件接收模块,用于接收施工设计图纸文件,其中,所述施工设计图纸文件包含有挖掘施工平面图;
所述文件转换模块,通信连接所述文件接收模块,用于根据在所述挖掘施工平面图中标注的空间坐标信息,运用数字高程模型技术将所述施工设计图纸文件转换为施工作业任务文件,其中,所述施工作业任务文件记录有施工任务区域;
所述空间坐标获取模块,用于获取挖掘机的铲斗末梢空间坐标,其中,所述铲斗末梢空间坐标包含有铲斗末梢的平面坐标和高程;
所述挖掘状态确定模块,分别通信连接所述空间坐标获取模块和所述文件转换模块,用于根据所述铲斗末梢空间坐标的历史轨迹,确定已作业区域在挖掘后的当前高程及当前挖掘状态,其中,所述已作业区域是指在所述施工任务区域中的且根据平面坐标匹配结果确定所述铲斗末梢已到达过的最小不可分区域,所述当前高程取所述铲斗末梢在到达所述已作业区域时的高程最低值,所述当前挖掘状态根据所述当前高程与对应已作业区域的施工设计面高程的比较结果确定;
所述三维体构建模块,分别通信连接所述挖掘状态确定模块和所述文件转换模块,用于根据所述施工作业任务文件以及所有已作业区域在挖掘后的所述当前高程,运用数字高程模型技术构建所述施工任务区域的三维体;
所述显示模块,分别通信连接所述挖掘状态确定模块和所述三维体构建模块,用于在输出显示所述三维体时,根据所述已作业区域的当前挖掘状态和与不同挖掘状态对应的预设纹理像素,对所述三维体中与所述已作业区域对应的面进行渲染展示。
第三方面,本发明提供了一种计算机设备,包括有依次通信连接的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发信息,所述处理器用于读取所述计算机程序,执行如第一方面或第一方面中任意可能设计所述的三维图形渲染展示方法。
第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如上第一方面或第一方面中任意可能设计所述的三维图形渲染展示方法。
第五方面,本发明提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如上第一方面或第一方面中任意可能设计所述的三维图形渲染展示方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的挖掘工程作业结果的三维图形渲染展示方法的流程示意图。
图2是本发明提供的挖掘工程作业结果的三维图形渲染展示装置的结构示意图。
图3是本发明提供的计算机设备的结构示意图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是,对于这些实施例方式的说明虽然是用于帮助理解本发明,但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明示例的实施例。然而,可用很多备选的形式来体现本发明,并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解,尽管本文可能使用术语第一和第二等等来描述各种对象,但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象,同时不脱离本发明的示例实施例的范围。
应当理解,对于本文中可能出现的术语“和/或”,其仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A、单独存在B或者同时存在A和B等三种情况;对于本文中可能出现的术语“/和”,其是描述另一种关联对象关系,表示可以存在两种关系,例如,A/和B,可以表示:单独存在A或者同时存在A和B等两种情况;另外,对于本文中可能出现的字符“/”,一般表示前后关联对象是一种“或”关系。
如图1所示,本实施例第一方面提供的所述挖掘工程作业结果的三维图形渲染展示方法,涉及挖据机操作辅助和数字高程模型(Digital Elevation Model,DEM)等技术,可以但不限于由具有一定计算资源的计算机设备执行,例如由个人计算机(PersonalComputer,PC,指一种大小、价格和性能适用于个人使用的多用途计算机;台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(Personal digital assistant,PAD)、可穿戴设备或挖掘机的车载终端等电子设备执行,以便根据构筑的三维几何体实时渲染施工设计面,动态展示挖掘工程作业的进展,大大提升具象化表达能力,降低理解门槛,特别利于操作员感知在高程方面的作业结果,进而精确掌握每一次运动状态,甚至可辅助无人机施工作业。如图1所示,所述三维图形渲染展示方法,优选适用于挖掘机的车载终端,可以但不限于包括有如下步骤S1~S6。
S1.接收施工设计图纸文件,其中,所述施工设计图纸文件包含但不限于有挖掘施工平面图。
在所述步骤S1中,所述施工设计图纸文件为由施工方提供的电子文件,其中的挖掘施工平面图可以但不限于通过CAD或ARCGIS等软件绘制而成。在所述挖掘施工平面图中,除了包含有用于限定施工任务区域等的线条外,还需针对相应位置的施工设计面标注有空间坐标XYH信息(即XY表示平面坐标,用于定位平面位置,H表示高程,可以定位这个平面上的点在空间上的高度)。此外,所述施工设计图纸文件的接收方式可以但不限于由施工方手动导入而得。
S2.根据在所述挖掘施工平面图中标注的空间坐标信息,运用数字高程模型技术将所述施工设计图纸文件转换为施工作业任务文件,其中,所述施工作业任务文件记录但不限于有施工任务区域。
在所述步骤S2中,所述施工作业任务文件为面向施工方设计的专业施工文件格式dsg文件,以便挖据机的车载终端用以执行挖据作业任务。所述数字高程模型(DigitalElevation Model)技术,简称DEM,是通过有限的地形高程数据实现对地面地形的数字化模拟技术(即地形表面形态的数字化表达),它是用一组有序数值阵列形式表示地面高程的一种实体地面模型,是数字地形模型(Digital Terrain Model,简称DTM)的一个分支,其它各种地形特征值均可由此派生。所述数字高程模型的数据组织表达形式有多种,其中在土地利用工程中常用的有规则的矩形格网与不规则的三角网两种:(1)规则矩形格网是高斯投影平台上,在Z轴及Y轴方向按等间隔排列的地形点的平面坐标(z,y)及其方程(z)的数据集,其任一点P{i,j}的平面坐标,可根据该点在DEM中的行列号i和j及存放在该DEM文件基本信息中推算出来;矩形格网DEM的优点是存储量较小,可以压缩存储,便于使用和管理;在农地开发整理中,由于范围较小而且地形变化较小,测算土方量时一般采用方格网法,因此用矩形格网法组成DEM较为适用;(2)不规则三角网是用不规则的三角网表示的DEM,通常称DEM或TIN(Triangulated Irregular Network),由于构成TIN的每个点都是原始数据,避免了内插精度损失,所以TIN能较好地估计地貌的特征点及线,表示复杂地形比矩形格网精确。因此可通过在矩形格网技术或不规则三角网技术中的常规转换手段将所述施工设计图纸文件转换为所述施工作业任务文件。此外,在转换过程中还可以运用纹理像素等技术,使所述数字地面模型具有初始的表面渲染效果,以及所述施工作业任务文件也可以在外部设备转化后,再导入本地设备(即挖掘机的车载终端)。
S3.获取挖掘机的铲斗末梢空间坐标,其中,所述铲斗末梢空间坐标包含但不限于有铲斗末梢的平面坐标和高程。
在所述步骤S3中,所述铲斗末梢空间坐标可以是位于所述铲斗末梢上的一个点的空间坐标(即平面坐标和高程),也可以是位于所述铲斗末梢上的两个点或多个点的空间坐标。具体的,获取挖掘机的铲斗末梢空间坐标,包括但不限于有如下步骤S31~S32。
S31.获取来自全球导航卫星系统GNSS(Global Navigation Satellite System)接收器的定位信息和来自倾角传感器的倾角信息,其中,所述GNSS接收器固定安装在挖掘机的机体顶端,所述定位信息包含有机体顶端安装点的三维坐标以及偏航角,所述倾角传感器的数目有多个且分别布置在挖掘机大臂、挖掘机斗杆和挖掘机铲斗等部件上。
在所述步骤S31中,所述GNSS接收器为现有设备,可分别通过定位天线和定向天线来接收卫星信号,并根据卫星信号确定出所述机体顶端安装点在绝对坐标系(其为使所有坐标全部基于一个固定的坐标系原点的位置的描述的坐标系统,其绝对坐标是一个固定的坐标位置,使用它输入的点坐标不会因参照物的不同而不同,后续所有的三维坐标均为在所述绝对坐标系下的绝对坐标)下的空间坐标(即平面坐标和高程)以及偏航角(即机体轴在水平面上的投影与地理北向之间的夹角,可作为所述推土机的机体偏航角)。所述倾角传感器也为现有传感器,用于采集获取对应部件(即挖掘机大臂、挖掘机斗杆或挖掘机铲斗等部件)的倾角信息。此外,所述机体是指所述挖掘机中的车身部分,包括但不限于有驾驶室等部分;以及所述车载终端可通过常规通信连接方式实时获取到所述定位信息和所述倾角信息。
S32.根据所述定位信息、所述倾角信息、所述机体顶端安装点与机体的相对位置关系和挖掘机机型数据,推算出在绝对坐标系下的所述铲斗末梢空间坐标,其中,所述挖掘机机型数据包含但不限于有所述挖掘机中每一个部件的尺寸信息。
在所述步骤S32中,考虑通过所述GNSS接收器获取到的定位信息仅仅是所述机体顶端安装点的空间坐标,为了进一步获得铲斗末梢的空间坐标,即需要在所述挖掘机大臂、所述挖掘机斗杆和所述挖掘机铲斗等部件上布置所述倾角传感器,以便进一步结合所述机体顶端安装点与机体的位置关系、所述挖掘机机型数据和实时采集到的所述倾角信息,通过常规几何知识推算出在当前状态下所述挖掘机铲斗的末梢具体空间坐标。通过前述步骤S31~S32,可使所述GNSS接收机相对处于静态,有利于连续获取卫星定位信号,提高单点精度。详细的,所述铲斗末梢空间坐标包含有铲斗末梢左侧端点及铲斗末梢右侧端点的空间坐标。此外详细的,在推算出所述铲斗末梢空间坐标之前,需要先根据所述定位信息和所述机体顶端安装点与机体的位置关系,先推算出机体空间坐标,然后才能根据所述机体空间坐标、所述倾角信息和挖掘机机型数据,推算出所述铲斗末梢空间坐标。
S4.根据所述铲斗末梢空间坐标的历史轨迹,确定已作业区域在挖掘后的当前高程及当前挖掘状态,其中,所述已作业区域是指在所述施工任务区域中的且根据平面坐标匹配结果确定所述铲斗末梢已到达过的最小不可分区域,所述当前高程取所述铲斗末梢在到达所述已作业区域时的高程最低值,所述当前挖掘状态根据所述当前高程与对应已作业区域的施工设计面高程的比较结果确定。
在所述步骤S4中,考虑在执行挖掘任务的进程中需要时刻使用到基于纹理像素方法的渲染手段,因此针对实际应用需求,本实施例自创了一种坐标体系来作为纹理像素坐标,其底层逻辑是:将大地坐标(即在建筑领域中也就是绝对坐标)网格化,以固定大小的像素格代替区间内所有的数据参与渲染。举例说明,经过多次施工数据分析以及参考专业人士意见,认为0.2m*0.2m大小的像素格,既可以细致地反应出施工作业数据信息,也不至于像素过大导致关键数据丢失或者失真,因此在针对所述施工任务区域渲染三维体的时候就可以这个大小的单元格为最小不可分单位,渲染这样一个0.2m*0.2m的像素单元格,即所述最小不可分区域的尺寸大小为0.2m*0.2m。
在所述步骤S4中,由于所述铲斗末梢空间坐标具有平面坐标,并且在所述施工作业任务文件中,所述施工任务区域的各个最小不可分区域也具有平面坐标,因此可以根据平面坐标匹配结果来确定所述铲斗末梢是否已到达过各个所述最小不可分区域,若达到过,则可默认进行过挖掘操作,成为所述已作业区域。同时所述铲斗末梢在到达所述已作业区域时的高程最低值,反映了所述铲斗末梢在所述已作业区域能到达的最深处,默认该最深处之上的物料已被挖掘走,因此可将该高程最低值作为所述已作业区域在挖掘后的当前高程,以便进一步确定出所述当前挖掘状态。具体的,所述当前挖掘状态可分为超挖状态、欠挖状态和合格状态,其中,所述超挖状态表示所述当前高程小于所述施工设计面高程,所述欠挖状态表示所述当前高程大于所述施工设计面高程,所述合格状态表示所述当前高程等于所述施工设计面高程。同时为了确保后续渲染并输出展示的具象表达力,需针对不同的挖掘状态预设不同的且用于后续三维体渲染的纹理像素,即具体的,可将与所述超挖状态对应的预设纹理像素设为红色,将与所述欠挖状态对应的预设纹理像素设为黄色,以及将与所述合格状态对应的预设纹理像素设为绿色,这样可将一定的范围区间离散化成这样若干个纹理像素集合,就可以充分展现出当前作业状态进度。
前述纹理像素坐标在数据结构上是典型的树结构,层次分明,可由所述施工任务区域——像素集合——像素点三层组成,其中的所述施工任务区域是实际施工过程中的设计面,而像素集合可是由1024*1024个纹理像素组成的一个像素矩阵。这样的一个矩阵设计的目的在于:可利用矩阵的左下角点作为索引index,管理矩阵内包含的所有像素点,即在数据库索引的时候,首先将点的XY平面坐标分别除以1024并取整,得到了整数数组(m,n)。这样的坐标意味着该点(x,y)位于纵轴第m行,横轴第n行的矩阵内部。同时考虑到计算机双精度(double)数据类型占据内存比较大,还可将x坐标和y坐标取一定精度后,根据纹理像素转换公式logic=x*108+y*107进行转换计算,式中,logic表示long类型变量。此外,数据库的查询功能可以按照索引index数值快速将每一个坐标点快速转化,以及在物理表的内部,每个点需要做到更新与新增两种功能:当点在进入物理表时,需要判断表内是否已经存在该点的数据,如果存在则更新,否则新增一个对象。这样做的优势在于可以根据实际产出的工作数据合理分配存储空间,保证每个数据都存在,又不至于形成数据的冗余。需要特别声明的是,在逻辑上,纹理像素坐标是一种二维坐标,但是最终的服务对象是三维的,在实际渲染的时候,就需要根据射线法,将平面的像素渲染结果,映射到三维体表面,达到渲染效果。
S5.根据所述施工作业任务文件以及所有已作业区域在挖掘后的所述当前高程,运用数字高程模型技术构建所述施工任务区域的三维体。
在所述步骤S5中,所述三维体优选采用由三角面组成的三角形网格形式,其中,所述三角形网格就是全部由三角形组成的多边形网格,其在图形学和建模中广泛使用,用来模拟复杂物体的表面,如建筑、车辆、人体,当然还有茶壶等,因此可通过常规构建方式,根据所述施工作业任务文件以及所有已作业区域在挖掘后的所述当前高程,得到用于表达挖掘工程作业后几何结构的所述三维体。在索引三角网格中,具体可维护如下两个列表:顶点表(Vertex buffer)与三角形表(Index Buffer)。每个顶点包含一个3D位置,也可能有如纹理映射坐标、表面法向量和光照值等附加数据。每个三角形由顶点列表的三个索引组成。通常,顶点列出的顺序是非常重要的,因为必须考虑面的"正面"和"反面"。在从前面看时,可用顺时针方向列出顶点。另外一些信息也存在这一级中,如预先计算的表面法向量和表面属性(纹理映射)等。
在实践中,三角网格类会有一系列方法,用于存取和维护顶点、三角形列表。为简化和提高效率,可对每个多边形的最大定点数做出限制。在索引三角形列表中的邻接信息是隐含的。例如:边信息没有直接存储,但还是可以通过搜索三角形表找出公共边。与前面"三角形数组"方式相比,由于信息存于顶点,它的整数索引比之三角形数组里存储的顶点重复率要小得多,这种方式确实能节省不少空间。此外,为了更加高效地实现某些操作,还可维护一个边列表,每个边由两个端点定义,同时维护一个共享该边的三角形列表。这样,三角形可视为三条边而非三个点的列表,也就是说它是边列表而不是点列表的索引。该思想的一个扩展称作"Wedge"模型,对每一顶点,存储使用该点的边的索引,可以大大方便三维体的三维表面动态交互。
除此以外,鉴于在CAD弧线转折线的机制下,会产生大量冗余的点,在构建三角形网的时候将产生过多密制三角面,实际意义不大却会占据内存,进而影响响应速度。为了针对这一弊端,优选的,在根据所述施工作业任务文件以及所有已作业区域在挖掘后的所述当前高程,运用数字高程模型技术构建所述施工任务区域的三维体之后,所述方法还包括:在所述三维体中,若判定某个三角面的三角面积小于预设阈值,则遍历与所述某个三角面相邻的各对三角面,当发现某对三角面与所述某个三角面合并后仍然为三角面时,对所述某个三角面和所述某对三角面进行合并处理,得到新三角面及新三维体。由此可以缓解后续运算压力。此外,针对合并处理后的所述新三角面,还可以继续采用前述方式进行阈值比较及合并处理,直到所述新三角面的三角面积大于或等于所述预设阈值。
S6.在输出显示所述三维体时,根据所述已作业区域的当前挖掘状态和与不同挖掘状态对应的预设纹理像素,对所述三维体中与所述已作业区域对应的面进行渲染展示。
在所述步骤S6中,当所述三维体采用由三角面组成的三角形网格形式时,具体举例的,若某个已作业区域的当前挖掘状态为超挖状态,则可以将与该已作业区域对应的所有三角面都渲染成红色,从而可以在三维体展示过程中,醒目提示出现了一个超挖的挖掘工程作业结果;若某个已作业区域的当前挖掘状态为欠挖状态,则可以将与该已作业区域对应的所有三角面都渲染成黄色,从而可以三维体展示过程中,醒目提示出现了一个欠挖的挖掘工程作业结果;以及若某个已作业区域的当前挖掘状态为合格状态,则可以将与该已作业区域对应的所有三角面都渲染成绿色,从而可以三维体展示过程中,醒目标记出出现了一个合格的挖掘工程作业结果,进而可以方便操作员在三维视图中感知到不同的挖掘工程作业结果。
在所述步骤S6中,可以在一个立体图展示视窗中输出展示所述三维体的渲染结果,也可以分别在正视图展示视窗、侧视图展示视窗和俯视图展示视窗中分别展示所述三维体的对应视面渲染结果,即在输出显示所述三维体时,包括有:在正视图展示视窗中展示所述三维体的正视面渲染结果/和所述铲斗末梢与施工设计面高程之间的偏移线;在侧视图展示视窗中展示所述三维体的侧视面渲染结果/和所述挖掘机的机体及所述铲斗末梢与施工设计面的相对空间关系;在俯视图展示视窗中展示所述三维体的俯视面渲染结果/和所述挖掘机在所述施工任务区域中与所述已作业区域的相对位置关系。前述偏移线是指基准线(其可具体根据所述铲斗末梢左侧端点及所述铲斗末梢右侧端点的空间坐标来确定生成)与施工设计面高程的投影的高程之差,所形成的在垂直平面投影所得的线;详细的,在投影显示前述三视图渲染结果时,可依据所述三维体的不同投影面,快速筛选对应的数值,然后渲染成对应视图画面进行展示。
由此基于前述步骤S1~S6所描述的三维图形渲染展示方法,提供了一种对挖掘工程作业结果进行3D形式展示的新方案,即在接收包含有挖掘施工平面图的施工设计图纸文件后,可先根据在所述挖掘施工平面图中标注的空间坐标信息,运用数字高程模型技术将所述施工设计图纸文件转换为记录有施工任务区域的施工作业任务文件,然后根据铲斗末梢空间坐标的历史轨迹,确定已作业区域在挖掘后的当前高程及当前挖掘状态,再然后根据所述施工作业任务文件以及所有已作业区域在挖掘后的所述当前高程,运用数字高程模型技术构建所述施工任务区域的三维体,最后在输出显示所述三维体时,根据所述已作业区域的当前挖掘状态和与不同挖掘状态对应的预设纹理像素,对所述三维体中与所述已作业区域对应的面进行渲染展示,从而可根据构筑的三维几何体实时渲染施工设计面,动态展示挖掘工程作业的进展,大大提升具象化表达能力,降低理解门槛,特别利于操作员感知在高程方面的作业结果,进而精确掌握每一次运动状态,甚至可辅助无人机施工作业。此外,由于是根据GNSS+传感器推算铲斗末梢高程值,可帮助控制系统趋向线性化,使控制目标明确清晰,降低操作门槛;以及由于开创性地自研纹理像素坐标系统,并结合数字高程模型技术,实现了建模+2D渲染投影的渲染模式,做到了分米级渲染精度的同时,保证了渲染操作的复杂度在O(n2)级别内,进而可以优化计算机处理海量施工数据的复杂度以及高效地渲染三维体;以及通过提供三视图功能,可辅助操作员适应更多恶劣环境并提高作业效率,例如在水下疏浚及夜间作业等视线有限情况下,可依据高程的测算去引导动力臂进行挖掘作业,便于实际应用和推广。
如图2所示,本实施例第二方面提供了一种实现第一方面所述的三维图形渲染展示方法的虚拟装置,包括有文件接收模块、文件转换模块、空间坐标获取模块、挖掘状态确定模块、三维体构建模块和显示模块;
所述文件接收模块,用于接收施工设计图纸文件,其中,所述施工设计图纸文件包含有挖掘施工平面图;
所述文件转换模块,通信连接所述文件接收模块,用于根据在所述挖掘施工平面图中标注的空间坐标信息,运用数字高程模型技术将所述施工设计图纸文件转换为施工作业任务文件,其中,所述施工作业任务文件记录有施工任务区域;
所述空间坐标获取模块,用于获取挖掘机的铲斗末梢空间坐标,其中,所述铲斗末梢空间坐标包含有铲斗末梢的平面坐标和高程;
所述挖掘状态确定模块,分别通信连接所述空间坐标获取模块和所述文件转换模块,用于根据所述铲斗末梢空间坐标的历史轨迹,确定已作业区域在挖掘后的当前高程及当前挖掘状态,其中,所述已作业区域是指在所述施工任务区域中的且根据平面坐标匹配结果确定所述铲斗末梢已到达过的最小不可分区域,所述当前高程取所述铲斗末梢在到达所述已作业区域时的高程最低值,所述当前挖掘状态根据所述当前高程与对应已作业区域的施工设计面高程的比较结果确定;
所述三维体构建模块,分别通信连接所述挖掘状态确定模块和所述文件转换模块,用于根据所述施工作业任务文件以及所有已作业区域在挖掘后的所述当前高程,运用数字高程模型技术构建所述施工任务区域的三维体;
所述显示模块,分别通信连接所述挖掘状态确定模块和所述三维体构建模块,用于在输出显示所述三维体时,根据所述已作业区域的当前挖掘状态和与不同挖掘状态对应的预设纹理像素,对所述三维体中与所述已作业区域对应的面进行渲染展示。
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果,可以参见第一方面所述的三维图形渲染展示方法,于此不再赘述。
如图3所示,本实施例第三方面提供了一种执行第一方面所述三维图形渲染展示方法的计算机设备,包括有依次通信连接的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发信息,所述处理器用于读取所述计算机程序,执行如第一方面所述的三维图形渲染展示方法。具体举例的,所述存储器可以但不限于包括随机存取存储器(Random-Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output,FIFO)和/或先进后出存储器(First Input Last Output,FILO)等等;所述处理器可以但不限于采用型号为STM32F105系列的微处理器。此外,所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果,可以参见第一方面所述的三维图形渲染展示方法,于此不再赘述。
本实施例第四方面提供了一种存储包含第一方面所述的三维图形渲染展示方法的指令的计算机可读存储介质,即所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面所述的三维图形渲染展示方法。其中,所述计算机可读存储介质是指存储数据的载体,可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等计算机可读存储介质,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果,可以参见第一方面所述的三维图形渲染展示方法,于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如第一方面所述的三维图形渲染展示方法。其中,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是,本发明不局限于上述可选的实施方式,任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制,本发明的保护范围应当以权利要求书中界定的为准,并且说明书可以用于解释权利要求书。
Claims (10)
1.一种挖掘工程作业结果的三维图形渲染展示方法,其特征在于,包括:
接收施工设计图纸文件,其中,所述施工设计图纸文件包含有挖掘施工平面图;
根据在所述挖掘施工平面图中标注的空间坐标信息,运用数字高程模型技术将所述施工设计图纸文件转换为施工作业任务文件,其中,所述施工作业任务文件记录有施工任务区域;
获取挖掘机的铲斗末梢空间坐标,其中,所述铲斗末梢空间坐标包含有铲斗末梢的平面坐标和高程;
根据所述铲斗末梢空间坐标的历史轨迹,确定已作业区域在挖掘后的当前高程及当前挖掘状态,其中,所述已作业区域是指在所述施工任务区域中的且根据平面坐标匹配结果确定所述铲斗末梢已到达过的最小不可分区域,所述当前高程取所述铲斗末梢在到达所述已作业区域时的高程最低值,所述当前挖掘状态根据所述当前高程与对应已作业区域的施工设计面高程的比较结果确定;
根据所述施工作业任务文件以及所有已作业区域在挖掘后的所述当前高程,运用数字高程模型技术构建所述施工任务区域的三维体;
在输出显示所述三维体时,根据所述已作业区域的当前挖掘状态和与不同挖掘状态对应的预设纹理像素,对所述三维体中与所述已作业区域对应的面进行渲染展示。
2.如权利要求1所述的三维图形渲染展示方法,其特征在于,获取挖掘机的铲斗末梢空间坐标,包括:
获取来自全球导航卫星系统GNSS接收器的定位信息和来自倾角传感器的倾角信息,其中,所述GNSS接收器固定安装在挖掘机的机体顶端,所述定位信息包含有机体顶端安装点的三维坐标以及偏航角,所述倾角传感器的数目有多个且分别布置在挖掘机大臂、挖掘机斗杆和挖掘机铲斗上;
根据所述定位信息、所述倾角信息、所述机体顶端安装点与机体的相对位置关系和挖掘机机型数据,推算出在绝对坐标系下的所述铲斗末梢空间坐标,其中,所述挖掘机机型数据包含有所述挖掘机中每一个部件的尺寸信息。
3.如权利要求1所述的三维图形渲染展示方法,其特征在于,所述当前挖掘状态分为超挖状态、欠挖状态和合格状态,其中,所述超挖状态表示所述当前高程小于所述施工设计面高程,所述欠挖状态表示所述当前高程大于所述施工设计面高程,所述合格状态表示所述当前高程等于所述施工设计面高程。
4.如权利要求3所述的三维图形渲染展示方法,其特征在于,将与所述超挖状态对应的预设纹理像素设为红色,将与所述欠挖状态对应的预设纹理像素设为黄色,以及将与所述合格状态对应的预设纹理像素设为绿色。
5.如权利要求1所述的三维图形渲染展示方法,其特征在于,所述最小不可分区域的尺寸大小为0.2m*0.2m。
6.如权利要求1所述的三维图形渲染展示方法,其特征在于,在根据所述施工作业任务文件以及所有已作业区域在挖掘后的所述当前高程,运用数字高程模型技术构建所述施工任务区域的三维体之后,所述方法还包括:
在所述三维体中,若判定某个三角面的三角面积小于预设阈值,则遍历与所述某个三角面相邻的各对三角面,当发现某对三角面与所述某个三角面合并后仍然为三角面时,对所述某个三角面和所述某对三角面进行合并处理,得到新三角面及新三维体。
7.如权利要求1所述的三维图形渲染展示方法,其特征在于,在输出显示所述三维体时,包括:
在正视图展示视窗中展示所述三维体的正视面渲染结果/和所述铲斗末梢与施工设计面高程之间的偏移线;
在侧视图展示视窗中展示所述三维体的侧视面渲染结果/和所述挖掘机的机体及所述铲斗末梢与施工设计面的相对空间关系;
在俯视图展示视窗中展示所述三维体的俯视面渲染结果/和所述挖掘机在所述施工任务区域中与所述已作业区域的相对位置关系。
8.一种挖掘工程作业结果的三维图形渲染展示装置,其特征在于,包括有文件接收模块、文件转换模块、空间坐标获取模块、挖掘状态确定模块、三维体构建模块和显示模块;
所述文件接收模块,用于接收施工设计图纸文件,其中,所述施工设计图纸文件包含有挖掘施工平面图;
所述文件转换模块,通信连接所述文件接收模块,用于根据在所述挖掘施工平面图中标注的空间坐标信息,运用数字高程模型技术将所述施工设计图纸文件转换为施工作业任务文件,其中,所述施工作业任务文件记录有施工任务区域;
所述空间坐标获取模块,用于获取挖掘机的铲斗末梢空间坐标,其中,所述铲斗末梢空间坐标包含有铲斗末梢的平面坐标和高程;
所述挖掘状态确定模块,分别通信连接所述空间坐标获取模块和所述文件转换模块,用于根据所述铲斗末梢空间坐标的历史轨迹,确定已作业区域在挖掘后的当前高程及当前挖掘状态,其中,所述已作业区域是指在所述施工任务区域中的且根据平面坐标匹配结果确定所述铲斗末梢已到达过的最小不可分区域,所述当前高程取所述铲斗末梢在到达所述已作业区域时的高程最低值,所述当前挖掘状态根据所述当前高程与对应已作业区域的施工设计面高程的比较结果确定;
所述三维体构建模块,分别通信连接所述挖掘状态确定模块和所述文件转换模块,用于根据所述施工作业任务文件以及所有已作业区域在挖掘后的所述当前高程,运用数字高程模型技术构建所述施工任务区域的三维体;
所述显示模块,分别通信连接所述挖掘状态确定模块和所述三维体构建模块,用于在输出显示所述三维体时,根据所述已作业区域的当前挖掘状态和与不同挖掘状态对应的预设纹理像素,对所述三维体中与所述已作业区域对应的面进行渲染展示。
9.一种计算机设备,其特征在于,包括有依次通信连接的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发信息,所述处理器用于读取所述计算机程序,执行如权利要求1~7中任意一项所述的三维图形渲染展示方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如权利要求1~7中任意一项所述的三维图形渲染展示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210153059.9A CN114411867B (zh) | 2022-02-18 | 2022-02-18 | 一种挖掘工程作业结果的三维图形渲染展示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210153059.9A CN114411867B (zh) | 2022-02-18 | 2022-02-18 | 一种挖掘工程作业结果的三维图形渲染展示方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114411867A true CN114411867A (zh) | 2022-04-29 |
CN114411867B CN114411867B (zh) | 2023-03-10 |
Family
ID=81261287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210153059.9A Active CN114411867B (zh) | 2022-02-18 | 2022-02-18 | 一种挖掘工程作业结果的三维图形渲染展示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114411867B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115110598A (zh) * | 2022-08-10 | 2022-09-27 | 安徽建工集团股份有限公司总承包分公司 | 一种三维拟合现场挖掘破碎装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103617651A (zh) * | 2013-12-01 | 2014-03-05 | 中国船舶重工集团公司第七一六研究所 | 履带式推土机工作过程中三维地形动态变化仿真方法 |
US20180230671A1 (en) * | 2015-09-16 | 2018-08-16 | Sumitomo Heavy Industries, Ltd. | Excavator |
CN108549771A (zh) * | 2018-04-13 | 2018-09-18 | 山东天星北斗信息科技有限公司 | 一种挖掘机辅助施工系统及方法 |
EP3680395A1 (en) * | 2017-09-06 | 2020-07-15 | Hitachi Construction Machinery Co., Ltd. | Work machinery |
CN113047353A (zh) * | 2021-03-23 | 2021-06-29 | 武汉理工大学 | 一种挖掘机智能施工引导系统及方法 |
-
2022
- 2022-02-18 CN CN202210153059.9A patent/CN114411867B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103617651A (zh) * | 2013-12-01 | 2014-03-05 | 中国船舶重工集团公司第七一六研究所 | 履带式推土机工作过程中三维地形动态变化仿真方法 |
US20180230671A1 (en) * | 2015-09-16 | 2018-08-16 | Sumitomo Heavy Industries, Ltd. | Excavator |
EP3680395A1 (en) * | 2017-09-06 | 2020-07-15 | Hitachi Construction Machinery Co., Ltd. | Work machinery |
CN108549771A (zh) * | 2018-04-13 | 2018-09-18 | 山东天星北斗信息科技有限公司 | 一种挖掘机辅助施工系统及方法 |
CN113047353A (zh) * | 2021-03-23 | 2021-06-29 | 武汉理工大学 | 一种挖掘机智能施工引导系统及方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115110598A (zh) * | 2022-08-10 | 2022-09-27 | 安徽建工集团股份有限公司总承包分公司 | 一种三维拟合现场挖掘破碎装置 |
CN115110598B (zh) * | 2022-08-10 | 2023-11-28 | 安徽建工集团股份有限公司总承包分公司 | 一种三维拟合现场挖掘破碎装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114411867B (zh) | 2023-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106683167B (zh) | 复杂建筑物高精度模型自动建模方法 | |
CN113506370B (zh) | 基于立体遥感影像的三维地理场景模型构建方法和装置 | |
US8253736B2 (en) | Reducing occlusions in oblique views | |
CN113516769B (zh) | 虚拟现实三维场景加载与渲染方法、装置和终端设备 | |
CN111161428B (zh) | 三维地图矢量瓦片数据的生成方法、存储介质及终端 | |
CN106934111A (zh) | 一种基于地形数据的工程三维实体建模方法及其建模装置 | |
CN101154313A (zh) | 三维仿真数字信息航道系统及实现方法 | |
CN112785708B (zh) | 一种建筑物模型单体化的方法、设备和存储介质 | |
CN114411867B (zh) | 一种挖掘工程作业结果的三维图形渲染展示方法及装置 | |
CN115482269B (zh) | 一种土方量计算方法、装置、终端设备以及存储介质 | |
CN114596414A (zh) | 一种基于无人机测绘三维地貌土方量实时分析方法及系统 | |
CN114663542A (zh) | 地下综合管廊的bim模型数据优化方法 | |
CN117237567B (zh) | 一种数字孪生洪水流场可视化渲染方法 | |
CN111311747B (zh) | 一种多传感器堰塞湖区一体化三维模型快速构建方法 | |
US11049316B2 (en) | Synthetic image generation apparatus, synthetic image generation program, and synthetic image generation method | |
Kamat et al. | Large-scale dynamic terrain in three-dimensional construction process visualizations | |
CN115690286B (zh) | 三维地形生成方法、终端设备及计算机可读存储介质 | |
CN104574489A (zh) | 基于叠层四叉树图集的地形与动态矢量集成方法 | |
CN115619986A (zh) | 场景漫游方法、装置、设备和介质 | |
CN111898819B (zh) | 空间网格划分方法及装置 | |
CN114399405A (zh) | 基于gis和bim的大型水利工程管理方法及系统 | |
CN111243089B (zh) | 基于岛屿二维数据绘制三维岛屿模型的方法、装置和系统 | |
CN115774896B (zh) | 数据仿真方法、装置、设备以及存储介质 | |
CN114519784B (zh) | 三维断层的建模方法及其装置 | |
CN112052345B (zh) | 一种数据存储方法、数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |