CN114202614B - 一种不动产三维建模方法、系统、存储介质及智能终端 - Google Patents
一种不动产三维建模方法、系统、存储介质及智能终端 Download PDFInfo
- Publication number
- CN114202614B CN114202614B CN202111470526.2A CN202111470526A CN114202614B CN 114202614 B CN114202614 B CN 114202614B CN 202111470526 A CN202111470526 A CN 202111470526A CN 114202614 B CN114202614 B CN 114202614B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- distance
- information
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种不动产三维建模方法、系统、存储介质及智能终端,涉及房屋建模技术的领域,其包括获取无人机上向下落的重物的下落距离信息;根据第一排序规则以确定所对应距离最大的下落距离信息,并定义该无人机为落地无人机;判断识别区域内是否均为落地无人机;若均为,则该落地无人机为无效无人机;若不均为,则该落地无人机为边缘无人机,且边缘无人机所在的位置为边缘点;将边缘点与距离最近的边缘点相连以形成检测区域,检测区域的边缘为检测路径;控制无人机于检测区域内飞行以获取顶部图像信息;控制无人机沿检测路径移动以获取侧部图像信息;将顶部图像信息与侧部图像信息拟合形成三维图像信息。本申请具有降低房屋三维建模难度的效果。
Description
技术领域
本申请涉及房屋建模技术的领域,尤其是涉及一种不动产三维建模方法、系统、存储介质及智能终端。
背景技术
随着房地产的发展,为了便于对房屋进行建设管理,会对现有的不动产房屋进行三维建模处理,以使人们能够直观的观察到房屋的结构。
相关技术中,在对房屋进行三维建模处理时,常使用无人机对房屋进行拍摄处理,以采集到房屋的图像,再对所采集的图像进行拟合以进行三维建模。
针对上述中的相关技术,发明人认为由于房屋的结构均不相同,工作人员常根据自身经验以划分需无人机检测的检测区域,从而有可能导致无人机到一些无用的图像,大大增加了三维建模的难度,因此针对房屋三维建模的方法尚有改进空间。
发明内容
为了降低房屋三维建模的难度,本申请提供一种不动产三维建模方法、系统、存储介质及智能终端。
第一方面,本申请提供一种不动产三维建模方法,采用如下的技术方案:
一种不动产三维建模方法,包括:
定义所预设的规划区域中有若干的无人机,所述无人机以所预设的飞行高度悬停且无人机之间以所预设的间距阵列分布;
获取预设于无人机上向下落的重物的下落距离信息;
根据所预设的第一排序规则以确定下落距离信息中所对应距离最大的下落距离信息,并定义该下落距离信息相对应的无人机为落地无人机;
定义以落地无人机为中心、以所预设固定距离为半径而划分的区域为识别区域;
判断识别区域内的无人机是否均为落地无人机;
若识别区域内的无人机均为落地无人机,则定义该落地无人机为无效无人机;
若识别区域内的无人机不均为落地无人机,则定义该落地无人机为边缘无人机,且定义边缘无人机所在的位置为边缘点;
将边缘点与距离最近的边缘点相连围合以形成检测区域,定义检测区域的边缘为检测路径;
控制无人机于检测区域内沿所预设检测规则飞行以获取顶部图像信息;
控制无人机沿检测路径移动以获取侧部图像信息;
将顶部图像信息与侧部图像信息拟合形成三维图像信息。
通过采用上述技术方案,落地无人机为重物未落至房屋上的无人机,当识别区域内有不为落地无人机的无人机时,说明该落地无人机较为靠近房屋,此时定义该落地无人机为边缘无人机,通过边缘无人机可围合形成用于检测的检测区域,使检测区域的范围大小合适,从而使采集到的图像均较为合适,进而降低了三维建模的难度。
可选的,边缘点的确定方法还包括:
获取边缘点与房屋之间的水平距离信息;
判断水平距离信息所对应的距离是否大于所预设的检测距离;
若水平距离信息所对应的距离大于检测距离,则输出划分正确信号;
若水平距离信息所对应的距离不大于检测距离,则获取该边缘点上远离房屋方向距离最近的落地无人机所在的位置,并将该位置更新为新的边缘点。
通过采用上述技术方案,使边缘点与房屋之间的距离能供无人机飞行,以减小无人机移动至边缘点上时撞击至房屋侧壁的情况发生,提高了无人机飞行时的稳定性。
可选的,还包括无人机获取顶部图像信息时起始点的确定方法,该方法包括:
根据所预设的第二排序规则以确定所有水平距离信息中所对应距离最小的水平距离信息,定义该水平距离信息所对应的距离为缩放距离;
根据所预设的缩放数据库中所存储的缩放距离、相对应的缩放比例值与当前缩放距离匹配以确定当前缩放比例值;
根据当前缩放比例值以中心点缩小检测区域以形成飞行区域,并定义飞行区域的四个边角点为预备点;
获取预备点与所预设基点的到位距离信息;
根据所预设的第三排序规则以确定所有到位距离信息中所对应距离最小的到位距离信息,并以该到位距离信息以确定相对应的预备点,并定义该预备点为起始点以控制无人机移动至起始点。
通过采用上述技术方案,确定缩放比例以确定获取顶部图像信息的无人机的飞行路径,使该无人机能采集到较为完全的顶部图像的同时,减小无人机的飞行距离,根据基点与预备点的位置,以确定距离基点最近的预备点,以使无人机能快速移动至预备点处进行作业。
可选的,侧部图像信息的获取方法包括:
获取各边缘点与基点之间的相隔距离信息;
根据所预设的第四排序规则以确定所有相隔距离信息中相对应距离最小的相隔距离信息,并将该相隔距离信息所对应的边缘点定义为固定点;
控制无人机移动至固定点并以所预设的检测方向沿检测路径移动以获取局部图像信息;
获取无人机于固定点所输出的到位信号,并对到位信号计数以获取到位数量信息;
判断到位数量信息所对应的数量是否为偶数;
若到位数量信息所对应的数量不为偶数,则控制无人机沿检测路径移动;
若到位数量信息所对应的数量为偶数,则控制无人机沿预设下降方向移动预设下降距离,且移动结束后输出到位信号;
将所有局部图像信息拟合以形成侧部图像信息。
通过采用上述技术方案,当无人机在采集房屋侧部图像时,确定各边缘点中与基点最近的位置,使无人机能够快速移动至检测路径中,同时在无人机飞行的过程中,通过到位数量信息所对应数量的奇偶以判断无人机是否移动完一个检测路径,当检测完一个检测路径后向下移动进行重复检测,以使无人机能够获得完整的房屋侧部图像。
可选的,无人机沿下降方向移动的方法包括:
获取无人机的垂直距离信息;
判断垂直距离信息所对应的距离是否大于下降距离;
若垂直距离信息所对应的距离大于下降距离,则控制无人机沿下降方向移动;
若垂直距离信息所对应的距离不大于下降距离,则输出异常信号并控制无人机沿检测方向移动至相邻的边缘点;
获取异常信号的异常数量信息;
判断异常数量信息所对应的数量是否大于所预设的基准数量;
若异常数量信息所对应的数量大于基准数量,则控制无人机悬停并输出结束信号;
若异常数量信息所对应的数量不大于基准数量,则控制无人机继续移动直至无人机移动至不存在异常信号的边缘点,并将该边缘点更新为新的固定点。
通过采用上述技术方案,在无人机下降的过程中,通过垂直距离信息的判断可使无人机不易撞击至其他物体,提高了无人机在移动过程中的安全性,当垂直距离信息所对应的距离不大于下降距离时,使无人机向边上偏移以再次判断垂直距离信息,减小房屋上有凸出部分而影响无人机检测的情况发生,当异常数量信息所对应的数量大于基准数量,说明无人机多次偏移后依旧无法向下移动,此时大概率移动至靠近地面的位置,使无人机悬停以便工作人员进一步操作。
可选的,无人机沿检测路径移动的方法包括:
获取无人机前进方向的障碍距离信息;
判断障碍距离信息所对应的距离是否小于所预设的安全距离;
若障碍距离信息所对应的距离不小于安全距离,则控制无人机沿检测路径移动;
若障碍距离信息所对应的距离小于安全距离,则输出障碍信号并控制无人机向远离房屋的方向移动直至障碍信号消失,再控制无人机沿检测方向继续移动;
获取无人机与障碍物的水平距离信息;
判断水平距离信息所对应的距离是否大于所预设的许可距离;
若水平距离信息所对应的距离不大于许可距离,则控制无人机沿检测方向移动;
若水平距离信息所对应的距离大于许可距离,则控制无人机向房屋方向移动所预设的偏移距离,直至无人机移动至检测路径上。
通过采用上述技术方案,无人机沿检测路径移动时,通过障碍距离信息以判断前进方向是否存在障碍物,若存在障碍物,则通过无人机的偏移以从障碍物处移开,使无人机能继续沿检测路径移动以采集房屋的局部图像。
可选的,还包括:
获取无人机于障碍信号输出前于最近的边缘点所采集的第一检测图像信息以及无人机于障碍信号输出后于最近的边缘点所采集的第二检测图像信息;
判断第一检测图像信息所对应的图像与第二检测图像信息所对应的图像是否存在共同区域;
若不存在共同区域,则输出图像空缺信号;
若存在共同区域,则输出正常检测信号。
通过采用上述技术方案,在无人机绕开障碍物的过程中,判断无人机移动至障碍物前所采集到的图像和无人机移动至障碍物后所采集到的图像是否存在共同区域,以判断房屋的侧壁是否有部分区域被障碍物所遮挡后未被无人机所拍摄到,从而便于工作人员得知拍摄情况。
第二方面,本申请提供一种不动产三维建模系统,采用如下的技术方案:
一种不动产三维建模系统,包括:
获取模块,用于获取预设于无人机上向下落的重物的下落距离信息;
处理模块,与获取模块和判断模块连接,用于信息的存储和处理;
处理模块根据所预设的排序规则以确定下落距离信息中所对应距离最大的下落距离信息,并定义该下落距离信息相对应的无人机为落地无人机;
判断模块,用于判断识别区域内的无人机是否均为落地无人机;
若判断模块判断出识别区域内的无人机均为落地无人机,则处理模块定义该落地无人机为无效无人机;
若判断模块判断出识别区域内的无人机不均为落地无人机,则处理模块定义该落地无人机为边缘无人机,且定义边缘无人机所在的位置为边缘点;
处理模块将边缘点与距离最近的边缘点相连围合以形成检测区域,定义检测区域的边缘为检测路径;
处理模块控制无人机于检测区域内沿所预设检测规则飞行以获取顶部图像信息;
处理模块控制无人机沿检测路径移动以获取侧部图像信息;
处理模块将顶部图像信息与侧部图像信息拟合形成三维图像信息。
通过采用上述技术方案,落地无人机为重物未落至房屋上的无人机,当判断模块判断出识别区域内有不为落地无人机的无人机时,说明该落地无人机较为靠近房屋,此时处理模块定义该落地无人机为边缘无人机,通过边缘无人机可围合形成用于检测的检测区域,使检测区域的范围大小合适,从而使采集到的图像均较为合适,进而降低了三维建模的难度。
第三方面,本申请提供一种智能终端,采用如下的技术方案:
一种智能终端,包括存储器和处理器,存储器上存储有能够被处理器加载并执行上述任一种不动产三维建模方法的计算机程序。
通过采用上述技术方案,通过智能终端的使用,落地无人机为重物未落至房屋上的无人机,当识别区域内有不为落地无人机的无人机时,说明该落地无人机较为靠近房屋,此时定义该落地无人机为边缘无人机,通过边缘无人机可围合形成用于检测的检测区域,使检测区域的范围大小合适,从而使采集到的图像均较为合适,进而降低了三维建模的难度。
第四方面,本申请提供一种计算机存储介质,能够存储相应的程序,具有降低房屋三维建模难度的特点,采用如下的技术方案:
一种计算机可读存储介质,存储有能够被处理器加载并执行上述任一种不动产三维建模方法的计算机程序。
通过采用上述技术方案,存储介质中有不动产三维建模方法的计算机程序,落地无人机为重物未落至房屋上的无人机,当识别区域内有不为落地无人机的无人机时,说明该落地无人机较为靠近房屋,此时定义该落地无人机为边缘无人机,通过边缘无人机可围合形成用于检测的检测区域,使检测区域的范围大小合适,从而使采集到的图像均较为合适,进而降低了三维建模的难度。
综上所述,本申请包括以下至少一种有益技术效果:
1.可对无人机的检测区域进行合理划分,以使无人机能采集到较为完整且不存在无用的图像,以便于后续三维拟合,降低了三维建模难度;
2.无人机在检测路径上飞行使时能绕开障碍物,提高无人机在飞行过程中的安全性;
3.能对存在障碍物的位置所采集的图像进行分析,以得知是否存在部分区域被障碍物所遮挡而未采集到图像的情况发生。
附图说明
图1是不动产三维建模方法的流程图。
图2是检测区域确定方法的示意图。
图3是边缘点确定方法的流程图。
图4是无人机起始点确定方法的流程图。
图5是侧部图像信息获取方法的流程图。
图6是无人机向下移动的方法的流程图。
图7是无人机沿检测路径移动的方法的流程图。
图8是图像空缺检测方法的流程图。
图9是不动产三维建模方法的模块流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图1-9及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
下面结合说明书附图对本发明实施例作进一步详细描述。
本申请实施例公开一种不动产三维建模方法,在无人机进行检测的过程中,能先进行检测区域的划分,使检测区域不易过大或过小,从而使无人机所采集的图像较为完整且不易出现无用的图像,便于后续的三维拟合,以降低三维建模难度。
参照图1和图2,不动产三维建模的方法流程包括以下步骤:
步骤S100:定义所预设的规划区域中有若干的无人机,无人机以所预设的飞行高度悬停且无人机之间以所预设的间距阵列分布。
规划区域为提前设定的用于放置无人机的区域,由工作人员根据房屋的大致大小对其进行划定,需保证房屋均落入规划区域中,此处为本领域技术人员常规技术手段,不作赘述;飞行高度为提前设定的定值,由工作人员根据房屋的大致高度进行设定,需保证该高度高于房屋的高度,此处为本领域技术人员常规技术手段,不作赘述;预设的间距为定值,由工作人员根据实际情况进行设定,不作赘述,阵列分布为所有无人机呈正方形分布,可定义无人机排布的某一方向为横向,则与横向垂直的方向为纵向,相邻无人机在横向上的距离为定值,在纵向上的距离与横向上的距离一致,该阵列分布需保证无人机所形成的最大矩阵与规划区域重合,为本领域技术人员常规技术手段,不作赘述。
步骤S101:获取预设于无人机上向下落的重物的下落距离信息。
无人机上安装有可转动的转动轴,转动轴的转动可通过电机实现,为本领域技术人员常规技术手段,不作赘述,转动轴上绕设有拉绳,重物设置于拉绳的端部,通过转动轴的转动可实现重物相对无人机远离或靠近,重物的移动应与重力方向平行,重物的底部安装有压力传感器,当重物抵接于地面或房屋时,压力传感器的数值发生变化,从而通过判断转动轴转动的圈数以判断重物下降的距离,记录该距离的信息即下落距离信息。
步骤S102:根据所预设的第一排序规则以确定下落距离信息中所对应距离最大的下落距离信息,并定义该下落距离信息相对应的无人机为落地无人机。
第一排序规则为能够对数值大小进行排序的方法,如冒泡法,通过第一排序规则可对所有下落距离信息进行排序,以确定出对应距离最大的下料距离信息,下落距离信息对应距离最大说明该无人机所对应的重物落至地面上,此时定义该无人机为落地无人机,以对该无人机进行标记,便于后续对该无人机进行调用。
步骤S103:定义以落地无人机为中心、以所预设固定距离为半径而划分的区域为识别区域。
固定距离为相邻无人机之间的距离的倍-2倍,由工作人员根据实际情况进行设定,每一落地无人机均有一识别区域,该识别区域以落地无人机所在的位置为中心,以固定距离为半径作圆而得,识别区域为在水平面上的投影,为本领域人员的公知常识,不作赘述。
步骤S104:判断识别区域内的无人机是否均为落地无人机。
判断的目的为得知该落地无人机是否为房屋边上最近的落地无人机,以便于后续对不同的落地无人机进行调用。
步骤S1041:若识别区域内的无人机均为落地无人机,则定义该落地无人机为无效无人机。
当识别区域内的无人机均为落地无人机时,说明该落地无人机的周围均为落地无人机,此时该落地无人机并不为最靠近房屋的落地无人机,将该无人机定义为无效无人机以对该落地无人机进行标识,便于后续对不同落地无人机的识别判断。
步骤S1042:若识别区域内的无人机不均为落地无人机,则定义该落地无人机为边缘无人机,且定义边缘无人机所在的位置为边缘点。
当识别区域内的无人机不均为落地无人机,说明该落地无人机为最靠近房屋的落地无人机,此时定义该落地无人机为边缘无人机以进行标识,便于后续对该落地无人机进行调用;每一无人机在悬停时位置固定,定义边缘无人机所在的位置为边缘点,对便于后续对边缘无人机所处的位置进行调用,该边缘点为投影水平面上的位置,并非三维空间边缘无人机所处的真实位置,即边缘点的坐标由x与y组成,并不存在z。
步骤S105:将边缘点与距离最近的边缘点相连围合以形成检测区域,定义检测区域的边缘为检测路径。
将边缘点与最近的边缘点相连后,所有的边缘点能够围合以形成矩形状的检测区域,说明此时划定的检测区域大小合适,当无人机在该检测区域内飞行检测时,能够采集到较为完整的图像且不易采集到无用的图像,从而减小后续对图像的处理难度,降低房屋的三维建模难度;定义检测区域的边缘为检测路径以对该边缘进行标识,便于后续对该边缘进行调用。
步骤S106:控制无人机于检测区域内沿所预设检测规则飞行以获取顶部图像信息。
检测规则为工作人员提前设定的供无人机飞行的方法,需保证能对房屋的顶部进行完全检测,本实施例中所采用的方法为蛇形飞法,即将无人机放置于检测区域所形成的矩形的边角点处,再沿着检测区域的边长移动至另一检测点,再转动90°后继续沿检测区域的边长移动一定距离,当一定距离后,再沿相同方向转动90°后继续向前移动直至移动至另一边长,不断重复上述步骤,直至经过检测区域的四个边角;控制无人机移动可使无人机上所携带的用于拍摄的器具对房屋顶部的图像进行拍摄,拍摄器具可以为微型摄像头,为本领域技术人员的常规技术手段,不作赘述,通过拍摄可获取房屋顶部的图像,记录该图像的信息即为顶部图像信息。
步骤S107:控制无人机沿检测路径移动以获取侧部图像信息。
无人机沿检测路径移动时,能通过摄像头拍摄到房屋的侧部图像,记录该图像的信息即侧部图像信息。
步骤S108:将顶部图像信息与侧部图像信息拟合形成三维图像信息。
顶部图像信息和侧部图像信息拟合时均采用判断两张图像中是否存在公共部分进行拟合,为本领域技术人员常规技术手段,不作赘述,通过拟合可得到房屋的三维模型,记录该三维模型的信息即三维图像信息。
参照图3,边缘点的确定方法还包括:
步骤S200:获取边缘点与房屋之间的水平距离信息。
携带有重物的无人机侧部具有红外线测距仪,可通过控制无人机下降一定距离直至红外线测距仪存在数值,该数值即边缘点与房屋之间在水平面上的距离,记录该距离的信息即水平距离信息。
步骤S201:判断水平距离信息所对应的距离是否大于所预设的检测距离。
检测距离为定值,为能够拍摄图像的无人机飞行时与房屋之间所允许的最小距离,即检测距离为无人机飞行时所允许的安全距离,判断的目的是为了得知水平距离信息所对应的距离是否可供能够拍摄图像的无人机向下飞行以对房屋侧部图像进行检测,使无人机后续检测能够正常进行。
步骤S2011:若水平距离信息所对应的距离大于检测距离,则输出划分正确信号。
当水平距离信息所对应的距离大于检测距离,说明边缘点与房屋之间的水平距离可供无人机飞行检测,此时输出划分正确信号以对该情况进行记录,以说明边缘点的划分正确,可时无人机进行正常检测。
步骤S2012:若水平距离信息所对应的距离不大于检测距离,则获取该边缘点上远离房屋方向距离最近的落地无人机所在的位置,并将该位置更新为新的边缘点。
当水平距离信息所对应的距离不大于检测距离时,说明边缘点与房屋之间的水平距离不可供无人机飞行检测,此时通过位置的判断可确定出该边缘点上远离房屋方向距离最近的落地无人机所在的位置,此时的落地无人机为该方向上第二靠近房屋的落地无人机,且该落地无人机与房屋之间的距离可供检测的无人机正常飞行,将该落地无人机的位置更新为新的边缘点,以便于后续对边缘点进行调用。
参照图4,还包括无人机获取顶部图像信息时起始点的确定方法,该方法包括:
步骤S300:根据所预设的第二排序规则以确定所有水平距离信息中所对应距离最小的水平距离信息,定义该水平距离信息所对应的距离为缩放距离。
第二排序规则为能够进行大小排序的方法,如冒泡法,通过第二排序规则可确定出所对应的距离最小的水平距离信息,说明该边缘点与房屋距离最近,此时定义该距离为缩放距离以进行标识,便于后续对该缩放距离进行调用。
步骤S301:根据所预设的缩放数据库中所存储的缩放距离、相对应的缩放比例值与当前缩放距离匹配以确定当前缩放比例值。
缩放比例值为检测区域的缩放值,例如缩放比例值为0.9,检测区域一开始为100*100的区域,则缩放后则为90*90的区域,根据缩放距离的不同以搭配不同的缩放比例值,以使检测区域缩小后依旧能满足无人机对房屋顶部的检测,缩放数据库由不同缩放距离搭配相对应的缩放比例值形成,由工作人员根据多次试验以获取,缩放数据库的建立方法为本领域技术人员常规技术手段,不作赘述;将当前缩放距离输入至缩放数据库中时,可输出对应的缩放比例值以供后续使用。
步骤S302:根据当前缩放比例值以中心点缩小检测区域以形成飞行区域,并定义飞行区域的四个边角点为预备点。
中心点为检测区域的中心点,可通过边缘点的位置以确定该检测区域的中心点,例如检测区域的四个边角点坐标分别为(x1,y1)、(x2,y2)、(x1,y2)和(x2,y1),则中心点的坐标为(,),通过缩小可确定出飞行区域,当无人机在飞行区域内移动时,使无人机能较好的采集图像以外减小了无人机的飞行路径,从而增加了无人机的续航能力;定义飞行区域的四个边角点为预备点以进行标识,便于后续对该预备点进行调用。
步骤S303:获取预备点与所预设基点的到位距离信息。
基点为指派无人机的基站位置,由工作人员根据实际情况进行设定,不作赘述;通过预备点与基点在空间坐标系上的坐标位置可计算出两者之间的距离,记录该距离的信息即到位距离信息,计算的方法为本领域技术人员的常规技术手段,不作赘述。
步骤S304:根据所预设的第三排序规则以确定所有到位距离信息中所对应距离最小的到位距离信息,并以该到位距离信息以确定相对应的预备点,并定义该预备点为起始点以控制无人机移动至起始点。
第三排序规则为能够进行大小排序的方法,如冒泡法,通过第三排序规则可确定出相对应距离最小的到位距离信息,说明该到位距离信息相对应的预备点与基点距离最近,无人机飞行至该预备点所需的时间最短,定义该预备点为起始点以进行标识,便于后续控制无人机移动至该起始点进行作业。
参照图5,侧部图像信息的获取方法包括:
步骤S400:获取各边缘点与基点之间的相隔距离信息;
相隔距离信息所对应的距离为边缘点与基点在空间坐标系上的距离,计算方法为本领域技术人员常规技术手段,不作赘述。
步骤S401:根据所预设的第四排序规则以确定所有相隔距离信息中相对应距离最小的相隔距离信息,并将该相隔距离信息所对应的边缘点定义为固定点。
第四排序规则为能够进行大小排序的方法,如冒泡法,通过第四排序规则可确定相对应距离最小的相隔距离信息,即说明该边缘点与基点距离最近,此时定义该边缘点为固定点,以便于后续对固定点进行调用。
步骤S402:控制无人机移动至固定点并以所预设的检测方向沿检测路径移动以获取局部图像信息。
控制无人机移动至固定点可使无人机飞行至检测路径上所使用的时间最短;检测方向为提前设定的方向,为顺时针或逆时针,由工作人员根据实际情况进行设定,不作赘述;当无人机在同一高度沿检测路径移动时能采集到该高度下房屋侧部的图像,距离该图像的信息即局部图像信息。
步骤S403:获取无人机于固定点所输出的到位信号,并对到位信号计数以获取到位数量信息。
当无人机移动至固定点时输出到位信号,即说明无人机处于检测路径内,可控制无人机启动进行作业;到位数量信息所对应的数量为无人机所输出的到位信号数量,通过计数的方法获得,为本领域技术人员常规技术手段,不作赘述。
步骤S404:判断到位数量信息所对应的数量是否为偶数。
当到位数量信息所对应的数量为偶数时,说明无人机再次移动至固定点,进一步说明无人机绕检测路径飞行一圈,判断的目的是为了得知无人机在该高度下是否绕检测路径飞行一圈,以便于判断无人机是否在对应高度下完成检测。
步骤S4041:若到位数量信息所对应的数量不为偶数,则控制无人机沿检测路径移动。
当到位数量信息所对应的数量不为偶数时,说明无人机在对应高度下尚未飞行一圈,此时控制无人机继续沿检测路径移动,以使无人机能将房屋在该对应高度下的图像采集完全。
步骤S4042:若到位数量信息所对应的数量为偶数,则控制无人机沿预设下降方向移动预设下降距离,且移动结束后输出到位信号。
当到位数量信息所对应的数量为偶数时,说明无人机在该高度下已经沿检测路径飞行一圈;下降方向为提前设置的与重力方向一致的方向,下降距离由工作人员根据实际情况进行设定,不作赘述;当无人机下降下降距离后,输出到位信号,使到位信号的数量为奇数,以使无人机能继续在该高度下沿检测路径飞行检测,从而使无人机能从上至下对房屋的侧部进行图像采集,以获取较为完整的房屋侧部图像。
步骤S405:将所有局部图像信息拟合以形成侧部图像信息。
拟合的方法为将两张局部图像信息所对应图像中存在公共区域的部分进行拟合,为本领域技术人员的常规技术手段,不作赘述,通过拟合可形成完整的侧部图像信息,以便于后续的三维建模。
参照图6,无人机沿下降方向移动的方法包括:
步骤S500:获取无人机的垂直距离信息。
垂直距离信息由无人机底部的测距仪获取,垂直距离信息所对应的距离为无人机至下方障碍物之间的距离。
步骤S501:判断垂直距离信息所对应的距离是否大于下降距离。
判断的目的为得知无人机下方的距离是否可供无人机继续沿下降方向移动,以减小无人机在移动的过程中出现撞击而损坏的情况。
步骤S5011:若垂直距离信息所对应的距离大于下降距离,则控制无人机沿下降方向移动。
当垂直距离信息所对应的距离大于下降距离时,说明无人机向下移动并不会撞击至障碍物上,此时控制无人机沿下降方向移动,以使无人机对房屋侧部进行正常检测。
步骤S5012:若垂直距离信息所对应的距离不大于下降距离,则输出异常信号并控制无人机沿检测方向移动至相邻的边缘点。
当垂直距离信息所对应的距离不大于下降距离时,说明无人机在该固定点上无法继续向下移动,此时控制无人机移动至相邻的边缘点以进行再一次判断,输出的异常信号可对该情况进行记录,以便于后续的处理。
步骤S502:获取异常信号的异常数量信息。
异常数量信息所对应的数量为异常信号的总数,可通过计数的方法获取,异常数量信息所对应的数量初始值为零,当输出一个异常信号时,异常数量信息所对应的数量进行加一处理。
步骤S503:判断异常数量信息所对应的数量是否大于所预设的基准数量。
基准数量为定值,由工作人员根据实际情况进行设定,判断的目的是为了得知异常信号的数量是否达到提前设定的值,以便于后续对无人机作业情况的进一步控制。
步骤S5031:若异常数量信息所对应的数量大于基准数量,则控制无人机悬停并输出结束信号。
当异常数量信息所对应的数量大于基准数量时,说明无人机移动的若干个位置下方均存在障碍物,此时极大可能下方障碍物为地面,说明无人机以对房屋侧部的图像采集完全,控制无人机悬停以待工作人员下一步控制,输出结束信号使工作人员得知该情况,以便于工作人员对该情况进行处理。
步骤S5032:若异常数量信息所对应的数量不大于基准数量,则控制无人机继续移动直至无人机移动至不存在异常信号的边缘点,并将该边缘点更新为新的固定点。
当异常数量信息所对应的数量不大于基准数量时,说明暂时还无法判断无人机下方的障碍物是否为地面,此时继续控制无人机移动,当移动至不存在异常信号的边缘点时,说明可通过该边缘点的位置继续向下移动,将该边缘点更新为新的固定点,以便于无人机继续对房屋侧部进行检测。
参照图7,无人机沿检测路径移动的方法包括:
步骤S600:获取无人机前进方向的障碍距离信息。
无人机前进方向的侧壁上安装有测距仪,通过测距仪可获取无人机与前方障碍物之间的距离,记录该距离的信息即障碍距离信息。
步骤S601:判断障碍距离信息所对应的距离是否小于所预设的安全距离。
安全距离为定值,由工作人员根据实际情况提前设定,不作赘述;判断的目的是为了得知无人机与前方障碍物之间距离是否满足要求,以减小无人机发生撞击而损坏的情况。
步骤S6011:若障碍距离信息所对应的距离不小于安全距离,则控制无人机沿检测路径移动。
当障碍距离信息所对应的距离不小于安全距离时,说明无人机在移动的过程中不会撞击至障碍物上,使无人机正常移动以对房屋侧部进行检测。
步骤S6012:若障碍距离信息所对应的距离小于安全距离,则输出障碍信号并控制无人机向远离房屋的方向移动直至障碍信号消失,再控制无人机沿检测方向继续移动。
当障碍距离信息所对应的距离小于安全距离时,说明无人机飞行的前进方向存在障碍物,若无人机继续飞行则有可能出现撞击的情况,输出障碍信号以说明前进方向向存在障碍物,使无人机无法继续沿检测路径移动;控制无人机向远离房屋的方向移动,移动过程中无人机为平移移动,不存在无人机机体方向的改变,直至障碍信号消失,说明无人机移动至该位置时前方不存在障碍物,此时继续控制无人机沿检测方向移动,以使无人机能绕开障碍物所在的位置。
步骤S602:获取无人机与障碍物的水平距离信息。
水平距离信息所对应的距离为无人机侧壁与障碍物之间的距离,由无人机侧壁上携带的由于测量距离的器具获取,例如红外线测距仪。
步骤S603:判断水平距离信息所对应的距离是否大于所预设的许可距离。
许可距离为定值,由工作人员根据实际情况设定,不作赘述;判断的目的是为了得知无人机与障碍物之间的距离是否超过许可距离,以便于后续对无人机的进一步控制。
步骤S6031:若水平距离信息所对应的距离不大于许可距离,则控制无人机沿检测方向移动。
当水平距离信息所对应的距离不大于许可距离时,说明无人机无法向障碍物方向移动,即说明无人机无法向房屋方向移动,此时控制无人机继续沿检测方向移动以绕开障碍物。
步骤S6032:若水平距离信息所对应的距离大于许可距离,则控制无人机向房屋方向移动所预设的偏移距离,直至无人机移动至检测路径上。
当水平距离信息所对应的距离大于许可距离时,说明无人机能向障碍物方向移动,此时控制无人机向房屋方向移动偏移距离,偏移距离为定值,由工作人员根据实际情况进行设定,不作赘述;无人机不断沿检测方向移动并向房屋方向靠近,使无人机能再次移动至检测路径上,以实现对障碍物的绕行,使无人机能对房屋侧部进行较好的检测。
参照图8,不动产三维建模方法还包括:
步骤S700:获取无人机于障碍信号输出前于最近的边缘点所采集的第一检测图像信息以及无人机于障碍信号输出后于最近的边缘点所采集的第二检测图像信息。
第一检测图像信息所对应的图像为无人机输出障碍信号前于边缘点所采集到的局部图像信息所对应的图像;第二检测图像信息所对应的图像为无人机输出障碍信号后于边缘点所采集到的局部图像信息所对应的图像,通过对两个不同局部图像信息的定义,以便于后续对这两个局部图像信息进行调用。
步骤S701:判断第一检测图像信息所对应的图像与第二检测图像信息所对应的图像是否存在共同区域。
判断的目的是为了得知第一检测图像信息所对应的边缘点与第二检测图像信息所对应的边缘点之间的区域是否被障碍物所遮挡而未采集到图像,便于后续对该情况进行及时处理。
步骤S7011:若不存在共同区域,则输出图像空缺信号。
当不存在共同区域时,说明这两个边缘点之间的区域因障碍物的作用而无法检测,此时房屋该区域无法进行三维建模,输出图像空缺信号以使工作人员得知该情况,以便于工作人员对该情况进行处理。
步骤S7012:若存在共同区域,则输出正常检测信号。
当存在共同区域时,说明该障碍物并不影响无人机对房屋侧部图像的获取,输出正常检测信号以使工作人员得知无人机处于正常检测状态,无需对无人机检测进行进一步控制。
参照图9,基于同一发明构思,本发明实施例提供一种不动产三维建模系统,包括:
获取模块,用于获取预设于无人机上向下落的重物的下落距离信息;
处理模块,与获取模块和判断模块连接,用于信息的存储和处理;
处理模块根据所预设的排序规则以确定下落距离信息中所对应距离最大的下落距离信息,并定义该下落距离信息相对应的无人机为落地无人机;
判断模块,用于判断识别区域内的无人机是否均为落地无人机;
若判断模块判断出识别区域内的无人机均为落地无人机,则处理模块定义该落地无人机为无效无人机;
若判断模块判断出识别区域内的无人机不均为落地无人机,则处理模块定义该落地无人机为边缘无人机,且定义边缘无人机所在的位置为边缘点;
处理模块将边缘点与距离最近的边缘点相连围合以形成检测区域,定义检测区域的边缘为检测路径;
处理模块控制无人机于检测区域内沿所预设检测规则飞行以获取顶部图像信息;
处理模块控制无人机沿检测路径移动以获取侧部图像信息;
处理模块将顶部图像信息与侧部图像信息拟合形成三维图像信息;
边缘点确定模块,用于进一步确定边缘点,使边缘点与房屋之间的距离可供无人机飞行检测;
顶部起始点确定模块,用于确定无人机对房屋顶部进行检测时的起始点,以使无人机能够较好的进行飞行检测;
飞行控制模块,用于控制无人机对房屋侧部进行检测,使无人机能采集到较为完整的房屋侧部图像;
到位检测模块,用于判断无人机是否对房屋的侧部进行检测完成;
障碍绕行模块,使无人机在沿检测路径移动时遇到障碍物能够进行绕行移动;
图像完整异常确定模块,用于判断无人机采集图像时是否有被障碍物所遮挡的区域,便于工作人员快速得知该情况。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本发明实施例提供一种计算机可读存储介质,存储有能够被处理器加载并执行不动产三维建模方法的计算机程序。
计算机存储介质例如包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
基于同一发明构思,本发明实施例提供一种智能终端,包括存储器和处理器,存储器上存储有能够被处理器加载并执行不动产三维建模方法的计算机程序。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上均为本申请的较佳实施例,并非依此限制本申请的保护范围,本说明书(包括摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或者具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
Claims (10)
1.一种不动产三维建模方法,其特征在于,包括:
定义所预设的规划区域中有若干的无人机,所述无人机以所预设的飞行高度悬停且无人机之间以所预设的间距阵列分布;
获取预设于无人机上向下落的重物的下落距离信息;
根据所预设的第一排序规则以确定下落距离信息中所对应距离最大的下落距离信息,并定义该下落距离信息相对应的无人机为落地无人机;
定义以落地无人机为中心、以所预设固定距离为半径而划分的区域为识别区域;
判断识别区域内的无人机是否均为落地无人机;
若识别区域内的无人机均为落地无人机,则定义该落地无人机为无效无人机;
若识别区域内的无人机不均为落地无人机,则定义该落地无人机为边缘无人机,且定义边缘无人机所在的位置为边缘点;
将边缘点与距离最近的边缘点相连围合以形成检测区域,定义检测区域的边缘为检测路径;
控制无人机于检测区域内沿所预设检测规则飞行以获取顶部图像信息;
控制无人机沿检测路径移动以获取侧部图像信息;
将顶部图像信息与侧部图像信息拟合形成三维图像信息。
2.根据权利要求1所述的不动产三维建模方法,其特征在于:边缘点的确定方法还包括:
获取边缘点与房屋之间的水平距离信息;
判断水平距离信息所对应的距离是否大于所预设的检测距离;
若水平距离信息所对应的距离大于检测距离,则输出划分正确信号;
若水平距离信息所对应的距离不大于检测距离,则获取该边缘点上远离房屋方向距离最近的落地无人机所在的位置,并将该位置更新为新的边缘点。
3.根据权利要求1所述的不动产三维建模方法,其特征在于:还包括无人机获取顶部图像信息时起始点的确定方法,该方法包括:
根据所预设的第二排序规则以确定所有水平距离信息中所对应距离最小的水平距离信息,定义该水平距离信息所对应的距离为缩放距离;
根据所预设的缩放数据库中所存储的缩放距离、相对应的缩放比例值与当前缩放距离匹配以确定当前缩放比例值;
根据当前缩放比例值以中心点缩小检测区域以形成飞行区域,并定义飞行区域的四个边角点为预备点;
获取预备点与所预设基点的到位距离信息;
根据所预设的第三排序规则以确定所有到位距离信息中所对应距离最小的到位距离信息,并以该到位距离信息以确定相对应的预备点,并定义该预备点为起始点以控制无人机移动至起始点。
4.根据权利要求1所述的不动产三维建模方法,其特征在于:侧部图像信息的获取方法包括:
获取各边缘点与基点之间的相隔距离信息;
根据所预设的第四排序规则以确定所有相隔距离信息中相对应距离最小的相隔距离信息,并将该相隔距离信息所对应的边缘点定义为固定点;
控制无人机移动至固定点并以所预设的检测方向沿检测路径移动以获取局部图像信息;
获取无人机于固定点所输出的到位信号,并对到位信号计数以获取到位数量信息;
判断到位数量信息所对应的数量是否为偶数;
若到位数量信息所对应的数量不为偶数,则控制无人机沿检测路径移动;
若到位数量信息所对应的数量为偶数,则控制无人机沿预设下降方向移动预设下降距离,且移动结束后输出到位信号;
将所有局部图像信息拟合以形成侧部图像信息。
5.根据权利要求4所述的不动产三维建模方法,其特征在于:无人机沿下降方向移动的方法包括:
获取无人机的垂直距离信息;
判断垂直距离信息所对应的距离是否大于下降距离;
若垂直距离信息所对应的距离大于下降距离,则控制无人机沿下降方向移动;
若垂直距离信息所对应的距离不大于下降距离,则输出异常信号并控制无人机沿检测方向移动至相邻的边缘点;
获取异常信号的异常数量信息;
判断异常数量信息所对应的数量是否大于所预设的基准数量;
若异常数量信息所对应的数量大于基准数量,则控制无人机悬停并输出结束信号;
若异常数量信息所对应的数量不大于基准数量,则控制无人机继续移动直至无人机移动至不存在异常信号的边缘点,并将该边缘点更新为新的固定点。
6.根据权利要求4所述的不动产三维建模方法,其特征在于:无人机沿检测路径移动的方法包括:
获取无人机前进方向的障碍距离信息;
判断障碍距离信息所对应的距离是否小于所预设的安全距离;
若障碍距离信息所对应的距离不小于安全距离,则控制无人机沿检测路径移动;
若障碍距离信息所对应的距离小于安全距离,则输出障碍信号并控制无人机向远离房屋的方向移动直至障碍信号消失,再控制无人机沿检测方向继续移动;
获取无人机与障碍物的水平距离信息;
判断水平距离信息所对应的距离是否大于所预设的许可距离;
若水平距离信息所对应的距离不大于许可距离,则控制无人机沿检测方向移动;
若水平距离信息所对应的距离大于许可距离,则控制无人机向房屋方向移动所预设的偏移距离,直至无人机移动至检测路径上。
7.根据权利要求6所述的不动产三维建模方法,其特征在于:还包括:
获取无人机于障碍信号输出前于最近的边缘点所采集的第一检测图像信息以及无人机于障碍信号输出后于最近的边缘点所采集的第二检测图像信息;
判断第一检测图像信息所对应的图像与第二检测图像信息所对应的图像是否存在共同区域;
若不存在共同区域,则输出图像空缺信号;
若存在共同区域,则输出正常检测信号。
8.一种不动产三维建模系统,其特征在于,包括:
获取模块,用于获取预设于无人机上向下落的重物的下落距离信息;
处理模块,与获取模块和判断模块连接,用于信息的存储和处理;
处理模块根据所预设的排序规则以确定下落距离信息中所对应距离最大的下落距离信息,并定义该下落距离信息相对应的无人机为落地无人机;
判断模块,用于判断识别区域内的无人机是否均为落地无人机;
若判断模块判断出识别区域内的无人机均为落地无人机,则处理模块定义该落地无人机为无效无人机;
若判断模块判断出识别区域内的无人机不均为落地无人机,则处理模块定义该落地无人机为边缘无人机,且定义边缘无人机所在的位置为边缘点;
处理模块将边缘点与距离最近的边缘点相连围合以形成检测区域,定义检测区域的边缘为检测路径;
处理模块控制无人机于检测区域内沿所预设检测规则飞行以获取顶部图像信息;
处理模块控制无人机沿检测路径移动以获取侧部图像信息;
处理模块将顶部图像信息与侧部图像信息拟合形成三维图像信息。
9.一种智能终端,其特征在于,包括存储器和处理器,存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
10.一种计算机可读存储介质,其特征在于,存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111470526.2A CN114202614B (zh) | 2021-12-03 | 2021-12-03 | 一种不动产三维建模方法、系统、存储介质及智能终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111470526.2A CN114202614B (zh) | 2021-12-03 | 2021-12-03 | 一种不动产三维建模方法、系统、存储介质及智能终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114202614A CN114202614A (zh) | 2022-03-18 |
CN114202614B true CN114202614B (zh) | 2022-09-27 |
Family
ID=80650509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111470526.2A Active CN114202614B (zh) | 2021-12-03 | 2021-12-03 | 一种不动产三维建模方法、系统、存储介质及智能终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114202614B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103426200A (zh) * | 2013-08-26 | 2013-12-04 | 天津大学 | 基于无人机航拍序列图像的树木三维重建方法 |
CN105203084A (zh) * | 2015-07-02 | 2015-12-30 | 汤一平 | 一种无人机3d全景视觉装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108521807B (zh) * | 2017-04-27 | 2022-04-05 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、设备及障碍物的提示方法、设备 |
-
2021
- 2021-12-03 CN CN202111470526.2A patent/CN114202614B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103426200A (zh) * | 2013-08-26 | 2013-12-04 | 天津大学 | 基于无人机航拍序列图像的树木三维重建方法 |
CN105203084A (zh) * | 2015-07-02 | 2015-12-30 | 汤一平 | 一种无人机3d全景视觉装置 |
Non-Patent Citations (1)
Title |
---|
"基于无人机倾斜摄影测量的压煤村庄勘测方法研究";孙衍建;《万方数据》;20191031;第1-5章 * |
Also Published As
Publication number | Publication date |
---|---|
CN114202614A (zh) | 2022-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6918672B2 (ja) | 劣化診断システム | |
CN105955308A (zh) | 一种飞行器的控制方法和装置 | |
CN106292126B (zh) | 一种智能航测飞行曝光控制方法、无人机控制方法及终端 | |
CN106541404A (zh) | 一种机器人视觉定位导航方法 | |
KR101771492B1 (ko) | 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템 | |
CN112364725B (zh) | 基于小型无人机群的棉花虫害立体监测方法与系统 | |
CN110490936A (zh) | 车辆摄像头的标定方法、装置、设备及可读存储介质 | |
CN110209847A (zh) | 航空遥感数据机上准实时处理方法、装置和存储介质 | |
CN112180955A (zh) | 一种自动巡检无人机的基于视觉反馈的二次复查方法和系统 | |
CN110244762A (zh) | 基于听声辨位的飞行设备防撞方法及设备、安全系统 | |
CN114089787A (zh) | 基于多机协同飞行的地面三维语义地图及其构建方法 | |
CN114020043A (zh) | 无人机建筑工程监理系统、方法、电子设备及存储介质 | |
CN115576357A (zh) | 一种无rtk信号场景下全自动无人机巡检智能路径规划方法 | |
CN114202614B (zh) | 一种不动产三维建模方法、系统、存储介质及智能终端 | |
JP2019175140A (ja) | 建築物抽出システム | |
CN108460333B (zh) | 基于深度图的地面检测方法及装置 | |
CN114035606A (zh) | 杆塔巡检系统、杆塔巡检方法、控制装置和存储介质 | |
WO2024067133A1 (zh) | 基于3d地图的无人驾驶航空器飞行控制方法、系统和介质 | |
CN107491099A (zh) | 一种基于视觉和陀螺仪的云台控制方法及装置 | |
JP2021014241A (ja) | 無人航空機、画像撮像システム、及びプログラム | |
CN105975229A (zh) | 图像展示方法及图像展示装置 | |
CN115409964A (zh) | 一种山区地形检测方法、系统、存储介质及智能终端 | |
CN113865557B (zh) | 测绘用山体环境检测方法、系统、存储介质及智能终端 | |
CN116434060B (zh) | 一种利用无人机采集房屋信息自动提取方法及系统 | |
CN113670273B (zh) | 测绘用滩土环境检测方法、系统、存储介质及智能终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |