CN115661369B - 三维扫描方法、三维扫描的控制方法、系统和电子装置 - Google Patents

三维扫描方法、三维扫描的控制方法、系统和电子装置 Download PDF

Info

Publication number
CN115661369B
CN115661369B CN202211600674.6A CN202211600674A CN115661369B CN 115661369 B CN115661369 B CN 115661369B CN 202211600674 A CN202211600674 A CN 202211600674A CN 115661369 B CN115661369 B CN 115661369B
Authority
CN
China
Prior art keywords
data
dimensional scanning
mark point
point
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211600674.6A
Other languages
English (en)
Other versions
CN115661369A (zh
Inventor
王江峰
许智源
陈尚俭
郑俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scantech Hangzhou Co Ltd
Original Assignee
Scantech Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Scantech Hangzhou Co Ltd filed Critical Scantech Hangzhou Co Ltd
Priority to CN202211600674.6A priority Critical patent/CN115661369B/zh
Publication of CN115661369A publication Critical patent/CN115661369A/zh
Application granted granted Critical
Publication of CN115661369B publication Critical patent/CN115661369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种三维扫描方法、三维扫描的控制方法、系统和电子装置,其中,该三维扫描方法包括:获取第一标记点的第一标记点数据和待扫描物体的第一三维扫描数据;获取第二标记点的第二标记点数据;第二标记点设置在待扫描物体上,且第二标记点的位置与第一标记点不同;获取针对待扫描物体的第二三维扫描数据,第二三维扫描数据为去除待扫描物体上设置的第一标记点,保留第二标记点的情况下,对待扫描物体进行扫描得到的数据;根据第一标记点数据、第一三维扫描数据、第二标记点数据和第二三维扫描数据生成目标三维扫描模型。通过本申请,解决了三维扫描的准确性低的问题,实现了精确、高效的三维扫描方法。

Description

三维扫描方法、三维扫描的控制方法、系统和电子装置
技术领域
本申请涉及三维扫描技术领域,特别是涉及三维扫描方法、三维扫描的控制方法、系统和电子装置。
背景技术
随着数字图像处理、数字投影显示和计算机处理技术的发展与成熟,三维扫描技术得到了快速的发展。三维扫描系统可以将光投影到物体表面,摄像设备拍摄光投射下的图像,根据拍摄到的图像的形状利用三维重建算法来重建获取物体表面的三维尺寸信息。
在相关技术中,三维扫描方法使用同一组相机同时识别标记点和点云数据,用标志点进行拼接后完成点云数据拼接。但是该三维扫描方法若要保证三维模型的精确度就需要粘贴足够多的标记点,导致最后数据中的很多空洞需要后期填补,无法生成表面精细程度高的三维扫描模型,使得三维扫描的准确性较低。
目前针对相关技术中三维扫描的准确性低的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种三维扫描方法、三维扫描的控制方法、系统和电子装置,以至少解决相关技术中三维扫描的准确性低的问题。
第一方面,本申请实施例提供了一种三维扫描方法,所述方法包括:
获取第一标记点的第一标记点数据和待扫描物体的第一三维扫描数据;其中,所述第一标记点设置在所述待扫描物体上;
获取第二标记点的第二标记点数据;其中,所述第二标记点设置在所述待扫描物体上,且所述第二标记点的位置与所述第一标记点不同;
获取针对所述待扫描物体的第二三维扫描数据,其中,所述第二三维扫描数据为去除所述待扫描物体上设置的所述第一标记点,保留所述第二标记点的情况下,对所述待扫描物体进行扫描得到的数据;
根据所述第一标记点数据、所述第一三维扫描数据、所述第二标记点数据和所述第二三维扫描数据生成目标三维扫描模型。
在其中一些实施例中,所述方法还包括:
检测针对在扫描控制界面显示的所述第一三维扫描数据的锁定指令;
响应于所述锁定指令,获取所述第一三维扫描数据中对应于所述锁定指令的锁定点云数据,并指示所述扫描控制界面显示处于锁定状态下的所述锁定点云数据;
根据所述锁定点云数据、所述第二标记点数据和所述第二三维扫描数据生成所述目标三维扫描模型。
在其中一些实施例中,所述获取所述第一三维扫描数据中对应于所述锁定指令的锁定点云数据之后,所述方法还包括:
确定未锁定点云数据;其中,所述未锁定点云数据是指所述第一三维扫描数据中去除所述锁定点云数据后剩余的点云数据;
检测所述扫描控制界面获取到的针对所述未锁定点云数据的模型操作指令;
响应于所述模型操作指令,对所述未锁定点云数据进行更新操作并生成更新三维扫描数据;
根据所述更新三维扫描数据、所述锁定点云数据、所述第二标记点数据和所述第二三维扫描数据生成所述目标三维扫描模型。
在其中一些实施例中,所述方法还包括:
在检测到所述锁定指令之前,控制所述扫描控制界面以第一标志显示所述第一三维扫描数据;和/或,
响应于所述锁定指令,控制所述扫描控制界面以第二标志显示所述第一三维扫描数据中的所述锁定点云数据。
在其中一些实施例中,所述根据所述第一标记点数据、所述第一三维扫描数据、所述第二标记点数据和所述第二三维扫描数据生成目标三维扫描模型,还包括:
根据所述第一标记点数据和所述第二标记点数据,获取所述第一标记点和第二标记点之间的位姿关系;
根据所述位姿关系确定所述第二三维扫描数据中与所述第一标记点相对应的目标补齐数据;
根据所述第一三维扫描数据和所述目标补齐数据生成所述目标三维扫描模型。
在其中一些实施例中,所述根据所述第一标记点数据和所述第二标记点数据,获取所述第一标记点和第二标记点之间的位姿关系,包括:
同时获取所述第一标记点数据和所述第二标记点数据,以获取所述第一标记点和第二标记点之间的位姿关系。
在其中一些实施例中,所述第一标记点的尺度信息,与所述第二标记点的尺度信息不同;和/或,
所述第一标记点的类型,与所述第二标记点的类型不同。
第二方面,本申请实施例提供了一种三维扫描的控制方法,应用于三维扫描系统,所述系统包括数据采集设备;所述方法包括:
在待扫描物体上设置第一标记点,利用所述数据采集设备扫描第二标记点得到第一标记点数据,以及扫描待扫描物体得到第一三维扫描数据;
在所述待扫描物体上设置第二标记点,且所述第二标记点的位置与所述第一标记点不同;利用所述数据采集设备扫描所述第二标记点得到第二标记点数据;
去除所述待扫描物体上设置的所述第一标记点且保留所述第二标记点,利用所述数据采集设备扫描所述待扫描物体得到第二三维扫描数据,并根据所述第一标记点数据、所述第一三维扫描数据、所述第二标记点数据和所述第二三维扫描数据生成目标三维扫描模型。
第三方面,本申请实施例提供了一种三维扫描系统,所述系统包括:主控设备和数据采集设备;
所述主控设备,用于利用所述数据采集设备获取第一标记点的第一标记点数据和待扫描物体的第一三维扫描数据,其中,所述第一标记点被布置在所述待扫描物体上;
所述主控设备还用于利用所述数据采集设备获取第二标记点的第二标记点数据;其中,所述第二标记点被布置在所述待扫描物体上,且所述第二标记点的安装位置与所述第一标记点不同;
所述主控设备还用于获取所述数据采集设备扫描去除所述第一标记点,保留所述第二标记点后的被扫描物体的第二三维扫描数据,根据所述第一标记点数据、所述第一三维扫描数据、所述第二标记点数据和所述第二三维扫描数据生成目标三维扫描模型。
第四方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的三维扫描方法,和/或第二方面所述的三维扫描的控制方法。
相比于相关技术,本申请实施例提供的三维扫描方法、三维扫描的控制方法、系统和电子装置,通过获取第一标记点的第一标记点数据和待扫描物体的第一三维扫描数据;其中,第一标记点设置在待扫描物体上;获取第二标记点的第二标记点数据;其中,第二标记点设置在待扫描物体上,且第二标记点的位置与第一标记点不同;获取针对待扫描物体的第二三维扫描数据,其中,第二三维扫描数据为去除待扫描物体上设置的第一标记点,保留第二标记点的情况下,对待扫描物体进行扫描得到的数据;根据第一标记点数据、第一三维扫描数据、第二标记点数据和第二三维扫描数据生成目标三维扫描模型,解决了三维扫描的准确性低的问题,实现了精确、高效的三维扫描方法。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种三维扫描方法的应用环境图;
图2是根据本申请实施例的一种三维扫描方法的流程图;
图3是根据本申请实施例的另一种三维扫描方法的流程图;
图4是根据本申请实施例的一种扫描控制界面的示意图;
图5是根据本申请实施例的一种三维扫描的控制方法的流程图;
图6是根据本申请实施例的一种三维扫描系统的结构框图;
图7是根据本申请实施例的一种计算机设备内部的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请提供的三维扫描方法,可以应用于如图1所示的应用环境中。该应用环境可以包括数据采集设备102和服务器104。其中,服务器104可以通过网络与数据采集设备102进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。服务器104利用数据采集设备102获取设置在待扫描物体上的第一标记点的第一标记点数据,和待扫描物体的第一三维扫描数据;该服务器104利用该数据采集设备,获取设置在待扫描物体上且与第一标记点设置位置不同的第二标记点的第二标记点数据,并利用数据采集设备102扫描去除第一标记点后的待扫描物体的第二三维扫描数据,根据第一标记点数据、第一三维扫描数据、第二标记点数据和第二三维扫描数据生成目标三维扫描模型。
进一步地,上述应用环境还可以包括用户终端106;数据采集设备102和服务器104均可以通过网络与用户终端106进行通信,则服务器104可以将生成的三维扫描模型发送至用户终端106进行显示。其中,用户终端106可以但不限于是各种个人计算机、笔记本电脑即和平板电脑;服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本实施例提供了一种三维扫描方法,图2是根据本申请实施例的一种三维扫描方法的流程图,如图2所示,该流程包括如下步骤:
步骤S210,获取第一标记点的第一标记点数据和待扫描物体的第一三维扫描数据;其中,该第一标记点设置在该待扫描物体上。
其中,上述第一标记点包括圆形标记点、方形标记点、角点标记点或反光标记点等不同种类和不同材质的标记点。在实际扫描过程中,可以由工作人员预先在待扫描物体表面布置适当的第一标记点,并利用上述数据采集设备获取贴附在该待扫描物体表面的第一标记点数据后扫描该待扫描物体表面,进而获取得到扫描到的第一三维扫描数据和第一标记点数据。
该第一标记点数据包括第一标记点对应的三维坐标;该扫描到的第一标记点数据主要用于为第一三维扫描点云数据定位,即通过该第一标记点数据将通过扫描得到的各帧第一三维数据进行自动拼接。可以理解的是,由于获得第一三维扫描数据时,待扫描物体表面贴附有第一标记点,该待扫描物体上被第一标记点覆盖的部分无法被扫描到,因此通过上述步骤获取的第一三维扫描数据在第一标记点的覆盖位置留有孔洞。
步骤S220,获取第二标记点的第二标记点数据;其中,该第二标记点设置在该待扫描物体上,且该第二标记点的位置与该第一标记点不同。
类似地,上述第二标记点包括圆形标记点、方形标记点、角点标记点或反光标记点等不同种类和不同材质的标记点。该第二标记点与上述第一标记点均需要贴附在待扫描物体上,即要确保该第二标记点的贴附位置与该第一标记点的贴附位置不相同,同时要确保第二标记点数据与第一标记点数据之间的位姿关系固定。具体地,通过上述数据采集设备对该待扫描物体上的第一标记点、第二标记点进行扫描,可以获取得到其对应的第二标记点数据;该第二标记点数据用于确定第一标记点在待扫描物体上的精确位置,即确定第一标记点和第二标记点之间的相对位姿关系。
步骤S230,获取针对该待扫描物体的第二三维扫描数据。
在本实施例中,该第二三维扫描数据为去除该待扫描物体上设置的该第一标记点,保留该第二标记点的情况下,对该待扫描物体的第一标记点覆盖部位扫描得到的数据。在另一种实施方案中,该第二三维扫描数据为去除待扫描物体上设置的第一标记点,在保留该第二标记点的情况下,扫描得到的包含第一标记点覆盖部位的表面数据。
在通过上述步骤S210至步骤S220获取到第一三维扫描数据、第一标记点和第二标记点数据之后,可以将待扫描物体上设置的第一标记点去除,利用上述数据采集设备对仅保留有第二标记点的待扫描物体表面进行扫描,得到对应的点云数据,即上述第二三维扫描数据,从而实现了针对待扫描物体表面被第一标记点覆盖部位的补充扫描。
步骤S240,根据第一标记点数据、第一三维扫描数据、第二三维扫描数据和第二标记点数据生成目标三维扫描模型。
其中,由于上述第一三维扫描数据留有被第一标记点覆盖的部位,因此在通过上述步骤对去除第一标记点后的待扫描物体进行扫描得到第二三维扫描数据之前,可以通过上述第二标记点数据和第一标记点数据,确定第二标记点与第一标记点之间的位姿关系,并根据这一位姿关系确定第二三维扫描数据中需要对第一三维扫描数据中被第一标记点覆盖的部位需进行补齐的点云数据的精确位置,并通过上述信息将第二三维扫描数据精确补齐至第一三维扫描数据中,最终生成目标三维扫描模型,从而避免了依赖算法修复第一标记点覆盖于待扫描物体表面留下的孔洞,导致最终生成的目标三维扫描模型失真。
进一步地,上述数据采集设备可以采用跟踪式扫描仪,以使得本实施例可以应用于跟踪式扫描场景。例如,在相关技术中,利用跟踪式扫描仪采集体积较小的待扫描物体时,可以通过跟踪设备持续跟踪扫描设备的方式,确定扫描设备相对于跟踪设备的位姿信息,并通过扫描设备进行数据采集,在采集数据过程中跟踪设备必须固定不动,且在车间等工作环境存在振动时容易导致数据拼接错层;或者,当待扫描物体体积较大,即需要进行大范围数据采集时,可以通过跟踪设备获取转换点进行定位确保闭环的整体精度后,进入部件数据采集阶段,跟踪设备持续动态跟踪扫描设备和转站点,以确定扫描设备相对于跟踪设备和转站点的位姿信息,并通过扫描设备进行数据采集。由于已事先采集转站点,则在工作环境存在较大振动时转站点位置会发生变化,导致数据容易拼接错层。
而本申请通过上述实施例,只需要在待扫描物体上粘贴少量第一标记点,通过跟踪设备跟踪定位扫描设备,并通过扫描设备扫描第一标记点和待扫描物体,再保持当前的第一标记点位置不动,布置新的第二标记点在待扫描物体的其他位置,再一次通过扫描设备采集标记点数据;然后撤下原先布置在待扫描物体的第一标记点,在仅保留第二标记点的情况下通过手持扫描仪获取之前被第一标记点遮挡部分的待扫描物体表面,此时即可获得待扫描物体表面完整的细节特征,避免转站点变化导致数据容易拼接错层的问题。
本申请提供的上述技术方案,无需通过算法或重新进行二次数据采集、拼接等方式来修复第一标记点覆盖待扫描物体表面所留下的孔洞,即可获取待扫描物体表面的所有细节特征,避免了在扫描特征细节较多的物体时无法精确获取贴有标记点的物体部分表面数据的现象,使得待扫描物体的三维数据能以更完整的形态留存,可以大大提高生成的三维扫描模型的物体表面精细程度,解决了三维扫描的准确性低的问题,实现了精确、高效的三维扫描方法。
在其中一些实施例中,提供了一种三维扫描方法,图3是根据本申请实施例的另一种三维扫描方法的流程图,如图3所示,该流程包括图2所示的步骤S210至步骤S230,此外还包括如下步骤:
步骤S310,检测针对在扫描控制界面显示的该第一三维扫描数据的锁定指令。
其中,上述扫描控制界面可以由用户终端进行显示;该用户终端可以直接与上述数据采集设备之间通讯连接,该用户终端也可以与该数据采集设备部署在同一局域网内;或者,该用户终端还可以与数据采集设备通过无线连接,并实现用户终端与数据采集设备之间的数据交互和处理。需要补充说明的是,该用户终端上部署有用于实现数据采集功能的三维数据采集软件。具体地,由该三维数据采集软件在用户终端上显示扫描控制界面,以使得用户可以通过在该扫描控制界面上进行交互并输入锁定指令;该交互方式可以为用户在扫描控制界面上执行针对上述第一三维扫描数据的点击锁定按钮、选中锁定框等操作,以触发锁定指令并由扫描控制界面检测到。
例如,图4是根据本申请实施例的一种扫描控制界面的示意图,如图4所示,此时该扫描控制界面处于未锁定状态;该扫描控制界面的上方显示有可供选择各控制功能的菜单栏,该菜单栏显示有数据保护功能,其中,该数据保护功能通过图标进行显示,并在图标下方显示有“数据保护”的提示字样,即用户点击该功能图标即可触发相应指令;此外,该菜单栏还可以设置声音提示功能、视图预览功能和快速标定功能等,由上述三维数据采集软件检测到用户针对各功能按钮的触发指令,执行相应的功能操作。该扫描控制界面的最左侧显示有参数调整子界面,例如解析度设置或扫描模式设置等,以便用户可以在该参数调整子界面上设置扫描参数,以实现基于三维数据采集软件的扫描控制。该扫描控制界面中主界面上显示有实时扫描及扫描得到的第一三维扫描数据,用户可以在该主界面上对其显示的数据进行旋转、拖拽等操作,以便通过各个角度查看所生成的第一三维扫描数据。在扫描过程中,通过上述步骤生成第一三维扫描数据并显示在上述扫描控制界面,基于此,用户可以点击上述菜单栏显示的数据保护图标,选择第一三维扫描数据中的点云数据后退出数据保护功能,此时该模型处于锁定状态以实现数据保护。
步骤S320,响应于该锁定指令,获取该第一三维扫描数据中对应于该锁定指令的锁定点云数据,并指示该扫描控制界面显示处于锁定状态下的该锁定点云数据;
其中,在检测到用户触发针对上述第一三维扫描数据的锁定指令之后,可以对该锁定指令进行解析处理,根据解析结果确定第一三维扫描数据中由该锁定指令指示的需要进行锁定的点云数据;此时,上述扫描控制界面可以通过不同颜色或信息显示该点云数据已经处于锁定状态下。此时处于锁定状态下的第一三维扫描数据无法被用户编辑,即在之后的操作过程中,所有的删除、选择等用户操作对被保护的扫描数据均无效。
步骤S330,根据该锁定点云数据、该第二标记点数据和该第二三维扫描数据生成该目标三维扫描模型。
其中,通过上述第一标记点数据确定第二标记点在该待扫描物体上的精确位置,进而确定该第二三维扫描数据中需要对第一三维扫描数据的孔洞进行补齐的点云数据对应的精确位置,并通过上述信息将第二三维扫描数据精确补齐至包括该锁定点云数据的三维扫描数据中,最终生成目标三维扫描模型。
在上述实施例中,通过将第一三维扫描数据进行保护,使得第一三维扫描数据中被选中的点云数据不参与后续的拼接、删除等后处理操作,从而实现了数据保护功能,进一步有效提高了三维扫描的准确性,解决了无法精确获取贴有标记点的物体部分表面的三维数据的问题,可以大大提升物体表面精细程度。
在其中一些实施例中,上述获取该第一三维扫描数据对应于该锁定指令的锁定点云数据之后,上述三维扫描方法还包括如下步骤:
步骤S331,确定未锁定点云数据;其中,该未锁定点云数据是指该第一三维扫描数据中去除该锁定点云数据后剩余的点云数据。
其中,在通过上述步骤获取第一三维扫描数据中的被指定锁定的点云数据后,可以根据该锁定点云数据和该第一三维扫描数据进一步确定上述未锁定点云数据。
步骤S332,检测该扫描控制界面获取到的针对该未锁定点云数据的操作指令;响应于该操作指令,对该未锁定点云数据进行操作。
具体地,可以由用户在上述扫描控制界面上进行交互并输入操作指令;例如,用户可以在该扫描控制界面上针对上述未锁定点云数据的进行点击或删除等操作。在操作中,通常会把第一三维扫描数据整体进行数据保护,使其处于锁定状态,未锁定点云数据是一些噪点数据或偏离第一三维扫描数据的点云数据,会被删除。
在上述实施例中,通过确定未锁定点云数据,检测针对该未锁定点云数据的操作指令并进行相应的操作,如删除等,使得用户可以提前删除针对第一三维扫描数据中对生成目标三维模型不利的点云数据,减少计算量。
在其中一些实施例中,上述三维扫描方法还包括如下步骤:控制该扫描控制界面以第一标志显示该第一三维扫描数据;和/或,响应于该锁定指令,控制该扫描控制界面以第二标志显示该第一三维扫描数据中的锁定点云数据。其中,上述第一标志和上述第二标志包括但不限于不同的颜色、材质、或信息等,以便能够结合三维扫描数据的锁定状态实时提示用户注意,且该第一标志和该第二标志可以根据实际需要进行调节。例如,该第一标志可以设置为蓝色,且该第二标志设置为灰色,则当上述扫描控制界面显示实时生成的第一三维扫描数据时,在用户未锁定点云数据时以蓝色显示未被锁定的第一三维扫描数据,在用户通过与扫描控制界面交互并锁定部分点云数据时,以灰色显示该第一三维扫描数据中被锁定的锁定点云数据,而其他未被锁定的部分则可以继续以蓝色显示。
或者,该第一标志可以设置为实体材质显示,第二标志可以设置为透明材质显示,则当扫描控制界面显示第一三维扫描数据时,可以以实体材质显示未锁定点云数据,以透明材质显示锁定点云数据。此外,该第一标志、该第二标志的显示方式不限于本申请中所列举的方式,只要能够用于区分锁定点云数据和未锁定点云数据,以提醒用户部分数据已处于锁定状态即可,在此不再赘述。
通过上述实施例,针对第一三维扫描数据中处于锁定状态的点云数据和处于未锁定状态的点云数据进行显示区分,避免了用户在与扫描控制界面的交互过程中误点击处于锁定状态的点云数据。
在其中一些实施例中,上述根据该第一标记点数据、该第一三维扫描数据、该第二标记点数据和该第二三维扫描数据生成目标三维扫描模型还包括如下步骤:
步骤S231,根据该第一标记点数据和该第二标记点数据,获取第二标记点与第一标记点之间的位姿关系。
在本步骤中,获取第一标记点和第二标记点之间的位姿关系,可以使用数据采集设备同时获取所述第一标记点数据和所述第二标记点数据,根据获取到的第一标记点数据和第二标记点数据计算得出第一标记点和第二标记点之间的位姿关系。
在另一种实施方式中,也可以直接采用步骤S210中获取的第一标记点数据和之后使用数据采集设备获取的第二标记点数据计算第一标记点和第二标记点之间的位姿关系。
步骤S232,根据该位姿关系确定第二三维扫描数据中的目标补齐数据。
其中,获得第一标记点与第二标记点之间的位姿关系;该位姿关系可以通过转换矩阵计算确定。然后由用户通过上述三维数据采集软件显示的扫描控制界面删除原先的第一标记点,并撤下原先布置在待扫描物体上的第一标记点,在只有第二标记点的情况下,使用数据采集设备获取之前被第一标记点遮挡部分的待扫描物体表面,获取第二三维扫描数据,并根据上述位姿关系确定该第二三维扫描数据中需要补齐至上述第一三维扫描数据中对应位置的目标补齐数据。
步骤S233,根据该第一三维扫描数据和该目标补齐数据生成该目标三维扫描模型。
具体地,将上述包含精确三维坐标的目标补齐数据添加至上述第一三维扫描数据,此时即可获得待扫描物体表面完整的细节特征,并最终生成上述目标三维扫描模型,有效提高了三维扫描的准确性。
在其中一些实施例中,上述第一标记点的尺度信息,与上述第二标记点的尺度信息不同;和/或,该第一标记点的类型,与该第二标记点的类型不同。进一步地,在实际应用中,也可以在上述待扫描物体表面的不同位置贴附尺寸、形状或种类均一致的第一标记点和第二标记点,但第二标记点的排布方式可以区别于第一标记点的排布方式。通过上述实施例,通过在待扫描物体上设置尺寸、形状或种类不同的两种标记点,避免了后续扫描第二标记点时误删除第二标记点,或者利用第二标记点补齐三维扫描模型上的孔洞时计算出错等现象,有效提高了三维扫描的准确性。
本实施例还提供了一种三维扫描的控制方法,应用于三维扫描系统,该三维扫描系统包括数据采集设备;图5是根据本申请实施例的一种三维扫描的控制方法的流程图,如图5所示,该流程包括如下步骤:
步骤S510,在待扫描物体上设置第一标记点,利用该数据采集设备扫描第二标记点得到第一标记点数据,以及扫描待扫描物体得到第一三维扫描数据。
步骤S520,在该待扫描物体上设置第二标记点,且该第二标记点的位置与该第一标记点不同;利用该数据采集设备扫描该第二标记点得到第二标记点数据。
步骤S530,去除该待扫描物体上设置的该第一标记点且保留该第二标记点,利用该数据采集设备扫描该待扫描物体得到第二三维扫描数据,并根据该第一标记点数据、该第一三维扫描数据、该第二标记点数据和该第二三维扫描数据生成目标三维扫描模型。
通过上述步骤S510至步骤S530,通过数据采集设备扫描第一标记点得到第一标记点数据,扫描第二标记点得到用于定位的第二标记点数据,并在撤下第一标记点且保留第二标记点的情况下对待扫描物体上被第一标记点覆盖的部位表面进行扫描得到能够补齐孔洞的第二三维扫描数据,最终能够综合第一标记点数据、第一三维扫描模型、第二标记点数据和第二三维扫描数据生成目标三维扫描模型,从而无需通过算法等方式修复第一标记点覆盖待扫描物体表面所留下的孔洞即可获取待扫描物体表面的所有细节特征,避免了在扫描特征细节较多的物体时无法精确获取贴有标记点的物体部分表面数据的现象,可以大大提高生成的三维扫描模型的物体表面精细程度,解决了三维扫描的准确性低的问题,实现了精确、高效的三维扫描的控制方法。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种三维扫描系统,图6是根据本申请实施例的一种三维扫描系统的结构框图,如图6所示,该系统包括:主控设备62和数据采集设备102;其中,该主控设备62可以为单片机、主控芯片、计算机或服务器等用于控制三维扫描流程的硬件设备。进一步地,该服务器设备和该数据采集设备102之间可以通过传输设备进行数据传输;或者,该主控设备62可以集成在该数据采集设备102上。
上述主控设备62,用于利用该数据采集设备102获取第一标记点的第一标记点数据和待扫描物体的第一三维扫描数据;其中,该第一标记点被布置在该待扫描物体上;该主控设备62还用于利用该数据采集设备102获取第二标记点的第二标记点数据;其中,该第二标记点被布置在该待扫描物体上,且该第二标记点的安装位置与该第一标记点不同;该主控设备62还用于获取该数据采集设备102扫描去除该第一标记点,保留该第二标记点后的被扫描物体的第二三维扫描数据,根据该第一标记点数据、该第一三维扫描数据、该第二标记点数据和该第二三维扫描数据生成目标三维扫描模型。
通过上述实施例,主控设备62利用数据采集设备102扫描第一标记点得到第一标记点数据,扫描第二标记点得到用于定位的第二标记点数据,并在撤下第一标记点且保留第二标记点的情况下对待扫描物体上被第一标记点覆盖的部位表面进行扫描得到能够补齐孔洞的第二三维扫描数据,最终能够综合第一标记点数据、第一三维扫描数据、第二标记点数据和第二三维扫描数据生成目标三维扫描模型,从而无需再通过算法修复第一标记点覆盖待扫描物体表面所留下的孔洞即可获取待扫描物体表面的所有细节特征,避免了在扫描特征细节较多的物体时无法精确获取贴有标记点的物体部分表面数据的现象,可以大大提高生成的三维扫描模型的物体表面精细程度,解决了三维扫描的准确性低的问题,实现了精确、高效的三维扫描系统。
在其中一些实施例中,上述主控设备62还用于检测针对在扫描控制界面显示的该第一三维扫描数据的锁定指令;该主控设备62响应于该锁定指令,获取该第一三维扫描数据中对应于该锁定指令的锁定点云数据,并指示该扫描控制界面显示处于锁定状态下的该锁定点云数据;该主控设备62根据该锁定点云数据、该第二标记点数据和该第二三维扫描数据生成该目标三维扫描模型。
在其中一些实施例中,上述主控设备62还用于确定未锁定点云数据;其中,该未锁定点云数据是指该第一三维扫描数据中去除该锁定点云数据后剩余的点云数据;该主控设备62检测该扫描控制界面获取到的针对该未锁定点云数据的模型操作指令;该主控设备62响应于该模型操作指令,对该未锁定点云数据进行更新操作并生成更新三维扫描数据;该主控设备62根据该更新三维扫描数据、该锁定点云数据、该第二标记点数据和该第二三维扫描数据生成该目标三维扫描模型。
在其中一些实施例中,上述主控设备62还用于在检测到该锁定指令之前,控制该扫描控制界面以第一标志显示该第一三维扫描数据;和/或,该主控设备62响应于该锁定指令,控制该扫描控制界面以第二标志显示该第一三维扫描数据中的锁定点云数据。
在其中一些实施例中,上述主控设备62还用于根据该第一标记点数据和该第二标记点数据,获取该第一三维扫描数据与该第一标记点数据之间的位姿关系;该主控设备62根据该位姿关系确定该第二三维扫描数据中与该第一标记点相对应的目标补齐数据;该主控设备62根据该第一三维扫描数据和该目标补齐数据生成该目标三维扫描模型。
在其中一些实施例中,上述主控设备62还用于同时获取该第一标记点数据和该第二标记点数据,以获取该第一标记点和该第二标记点之间的位姿关系。
在其中一些实施例中,提供了一种计算机设备,该计算机设备可以是服务器设备,图7是根据本申请实施例的一种计算机设备内部的结构图,如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标三维扫描模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维扫描方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取第一标记点的第一标记点数据和待扫描物体的第一三维扫描数据;其中,该第一标记点设置在该待扫描物体上。
S2,获取第二标记点的第二标记点数据;其中,该第二标记点设置在该待扫描物体上,且该第二标记点的位置与该第一标记点不同。
S3,获取针对该待扫描物体的第二三维扫描数据,其中,该第二三维扫描数据为去除该待扫描物体上设置的该第一标记点,保留该第二标记点的情况下,对该待扫描物体进行扫描得到的数据。
S4,根据该第一标记点数据、该第一三维扫描数据、该第二标记点数据和该第二三维扫描数据生成目标三维扫描模型。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的三维扫描方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种三维扫描方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维扫描方法,其特征在于,所述方法包括:
获取第一标记点的第一标记点数据和待扫描物体的第一三维扫描数据;其中,所述第一标记点设置在所述待扫描物体上;
获取第二标记点的第二标记点数据;其中,所述第二标记点设置在所述待扫描物体上,且所述第二标记点的位置与所述第一标记点不同;
获取针对所述待扫描物体的第二三维扫描数据,其中,所述第二三维扫描数据为去除所述待扫描物体上设置的所述第一标记点,保留所述第二标记点的情况下,对所述待扫描物体进行扫描得到的数据;
根据所述第一标记点数据、所述第一三维扫描数据、所述第二标记点数据和所述第二三维扫描数据生成目标三维扫描模型,包括:
根据所述第一标记点数据和所述第二标记点数据,获取所述第一标记点和第二标记点之间的位姿关系;根据所述位姿关系确定所述第二三维扫描数据中与所述第一标记点相对应的目标补齐数据;根据所述第一三维扫描数据和所述目标补齐数据生成所述目标三维扫描模型。
2.根据权利要求1所述的三维扫描方法,其特征在于,所述方法还包括:
检测针对在扫描控制界面显示的所述第一三维扫描数据的锁定指令;
响应于所述锁定指令,获取所述第一三维扫描数据中对应于所述锁定指令的锁定点云数据,并指示所述扫描控制界面显示处于锁定状态下的所述锁定点云数据;
根据所述锁定点云数据、所述第二标记点数据和所述第二三维扫描数据生成所述目标三维扫描模型。
3.根据权利要求2所述的三维扫描方法,其特征在于,所述获取所述第一三维扫描数据中对应于所述锁定指令的锁定点云数据之后,所述方法还包括:
确定未锁定点云数据;其中,所述未锁定点云数据是指所述第一三维扫描数据中去除所述锁定点云数据后剩余的点云数据;
检测所述扫描控制界面获取到的针对所述未锁定点云数据的模型操作指令;
响应于所述模型操作指令,对所述未锁定点云数据进行更新操作并生成更新三维扫描数据;
根据所述更新三维扫描数据、所述锁定点云数据、所述第二标记点数据和所述第二三维扫描数据生成所述目标三维扫描模型。
4.根据权利要求2所述的三维扫描方法,其特征在于,所述方法还包括:
在检测到所述锁定指令之前,控制所述扫描控制界面以第一标志显示所述第一三维扫描数据;和/或,
响应于所述锁定指令,控制所述扫描控制界面以第二标志显示所述第一三维扫描数据中的所述锁定点云数据。
5.根据权利要求1所述的三维扫描方法,其特征在于,所述根据所述第一标记点数据和所述第二标记点数据,获取所述第一标记点和第二标记点之间的位姿关系,还包括:
同时获取所述第一标记点数据和所述第二标记点数据,以获取所述第一标记点和第二标记点之间的位姿关系。
6.根据权利要求1所述的三维扫描方法,其特征在于,所述第二标记点数据与所述第一标记点数据之间的位姿关系固定。
7.根据权利要求1至权利要求6任一项所述的三维扫描方法,其特征在于,所述第一标记点的尺度信息,与所述第二标记点的尺度信息不同;和/或,
所述第一标记点的类型,与所述第二标记点的类型不同。
8.一种三维扫描的控制方法,其特征在于,应用于三维扫描系统,所述系统包括数据采集设备;所述方法包括:
在待扫描物体上设置第一标记点,利用所述数据采集设备扫描第二标记点得到第一标记点数据,以及扫描待扫描物体得到第一三维扫描数据;
在所述待扫描物体上设置第二标记点,且所述第二标记点的位置与所述第一标记点不同;利用所述数据采集设备扫描所述第二标记点得到第二标记点数据;
去除所述待扫描物体上设置的所述第一标记点且保留所述第二标记点,利用所述数据采集设备扫描所述待扫描物体得到第二三维扫描数据,并根据所述第一标记点数据、所述第一三维扫描数据、所述第二标记点数据和所述第二三维扫描数据生成目标三维扫描模型,包括:
根据所述第一标记点数据和所述第二标记点数据,获取所述第一标记点和第二标记点之间的位姿关系;根据所述位姿关系确定所述第二三维扫描数据中与所述第一标记点相对应的目标补齐数据;根据所述第一三维扫描数据和所述目标补齐数据生成所述目标三维扫描模型。
9.一种三维扫描系统,其特征在于,应用于如权利要求1至权利要求7中任一项所述的三维扫描方法,以及如权利要求8所述的三维扫描的控制方法,所述系统包括:主控设备和数据采集设备;
所述主控设备,用于利用所述数据采集设备获取第一标记点的第一标记点数据和待扫描物体的第一三维扫描数据,其中,所述第一标记点被布置在所述待扫描物体上;
所述主控设备还用于利用所述数据采集设备获取第二标记点的第二标记点数据;其中,所述第二标记点被布置在所述待扫描物体上,且所述第二标记点的安装位置与所述第一标记点不同;
所述主控设备还用于获取所述数据采集设备扫描去除所述第一标记点,保留所述第二标记点后的被扫描物体的第二三维扫描数据,根据所述第一标记点数据、所述第一三维扫描数据、所述第二标记点数据和所述第二三维扫描数据生成目标三维扫描模型。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求7中任一项所述的三维扫描方法,和/或权利要求8所述的三维扫描的控制方法。
CN202211600674.6A 2022-12-14 2022-12-14 三维扫描方法、三维扫描的控制方法、系统和电子装置 Active CN115661369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211600674.6A CN115661369B (zh) 2022-12-14 2022-12-14 三维扫描方法、三维扫描的控制方法、系统和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211600674.6A CN115661369B (zh) 2022-12-14 2022-12-14 三维扫描方法、三维扫描的控制方法、系统和电子装置

Publications (2)

Publication Number Publication Date
CN115661369A CN115661369A (zh) 2023-01-31
CN115661369B true CN115661369B (zh) 2023-03-14

Family

ID=85022631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211600674.6A Active CN115661369B (zh) 2022-12-14 2022-12-14 三维扫描方法、三维扫描的控制方法、系统和电子装置

Country Status (1)

Country Link
CN (1) CN115661369B (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150097935A1 (en) * 2013-10-09 2015-04-09 United Sciences, Llc Integrated tracking with world modeling
WO2019045713A1 (en) * 2017-08-31 2019-03-07 Sony Mobile Communications Inc. METHODS OF GUIDING A USER WHEN REALIZING THREE-DIMENSIONAL SCAN AND ASSOCIATED MOBILE DEVICES AND COMPUTER PROGRAM PRODUCTS
CN109000582B (zh) * 2018-03-15 2021-07-02 杭州思看科技有限公司 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备
CN113514008B (zh) * 2020-04-10 2022-08-23 杭州思看科技有限公司 三维扫描方法、三维扫描系统和计算机可读存储介质
CN111879235A (zh) * 2020-06-22 2020-11-03 杭州思看科技有限公司 弯管的三维扫描检测方法、三维扫描系统和计算机设备
CN112964196B (zh) * 2021-02-05 2023-01-03 杭州思锐迪科技有限公司 三维扫描方法、系统、电子装置和计算机设备
CN113074659B (zh) * 2021-03-24 2023-03-31 思看科技(杭州)股份有限公司 三维扫描方法、装置、系统、电子装置和存储介质
CN113137938B (zh) * 2021-04-13 2023-04-25 思看科技(杭州)股份有限公司 三维扫描系统、方法、计算机设备和存储介质
CN113310427B (zh) * 2021-05-18 2023-03-07 思看科技(杭州)股份有限公司 三维扫描系统和三维扫描方法
CN113340234B (zh) * 2021-06-30 2022-12-27 杭州思锐迪科技有限公司 适配器、三维扫描系统、数据处理方法和数据处理系统
CN113934389A (zh) * 2021-09-10 2022-01-14 杭州思看科技有限公司 三维扫描处理方法、系统、处理设备和存储介质
CN113890955A (zh) * 2021-12-08 2022-01-04 天远三维(天津)科技有限公司 一种多套拍照式扫描仪的扫描方法、装置和系统
CN115325959B (zh) * 2022-10-13 2023-03-07 思看科技(杭州)股份有限公司 一种三维扫描系统及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Yang BS等.Extracting buildings from airborne laser scanning point clouds using a marked point process.2014,全文. *
李雄兵 ; 周晓军 ; 吴思源 ; 李凌 ; .超声C扫描图像缺陷标记及边缘跟踪的研究.2006,(06),全文. *
王荣华 ; 张华 ; 徐锋 ; .一种快速多视拼接方法研究.2015,(09),全文. *
王荣华.基于标记点拼接的误差分析与控制研究.2016,全文. *
顾宗华等.便携式自跟踪CMM三维扫描仪.2018,全文. *

Also Published As

Publication number Publication date
CN115661369A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN109726647B (zh) 点云的标注方法、装置、计算机设备和存储介质
CN109389665B (zh) 三维模型的纹理获取方法、装置、设备和存储介质
CN109740487B (zh) 点云标注方法、装置、计算机设备和存储介质
WO2023030163A1 (zh) 三维模型纹理贴图的转换方法、装置、设备以及介质
CN116129020A (zh) 一种新型实景三维建模方法
CN110619807B (zh) 生成全局热力图的方法和装置
CN106611056B (zh) 三维仿真地图的切图方法及装置
CN112288878B (zh) 增强现实预览方法及预览装置、电子设备及存储介质
CN110378174A (zh) 道路线提取方法和装置
JP6110780B2 (ja) 付加情報表示システム
CN114494388A (zh) 一种大视场环境下图像三维重建方法、装置、设备及介质
US20240062422A1 (en) Camera calibration method and apparatus, computer device, storage medium, and program product
CN115661369B (zh) 三维扫描方法、三维扫描的控制方法、系统和电子装置
JP3798922B2 (ja) 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
CN116863085B (zh) 一种三维重建系统、三维重建方法、电子设备及存储介质
CN113269728A (zh) 视觉巡边方法、设备、可读存储介质及程序产品
CN110047035B (zh) 全景视频热点交互系统及交互设备
CN116817787A (zh) 三维扫描方法、三维扫描系统和电子装置
JPH11351865A (ja) 画像計測処理方法並びに装置及び画像計測処理プログラムを記録した記録媒体
CN113593026B (zh) 车道线标注辅助地图生成方法、装置和计算机设备
CN111275812B (zh) 一种数据展示方法、装置及电子设备
CN114882194A (zh) 房间点云数据的处理方法和装置、电子设备和存储介质
CN108961388B (zh) 微观结构三维建模方法、装置、设备和计算机存储介质
JP6575221B2 (ja) 表示制御方法、情報処理装置及び表示制御プログラム
CN117435292B (zh) 用于遥感解译的可视化方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant