CN112802002B - 物体表面数据侦测方法、系统、电子装置和存储介质 - Google Patents
物体表面数据侦测方法、系统、电子装置和存储介质 Download PDFInfo
- Publication number
- CN112802002B CN112802002B CN202110170149.4A CN202110170149A CN112802002B CN 112802002 B CN112802002 B CN 112802002B CN 202110170149 A CN202110170149 A CN 202110170149A CN 112802002 B CN112802002 B CN 112802002B
- Authority
- CN
- China
- Prior art keywords
- scanning
- detection
- data
- tracking
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/71—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information
- G06F21/73—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information by creating or determining hardware identification, e.g. serial numbers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请涉及一种物体表面数据侦测方法、系统、电子装置和存储介质,其中,该物体表面数据侦测方法,应用于包括侦测辅助设备和扫描设备的三维扫描系统中,包括:获取针对该侦测辅助设备建立的统一坐标系;其中,该侦测辅助设备为至少两个;分别获取该扫描设备扫描物体表面的第一扫描数据,以及该侦测辅助设备跟踪该扫描设备的跟踪结果;综合计算该跟踪结果、该第一扫描数据以及该统一坐标系,得到物体表面数据侦测结果。通过本申请,提高了侦测物体表面的效率,解决了物体表面数据侦测的准确性低的问题,实现了高效率高精度的物体表面数据侦测。
Description
技术领域
本申请涉及视觉测量技术领域,特别是涉及物体表面数据侦测方法、系统、电子装置和存储介质。
背景技术
物体表面数据的侦测技术在零部件尺寸及位置测量、机器人导引、工业设计、瑕疵检测、逆向工程等领域都有广泛的应用,主要是对物体空间外形和结构及色彩进行扫描,以获得物体表面的空间坐标。在相关技术中,通常使用跟踪式扫描仪进行侦测物体表面数据,跟踪式扫描仪包括跟踪设备和扫描设备,跟踪设备用于定位扫描仪的位置,扫描设备用于进行物体表面数据侦测,因此扫描范围只是局限于跟踪设备可跟踪到的视野范围内,遇到更大的被测物体时无法扫描,扫描效率低下,且扫描精度也会受跟踪设备的限制,导致物体表面数据侦测的准确性较低。
目前针对相关技术中物体表面数据侦测的效率较低且准确性低的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种物体表面数据侦测方法、系统、电子装置和存储介质,以至少解决相关技术中物体表面数据侦测的准确性低的问题。
第一方面,本申请实施例提供了一种物体表面数据侦测方法,应用于包括侦测辅助设备和扫描设备的三维扫描系统中,所述方法包括:
获取针对所述侦测辅助设备建立的统一坐标系;其中,所述侦测辅助设备为至少两个;
分别获取所述扫描设备扫描物体表面的第一扫描数据,以及所述侦测辅助设备跟踪所述扫描设备的跟踪结果;
综合计算所述跟踪结果、所述第一扫描数据以及所述统一坐标系,得到物体表面侦测结果。
在一个实施例中,所述综合计算所述跟踪结果、所述第一扫描数据以及所述统一坐标系,得到物体表面侦测结果包括:
在所述跟踪结果指示已跟踪设备的数量为至少两个的情况下,基于预设选取策略,选取所有所述已跟踪设备中的最优设备;其中,所述已跟踪设备是指成功跟踪到所述扫描设备的所述侦测辅助设备;
将所述第一扫描数据转换到所述最优设备的跟踪坐标系下得到第二扫描数据,并将所述第二扫描数据转换到所述统一坐标系下,得到所述物体表面侦测结果。
在一个实施例中,所述预设选取策略包括以下至少之一:基于距离策略、基于拼接精度策略、基于标记点数量策略。
在一个实施例中,所述在所述跟踪结果指示已跟踪设备的数量为至少两个的情况下,所述方法还包括:
根据每个所述已跟踪设备的定位精度和定位状态,获取与每个所述已跟踪设备对应的权重值;
将所述第一扫描数据转换到每个所述已跟踪设备的跟踪坐标系下,获取所述已跟踪设备对应的帧扫描数据;
基于所述权重值,对所有所述帧扫描数据进行融合处理,得到融合后的所述第二扫描数据,进而得到所述物体表面侦测结果。
在一个实施例中,所述综合计算所述跟踪结果、所述第一扫描数据以及所述统一坐标系,得到物体表面侦测结果括:
在所述跟踪结果指示已跟踪设备的数量为一个的情况下,将所述第一扫描数据转换到所述已跟踪设备的跟踪坐标系下得到第二扫描数据,并将所述第二扫描数据转换到所述统一坐标系下,得到所述物体表面侦测结果。
在一个实施例中获取所述侦测辅助设备跟踪所述扫描设备的跟踪结果包括:
在所述跟踪结果指示已跟踪设备的数量为零,且所述侦测辅助设备为双目跟踪设备的情况下,将所述双目跟踪拆分后得到的单目相机进行组合,进而利用所述单目相机重新获取所述跟踪结果。
在一个实施例中,所述获取针对所述侦测辅助设备建立的统一坐标系包括:
基于已知三维数据的背景标定点为每个所述侦测辅助设备建立统一坐标系;或者,从所有所述侦测辅助设备选取一个侦测辅助设备作为统一侦测设备,并基于所述统一侦测设备建立所述统一坐标系;或者,基于定位设备为所述每个侦测辅助设备建立统一坐标系。
在一个实施例中,所述基于定位设备为所述每个侦测辅助设备建立统一坐标系包括:
基于所述定位设备,跟踪定位标识符的第一位置,根据所述第一位置跟踪所述侦测辅助设备的第二位置,并根据所述第二位置建立所述统一坐标系;其中,所述定位标识符,设置在所述侦测辅助设备上,用于配合所述定位设备使用。
第二方面,本申请实施例提供了一种物体表面数据侦测方法,所述方法包括:
获取针对侦测辅助设备建立的统一坐标系;其中,所述侦测辅助设备为至少两个;
分别获取扫描设备扫描物体表面的第一扫描数据,以及所述侦测辅助设备同时跟踪所述扫描设备的所述跟踪结果;其中,所述扫描设备为至少两个,且所有所述第一扫描数据均和所述扫描设备相对应;
综合计算所述跟踪结果、至少两个所述扫描设备获得的第一扫描数据、以及所述统一坐标系,得到物体表面数据侦测结果。
在一个实施例中,获取所述侦测辅助设备同时跟踪所述扫描设备的跟踪结果包括:
获取每个所述扫描设备分配的扫描区域,进而获取每个所述扫描设备配置到的侦测辅助设备,其中,每个所述扫描设备所配置的侦测辅助设备的数量取决于所分配的扫描区域;
通过所述配置的侦测辅助设备跟踪扫描设备,得到所述跟踪结果。
在一个实施例中,所述综合计算所述跟踪结果、至少两个所述扫描设备获得的第一扫描数据、以及所述统一坐标系,得到物体表面数据侦测结果包括:
利用所有所述扫描设备对应的唯一序列号,对每个所述扫描设备扫描获得的所述第一扫描数据进行区分;
根据所述跟踪结果,识别得到每个所述侦测辅助设备跟踪到的扫描设备;
根据识别的结果,将所述侦测辅助设备与区分后的所述第一扫描数据相匹配,并基于匹配的结果,结合所述统一坐标系得到所述物体表面数据侦测结果。
第三方面,本申请实施例提供了一种物体表面数据侦测系统,所述系统包括:扫描设备、侦测辅助设备和控制装置;
所述控制装置获取针对侦测辅助设备建立的统一坐标系;其中,所述侦测辅助设备为至少两个;
所述控制装置分别获取所述扫描设备扫描物体表面的第一扫描数据,以及所述侦测辅助设备跟踪所述扫描设备的跟踪结果;
所述控制装置综合计算所述跟踪结果、所述第一扫描数据以及所述统一坐标系,得到物体表面数据侦测结果。
在一个实施例中,所述控制装置包括第一服务器和第二服务器;
所述第一服务器,分别连接所述侦测辅助设备,用于通过所述侦测辅助设备实时跟踪所述扫描设备,得到所述跟踪结果;
所述第二服务器,通过网络分别连接所述第一服务器,用于分别获取所述第一扫描数据、所述跟踪结果,进而得到所述物体表面数据侦测结果。
第四方面,本申请实施例提供了一种物体表面数据侦测系统,其特征在于,所述系统包括:扫描设备、侦测辅助设备和控制装置;
所述控制装置获取针对所述侦测辅助设备建立的统一坐标系;其中,所述侦测辅助设备为至少两个;
所述控制装置分别获取所述扫描设备扫描物体表面的第一扫描数据,以及所述侦测辅助设备同时跟踪所述扫描设备的跟踪结果;其中,所述扫描设备为至少两个,且所有所述第一扫描数据均和所述扫描设备相对应;
所述控制装置综合计算所述跟踪结果、至少两个所述扫描设备获得的第一扫描数据、以及所述统一坐标系,得到物体表面数据侦测结果。
在一个实施例中,所述扫描设备和/或所述侦测辅助设备设置于可移动设备上;其中,所述可移动设备用于按照预先配置路径移动。
在一个实施例中,所述物体表面数据侦测系统还包括可穿戴设备;其中,所述可穿戴设备连接至少两个所述扫描设备;或者,所述可穿戴设备有至少两个,每个所述可穿戴设备连接所述扫描设备。
第五方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面和第二方面所述的物体表面数据侦测方法。
第六方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面和第二方面所述的物体表面数据侦测方法。
相比于相关技术,本申请实施例提供的物体表面数据侦测方法、系统、电子装置和存储介质,应用于包括侦测辅助设备和扫描设备的三维扫描系统中,通过获取针对该侦测辅助设备建立的统一坐标系;其中,该侦测辅助设备为至少两个;分别获取该扫描设备扫描物体表面的第一扫描数据,以及该侦测辅助设备跟踪该扫描设备的跟踪结果;综合计算该跟踪结果、该第一扫描数据以及该统一坐标系,得到物体表面数据侦测结果,提高了侦测物体表面的效率,解决了物体表面数据侦测的准确性低的问题,实现了高效率高精度的物体表面数据侦测。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种物体表面数据侦测方法的流程图;
图2是根据本申请实施例的一种物体表面数据侦测架构的示意图;
图3是根据本申请实施例的另一种物体表面数据侦测方法的流程图;
图4是根据本申请实施例的另一种物体表面数据侦测架构的示意图;
图5是根据本申请实施例的一种物体表面数据侦测系统的结构框图;
图6是根据本申请实施例的一种物体表面数据侦测系统的应用场景的示意图;
图7是根据本申请实施例的另一种物体表面数据侦测系统的应用场景的示意图;
图8是根据本申请实施例的一种计算机设备内部的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例提供了一种物体表面数据侦测方法,应用于包括侦测辅助设备和扫描设备的三维扫描系统中,图1是根据本申请实施例的一种物体表面数据侦测方法的流程图,如图1所示,该流程包括如下步骤:
步骤S110,获取针对侦测辅助设备建立的统一坐标系;其中,该侦测辅助设备为至少两个。
需要说明的是,上述至少两个侦测辅助设备进行级联并且被应用在物体表面数据侦测方法中,各侦测辅助设备用于为扫描设备提供定位,该侦测辅助设备可以是双目相机、跟踪器或其他用于跟踪定位的设备;该定位设备用于给侦测辅助设备提供定位。各侦测辅助设备和该扫描设备可以为一体式设备,例如采用跟踪式扫描仪,则此时该跟踪式扫描仪上安装的各跟踪头即为侦测辅助设备。其中,上述统一坐标系可以由物体表面数据侦测前的标定过程建立;该统一坐标系,是指将所有侦测辅助设备的跟踪坐标系进行统一的坐标系。
步骤S120,分别获取该扫描设备扫描物体表面的第一扫描数据,以及该侦测辅助设备跟踪该扫描设备的跟踪结果。
各侦测辅助设备之间、以及各侦测辅助设备和扫描设备之间可以通过网络进行无线连接并通信,或者也可以通过USB等进行有线连接。具体地,在进行扫描的过程中,该扫描设备对物体表面进行扫描得到第一扫描数据,并且上述所有侦测辅助设备均用于跟踪扫描设备的位置。其中,各侦测辅助设备的布局方式与被测物体的形状、尺寸等相关,该布局方式的遵循原则是,当该扫描设备扫描被测物体时,确保每个侦测辅助设备都能跟踪到扫描设备的位置,可以理解的是,所有侦测辅助设备两两之间均有重叠的跟踪视野。上述扫描设备可以应用在可穿戴设备上,便于使用者携带。
步骤S130,综合计算该跟踪结果、该第一扫描数据以及该统一坐标系,得到物体表面侦测结果。
其中,上述跟踪结果是指各侦测辅助设备针对扫描设备的跟踪情况,例如,依次判断各侦测辅助设备是否定位到该扫描设备的位置信息,若判断检测到某个侦测辅助设备获取到该位置信息,则该跟踪结果指示该侦测辅助设备跟踪到了该扫描设备。
根据该跟踪结果,可以将上述第一扫描数据转换到跟踪定位了该扫描设备的侦测辅助设备的跟踪坐标系下,进而获取得到该侦测辅助设备的第二扫描数据。具体地,该侦测辅助设备可以在跟踪过程中获取到该扫描设备的位置信息;例如,可以在扫描设备上安装有用于侦测辅助设备识别的红外反光标记点,多个侦测辅助设备通过追踪扫描设备的反光标记点实时获取到扫描设备的当前位置,且各侦测辅助设备的自身位置可以预先获取,则通过该扫描设备的当前位置,以及该侦测辅助设备的自身位置能够得到该扫描设备和各侦测辅助设备之间的位置关系,并基于该位置关系将该扫描设备的第一扫描数据坐标转换到各侦测辅助设备的跟踪坐标系下,得到各跟踪坐标系下的第二扫描数据。需要说明的是,该第二扫描数据可以是当前时刻的帧数据。
在获取到各侦测辅助设备的第二扫描数据后,可以对各第二扫描数据进行融合等处理,或者是根据所有第二扫描数据的综合误差来评定并选择最优的第二扫描数据,最后将处理或筛选后的第一扫描数据转换到上述统一坐标系下,得到物体表面数据侦测结果。
在相关技术中,通常只针对单个跟踪设备进行扫描和物体表面数据侦测,导致扫描范围和扫描精度受限制,无法精确扫描大型的被测物体或场景;而本申请实施例通过上述步骤S110至步骤S130,通过针对每个侦测辅助设备建立统一坐标系,以及通过扫描设备得到该待扫描区域内的第一扫描数据,并通过侦测辅助设备实时跟踪扫描设备,进而将第一扫描数据转换到统一坐标系下,得到物体表面数据侦测结果,从而通过单个扫描设备和多个跟踪设备的级联实现了高效率高精度物体表面数据侦测,有效提高了物体表面数据侦测过程中扫描数据的精度,以及提高了侦测物体表面的效率,解决了物体表面数据侦测的效率较低且准确性低的问题。
在一个实施例中,上述步骤S130还包括如下步骤:
步骤S132,在该跟踪结果指示已跟踪设备的数量为至少两个的情况下,基于预设选取策略,选取所有该已跟踪设备中的最优设备;其中,该已跟踪设备是指成功跟踪到该扫描设备的该侦测辅助设备。
具体地,在跟踪结果指示多个侦测辅助设备同时跟踪定位到扫描设备时,将这个跟踪到扫描设备的侦测辅助设备视为已跟踪设备,此时可以基于预设选取策略,选取所有该侦测辅助设备中的最优设备。
其中,预设选取策略包括以下至少之一:基于距离策略、基于拼接精度策略、基于标记点数量策略。例如,该预设选取策略可以为基于距离策略,由于在双目测量中设备距离越近精度越高,所以在多个侦测辅助设备观测跟踪到扫描设备时可以选择与该扫描设备距离最近的侦测辅助设备为最优设备;或者,该预设选取策略也可以为基于拼接精度策略,各侦测辅助设备在跟踪扫描设备时会将扫描设备上的标记点进行拼接,并得到一个拼接精度,拼接精度越高则效果越好,因此可以选择拼接精度最高的侦测辅助设备为最优设备;或者,该预设选取策略还可以为基于标记点数量策略,由于各侦测辅助设备中跟踪到的扫描设备上的标记点数量越多,则理论稳定性和效果会越好,因此可以选取标记点数量最多的侦测辅助设备为最优设备;或者,由于各已跟踪设备均为双目跟踪设备,因此也可以拆分双目跟踪设备得到单目相机,组合可能的两个单目相机进行三维重建跟踪定位,得到精度最高的两个组合的单目相机作为最优设备。
步骤S134,将该第一扫描数据转换到该最优设备的跟踪坐标系下得到该第二扫描数据,并将该第二扫描数据转换到该统一坐标系下,得到该物体表面侦测结果。
其中,选取到所有侦测辅助设备中的最优设备后,得到该最优设备的第一扫描数据,以便后续针对该最优设备的第一扫描数据进行坐标转换。具体的,可以将上述扫描设备的第一扫描数据仅转换到该最优设备的跟踪坐标系下得到第二扫描数据,即将该最优设备作为当前用于跟踪扫描设备的侦测辅助设备,以确保在扫描过程中能够始终选取到精度最高的侦测辅助设备进行数据侦测;或者,也可以在该第一扫描数据转换到所有侦测辅助设备的跟踪坐标系下之后,获取该最优设备的第二扫描数据,最后基于该最优设备对应的与统一坐标系之间的变换关系,将所有最优的第二扫描数据都转换到统一坐标系下,得到统一坐标系下的物体表面侦测结果。
通过上述步骤S132至步骤S134,基于跟踪结果,通过预设选取策略选取到侦测辅助设备中的最优设备,并将该最优设备的第一扫描数据作为最优扫描数据,并对该最优设备的第一扫描数据进行坐标转换,避免了多侦测辅助设备级联时造成的扫描数据冗余且误差大,从而进一步提高了物体表面数据侦测的效率和准确性。
在一个实施例中,在跟踪结果指示已跟踪设备的数据为至少两个的情况下,该物体表面数据侦测方法还包括如下步骤:
步骤S122,根据每个该已跟踪设备的定位精度,为每个该已跟踪设备分配权重值;其中,该定位精度是指该已跟踪设备对该扫描设备进行跟踪定位的精度。
具体地,当跟踪结果指示有多个侦测辅助设备同时跟踪定位到扫描设备时,可以根据各已跟踪设备的定位精度,为每个已跟踪设备分配相应的权重值。需要说明的是,该定位精度是指各已跟踪设备对该扫描设备进行跟踪定位时获取到的跟踪数据的精度;该已跟踪设备的定位精度,可以基于上述扫描设备在该已跟踪设备的跟踪视野范围内的位置等信息确定。
例如,上述权重值可以根据该扫描设备在该已跟踪设备的跟踪视野范围内的位置确定,即检测到该扫描设备位于该跟踪视野范围的边缘区域的已跟踪设备所分配的权重值相对较低,而检测到该扫描位置位于中心区域的已跟踪设备的权重值相对较高。或者,也可以根据各已跟踪设备跟踪到的扫描设备上的标记点数量、标记点亮度质量以及标记点角度质量确定权重值,由于标记点数量越多已跟踪设备的稳定性和精度会越好,且在标记点亮度合适和角度合适情况下,标记点识别的精度会越好,因此可以设置标记点数量多、标记点亮度和角度适宜的已跟踪设备的权重值相对较高。或者,也可以拆分双目跟踪设备得到单目相机,组合可能的两个单目相机进行三维重建跟踪定位,其中可以基于两个单目相机之间的距离作为判断依据,由于距离越大则理论上组合的单目相机精度越高,因此可以根据距离确定该权重值。
步骤S124,将该第一扫描数据转换到每个该已跟踪设备的跟踪坐标系下,获取该已跟踪设备对应的帧扫描数据。
其中,在当前确定到上述已跟踪设备后,可以将扫描设备获取到的第一扫描数据各自转换到所有已跟踪设备各自的跟踪坐标系下。需要说明的是,上述帧扫描数据是指跟踪坐标系下当前帧的扫描数据;由于所有侦测辅助设备是否可以跟踪到扫描设备的跟踪结果是实时获取的,且各侦测辅助设备在扫描过程中针对扫描设备的跟踪状态时随时会发生变化的,因此可以基于上述跟踪结果,仅获取到当前帧的已跟踪设备的帧扫描数据进行拼接、融合,从而避免当前确定的已跟踪设备跟踪状态突变导致物体表面数据侦测结果出错。
步骤S126,基于该权重值,对所有该帧扫描数据进行融合处理,得到融合后的该第二扫描数据,进而得到该物体表面侦测结果。
具体地,通过上述步骤S122可以获取到每个侦测辅助设备对应的权重值,则利用各权重值,对各侦测辅助设备的帧扫描数据进行加权平均等处理,如公
式1所示:
其中,Date1表示第一扫描数据;W0、W1、……、Wn表示各侦测辅助设备,即侦测辅助设备0至侦测辅助设备n对应的权重值;F0、F1、……、Fn表示侦测辅助设备0至侦测辅助设备n对应的帧扫描数据;n为正整数。基于上述公式1的加权计算,最终可以融合各帧扫描数据得到第二扫描数据。
通过上述步骤S122至步骤S126,在有多个已跟踪设备跟踪定位到扫描设备时,针对每个已跟踪设备确定权重值,从而基于该权重值,利用加权平均等算法对所有已跟踪设备的跟踪坐标系下的扫描数据进行融合处理,实现了能够平均误差的数据融合方式,有效提高了物体表面数据侦测的准确性。
在一个实施例中,上述步骤S130还包括如下步骤:在该跟踪结果指示已跟踪设备的数量为一个的情况下,将该第一扫描数据转换到该已跟踪设备的跟踪坐标系下得到该第一扫描数据。
其中,若当前仅有一个侦测辅助设备跟踪定位到扫描设备,则可以选择这一唯一侦测辅助设备作为该已跟踪设备,并将扫描设备的第一扫描数据转换到该已跟踪设备的跟踪坐标系下,以便后续将该跟踪坐标系下的第二扫描数据转换到统一坐标系下,最终得到物体表面数据侦测结果。从而基于上述唯一的已跟踪设备进行坐标转换,避免了对所有侦测辅助设备进行数据处理而产生的冗余计算,有效提高了物体表面数据侦测方法的效率。
在一个实施例中,上述获取该侦测辅助设备跟踪该扫描设备的跟踪结果还包括如下步骤:在该跟踪结果指示已跟踪设备的数量为零,且每个该侦测辅助设备中有至多一个单目相机跟踪到该扫描设备的情况下则将每个该单目相机进行组合,重新获取该跟踪结果。
具体地,上述侦测辅助设备均为双目相机设备,且存在在跟踪定位过程中所有双目相机设备上的两台相机中均至少有一台相机未拍摄到扫描设备的情况,则此时可以对各双目相机进行拆分,得到单目相机,并对所有单目相机两两之间进行组合,通过组合后的单目相机进行三维重建跟踪定位扫描设备。需要说明的是,上述组合的方法可以为:在执行上述步骤S102建立统一坐标系的过程中对所有侦测辅助设备进行了标定,并获取到了每个侦测辅助设备的位置信息,则可以依据该位置信息,从所有单目相机中依次选择距离较近的两个单目相机进行两两组合。由于双目相机的视野小于单目相机的视野,因此通过上述拆分双目跟踪设备并对单目相机进行组合的方式,能够避免双目相机跟踪视野过小导致存在视野盲区进而对扫描设备跟踪定位失败的情况发生,有效提高了物体表面数据侦测方法的容错率。
通过上述实施例,扩展了已跟踪设备数量为一个或零个的情况,并且针对不同情况相应提供了不同的物体表面数据侦测方法,使得侦测辅助设备在不同跟踪情况下能够自适应执行对应的处理方案,增加了物体表面数据侦测的多样化功能。
在一个实施例中,上述步骤S110还包括如下步骤:基于已知三维数据的背景标定点为每个该侦测辅助设备建立统一坐标系;或者,从所有该侦测辅助设备选取一个侦测辅助设备作为统一侦测设备,并基于该统一侦测设备建立该统一坐标系;或者,基于定位设备为该每个侦测辅助设备建立统一坐标系。
具体地,以基于背景标定点建立统一坐标系为例,上述背景标定点可以是通过摄影测量设备、激光跟踪仪或者其他高精度的用于全局定位的设备测量得到。基于背景标定点建立统一坐标系,无需标定各个侦测辅助设备之间的转换关系,所有跟侦测辅助设备得到的跟踪数据都融合到基于背景标定点建立的统一坐标系中,并且扫描过程中侦测辅助设备可动态移动以实时跟踪背景标定点。
其中,该背景标定点可以贴在物体上面,也可以在物体周围安装上工装,以在工装上贴标记点等用作标记的符号作为标识符。当背景标定点布置完成后,用上述摄影测量设备等设备可以拍摄得到这些背景标定点的第一坐标;同时,上述背景标定点也可以用作各侦测辅助设备的标记点。则每个侦测辅助设备可以实时跟踪背景标定点得到跟踪坐标系下的第二坐标,进而基于该第一坐标和该第二坐标计算得到从各跟踪坐标系转换到统一坐标系的变换关系,最终建立统一坐标系。通过上述实施例,通过将摄影测量设备作为定位设备获取背景标定点,并基于该背景标定点建立统一坐标系,从而通过同一类的标记点即可实现多个侦测辅助设备的跟踪坐标系到统一坐标系的坐标统一转换,且上述同类的背景标定点可以结合实际情况进行现场部署,使得物体表面数据侦测系统部署更加简便、快速,同时也降低了使用成本。
或者,以基于统一侦测设备建立统一坐标系为例,从所有该侦测辅助设备选取一个统一侦测设备,并基于该统一侦测设备建立该统一坐标系。其中,上述统一侦测设备可以从各侦测辅助设备中随意筛选得到,并将该统一侦测设备的跟踪坐标系作为统一坐标系,使得其他侦测辅助设备各自的跟踪坐标系下的第一扫描数据均能够转换到该统一坐标系下,从而简化了坐标统一转换的步骤,减少了建立统一坐标系的计算量,有利于提高物体表面数据侦测的效率。
或者,以基于定位设备建立统一坐标系为例,可以根据标定物上的第一标识符和第二标识符,获取每个侦测辅助设备和定位设备之间的变换关系,进而基于该变换关系建立该统一坐标系;其中,该第一标识符配合该定位设备使用,该第二标识符配合该侦测辅助设备使用。需要说明的是,上述定位设备用于给侦测辅助设备提供定位,该定位设备可以是双目相机、光学追踪系统(Optical Tracking System,为简称OTS)、激光跟踪仪或其他用于全局定位的设备。
其中,上述第一标识符和第二标识符用于表示用于标记的不同属性的符号,即定位设备追踪第一标识符的位置,且每个侦测辅助设备均各自追踪第二标识符的位置。上述标定物可以是例如Charuco板等标定板,或者,该标定物也可以是其他带有标记点的物体及场景。以该标定物是刚性标定板为例,该刚性标定板上两类标记点的位置关系可以预先由全局的摄影测量设备测量得到,即通过摄影测量设备可以拍摄出第一标识符和第二标识符的位置,进而得到该第一标识符和该第二标识符之间的位置关系;或者也可以通过机械加工保证上述位置关系,即在制作刚性标定板的时候,加工人员就会按照预先设定的第一标识符和第二标识符之间的位置关系把该刚性标定板加工出来。通过上述两类标记点的位置关系,可以得到各侦测辅助设备和定位设备之间的变换关系,并基于该变换关系建立统一坐标系,最终可以将跟踪坐标系下的第一扫描数据统一转换到该全局坐标系下,也就是说,此时是将该定位设备的全局坐标系作为上述统一坐标系,以供上述所有第一扫描数据进行坐标统一。
例如,通过摄影测量设备或其他设备可以拍摄得到第一标识符和第二标识符之间的位置关系,或者也可以通过机械加工等方法保证该位置关系。由于该第一标识符和该第二标识符的安装位置不同,因此,可以根据该位置关系,将该第一标识符在全局坐标系下的第一坐标的位置,转换到与该第二标识符在跟踪坐标系下的第二坐标所处位置相同的位置点;或者,也可以根据该位置关系,将该第二坐标的位置转换到与该第一坐标的位置相同的位置点,以便统一该第一坐标和第二坐标的位置。其中,在将第一坐标和第二坐标转换到统一位置下之后,第一坐标和第二坐标之间的约束关系可以通过各自不同坐标系之间的转换关系确定,该约束关系可以通过公式2表示:
a=R×b+T 公式2
其中,表示在全局坐标系下的第一坐标的点集,b表示转换到同一位置的在跟踪坐标系下的第二坐标的点集,R表示三维的旋转(Rotation)矩阵,T表示一维的平移(Translation)向量。已知两个点集a和b之间存在上述公式1所示的约束关系,再通过奇异值分解等算法就可以计算得到变换关系RT,并基于该变换关系RT建立统一坐标系。
通过上述实施例,通过根据标定物上的两类标识符获取得到每个侦测辅助设备和定位设备之间的变换关系,有利于提高建立统一坐标系的准确性和效率,以便基于统一坐标系关系能够高效、精确地实现多个侦测辅助设备之间的坐标统一转换,进而侦测物体表面数据,从而进一步提高了物体表面数据侦测过程中扫描数据的精度和效率。
在一个实施例中,上述步骤S110还包括如下步骤:
基于该定位设备,跟踪定位标识符的第一位置,根据该第一位置跟踪该侦测辅助设备的第二位置,并根据该第二位置建立该统一坐标系;其中,该定位标识符,设置在该侦测辅助设备上,用于配合该定位设备使用。
具体地,可以将多个定位标识符分别安装在各侦测辅助设备上,通过上述定位设备跟踪该定位标识符的坐标,即第一位置;则该定位设备基于该第一位置可以跟踪到设置有该定位标识符的侦测辅助设备的第二位置以建立统一坐标系。其中,上述定位标识符可以采用激光靶球。通过上述实施例,通过在该侦测辅助设备上设置的定位标识符建立统一坐标系,可以简化物体表面数据侦测方法中建立统一坐标系的部署组件,从而更加适用于将侦测辅助设备设置在可移动设备上的方案,有效提高了物体表面数据侦测方法的便捷性。
下面结合实际应用场景对本申请的实施例进行详细说明,图2是根据本申请实施例的一种物体表面数据侦测架构的示意图,如图2所示,该架构中,可穿戴设备采用Airgo,Airgo分别连接扫描设备和第二服务器,且该第二服务器分别连接第一服务器和第三服务器;其中,该第一服务器分别连接侦测辅助设备1和侦测辅助设备2,该第三服务器分别连接侦测辅助设备3和侦测辅助设备4。在实际应用中,该第二服务器可以通过该第一服务器和第三服务器接收到的各侦测辅助设备的坐标系信息,并建立统一坐标系;然后在扫描过程中,该第一服务器分别接收到侦测辅助设备1、侦测辅助设备2对扫描设备的跟踪结果,并将各跟踪结果发送给该第二服务器;类似的,该第二服务器接收到第三服务器发送的侦测辅助设备3、侦测辅助设备4对应的跟踪结果;该第二服务器通过Airgo接收到扫描设备的第一扫描数据,基于上述跟踪结果,将将该第一扫描数据转换到各侦测辅助设备的跟踪坐标系下,得到第一扫描数据,并将该第一扫描数据转换到该统一坐标系下,得到第二扫描数据,最终得到物体表面数据侦测结果。
本实施例还提供了一种物体表面数据侦测方法,图3是根据本申请实施例的另一种物体表面数据侦测方法的流程图,如图3所示,该流程包括如下步骤:
步骤S310,获取针对侦测辅助设备建立的统一坐标系;其中,该侦测辅助设备为至少两个。
步骤S320,分别获取扫描设备扫描物体表面的第一扫描数据,以及该侦测辅助设备同时跟踪该扫描设备的跟踪结果;其中,该扫描设备为至少两个,且所有该第一扫描数据均和该扫描设备相对应。
各侦测辅助设备之间、各扫描设备之间、以及各侦测辅助设备和各扫描设备之间可以通过网络进行无线连接并通信,或者也可以通过USB等进行有线连接。其中,本申请实施例可以应用于使用多个扫描设备的实际场景下。具体地,上述每个扫描设备均可以同时对待扫描区域内的被测物体或被测场景进行扫描;且所有侦测辅助设备同时工作以跟踪各扫描设备。可以理解的是,各侦测辅助设备的布局方式可以设置为与被测物体的形状或尺寸相关,所有扫描设备可以划分该待扫描区域;并且,由于各侦测辅助设备之间在部署现场所处的位置、以及所侦测跟踪的视野均不相同,因此每个侦测辅助设备针对各扫描设备的跟踪结果也不相同。
步骤S330,综合计算该跟踪结果、至少两个该扫描设备获得的第一扫描数据、以及该统一坐标系,得到物体表面数据侦测结果。
其中,每个侦测辅助设备针对各扫描设备的跟踪结果可能不同,例如,侦测辅助设备1跟踪定位到扫描设备3,侦测辅助设备2跟踪定位到扫描设备1和扫描设备2;通过对上述各侦测辅助设备的跟踪结果的处理,将每个侦测辅助设备所定位到的扫描设备的第一扫描数据转换到相对应的跟踪坐标系下,得到第二扫描数据,最终将所有第二扫描数据统一坐标转换到统一坐标系下,得到物体表面数据侦测结果。
通过上述步骤S310至步骤S330,通过利用多个侦测辅助设备同时跟踪多个扫描设备,进而对所有扫描设备的第一扫描数据进行统一处理,从而实现了基于多个扫描设备和多个侦测辅助设备的物体表面数据侦测应用,进一步扩展了待扫描区域,以及扩展了侦测辅助设备的可跟踪视野,有效提高了物体表面数据侦测精度。
在一个实施例中,上述获取侦测辅助设备同时跟踪扫描设备的跟踪结果还包括如下步骤:
步骤S322,获取每个该扫描设备分配的扫描区域,进而获取每个该扫描设备配置到的侦测辅助设备,其中,每个该扫描设备所配置的侦测辅助设备的数量取决于所分配的扫描区域。
例如,扫描设备包括扫描设备1和扫描设备2,该扫描设备1针对物体表面进行扫描的扫描区域与该扫描2不同。侦测辅助设备包括侦测辅助设备1至侦测辅助设备4;将所有侦测辅助设备分成两类配置给个扫描设备,即扫描设备1被侦测辅助设备1和侦测辅助设备2跟踪,扫描设备2被侦测辅助设备3和侦测辅助设备4。
步骤S324,通过该配置的侦测辅助设备跟踪扫描设备,得到该跟踪结果。
例如,在执行上述步骤S322后,侦测辅助设备1和侦测辅助设备2仅跟踪扫描设备1的位置,侦测辅助设备3和侦测辅助设备4仅跟踪扫描设备2的位置,最终得到各侦测辅助设备各自的跟踪结果。则此时扫描设备1扫描获得的第一扫描数据会转换至侦测辅助设备1或侦测辅助设备2的跟踪坐标系中,最终转换至侦测辅助设备1至侦测辅助设备4的统一坐标系下,同理,扫描设备2扫描获得的数据会转换至侦测辅助设备3或侦测辅助设备4的跟踪坐标系中,最终也会转换至该统一坐标系下,实现数据融合。
通过上述步骤S322至步骤S324,将单个扫描设备,与至少两个侦测辅助设备之间构成一个级联单元,通过单个小的级联单元获取到各侦测辅助设备的跟踪坐标系下的第一扫描数据,最终再将多个级联单元各自得到的第一扫描数据坐标转换到统一坐标系下,从而基于单个级联单元实现了针对第一扫描数据统一坐标的快速、准确处理,有效提高了多个扫描设备和多个侦测辅助设备的应用场景下物体表面数据侦测方法的效率。
在一个实施例中,上述步骤S330还包括如下步骤:
步骤S332,利用所有该扫描设备对应的唯一序列号,对每个该扫描设备扫描获得的该第一扫描数据进行区分。
其中,各扫描设备均对应设置有唯一序列号,基于该唯一序列号,可以将各扫描设备与所有获取到的第一扫描数据相对应,例如,扫描设备1扫描到一段第一扫描数据即数据1,扫描设备2扫描到另一段第一扫描数据即数据2,服务器同时接收到上述数据1和上述数据2,且接收的各段数据均携带有各自的唯一序列号,则能够识别出数据1为扫描设备1获取到的第一扫描数据,数据2为扫描设备2获取到的第一扫描数据。
步骤S334,根据该跟踪结果,识别得到每个该侦测辅助设备跟踪到的扫描设备。
其中,每个侦测辅助设备针对各扫描设备的跟踪结果可能不同;例如,侦测辅助设备1跟踪定位到扫描设备2,侦测辅助设备2跟踪定位到扫描设备1。则基于对各侦测辅助设备的跟踪结果的解析处理,可以识别出每个侦测辅助设备所跟踪定位到的扫描设备。
步骤S336,根据识别的结果,将该侦测辅助设备与区分后的该第一扫描数据相匹配,并基于匹配的结果,结合该统一坐标系得到该物体表面数据侦测结果。
其中,得到上述识别结果后,将各侦测辅助设备和识别到扫描设备相对应,例如,识别结果是侦测辅助设备1跟踪定位到扫描设备2,侦测辅助设备2跟踪定位到扫描设备1,则将侦测辅助设备1与扫描设备2相对应,并将侦测辅助设备2与扫描设备1相对应。同时,通过上述步骤S332可以将所有扫描设备获得的第一扫描数据进行区别,进而得到各扫描设备的数据扫描结果,例如,扫描设备1获取到的第一扫描数据为数据1,扫描设备2获取到的第一扫描数据为数据2,则基于上述识别结果可以将侦测辅助设备1与扫描设备2的第一扫描数据,即数据2相匹配,并将侦测辅助设备2与数据1相匹配。匹配完成后,针对各侦测辅助设备所匹配到的第一扫描数据进行坐标转换,最终转换到统一坐标系下得到物体表面数据侦测结果。
通过上述步骤S332至步骤S336,基于扫描设备对应的唯一序列号将各侦测辅助设备与第一扫描数据相匹配,从而得到物体表面数据侦测结果,实现了针对多个扫描设备获取到的第一扫描数据的快速、精确区分,进一步提高了物体表面数据侦测方法的效率和准确性。
可以理解的是,上述步骤S310至步骤S330,以及上述步骤S322至步骤S324中,当然还可以用于实现上述实施例及优选实施方式,例如,在扫描设备1与侦测辅助设备1、侦测辅助设备2之间组成一个小的级联单元,在扫描设备2与侦测辅助设备3、侦测辅助设备4之间组成一个小的级联单元,在各自小的级联单元内,可以通过上述步骤S202至步骤S204获取到各侦测辅助设备的第一扫描数据;已经进行过说明的不再赘述。
下面结合实际应用场景对本申请的实施例进行详细说明,图4是根据本申请实施例的另一种物体表面数据侦测架构的示意图,如图4所示,该架构中,可穿戴设备采用Airgo1和Airgo2;Airgo1分别连接扫描设备1和第一服务器,且该第一服务器分别连接侦测辅助设备1、侦测辅助设备2、以及第二服务器;Airgo2分别连接扫描设备2和第三服务器,且该第三服务器分别连接侦测辅助设备3、侦测辅助设备4、以及第二服务器。在实际应用中,该第二服务器可以通过该第一服务器和第三服务器接收到的各侦测辅助设备的坐标系信息,并建立统一坐标系;然后在扫描过程中,该第一服务器分别接收到侦测辅助设备1、侦测辅助设备2对扫描设备的跟踪结果,并将各跟踪结果发送给该第二服务器;类似的,该第二服务器接收到第三服务器发送的侦测辅助设备3、侦测辅助设备4对应的跟踪结果;并且,该第二服务器还通过该第一服务器接收到的扫描设备1的第一扫描数据,以及通过该第三服务器接收到的扫描设备2的第一扫描数据.该第二服务器基于上述跟踪结果,将将该第一扫描数据转换到各侦测辅助设备的跟踪坐标系下,得到第一扫描数据,并将该第一扫描数据转换到该统一坐标系下,得到第二扫描数据,最终得到物体表面数据侦测结果。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种物体表面数据侦测系统,图5是根据本申请实施例的一种物体表面数据侦测系统的结构框图,如图5所示,该系统包括:扫描设备52、侦测辅助设备56和控制装置54。
该控制装置54获取针对侦测辅助设备56建立的统一坐标系;其中,该侦测辅助设备56为至少两个;该控制装置54分别获取该扫描设备52扫描物体表面的第一扫描数据,以及该侦测辅助设备56跟踪该扫描设备52的跟踪结果;该控制装置54综合计算该跟踪结果、至少两个该扫描设备获得的第一扫描数据、以及该统一坐标系,得到物体表面数据侦测结果。
通过上述实施例,控制装置54针对每个侦测辅助设备建立统一坐标系,通过扫描设备52得到该待扫描区域内的第一扫描数据,并通过侦测辅助设备56实时跟踪扫描设备,进而将第一扫描数据转换到统一坐标系下,得到物体表面数据侦测结果,从而通过单个扫描设备和多个跟踪设备的级联实现了高效率高精度物体表面数据侦测,有效提高了物体表面数据侦测过程中扫描数据的精度,以及提高了侦测物体表面的效率,解决了物体表面数据侦测的准确性低的问题。
在一个实施例中,该控制装置54包括第一服务器和第二服务器;该第一服务器,分别连接该侦测辅助设备56,用于通过该侦测辅助设备56实时跟踪该扫描设备52,得到该跟踪结果;该第二服务器,通过网络分别连接该扫描设备、该第一服务器,用于分别获取该第一扫描数据、该跟踪结果,进而得到该物体表面数据侦测结果;其中,该第二服务器还可以通过连接可穿戴设备连接该扫描设备52。
上述各服务器与各设备之间的其中两种连接方式请参阅图2和图4;基于不同的服务器对扫描数据进行坐标转换和融合处理,可以有效减少服务器之间的传输量,提高计算效率;并且,通过连接各侦测辅助设备56的服务器,使得各侦测辅助设备56的可移动范围扩大,从而扩大了侦测辅助设备56的跟踪区域。
本实施例还提供了一种物体表面数据侦测系统,该系统包括:扫描设备52、侦测辅助设备56和控制装置54。
该控制装置54获取针对侦测辅助设备56建立的统一坐标系;其中,该侦测辅助设备56为至少两个;该控制装置54分别获取该扫描设备52扫描物体表面的第一扫描数据,以及该侦测辅助设备56同时跟踪该扫描设备52的跟踪结果;其中,该扫描设备52为至少两个,且所有该第一扫描数据均和该扫描设备52相对应;该控制装置54综合计算该跟踪结果、至少两个该扫描设备52获得的第一扫描数据、以及该统一坐标系,得到物体表面数据侦测结果。
通过上述实施例,通过利用多个侦测辅助设备56同时跟踪多个扫描设备52,进而对所有扫描设备52的第一扫描数据进行统一处理,从而实现了基于多个扫描设备52和多个侦测辅助设备56的物体表面数据侦测应用,进一步扩展了待扫描区域,以及扩展了侦测辅助设备56的可跟踪视野,有效提高了物体表面数据侦测精度。
在一个实施例中,该扫描设备52和/或该侦测辅助设备56设置于可移动设备上;其中,该可移动设备用于按照预先配置路径移动。需要说明的是,可以有一个或多个该扫描设备52设置在该可移动设备上;类似地,也可以是有一个或多个该侦测辅助设备56设置在该可移动设备上。
其中,该侦测辅助设备56上设置第一标识符,该扫描设备52上设置第二标识符。以上述可移动设备采用自动导向车(Automated Guided Vehicle,简称为AGV)为例,图6是根据本申请实施例的一种物体表面数据侦测系统的应用场景的示意图,如图6所示,应用场景1放置有两辆AGV小车,左侧AGV小车61上安装有两个侦测辅助设备56,且每个侦测辅助设备56上均设置有第一标识符62,右侧AGV小车63上固定安装有机械部64,该机械部64上安装有单个扫描设备52,且该扫描设备52上设置有第二标识符65;该应用场景1还放置有定位设备66。在建立统一坐标系的过程中,该定位设备66通过各第一标识符62跟踪定位对应的侦测辅助设备56的位置,基于各侦测辅助设备56的位置,将各侦测辅助设备56的跟踪坐标系转换到该定位设备66的全局坐标系下,从而确定统一坐标系;然后在扫描过程中,该扫描设备52获取到第一扫描数据,各侦测辅助设备56通过该第二标识符65跟踪定位该扫描设备52的位置,基于该扫描设备52的位置将该第一扫描数据转换到各自的跟踪坐标系下,并最终转换到该统一坐标系下,实现所有第一扫描数据的坐标统一。
或者,该待扫描区域内设置背景标定点,该扫描设备52上设置该第二标识符。图7是根据本申请实施例的另一种物体表面数据侦测系统的应用场景的示意图,如图7所示,应用场景2放置有两辆AGV小车,左侧AGV小车61上安装有两个侦测辅助设备56,右侧AGV小车63上固定安装有机械部64,该机械部64上安装有单个扫描设备52,且该扫描设备52上设置有第二标识符65。应用场景2还分布有多个背景标定点71,该背景标定点71可以预先通过全局摄影测量等设备进行拍摄以确定坐标;则此时可以通过该背景标定点71确定统一坐标系。
通过上述实施例,通过在至少一个可移动设备上分别安装部署各侦测辅助设备56以及扫描设备52,使得在扫描过程中各侦测辅助设备56和扫描设备52均可以任意移动,从而实现了更加灵活简便的物体表面数据侦测方法,并且基于可移动设备实现了更大范围的扫描。
在一个实施例中,该物体表面数据侦测系统还包括可穿戴设备;其中,该可穿戴设备连接至少两个该扫描设备52;或者,该可穿戴设备有至少两个,每个该可穿戴设备连接该扫描设备52。各扫描设备52应用在可穿戴设备上的其中一个连接方式可以参阅图4。通过上述实施例,在物体表面数据侦测系统中增加可应用扫描设备52的可穿戴设备,从而便于使用者携带,提高了物体表面数据侦测的便捷性,同时也进一步扩展了扫描范围。
本实施例还提供了一种计算机设备,该计算机设备可以是服务器,图8是根据本申请实施例的一种计算机设备内部的结构图,如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储统一坐标系。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种物体表面数据侦测方法。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取针对该侦测辅助设备建立的统一坐标系;其中,该侦测辅助设备为至少两个。
S2,分别获取该扫描设备扫描物体表面的第一扫描数据,以及该侦测辅助设备跟踪该扫描设备的跟踪结果。
S3,综合计算该跟踪结果、该第一扫描数据以及该统一坐标系,得到物体表面侦测结果。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的物体表面数据侦测方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种物体表面数据侦测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (16)
1.一种物体表面数据侦测方法,应用于包括侦测辅助设备和扫描设备的三维扫描系统中,其特征在于,所述方法包括:
获取针对所述侦测辅助设备建立的统一坐标系;其中,所述侦测辅助设备为至少两个;
分别获取所述扫描设备扫描物体表面的第一扫描数据,以及所述侦测辅助设备跟踪所述扫描设备的跟踪结果;
综合计算所述跟踪结果、所述第一扫描数据以及所述统一坐标系,得到物体表面侦测结果,包括:
在所述跟踪结果指示已跟踪设备的数量为至少两个的情况下,根据每个所述已跟踪设备的定位精度,为每个所述已跟踪设备分配权重值;其中,所述定位精度是指所述已跟踪设备对所述扫描设备进行跟踪定位的精度;
将所述第一扫描数据转换到每个所述已跟踪设备的跟踪坐标系下,获取所述已跟踪设备对应的帧扫描数据;
基于所述权重值,对所有所述帧扫描数据进行融合处理,得到融合后的第二扫描数据,进而得到所述物体表面侦测结果。
2.根据权利要求1所述的物体表面数据侦测方法,其特征在于,在所述跟踪结果指示已跟踪设备的数量为至少两个的情况下,所述方法还包括:
基于预设选取策略,选取所有所述已跟踪设备中的最优设备;其中,所述已跟踪设备是指成功跟踪到所述扫描设备的所述侦测辅助设备;
将所述第一扫描数据转换到所述最优设备的跟踪坐标系下得到第二扫描数据,并将所述第二扫描数据转换到所述统一坐标系下,得到所述物体表面侦测结果。
3.根据权利要求2所述的物体表面数据侦测方法,其特征在于,所述预设选取策略包括以下至少之一:基于距离策略、基于拼接精度策略、基于标记点数量策略。
4.根据权利要求1所述的物体表面数据侦测方法,其特征在于,所述综合计算所述跟踪结果、所述第一扫描数据以及所述统一坐标系,得到物体表面侦测结果包括:
在所述跟踪结果指示已跟踪设备的数量为一个的情况下,将所述第一扫描数据转换到所述已跟踪设备的跟踪坐标系下得到第二扫描数据,并将所述第二扫描数据转换到所述统一坐标系下,得到所述物体表面侦测结果。
5.根据权利要求1所述的物体表面数据侦测方法,其特征在于,获取所述侦测辅助设备跟踪所述扫描设备的跟踪结果包括:
在所述跟踪结果指示已跟踪设备的数量为零,且每个所述侦测辅助设备中有至多一个单目相机跟踪到所述扫描设备的情况下,则将每个所述单目相机进行组合,重新获取所述跟踪结果。
6.根据权利要求1至5任一项所述的物体表面数据侦测方法,其特征在于,所述获取针对所述侦测辅助设备建立的统一坐标系包括:
基于已知三维数据的背景标定点为每个所述侦测辅助设备建立统一坐标系;或者,从所有所述侦测辅助设备选取一个侦测辅助设备作为统一侦测设备,并基于所述统一侦测设备建立所述统一坐标系;或者,基于定位设备为所述每个侦测辅助设备建立统一坐标系。
7.根据权利要求6所述的物体表面数据侦测方法,其特征在于,所述基于定位设备为所述每个侦测辅助设备建立统一坐标系包括:
基于所述定位设备,跟踪定位标识符的第一位置,根据所述第一位置跟踪所述侦测辅助设备的第二位置,并根据所述第二位置建立所述统一坐标系;其中,所述定位标识符,设置在所述侦测辅助设备上,用于配合所述定位设备使用。
8.一种物体表面数据侦测方法,其特征在于,所述方法包括:
获取针对侦测辅助设备建立的统一坐标系;其中,所述侦测辅助设备为至少两个;
分别获取扫描设备扫描物体表面的第一扫描数据,以及所述侦测辅助设备同时跟踪所述扫描设备的跟踪结果;其中,所述扫描设备为至少两个,且所有所述第一扫描数据均和所述扫描设备相对应;
综合计算所述跟踪结果、至少两个所述扫描设备获得的第一扫描数据、以及所述统一坐标系,得到物体表面数据侦测结果,包括:
利用所有所述扫描设备对应的唯一序列号,对每个所述扫描设备扫描获得的所述第一扫描数据进行区分;
根据所述跟踪结果,识别得到每个所述侦测辅助设备跟踪到的扫描设备;
根据识别的结果,将所述侦测辅助设备与区分后的所述第一扫描数据相匹配,并基于匹配的结果,结合所述统一坐标系得到所述物体表面数据侦测结果。
9.根据权利要求8所述的物体表面数据侦测方法,其特征在于,获取所述侦测辅助设备同时跟踪所述扫描设备的跟踪结果包括:
获取每个所述扫描设备分配的扫描区域,进而获取每个所述扫描设备配置到的侦测辅助设备,其中,每个所述扫描设备所配置的侦测辅助设备的数量取决于所分配的扫描区域;
通过所述配置的侦测辅助设备跟踪扫描设备,得到所述跟踪结果。
10.一种物体表面数据侦测系统,其特征在于,所述系统包括:扫描设备、侦测辅助设备和控制装置;
所述控制装置获取针对侦测辅助设备建立的统一坐标系;其中,所述侦测辅助设备为至少两个;
所述控制装置分别获取所述扫描设备扫描物体表面的第一扫描数据,以及所述侦测辅助设备跟踪所述扫描设备的跟踪结果;
所述控制装置综合计算所述跟踪结果、所述第一扫描数据以及所述统一坐标系,得到物体表面侦测结果;
所述控制装置在所述跟踪结果指示已跟踪设备的数量为至少两个的情况下,根据每个所述已跟踪设备的定位精度,为每个所述已跟踪设备分配权重值;其中,所述定位精度是指所述已跟踪设备对所述扫描设备进行跟踪定位的精度;
所述控制装置将所述第一扫描数据转换到每个所述已跟踪设备的跟踪坐标系下,获取所述已跟踪设备对应的帧扫描数据;
所述控制装置基于所述权重值,对所有所述帧扫描数据进行融合处理,得到融合后的第二扫描数据,进而得到所述物体表面侦测结果。
11.根据权利要求10所述的物体表面数据侦测系统,其特征在于,所述控制装置包括第一服务器和第二服务器;
所述第一服务器,分别连接所述侦测辅助设备,用于通过所述侦测辅助设备实时跟踪所述扫描设备,得到所述跟踪结果;
所述第二服务器,通过网络分别连接所述扫描设备、所述第一服务器,用于分别获取所述第一扫描数据、所述跟踪结果,进而得到所述物体表面数据侦测结果。
12.一种物体表面数据侦测系统,其特征在于,所述系统包括:扫描设备、侦测辅助设备和控制装置;
所述控制装置获取针对所述侦测辅助设备建立的统一坐标系;其中,所述侦测辅助设备为至少两个;
所述控制装置分别获取所述扫描设备扫描物体表面的第一扫描数据,以及所述侦测辅助设备同时跟踪所述扫描设备的跟踪结果;其中,所述扫描设备为至少两个,且所有所述第一扫描数据均和所述扫描设备相对应;
所述控制装置综合计算所述跟踪结果、至少两个所述扫描设备获得的第一扫描数据、以及所述统一坐标系,得到物体表面数据侦测结果;
所述控制装置利用所有所述扫描设备对应的唯一序列号,对每个所述扫描设备扫描获得的所述第一扫描数据进行区分;
所述控制装置根据所述跟踪结果,识别得到每个所述侦测辅助设备跟踪到的扫描设备;
所述控制装置根据识别的结果,将所述侦测辅助设备与区分后的所述第一扫描数据相匹配,并基于匹配的结果,结合所述统一坐标系得到所述物体表面数据侦测结果。
13.根据权利要求12所述的物体表面数据侦测系统,其特征在于,所述扫描设备和/或所述侦测辅助设备设置于可移动设备上;其中,所述可移动设备用于按照预先配置路径移动。
14.根据权利要求12或13所述的物体表面数据侦测系统,其特征在于,所述物体表面数据侦测系统还包括可穿戴设备;其中,所述可穿戴设备连接至少两个所述扫描设备;或者,所述可穿戴设备有至少两个,每个所述可穿戴设备连接所述扫描设备。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至8中任一项所述的物体表面数据侦测方法。
16.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至8中任一项所述的物体表面数据侦测方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110170149.4A CN112802002B (zh) | 2021-02-05 | 2021-02-05 | 物体表面数据侦测方法、系统、电子装置和存储介质 |
PCT/CN2021/081584 WO2022165934A1 (zh) | 2021-02-05 | 2021-03-18 | 物体表面数据侦测方法、系统、电子装置和存储介质 |
US17/683,119 US11493326B2 (en) | 2021-02-05 | 2022-02-28 | Object surface data detection method and system, electronic apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110170149.4A CN112802002B (zh) | 2021-02-05 | 2021-02-05 | 物体表面数据侦测方法、系统、电子装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112802002A CN112802002A (zh) | 2021-05-14 |
CN112802002B true CN112802002B (zh) | 2021-11-16 |
Family
ID=75814678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110170149.4A Active CN112802002B (zh) | 2021-02-05 | 2021-02-05 | 物体表面数据侦测方法、系统、电子装置和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112802002B (zh) |
WO (1) | WO2022165934A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115493512B (zh) * | 2022-08-10 | 2023-06-13 | 思看科技(杭州)股份有限公司 | 数据处理方法、三维扫描系统、电子装置和存储介质 |
CN116437016B (zh) * | 2023-06-13 | 2023-10-10 | 武汉中观自动化科技有限公司 | 物体扫描方法、装置、电子设备及存储介质 |
CN117948915B (zh) * | 2024-03-18 | 2024-05-31 | 杭州非白三维科技有限公司 | 一种多追踪头光学追踪三维扫描方法和系统 |
CN117953063B (zh) * | 2024-03-19 | 2024-06-25 | 先临三维科技股份有限公司 | 数据处理方法、扫描方法、装置、设备、存储介质及系统 |
CN118424151B (zh) * | 2024-07-05 | 2024-09-03 | 先临三维科技股份有限公司 | 多设备的测量方法、系统、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050661A (zh) * | 2014-05-29 | 2014-09-17 | 华中科技大学 | 面扫描三维测量系统精度的实时调整方法 |
CN106908822A (zh) * | 2017-03-14 | 2017-06-30 | 北京京东尚科信息技术有限公司 | 无人机定位切换方法、装置和无人机 |
JP2018022247A (ja) * | 2016-08-01 | 2018-02-08 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
CN108700653A (zh) * | 2017-05-31 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 一种激光雷达的扫描控制方法、装置及设备 |
CN109917151A (zh) * | 2019-02-01 | 2019-06-21 | 山东省科学院海洋仪器仪表研究所 | 一种基于动态权值分配的船舶相对风融合算法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3805568C2 (de) * | 1988-02-23 | 1997-08-28 | Lre Technology Partner Gmbh | Mit einer Schlitzblende ablesbare Codekarte |
US7068825B2 (en) * | 1999-03-08 | 2006-06-27 | Orametrix, Inc. | Scanning system and calibration method for capturing precise three-dimensional information of objects |
TWI444073B (zh) * | 2011-10-31 | 2014-07-01 | Univ Nat Central | Location and Tracking of Low Complexity Decentralized Message Transmission with Multiple Heterogeneous Data Fusion |
US20170074652A1 (en) * | 2014-04-22 | 2017-03-16 | Basf Se | Detector for optically detecting at least one object |
KR101628283B1 (ko) * | 2014-07-09 | 2016-06-08 | (주)쓰리디솔루션 | 3차원 스캐닝을 활용한 재난 안전 관리 시스템, 서버 및 방법 |
CN106846488A (zh) * | 2017-01-11 | 2017-06-13 | 江苏科技大学 | 一种基于多立体跟踪器的大型物体三维建模系统及方法 |
CN106918300B (zh) * | 2017-01-11 | 2019-04-05 | 江苏科技大学 | 一种基于多立体跟踪器的大型物体三维测量数据拼接方法 |
CN109000582B (zh) * | 2018-03-15 | 2021-07-02 | 杭州思看科技有限公司 | 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备 |
CN108759669B (zh) * | 2018-05-31 | 2020-07-21 | 武汉中观自动化科技有限公司 | 一种室内自定位三维扫描方法及系统 |
CN108801142B (zh) * | 2018-07-27 | 2020-10-16 | 复旦大学 | 一种特大尺寸工件双移动测量机器人系统及方法 |
CN109238168B (zh) * | 2018-08-06 | 2019-11-26 | 大连理工大学 | 大尺寸测量件表面三维形状高精度测量方法 |
CN109410320A (zh) * | 2018-09-30 | 2019-03-01 | 先临三维科技股份有限公司 | 三维模型重建方法、装置、计算机设备和存储介质 |
CN110340886B (zh) * | 2019-06-03 | 2020-10-23 | 武汉中观自动化科技有限公司 | 一种双目跟踪实现机器人路点迁移的方法及其系统 |
CN111879235A (zh) * | 2020-06-22 | 2020-11-03 | 杭州思看科技有限公司 | 弯管的三维扫描检测方法、三维扫描系统和计算机设备 |
-
2021
- 2021-02-05 CN CN202110170149.4A patent/CN112802002B/zh active Active
- 2021-03-18 WO PCT/CN2021/081584 patent/WO2022165934A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050661A (zh) * | 2014-05-29 | 2014-09-17 | 华中科技大学 | 面扫描三维测量系统精度的实时调整方法 |
JP2018022247A (ja) * | 2016-08-01 | 2018-02-08 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
CN106908822A (zh) * | 2017-03-14 | 2017-06-30 | 北京京东尚科信息技术有限公司 | 无人机定位切换方法、装置和无人机 |
CN108700653A (zh) * | 2017-05-31 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 一种激光雷达的扫描控制方法、装置及设备 |
CN109917151A (zh) * | 2019-02-01 | 2019-06-21 | 山东省科学院海洋仪器仪表研究所 | 一种基于动态权值分配的船舶相对风融合算法 |
Also Published As
Publication number | Publication date |
---|---|
CN112802002A (zh) | 2021-05-14 |
WO2022165934A1 (zh) | 2022-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112802002B (zh) | 物体表面数据侦测方法、系统、电子装置和存储介质 | |
US8861785B2 (en) | Information processing device, information processing method and program | |
US20210174530A1 (en) | Method and System for Multiple Stereo Based Depth Estimation and Collision Warning/Avoidance Utilizing the Same | |
JP4825980B2 (ja) | 魚眼カメラの校正方法。 | |
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
CN110910459B (zh) | 一种对摄像装置的标定方法、装置及标定设备 | |
JP4825971B2 (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
CN111210468A (zh) | 一种图像深度信息获取方法及装置 | |
CN108702439B (zh) | 信息处理设备、方法、计算机可读介质和多摄像机系统 | |
JPWO2008053649A1 (ja) | 広角画像取得方法及び広角ステレオカメラ装置 | |
JP2022089269A (ja) | キャリブレーション装置およびキャリブレーション方法 | |
KR102309608B1 (ko) | 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법 | |
CN116958146B (zh) | 3d点云的采集方法及装置、电子装置 | |
CN114494462A (zh) | 一种基于Yolov5和改进跟踪算法的双目相机测距方法 | |
WO2020181506A1 (zh) | 一种图像处理方法、装置及系统 | |
US12058468B2 (en) | Image capturing apparatus, image processing apparatus, image processing method, image capturing apparatus calibration method, robot apparatus, method for manufacturing article using robot apparatus, and recording medium | |
US20190313082A1 (en) | Apparatus and method for measuring position of stereo camera | |
CN114037768A (zh) | 一种多套跟踪式扫描仪联合标定的方法和装置 | |
Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
CN113362399A (zh) | 一种偏折测量系统中对焦镜和屏幕位姿的标定方法 | |
CN110750094A (zh) | 确定可移动设备的位姿变化信息的方法、装置和系统 | |
US11493326B2 (en) | Object surface data detection method and system, electronic apparatus, and storage medium | |
CN116718108B (zh) | 双目相机 | |
US20230070281A1 (en) | Methods and systems of generating camera models for camera calibration | |
CN116389899A (zh) | 基于摄像设备的聚焦方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |