CN115408549A - 工件点云的过滤方法、装置、计算机可读介质及电子设备 - Google Patents

工件点云的过滤方法、装置、计算机可读介质及电子设备 Download PDF

Info

Publication number
CN115408549A
CN115408549A CN202211063972.6A CN202211063972A CN115408549A CN 115408549 A CN115408549 A CN 115408549A CN 202211063972 A CN202211063972 A CN 202211063972A CN 115408549 A CN115408549 A CN 115408549A
Authority
CN
China
Prior art keywords
point
filtering
point cloud
cloud data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211063972.6A
Other languages
English (en)
Other versions
CN115408549B (zh
Inventor
许曦
李俊渊
张兆彪
高建文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Ruiji Technology Co ltd
China International Marine Containers Group Co Ltd
CIMC Containers Holding Co Ltd
Original Assignee
Shenzhen Qianhai Ruiji Technology Co ltd
China International Marine Containers Group Co Ltd
CIMC Containers Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Ruiji Technology Co ltd, China International Marine Containers Group Co Ltd, CIMC Containers Holding Co Ltd filed Critical Shenzhen Qianhai Ruiji Technology Co ltd
Priority to CN202211063972.6A priority Critical patent/CN115408549B/zh
Publication of CN115408549A publication Critical patent/CN115408549A/zh
Application granted granted Critical
Publication of CN115408549B publication Critical patent/CN115408549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种工件点云的过滤方法、装置、计算机可读介质及电子设备,所述方法包括:获取焊接工件的点云数据;计算所述点云数据中各个点对应的法向量,并根据各个点的法向量计算各个点的特征数据;根据各个点的特征数据与预设条件的关系,为各个点设置过滤等级;根据各个点的过滤等级对焊接工件的点云数据进行过滤。本申请实施例提供的技术方案,既降低了点云数据的数据量,又保留了关键特征所对应的点云数据,避免关键特征的缺失,从而使得后续点云配准时,可以在保留关键特征的基础上减少配准数据量,提高配准效率。

Description

工件点云的过滤方法、装置、计算机可读介质及电子设备
技术领域
本申请属于焊接技术领域,具体涉及一种工件点云的过滤方法、装置、计算机可读介质及电子设备。
背景技术
在智能焊接领域,进行焊接操作需要首先确定焊缝位置,即对工件焊缝进行定位。常用的定位方法是对工件拍照获得工件的点云数据,然后通过对点云数据的处理来实现工件定位。然而,拍摄所得点云数据的数据量较大,可能包含不属于目标工件的点云数据,从而使得点云数据的处理过程耗时长,效率较低。需要说明的是,在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请的目的在于提供一种工件点云的过滤方法、装置、计算机可读介质及电子设备,以优化相关技术中点云配准效率较低的问题。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面,提供一种工件点云的过滤方法,包括:
获取焊接工件的点云数据;
计算所述点云数据中各个点对应的法向量,并根据各个点的法向量计算各个点的特征数据;
根据各个点的特征数据与预设条件的关系,为各个点设置过滤等级;
根据各个点的过滤等级对焊接工件的点云数据进行过滤。
根据本申请实施例的一个方面,提供一种工件点云的过滤装置,包括:
数据获取模块,用于获取焊接工件的点云数据;
计算模块,用于计算所述点云数据中各个点对应的法向量,并根据各个点的法向量计算各个点的特征数据;
过滤等级设置模块,用于根据各个点的特征数据与预设条件的关系,为各个点设置过滤等级;
点云过滤模块,用于根据各个点的过滤等级对焊接工件的点云数据进行过滤。
在本申请的一个实施例中,计算模块包括:
法向量计算单元,用于对于所述点云数据中的每个点,根据所述点的预设邻域范围内的点云构建协方差矩阵;对所述协方差矩阵进行第一特征值分解,得到至少一个第一特征值以及第一特征值对应的第一特征向量;将所述至少一个第一特征值中,最小第一特征值对应的第一特征向量作为所述点的法向量。
在本申请的一个实施例中,计算模块还包括:
特征值计算单元,用于对于每个点,根据所述点的预设邻域范围内的各个点的法向量构建所述点对应的法向量矩阵;对所述法向量矩阵进行第二特征值分解,得到多个第二特征值,并将所述多个第二特征值作为所述点的特征数据。
在本申请的一个实施例中,过滤等级设置模块具体用于:
当所述点的多个第二特征值中存在至少一个第二特征值大于预设阈值时,将所述点的过滤等级设为第一过滤等级;
当所述点的多个第二特征值均小于预设阈值时,将所述点的过滤等级设为第二过滤等级;其中,根据所述第一过滤等级过滤时保留的点云数据量大于根据所述第二过滤等级过滤时保留的点云数据量。
在本申请的一个实施例中,所述焊接工件的点云数据包括第一点云数据和第二点云数据,所述第一点云数据和所述第二点云数据是针对所述焊接工件不同方位所获取的点云数据;计算模块还包括:
距离计算单元,用于根据所述第一点云数据和所述第二点云数据中的点形成多个点对;计算各个点对中点的法向量之间的第一夹角;从所述多个点对中提取第一夹角小于第一预设角度阈值的多个目标点对,并将所述目标点对中目标点之间的距离作为对应点的特征数据。
在本申请的一个实施例中,过滤等级设置模块具体用于:
若所述目标点对中目标点之间的距离小于预设距离阈值,则将所述目标点的过滤等级设为第三过滤等级;
若所述目标点对中目标点之间的距离大于预设距离阈值,则将所述目标点的过滤等级设为第四过滤等级;其中,根据所述第三过滤等级过滤时保留的点云数据量大于根据所述第四过滤等级过滤时保留的点云数据量。
在本申请的一个实施例中,所述距离计算单元还用于:
计算所述目标点对中的目标点与视觉光心之间的连线和对应目标点的法向量之间的第二夹角;所述视觉光心是指获取所述焊接工件的点云数据的设备的光心;
当所述第二夹角大于第二预设角度阈值时,将对应目标点的法向量方向调整为反方向。
根据本申请实施例的一个方面,提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如以上技术方案中的工件点云的过滤方法。
根据本申请实施例的一个方面,提供一种电子设备,该电子设备包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器执行所述可执行指令使得所述电子设备执行如以上技术方案中的工件点云的过滤方法。
根据本申请实施例的一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行如以上技术方案中的工件点云的过滤方法。
在本申请实施例提供的技术方案中,通过计算焊接工件点云数据中各个点的法向量,然后根据法向量计算特征数据,进而根据特征数据为点云设置过滤等级,从而使得不同焊接工件中不同特征的点云对应于不同的过滤等级,对点云数据进行过滤后,既降低了点云数据的数据量,又保留了关键特征所对应的点云数据,避免关键特征的缺失,从而使得后续点云配准时,可以在保留关键特征的基础上减少配准数据量,提高配准效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性地示出了应用本申请技术方案的示例性系统架构框图。
图2示意性地示出了本申请技术方案的一个应用场景的示意图。
图3示意性地示出了本申请一个实施例提供的工件点云的过滤方法的流程图。
图4示意性地示出了本申请一个实施例提供的点云数据过滤前后的对比示意图。
图5示意性地示出了本申请一个实施例提供的工件点云的过滤方法的流程图。
图6示意性地示出了本申请实施例提供的工件点云的过滤装置的结构框图。
图7示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示意性地示出了应用本申请技术方案的示例性系统架构框图。
如图1所示,系统架构100可以包括终端设备110、网络120和服务器130。终端设备110可以包括智能手机、平板电脑、笔记本电脑、智能语音交互设备、智能家电、车载终端等等。服务器130可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。网络120可以是能够在终端设备110和服务器130之间提供通信链路的各种连接类型的通信介质,例如可以是有线通信链路或者无线通信链路。
根据实现需要,本申请实施例中的系统架构可以具有任意数目的终端设备、网络和服务器。例如,服务器130可以是由多个服务器设备组成的服务器群组。另外,本申请实施例提供的技术方案可以应用于终端设备110,也可以应用于服务器130,或者可以由终端设备110和服务器130共同实施,本申请对此不做特殊限定。
在本申请的一个实施例中,本申请技术方案由服务器130实施例。服务器130获取焊接工件的点云数据,该点云数据可以由终端设备110通过网络120发送至服务器130。然后,服务器130计算点云数据中各个点对应的法向量,并根据各个点的法向量计算各个点的特征数据。接下来,服务器130根据各个点的特征数据与预设条件的关系,为各个点设置过滤等级。最后,服务器130根据各个点的过滤等级对焊接工件的点云数据进行过滤。在对点云数据进行过滤后,使得点云数据的密度降低,后续进行点云配准时所涉及的数据量较少,从而可以提高点云配准效率。
示例性的,图2示意性地示出了本申请技术方案的一个应用场景的示意图。如图2所示,本申请技术方案由焊接机器人210实施。
焊接机器人210上设有点云相机211,焊接机器人210使用点云相机211在不同的方位对焊接工件220拍照,获得焊接工件220的点云数据,那么,焊接工件220的点云数据称包括多帧点云数据,一帧点云数据就是点云相机211对焊接工件220进行一次拍照所获得的点云数据,这多帧点云数据是焊接工件220不同方位的点云数据。
然后,焊接机器人210计算点云数据中各个点对应的法向量,并根据各个点的法向量计算各个点的特征数据。焊接机器人210分别计算第一点云数据和第二点云数据中各个点的法向量,然后基于法向量计算点的特征数据。
接下来,焊接机器人210根据各个点的特征数据与预设条件的关系,为各个点设置过滤等级。例如,焊接机器人210将特征数据符合预设条件的点设置为第一种过滤等级,将特征数据不符合预设条件的点设置为第二种过滤等级。不同的过滤等级对应于不同的过滤粒度,也就是过滤的数据量不同。
最后,焊接机器人210根据各个点的过滤等级对焊接工件的点云数据进行过滤。由于各个点过滤等级的不同的,在对点云数据进行过滤时,实际上是对不同特征的点进行了不用粒度的过滤,那么过滤后的点云数据,一些特征所对应点的密度低,一些特征所对应点的密度高。如此,既降低了点云数据的数据量,又保留了关键特征所对应的点云数据,避免关键特征的缺失,从而可以使得后续点云配准时,可以在保留关键特征的基础上提高配准效率。
由于焊接机器人210是对焊接工件220的多个方位的点云数据进行了过滤,之后,焊接机器人210可以将过滤后的多个方位的点云数据拼接融合成一个完整的点云数据,该完整的点云数据210就是焊接工件220的完整点云数据。
下面结合具体实施方式对本申请提供的工件点云的过滤方法做出详细说明。
图3示意性地示出了本申请一个实施例提供的工件点云的过滤方法的流程图,如图3所示,该方法包括步骤310至步骤340,具体如下:
步骤310、获取焊接工件的点云数据。
具体地,焊接工件的点云数据是通过点云相机对焊接工件进行拍照获取的,包括对焊接工件的不同方位进行拍照所得到的多帧点云数据。
在本申请实施例中,后续以焊接工件的点云数据包括第一点云数据和第二点云数据为例来说明工件点云的过滤方法。第一点云数据是对焊接工件的一个方位进行拍摄得到的点云数据,也可以称为第一帧点云数据。第二点云数据是对焊接工件的另一个方位进行拍摄得到的点云数据,也可以称为第二帧点云数据。当然,焊接工件的点云数据还可以包括第三帧点云数据、第四帧点云数据等等,具体的工件点云的过滤方法与对第一点云数据和第二点云数据的多虑方法相同,故不过多赘述。
在本申请的一个实施例中,在获取焊接工件的点云数据之后,还可以对点云数据进行前处理,即去除点云数据中的离群点,初步降低点云数据的密度,以提高后续数据处理精度,以及减少后续数据处理量,提高处理效率。
步骤320、计算点云数据中各个点对应的法向量,并根据各个点的法向量计算各个点的特征数据。
具体地,点的法向量求解需要其邻域内的点的支持,也就是根据邻域内的点拟合一个局部平面,该局部平面的法向量视为点的法向量。邻域的大小一般由邻域半径或临近点个数来表示,可以预先设定。
在本申请的一个实施例中,法向量的计算过程包括:对于点云数据中的每个点,根据点的预设邻域范围内的点云构建协方差矩阵;对协方差矩阵进行第一特征值分解,得到至少一个第一特征值以及第一特征值对应的第一特征向量;将至少一个第一特征值中,最小第一特征值对应的第一特征向量作为点的法向量。
具体地,点的预设邻域范围内的点云是指,距离该点的距离在预设邻域半径内的多个点所构成的点云,或者,距离该点最近的k个点构成的点云,其中,预设邻域半径或k值为预先设定的参数。协方差矩阵M如下所示:
Figure BDA0003827454760000071
其中,pi为邻域内的点;k表示邻域内点的数量;po为邻域内点的质心,一般的,邻域内点的质心可以邻域内点的平均值表示。
对协方差矩阵M进行特征值分解,即M·n=λ·n,其中,λ表示特征分解得到的特征值,记为第一特征值;n为对应的特征向量,记为第一特征向量。
一般的,协方差矩阵M进行特征值分解可以得到至少一个第一特征值,最小第一特征值对应的第一特征向量即为所求法向量。
在计算得到法向量之后,根据各个点的法向量计算各个点的特征数据,点的特征数据反映了焊接工件中该点的属性特征,例如,点的特征数据可以反映该点是否为焊接工件中焊缝处的点。
在本申请的一个实施例中,点的特征数据为点的第二特征值,其计算过程包括:对于每个点,根据点的预设邻域范围内的各个点的法向量构建点对应的法向量矩阵;对法向量矩阵进行第二特征值分解,得到多个第二特征值,并将多个第二特征值作为点的特征数据。
具体地,根据邻域内的点的法向量构建法向量矩阵,将一个点的法向量作为法向量矩阵中的一行,多个点的法向量即可形成法向量矩阵A。对法向量矩阵A进行第二特征分解,即min||Ax||=minλ2,第二特征值分解得到的特征值记为第二特征值,x为最小第二特征值对应的特征向量。第二特征值有多个,一般的,第二特征值为三个,按照从小到大排列记为λ0、λ1、θ2,三个第二特征值均为点的特征数据。
在本申请的一个实施例中,点的特征数据为点之间的距离,具体计算过程包括:根据第一点云数据和第二点云数据中的点形成多个点对;计算各个点对中点的法向量之间的第一夹角;从多个点对中提取第一夹角小于第一预设角度阈值的多个目标点对,并将目标点对中目标点之间的距离作为对应点的特征数据。
具体地,第一点云数据的点记为第一点,第二点云数据中的点记为第二点,一个第一点和一个第二点即构成一个点对。计算点对中两个点的法向量之间的夹角,记为第一夹角,当第一夹角大于第一预设角度阈值时,认为点对中的两个点相关性较大,将这两个点作为目标点,对应的点对记为目标点对。计算目标点对中两个目标点之间的距离,该距离作为目标点的特征数据。
在本申请的一个实施例中,提取出目标点对之后,还包括对目标点的法向量方向进行修正,具体步骤为:计算目标点对中的目标点与视觉光心之间的连线和对应目标点的法向量之间的第二夹角;当第二夹角大于第二预设角度阈值时,将对应目标点的法向量方向调整为反方向。
具体地,视觉光心是指获取焊接工件的点云数据的设备的光心,例如,相机光心。目标点与视觉光心之间的连接,与该目标点的法向量之间具有第二夹角,当第二夹角大于第二预设角度阈值时,说明该目标点的法向量方向取反了,故而将该目标点的法向量方向调整为反方向。一般的,第二预设角度阈值为90°,那么,当第二夹角为锐角时,说明目标点的法向量方向是正确的;当第二夹角为钝角时,说明目标点的法向量方向错误,需调整为反方向。
步骤330、根据各个点的特征数据与预设条件的关系,为各个点设置过滤等级。
具体地,过滤等级体现过滤粒度,不同的过滤等级对应于不同的过滤粒度,也就是过滤的数据量不同。
根据特征数据的不同,对应的预设条件也不同。
在本申请的一个实施例中,当特征数据为点的第二特征值时,过滤等级的设置方式为:当点的多个第二特征值中存在至少一个第二特征值大于预设阈值时,将点的过滤等级设为第一过滤等级;当点的多个第二特征值均小于预设阈值时,将点的过滤等级设为第二过滤等级。
具体地,当一个点的第二特征值中存在至少一个第二特征值大于预设阈值时,认为该点属于边缘变化较大的点,其可能是焊缝处的点,那么将其过滤等级设为第一过滤等级,第一过滤等级对应于较小的过滤粒度,即过滤的点云数据量较少,过滤后保留的点云数据量较大,这样可以尽可能多的保留焊缝点云,避免焊缝特征丢失。
当一个点的多个第二特征值均小于预设阈值时,认为该点不属于边缘变化较大的点,该点可能属于焊接工件中的平面或曲面中间部位的点,这种点通常是焊接过程中无需考虑的点,故而将该点的过滤等级设为第二过滤等级,第二过滤等级对应于较大的过滤粒度,即过滤的点云数据量较多,过滤后保留的点云数据量较少。显然,根据第一过滤等级过滤时保留的点云数据量大于根据第二过滤等级过滤时保留的点云数据量。
在本申请的一个实施例中,当特征数据为目标点之间的距离时,过滤等级的设置方式为:若目标点对中目标点之间的距离小于预设距离阈值,则将目标点的过滤等级设为第三过滤等级;若目标点对中目标点之间的距离大于预设距离阈值,则将目标点的过滤等级设为第四过滤等级。
具体地,若目标点对中目标点之间的距离小于预设距离阈值,则进一步说明两个目标点之间的相关性大,故而将该目标点的过滤等级设为第三过滤等级;若目标点对中目标点之间的距离大于预设距离阈值,则说明两个目标点之间的相关性较差,故而将目标点的过滤等级设为第四过滤等级。其中,根据第三过滤等级过滤时保留的点云数据量大于根据第四过滤等级过滤时保留的点云数据量。
在本申请的一个实施例中,各个过滤等级的过滤粒度从小到大依次为:第一过滤等级、第三过滤等级、第二过滤等级、第四过滤等级,可选的,第二过滤等级和第四过滤等级可以是相同的过滤等级,第四过滤等级还可以表示过滤时从点云数据中删除对应的点。
步骤340、根据各个点的过滤等级对焊接工件的点云数据进行过滤。
具体地,由于不同过滤等级对应于不同的过滤粒度,也就使得根据不同多虑等级过滤后的点云数据的密度不同,也就是说,有些过滤后的点云数据的密度高,即过滤后点云数据中的点分布稠密;有些过滤后的点云数据的密度低,即过滤后点云数据中的点分布稀疏。由于焊接工件中关键特征处的点云过滤粒度通常设置较小,非关键特征处的点云过滤密度通常设置较大;那么过滤后的点云数据中,关键特征处的点云数据分布稠密,非关键特征处的点云数据分布稀疏。
示例性的,图4示意性地示出了本申请一个实施例提供的点云数据过滤前后的对比示意图。如图4所示,过滤前焊接工件的点云数据分布较为稠密,无法体现焊接工件中的局部特征,无论是平面区域410还是焊缝区域420,点云分布都较为稠密。而过滤后的点云数据中,焊接工件平面区域410’的点云分布变得稀疏,焊接工件焊缝区域420’的点云仍然保持稠密状态。如此,不仅保证了焊接工件中的关键特征区域的点云分布,又降低了焊接工件整体点云的数据量,方面后续配准处理;同时更能够直观体现焊接工件中的关键特征区域,更加方便焊缝定位。
在本申请实施例提供的技术方案中,通过计算焊接工件点云数据中各个点的法向量,然后根据法向量计算特征数据,进而根据特征数据为点云设置过滤等级,从而使得不同焊接工件中不同特征的点云对应于不同的过滤等级,对点云数据进行过滤后,既降低了点云数据的数据量,又保留了关键特征所对应的点云数据,避免关键特征的缺失,从而使得后续点云配准时,可以在保留关键特征的基础上减少配准数据量,提高配准效率。
图5示意性地示出了本申请一个实施例提供的工件点云的过滤方法的流程图。如图5所示,该方法包括步骤501至步骤513,具体如下:
步骤501、驱动焊接机器人在第一方位拍摄焊接工件,得到第一点云数据。
步骤502、驱动焊接机器人在第二方位拍摄焊接工件,得到第二点云数据。第一点云数据和第二点云数据统称为焊接工件的点云数据,简称为点云数据。
步骤503、对点云数据进行前处理:进行滤波操作,去掉离群点以及降低点云密度。
步骤504、分别计算第一点云数据和第二点云数据中各个点的法向量。法向量的具体计算方式可参考前文相关步骤的描述,在此不再赘述。在步骤504之后,可以步骤505至步骤508,和步骤509至步骤512可以同步进行。
步骤505、根据各个点的法向量构建协方差矩阵,对协方差矩阵进行特征值分解,得到各个点的第二特征值。第二特征值的具体计算方式可参考前文相关步骤的描述,在此不再赘述。
步骤506、根据第二特征值对点云数据进行聚类,将点云数据划分为第二特征值大于或等于预设阈值的点,和第二特征值小于预设阈值的点。
步骤507、提取第二特征值大于或等于预设阈值的点,作为边缘变化大的点。
步骤508、将第二特征值大于或等于预设阈值的点的权重筛选等级设为小,即设置较小的过滤粒度。
步骤509、计算点对中两个点的法向量之间的第一夹角,筛选出第一夹角大于第一预设角度阈值的目标点对。点对包括目标点云数据中的一个点,和源点云数据中对应的点。
步骤510、根据相机位姿对目标点的法向量方向进行修正。计算目标点对中的目标点与视觉光心之间的连线和对应目标点的法向量之间的第二夹角;视觉光心是指获取焊接工件的点云数据的设备的光心;当第二夹角大于第二预设角度阈值时,将对应目标点的法向量方向调整为反方向。
步骤511、获取目标点对中目标点之间的距离小于预设距离阈值的目标点。
步骤512、目标点之间的距离小于预设距离阈值的目标点的权重筛选等级设为中,即设置次小的过滤粒度。对于点云数据中除权重筛选等级设置为小,以及权重筛选等级设置为中之外的点,其权重筛选等级设置为最大的过滤粒度。
步骤513、根据不同权重筛选等级对点云数据进行过滤,调整点云数据的密度。
本申请实施例提供的技术方案,既降低了点云数据的数据量,又保留了关键特征所对应的点云数据,避免关键特征的缺失,从而使得后续点云配准时,可以在保留关键特征的基础上减少配准数据量,提高配准效率。
应当注意,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的工件点云的过滤方法。图6示意性地示出了本申请实施例提供的工件点云的过滤装置的结构框图。如图6所示,该装置包括:
数据获取模块610,用于获取焊接工件的点云数据;
计算模块620,用于计算所述点云数据中各个点对应的法向量,并根据各个点的法向量计算各个点的特征数据;
过滤等级设置模块630,用于根据各个点的特征数据与预设条件的关系,为各个点设置过滤等级;
点云过滤模块640,用于根据各个点的过滤等级对焊接工件的点云数据进行过滤。
在本申请的一个实施例中,计算模块620包括:
法向量计算单元,用于对于所述点云数据中的每个点,根据所述点的预设邻域范围内的点云构建协方差矩阵;对所述协方差矩阵进行第一特征值分解,得到至少一个第一特征值以及第一特征值对应的第一特征向量;将所述至少一个第一特征值中,最小第一特征值对应的第一特征向量作为所述点的法向量。
在本申请的一个实施例中,计算模块620还包括:
特征值计算单元,用于对于每个点,根据所述点的预设邻域范围内的各个点的法向量构建所述点对应的法向量矩阵;对所述法向量矩阵进行第二特征值分解,得到多个第二特征值,并将所述多个第二特征值作为所述点的特征数据。
在本申请的一个实施例中,过滤等级设置模块630具体用于:
当所述点的多个第二特征值中存在至少一个第二特征值大于预设阈值时,将所述点的过滤等级设为第一过滤等级;
当所述点的多个第二特征值均小于预设阈值时,将所述点的过滤等级设为第二过滤等级;其中,根据所述第一过滤等级过滤时保留的点云数据量大于根据所述第二过滤等级过滤时保留的点云数据量。
在本申请的一个实施例中,所述焊接工件的点云数据包括第一点云数据和第二点云数据,所述第一点云数据和所述第二点云数据是针对所述焊接工件不同方位所获取的点云数据;计算模块620还包括:
距离计算单元,用于根据所述第一点云数据和所述第二点云数据中的点形成多个点对;计算各个点对中点的法向量之间的第一夹角;从所述多个点对中提取第一夹角小于第一预设角度阈值的多个目标点对,并将所述目标点对中目标点之间的距离作为对应点的特征数据。
在本申请的一个实施例中,过滤等级设置模块630具体用于:
若所述目标点对中目标点之间的距离小于预设距离阈值,则将所述目标点的过滤等级设为第三过滤等级;
若所述目标点对中目标点之间的距离大于预设距离阈值,则将所述目标点的过滤等级设为第四过滤等级;其中,根据所述第三过滤等级过滤时保留的点云数据量大于根据所述第四过滤等级过滤时保留的点云数据量。
在本申请的一个实施例中,所述距离计算单元还用于:
计算所述目标点对中的目标点与视觉光心之间的连线和对应目标点的法向量之间的第二夹角;所述视觉光心是指获取所述焊接工件的点云数据的设备的光心;
当所述第二夹角大于第二预设角度阈值时,将对应目标点的法向量方向调整为反方向。
本申请各实施例中提供的工件点云的过滤装置的具体细节已经在对应的方法实施例中进行了详细的描述,此处不再赘述。
图7示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。
需要说明的是,图7示出的电子设备的计算机系统700仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示,计算机系统700包括中央处理器701(Central Processing Unit,CPU),其可以根据存储在只读存储器702(Read-Only Memory,ROM)中的程序或者从存储部分708加载到随机访问存储器703(Random Access Memory,RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器703中,还存储有系统操作所需的各种程序和数据。中央处理器701、在只读存储器702以及随机访问存储器703通过总线704彼此相连。输入/输出接口705(Input/Output接口,即I/O接口)也连接至总线704。
以下部件连接至输入/输出接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至输入/输出接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理器701执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种工件点云的过滤方法,其特征在于,包括:
获取焊接工件的点云数据;
计算所述点云数据中各个点对应的法向量,并根据各个点的法向量计算各个点的特征数据;
根据各个点的特征数据与预设条件的关系,为各个点设置过滤等级;
根据各个点的过滤等级对焊接工件的点云数据进行过滤。
2.根据权利要求1所述的工件点云的过滤方法,其特征在于,计算所述点云数据中各个点对应的法向量,包括:
对于所述点云数据中的每个点,根据所述点的预设邻域范围内的点云构建协方差矩阵;
对所述协方差矩阵进行第一特征值分解,得到至少一个第一特征值以及第一特征值对应的第一特征向量;
将所述至少一个第一特征值中,最小第一特征值对应的第一特征向量作为所述点的法向量。
3.根据权利要求1所述的工件点云的过滤方法,其特征在于,根据各个点的法向量计算各个点的特征数据,包括:
对于每个点,根据所述点的预设邻域范围内的各个点的法向量构建所述点对应的法向量矩阵;
对所述法向量矩阵进行第二特征值分解,得到多个第二特征值,并将所述多个第二特征值作为所述点的特征数据。
4.根据权利要求3所述的工件点云的过滤方法,其特征在于,根据各个点的特征数据与预设条件的关系,为各个点设置过滤等级,包括:
当所述点的多个第二特征值中存在至少一个第二特征值大于预设阈值时,将所述点的过滤等级设为第一过滤等级;
当所述点的多个第二特征值均小于预设阈值时,将所述点的过滤等级设为第二过滤等级;其中,根据所述第一过滤等级过滤时保留的点云数据量大于根据所述第二过滤等级过滤时保留的点云数据量。
5.根据权利要求1所述的工件点云的过滤方法,其特征在于,所述焊接工件的点云数据包括第一点云数据和第二点云数据,所述第一点云数据和所述第二点云数据是针对所述焊接工件不同方位所获取的点云数据;根据各个点的法向量计算各个点的特征数据,包括:
根据所述第一点云数据和所述第二点云数据中的点形成多个点对;
计算各个点对中点的法向量之间的第一夹角;
从所述多个点对中提取第一夹角小于第一预设角度阈值的多个目标点对,并将所述目标点对中目标点之间的距离作为对应点的特征数据。
6.根据权利要求5所述的工件点云的过滤方法,其特征在于,根据各个点的特征数据与预设条件的关系,为各个点设置过滤等级,包括:
若所述目标点对中目标点之间的距离小于预设距离阈值,则将所述目标点的过滤等级设为第三过滤等级;
若所述目标点对中目标点之间的距离大于预设距离阈值,则将所述目标点的过滤等级设为第四过滤等级;其中,根据所述第三过滤等级过滤时保留的点云数据量大于根据所述第四过滤等级过滤时保留的点云数据量。
7.根据权利要求5所述的工件点云的过滤方法,其特征在于,在从所述多个点对中提取第一夹角小于第一预设角度阈值的多个目标点对之后,所述方法还包括:
计算所述目标点对中的目标点与视觉光心之间的连线和对应目标点的法向量之间的第二夹角;所述视觉光心是指获取所述焊接工件的点云数据的设备的光心;
当所述第二夹角大于第二预设角度阈值时,将对应目标点的法向量方向调整为反方向。
8.一种工件点云的过滤装置,其特征在于,包括:
数据获取模块,用于获取焊接工件的点云数据;
计算模块,用于计算所述点云数据中各个点对应的法向量,并根据各个点的法向量计算各个点的特征数据;
过滤等级设置模块,用于根据各个点的特征数据与预设条件的关系,为各个点设置过滤等级;
点云过滤模块,用于根据各个点的过滤等级对焊接工件的点云数据进行过滤。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任意一项所述的工件点云的过滤方法。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器执行所述可执行指令使得所述电子设备执行权利要求1至7中任意一项所述的工件点云的过滤方法。
CN202211063972.6A 2022-08-31 2022-08-31 工件点云的过滤方法、装置、计算机可读介质及电子设备 Active CN115408549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211063972.6A CN115408549B (zh) 2022-08-31 2022-08-31 工件点云的过滤方法、装置、计算机可读介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211063972.6A CN115408549B (zh) 2022-08-31 2022-08-31 工件点云的过滤方法、装置、计算机可读介质及电子设备

Publications (2)

Publication Number Publication Date
CN115408549A true CN115408549A (zh) 2022-11-29
CN115408549B CN115408549B (zh) 2024-04-12

Family

ID=84163886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211063972.6A Active CN115408549B (zh) 2022-08-31 2022-08-31 工件点云的过滤方法、装置、计算机可读介质及电子设备

Country Status (1)

Country Link
CN (1) CN115408549B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211167A (zh) * 2019-06-14 2019-09-06 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN110246167A (zh) * 2019-06-14 2019-09-17 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN111126211A (zh) * 2019-12-13 2020-05-08 北京四维图新科技股份有限公司 标牌识别方法和装置、电子设备
CN111369602A (zh) * 2020-02-25 2020-07-03 北京百度网讯科技有限公司 点云数据的处理方法、装置、电子设备及可读存储介质
US20200363202A1 (en) * 2019-05-17 2020-11-19 Hexagon Technology Center Gmbh Fully automatic position and alignment determination method for a terrestrial laser scanner and method for ascertaining the suitability of a position for a deployment for surveying
CN112446907A (zh) * 2020-11-19 2021-03-05 武汉中海庭数据技术有限公司 一种单线点云与多线点云配准的方法及装置
CN112465948A (zh) * 2020-11-24 2021-03-09 山东科技大学 一种保留空间特征的车载激光路面点云抽稀方法
CN113643270A (zh) * 2021-08-24 2021-11-12 凌云光技术股份有限公司 一种基于点云数据的图像配准方法及装置
CN113793344A (zh) * 2021-08-31 2021-12-14 无锡砺成智能装备有限公司 一种基于三维点云的叶轮焊缝定位方法
CN113837952A (zh) * 2020-06-24 2021-12-24 影石创新科技股份有限公司 基于法向量的三维点云降噪方法、装置、计算机可读存储介质及电子设备
CN113870435A (zh) * 2021-09-28 2021-12-31 浙江华睿科技股份有限公司 一种点云分割方法、装置、电子设备及存储介质
CN113902688A (zh) * 2021-09-23 2022-01-07 无锡市城市重点建设项目管理中心 基于改进区域生长法的非均匀点云面域分割方法
CN114240960A (zh) * 2021-11-11 2022-03-25 三一建筑机器人(西安)研究院有限公司 最上层工件的提取方法、装置、设备、介质及产品
CN114359042A (zh) * 2021-11-30 2022-04-15 深圳市纵维立方科技有限公司 点云拼接方法和装置、三维扫描仪及电子设备
CN114722944A (zh) * 2022-04-12 2022-07-08 高德软件有限公司 点云精度确定方法、电子设备及计算机存储介质
CN114743259A (zh) * 2022-02-28 2022-07-12 华中科技大学 位姿估计方法、位姿估计系统、终端、存储介质及应用
CN114881955A (zh) * 2022-04-28 2022-08-09 厦门微亚智能科技有限公司 基于切片的环状点云缺陷提取方法、装置、设备存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200363202A1 (en) * 2019-05-17 2020-11-19 Hexagon Technology Center Gmbh Fully automatic position and alignment determination method for a terrestrial laser scanner and method for ascertaining the suitability of a position for a deployment for surveying
CN110246167A (zh) * 2019-06-14 2019-09-17 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN110211167A (zh) * 2019-06-14 2019-09-06 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN111126211A (zh) * 2019-12-13 2020-05-08 北京四维图新科技股份有限公司 标牌识别方法和装置、电子设备
CN111369602A (zh) * 2020-02-25 2020-07-03 北京百度网讯科技有限公司 点云数据的处理方法、装置、电子设备及可读存储介质
CN113837952A (zh) * 2020-06-24 2021-12-24 影石创新科技股份有限公司 基于法向量的三维点云降噪方法、装置、计算机可读存储介质及电子设备
CN112446907A (zh) * 2020-11-19 2021-03-05 武汉中海庭数据技术有限公司 一种单线点云与多线点云配准的方法及装置
CN112465948A (zh) * 2020-11-24 2021-03-09 山东科技大学 一种保留空间特征的车载激光路面点云抽稀方法
CN113643270A (zh) * 2021-08-24 2021-11-12 凌云光技术股份有限公司 一种基于点云数据的图像配准方法及装置
CN113793344A (zh) * 2021-08-31 2021-12-14 无锡砺成智能装备有限公司 一种基于三维点云的叶轮焊缝定位方法
CN113902688A (zh) * 2021-09-23 2022-01-07 无锡市城市重点建设项目管理中心 基于改进区域生长法的非均匀点云面域分割方法
CN113870435A (zh) * 2021-09-28 2021-12-31 浙江华睿科技股份有限公司 一种点云分割方法、装置、电子设备及存储介质
CN114240960A (zh) * 2021-11-11 2022-03-25 三一建筑机器人(西安)研究院有限公司 最上层工件的提取方法、装置、设备、介质及产品
CN114359042A (zh) * 2021-11-30 2022-04-15 深圳市纵维立方科技有限公司 点云拼接方法和装置、三维扫描仪及电子设备
CN114743259A (zh) * 2022-02-28 2022-07-12 华中科技大学 位姿估计方法、位姿估计系统、终端、存储介质及应用
CN114722944A (zh) * 2022-04-12 2022-07-08 高德软件有限公司 点云精度确定方法、电子设备及计算机存储介质
CN114881955A (zh) * 2022-04-28 2022-08-09 厦门微亚智能科技有限公司 基于切片的环状点云缺陷提取方法、装置、设备存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王斐等: "基于焊件识别与位姿估计的焊接机器人视觉引导", 控制与决策, vol. 35, no. 8, 31 August 2020 (2020-08-31), pages 1873 - 1878 *

Also Published As

Publication number Publication date
CN115408549B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
US20220108542A1 (en) Image processing method and apparatus, electronic device and computer readable storage medium
CN113869293B (zh) 车道线识别方法、装置、电子设备和计算机可读介质
US20140240310A1 (en) Efficient approach to estimate disparity map
CN110414502B (zh) 图像处理方法及装置、电子设备和计算机可读介质
CN111598796A (zh) 图像处理方法及装置、电子设备、存储介质
CN115329111B (zh) 一种基于点云与影像匹配的影像特征库构建方法及系统
CN108053444A (zh) 瞳孔定位方法及装置、设备和存储介质
CN105792131A (zh) 一种定位方法及系统
CN115393815A (zh) 道路信息生成方法、装置、电子设备和计算机可读介质
CN110782472B (zh) 点云地面点的识别方法及装置
CN110060264B (zh) 神经网络训练方法、视频帧处理方法、装置及系统
CN115272182A (zh) 车道线检测方法、装置、电子设备和计算机可读介质
CN114792355A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN115409863A (zh) 工件焊缝提取方法、装置、计算机可读介质及电子设备
CN113902932A (zh) 特征提取方法、视觉定位方法及装置、介质和电子设备
CN115408549B (zh) 工件点云的过滤方法、装置、计算机可读介质及电子设备
CN116524206B (zh) 目标图像的识别方法及装置
CN116596750A (zh) 一种点云处理方法、装置、电子设备及存储介质
CN114119990B (zh) 用于图像特征点匹配的方法、装置及计算机程序产品
CN116310744A (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN112990046B (zh) 差异信息获取方法、相关装置及计算机程序产品
CN112085035A (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN115409806A (zh) 焊缝识别方法、装置、计算机可读介质及电子设备
CN114494818B (zh) 图像处理方法、模型训练方法、相关装置及电子设备
CN117689538B (zh) 一种针对断层式错位点云的拼接方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 201, Building A, No. 1, Qianwan Road, Qianhai-Shenzhen-Hong Kong Cooperation Zone, Shenzhen, Guangdong Province, 518000

Applicant after: SHENZHEN QIANHAI RUIJI TECHNOLOGY CO.,LTD.

Applicant after: CIMC Container (Group) Co.,Ltd.

Applicant after: CHINA INTERNATIONAL MARINE CONTAINERS (GROUP) Ltd.

Address before: Room 201, Building A, No. 1, Qianwan Road, Qianhai-Shenzhen-Hong Kong Cooperation Zone, Shenzhen, Guangdong Province, 518000

Applicant before: SHENZHEN QIANHAI RUIJI TECHNOLOGY CO.,LTD.

Applicant before: CIMC CONTAINERS HOLDING Co.,Ltd.

Applicant before: CHINA INTERNATIONAL MARINE CONTAINERS (GROUP) Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant