CN114596363A - 一种三维点云标注方法、装置及终端 - Google Patents
一种三维点云标注方法、装置及终端 Download PDFInfo
- Publication number
- CN114596363A CN114596363A CN202210500574.XA CN202210500574A CN114596363A CN 114596363 A CN114596363 A CN 114596363A CN 202210500574 A CN202210500574 A CN 202210500574A CN 114596363 A CN114596363 A CN 114596363A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- model
- dimensional model
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
本申请提供了一种三维点云标注方法、装置及终端,其中,方法包括:获取预设场景下标注点云中的待标注物体;选择标注数据库中与待标注物体对应的目标三维模型;对目标三维模型进行姿态调整,使调整姿态后的目标三维模型的姿态与待标注物体的姿态一致;在目标三维模型上至少确定两个第一特征点,在待标注物体上确定与所述第一特征点相匹配的第二特征点;根据第一特征点和第二特征点以及目标三维模型的尺寸信息,生成待标注物体的三维标注框。本申请通过预先建立的三维模型以及至少两个特征点即可对标注点云中的待标注物体进行快速、精确的定位,并结合三维模型的尺寸信息快速生成三维标注框,提高了在标注点云中的进行三维点云标注的效率和精确度。
Description
技术领域
本申请涉及点云标注技术领域,特别涉及一种三维点云标注方法、装置及终端。
背景技术
点云数据是指在一个三维坐标系统中的一组向量的集合,当前标注点云中的三维框标注和分割标注,需要手动对点云中物体形状标注立体框,将物体包括在其中,完成物体标注;在标注过程中需要多次调整立体框的大小和位置来完成标注,且分割需要标注更多点的位置信息来确定物体包括的点,对细节位置要求较高。从而导致存在标注过程复杂、效率慢、结果不精确的问题。
发明内容
本申请实施例要达到的技术目的是提供一种三维点云标注方法、装置及终端,用以解决当前三维点云标注过程中存在标注过程复杂、效率慢、结果不精确的问题。
为解决上述技术问题,本申请实施例提供了一种三维点云标注方法,包括:
获取预设场景下标注点云中的待标注物体;
选择标注数据库中与待标注物体对应的目标三维模型;
对目标三维模型进行姿态调整,使调整姿态后的目标三维模型的姿态与待标注物体的姿态一致;
在目标三维模型上至少确定两个第一特征点,在待标注物体上确定与第一特征点相匹配的第二特征点;
根据第一特征点和第二特征点以及目标三维模型的尺寸信息,生成待标注物体的三维标注框。
优选地,如上所述的三维点云标注方法,在获取预设场景下的标注点云中的待标注物体之前,还包括:
获取预设相机在一预设视点下拍摄的关于预设场景的场景数据;
根据场景数据以及预设相机的参数信息,得到预设场景下的标注点云。
具体地,如上所述的三维点云标注方法,根据第一特征点和第二特征点以及目标三维模型的尺寸信息,生成待标注物体的三维标注框,包括:
根据第一特征点和第二特征点,确定待标注物体在预设场景下的位置信息和姿态信息;
根据位置信息、姿态信息和尺寸信息,生成三维标注框。
可选地,如上所述的三维点云标注方法,在获取预设场景下的标注点云中的待标注物体之后,还包括:
当标注数据库中不存在目标三维模型时,确定待标注物体为待创建模型物体。
优选地,如上所述的三维点云标注方法,在确定需要为一待创建模型物体进行模型创建时,方法还包括:
获取待创建模型物体在预设数量的拍摄角度下的参考场景数据,其中,预设数量的拍摄角度之间的转动角度等差且闭环设置;
分别根据每一个拍摄角度下的参考场景数据,得到每一个拍摄角度对应的参考点云数据;
根据预设的聚类算法,对参考点云数据进行处理,得到每一个拍摄角度下待创建模型物体的单角度点云;
分别对相邻两个拍摄角度对应的单角度点云进行配准处理,得到相邻两个拍摄角度之间的位姿变换矩阵;
根据每一个拍摄角度对应的单角度点云以及相邻两个拍摄角度之间的位姿变换矩阵,得到待创建模型物体的完整点云;
根据完整点云构建待创建模型物体的参考三维模型,并存储至标注数据库。
具体地,如上所述的三维点云标注方法,根据完整点云构建待创建模型物体的参考三维模型包括:
以完整点云的中心为原点,根据预设的降维算法确定待创建模型物体的自身坐标系;
将完整点中每一个点的坐标转换为自身坐标系下的坐标,得到参考三维模型。
进一步的,如上所述的三维点云标注方法,在确定待创建模型物体的自身坐标系之后,方法还包括:
根据输入的坐标系原点调整信号,调整自身坐标系的原点,得到更新后的自身坐标系。
本申请的另一实施例还提供了一种控制装置,包括:
第一处理模块,用于获取预设场景下的标注点云中的待标注物体;
第二处理模块,用于选择标注数据库中与待标注物体对应的目标三维模型以及目标三维模型的尺寸信息;
第三处理模块,用于对目标三维模型进行姿态调整,使调整姿态后的目标三维模型的姿态与待标注物体的姿态一致;
第四处理模块,用于在目标三维模型上至少确定两个第一特征点,在待标注物体上确定与第一特征点相匹配的第二特征点;
第五处理模块,用于根据第一特征点和第二特征点以及尺寸信息,生成待标注物体的三维标注框。
优选地,如上所述的控制装置,还包括:
第六处理模块,用于获取预设相机在一预设视点下拍摄的关于预设场景的场景数据;
第七处理模块,用于根据场景数据以及预设相机的参数信息,得到预设场景下的标注点云。
具体地,如上所述的控制装置,第五处理模块,包括:
第一处理单元,用于根据第一特征点和第二特征点,确定待标注物体在预设场景下的位置信息和姿态信息;
第二处理单元,用于根据位置信息、姿态信息和尺寸信息,生成三维标注框。
可选地,如上所述的控制装置,还包括:
第八处理模块,用于当标注数据库中不存在目标三维模型时,确定待标注物体为待创建模型物体。
优选地,如上所述的控制装置,还包括:
第九处理模块,用于获取待创建模型物体在预设数量的拍摄角度下的参考场景数据,其中,预设数量的拍摄角度之间的转动角度等差且闭环设置;
第十处理模块,用于分别根据每一个拍摄角度下的参考场景数据,得到每一个拍摄角度对应的参考点云数据;
第十一处理模块,用于根据预设的聚类算法,对参考点云数据进行处理,得到每一个拍摄角度下待创建模型物体的单角度点云;
第十二处理模块,用于分别对相邻两个拍摄角度对应的单角度点云进行配准处理,得到相邻两个拍摄角度之间的位姿变换矩阵;
第十三处理模块,用于根据每一个拍摄角度对应的单角度点云以及相邻两个拍摄角度之间的位姿变换矩阵,得到待创建模型物体的完整点云;
第十四处理模块,用于根据完整点云构建待创建模型物体的参考三维模型,并存储至标注数据库。
具体地,如上所述的控制装置,第十四处理模块包括:
第三处理单元,用于以完整点云的中心为原点,根据预设的降维算法确定待创建模型物体的自身坐标系;
第四处理单元,用于将完整点中每一个点的坐标转换为自身坐标系下的坐标,得到参考三维模型。
进一步的,如上所述的控制装置,还包括:
第五处理单元,用于根据输入的坐标系原点调整信号,调整自身坐标系的原点,得到更新后的自身坐标系。
本申请的又一实施例还提供了一种终端,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上所述的三维点云标注方法的步骤。
本申请的再一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上所述的三维点云标注方法的步骤。
与现有技术相比,本申请实施例提供的一种三维点云标注方法、装置及终端,至少具有以下有益效果:
本申请的实施例通过预先建立的三维模型以及至少两个特征点即可实现对标注点云中的待标注物体进行快速、精确的定位,并结合三维模型的尺寸信息进行三维标注框的快速生成,提高了在标注点云中的进行三维点云标注的效率和精确度。
附图说明
图1为本申请的三维点云标注方法的流程示意图之一;
图2为一种水杯上的特征点的位置示意图;
图3为本申请的三维点云标注方法的流程示意图之二;
图4为本申请的三维点云标注方法的流程示意图之三;
图5为本申请的三维点云标注方法的流程示意图之四;
图6为本申请的三维点云标注方法的流程示意图之五;
图7为本申请的控制装置的结构示意图。
具体实施方式
为使本申请要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本申请的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本申请的范围和精神。另外,为了清楚和简洁,省略了对已知功能和构造的描述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本申请的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A 和/或B,可以表示:单独存在A,同时存在A 和B,单独存在B 这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本申请所提供的实施例中,应理解,“与A 相应的B”表示B 与A 相关联,根据A可以确定B。但还应理解,根据A 确定B 并不意味着仅仅根据A 确定B,还可以根据A 和/或其它信息确定B。
参见图1,本申请的一优选实施例提供了一种三维点云标注方法,包括:
步骤S101,获取预设场景下标注点云中的待标注物体;即根据预先从标注点云中确定的一预设区域范围,确定该区域内的点云为所述待标注物体;需要说明的是,当标注点云中存在多个待标注物体时,优选地会采用分别标注的方式执行后续步骤,其中多个待标注物体被进行编号并建立对应的标注任务;
步骤S102,选择标注数据库中与待标注物体对应的目标三维模型;根据该待标注物体的对应的点云所组成的图形特征或预先标注的特征信息,在预先构建的标注数据库中检索,若检索到对应的三维模型,则将选择其为与待标注物体对应的目标三维模型。优选地,所述特征信息为预先标注的关于待标注物体的类别信息。
步骤S103,对目标三维模型进行姿态调整,使调整姿态后的目标三维模型的姿态与待标注物体的姿态一致;在获取到目标三维模型后,会根据待标注物体的姿态对目标三维模型进行姿态调整,以使调整姿态后的目标三维模型的姿态与待标注物体的姿态一致,即在同一个视角下待标注物体和目标三维模型的图像相同,以便后续对目标三维模型与待标注物体的位置匹配,其中位置匹配是指通过使两者重合以获取对应的位置信息等。
步骤S104,在目标三维模型上至少确定两个第一特征点,在待标注物体上确定与第一特征点相匹配的第二特征点;其中,第一特征点用于限定目标三维模型的自由度,第二特征点用于限定待标注物体的自由度,以便于进行位置匹配,且,在保证目标三维模型和待标注物体重合的前提下,有利于减少操作步骤,提高工作效率。
步骤S105,根据第一特征点和第二特征点以及目标三维模型的尺寸信息,生成待标注物体的三维标注框。在进行位置匹配后,通过目标三维模型的尺寸信息,即可确定待标注物体在标注点云中的位置、姿态和尺寸,从而可简单的生成将待标注物体包括在内的三维标注框,同时有利于保证三维标注框与待标注物体的贴合度,提高得到的三维标注框的精确性。
综上所述,本申请的实施例通过预先建立的三维模型以及至少两个特征点即可实现对标注点云中的待标注物体进行快速、精确的定位,并结合三维模型的尺寸信息进行三维标注框的快速生成,提高了在标注点云中的进行三维点云标注的效率和精确度。
需要说明的是,上述实施例中所述的第一特征点的数量可由人工或机器根据三维模型的复杂程度进行设定,其中,该数量大于和/或等于能限定三维模型六个自由度的最小数量。如图2所示的水杯,其第一特征点(如图中A点和B点所示)的最小数量为两个。
参见图3,优选地,如上所述的三维点云标注方法,在获取预设场景下的标注点云中的待标注物体之前,还包括:
步骤S301,获取预设相机在一预设视点下拍摄的关于预设场景的场景数据;
步骤S302,根据场景数据以及预设相机的参数信息,得到预设场景下的标注点云。
在本申请的另一实施例中,在获取待标注物体之前,会获取预设相机在一预设视点下拍摄的关于预设场景的场景数据,并根据该场景数据以及预设相机的参数信息,生成对应的点云数据,所述点云数据优选为彩色点云数据。
优选地,上述的预设相机包括但不限于双目相机或激光雷达;上述的场景数据至少包括拍摄的RGB图像和与之对应的深度图像。
需要说明的是,在生成点云数据后,会在标注界面上显示该点云数据和该RGB图像,以便于工作人员基于该RGB图像对最终得到的三维标注框的准确性进行检测,以便及时进行调整,例如改变待标注物体的类别等,用以进一步保证最终得到的三维标注框的准确性。
参见图4,具体地,如上所述的三维点云标注方法,根据第一特征点和第二特征点以及目标三维模型的尺寸信息,生成待标注物体的三维标注框,包括:
步骤S401,根据第一特征点和第二特征点,确定待标注物体在预设场景下的位置信息和姿态信息;
步骤S402,根据位置信息、姿态信息和尺寸信息,生成三维标注框。
在本申请的另一实施例中,根据第一特征点和第二特征点以及目标三维模型的尺寸信息,生成待标注物体的三维标注框时,会首先根据每一对第一特征点和第二特征点,对待标注物体和目标三维模型进行匹配和计算,以确定待标注物体在预设场景下的位置信息和姿态信息,即三维标注框的位置信息和姿态信息,其中,位置信息可以表示为(Cx,Cy,Cz),姿态信息可以表示为(Rx,Ry,Rz)。进而结合目标三维模型的尺寸信息(Dx,Dy,Dz),即可构成该三维标注框。
可选地,如上所述的三维点云标注方法,在获取预设场景下的标注点云中的待标注物体之后,还包括:
当标注数据库中不存在目标三维模型时,确定待标注物体为待创建模型物体。
在本申请的再一实施例中,在获取到待标注物体后,若在标注数据库中未检测与之对应的目标三维模型时,则确定该待标注物体为待创建模型物体,无法直接对其进行三维点云标注。优选地,此时会生成对应的创建信号或警示信息以便创建对应该待标注物体的三维模型。
参见图5,优选地,如上所述的三维点云标注方法,在确定需要为一待创建模型物体进行模型创建时,方法还包括:
步骤S501,获取待创建模型物体在预设数量的拍摄角度下的参考场景数据,其中,预设数量的拍摄角度之间的转动角度等差且闭环设置;
步骤S502,分别根据每一个拍摄角度下的参考场景数据,得到每一个拍摄角度对应的参考点云数据;
步骤S503,根据预设的聚类算法,对参考点云数据进行处理,得到每一个拍摄角度下待创建模型物体的单角度点云;
步骤S504,分别对相邻两个拍摄角度对应的单角度点云进行配准处理,得到相邻两个拍摄角度之间的位姿变换矩阵;
步骤S505,根据每一个拍摄角度对应的单角度点云以及相邻两个拍摄角度之间的位姿变换矩阵,得到待创建模型物体的完整点云;
步骤S506,根据完整点云构建待创建模型物体的参考三维模型,并存储至标注数据库。
在本申请的一优选实施例中,在接收用户输入的关于一待创建模型物体的创建信号或得到上述确定待标注物体为待创建模型物体的结果时,会对待创建模型物体进行模型创建,具体包括:获取待创建模型物体在预设数量的拍摄角度下的参考场景数据,其中,该参考场景数据也包括RGB图像和对应的深度图像,可选地,在获取该参考场景数据时,预设相机的视点与上述预设场景下的场景数据时的视点相同,通过转动待创建模型物体以实现多个拍摄角度下的参考场景数据。在一具体实施例中,相邻拍摄角度之间的转动角度为90度。还需要说明的是,上述的视点至少能看到待创建模型物体的两个视图。
在得到多个拍摄角度下的参考场景数据后,会对每一个参考场景数据进行点云转化,得到对应的参考点云数据,由于当前需要的是构建待创建模型物体的三维模型,因此,会再次通过聚类算法对参考点云数据进行处理,滤除桌面等背景点云,得到每一个拍摄角度下待创建模型物体的单角度点云;由于相邻拍摄角度下的参考场景数据之间可通过转动实现切换,因此,通过对相邻的单角度点云进行配准处理,即可得到相邻的单角度点云之间的位姿变换矩阵。需要说明的是,该配准处理可以为人工配准,也可通过算法进行自动配准,其中进行自动配准的算法包括但不限于利用迭代最近点(Iterative Closest Point,简称ICP)算法。进一步的根据该单角度点云和位姿变换矩阵,即可确定该待创建模型物体的完整点云;进而根据该完整点云即可构建出对应该待创建模型物体的参考三维模型,从而将其存储至标注数据库中,在当对与该待创建模型物体相同或类似的目标待标注物体进行三维点云标注时,即可确定该参考三维模型为目标待标注物体的目标三维模型,以便于实现对目标待标注物体的快速标注。即通过创建需要进行标注的物体对应的三维模型,可提高对物体进行三维点云标注的效率。
参见图6,具体地,如上所述的三维点云标注方法,根据完整点云构建待创建模型物体的参考三维模型,包括:
步骤S601,以完整点云的中心为原点,根据预设的降维算法确定待创建模型物体的自身坐标系;
步骤S602,将完整点中每一个点的坐标转换为自身坐标系下的坐标,得到参考三维模型。
在本申请的另一实施例中,在根据完整点云构建待创建模型物体的参考三维模型时,会选取完整点云中的一参考点为坐标系原点,该参考点优先为完整点云的中心点,进而通过降维算法例如主成分分析(Principal Component Analysis,简称PCA)算法进行降维处理,即可确定待创建模型物体的自身坐标系,将完整点中每一个点的坐标转换为自身坐标系下的坐标,得到该参考三维模型。
进一步的,如上所述的三维点云标注方法,在确定待创建模型物体的自身坐标系之后,方法还包括:
根据输入的坐标系原点调整信号,调整自身坐标系的原点,得到更新后的自身坐标系。
在另一实施例中,为避免完整点云的中心作为坐标原点时存在某些点无法表示或表示不简便等的情况,技术人员可通过输入坐标系原点调整信号对该坐标系原点进行调整,并进而根据更新后的自身坐标系得到该参考三维模型。进一步的提高后续进行三维点云标注时的效率。
参见图7,本申请的另一实施例还提供了一种控制装置,包括:
第一处理模块701,用于获取预设场景下的标注点云中的待标注物体;
第二处理模块702,用于选择标注数据库中与待标注物体对应的目标三维模型以及目标三维模型的尺寸信息;
第三处理模块703,用于对目标三维模型进行姿态调整,使调整姿态后的目标三维模型的姿态与待标注物体的姿态一致;
第四处理模块704,用于在目标三维模型上至少确定两个第一特征点,在待标注物体上确定与第一特征点相匹配的第二特征点;
第五处理模块705,用于根据第一特征点和第二特征点以及尺寸信息,生成待标注物体的三维标注框。
优选地,如上所述的控制装置,还包括:
第六处理模块,用于获取预设相机在一预设视点下拍摄的关于预设场景的场景数据;
第七处理模块,用于根据场景数据以及预设相机的参数信息,得到预设场景下的标注点云。
具体地,如上所述的控制装置,第五处理模块,包括:
第一处理单元,用于根据第一特征点和第二特征点,确定待标注物体在预设场景下的位置信息和姿态信息;
第二处理单元,用于根据位置信息、姿态信息和尺寸信息,生成三维标注框。
可选地,如上所述的控制装置,还包括:
第八处理模块,用于当标注数据库中不存在目标三维模型时,确定待标注物体为待创建模型物体。
优选地,如上所述的控制装置,还包括:
第九处理模块,用于获取待创建模型物体在预设数量的拍摄角度下的参考场景数据,其中,预设数量的拍摄角度之间的转动角度等差且闭环设置;
第十处理模块,用于分别根据每一个拍摄角度下的参考场景数据,得到每一个拍摄角度对应的参考点云数据;
第十一处理模块,用于根据预设的聚类算法,对参考点云数据进行处理,得到每一个拍摄角度下待创建模型物体的单角度点云;
第十二处理模块,用于分别对相邻两个拍摄角度对应的单角度点云进行配准处理,得到相邻两个拍摄角度之间的位姿变换矩阵;
第十三处理模块,用于根据每一个拍摄角度对应的单角度点云以及相邻两个拍摄角度之间的位姿变换矩阵,得到待创建模型物体的完整点云;
第十四处理模块,用于根据完整点云构建待创建模型物体的参考三维模型,并存储至标注数据库。
具体地,如上所述的控制装置,第十四处理模块包括:
第三处理单元,用于以完整点云的中心为原点,根据预设的降维算法确定待创建模型物体的自身坐标系;
第四处理单元,用于将完整点中每一个点的坐标转换为自身坐标系下的坐标,得到参考三维模型。
进一步的,如上所述的控制装置,还包括:
第五处理单元,用于根据输入的坐标系原点调整信号,调整自身坐标系的原点,得到更新后的自身坐标系。
本申请的控制装置的实施例是与上述三维点云标注方法的实施例对应的控制装置,上述方法实施例中的所有实现手段均适用于该控制装置的实施例中,也能达到相同的技术效果。
本申请的又一实施例还提供了一种终端,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上所述的三维点云标注方法的步骤。
本申请的再一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上所述的三维点云标注方法的步骤。
此外,本申请可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含。
以上所述是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种三维点云标注方法,其特征在于,包括:
获取预设场景下标注点云中的待标注物体;
选择标注数据库中与所述待标注物体对应的目标三维模型;
对所述目标三维模型进行姿态调整,使调整姿态后的所述目标三维模型的姿态与所述待标注物体的姿态一致;
在所述目标三维模型上至少确定两个第一特征点,在所述待标注物体上确定与所述第一特征点相匹配的第二特征点;
根据所述第一特征点和所述第二特征点以及所述目标三维模型的尺寸信息,生成所述待标注物体的三维标注框。
2.根据权利要求1所述的三维点云标注方法,其特征在于,在所述获取预设场景下的标注点云中的待标注物体之前,还包括:
获取预设相机在一预设视点下拍摄的关于所述预设场景的场景数据;
根据所述场景数据以及所述预设相机的参数信息,得到所述预设场景下的所述标注点云。
3.根据权利要求1所述的三维点云标注方法,其特征在于,所述根据所述第一特征点和所述第二特征点以及所述目标三维模型的尺寸信息,生成所述待标注物体的三维标注框,包括:
根据所述第一特征点和所述第二特征点,确定所述待标注物体在所述预设场景下的位置信息和姿态信息;
根据所述位置信息、所述姿态信息和所述尺寸信息,生成所述三维标注框。
4.根据权利要求1所述的三维点云标注方法,其特征在于,在获取预设场景下的标注点云中的待标注物体之后,还包括:
当所述标注数据库中不存在所述目标三维模型时,确定所述待标注物体为待创建模型物体。
5.根据权利要求1或4所述的三维点云标注方法,其特征在于,在确定需要为一待创建模型物体进行模型创建时,所述方法还包括:
获取待创建模型物体在预设数量的拍摄角度下的参考场景数据,其中,预设数量的拍摄角度之间的转动角度等差且闭环设置;
分别根据每一个所述拍摄角度下的所述参考场景数据,得到每一个所述拍摄角度对应的参考点云数据;
根据预设的聚类算法,对所述参考点云数据进行处理,得到每一个所述拍摄角度下所述待创建模型物体的单角度点云;
分别对相邻两个所述拍摄角度对应的所述单角度点云进行配准处理,得到相邻两个所述拍摄角度之间的位姿变换矩阵;
根据每一个所述拍摄角度对应的所述单角度点云以及相邻两个所述拍摄角度之间的所述位姿变换矩阵,得到所述待创建模型物体的完整点云;
根据所述完整点云构建所述待创建模型物体的参考三维模型,并存储至所述标注数据库。
6.根据权利要求5所述的三维点云标注方法,其特征在于,所述根据所述完整点云构建所述待创建模型物体的参考三维模型包括:
以所述完整点云的中心为原点,根据预设的降维算法确定所述待创建模型物体的自身坐标系;
将所述完整点中每一个点的坐标转换为所述自身坐标系下的坐标,得到所述参考三维模型。
7.根据权利要求6所述的三维点云标注方法,其特征在于,在确定所述待创建模型物体的自身坐标系之后,所述方法还包括:
根据输入的坐标系原点调整信号,调整所述自身坐标系的原点,得到更新后的所述自身坐标系。
8.一种控制装置,其特征在于,包括:
第一处理模块,用于获取预设场景下的标注点云中的待标注物体;
第二处理模块,用于选择标注数据库中与所述待标注物体对应的目标三维模型以及所述目标三维模型的尺寸信息;
第三处理模块,用于对所述目标三维模型进行姿态调整,使调整姿态后的所述目标三维模型的姿态与所述待标注物体的姿态一致;
第四处理模块,用于在所述目标三维模型上至少确定两个第一特征点,在所述待标注物体上确定与所述第一特征点相匹配的第二特征点;
第五处理模块,用于根据所述第一特征点和所述第二特征点以及所述尺寸信息,生成所述待标注物体的三维标注框。
9.一种终端,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的三维点云标注方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的三维点云标注方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210500574.XA CN114596363B (zh) | 2022-05-10 | 2022-05-10 | 一种三维点云标注方法、装置及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210500574.XA CN114596363B (zh) | 2022-05-10 | 2022-05-10 | 一种三维点云标注方法、装置及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114596363A true CN114596363A (zh) | 2022-06-07 |
CN114596363B CN114596363B (zh) | 2022-07-22 |
Family
ID=81821235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210500574.XA Active CN114596363B (zh) | 2022-05-10 | 2022-05-10 | 一种三维点云标注方法、装置及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114596363B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816050A (zh) * | 2019-02-23 | 2019-05-28 | 深圳市商汤科技有限公司 | 物体位姿估计方法及装置 |
CN110047142A (zh) * | 2019-03-19 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机三维地图构建方法、装置、计算机设备及存储介质 |
CN111127422A (zh) * | 2019-12-19 | 2020-05-08 | 北京旷视科技有限公司 | 图像标注方法、装置、系统及主机 |
CN111612842A (zh) * | 2020-05-29 | 2020-09-01 | 贝壳技术有限公司 | 生成位姿估计模型的方法和装置 |
CN111783820A (zh) * | 2020-05-08 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 图像标注方法和装置 |
CN111950521A (zh) * | 2020-08-27 | 2020-11-17 | 深圳市慧鲤科技有限公司 | 一种增强现实交互的方法、装置、电子设备及存储介质 |
CN112034488A (zh) * | 2020-08-28 | 2020-12-04 | 北京海益同展信息科技有限公司 | 目标物体自动标注方法与装置 |
CN112505652A (zh) * | 2021-02-04 | 2021-03-16 | 知行汽车科技(苏州)有限公司 | 目标检测方法、装置及存储介质 |
CN112598805A (zh) * | 2020-12-24 | 2021-04-02 | 浙江商汤科技开发有限公司 | 一种提示信息展示方法、装置、设备及存储介质 |
CN112927349A (zh) * | 2021-02-22 | 2021-06-08 | 北京市商汤科技开发有限公司 | 三维虚拟特效的生成方法、装置、计算机设备及存储介质 |
US20210209807A1 (en) * | 2020-01-08 | 2021-07-08 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
CN113362382A (zh) * | 2020-03-04 | 2021-09-07 | 华为技术有限公司 | 三维重建方法和三维重建装置 |
CN114005149A (zh) * | 2020-07-13 | 2022-02-01 | 华为技术有限公司 | 一种目标角度检测模型的训练方法及装置 |
-
2022
- 2022-05-10 CN CN202210500574.XA patent/CN114596363B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816050A (zh) * | 2019-02-23 | 2019-05-28 | 深圳市商汤科技有限公司 | 物体位姿估计方法及装置 |
CN110047142A (zh) * | 2019-03-19 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机三维地图构建方法、装置、计算机设备及存储介质 |
CN111127422A (zh) * | 2019-12-19 | 2020-05-08 | 北京旷视科技有限公司 | 图像标注方法、装置、系统及主机 |
US20210209807A1 (en) * | 2020-01-08 | 2021-07-08 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
CN113362382A (zh) * | 2020-03-04 | 2021-09-07 | 华为技术有限公司 | 三维重建方法和三维重建装置 |
CN111783820A (zh) * | 2020-05-08 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 图像标注方法和装置 |
CN111612842A (zh) * | 2020-05-29 | 2020-09-01 | 贝壳技术有限公司 | 生成位姿估计模型的方法和装置 |
CN114005149A (zh) * | 2020-07-13 | 2022-02-01 | 华为技术有限公司 | 一种目标角度检测模型的训练方法及装置 |
CN111950521A (zh) * | 2020-08-27 | 2020-11-17 | 深圳市慧鲤科技有限公司 | 一种增强现实交互的方法、装置、电子设备及存储介质 |
CN112034488A (zh) * | 2020-08-28 | 2020-12-04 | 北京海益同展信息科技有限公司 | 目标物体自动标注方法与装置 |
CN112598805A (zh) * | 2020-12-24 | 2021-04-02 | 浙江商汤科技开发有限公司 | 一种提示信息展示方法、装置、设备及存储介质 |
CN112505652A (zh) * | 2021-02-04 | 2021-03-16 | 知行汽车科技(苏州)有限公司 | 目标检测方法、装置及存储介质 |
CN112927349A (zh) * | 2021-02-22 | 2021-06-08 | 北京市商汤科技开发有限公司 | 三维虚拟特效的生成方法、装置、计算机设备及存储介质 |
Non-Patent Citations (4)
Title |
---|
XIAOFENG WANG等: ""MVSTER: Epipolar Transformer for Efficient Multi-View Stereo"", 《ARXIV》 * |
XUPENG WANG等: ""Adversarial point cloud perturbations against 3D object detection in autonomous driving systems"", 《ELSEVIER》 * |
左琛: ""自动驾驶场景下点云的实例分割方法研究"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
李宗民等: ""点云场景下基于结构感知的车辆检测"", 《计算机辅助设计与图形学学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114596363B (zh) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3690815B1 (en) | Method, medium and apparatus for automatically labeling target object within image | |
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
WO2022068225A1 (zh) | 点云标注的方法、装置、电子设备、存储介质及程序产品 | |
US9208607B2 (en) | Apparatus and method of producing 3D model | |
JP6011102B2 (ja) | 物体姿勢推定方法 | |
WO2019042426A1 (zh) | 增强现实场景的处理方法、设备及计算机存储介质 | |
US20060088203A1 (en) | Method and apparatus for machine-vision | |
US20140192055A1 (en) | Method and apparatus for displaying video on 3d map | |
WO2022142214A1 (zh) | 车辆位姿确定方法、车辆控制方法及相应的装置、车辆、存储介质 | |
JP6096634B2 (ja) | 仮想現実を用いた3次元地図表示システム | |
JP2018091656A (ja) | 情報処理装置、計測装置、システム、算出方法、プログラムおよび物品の製造方法 | |
JP2022541977A (ja) | 画像のラベリング方法、装置、電子機器及び記憶媒体 | |
CN109740487B (zh) | 点云标注方法、装置、计算机设备和存储介质 | |
WO2024012333A1 (zh) | 位姿估计方法及相关模型的训练方法、装置、电子设备、计算机可读介质和计算机程序产品 | |
CN108430032B (zh) | 一种实现vr/ar设备位置共享的方法及设备 | |
KR20150107580A (ko) | 화상 처리 장치 및 화상 처리 방법 | |
CN113129362A (zh) | 一种三维坐标数据的获取方法及装置 | |
CN114596363B (zh) | 一种三维点云标注方法、装置及终端 | |
CN112767479A (zh) | 位置信息检测方法、装置、系统及计算机可读存储介质 | |
CN115847384B (zh) | 机械臂安全平面信息显示方法及相关产品 | |
WO2023103883A1 (zh) | 对象自动标注方法、装置、电子设备及存储介质 | |
JP2014199559A (ja) | 視点推定装置及びその分類器学習方法 | |
US20210042576A1 (en) | Image processing system | |
CN114608521A (zh) | 单目测距方法及装置、电子设备和存储介质 | |
CN116136408A (zh) | 室内导航方法、服务器、装置和终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |