CN116205978A - 三维目标物体映射图像确定方法、装置、设备及存储介质 - Google Patents
三维目标物体映射图像确定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116205978A CN116205978A CN202310151773.9A CN202310151773A CN116205978A CN 116205978 A CN116205978 A CN 116205978A CN 202310151773 A CN202310151773 A CN 202310151773A CN 116205978 A CN116205978 A CN 116205978A
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- target
- dimensional
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- 238000013499 data model Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 239000000084 colloidal system Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- FPIGOBKNDYAZTP-UHFFFAOYSA-N 1,2-epoxy-3-(4-nitrophenoxy)propane Chemical compound C1=CC([N+](=O)[O-])=CC=C1OCC1OC1 FPIGOBKNDYAZTP-UHFFFAOYSA-N 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G06T3/06—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Abstract
本发明提供一种三维目标物体映射图像确定方法、装置、设备及存储介质，通过获取相机参数、包含目标场景的点云数据和包含同一目标场景的初始图像数据，目标场景中包含有目标物体和标准参照物，基于点云数据确定标准参照物的点云中心，以构建用于将点云三维数据映射至二维图像中的相机模型，对初始图像数据进行掩膜提取，得到目标物体的目标图像区域，并基于相机模型、点云数据以及目标图像区域，得到目标物体的映射图像，将包含有目标物体的二维图像与包含有目标物体的三维点云信息进行结合，并将目标物体的三维点云信息映射到二维图像中，以得到目标物体的二维图像，从而实现在复杂环境中对目标物体的准确识别和定位。
Description
技术领域
本申请涉及计算机视觉感知和图像处理技术领域，具体涉及一种三维目标物体映射图像确定方法、装置、设备及存储介质。
背景技术
随着工业智能化的发展以及对中国工业实体实现智能转型升级，无人机、无人驾驶技术和工业巡检机器人等智能应用设备都出现在了中国的工业智造领域。在这些智能设备中，激光雷达和光学相机成为的代替人眼视觉进行感知作业的关键传感器，借助这些传感器，智能应用设备可以较好地在无人化场景中完成指定的作业(例如，智能巡检机器人日常巡视石油工厂的明火烟雾危险情况、无人机在江河航道监测航运安全情况、无人行车在仓库完成物品的调运装卸)。其中，在无人驾驶避障和无人行车装卸场景中，除了需要通过传感器感知到目标区域的坐标外，还需要根据坐标位置进行相应的避障、抓取货物的主动位移操作，这种操作恰恰需要准确的空间位置信息作为前提。
在一般环境中，通常采用光学相机采集目标环境的二维图像，或通过激光雷达扫描目标环境的三维信息，但是二维图像受限于图像采集视角的限制，无法得到目标环境的纵深信息，对目标物体的高度感知比较困难；而三维信息包含了目标物体的深度，却无法获悉其平面信息(如物体表面色彩信息)，因此二维图像和三维点云分别都无法准确得到目标物体的完整信息，从而无法实现对目标物体的准确识别和定位。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种三维目标物体映射图像确定方法、装置、设备及存储介质，以解决上述二维图像和三维点云分别都无法准确得到目标物体的完整信息从而无法实现对目标物体的准确识别和定位的技术问题。
本发明提供的一种三维目标物体映射图像确定方法，包括：获取相机参数、包含目标场景点云数据和包含同一目标场景的初始图像数据，所述目标场景包括目标物体和标准参照物；基于所述点云数据确定所述标准参照物的点云中心，以构建用于将点云数据映射至二维图像中的相机模型，所述相机模型是结合所述点云中心、相机参数和标准参照物的图像中心构建；对初始图像数据进行掩膜提取，得到所述目标物体的目标图像区域；基于所述相机模型、所述点云数据以及所述目标图像区域，得到所述目标物体的映射图像。
于本发明的一个实施例中，获取包含目标场景的点云数据和包含目标场景的初始图像数据，包括：在所述目标场景中放置多个标准参照物，所述标准参照物的高度可调节，且多个标准参照物中存在至少两个标准参照物的高度不同；扫描所述目标场景，并基于扫描得到的三维数据生成点云数据；采集所述目标场景的二维图像，并基于所述采集得到的二维图像确定初始图像数据。
于本发明的一个实施例中，基于所述点云数据确定所述标准参照物的点云中心，包括：将所述点云数据进行可视化处理，得到所述标准参照物在所述点云数据中的模拟图像；基于所述模拟图像确定模拟图像中心点，并将所述模拟图像中心点确定为所述标准参照物的点云中心。
于本发明的一个实施例中，构建用于将点云数据映射至二维图像中的相机模型，包括：基于所述点云中心点的坐标生成第一坐标集合，基于所述图像中心的坐标生成第二坐标集合，所述第一坐标集合和所述第二坐标集合存在一一映射关系；计算所述第一坐标集合、所述第二坐标集合以及所述相机参数，得到所述标准参照物从点云映射到二维图像的旋转矩阵和平移向量；根据所述旋转矩阵和所述平移向量生成相机模型。
于本发明的一个实施例中，对初始图像数据进行掩膜提取，得到所述目标物体的目标图像区域，包括：基于所述初始图像数据确定多张样本图像，所述样本图像中包含有目标物体；对所述样本图像中的目标物体进行标注，以在所述样本图像中确定目标区域，并将标注后的样本图像确定为样本数据集；基于所述样本数据集对数据模型进行训练，得到掩膜提取模型；将所述目标图像输入至所述掩膜提取模型，得到所述目标图像的掩膜信息。
于本发明的一个实施例中，基于所述相机模型、所述点云数据以及所述目标图像区域，得到所述目标物体的映射图像，包括：基于所述相机模型和所述点云数据，将所述点云数据映射至二维图像，得到全景图像，并基于所述全景图像的坐标生成第三坐标集合；将所述目标图像区域的坐标确定为第四坐标集合；将所述第三坐标集合的坐标与所述第四坐标集合的坐标进行匹配，得到重合坐标，所述重合坐标为所述第三坐标集合和所述第四坐标集合都存在的坐标；基于所述重合坐标，生成重合图像，并将所述重合图像确定为所述目标物体的映射图像。
于本发明的一个实施例中，得到所述目标物体的映射图像之后，还包括：基于所述重合坐标、所述相机模型，以及所述点云数据，确定被映射到二维图像上的目标点云坐标，并基于所述重合坐标得到所述重合坐标点的色彩值；将所述色彩值赋予所述目标点云坐标，得到新的点云特征集合。
本发明提供一种目标物体的二维图像确定装置，所述装置包括：数据获取模块，用于获取相机参数、包含目标场景点云数据和包含同一目标场景的初始图像数据，所述目标场景包括目标物体和标准参照物；相机模型构建模块，用于基于所述点云数据确定所述标准参照物的点云中心，以构建用于将点云数据映射至二维图像中的相机模型，所述相机模型是结合所述点云中心、相机参数和标准参照物的图像中心构建；掩膜提取模块，用于对初始图像数据进行掩膜提取，得到所述目标物体的目标图像区域；图像映射模块，用于基于所述相机模型、所述点云数据以及所述目标图像区域，得到所述目标物体的映射图像。
本发明提供一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的三维目标物体映射图像确定方法。
本发明提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上所述的三维目标物体映射图像确定方法。
本发明的有益效果：本发明中的一种三维目标物体映射图像确定方法、装置、设备及存储介质，通过获取相机参数、包含目标场景点云数据和包含目标场景的初始图像数据，基于点云数据确定所述标准参照物的点云中心，以构建用于将点云数据映射至二维图像中的相机模型，对初始图像数据进行掩膜提取，得到目标物体的目标图像区域，基于相机模型、点云数据以及目标图像区域，得到目标物体的映射图像，将包含有目标物体的二维图像与包含有目标物体的三维点云信息进行结合，使得三维信息能在二维图像上映射，将目标物体的三维点云信息映射到二维图像中，得到目标物体的二维图像，从而实现在复杂环境中对目标物体的准确识别和定位。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见的，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请的一示例性实施例示出的三维目标物体映射图像确定方法的实施环境示意图；
图2是本申请的一示例性实施例示出的三维目标物体映射图像确定流程图；
图3是本申请的一示例性实施例示出的点云信息和图像数据的采集环境示意图；
图4是本申请的一示例性实施例示出的相机模型构建流程图；
图5是本申请的一示例性实施例示出的掩膜提取示意图；
图6是本申请的一示例性实施例示出的掩膜提取流程图；
图7(a)是本申请的一示例性实施例示出的初始点云信息；
图7(b)是本申请的一示例性实施例示出的彩色二维图像；
图7(c)是本申请的一示例性实施例示出的Solov2输出的掩膜信息；
图7(d)是本申请的一示例性实施例示出的具有RGB值的点云信息；
图8是本申请的一示例性实施例示出的目标图像映射流程图；
图9是本申请的一示例性实施例示出的三维目标物体映射图像确定装置的框图；
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
首先需要说明的是，Opencv是计算机视觉领域的一个图像和视频处理库，用于各种图像和视频分析，如面部识别和检测，车牌阅读，照片编辑，高级机器人视觉，光学字符识别等。CloudCompare是一个点云可视化的软件，用于实现一些基础的点云可视化操作。EPnP是一种非迭代PnP算法，它使用4对不共面的(对于共面的情况只需要3对)匹配点，是目前最有效的PnP求解算法。python是一种常见的计算机编程语言，其包括多种常用的工具包，用于实现一些基础功能，其中包括labelme工具包。labelme是麻省理工(MIT)的计算机科学和人工智能实验室(CSAIL)研发的图像标注工具，人们可以使用该工具创建定制化标注任务或执行图像标注。SOLO(Segmenting Objects by Locations)算法的核心思想是将分割问题转化为位置分类问题，从而做到不需要anchor(锚框)及bounding box(边界框)，而是根据实例的位置和大小，对每个实例的像素点赋予一个类别从而达到对实例对象进行分割的效果。SOLOv2是基于SOLO的改进算法。
图1是本申请的一示例性实施例示出的三维目标物体映射图像确定方法的实施环境示意图。
如图1所示，系统架构可以包括三维点云采集装置101、二维图像采集装置102以及计算机设备103，其中，三维点云采集装置101可以是激光雷达扫描装置，二维图像采集装置102可以是光学相机装置，三维点云采集装置101和二维图像采集装置102还可以是集成在同一设备的任意可实现三维信息扫描或二维信息采集的装置，本发明不对此做任何限制，计算机设备103可以是台式图形处理器(Graphic Processing Unit，GPU)计算机、GPU计算集群、神经网络计算机等中的至少一种。相关技术人员可以通过三维点云采集装置101、二维图像采集装置102得到包含目标物体在内的目标场景的三维点云数据和二维图像信息，并通过计算机设备103对相关数据进行处理，得到三维点云数据到二维图像信息的映射关系，从而实现目标物体从三维点云到二维图像的映射，得到三维目标物体的二维图像，实现对三维目标物体的定位和识别。
如图2所示，在一示例性的实施例中，三维目标物体映射图像确定方法至少包括步骤S210至步骤S240，详细介绍如下：
步骤S210，获取相机参数、包含目标场景点云数据和包含同一目标场景的初始图像数据，目标场景包括目标物体和标准参照物。
在本发明的一个实施例中，获取包含目标场景的点云数据和包含目标场景的初始图像数据，包括：在目标场景中放置多个标准参照物，标准参照物的高度可调节，且多个标准参照物中存在至少两个标准参照物的高度不同；扫描目标场景，并基于扫描得到的三维数据生成点云数据；采集目标场景的二维图像，并基于采集得到的二维图像确定初始图像数据。
图3是本申请的一示例性实施例示出的点云信息和图像数据的采集环境示意图。如图3所示，图中包括有左右两侧的行车轨道，在行车轨道的前方有一个无人行车横梁，横梁上安装有光学相机装置301和激光雷达装置302，在行车轨道和无人横梁三面包围的中间(目标环境)中放置有多个标准参照物。
在本发明的一个实施例中，首先准备好多个支架和圆形胶质盘作为标准参照物，其中，支架的高度可调节，且支架的数量和圆形胶质盘的数量一致且超过5个。将圆形胶质盘放置在支架上，并将支架随机放置在目标场景之中，其中支架的高度可根据以下公式计算得到：
其中，Hnum表示支架的个数，
表示目标物体a的点云三维坐标z轴(高度)从地面参考系开始计算的最大值，/>
表示目标物体a的点云三维坐标z轴从地面参考系开始计算的最小值，i为计数单位，与支架的个数Hnum相关，从1开始，到Hnum结束，heighti表示第i个支架所需放置的高度。
将标准参照物按照计算得到的高度分别安置在目标环境之后，通过启动无人行车横梁上的三维激光雷达和光学相机，实现数据采集；首先利用无人行车上的三维激光雷达扫描作业场景，生成包含位姿配准工具在内的三维点云信息，并在同一时刻采集二维图像数据信息，且保证生成的图像中都包含完整的姿配准工具在内，由此构建出三维点云数据PointCloud和二维图像数据Imgrec。应当理解的是，此处提及的同一时刻指的是三维点云数据的采集时刻和二维图像的采集时刻相同，但在实际操作过程中，由于设备延迟、人为操作等主客观因素，并不能保证时间的绝对一致，故此处并不对“同一时刻”做严格限制，即三维点云数据的采集时间二维图像的采集时间保持在较小时间差之内即可，本发明并不对此时间做任何限制。
步骤S220，基于点云数据确定标准参照物的点云中心，以构建用于将点云数据映射至二维图像中的相机模型，相机模型是结合点云中心、相机参数和标准参照物的图像中心构建。
图4是本申请的一示例性实施例示出的相机模型构建流程图，如图4所示，首先在待作业场景(即目标场景)中放置位姿配准工具(即标准参考物)，然后分别通过扫描位姿场景获得初始点云数据和拍摄位姿场景获得二维初始图像数据，将得到的三维点云数据通过ClouldCompare(点云分割)工具获取配准原点中心三维坐标集合(即点云中心点的坐标集合)，将得到的二维初始图像数据经过Opencv(一个图像和视频处理库)图像处理获取配准原点中心二维集合(即图像中心的坐标集合)，然后基于得到的点云中心坐标集合、图像中心坐标集合以及相机参数进行EPNP(一种非迭代PnP算法)求解，得到相机模型。
应当理解的是，基于点云数据确定标准参照物的点云中心，包括：将点云数据进行可视化处理，得到标准参照物在点云数据中的模拟图像；基于模拟图像确定模拟图像中心点，并将模拟图像中心点确定为标准参照物的点云中心。
在本发明的一个实施例中，构建用于将点云数据映射至二维图像中的相机模型，包括：基于点云中心点的坐标生成第一坐标集合，基于图像中心点的坐标生成第二坐标集合，第一坐标集合和第二坐标集合存在一一映射关系；计算第一坐标集合、第二坐标集合以及相机参数，得到标准参照物从点云映射到二维图像的旋转矩阵和平移向量；根据旋转矩阵和平移向量生成相机模型。
在本发明的一个实施例中，在方案中使用的光学相机其出厂配置的内参为Amatrix，则基于上述的通过在光学相机和激光雷达在目标环境中采集得到的点云PointCloud和图像Imgrec，使用图像处理工具包Opencv(计算机视觉领域的一个图像和视频处理库)对图像Imgrec进行圆形区域特征提取(圆形区域由圆形胶质盘成像而来)，提取每个圆形区域的圆点中心图像坐标(图像中心点)并形成第二集合Origini(i＝1,2,3,...,Hnum)；然后利用CloudCompare(点云可视化工具)将PointCloud点云文件进行可视化展示，并使用的裁剪工具将圆形胶质盘区域进行剪切，求取每个圆形胶质盘的中心点坐标，生成第一集合Pi O(i＝1,2,3,...,Hnum)，保证每个中心点与Origini(i＝1,2,3,...,Hnum)的图像圆点一一映射；然后再基于Pi O(i＝1,2,3,...,Hnum)、Origini(i＝1,2,3,...,Hnum)以及相机参数Amatrix进行EPNP(一种非迭代PnP算法)求解，其公式如下：
Rmatrix,Tvector＝EPNP(Amatrix,Pi O,Origini) 式(2)，
其中，Rmatrix为位姿相关的旋转矩阵，Tvector为位姿相关的平移向量，Amatrix为相机参数，Pi 0为第一集合，Orrigini为第二集合。
根据标准参照物分比我在二维图像和三维点云中的信息，得到该三维点云和二维图像之间的映射关系，即得到旋转矩阵Rmatrix和平移向量Tvector之后，即可构建相机参数，得到相机模型的公式如下：
Image2d＝dot(Amatrix,Rmatrix|Tvector)*PointCloud3d 式(3)，
其中，dot()表示矩阵乘法公式，Rmatrix|Tvector表示位姿相关的旋转平移向量的联合矩阵，Amatrix表示相机参数，PointCloud3d表示三维点云坐标，Image2d表示二维图像坐标。
步骤S230，对初始图像数据进行掩膜提取，得到目标物体的目标图像区域。
图5是本申请的一示例性实施例示出的掩膜提取示意图，如图5所示，在掩膜提取流程中共涉及彩色二维图像和Solov2模型结构两部分，其中501是彩色图像，502是图像目标区域掩膜特征。将彩色图像和标注文件作为输入项，输入到Solov2实例分割模型中，经过FNC网络特征金字塔之后又经过二分支特征结果处理，得到输出的如图7(c)所示的图像目标区域掩膜特征。其中，FNC网络特征金字塔包括有mask feature(掩模图形单元)，分支特征则包括卷积核区域分支和掩膜特征分支。
图6是本申请的一示例性实施例示出的掩膜提取流程图，如图6所示，首先拍摄作业场景(即目标场景)的图像，以获得初始二维图像数据，然后将得到的二维图像数据使用Lablme工具标注目标区域，然后将标注后的数据经Solov2实例分割网络模型，生成目标区域掩膜，然后再基于得到的目标区域掩膜得到掩膜区域的二维图像坐标。
在本发明的一个实施例中，对初始图像数据进行掩膜提取，得到目标物体的目标图像区域，包括：基于初始图像数据确定多张样本图像，样本图像中包含有目标物体；对样本图像中的目标物体进行标注，以在样本图像中确定目标区域，并将标注后的样本图像确定为样本数据集；基于样本数据集对数据模型进行训练，得到掩膜提取模型；将目标图像输入至掩膜提取模型，得到目标图像的掩膜信息。
在本发明的一个实施例中，在无人行车作业的场景下，使用光学相机传感器拍摄作业时的目标场景的图像，整理形成图像数据集合Dataimg；然后使用python工具包labelme(一种图像标注工具)对Dataimg中的每一张图像进行标注，将图像中的目标区域的面积形状进行记录，并形成json标注文件，将所有标注文件整理为标签数据集labelimg，确认每一张图像对应唯一的标注文件；然后再将Dataimg和labelimg作为深度网络模型的输入，输入到Solov2目标实例分割网络中，利用深度特征提取的方式，构建特征表示工程，其公式如下：
Maskimg＝Solov2(Dataimg,labelimg) 式(4)，
其中，Maskimg表示网络模型结构输出的特征信息，Solov2()表示一种图像分割算法，Dataimg表示图像数据集合，labelimg表示标签数据集。
需要说明的是，在公式(4)中，输出的尺寸大小与原输入图像的尺寸大小一致，输出特征的通道维度由标注文件标注的目标类别数量决定。
步骤S240，基于相机模型、点云数据以及目标图像区域，得到目标物体的映射图像。
在本发明的一个实施例中，基于相机模型、点云数据以及目标图像区域，得到目标物体的映射图像，包括：基于相机模型和点云数据，将点云数据映射至二维图像，得到全景图像，并基于全景图像的坐标生成第三坐标集合；将目标图像区域的坐标确定为第四坐标集合；将第三坐标集合的坐标与第四坐标集合的坐标进行匹配，得到重合坐标，重合坐标为第三坐标集合和第四坐标集合都存在的坐标；基于重合坐标，生成重合图像，并将重合图像确定为目标物体的映射图像。
应当理解的是，得到目标物体的映射图像之后，还包括：基于重合坐标、相机模型，以及点云数据，确定被映射到二维图像上的目标点云坐标，并基于重合坐标得到重合坐标点的色彩值；将色彩值赋予目标点云坐标，得到新的点云特征集合。
图7是本申请的一示例性实施例示出的目标图像映射流程示意图，其中图7(a)是初始点云信息进行可视化展示的图像形态，图7(b)在一实施例中采集的初始二维图像，其图像为彩色图像；图7(c)是将彩色图像和标注文件作为输入，输入到Solov2实例分割模型中，经过FNC网络特征金字塔，经过二分支特征结果处理后，得到输出的掩膜信息；图7(d)则是将目标区域掩膜的RGB值信息扩展到点云的RGB维度上，得到的映射上图像RGB特征的新点云特征。
图8是本申请的一示例性实施例示出的目标图像映射流程图，如图8所示，首先扫描作业场景(及目标场景)获得初始三维点云数据，并基于相机模型将得到的三维点云映射到二维图像中，得到二维全景图像，然后将得到的二维全景图像的二维坐标和掩膜区域的二维图像坐标做比较，判断其中的坐标是否是既出现在二维全景图像的二维坐标中又出现在掩膜区域的二维图像坐标中的重合坐标，若不是重合坐标则不做任何处理，流程结束；若是重合坐标，则将重合坐标的图像信息的RGB信息扩充到对应的三维坐标的第四维度，以此生成新的点云特征。
在本发明的一个实施例中，根据上述信息得到目标物体所在区域的掩膜信息Maskimg，该掩膜信息由0、1实值表示，0表示该坐标位置没有目标物体，1表示该坐标位置有目标物体，由此提取出含有目标物体的坐标集合，其公式如下：
其中，axis()表示提取二维图像坐标的算法，[Maskimg＞0]表示只提取含有目标区域的图像坐标，
表示提取到的含有目标物体的坐标集合，Dataimg表示图像数据集合。
然后，根据公式(3)对初始点云数据进行映射，得到二维全景图像，其公式如下：
Img2d＝dot(Amatrix,Rmatrix|Tvector)*PointCloud 式(6)，
其中，dot()表示矩阵乘法公式，Rmatrix|Tvector表示位姿相关的旋转平移向量的联合矩阵，Amatrix表示相机参数，PointCloud表示初始点云数据，Image2d表示二维全景图像的二维坐标。
然后，再将
与Img2d进行比对统计，如果Img2d中的二维坐标在/>
中存在，则可以说明该三维点云点映射到了二维图像的目标区域中，其对比公式如下：
其中，
表示如果Img2d中的二维坐标在/>
中存在，就将点云PointCloud中的对应三维点云坐标保存到/>
集合中，imgrgb表示将匹配上的图像坐标点的RGB值也对应保存到/>
集合中，/>
表示为映射上图像RGB特征的新点云特征。
图9是本申请的一示例性实施例示出的三维目标物体映射图像确定装置的框图。该装置可以应用于图1所示的实施环境，并具体配置在智能终端103中。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。
如图9所示，该示例性的三维目标物体映射图像确定装置包括：数据获取模块910，相机模型构建模块920，掩膜提取模块930，图像映射模块940。
数据获取模块910，用于获取相机参数、包含目标场景点云数据和包含目标场景的初始图像数据，目标场景包括目标物体和标准参照物；相机模型构建模块920，用于基于点云数据确定标准参照物的点云中心，以构建用于将点云数据映射至二维图像中的相机模型，相机模型是结合点云中心、相机参数和标准参照物的图像中心构建；掩膜提取模块930，用于对初始图像数据进行掩膜提取，得到目标物体的目标图像区域；图像映射模块940，用于基于相机模型、点云数据以及目标图像区域，得到目标物体的映射图像。
需要说明的是，上述实施例所提供的三维目标物体映射图像确定装置与上述实施例所提供的三维目标物体映射图像确定方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的三维目标物体映射图像确定装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的三维目标物体映射图像确定方法。
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图10示出的电子设备的计算机系统1000仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1000包括中央处理单元(Central Processing Unit，CPU)1001，其可以根据存储在只读存储器(Read-OnlyMemory，ROM)1002中的程序或者从储存部分1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM1003中，还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。
以下部件连接至I/O接1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的储存部分1008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入储存部分1008。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前所述的三维目标物体映射图像确定方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的三维目标物体映射图像确定方法。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种三维目标物体映射图像确定方法，其特征在于，所述方法包括：
获取相机参数、包含目标场景的点云数据和包含同一目标场景的初始图像数据，所述目标场景包括目标物体和标准参照物；
基于所述点云数据确定所述标准参照物的点云中心，以构建用于将点云数据映射至二维图像中的相机模型，所述相机模型是结合所述点云中心、相机参数和标准参照物的图像中心构建；
对初始图像数据进行掩膜提取，得到所述目标物体的目标图像区域；
基于所述相机模型、所述点云数据以及所述目标图像区域，得到所述目标物体的映射图像。
2.根据权利要求1所述的三维目标物体映射图像确定方法，其特征在于，获取包含目标场景的点云数据和包含目标场景的初始图像数据，包括：
在所述目标场景中放置多个标准参照物，所述标准参照物的高度可调节，且多个标准参照物中存在至少两个标准参照物的高度不同；
扫描所述目标场景，并基于扫描得到的三维数据生成点云数据；
采集所述目标场景的二维图像，并基于所述采集得到的二维图像确定初始图像数据。
3.根据权利要求1所述的三维目标物体映射图像确定方法，其特征在于，基于所述点云数据确定所述标准参照物的点云中心，包括：
将所述点云数据进行可视化处理，得到所述标准参照物在所述点云数据中的模拟图像；
基于所述模拟图像确定模拟图像中心，并将所述模拟图像中心确定为所述标准参照物的点云中心。
4.根据权利要求3所述的三维目标物体映射图像确定方法，其特征在于，构建用于将点云数据映射至二维图像中的相机模型，包括：
基于所述点云中心点的坐标生成第一坐标集合，基于所述图像中心的坐标生成第二坐标集合，所述第一坐标集合和所述第二坐标集合存在一一映射关系；
计算所述第一坐标集合、所述第二坐标集合以及所述相机参数，得到所述标准参照物从点云映射到二维图像的旋转矩阵和平移向量；
根据所述旋转矩阵和所述平移向量生成相机模型。
5.根据权利要求1所述的三维目标物体映射图像确定方法，其特征在于，对初始图像数据进行掩膜提取，得到所述目标物体的目标图像区域，包括：
基于所述初始图像数据确定多张样本图像，所述样本图像中包含有目标物体；
对所述样本图像中的目标物体进行标注，以在所述样本图像中确定目标区域，并将标注后的样本图像确定为样本数据集；
基于所述样本数据集对数据模型进行训练，得到掩膜提取模型；
将所述目标图像输入至所述掩膜提取模型，得到所述目标图像的掩膜信息。
6.根据权利要求1所述的三维目标物体映射图像确定方法，其特征在于，基于所述相机模型、所述点云数据以及所述目标图像区域，得到所述目标物体的映射图像，包括：
基于所述相机模型和所述点云数据，将所述点云数据映射至二维图像，得到全景图像，并基于所述全景图像的坐标生成第三坐标集合；
将所述目标图像区域的坐标确定为第四坐标集合；
对所述第三坐标集合的坐标和所述第四坐标集合的坐标进行匹配，得到重合坐标，所述重合坐标为所述第三坐标集合和所述第四坐标集合都存在的坐标；
基于所述重合坐标，生成重合图像，并将所述重合图像确定为所述目标物体的映射图像。
7.根据权利要求1-6任一项所述的三维目标物体映射图像确定方法，其特征在于，得到所述目标物体的映射图像之后，还包括：
基于所述重合坐标、所述相机模型，以及所述点云数据，确定被映射到二维图像上的目标点云坐标，并基于所述重合坐标得到所述重合坐标点的色彩值；
将所述色彩值赋予所述目标点云坐标，得到新的点云特征集合。
8.一种三维目标物体映射图像确定装置，其特征在于，所述装置包括：
数据获取模块，用于获取相机参数、包含目标场景的点云数据和包含同一目标场景的初始图像数据，所述目标场景包括目标物体和标准参照物；
相机模型构建模块，用于基于所述点云数据确定所述标准参照物的点云中心，以构建用于将点云数据映射至二维图像中的相机模型，所述相机模型是结合所述点云中心、相机参数和标准参照物的图像中心构建；
掩膜提取模块，用于对初始图像数据进行掩膜提取，得到所述目标物体的目标图像区域；
图像映射模块，用于基于所述相机模型、所述点云数据以及所述目标图像区域，得到所述目标物体的映射图像。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至7中任一项所述的三维目标物体映射图像确定方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至7中任一项所述的三维目标物体映射图像确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310151773.9A CN116205978A (zh) | 2023-02-22 | 2023-02-22 | 三维目标物体映射图像确定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310151773.9A CN116205978A (zh) | 2023-02-22 | 2023-02-22 | 三维目标物体映射图像确定方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116205978A true CN116205978A (zh) | 2023-06-02 |
Family
ID=86518702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310151773.9A Pending CN116205978A (zh) | 2023-02-22 | 2023-02-22 | 三维目标物体映射图像确定方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116205978A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433881A (zh) * | 2023-06-12 | 2023-07-14 | 合肥联宝信息技术有限公司 | 二维图像的获得方法、装置、电子设备及存储介质 |
| CN116494253A (zh) * | 2023-06-27 | 2023-07-28 | 北京迁移科技有限公司 | 目标物体抓取位姿获取方法及机器人抓取系统 |
| CN116563476A (zh) * | 2023-07-10 | 2023-08-08 | 苏州数算软云科技有限公司 | 云图的显示方法、装置、电子设备及计算机可读存储介质 |
| CN117218456A (zh) * | 2023-11-07 | 2023-12-12 | 杭州灵西机器人智能科技有限公司 | 一种图像标注方法、系统、电子设备和存储介质 |
-
2023
- 2023-02-22 CN CN202310151773.9A patent/CN116205978A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433881A (zh) * | 2023-06-12 | 2023-07-14 | 合肥联宝信息技术有限公司 | 二维图像的获得方法、装置、电子设备及存储介质 |
| CN116433881B (zh) * | 2023-06-12 | 2023-10-13 | 合肥联宝信息技术有限公司 | 二维图像的获得方法、装置、电子设备及存储介质 |
| CN116494253A (zh) * | 2023-06-27 | 2023-07-28 | 北京迁移科技有限公司 | 目标物体抓取位姿获取方法及机器人抓取系统 |
| CN116494253B (zh) * | 2023-06-27 | 2023-09-19 | 北京迁移科技有限公司 | 目标物体抓取位姿获取方法及机器人抓取系统 |
| CN116563476A (zh) * | 2023-07-10 | 2023-08-08 | 苏州数算软云科技有限公司 | 云图的显示方法、装置、电子设备及计算机可读存储介质 |
| CN116563476B (zh) * | 2023-07-10 | 2023-09-12 | 苏州数算软云科技有限公司 | 云图的显示方法、装置、电子设备及计算机可读存储介质 |
| CN117218456A (zh) * | 2023-11-07 | 2023-12-12 | 杭州灵西机器人智能科技有限公司 | 一种图像标注方法、系统、电子设备和存储介质 |
| CN117218456B (zh) * | 2023-11-07 | 2024-02-02 | 杭州灵西机器人智能科技有限公司 | 一种图像标注方法、系统、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116205978A (zh) | 三维目标物体映射图像确定方法、装置、设备及存储介质 | |
| CN110221690B (zh) | 基于ar场景的手势交互方法及装置、存储介质、通信终端 | |
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| CN110163064B (zh) | 一种道路标志物的识别方法、装置及存储介质 | |
| Zhai et al. | Synthetic data augmentation for pixel-wise steel fatigue crack identification using fully convolutional networks | |
| EP3989160A1 (en) | Pathological section image processing method, apparatus, system, and storage medium | |
| EP3340184A1 (en) | Fast rendering of quadrics | |
| CN110428490B (zh) | 构建模型的方法和装置 | |
| CN112639846A (zh) | 一种训练深度学习模型的方法和装置 | |
| CN110910452B (zh) | 一种基于深度学习的低纹理工业零件位姿估计方法 | |
| CN110133443B (zh) | 基于平行视觉的输电线路部件检测方法、系统、装置 | |
| US20230005278A1 (en) | Lane extraction method using projection transformation of three-dimensional point cloud map | |
| Chen et al. | Registering georeferenced photos to a building information model to extract structures of interest | |
| CN108597034B (zh) | 用于生成信息的方法和装置 | |
| CN110832542A (zh) | 识别处理设备、识别处理方法和程序 | |
| CN116229451A (zh) | 一种三维目标检测方法、装置、设备及存储介质 | |
| Jurado-Rodríguez et al. | Semantic segmentation of 3D car parts using UAV-based images | |
| Wang et al. | Fusion Algorithm of Laser-Point Clouds and Optical Images | |
| CN114037987A (zh) | 一种废钢智能识别方法、装置、介质及设备 | |
| Buls et al. | Generation of synthetic training data for object detection in piles | |
| CN112639822A (zh) | 一种数据处理方法及装置 | |
| Grimson et al. | Computer vision applications | |
| CN114882085A (zh) | 一种基于单一立方体三维点云配准方法及系统 | |
| WO2021114775A1 (en) | Object detection method, object detection device, terminal device, and medium | |
| CN113870412A (zh) | 一种航空场景图像的处理方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |