CN115880470B - 3d图像数据的生成方法、装置、设备及存储介质 - Google Patents

3d图像数据的生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115880470B
CN115880470B CN202310214758.4A CN202310214758A CN115880470B CN 115880470 B CN115880470 B CN 115880470B CN 202310214758 A CN202310214758 A CN 202310214758A CN 115880470 B CN115880470 B CN 115880470B
Authority
CN
China
Prior art keywords
object frame
image
center point
camera
dataset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310214758.4A
Other languages
English (en)
Other versions
CN115880470A (zh
Inventor
朱朝
刘国清
杨广
王启程
程飞洋
郑伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co ltd
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202310214758.4A priority Critical patent/CN115880470B/zh
Publication of CN115880470A publication Critical patent/CN115880470A/zh
Application granted granted Critical
Publication of CN115880470B publication Critical patent/CN115880470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本申请公开了一种3D图像数据的生成方法、装置、设备及存储介质，通过获取已知数据集和当前相机内参，已知数据集包括在数据集相机内参下的多个第一3D图像；根据数据集相机内参，确定第一3D图像中的物体框在第一3D图像中的第一物体框信息；将第一物体框信息转换为在当前相机内参下的第二物体框信息，得到第二3D图像；对第二3D图像进行数据增强，得到第三3D图像，其中物体框在第三3D图像中的第三物体框信息作为第三3D图像的标签信息。实现了采用物体框的中心点在特定内参下计算3D目标物体的标签，以将不同相机内参下的数据进行转换，有效的解决不同摄像机之间相机内参不一致的问题。

Description

3D图像数据的生成方法、装置、设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种3D图像数据的生成方法、装置、设备及存储介质。
背景技术
在真实世界中，当自动驾驶汽车需要在道路上平稳安全地行驶时，其必须具有周围物体的准确3D信息才能做出安全的决策。因此，3D物体检测在机器人应用中变得越来越重要。其中大多数最先进算法都依赖于激光雷达点云提供的准确的3D信息，但是在每辆车上安装昂贵的激光雷达是一个沉重的负担。因此，单目3D物体检测作为一种简单而廉价的检测方法成为热门，但是其训练数据是影响检测精度的重要因素。
现实生活中，3Dbox的数据标注非常费时费力导致3D数据集的样本数量非常有限，若需要训练出比较好的3D检测模型，则在工程代码中利用已有的公开数据集如或者利用数据增强的方式进行数据扩展。目前，现有的单目3D检测方法中如SMOKE、FCOS3D大多只是利用左右翻转的数据增强方法，无法有效的增加样本的多样性，从而导致3D检测模型无法很好的应用于自己的数据集上或者说训练得到的3Dbox只是个平均的结果。
发明内容
本申请提供了一种3D图像数据的生成方法、装置、设备及存储介质，以解决当前应用于3D检测的数据增强方法无法提高3D检测模型的检测性能的技术问题。
为了解决上述技术问题，第一方面，本申请提供了一种3D图像数据的生成方法，包括：
获取已知数据集和当前相机内参，所述已知数据集包括在数据集相机内参下的多个第一3D图像；
根据所述数据集相机内参，确定所述第一3D图像中的物体框在所述第一3D图像中的第一物体框信息，所述第一物体框信息包括第一中心点坐标、物体框尺寸和图像视觉角；
将所述第一物体框信息转换为在所述当前相机内参下的第二物体框信息，得到第二3D图像，所述第二物体框信息包括第二中心点坐标、所述物体框尺寸和目标旋转角；
对所述第二3D图像进行数据增强，得到第三3D图像，其中所述物体框在所述第三3D图像中的第三物体框信息作为所述第三3D图像的标签信息。
在一些实现方式中，所述根据所述数据集相机内参，确定所述第一3D图像中的物体框在所述第一3D图像中的第一物体框信息，包括：
读取所述物体框在所述数据集相机内参下的中心点坐标、物体框尺寸和旋转角；
利用预设的第一内参转换函数，根据所述数据集相机内参，对所述数据集相机内参下的中心点坐标和物体框尺寸进行转换，得到所述物体框在所述第一3D图像中的第一中心点坐标，所述第一中心点坐标包括物体框中心点坐标和底部中心点坐标；
利用预设的第一角度关系函数，根据所述数据集相机内参下的物体框尺寸和旋转角，计算所述图像视觉角。
在一些实现方式中，所述第一内参转换函数包括：
Figure SMS_1
；/>
Figure SMS_2
；
所述第一角度关系函数为：
Figure SMS_3
；
其中，
Figure SMS_4
为数据集相机内参，/>
Figure SMS_5
为物体框在数据集相机内参下的中心点坐标，
Figure SMS_6
为物体框在第一3D图像中的物体框中心点坐标，/>
Figure SMS_7
为物体框在第一3D图像中的底部中心点坐标，/>
Figure SMS_8
为物体框高度，/>
Figure SMS_9
为图像视觉角，/>
Figure SMS_10
为物体框在数据集相机内参下的旋转角。
在一些实现方式中，所述将所述第一物体框信息转换为在所述当前相机内参下的第二物体框信息，得到第二3D图像，包括：
利用预设的第二内参转换函数，根据所述当前相机内参，对所述物体框在所述第一3D图像中的第一中心点坐标进行转换，得到所述物体框在所述当前相机内参下的第二中心点坐标；
利用预设的第二角度关系函数，根据所述第二中心点坐标和所述图像视觉角，计算所述物体框在所述当前相机内参下的目标旋转角。
在一些实现方式中，所述第二内参转换函数包括：
Figure SMS_11
；/>
Figure SMS_12
；
所述第二角度关系函数为：
Figure SMS_13
；
其中，
Figure SMS_14
为当前相机内参，/>
Figure SMS_15
为物体框在数据集当前相机内参下的中心点坐标，/>
Figure SMS_16
为物体框在第一3D图像中的物体框中心点坐标，/>
Figure SMS_17
为物体框在第一3D图像中的底部中心点坐标，/>
Figure SMS_18
为物体框高度，/>
Figure SMS_19
为图像视觉角，/>
Figure SMS_20
为目标旋转角。
在一些实现方式中，所述对所述第二3D图像进行数据增强，得到第三3D图像，包括：
利用预设增强函数，确定所述第二3D图像的旋转变换矩阵；
基于所述旋转变换矩阵，对所述第二3D图像进行数据增强，得到第三3D图像，并基于所述旋转变换矩阵和所述第二物体框信息，确定所述物体框在所述第三3D图像中的第三物体框信息。
在一些实现方式中，所述基于所述旋转变换矩阵和所述第二物体框信息，确定所述物体框在所述第三3D图像中的第三物体框信息，包括：
根据所述当前相机内参，对所述第二物体框信息进行转换，确定所述物体框在所述第二3D图像中的第四物体框信息；
利用预设的增强转换函数，根据所述旋转变换矩阵，对所述第四物体框信息进行转换，得到所述第三物体框信息。
第二方面，本申请还提供一种3D图像数据的生成装置，包括：
获取模块，用于获取已知数据集和当前相机内参，所述已知数据集包括在数据集相机内参下的多个第一3D图像；
确定模块，用于根据所述数据集相机内参，确定所述第一3D图像中的物体框在所述第一3D图像中的第一物体框信息，所述第一物体框信息包括第一中心点坐标、物体框尺寸和图像视觉角；
转换模块，用于将所述第一物体框信息转换为在所述当前相机内参下的第二物体框信息，得到第二3D图像，所述第二物体框信息包括第二中心点坐标、所述物体框尺寸和目标旋转角；
增强模块，用于对所述第二3D图像进行数据增强，得到第三3D图像，其中所述物体框在所述第三3D图像中的第三物体框信息作为所述第三3D图像的标签信息。
第三方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的3D图像数据的生成方法。
第四方面，本申请还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的3D图像数据的生成方法。
与现有技术相比，本申请至少具备以下有益效果：
通过获取已知数据集和当前相机内参，已知数据集包括在数据集相机内参下的多个第一3D图像；根据数据集相机内参，确定第一3D图像中的物体框在第一3D图像中的第一物体框信息，第一物体框信息包括第一中心点坐标、物体框尺寸和图像视觉角；将第一物体框信息转换为在当前相机内参下的第二物体框信息，得到第二3D图像，第二物体框信息包括第二中心点坐标、物体框尺寸和目标旋转角；对第二3D图像进行数据增强，得到第三3D图像，其中物体框在第三3D图像中的第三物体框信息作为第三3D图像的标签信息。
实现了采用物体框的中心点在特定内参下计算3D目标物体的标签，以将不同相机内参下的数据进行转换，有效的解决不同摄像机之间相机内参不一致的问题，从而生成用于训练特定相机内参的单目3D检测模型的数据集。本申请将3D目标转化为2D目标，可以采用与2D检测一样的随机缩放、裁剪、平移等方式进行数据增强，实现样本在真实世界包括距离在内的位置增强，丰富样本的多样性和降低样本扩展难度。
附图说明
图1为本申请实施例示出的3D图像数据的生成方法的流程示意图；
图2为本申请实施例示出的相机坐标系与物体框的示意图；
图3为本申请实施例示出的物体中心点与底部中心点在图像上的示意图；
图4为本申请实施例示出的数据增强后的图像示意图；
图5为本申请实施例示出的数据增强后的另一图像示意图；
图6为本申请实施例示出的3D图像数据的生成装置的结构示意图；
图7为本申请实施例示出的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，图1为本申请实施例提供的一种3D图像数据的生成方法的流程示意图。本申请实施例的3D图像数据的生成方法可应用于计算机设备，该计算机设备包括但不限于智能手机、笔记本电脑、平板电脑、桌上型计算机、物理服务器和云服务器等设备。如图1所示，本实施例的3D图像数据的生成方法包括步骤S101至步骤S104，详述如下：
步骤S101，获取已知数据集和当前相机内参，所述已知数据集包括在数据集相机内参下的多个第一3D图像。
在本步骤中，已知数据集包括但不限于KITTI、nuScenes和waymo等已知的数据集。当前相机内参为需要应用检测模型（如单目3D检测模型）的相机的内参，数据集相机内参为采集第一3D图像的相机的内参。
步骤S102，根据所述数据集相机内参，确定所述第一3D图像中的物体框在所述第一3D图像中的第一物体框信息，所述第一物体框信息包括第一中心点坐标、物体框尺寸和图像视觉角。
在本步骤中，由于单目3D检测的过程为将摄像机拍摄的图片输入到神经网络中取预测物体的类别
Figure SMS_21
，如车辆、行人的中心点/>
Figure SMS_22
、长宽高/>
Figure SMS_23
以及方位角/>
Figure SMS_24
等。也就是说，单目3D检测需要的训练数据的格式是一张图片以及对应一系列目标的标签信息label，其中每个label包括类别、中心点坐标、长宽高和方位角（即旋转角），如
Figure SMS_25
。所以需要针对数据集图像的这些参数调整为适合当前相机的参数。
如图2和3所示，相机坐标系下，x指向右边，y朝下，z朝前，每个3D box（即物体框）在相机坐标系用
Figure SMS_26
分别表示该物体框的中心点、长宽高和旋转角。对于同一个物体，该长宽高是不变的，物体中心点/>
Figure SMS_27
和底部中心点/>
Figure SMS_28
在图像上的值为/>
Figure SMS_29
和/>
Figure SMS_30
，在图像上看的图像视觉角/>
Figure SMS_31
，它们之间的关系包括：
所述第一内参转换函数包括：
Figure SMS_32
；/>
Figure SMS_33
；
所述第一角度关系函数为：
Figure SMS_34
；
其中，
Figure SMS_35
为数据集相机内参，/>
Figure SMS_36
为物体框在数据集相机内参下的中心点坐标，/>
Figure SMS_37
为物体框在第一3D图像中的物体框中心点坐标，/>
Figure SMS_38
为物体框在第一3D图像中的底部中心点坐标，/>
Figure SMS_39
为物体框高度，/>
Figure SMS_40
为图像视觉角，/>
Figure SMS_41
为物体框在数据集相机内参下的旋转角。
基于以上关系，当相机内参变化(即
Figure SMS_42
变化成/>
Figure SMS_47
时)或者图片做数据增强（即
Figure SMS_49
和/>
Figure SMS_44
值变化成/>
Figure SMS_46
和/>
Figure SMS_50
），都能得到相应的/>
Figure SMS_53
和
Figure SMS_43
，因此基于3D box的底部中心点/>
Figure SMS_48
和物体中心点/>
Figure SMS_51
在特定内参/>
Figure SMS_52
下得到对应3D目标的label/>
Figure SMS_45
，并用新的图片和label作为所需要的数据集。
在一些实施例中，所述步骤S102，包括：
读取所述物体框在所述数据集相机内参下的中心点坐标、物体框尺寸和旋转角；
利用预设的第一内参转换函数，根据所述数据集相机内参，对所述数据集相机内参下的中心点坐标和物体框尺寸进行转换，得到所述物体框在所述第一3D图像中的第一中心点坐标，所述第一中心点坐标包括物体框中心点坐标和底部中心点坐标；
利用预设的第一角度关系函数，根据所述数据集相机内参下的物体框尺寸和旋转角，计算所述图像视觉角。
在本实施例中，计算每个第一3D图像所对应的3D box（即物体框）的物体中心点和底部中心点，例如已知数据集的数据集相机内参为
Figure SMS_55
，每张第一3D图像有n个3D box，每个3D box在数据集相机坐标系中用/>
Figure SMS_58
分别表示中心点坐标、长、宽、高和旋转角，则其在数据集相机坐标系下的物体中心点和底部中心点可以分别描述为
Figure SMS_59
和/>
Figure SMS_54
。再通过数据集相机内参/>
Figure SMS_57
，按照第一内参转换函数和第一内参转换函数计算得到在中对应的物体中心点/>
Figure SMS_60
和底部中心点/>
Figure SMS_61
，以及目标视觉角/>
Figure SMS_56
。
步骤S103，将所述第一物体框信息转换为在所述当前相机内参下的第二物体框信息，得到第二3D图像，所述第二物体框信息包括第二中心点坐标、所述物体框尺寸和目标旋转角。
在本步骤中，在一些实施例中，所述步骤S103，包括：
利用预设的第二内参转换函数，根据所述当前相机内参，对所述物体框在所述第一3D图像中的第一中心点坐标进行转换，得到所述物体框在所述当前相机内参下的第二中心点坐标；
利用预设的第二角度关系函数，根据所述第二中心点坐标和所述图像视觉角，计算所述物体框在所述当前相机内参下的目标旋转角。
可选地，所述第二内参转换函数包括：
Figure SMS_62
；/>
Figure SMS_63
；
所述第二角度关系函数为：
Figure SMS_64
；
其中，
Figure SMS_65
为当前相机内参，/>
Figure SMS_66
为物体框在数据集当前相机内参下的中心点坐标，/>
Figure SMS_67
为物体框在第一3D图像中的物体框中心点坐标，/>
Figure SMS_68
为物体框在第一3D图像中的底部中心点坐标，/>
Figure SMS_69
为物体框高度，/>
Figure SMS_70
为图像视觉角，/>
Figure SMS_71
为目标旋转角。
进一步地，将以上得到的第二中心点坐标和目标旋转角结合原先的长宽高作为当前相机内参下的3D目标label
Figure SMS_72
。
步骤S104，对所述第二3D图像进行数据增强，得到第三3D图像，其中所述物体框在所述第三3D图像中的第三物体框信息作为所述第三3D图像的标签信息。
在本步骤中，所述步骤S104，包括：
利用预设增强函数，确定所述第二3D图像的旋转变换矩阵；
基于所述旋转变换矩阵，对所述第二3D图像进行数据增强，得到第三3D图像，并基于所述旋转变换矩阵和所述第二物体框信息，确定所述物体框在所述第三3D图像中的第三物体框信息。
在本实施例中，假设当前相机内参为
Figure SMS_73
，每张图片有n个3D box，每个3D box在相机坐标系中为/>
Figure SMS_80
。按照以上函数得到物体框在第二3D图像上对应的物体中心点/>
Figure SMS_81
和底部中心点/>
Figure SMS_76
，以及角度/>
Figure SMS_78
。进一步地，对图片进行包括但不限于如缩放、旋转、平移等数据增强操作，并设置数据增强参数如缩放、旋转、平移系数，通过opencv的函数确定旋转变换矩阵/>
Figure SMS_84
，比如图片的长宽为/>
Figure SMS_86
，旋转系数/>
Figure SMS_74
，尺度系数/>
Figure SMS_79
，由函数/>
Figure SMS_83
确定矩阵/>
Figure SMS_85
,平移系数/>
Figure SMS_75
和/>
Figure SMS_77
，则可由以下公式确定旋转矩阵/>
Figure SMS_82
：
Figure SMS_87
。
在一些实施例中，所述基于所述旋转变换矩阵和所述第二物体框信息，确定所述物体框在所述第三3D图像中的第三物体框信息，包括：
根据所述当前相机内参，对所述第二物体框信息进行转换，确定所述物体框在所述第二3D图像中的第四物体框信息；
利用预设的增强转换函数，根据所述旋转变换矩阵，对所述第四物体框信息进行转换，得到所述第三物体框信息。
在本实施例中，按照以下公式得到图片增强后的物体中心点和底部中心点位置分别为
Figure SMS_88
和/>
Figure SMS_89
：
Figure SMS_90
；/>
Figure SMS_91
；
进一步地，得到图片的物体中心点和底部中心点后，再根据第二内参转换函数联合解出数据增强后相机坐标系下的物体中心点和底部中心点
Figure SMS_92
和
Figure SMS_93
，同理根据第二角度关系函数得到数据增强后相机坐标系下的旋转角
Figure SMS_94
。将/>
Figure SMS_95
作为在相机内参/>
Figure SMS_96
下进行数据增强后的3D目标的label（单目3D检测数据增强），将label在图片上可视化的示例图4和图5所示。
为了执行上述方法实施例对应的3D图像数据的生成方法，以实现相应的功能和技术效果。参见图6，图6示出了本申请实施例提供的一种3D图像数据的生成装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本申请实施例提供的3D图像数据的生成装置，包括：
获取模块601，用于获取已知数据集和当前相机内参，所述已知数据集包括在数据集相机内参下的多个第一3D图像；
确定模块602，用于根据所述数据集相机内参，确定所述第一3D图像中的物体框在所述第一3D图像中的第一物体框信息，所述第一物体框信息包括第一中心点坐标、物体框尺寸和图像视觉角；
转换模块603，用于将所述第一物体框信息转换为在所述当前相机内参下的第二物体框信息，得到第二3D图像，所述第二物体框信息包括第二中心点坐标、所述物体框尺寸和目标旋转角；
增强模块604，用于对所述第二3D图像进行数据增强，得到第三3D图像，其中所述物体框在所述第三3D图像中的第三物体框信息作为所述第三3D图像的标签信息。
在一些实施例中，所述确定模块602，具体用于：
读取所述物体框在所述数据集相机内参下的中心点坐标、物体框尺寸和旋转角；
利用预设的第一内参转换函数，根据所述数据集相机内参，对所述数据集相机内参下的中心点坐标和物体框尺寸进行转换，得到所述物体框在所述第一3D图像中的第一中心点坐标，所述第一中心点坐标包括物体框中心点坐标和底部中心点坐标；
利用预设的第一角度关系函数，根据所述数据集相机内参下的物体框尺寸和旋转角，计算所述图像视觉角。
在一些实施例中，所述第一内参转换函数包括：
Figure SMS_97
；/>
Figure SMS_98
；
所述第一角度关系函数为：
Figure SMS_99
；
其中，
Figure SMS_100
为数据集相机内参，/>
Figure SMS_101
为物体框在数据集相机内参下的中心点坐标，
Figure SMS_102
为物体框在第一3D图像中的物体框中心点坐标，/>
Figure SMS_103
为物体框在第一3D图像中的底部中心点坐标，/>
Figure SMS_104
为物体框高度，/>
Figure SMS_105
为图像视觉角，/>
Figure SMS_106
为物体框在数据集相机内参下的旋转角。
在一些实施例中，所述转换模块603，具体用于：
利用预设的第二内参转换函数，根据所述当前相机内参，对所述物体框在所述第一3D图像中的第一中心点坐标进行转换，得到所述物体框在所述当前相机内参下的第二中心点坐标；
利用预设的第二角度关系函数，根据所述第二中心点坐标和所述图像视觉角，计算所述物体框在所述当前相机内参下的目标旋转角。
在一些实施例中，所述第二内参转换函数包括：
Figure SMS_107
；/>
Figure SMS_108
；
所述第二角度关系函数为：
Figure SMS_109
；
其中，
Figure SMS_110
为当前相机内参，/>
Figure SMS_111
为物体框在数据集当前相机内参下的中心点坐标，/>
Figure SMS_112
为物体框在第一3D图像中的物体框中心点坐标，/>
Figure SMS_113
为物体框在第一3D图像中的底部中心点坐标，/>
Figure SMS_114
为物体框高度，/>
Figure SMS_115
为图像视觉角，/>
Figure SMS_116
为目标旋转角。
在一些实施例中，所述增强模块604，包括：
确定单元，用于利用预设增强函数，确定所述第二3D图像的旋转变换矩阵；
增强单元，用于基于所述旋转变换矩阵，对所述第二3D图像进行数据增强，得到第三3D图像，并基于所述旋转变换矩阵和所述第二物体框信息，确定所述物体框在所述第三3D图像中的第三物体框信息。
在一些实施例中，所述增强单元，具体用于：
根据所述当前相机内参，对所述第二物体框信息进行转换，确定所述物体框在所述第二3D图像中的第四物体框信息；
利用预设的增强转换函数，根据所述旋转变换矩阵，对所述第四物体框信息进行转换，得到所述第三物体框信息。
上述的3D图像数据的生成装置可实施上述方法实施例的3D图像数据的生成方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本申请实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
图7为本申请一实施例提供的计算机设备的结构示意图。如图7所示，该实施例的计算机设备7包括：至少一个处理器70（图7中仅示出一个）处理器、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，所述处理器70执行所述计算机程序72时实现上述任意方法实施例中的步骤。
所述计算机设备7可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该计算机设备可包括但不仅限于处理器70、存储器71。本领域技术人员可以理解，图7仅仅是计算机设备7的举例，并不构成对计算机设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71在一些实施例中可以是所述计算机设备7的内部存储单元，例如计算机设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述计算机设备7的外部存储设备，例如所述计算机设备7上配备的插接式硬盘，智能存储卡（Smart Media Card,SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器71还可以既包括所述计算机设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
另外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述各个方法实施例中的步骤。
在本申请所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围。特别指出，对于本领域技术人员来说，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种3D图像数据的生成方法，其特征在于，包括：
获取已知数据集和当前相机内参，所述已知数据集包括在数据集相机内参下的多个第一3D图像；
根据所述数据集相机内参，确定所述第一3D图像中的物体框在所述第一3D图像中的第一物体框信息，所述第一物体框信息包括第一中心点坐标、物体框尺寸和图像视觉角；所述根据所述数据集相机内参，确定所述第一3D图像中的物体框在所述第一3D图像中的第一物体框信息，包括：读取所述物体框在所述数据集相机内参下的中心点坐标、物体框尺寸和旋转角；利用预设的第一内参转换函数，根据所述数据集相机内参，对所述数据集相机内参下的中心点坐标和物体框尺寸进行转换，得到所述物体框在所述第一3D图像中的第一中心点坐标，所述第一中心点坐标包括物体框中心点坐标和底部中心点坐标；利用预设的第一角度关系函数，根据所述数据集相机内参下的物体框尺寸和旋转角，计算所述图像视觉角；所述第一内参转换函数包括：
Figure QLYQS_1
；/>
Figure QLYQS_2
；
所述第一角度关系函数为：
Figure QLYQS_3
；
其中，
Figure QLYQS_4
为数据集相机内参，/>
Figure QLYQS_5
为物体框在数据集相机内参下的中心点坐标，
Figure QLYQS_6
为物体框在第一3D图像中的物体框中心点坐标，/>
Figure QLYQS_7
为物体框在第一3D图像中的底部中心点坐标，/>
Figure QLYQS_8
为物体框高度，/>
Figure QLYQS_9
为图像视觉角，/>
Figure QLYQS_10
为物体框在数据集相机内参下的旋转角；
将所述第一物体框信息转换为在所述当前相机内参下的第二物体框信息，得到第二3D图像，所述第二物体框信息包括第二中心点坐标、所述物体框尺寸和目标旋转角；
对所述第二3D图像进行数据增强，得到第三3D图像，其中所述物体框在所述第三3D图像中的第三物体框信息作为所述第三3D图像的标签信息。
2.如权利要求1所述的3D图像数据的生成方法，其特征在于，所述将所述第一物体框信息转换为在所述当前相机内参下的第二物体框信息，得到第二3D图像，包括：
利用预设的第二内参转换函数，根据所述当前相机内参，对所述物体框在所述第一3D图像中的第一中心点坐标进行转换，得到所述物体框在所述当前相机内参下的第二中心点坐标；
利用预设的第二角度关系函数，根据所述第二中心点坐标和所述图像视觉角，计算所述物体框在所述当前相机内参下的目标旋转角。
3.如权利要求2所述的3D图像数据的生成方法，其特征在于，所述第二内参转换函数包括：
Figure QLYQS_11
；/>
Figure QLYQS_12
；/>
所述第二角度关系函数为：
Figure QLYQS_13
；
其中，
Figure QLYQS_14
为当前相机内参，/>
Figure QLYQS_15
为物体框在数据集当前相机内参下的中心点坐标，/>
Figure QLYQS_16
为物体框在第一3D图像中的物体框中心点坐标，/>
Figure QLYQS_17
为物体框在第一3D图像中的底部中心点坐标，/>
Figure QLYQS_18
为物体框高度，/>
Figure QLYQS_19
为图像视觉角，/>
Figure QLYQS_20
为目标旋转角。
4.如权利要求1所述的3D图像数据的生成方法，其特征在于，所述对所述第二3D图像进行数据增强，得到第三3D图像，包括：
利用预设增强函数，确定所述第二3D图像的旋转变换矩阵；
基于所述旋转变换矩阵，对所述第二3D图像进行数据增强，得到第三3D图像，并基于所述旋转变换矩阵和所述第二物体框信息，确定所述物体框在所述第三3D图像中的第三物体框信息。
5.如权利要求4所述的3D图像数据的生成方法，其特征在于，所述基于所述旋转变换矩阵和所述第二物体框信息，确定所述物体框在所述第三3D图像中的第三物体框信息，包括：
根据所述当前相机内参，对所述第二物体框信息进行转换，确定所述物体框在所述第二3D图像中的第四物体框信息；
利用预设的增强转换函数，根据所述旋转变换矩阵，对所述第四物体框信息进行转换，得到所述第三物体框信息。
6.一种3D图像数据的生成装置，其特征在于，包括：
获取模块，用于获取已知数据集和当前相机内参，所述已知数据集包括在数据集相机内参下的多个第一3D图像；
确定模块，用于根据所述数据集相机内参，确定所述第一3D图像中的物体框在所述第一3D图像中的第一物体框信息，所述第一物体框信息包括第一中心点坐标、物体框尺寸和图像视觉角；所述确定模块还用于：读取所述物体框在所述数据集相机内参下的中心点坐标、物体框尺寸和旋转角；利用预设的第一内参转换函数，根据所述数据集相机内参，对所述数据集相机内参下的中心点坐标和物体框尺寸进行转换，得到所述物体框在所述第一3D图像中的第一中心点坐标，所述第一中心点坐标包括物体框中心点坐标和底部中心点坐标；利用预设的第一角度关系函数，根据所述数据集相机内参下的物体框尺寸和旋转角，计算所述图像视觉角；所述第一内参转换函数包括：
Figure QLYQS_21
；/>
Figure QLYQS_22
；
所述第一角度关系函数为：
Figure QLYQS_23
；
其中，
Figure QLYQS_24
为数据集相机内参，/>
Figure QLYQS_25
为物体框在数据集相机内参下的中心点坐标，
Figure QLYQS_26
为物体框在第一3D图像中的物体框中心点坐标，/>
Figure QLYQS_27
为物体框在第一3D图像中的底部中心点坐标，/>
Figure QLYQS_28
为物体框高度，/>
Figure QLYQS_29
为图像视觉角，/>
Figure QLYQS_30
为物体框在数据集相机内参下的旋转角；
转换模块，用于将所述第一物体框信息转换为在所述当前相机内参下的第二物体框信息，得到第二3D图像，所述第二物体框信息包括第二中心点坐标、所述物体框尺寸和目标旋转角；
增强模块，用于对所述第二3D图像进行数据增强，得到第三3D图像，其中所述物体框在所述第三3D图像中的第三物体框信息作为所述第三3D图像的标签信息。
7.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5任一项所述的3D图像数据的生成方法。
8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的3D图像数据的生成方法。
CN202310214758.4A 2023-03-08 2023-03-08 3d图像数据的生成方法、装置、设备及存储介质 Active CN115880470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310214758.4A CN115880470B (zh) 2023-03-08 2023-03-08 3d图像数据的生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310214758.4A CN115880470B (zh) 2023-03-08 2023-03-08 3d图像数据的生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115880470A CN115880470A (zh) 2023-03-31
CN115880470B true CN115880470B (zh) 2023-06-02

Family

ID=85762037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310214758.4A Active CN115880470B (zh) 2023-03-08 2023-03-08 3d图像数据的生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115880470B (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635685B (zh) * 2018-11-29 2021-02-12 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN110390258A (zh) * 2019-06-05 2019-10-29 东南大学 图像目标三维信息标注方法
CN111126269B (zh) * 2019-12-24 2022-09-30 京东科技控股股份有限公司 三维目标检测方法、装置以及存储介质
CN114078247A (zh) * 2020-08-12 2022-02-22 华为技术有限公司 目标检测方法及装置
CN112258574A (zh) * 2020-09-21 2021-01-22 北京沃东天骏信息技术有限公司 标注位姿信息的方法、装置及计算机可读存储介质
CN113240750A (zh) * 2021-05-13 2021-08-10 中移智行网络科技有限公司 三维空间信息测算方法及装置
CN113344998B (zh) * 2021-06-25 2022-04-29 北京市商汤科技开发有限公司 深度检测方法、装置、计算机设备及存储介质
CN113723389B (zh) * 2021-08-30 2024-06-18 广东电网有限责任公司 一种支柱式绝缘子定位方法及装置
CN114387346A (zh) * 2022-03-25 2022-04-22 阿里巴巴达摩院(杭州)科技有限公司 一种图像识别、预测模型处理方法、三维建模方法和装置
CN115601616A (zh) * 2022-10-27 2023-01-13 中国农业银行股份有限公司（Cn） 一种样本数据生成方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN115880470A (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
US11482014B2 (en) 3D auto-labeling with structural and physical constraints
CN109214366B (zh) 局部目标重识别方法、装置及系统
CN109543489B (zh) 基于二维码的定位方法、装置和存储介质
CN109960742B (zh) 局部信息的搜索方法及装置
CN110852949B (zh) 点云数据补全方法、装置、计算机设备和存储介质
CN110827202A (zh) 目标检测方法、装置、计算机设备和存储介质
CN112336342B (zh) 手部关键点检测方法、装置及终端设备
WO2021027692A1 (zh) 视觉特征库的构建方法、视觉定位方法、装置和存储介质
CN113486887B (zh) 三维场景下的目标检测方法和装置
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN115205383A (zh) 相机位姿的确定方法、装置、电子设备及存储介质
CN116433903A (zh) 实例分割模型构建方法、系统、电子设备及存储介质
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
Yang et al. Lite-fpn for keypoint-based monocular 3d object detection
CN117876608B (zh) 三维图像重建方法、装置、计算机设备及存储介质
CN116844129A (zh) 多模态特征对齐融合的路侧目标检测方法、系统及装置
CN113228105A (zh) 一种图像处理方法、装置和电子设备
CN115880470B (zh) 3d图像数据的生成方法、装置、设备及存储介质
CN115883969A (zh) 一种无人机拍摄方法、装置、设备及介质
Bui et al. GAC3D: improving monocular 3D object detection with ground-guide model and adaptive convolution
WO2020192262A1 (zh) 一种实物图像生成方法及装置、设备
CN113012132A (zh) 一种图像相似度确定方法、装置及计算设备、存储介质
CN116597097B (zh) 用于自动驾驶的三维场景重建方法、电子设备和存储介质
US20200285247A1 (en) Systems and methods for autonomous robot navigation
CN117036985B (zh) 一种面向视频卫星图像的小目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518051 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.