CN114511690A - 一种3d目标检测数据集采集装置与标注方法 - Google Patents

一种3d目标检测数据集采集装置与标注方法 Download PDF

Info

Publication number
CN114511690A
CN114511690A CN202210023092.XA CN202210023092A CN114511690A CN 114511690 A CN114511690 A CN 114511690A CN 202210023092 A CN202210023092 A CN 202210023092A CN 114511690 A CN114511690 A CN 114511690A
Authority
CN
China
Prior art keywords
camera
frame
image
motor
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210023092.XA
Other languages
English (en)
Inventor
孙瑛
胡军
李公法
江都
陶波
孔建益
蒋国璋
童锡良
徐曼曼
云俊童
刘颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN202210023092.XA priority Critical patent/CN114511690A/zh
Publication of CN114511690A publication Critical patent/CN114511690A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/12—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/24—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种用于采集3D目标检测图像数据集的装置与标注方法，涉及3D目标检测数据集装置技术领域。本发明包括底部旋转装置、水平伸缩装置、竖直升降装置、仰俯角调节装置、相机夹持与旋转装置和控制模块；所述控制模块包括5个电机、主控板和供电模块，各个电机可带动不同装置运动以实现一定范围内相机与带采集目标在半球面上所有对应位姿，主控板可控制个电机使其协调运动以及相机图像采集，并且可根据各电机状态得到相机与目标相对位姿，从而能够得到物体在相机下的坐标，并将物体在照片中标注出来。本发明可极大简化3D目标检测数据集制作与标注过程。

Description

一种3D目标检测数据集采集装置与标注方法
技术领域
本发明涉及一种图像数据集采集装置与采集方法，具体涉及一种 3D目标检测图像数据集装置与采集方法。
背景技术
3D目标检测与位姿估计是近些年研究的热点，在机器人智能抓取、自动驾驶与增强现实等领域有着不可替代的作用。随着深度学习的快速发展，利用深度学习技术实现3D目标检测和位姿估计已经成为一种不可逆的趋势。然而深度学习技术离不开大量的数据而且需要标注，现阶段的数据集分为软件虚拟合成与现实场景采集：合成的数据集泛化性较差；真实场景下的数据集大多要借助工业机械臂还要配合Aruco码进行标注，具有过程复杂、对硬件要求高、标注繁琐不够准确、图像背景中还被大量Aruco码占据等缺点。真实场景下的3D 目标检测与位姿估计图像数据集的采集和标注给大量研究学者带来了极大的困扰，使学者们无法将更多的时间研究3D目标检测和位姿估计算法上，无法将研究的算法更多的运用于实践。
发明内容
为了解决背景技术中存在的问题，本发明设计出一种3D目标检测图像数据集装置，该装置可以不是使用其他外部标记和标注工具直接采集到一定半径范围中相机在目标半球面上的任何位姿处的图像并直接给出标注信息。
为了实现上述目标，本发明采用如下技术方案：
一种3D目标检测图像数据集采集装置，包括旋转装置底座，所述旋转装置底座上方设置有旋转平台，所述旋转装置底座内部设置有第一旋转电机，所述第一旋转电机与旋转平台连接，所述旋转装置底座的一侧固定安装有滑道和直线电机，所述滑道上通过滑块滑动连接有L形滑动座，所述L形滑动座由水平板和侧板焊接而成，所述直线电机与所述L形滑动座的侧板连接，所述滑动座的水平板上方固定安装有升降电机和支撑架，所述支撑架的内部安装有导杆和丝杠，所述升降电机通过传动机构与所述丝杠连接，所述丝杠上安装有升降螺母，所述升降螺母与所述导杆滑动连接；所述升降螺母的一侧固定安装有横梁，所述横梁远离升降螺母的一侧固定安装有角度调节电机，所述角度调节电机的输出轴上固定安装有U形支座，所述U形支座的内部固定安装有第二旋转电机，所述第二旋转电机的输出轴穿出U 形支座，所述第二旋转电机的输出轴的端部固定安装有连接板，所述连接板上固定安装有相机。
一种数据集采集和标注方法，包括如下步骤：
步骤S1.图像采集
通过改变5个电机(第一旋转电机、直线电机6、升降电机15、角度调节电机10和第二旋转电机12)的参数n1,n2,n3,n4,n5(其中 n1,n2,n3,n4,n5分别为5个电机的转速，单位为转/s)，使整个装置缓慢平滑的运动，从而带动相机在不同位姿处对不同位姿处的目标物体进行拍照，形成的图像在电脑中自动保存为彩色图像和深度图像，即完成了图像的采集。
步骤S2.图像标注
S21：相机标定求相机内参矩阵K。相机标定简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的内参矩阵K。首先在电脑上绘制一个9x7的棋格盘，黑白格子相间，测量出每个小格子的大小。再打印出来贴在平面上，利用相机采集棋格盘不同角度的10-20 张图片作为数据集，接着将采集的数据集读入matlab中的Camera Calibrator工具，进行棋格盘的角点检测，通过n个对应的世界坐标三维点Xi和对应的图像坐标二维点xi之间的坐标转换可以得到相机内参K。
S22：求解待标注物体表面点的世界坐标。以相机开机的第一帧的相机光心为原点，相机坐标系为世界坐标系，即第一帧的相机坐标系和世界坐标系重合，则世界坐标即为相机坐标，在第一帧图像上手动标出待标注物体的矩形框，则通过相机标定的内参K和待标注物体的矩形框的像素坐标可以得到矩形框内所有点的世界坐标，记录此时的电机参数(n1,n2,n3,n4,n5)，可以设此时的电机状态为初始状态，则此时的相机坐标系为世界坐标系，通过调整电机参数 (n1,n2,n3,n4,n5)可以使相机在不同位姿处拍照，得到待标注物体表面更多的点的世界坐标信息，以上预处理操作可以得到待标注物理表面大多数点的世界坐标。
S23：两两帧之间的相机位姿估计。将第一帧视为参考帧，第二帧视为当前帧。分别在当前帧和参考帧图像上寻找ORB特征点，并在两帧图像之间进行特征点匹配，利用对极几何约束求出两帧图像之间相机的位姿变换，而参考帧的相机位姿已知，故而可以求得当前帧的相机位姿，在每两帧图像之间进行相同的运算，如此反复，可以得到每一帧的相机位姿。
S24：求解物体在图像中的像素坐标。设第一帧的相机坐标系为世界坐标系，即第一帧的相机光心位姿为 PW(x,y,z,θ1,θ2,θ3)＝(0,0,0,0,0,0)，可知相机的位置(x,y,z)和姿态 (θ1,θ2,θ3)均与电机参数(n1,n2,n3,n4,n5)有关，其中(x,y,z)为相机光心在世界坐标系下的坐标，描述了相机位置，(θ1,θ2,θ3)为相机坐标系相对于世界坐标系的三轴旋转角，描述了相机的旋转。故建立相机光心的位姿坐标与电机参数之间的函关系式，可以表示为PW(x,y,z,θ1,θ2,θ3)＝ [f1(n1,n2,n3,n4,n5),f2(n1,n2,n3,n4,n5),f3(n3),f4(n4,n5),f5(n4,n5),f6(n4,n5)] ，而相机的位姿估计可通过两两帧的图像特征匹配求得，通过改变电机参数让相机在不同位姿处对物体进行拍照，通过多组对应的电机参数和相机光心位姿建立的方程式可以求解相机位姿与电机参数 (n1,n2,n3,n4,n5)的关系。根据相机位姿可以求得相机的外参矩阵:
Figure RE-GDA0003565703240000041
根据相机标定求得相机的内参矩阵为:
Figure RE-GDA0003565703240000042
世界坐标与像素坐标的转换关系为:
Figure RE-GDA0003565703240000043
其中ZC为像素深度
根据坐标转换关系和物体表面点的世界坐标，可以求得物体在图像中的像素坐标P(u,v)。
S25：标出物体在图像中的位置。本装置的标注算法思路是：在求得的物体像素坐标里依次选取 P1(u最小),P2(u最大),P3(v最小),P4(v最大)这四个点，分别过P1,P2作平行于像素坐标系y轴的直线，过P3,P4作平行于像素坐标x轴的直线，则这四条直线的交点构成的矩形为物体所在位置，即完成了物体的自动标注。
本发明相较于以前3D目标检测数据集采集装置的优点在于：在获取图像信息的同时可通过各电机的状态直接推出目标与相机相对位姿；本装置无需借助其他外部标记(如Aruco码)进行标注，使得图像背景更加多样化；本装置相对于使用手持相机拍摄更平稳图像质量更高，位姿更准确；本装置相对于工业机械臂持相机采集图像，具有结构更简单、编程更容易、位姿更好确定、造价更低、移动更方便等特点。最后，本装置还可扩展用于三维重建，3D打印、写字画画雕刻等其他用途。
附图说明
图1是装置结构示意图；
图2是数据集采集和标注的具体过程。
附图标记的含义：1-旋转装置底座；2-旋转平台；3-滑道；4-滑块；5-L形滑动座5；6-直线电机；7-支撑架；8-升降螺母；9-横梁； 10-角度调节电机；11-U形支座；12-第二旋转电机；13-连接板；14- 相机；15-升降电机；16-丝杆。
具体实施方式
下面结合附图对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明发范围。对于本领域的技术人员，在不脱离本发明思想、方法的前提下，还可以做出一些改进和补充，这些应当理解，凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。
如图1所示，一种3D目标检测图像数据集采集装置，包括旋转装置底座1，所述旋转装置底座1上方设置有旋转平台2，所述旋转装置底座1内部设置有第一旋转电机(未示出)，所述第一旋转电机与旋转平台2连接，带动所述旋转平台2旋转，所述旋转装置底座1 的一侧固定安装有滑道3和直线电机6，所述滑道3上通过滑块4滑动连接有L形滑动座5，所述L形滑动座5由水平板和侧板焊接而成，所述直线电机6与所述L形滑动座5的侧板连接，通过直线电机6 的伸缩运动，能够带动L形滑动座5沿所述滑道进行往复移动；所述滑动座5的水平板上方固定安装有升降电机15和支撑架7，所述支撑架7的内部安装有导杆(未示出)和丝杠16，所述升降电机15通过传动机构与所述丝杠16连接，所述丝杠16上安装有升降螺母8，所述升降螺母8与所述导杆滑动连接，通过升降电机15旋转，进而带动丝杠16旋转，从而实现升降螺母8上下往复移动；所述升降螺母8的一侧固定安装有横梁9，所述横梁9远离升降螺母8的一侧固定安装有角度调节电机10，所述角度调节电机10的输出轴上固定安装有U形支座11，所述U形支座11的内部固定安装有第二旋转电机 12，所述第二旋转电机12的输出轴穿出U形支座11，所述第二旋转电机12的输出轴的端部固定安装有连接板13，所述连接板13上固定安装有相机14。通过所述角度调节电机10的旋转，进而带动所述 U形支座11转动，从而实现相机14拍摄角度的调节，另外，通过所述第二旋转电机12带动所述连接板13转动，从而带动相机14转动，也能够实现对物体不同角度的拍摄。
图2是数据集采集和标注的具体过程，包括如下步骤：
步骤S1.图像采集
通过改变5个电机(第一旋转电机、直线电机6、升降电机15、角度调节电机10和第二旋转电机12)的参数n1,n2,n3,n4,n5(其中 n1,n2,n3,n4,n5分别为5个电机的转速，单位为转/s)，使整个装置缓慢平滑的运动，从而带动相机在不同位姿处对不同位姿处的目标物体进行拍照，形成的图像在电脑中自动保存为彩色图像和深度图像，即完成了图像的采集。
步骤S2.图像标注
S21：相机标定求相机内参矩阵K。相机标定简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的内参矩阵K。首先在电脑上绘制一个9x7的棋格盘，黑白格子相间，测量出每个小格子的大小。再打印出来贴在平面上，利用相机采集棋格盘不同角度的10-20 张图片作为数据集，接着将采集的数据集读入matlab中的Camera Calibrator工具，进行棋格盘的角点检测，通过n个对应的世界坐标三维点Xi和对应的图像坐标二维点xi之间的坐标转换可以得到相机内参K。
S22：求解待标注物体表面点的世界坐标。以相机开机的第一帧的相机光心为原点，相机坐标系为世界坐标系，即第一帧的相机坐标系和世界坐标系重合，则世界坐标即为相机坐标，在第一帧图像上手动标出待标注物体的矩形框，则通过相机标定的内参K和待标注物体的矩形框的像素坐标可以得到矩形框内所有点的世界坐标，记录此时的电机参数(n1,n2,n3,n4,n5)，可以设此时的电机状态为初始状态，则此时的相机坐标系为世界坐标系，通过调整电机参数 (n1,n2,n3,n4,n5)可以使相机在不同位姿处拍照，得到待标注物体表面更多的点的世界坐标信息，以上预处理操作可以得到待标注物理表面大多数点的世界坐标。
S23：两两帧之间的相机位姿估计。将第一帧视为参考帧，第二帧视为当前帧。分别在当前帧和参考帧图像上寻找ORB特征点，并在两帧图像之间进行特征点匹配，利用对极几何约束求出两帧图像之间相机的位姿变换，而参考帧的相机位姿已知，故而可以求得当前帧的相机位姿，在每两帧图像之间进行相同的运算，如此反复，可以得到每一帧的相机位姿。
S24：求解物体在图像中的像素坐标。设第一帧的相机坐标系为世界坐标系，即第一帧的相机光心位姿为 PW(x,y,z,θ1,θ2,θ3)＝(0,0,0,0,0,0)，可知相机的位置(x,y,z)和姿态 (θ1,θ2,θ3)均与电机参数(n1,n2,n3,n4,n5)有关，其中(x,y,z)为相机光心在世界坐标系下的坐标，描述了相机位置，(θ1,θ2,θ3)为相机坐标系相对于世界坐标系的三轴旋转角，描述了相机的旋转。故建立相机光心的位姿坐标与电机参数之间的函关系式，可以表示为PW(x,y,z,θ1,θ2,θ3)＝ [f1(n1,n2,n3,n4,n5),f2(n1,n2,n3,n4,n5),f3(n3),f4(n4,n5),f5(n4,n5),f6(n4,n5)] ，而相机的位姿估计可通过两两帧的图像特征匹配求得，通过改变电机参数让相机在不同位姿处对物体进行拍照，通过多组对应的电机参数和相机光心位姿建立的方程式可以求解相机位姿与电机参数 (n1,n2,n3,n4,n5)的关系。根据相机位姿可以求得相机的外参矩阵:
Figure RE-GDA0003565703240000091
根据相机标定求得相机的内参矩阵为:
Figure RE-GDA0003565703240000092
世界坐标与像素坐标的转换关系为:
Figure RE-GDA0003565703240000093
其中ZC为像素深度
根据坐标转换关系和物体表面点的世界坐标，可以求得物体在图像中的像素坐标P(u,v)。
S25：标出物体在图像中的位置。本装置的标注算法思路是：在求得的物体像素坐标里依次选取 P1(u最小),P2(u最大),P3(v最小),P4(v最大)这四个点，分别过P1,P2作平行于像素坐标系y轴的直线，过P3,P4作平行于像素坐标x轴的直线，则这四条直线的交点构成的矩形为物体所在位置，即完成了物体的自动标注。
工作原理：所述控制模块处于旋转装置底座上，控制模块通过控制装置中的五个电机(旋转电机、水平伸缩电机、竖直升降电机、相机仰俯角调节电机、相机旋转电机)使相机到达指定位置并与旋转装置中旋转平台上的目标构成指定相对位姿，然后进行拍照，同步生成图像数据和标注的位姿信息。此外本装置还可以对旋转平台上的目标进行多视角的拍照，用于目标三维重建，进一步生成3D目标检测数据集所需的遮罩图像信息。
5个电机带动不同装置运动以实现一定范围内相机与待采集目标在半球面上所有对应位姿，主控板可控制个电机使其协调运动以及相机图像采集，最后加上标注算法，从而实现数据集的采集和标注过程。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及等效物界定。

Claims (2)

1.一种3D目标检测图像数据集采集装置，包括旋转装置底座(1)，所述旋转装置底座(1)上方设置有旋转平台(2)，所述旋转装置底座(1)内部设置有第一旋转电机，所述第一旋转电机与旋转平台(2)连接，所述旋转装置底座(1)的一侧固定安装有滑道(3)和直线电机(6)，所述滑道(3)上通过滑块(4)滑动连接有L形滑动座(5)，所述L形滑动座(5)由水平板和侧板焊接而成，所述直线电机(6)与所述L形滑动座(5)的侧板连接，所述滑动座(5)的水平板上方固定安装有升降电机(15)和支撑架(7)，所述支撑架(7)的内部安装有导杆和丝杠(16)，所述升降电机(15)通过传动机构与所述丝杠(16)连接，所述丝杠(16)上安装有升降螺母(8)，所述升降螺母(8)与所述导杆滑动连接；所述升降螺母(8)的一侧固定安装有横梁(9)，所述横梁(9)远离升降螺母(8)的一侧固定安装有角度调节电机(10)，所述角度调节电机(10)的输出轴上固定安装有U形支座(11)，所述U形支座(11)的内部固定安装有第二旋转电机(12)，所述第二旋转电机(12)的输出轴穿出U形支座(11)，所述第二旋转电机(12)的输出轴的端部固定安装有连接板(13)，所述连接板(13)上固定安装有相机(14)。
2.一种数据集采集和标注方法，所述方法采用如权利要求1所述的3D目标检测图像数据集采集装置，包括如下步骤：
步骤S1.图像采集
通过改变5个电机的参数n1,n2,n3,n4,n5，其中n1,n2,n3,n4,n5分别为5个电机的转速，单位为转/s，使整个装置缓慢平滑的运动，从而带动相机在不同位姿处对不同位姿处的目标物体进行拍照，形成的图像在电脑中自动保存为彩色图像和深度图像，即完成了图像的采集；
步骤S2.图像标注
S21：相机标定求相机内参矩阵K；相机标定简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的内参矩阵K；首先在电脑上绘制一个9x7的棋格盘，黑白格子相间，测量出每个小格子的大小；再打印出来贴在平面上，利用相机采集棋格盘不同角度的10-20张图片作为数据集，接着将采集的数据集读入matlab中的Camera Calibrator工具，进行棋格盘的角点检测，通过n个对应的世界坐标三维点Xi和对应的图像坐标二维点xi之间的坐标转换可以得到相机内参K；
S22：求解待标注物体表面点的世界坐标；以相机开机的第一帧的相机光心为原点，相机坐标系为世界坐标系，即第一帧的相机坐标系和世界坐标系重合，则世界坐标即为相机坐标，在第一帧图像上手动标出待标注物体的矩形框，则通过相机标定的内参K和待标注物体的矩形框的像素坐标可以得到矩形框内所有点的世界坐标，记录此时的电机参数n1,n2,n3,n4,n5，可以设此时的电机状态为初始状态，则此时的相机坐标系为世界坐标系，通过调整电机参数n1,n2,n3,n4,n5，可以使相机在不同位姿处拍照，得到待标注物体表面更多的点的世界坐标信息，以上预处理操作可以得到待标注物理表面大多数点的世界坐标；
S23：两两帧之间的相机位姿估计；将第一帧视为参考帧，第二帧视为当前帧；分别在当前帧和参考帧图像上寻找ORB特征点，并在两帧图像之间进行特征点匹配，利用对极几何约束求出两帧图像之间相机的位姿变换，而参考帧的相机位姿已知，故而可以求得当前帧的相机位姿，在每两帧图像之间进行相同的运算，如此反复，可以得到每一帧的相机位姿；
S24：求解物体在图像中的像素坐标；设第一帧的相机坐标系为世界坐标系，即第一帧的相机光心位姿为PW(x,y,z,θ1,θ2,θ3)＝(0,0,0,0,0,0)，可知相机的位置(x,y,z)和姿态(θ1,θ2,θ3)均与电机参数(n1,n2,n3,n4,n5)有关，其中(x,y,z)为相机光心在世界坐标系下的坐标，描述了相机位置，(θ1,θ2,θ3)为相机坐标系相对于世界坐标系的三轴旋转角，描述了相机的旋转；故建立相机光心的位姿坐标与电机参数之间的函关系式，可以表示为PW(x,y,z,θ1,θ2,θ3)＝[f1(n1,n2,n3,n4,n5),f2(n1,n2,n3,n4,n5),f3(n3),f4(n4,n5),f5(n4,n5),f6(n4,n5)]，而相机的位姿估计可通过两两帧的图像特征匹配求得，通过改变电机参数让相机在不同位姿处对物体进行拍照，通过多组对应的电机参数和相机光心位姿建立的方程式可以求解相机位姿与电机参数n1,n2,n3,n4,n5的关系；根据相机位姿可以求得相机的外参矩阵:
Figure FDA0003463417980000031
根据相机标定求得相机的内参矩阵为:
Figure FDA0003463417980000032
世界坐标与像素坐标的转换关系为:
Figure FDA0003463417980000033
其中ZC为像素深度根据坐标转换关系和物体表面点的世界坐标，可以求得物体在图像中的像素坐标P(u,v)；
S25：标出物体在图像中的位置；在求得的物体像素坐标里依次选取P1(u最小),P2(u最大),P3(v最小),P4(v最大)这四个点，分别过P1,P2作平行于像素坐标系y轴的直线，过P3,P4作平行于像素坐标x轴的直线，则这四条直线的交点构成的矩形为物体所在位置，即完成了物体的自动标注。
CN202210023092.XA 2022-01-10 2022-01-10 一种3d目标检测数据集采集装置与标注方法 Pending CN114511690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210023092.XA CN114511690A (zh) 2022-01-10 2022-01-10 一种3d目标检测数据集采集装置与标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210023092.XA CN114511690A (zh) 2022-01-10 2022-01-10 一种3d目标检测数据集采集装置与标注方法

Publications (1)

Publication Number Publication Date
CN114511690A true CN114511690A (zh) 2022-05-17

Family

ID=81550167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210023092.XA Pending CN114511690A (zh) 2022-01-10 2022-01-10 一种3d目标检测数据集采集装置与标注方法

Country Status (1)

Country Link
CN (1) CN114511690A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115876108A (zh) * 2023-03-01 2023-03-31 菲特（天津）检测技术有限公司 内径测量方法、装置及计算机可读存储介质
CN117395509A (zh) * 2023-12-11 2024-01-12 华南理工大学 一种用于三维重建的图像及其位姿信息的自动采集装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115876108A (zh) * 2023-03-01 2023-03-31 菲特（天津）检测技术有限公司 内径测量方法、装置及计算机可读存储介质
CN115876108B (zh) * 2023-03-01 2023-10-24 菲特（天津）检测技术有限公司 内径测量方法、装置及计算机可读存储介质
CN117395509A (zh) * 2023-12-11 2024-01-12 华南理工大学 一种用于三维重建的图像及其位姿信息的自动采集装置
CN117395509B (zh) * 2023-12-11 2024-03-22 华南理工大学 一种用于三维重建的图像及其位姿信息的自动采集装置

Similar Documents

Publication Publication Date Title
CN111060024B (zh) 旋转中心轴与图像采集装置相交的3d测量及获取装置
CN114511690A (zh) 一种3d目标检测数据集采集装置与标注方法
CN108555908A (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN109448054A (zh) 基于视觉融合的目标分步定位方法、应用、装置及系统
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
EP1946567A2 (en) Device for generating three dimensional surface models of moving objects
JP2014511772A (ja) ロボットシステムにおいてピッキング動作後にセンサ測定値を無効にする方法
CN111076674B (zh) 一种近距离目标物3d采集设备
CN108898634A (zh) 基于双目相机视差对绣花机目标针眼进行精确定位的方法
CN109284407B (zh) 一种用于智能售货柜训练自动标注数据集的装置
CN111536872A (zh) 基于视觉的二维平面测距装置及方法、标记点识别装置
CN106886758B (zh) 基于三维姿态估计的昆虫识别装置及方法
CN109102527A (zh) 基于标识点的视频动作的获取方法和装置
CN112303423A (zh) 一种转动稳定的智能三维信息采集设备
CN115761011A (zh) 一种线激光3d相机系统全自动标定方法及装置
CN114913308A (zh) 摄像机跟踪方法、装置、设备及存储介质
CN110125662B (zh) 音膜球顶自动装配系统
CN116749198A (zh) 一种基于双目立体视觉引导机械臂抓取方法
CN114359393B (zh) 跨平台的视觉引导点胶引导方法
CN115854866A (zh) 一种光学靶标三维测量系统、方法、电子设备及存储介质
CN112995641B (zh) 一种3d模组成像装置及方法、电子设备
CN112361982B (zh) 一种大幅面工件三维数据提取方法及系统
CN112304250B (zh) 一种移动物体之间的三维匹配设备及方法
CN114565720A (zh) 一种基于线结构光旋转扫描的主动式三维重建系统及方法
CN215179602U (zh) 一种物体扫描计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination