CN110390258A - 图像目标三维信息标注方法 - Google Patents

图像目标三维信息标注方法 Download PDF

Info

Publication number
CN110390258A
CN110390258A CN201910485927.1A CN201910485927A CN110390258A CN 110390258 A CN110390258 A CN 110390258A CN 201910485927 A CN201910485927 A CN 201910485927A CN 110390258 A CN110390258 A CN 110390258A
Authority
CN
China
Prior art keywords
dimensional
detection frame
target
dimensional detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910485927.1A
Other languages
English (en)
Inventor
李煊鹏
李宇杰
薛启凡
赵靖文
罗佳奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910485927.1A priority Critical patent/CN110390258A/zh
Publication of CN110390258A publication Critical patent/CN110390258A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Abstract

本发明公开了一种图像目标三维信息标注方法，包括以下步骤：三维信息标注模块读取图像，根据图像中目标所在区域绘制生成二维矩形检测框；根据三维检测框部分顶点位于二维检测框边的关系，生成原始的三维检测框；选择三维检测框顶点标记对原始三维检测框进行调整，生成可描述目标三维尺寸的准确三维检测框；三维物理信息解算模块读取相机标定数据或相机内参矩阵和图像深度信息数据，得到目标在相机坐标系下的投影坐标，进而得出目标的物理尺寸，包括长L、宽W以及航向α。本发明通过对单一图像数据中的目标进行三维标记获得尺寸、坐标与目标航向等具体信息，可加载相应的相机标定数据，实现像素坐标与相机坐标的转换，得到目标真实的三维信息，有利于目标检测、跟踪等算法的实现。

Description

图像目标三维信息标注方法
技术领域
本分明涉及图像信息标注，具体涉及一种图像目标三维信息标注方法。
背景技术
随着人工智能和无人驾驶技术的日趋发展，对计算机视觉算法和深度学习的研究成为了学术界的热点课题，而视觉算法，包括目标检测与跟踪等算法的实现与发展必须有庞大的、准确的道路、街景样例数据的支持。
图像标注工具可以快速、高效地制作算法实现需要的样例数据集。目前已经存在多种二维目标标记工具，例如labelImg、yolo_mark、Vatic等，这类工具可用于对图像中目标进行二维信息标注，包含目标二维检测框的像素坐标以及目标类别，可基本满足大多数基于深度学习的二维目标检测等算法实现的数据集制作要求。随着深度学习算法研究的不断深入，以及智能驾驶中对车辆等目标三维信息的需求，对三维目标检测与跟踪等算法的研究也逐渐成为热点课题，中国专利CN108829435提供了一种图像标注方法及通用图像标记工具，实现了二维的打点标绘、标线标绘、标框标绘和区域标绘，但未能解决图像目标的三维信息标注。
发明内容
发明目的：本发明的目的是提供一种图像目标三维信息标注方法，解决现有标注方法不能实现图像目标的三维信息标注的问题。
技术方案：本发明所述的图像目标三维信息标注方法，包括以下步骤：
(1)三维信息标注模块读取图像，根据图像中目标所在区域绘制生成二维矩形检测框；
(2)根据三维检测框部分顶点位于二维检测框边的关系，生成原始的三维检测框；
(3)根据图像中目标尺寸与航向，选择三维检测框顶点标记对原始三维检测框进行调整，使其准确描述图像中的目标尺寸；
(4)三维物理信息解算模块读取相机标定数据或相机内参矩阵和图像深度信息数据，得到目标在相机坐标系下的投影坐标，进而得出目标的物理尺寸，包括长L、宽W以及航向α。
其中，所述步骤(1)具体为：根据图像轮廓选择二维检测框的起始点，获取该起始点的像素坐标(x0，y0)，该起始点为目标二维检测框的左上顶点，生成二维检测框区域，并获取二维检测框的右下顶点的像素坐标(x1，y1)。
所述步骤(2)具体为：根据目标预设航向，选择目标二维检测框的任一顶点作为三维检测框的起始点(x’0，y’0)，二维检测框中的对顶点作为终止点(x’7，y’7)，根据预设的二维检测框长宽与三维检测框长宽比，确定三维检测框其他顶点坐标，三维检测框坐标为[(x’0，y’0)，(x’1，y’1)......(x’7，y’7)]。
所述步骤(4)中，相机标定数据包括相机的安装角、偏移距离和内参矩阵。
所述步骤(4)中读取相机标定数据，对三维检测框的底部四顶点像素坐标进行反向投影变换，获得相机坐标系下的投影坐标(x1，y1)......(x4，y4)，解算得出目标的物理尺寸长L、宽W以及航向α：
W＝x1-x2
L＝y1-y3
所述步骤(4)中读取相机内参矩阵和图像深度信息数据，通过像素坐标系与相机坐标系的转换关系，解算得出目标三维检测框顶点在相机坐标系下的坐标(x1，y1，z1)，(x2，y2，z2)......(x8，y8，z8)，进一步计算得出目标的物理尺寸长L、宽W、高H以及航向α：
L＝|x1-x5|
W＝|y1-y2|
H＝|z1-z3|
有益效果：本发明为一种崭新的标注方法，通过对单一图像数据中的目标进行三维标记获得尺寸、坐标与目标航向等具体信息，可加载相应的相机标定数据，实现像素坐标与相机坐标的转换，得到目标真实的三维信息，有利于目标检测、跟踪等算法的实现。
附图说明
图1是本发明中应用到的模块框架图；
图2是本发明流程图；
图3是二维/三维检测框顶点匹配关系图；
图4是反向投影变换示意图；
图5是像素坐标系/相机坐标系转换示意图。
具体实施方式
下面结合附图对本发明进行进一步说明。
本发明图像目标三维信息标注方法，系统包含三维信息标注模块和三维物理信息解算模块，通过相应的标注模块，对图像中的目标进行三维检测框标记、类别标记、图像坐标航向标记，并可配置相应的相机标定数据文件，加载目标物理信息解算功能模块，解算得出目标的三维物体尺寸信息、航向信息，生成相应的标注文件。
图2为本发明的实施流程示意图，具体步骤如下：
三维信息标注模块包含图片文件夹读取、标注文件读取、类别文件读取、三维检测框绘制、类别标记、图像坐标系航向标记。三维物理信息解算模块包含相机标定数据文件读取、相机坐标系解算、标注文件生成与保存等功能。
第一步，读取待标注图片/图片文件夹，生成相应的图片列表，可根据列表选择对应的图片，并将图片通过窗口显示。
第二步，指定标注文件的读取与保存地址，标注文件命名方式与对应图片名保持一致，并一一对应。根据第一步生成的图片列表，查找对应的标注文件，若当前图片的标注文件存在，则自动读取标注文本，在图片窗口中显示标注结果，标注文本读取支持KITTI数据集三维目标标注格式。
第三步，类别文件则根据用户的标记需求生成相应的类别名文本，该文本中类别名按行写入，保存在制定文件夹下，标注模块自动读取该文本文件，用于标记目标时的目标的类别选择。
第四步，利用该模块对图像进行三维检测框绘制，包括：
1)监听鼠标/键盘事件，获取用户在图像坐标系中的坐标。其中鼠标事件主要包括单击、右击、拖动、释放等，单击鼠标左键开始检测框的绘制，获取该点像素坐标(x0，y0)，该点为目标二维检测框的左上顶点。然后拖动鼠标，生成二维检测框区域，释放鼠标生成二维检测框，并获取该点的像素坐标(x1，y1)，该点为二维检测框的右下顶点。因此，生成的二维检测框四个顶点坐标分别为左上(x0，y0)、右上(x0，y1)、右下(x1，y1)、左下(x1，y0)。
2)由二维检测框生成对应的三维检测框，考虑三维检测框顶点与二维检测框顶点的对应关系，生成原始的三维检测框，具体的匹配关系如附图3所示，匹配系数可根据需求进行设定，三维检测框生成对应的八个顶点。
3)三维检测框调整，鼠标单击选取检测框的任一顶点，拖动该顶点进行检测框的细调，生成准确的三维检测框。
三维检测框绘制结束后需对目标类别信息进行标记，根据之前保存在指定路径下的类别名文本生成相应类别列表，选择该目标类别，类别信息可实时显示在对应检测框下。此时，双击类别信息，可以对类别信息进行重标记。
三维信息标注中需要获取样例的航向信息，图像坐标系航向坐标标记与解算方法，首先进行目标航向的初始选择，包含上、下、左、右四个初始方向，根据初始航向确定目标的前向与后向位置，通过目标前向与后向中心点坐标计算目标在像素坐标系下的航向信息。
利用目标的像素坐标进行物理尺寸与航向解算，该模块有两种解算方式，包括：
1)读取相机标定数据，包括相机的安装角、偏移距离、内参矩阵等参数，生成反向投影变换矩阵，对像素坐标(u，v)进行反向投影变换，得到相机坐标系下的投影坐标(x，y)，解算得出目标的物理尺寸，包括长L、宽W以及航向α，如附图4所示，
W＝x1-x2
L＝y1-y3
2)读取相机内参矩阵和图像深度信息数据，利用深度信息求出目标与相机距离，再通过像素坐标系与相机坐标系的转换关系，转换关系如附图5所示，解算得出相机坐标系下的坐标(x，y，z)，进一步计算得出目标的物理尺寸，包括长L、宽W、高H以及航向α，
L＝|x1-x5|
W＝|y1-y2|
H＝|z1-z3|
标注文件保存与读取功能，标注文件格式包含目标的类别、二维检测框坐标、三维检测框尺寸、中心点坐标以及航向，并按对应图片的命名格式命名，保存在指定路径下。标注文件读取，查找指定路径下与图像名对应的文本文件名，读取文本中的标注数据，通过反向解算，在图像窗口中可视化标注结果，可对标注结果进行相应修改。

Claims (6)

1.一种图像目标三维信息标注方法，其特征在于，包括以下步骤：
(1)三维信息标注模块读取图像，根据图像中目标所在区域绘制生成二维矩形检测框；
(2)根据三维检测框部分顶点位于二维检测框边的关系，生成原始的三维检测框；
(3)根据图像中目标尺寸与航向，选择三维检测框顶点标记对原始三维检测框进行调整，使其准确描述图像中的目标尺寸；
(4)三维物理信息解算模块读取相机标定数据或相机内参矩阵和图像深度信息数据，得到目标在相机坐标系下的投影坐标，进而得出目标的物理尺寸，包括长L、宽W以及航向α。
2.根据权利要求1所述的图像目标三维信息标注方法，其特征在于，所述步骤(1)具体为：根据图像轮廓选择二维检测框的起始点，获取该起始点的像素坐标(x0，y0)，该起始点为目标二维检测框的左上顶点，生成二维检测框区域，并获取二维检测框的右下顶点的像素坐标(x1，y1)。
3.根据权利要求I所述的图像目标三维信息标注方法，其特征在于，所述步骤(2)具体为：根据目标预设航向，选择目标二维检测框的任一顶点作为三维检测框的起始点(x’0，y’0)，二维检测框中的对顶点作为终止点(x’7，y’7)，根据预设的二维检测框长宽与三维检测框长宽比，确定三维检测框其他顶点坐标，三维检测框坐标为[(x’0，y’0)，(x’1，y’1)......(x’7，y’7)]。
4.根据权利要求1所述的图像目标三维信息标注方法，其特征在于，所述步骤(4)中，相机标定数据包括相机的安装角、偏移距离和内参矩阵。
5.根据权利要求1所述的图像目标三维信息标注方法，其特征在于，所述步骤(4)中读取相机标定数据，对三维检测框的底部四顶点像素坐标进行反向投影变换，获得相机坐标系下的投影坐标(x1，y1)......(x4，y4)，解算得出目标的物理尺寸长L、宽W以及航向α：
W＝x1-x2
L＝y1-y3
6.根据权利要求1所述的图像目标三维信息标注方法，其特征在于，所述步骤(4)中读取相机内参矩阵和图像深度信息数据，通过像素坐标系与相机坐标系的转换关系，解算得出目标三维检测框顶点在相机坐标系下的坐标(x1，y1，z1)，(x2，y2，z2)......(x8，y8，z8)，进一步计算得出目标的物理尺寸长L、宽W、高H以及航向α：
L＝|x1-x5|
W＝|y1-y2|
H＝|z1-z3|
CN201910485927.1A 2019-06-05 2019-06-05 图像目标三维信息标注方法 Pending CN110390258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910485927.1A CN110390258A (zh) 2019-06-05 2019-06-05 图像目标三维信息标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910485927.1A CN110390258A (zh) 2019-06-05 2019-06-05 图像目标三维信息标注方法

Publications (1)

Publication Number Publication Date
CN110390258A true CN110390258A (zh) 2019-10-29

Family

ID=68285246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910485927.1A Pending CN110390258A (zh) 2019-06-05 2019-06-05 图像目标三维信息标注方法

Country Status (1)

Country Link
CN (1) CN110390258A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807431A (zh) * 2019-11-06 2020-02-18 上海眼控科技股份有限公司 对象定位方法、装置、电子设备及存储介质
CN110826499A (zh) * 2019-11-08 2020-02-21 上海眼控科技股份有限公司 物体空间参数检测方法、装置、电子设备及存储介质
CN110853103A (zh) * 2019-11-12 2020-02-28 佛山智能装备技术研究院 一种用于深度学习姿态估计的数据集制作方法
CN111179271A (zh) * 2019-11-22 2020-05-19 浙江众合科技股份有限公司 一种基于检索匹配的物体角度信息标注方法及电子设备
CN111310667A (zh) * 2020-02-18 2020-06-19 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111739137A (zh) * 2020-05-26 2020-10-02 复旦大学 一种三维姿态估计数据集的生成方法
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN113033426A (zh) * 2021-03-30 2021-06-25 北京车和家信息技术有限公司 动态对象标注方法、装置、设备和存储介质
CN113240750A (zh) * 2021-05-13 2021-08-10 中移智行网络科技有限公司 三维空间信息测算方法及装置
CN113342914A (zh) * 2021-06-17 2021-09-03 重庆大学 一种用于地球仪区域检测的数据集获取及自动标注的方法
CN113470110A (zh) * 2020-03-30 2021-10-01 北京四维图新科技股份有限公司 测距方法和装置
WO2022016368A1 (zh) * 2020-07-21 2022-01-27 深圳市大疆创新科技有限公司 3d框标注方法、设备及计算机可读存储介质
CN114170568A (zh) * 2021-12-03 2022-03-11 成都鼎安华智慧物联网股份有限公司 基于深度学习的人员密度检测方法及检测系统
CN114495038A (zh) * 2022-01-12 2022-05-13 九识(苏州)智能科技有限公司 一种自动驾驶检测标注数据的后处理方法
CN115880470A (zh) * 2023-03-08 2023-03-31 深圳佑驾创新科技有限公司 3d图像数据的生成方法、装置、设备及存储介质
CN117197003A (zh) * 2023-11-07 2023-12-08 杭州灵西机器人智能科技有限公司 一种多条件控制的纸箱样本生成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102332177A (zh) * 2011-07-27 2012-01-25 深圳市幻视艺术文化传播有限公司 二维平面上实现3d图像的方法及装置
CN106156752A (zh) * 2016-07-25 2016-11-23 长安大学 一种基于逆投影三视图的车型识别方法
CN108510590A (zh) * 2017-02-24 2018-09-07 北京图森未来科技有限公司 一种生成三维边界框的方法及装置
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质
CN109242903A (zh) * 2018-09-07 2019-01-18 百度在线网络技术（北京）有限公司 三维数据的生成方法、装置、设备及存储介质
CN109584295A (zh) * 2017-09-29 2019-04-05 阿里巴巴集团控股有限公司 对图像内目标物体进行自动标注的方法、装置及系统
CN109840934A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种工件的三维模型生成方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102332177A (zh) * 2011-07-27 2012-01-25 深圳市幻视艺术文化传播有限公司 二维平面上实现3d图像的方法及装置
CN106156752A (zh) * 2016-07-25 2016-11-23 长安大学 一种基于逆投影三视图的车型识别方法
CN108510590A (zh) * 2017-02-24 2018-09-07 北京图森未来科技有限公司 一种生成三维边界框的方法及装置
CN109584295A (zh) * 2017-09-29 2019-04-05 阿里巴巴集团控股有限公司 对图像内目标物体进行自动标注的方法、装置及系统
CN109840934A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种工件的三维模型生成方法和系统
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质
CN109242903A (zh) * 2018-09-07 2019-01-18 百度在线网络技术（北京）有限公司 三维数据的生成方法、装置、设备及存储介质

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807431A (zh) * 2019-11-06 2020-02-18 上海眼控科技股份有限公司 对象定位方法、装置、电子设备及存储介质
CN110826499A (zh) * 2019-11-08 2020-02-21 上海眼控科技股份有限公司 物体空间参数检测方法、装置、电子设备及存储介质
CN110853103A (zh) * 2019-11-12 2020-02-28 佛山智能装备技术研究院 一种用于深度学习姿态估计的数据集制作方法
CN111179271A (zh) * 2019-11-22 2020-05-19 浙江众合科技股份有限公司 一种基于检索匹配的物体角度信息标注方法及电子设备
CN111310667B (zh) * 2020-02-18 2023-09-01 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111310667A (zh) * 2020-02-18 2020-06-19 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN113470110A (zh) * 2020-03-30 2021-10-01 北京四维图新科技股份有限公司 测距方法和装置
CN111739137A (zh) * 2020-05-26 2020-10-02 复旦大学 一种三维姿态估计数据集的生成方法
WO2022016368A1 (zh) * 2020-07-21 2022-01-27 深圳市大疆创新科技有限公司 3d框标注方法、设备及计算机可读存储介质
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN113033426A (zh) * 2021-03-30 2021-06-25 北京车和家信息技术有限公司 动态对象标注方法、装置、设备和存储介质
CN113033426B (zh) * 2021-03-30 2024-03-01 北京车和家信息技术有限公司 动态对象标注方法、装置、设备和存储介质
CN113240750A (zh) * 2021-05-13 2021-08-10 中移智行网络科技有限公司 三维空间信息测算方法及装置
CN113342914A (zh) * 2021-06-17 2021-09-03 重庆大学 一种用于地球仪区域检测的数据集获取及自动标注的方法
CN114170568A (zh) * 2021-12-03 2022-03-11 成都鼎安华智慧物联网股份有限公司 基于深度学习的人员密度检测方法及检测系统
CN114495038A (zh) * 2022-01-12 2022-05-13 九识(苏州)智能科技有限公司 一种自动驾驶检测标注数据的后处理方法
CN115880470A (zh) * 2023-03-08 2023-03-31 深圳佑驾创新科技有限公司 3d图像数据的生成方法、装置、设备及存储介质
CN117197003A (zh) * 2023-11-07 2023-12-08 杭州灵西机器人智能科技有限公司 一种多条件控制的纸箱样本生成方法
CN117197003B (zh) * 2023-11-07 2024-02-27 杭州灵西机器人智能科技有限公司 一种多条件控制的纸箱样本生成方法

Similar Documents

Publication Publication Date Title
CN110390258A (zh) 图像目标三维信息标注方法
WO2022068225A1 (zh) 点云标注的方法、装置、电子设备、存储介质及程序产品
US8571265B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
CN109931939A (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
CN110796143A (zh) 一种基于人机协同的场景文本识别方法
CN110967014B (zh) 一种基于增强现实技术的机房室内导航和设备追踪的方法
CN105550688B (zh) 点云数据的分类方法及装置
CN108846333A (zh) 标志牌地标数据集生成及车辆定位方法
CN112150804B (zh) 一种基于MaskRCNN算法的城市多类型交叉口识别方法
CN110533720A (zh) 基于联合约束的语义slam系统及方法
CN106560835A (zh) 一种路牌识别方法及装置
CN110533716A (zh) 一种基于3d约束的语义slam系统及方法
CN109961510A (zh) 一种基于三维点云重构技术的高切坡地质快速编录方法
CN109934851A (zh) 一种标注方法、装置及机器可读存储介质
CN111400423B (zh) 基于多视图几何的智慧城市cim三维车辆位姿建模系统
CN106780165A (zh) 一种建筑信息的采编及应用管理系统
Almutairy et al. Arts: Automotive repository of traffic signs for the united states
CN114612393A (zh) 一种基于单目视觉的反光零件位姿估计方法
CA1282495C (en) Curve following apparatus
CN109783592A (zh) 一种形势图动态标绘系统
CN105809685B (zh) 一种基于单幅同心圆图像的摄像机定标方法
CN202057328U (zh) 基于双目视觉的车载式无标尺交通事故现场快速勘查系统
CN112964255A (zh) 一种标记场景用来定位的方法和装置
Grimson et al. Computer vision applications
Yuan et al. Estimation of vehicle pose and position with monocular camera at urban road intersections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191029