CN114067091A - 一种多源数据标注方法、系统、电子设备和存储介质 - Google Patents
一种多源数据标注方法、系统、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114067091A CN114067091A CN202210049234.XA CN202210049234A CN114067091A CN 114067091 A CN114067091 A CN 114067091A CN 202210049234 A CN202210049234 A CN 202210049234A CN 114067091 A CN114067091 A CN 114067091A
- Authority
- CN
- China
- Prior art keywords
- data
- point cloud
- labeling
- frames
- annotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 85
- 238000003860 storage Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000008569 process Effects 0.000 claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000012800 visualization Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 238000013079 data visualisation Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 5
- 238000000265 homogenisation Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000000053 physical method Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种多源数据标注方法、系统、电子设备和存储介质，包括：对传感器进行数据准备，对待标注数据进行类型命名和添加编号，给标注选定好的点云数据赋予类型标签及编号，自动映射为RGB图像标注矩形框；选定两帧数据进行标注，两帧数据之间的其余数据帧自动补全；采用插值算法对其余数据帧的标注信息进行补齐和显示，本发明支持同时标注多视角RGB图像数据和3D点云数据，有助于提高人工标注的精确度，利用空间坐标系原理构建不同传感器标注数据之间的联系，避免传统联合标定的复杂流程，利用插值算法辅助多数据帧的半自动化标注，大大减少人工标注的工作量和时间成本，满足未来多源数据标注的发展需求。
Description
技术领域
本发明涉及一种标注方法、系统、电子设备和存储介质，尤其涉及一种多源数据标注方法、系统、电子设备和存储介质。
背景技术
现如今的人工智能和自动驾驶等前沿技术的发展均离不开大规模的标注数据，这些数据具有真实世界和计算机之间的关联表达，可以有效地帮助计算机理解这个世界，提高人工智能等技术的智能化程度和泛用性。但数据标注是一项非常枯燥且极耗人力物力的现代化劳动密集型工作，标注过程不仅全程手动化操作，而且需要识别每一帧数据中的标注目标，准确地标注出来，该过程效率极其低下，成本高昂，极大地影响大规模数据标注和人工智能的发展。
目前现有技术是基于2D图像数据和深度学习的数据标注技术，现有技术提出的基于深度学习的半自动图像标注技术，是利用深度学习技术先对待标注数据进行预标注，再对预标注图像自动加工，去除大量噪声点，最后交由标注人员使用特定工具快速地发现和修正预标注图中的缺陷，从而达到缩减标注时间的目的，但现有技术存在的主要缺点是：
标注工具可以标注的数据主要是2D的图像数据，缺乏3D点云数据的标注计算能力；
现在的标注工具的标注操作全程手动化，缺乏一定的自动标注能力；
标注人员在标注过程中，仅能通过单一的传感器数据进行标定，当出现需要同时标注多种或多帧数据的时候，需要频繁地不断切换数据，而且标注数据之间的关联缺失，容易导致数据标注结果的准确度降低。
现有技术存在的问题已经不能满足人们的需求，亟需得到解决。
发明内容
本发明的目的在于提供一种多源数据标注方法、系统、电子设备和存储介质，基于2D图像数据和深度学习的数据标注技术进行半自动图像标注技术，利用深度学习技术先对待标注数据进行预标注，再对预标注图像自动加工，去除大量噪声点，最后交由标注人员使用特定工具快速地发现和修正预标注图中的缺陷，从而达到缩减标注时间的目的，解决现有技术存在的缺憾。
本发明提供了下述方案：
一种具有环绕视场的多源数据标注方法，其特征在于，所述多源数据标注方法包括：
对传感器进行数据准备，对待标注数据进行类型命名和添加编号；
调整3D点云可视化界面中的点云数据的观测视角，使选择框包括全部包含标注的点云数据，给标注选定好的点云数据赋予类型标签及编号；
3D点云标注选择框自动映射为RGB图像标注选择框；
选定两帧数据进行标注，两帧数据之间的其余数据帧自动补全；根据两帧数据的标注信息，采用插值算法对其余数据帧的标注信息进行补齐和显示；
将标注数据进行保存和导出。
进一步的，在传感器进行数据准备的过程中，所有传感器数据经过时间戳同步处理，以采集车辆中心为坐标系，获取各个传感器之间的空间位置关系，构成传感器外参矩阵。
进一步的，在3D点云标注过程中，将3D点云可视化界面分为不同视角的视图：自由选择观测角度的点云可视化全局视图、选中选择框后显示的局部点云主视图、俯视图和侧视图，调整选择的位置和尺寸，各个不同视角的视图之间自动实时同步。
进一步的，采用多传感器三维坐标转换方式，将选择框自动映射为RGB图像标注选择框；
空间顶点坐标依次进行坐标齐次化和相机坐标系投影计算，得到相机坐标系下的三维矩形框数据；
再经过图像坐标系的投影计算，在RGB数据可视化界面中看到3D点云标注选择框；
进行逆计算，调整RGB数据可视化界面的标注矩形框，自动映射为3D点云标注矩形框。
进一步的，采用插值算法对其余数据帧的标注信息进行补齐和显示，通过三维矩形框数据计算出当前标注物体的位置和航向角度，选定且标注两帧数据帧。
进一步的，利用Slerp插值算法对两帧之间的其余数据帧进行标注插值和映射。
一种具有环绕视场的多源数据标注系统，其特征在于，所述多源数据标注系统包括：
命名编号模块，用于对待标注数据进行类型命名和添加编码；
点云数据标注模块，调整3D点云可视化界面中的点云数据的观测视角，使选择框包括全部包含标注的点云数据，给标注选定好的点云数据赋予类型标签及编号；
点云标注映射模块，用于3D点云标注选择框自动映射为RGB图像标注矩形框；
数据帧自动补全模块，用于选定两帧数据进行标注，两贴数据之间的其余数据帧自动补全；
存储导出模块，用于将标注数据进行保存和导出。
进一步的，在所述数据帧自动补全模块中，采用插值算法对其余数据帧的标注信息进行补齐和显示。
一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行所述方法的步骤。
一种计算机可读存储介质，其特征在于，其存储有可由电子设备执行的计算机程序，当所述计算机程序在所述电子设备上运行时，使得所述电子设备执行所述方法的步骤。
本发明与现有技术相比具有以下的优点：本发明支持同时标注多视角RGB图像数据和3D点云数据，多源数据的同时标注调整有助于提高人工标注的精确度；利用空间坐标系原理构建不同传感器标注数据之间的联系，避免传统联合标定的复杂流程；利用插值算法辅助多数据帧的半自动化标注，大大减少人工标注的工作量和时间成本；基于web和开源3D引擎设计该数据标注工具，打破现有数据标注工具的局限性，满足未来多源数据标注的发展需求。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是数据标注工具的主界面图。
图2是3D点云数据标注的示意图。
图3是点云标注框的自动映射效果图。
图4是半自动标注的效果图。
图5是多源数据标注方法的流程图。
图6是多源数据标注系统的架构图。
图7是电子设备的整体架构图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的主要思想，是提供一种具有环绕视场的多源数据标方法和系统，可以标注2D图像和3D点云，而且可以通过构建传感器数据之间的关联，基于已标注的传感器数据，推算出另一种传感器的标注结果，大大提高了数据标注工具对不同传感器的兼容性和适用性。同时，该数据标注工具具有自动插值功能，可以实现半自动化数据标注，仅需任意选定两帧数据，完成标注后即可自动进行两帧之间其余数据的标注工作，降低了手动标注的工作量，极大地提高了数据标定的效率，数据标注工具界面如图1所示。
本发明能够跨平台使用，减少额外的系统资源要求和复杂的环境配置，在下面公开的实施例中，本发明采用web技术实现整个工具的功能开发，仅需一个浏览器即可运行标注程序，无需考虑底层系统配置等问题。传统的数据标注工具之所以不具有3D点云数据的标注功能，是因为3D点云数据的数据量大而且无序，不利于操作人员准确地执行标注工作；本发明基于WebGL和Potree开源3D解决方案，实现整个数据标注工具的实时数据可视化和点云标注计算功能。
Potree是一种基于WebGL的3D点云数据可视化解决方案，包含点云数据转化，数据操作以及进行可视化的源码。该解决方案的主要优势在于对点云数据进行了多尺度的管理，在数据传输和可视化上都做了优化。它是一套开源的系统，基于Three.js，由奥地利维也纳理工大学的Harvest4D项目贡献。本发明设计的数据标注工具除了可以使用Potree这一解决方案外，其他的开源3D解决方案同样是可以适用的，比如Blend4Web和PCL，同样是可以用于Web端的点云数据处理和计算。
需要说明的是：需要本发明的实施例以web浏览器作为载体运行标注程序，但并不意味着本发明的运行平台局限于web浏览器，以web浏览器为例对本发明进行描述，只是示意性的，而非局限性的，不能认为本发明只运行在web浏览器上，也不能认为web浏览器是本发明的唯一运行平台。
实施例1：具有环绕视场的多源数据标注方法，多源数据标注方法包括：
对传感器进行数据准备，对待标注数据进行类型命名和添加编号，所有的传感器数据帧在同一时刻下需要命名一致，可以根据自定义序号或时间戳进行命名；
调整3D点云可视化界面中的点云数据的观测视角，使选择框包括全部包含标注的点云数据，给标注选定好的点云数据赋予类型标签及编号；
3D点云标注选择框自动映射为RGB图像标注矩形框；通过调整RGB数据可视化界面的矩形框，同样也可以自动映射到3D点云可视化界面上；
选定两帧数据进行标注，两帧数据之间的其余数据帧自动补全；根据两帧数据的标注信息，采用插值算法对其余数据帧的标注信息进行补齐和显示；
在本发明中，3D点云标注选择框、3D点云标注选择框、三维矩形框和RGB图像标注矩形框等概念具有等同意义，都是用于框定选择的控件，类似用于框定选择的控件通常都是矩形的，但并不意味着选择框的形状仅局限于矩形框，在一些特殊的场合，选择框可以根据实际情况采用任何一种形状。
优选的，在传感器进行数据准备的过程中，所有传感器数据经过时间戳同步处理，保证数据输出的时间一致性，以采集车辆中心为坐标系，可以采用外部物理测量的方式或外参联合标定，获取各个传感器之间的空间位置关系，构成传感器外参矩阵。
优选的，在3D点云标注过程中，将3D点云可视化界面分为不同视角的视图：自由选择观测角度的点云可视化全局视图、选中矩形框后显示的局部点云主视图、俯视图和侧视图，调整选择的位置和尺寸，各个不同视角的视图之间自动实时同步，在数据标注过程中，通过优先对3D点云数据进行标注，通过自动映射至各个视角下的RGB数据中，实现高效的多源数据标注操作。为了达到具有环绕视场的效果，数据标注工具输入的RGB相机数据至少要求有四路以上，可以构成类似全景环绕图像的效果，具有一定比例的重合视场。
优选的，采用多传感器三维坐标转换方式，将选择框自动映射为RGB图像标注选择框：
空间顶点坐标依次进行坐标齐次化和相机坐标系投影计算，得到相机坐标系下的三维矩形框数据，再经过图像坐标系的投影计算，在RGB数据可视化界面中看到3D点云标注选择框。进行逆计算，调整RGB数据可视化界面的标注矩形框，自动映射为3D点云标注矩形框。
优选的，采用插值算法对其余数据帧的标注信息进行补齐和显示，通过三维矩形框数据计算出当前标注物体的位置和航向角度，选定且标注两帧数据帧。
优选的，利用Slerp插值算法对两帧之间的其余数据帧进行标注插值和映射。
将标注数据进行保存和导出。
实施例2：本实施例是在实施例1的基础之上做出的进一步改进，本实施例的其他内容与实施例1相同，限于篇幅不再进行赘述，在实质内容不发生冲突矛盾的前提下，本实施例还能够与其他实施例相互结合，形成更多的实施例：
对传感器进行数据准备时，提前准备好待标注数据，根据传感器类型进行不同命名，存在多个相同传感器数据的情况下需添加顺序编号；所有的传感器数据帧在同一时刻下需要命名一致，可以根据自定义序号或时间戳进行命名；
实施例3：本实施例是在实施例1的基础之上做出的进一步改进，本实施例的其他内容与实施例1相同，限于篇幅不再进行赘述，在实质内容不发生冲突矛盾的前提下，本实施例还能够与其他实施例相互结合，形成更多的实施例。
调整数据标注工具的3D点云可视化界面中点云数据的观测视角至俯视视角，随后在该界面中拖拉出一个矩形框选中标注点云数据；根据被选中的点云的三视图，观测点云的形状及分布，调整矩形框的三维尺寸和位置，保证整个矩形框可以全部包含标注的点云数据；最后给标注选定好的点云数据赋予类型标签及编号，如图2所示。
实施例4：本实施例是在实施例1的基础之上做出的进一步改进，本实施例的其他内容与实施例1相同，限于篇幅不再进行赘述，在实质内容不发生冲突矛盾的前提下，本实施例还能够与其他实施例相互结合，形成更多的实施例。
数据标注工具的RGB数据可视化界面在完成3D点云标注操作后，会自动显示选定矩形框在标注物体的图像数据上；存在一个视角的RGB数据就会显示该视角下的标注矩形框，多个视角的RGB数据也是同样会显示同一个标注矩形框；对比3D点云的标注结果，通过调整RGB数据可视化界面的矩形框，同样也可以自动映射到3D点云可视化界面上，如图3所示。
实施例5：本实施例是在实施例1的基础之上做出的进一步改进，本实施例的其他内容与实施例1相同，限于篇幅不再进行赘述，在实质内容不发生冲突矛盾的前提下，本实施例还能够与其他实施例相互结合，形成更多的实施例。
在传感器数据帧序列中，可以选定两帧数据进行手动标注，随后这两帧之间的其余数据帧可以全选，选择半自动标注模式，工具会自动根据选定两帧数据的标注信息采用插值算法对其余数据帧的标注信息进行补齐和显示，如图4所示；所有的传感器数据帧序列标注完成后，可以将全部的标注数据以Json或XML的格式进行保存导出。
实施例6：本实施例是在实施例1-5的基础之上做的进一步改进，适用于每个实施例中适用的部分，在实质内容不发生冲突矛盾的前提下，本实施例还能够与其他实施例相互结合，形成更多的实施例，例如：本实施例中任一自然段中均涉及一个关键技术点，任何一个自然段均可以单独提炼出来与其他实施例组合形成新的实施例。
在传感器数据准备过程中，所有的传感器数据均需要经过时间戳同步处理，保证数据输出的时间一致性；以采集车辆中心为坐标系，可以采用外部物理测量的方式或外参联合标定，获取各个传感器之间的空间位置关系，构成传感器外参矩阵；
在3D点云标注过程中，3D点云可视化界面分为四个部分，分别是可自由选择观测角度的点云可视化全局视图、选中矩形框后显示的局部点云主视图、俯视图和侧视图；四个点云可视化界面均可以调整矩形框位置和尺寸且可以自动实时同步到其他视图中；在数据标注过程中，通过优先对3D点云数据进行标注，通过自动映射至各个视角下的RGB数据中，实现高效的多源数据标注操作；
在RGB数据可视化和调整过程中，为了达到具有环绕视场的效果，数据标注工具输入的RGB相机数据至少要求有四路以上，可以构成类似全景环绕图像的效果，具有一定比例的重合视场；
在RGB数据可视化和调整过程中，3D点云标注矩形框自动映射为RGB图像标注矩形框的计算过程，采用多传感器三维坐标转换技术；3D点云标注矩形框包含八个三维空间顶点数据，根据这八个数据可以计算出该矩形框的尺寸及质心坐标，因此在映射到RGB图像的过程中，首先需要对这八个空间顶点坐标依次进行坐标齐次化和相机坐标系投影计算；计算后得到相机坐标系下的三维矩形框数据，需要再经过图像坐标系的投影计算才可以最终在RGB数据可视化界面中看到3D点云标注矩形框；调整RGB数据可视化界面的标注矩形框自动映射为3D点云标注矩形框为上述计算过程的逆计算即可；
在半自动标注插值计算中，选定且标注完毕的两帧数据帧可以通过三维矩形框数据计算出当前标注物体的位置和航向角度，以四元数的形式表示和计算；
为了保证自动插值计算得到的标注信息连续平滑，本发明利用Slerp插值算法对两帧之间的其余数据帧进行标注插值和映射，这种插值算法是四元数的一种线性插值运算，主要用于在两个表示旋转的四元数之间平滑差值，保证标注插值数据平滑自然；
本发明在上述具有环绕视场的多源数据标注方法的基础之上，还披露了一个与多源数据标注方法对应的多源数据标注系统，该多源数据标注系统包括：
命名编号模块，用于对待标注数据进行类型命名和添加编码；
点云数据标注模块，调整3D点云可视化界面中的点云数据的观测视角，使选择框包括全部包含标注的点云数据，给标注选定好的点云数据赋予类型标签及编号；
点云标注映射模块，用于3D点云标注选择框自动映射为RGB图像标注矩形框；
数据帧自动补全模块，用于选定两帧数据进行标注，两贴数据之间的其余数据帧自动补全；
存储导出模块，用于将标注数据进行保存和导出。
优选的，在数据帧自动补全模块中，采用插值算法对其余数据帧的标注信息进行补齐和显示。
需要强调的是，虽然本发明的多源数据标注系统在架构图中只披露了命名编号模块、点云数据标注模块、点云标注映射模块、数据帧自动补全模块和存储导出模块，但并不意味着多源数据标注系统仅仅局限于上述功能模块，相反，本专利所要表达的意思，在上述模块的基础之上本领域技术人员可以结合现有技术任意添加一个或多个功能模块，形成无穷多个实施例或技术方案，也就是说本系统是开放式而非封闭式的，不能因为本实施例仅仅披露了个别基本功能模块，就认为本专利权利要求的保护范围局限于所公开的基本功能模块。
本发明还公开了与多源数据标注方法、系统对应的电子设备和存储介质，电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器中存储有计算机程序，当程序被处理器执行时，使得处理器执行环绕视场的多源数据标注方法的步骤。计算机可读存储介质内存储有可由电子设备执行的计算机程序，当程序在电子设备上运行时，使得电子设备执行多源数据标注方法的步骤。
电子设备包括硬件层，运行在硬件层之上的操作系统层，以及运行在操作系统上的应用层。该硬件层包括中央处理器(CPU，Central Processing Unit)、内存管理单元(MMU，Memory Management Unit)和内存等硬件。该操作系统可以是任意一种或多种通过进程(Process)实现电子设备控制的计算机操作系统，例如，Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。
并且在本发明实施例中该电子设备可以是智能手机、平板电脑等手持设备，也可以是桌面计算机、便携式计算机等电子设备，本发明实施例中并未特别限定，只要能够通过运行记录有本发明实施例中的CPU更换方法的代码的程序，实现CPU更换即可。
本发明实施例中的电子设备控制的执行主体可以是电子设备，或者是电子设备中能够调用程序并执行程序的功能模块。
电子设备可以获取到存储介质对应的固件，存储介质对应的固件由供应商提供，不同存储介质对应的固件可以相同可以不同，在此不做限定。
电子设备获取到存储介质对应的固件后，可以将该存储介质对应的固件写入存储介质中，具体地是往该存储介质中烧入该存储介质对应固件。
将固件烧入存储介质的过程可以采用现有技术实现，在本发明实施例中不做赘述。
电子设备还可以获取到存储介质对应的重置命令，存储介质对应的重置命令由供应商提供，不同存储介质对应的重置命令可以相同可以不同，在此不做限定。
此时电子设备的存储介质为写入了对应的固件的存储介质，电子设备可以在写入了对应的固件的存储介质中响应该存储介质对应的重置命令，从而电子设备根据存储介质对应的重置命令，对该写入对应的固件的存储介质进行重置。根据重置命令对存储介质进行重置的过程可以现有技术实现，在本发明实施例中不做赘述。
综上实施例公开的内容可以看出，本发明公开的数据标注同时标注多视角RGB图像数据和3D点云数据，多源数据的同时标注调整有助于提高人工标注的精确度；利用空间坐标系原理构建不同传感器标注数据之间的联系，避免传统联合标定的复杂流程；利用插值算法辅助多数据帧的半自动化标注，大大减少人工标注的工作量和时间成本；基于web和开源3D引擎设计该数据标注工具，打破现有数据标注工具的局限性，满足未来多源数据标注的发展需求。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种具有环绕视场的多源数据标注方法，其特征在于，所述多源数据标注方法包括：
对传感器进行数据准备，对待标注数据进行类型命名和添加编号；
调整3D点云可视化界面中的点云数据的观测视角，使选择框包括全部包含标注的点云数据，给标注选定好的点云数据赋予类型标签及编号；
3D点云标注选择框自动映射为RGB图像标注选择框；
选定两帧数据进行标注，两帧数据之间的其余数据帧自动补全；根据两帧数据的标注信息，采用插值算法对其余数据帧的标注信息进行补齐和显示；
将标注数据进行保存和导出。
2.根据权利要求1所述的具有环绕视场的多源数据标注方法，其特征在于，在传感器进行数据准备的过程中，所有传感器数据经过时间戳同步处理，以采集车辆中心为坐标系，获取各个传感器之间的空间位置关系，构成传感器外参矩阵。
3.根据权利要求1所述的具有环绕视场的多源数据标注方法，其特征在于，在3D点云标注过程中，将3D点云可视化界面分为不同视角的视图：自由选择观测角度的点云可视化全局视图、选中选择框后显示的局部点云主视图、俯视图和侧视图，调整选择的位置和尺寸，各个不同视角的视图之间自动实时同步。
4.根据权利要求1所述的具有环绕视场的多源数据标注方法，其特征在于，采用多传感器三维坐标转换方式，将选择框自动映射为RGB图像标注选择框；
空间顶点坐标依次进行坐标齐次化和相机坐标系投影计算，得到相机坐标系下的三维矩形框数据；
再经过图像坐标系的投影计算，在RGB数据可视化界面中看到3D点云标注选择框；
进行逆计算，调整RGB数据可视化界面的标注矩形框，自动映射为3D点云标注矩形框。
5.根据权利要求1所述的具有环绕视场的多源数据标注方法，其特征在于，采用插值算法对其余数据帧的标注信息进行补齐和显示，通过三维矩形框数据计算出当前标注物体的位置和航向角度，选定且标注两帧数据帧。
6.根据权利要求5所述的具有环绕视场的多源数据标注方法，其特征在于，利用Slerp插值算法对两帧之间的其余数据帧进行标注插值和映射。
7.一种具有环绕视场的多源数据标注系统，其特征在于，所述多源数据标注系统包括：
命名编号模块，用于对待标注数据进行类型命名和添加编码；
点云数据标注模块，调整3D点云可视化界面中的点云数据的观测视角，使选择框包括全部包含标注的点云数据，给标注选定好的点云数据赋予类型标签及编号；
点云标注映射模块，用于3D点云标注选择框自动映射为RGB图像标注矩形框；
数据帧自动补全模块，用于选定两帧数据进行标注，两贴数据之间的其余数据帧自动补全；
存储导出模块，用于将标注数据进行保存和导出。
8.根据权利要求7所述的具有环绕视场的多源数据标注系统，其特征在于，在所述数据帧自动补全模块中，采用插值算法对其余数据帧的标注信息进行补齐和显示。
9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，其存储有可由电子设备执行的计算机程序，当所述计算机程序在所述电子设备上运行时，使得所述电子设备执行权利要求1-6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210049234.XA CN114067091B (zh) | 2022-01-17 | 2022-01-17 | 一种多源数据标注方法、系统、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210049234.XA CN114067091B (zh) | 2022-01-17 | 2022-01-17 | 一种多源数据标注方法、系统、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114067091A true CN114067091A (zh) | 2022-02-18 |
| CN114067091B CN114067091B (zh) | 2022-08-16 |
Family
ID=80231166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210049234.XA Active CN114067091B (zh) | 2022-01-17 | 2022-01-17 | 一种多源数据标注方法、系统、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114067091B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784038A (zh) * | 2016-08-31 | 2018-03-09 | 法乐第(北京)网络科技有限公司 | 一种传感器数据的标注方法 |
| CN109509260A (zh) * | 2017-09-14 | 2019-03-22 | 百度在线网络技术（北京）有限公司 | 动态障碍物点云的标注方法、设备及可读介质 |
| CN109727312A (zh) * | 2018-12-10 | 2019-05-07 | 广州景骐科技有限公司 | 点云标注方法、装置、计算机设备和存储介质 |
| CN110310351A (zh) * | 2019-07-04 | 2019-10-08 | 北京信息科技大学 | 一种基于草图的三维人体骨骼动画自动生成方法 |
| CN111915746A (zh) * | 2020-07-16 | 2020-11-10 | 北京理工大学 | 一种基于弱标注的三维点云目标检测方法及标注工具 |
| CN112037138A (zh) * | 2020-07-29 | 2020-12-04 | 大连理工大学 | 一种单张深度图点云场景语义补全的方法 |
| CN112258651A (zh) * | 2020-10-20 | 2021-01-22 | 河北农业大学 | 一种遮挡情况下奶牛体表点云三维重建方法 |
| CN112948605A (zh) * | 2019-12-11 | 2021-06-11 | 深圳云天励飞技术有限公司 | 点云数据的标注方法、装置、设备及可读存储介质 |
| CN113126120A (zh) * | 2021-04-25 | 2021-07-16 | 北京百度网讯科技有限公司 | 数据标注方法、装置、设备、存储介质以及计算机程序产品 |
| CN113127666A (zh) * | 2020-01-15 | 2021-07-16 | 初速度（苏州）科技有限公司 | 一种连续帧数据的标注系统、方法和装置 |
| CN113689508A (zh) * | 2021-09-09 | 2021-11-23 | 北京地平线机器人技术研发有限公司 | 点云标注方法、装置、存储介质及电子设备 |
-
2022
- 2022-01-17 CN CN202210049234.XA patent/CN114067091B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784038A (zh) * | 2016-08-31 | 2018-03-09 | 法乐第(北京)网络科技有限公司 | 一种传感器数据的标注方法 |
| CN109509260A (zh) * | 2017-09-14 | 2019-03-22 | 百度在线网络技术（北京）有限公司 | 动态障碍物点云的标注方法、设备及可读介质 |
| CN109727312A (zh) * | 2018-12-10 | 2019-05-07 | 广州景骐科技有限公司 | 点云标注方法、装置、计算机设备和存储介质 |
| CN110310351A (zh) * | 2019-07-04 | 2019-10-08 | 北京信息科技大学 | 一种基于草图的三维人体骨骼动画自动生成方法 |
| CN112948605A (zh) * | 2019-12-11 | 2021-06-11 | 深圳云天励飞技术有限公司 | 点云数据的标注方法、装置、设备及可读存储介质 |
| CN113127666A (zh) * | 2020-01-15 | 2021-07-16 | 初速度（苏州）科技有限公司 | 一种连续帧数据的标注系统、方法和装置 |
| WO2021143230A1 (zh) * | 2020-01-15 | 2021-07-22 | 初速度（苏州）科技有限公司 | 一种连续帧数据的标注系统、方法和装置 |
| CN111915746A (zh) * | 2020-07-16 | 2020-11-10 | 北京理工大学 | 一种基于弱标注的三维点云目标检测方法及标注工具 |
| CN112037138A (zh) * | 2020-07-29 | 2020-12-04 | 大连理工大学 | 一种单张深度图点云场景语义补全的方法 |
| CN112258651A (zh) * | 2020-10-20 | 2021-01-22 | 河北农业大学 | 一种遮挡情况下奶牛体表点云三维重建方法 |
| CN113126120A (zh) * | 2021-04-25 | 2021-07-16 | 北京百度网讯科技有限公司 | 数据标注方法、装置、设备、存储介质以及计算机程序产品 |
| CN113689508A (zh) * | 2021-09-09 | 2021-11-23 | 北京地平线机器人技术研发有限公司 | 点云标注方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114067091B (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108648269B (zh) | 三维建筑物模型的单体化方法和系统 | |
| TW201915943A (zh) | 對圖像內目標物體進行自動標註的方法、裝置及系統 | |
| US20140192159A1 (en) | Camera registration and video integration in 3d geometry model | |
| Andersen et al. | Virtual annotations of the surgical field through an augmented reality transparent display | |
| CN104484033A (zh) | 基于bim的虚拟现实展示方法和系统 | |
| Zollmann et al. | Interactive 4D overview and detail visualization in augmented reality | |
| CN104680532A (zh) | 一种对象标注方法及装置 | |
| CN109035401A (zh) | 基于倾斜相机摄影的城市三维场景自动建模系统 | |
| KR101201129B1 (ko) | 증강현실 기술을 이용한 시공 구조물의 3차원 영상 표시 시스템 | |
| CN111597628B (zh) | 一种模型标记方法、装置、存储介质及电子设备 | |
| JP2021532497A (ja) | マルチソース地球観測画像処理の可視化方法、機器及び記録媒体 | |
| CN110910504A (zh) | 区域的三维模型的确定方法及装置 | |
| CN113781628A (zh) | 一种三维场景搭建方法和装置 | |
| CN111241610A (zh) | 三维建模方法、装置、计算设备和存储介质 | |
| CN115147665A (zh) | 一种数据标注方法、装置、电子设备及存储介质 | |
| CN114067091B (zh) | 一种多源数据标注方法、系统、电子设备和存储介质 | |
| CN113129362B (zh) | 一种三维坐标数据的获取方法及装置 | |
| CN111999030B (zh) | 三维油流vr在线测量与显示系统及其工作方法 | |
| CN113838193A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| WO2022160406A1 (zh) | 基于增强现实技术的物联网实训系统的实现方法及系统 | |
| US20140142900A1 (en) | Information processing apparatus, information processing method, and program | |
| CN104680578A (zh) | 基于bim的轴线标示方法和系统 | |
| CN116243623A (zh) | 应用于数字化机器人产业链的机器人场景仿真方法 | |
| CN114202554A (zh) | 标记生成、模型训练、标记方法、装置、存储介质及设备 | |
| Liu et al. | Research on real-time monitoring technology of equipment based on augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 518057 room 124, f block, huihuixinqiao 107, Shangliao Industrial Road, Shangnan Shangliao community, Xinqiao street, Bao'an District, Shenzhen City, Guangdong Province Patentee after: Zhongke Huituo (Guangdong) Technology Co.,Ltd. Country or region after: China Address before: 518057 room 124, f block, huihuixinqiao 107, Shangliao Industrial Road, Shangnan Shangliao community, Xinqiao street, Bao'an District, Shenzhen City, Guangdong Province Patentee before: Shenzhen huituo infinite Technology Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |