CN112907760B - 三维对象的标注方法及装置、工具、电子设备和存储介质 - Google Patents
三维对象的标注方法及装置、工具、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112907760B CN112907760B CN202110180923.XA CN202110180923A CN112907760B CN 112907760 B CN112907760 B CN 112907760B CN 202110180923 A CN202110180923 A CN 202110180923A CN 112907760 B CN112907760 B CN 112907760B
- Authority
- CN
- China
- Prior art keywords
- bounding box
- semantic information
- point
- dimensional object
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种三维对象的标注方法及装置、工具、电子设备和存储介质。所述方法包括：响应于自动标注请求，根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，其中，所述目标语义信息表示所述三维场景中的待标注三维对象的点的语义信息；根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点；根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒；根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，其中，所述包围盒的信息包括所述包围盒的位置信息。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种三维对象的标注方法及装置、工具、电子设备和存储介质。
背景技术
在三维(3Dimensions，3D)视觉的研究中，包含三维对象的标注数据的数据集起着重要的作用。然而，开源社区中的数据集常常不能满足我们的需求，因此，我们需要通过标注来得到符合要求的三维对象的标注数据。
发明内容
本公开提供了一种三维对象的标注技术方案。
根据本公开的一方面，提供了一种三维对象的标注方法，包括：
响应于自动标注请求，根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，其中，所述目标语义信息表示所述三维场景中的待标注三维对象的点的语义信息；
根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点；
根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒；
根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，其中，所述包围盒的信息包括所述包围盒的位置信息。
通过响应于自动标注请求，根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，其中，所述目标语义信息表示所述三维场景中的待标注三维对象的点的语义信息，根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，并根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，由此根据三维场景的点云的点的语义信息得到包围待标注三维对象的包围盒，并根据包围盒得到自动标注数据，从而能够实现三维对象的自动标注，能够大大节省对三维对象进行标注的时间成本和人力成本，提高标注效率，并能提高三维对象的标注数据的准确性。
在一种可能的实现方式中，所述根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，包括：
在所述自动标注请求对应的请求位置不属于三维场景中任一已有的包围盒的情况下，将所述点云中与所述请求位置距离最近的点确定为目标点；
将所述目标点的语义信息确定为目标语义信息。
在该实现方式中，通过在所述自动标注请求对应的请求位置不属于三维场景中任一已有的包围盒的情况下，将所述点云中与所述请求位置距离最近的点确定为目标点，将所述目标点的语义信息确定为目标语义信息，根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，并根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，由此能够根据标注人员在三维场景中的请求位置，自动生成包围待标注三维对象的包围盒，并根据自动生成的包围盒得到待标注三维对象的自动标注数据，从而能够提高获得待标注三维对象的标注数据的便捷性，提高标注效率，并能提高待标注三维对象的标注数据的准确性。
在一种可能的实现方式中，所述根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，包括：
从所述三维场景的点云中，确定语义信息为所述目标语义信息的点；
从语义信息为所述目标语义信息的点中，确定与所述目标点连接的点；
将所述目标点，以及语义信息为所述目标语义信息的点中与所述目标点连接的点，确定为属于所述待标注三维对象的点。
在该实现方式中，由于相同类别的三维对象的语义信息相同，因此，通过从所述三维场景的点云中，确定语义信息为所述目标语义信息的点，能够准确地从点云中筛选出所述目标点所属的三维对象的类别下的所有点。通过从语义信息为所述目标语义信息的点中，确定与所述目标点连接的点，由此能够从所述目标点所属的三维对象的类别下的所有点中，准确地筛选出属于所述目标点所属的三维对象的点。因此，根据该实现方式，能够从所述点云中准确地筛选出属于所述待标注三维对象的点。
在一种可能的实现方式中，所述从语义信息为所述目标语义信息的点中，确定与所述目标点连接的点，包括：
从语义信息为所述目标语义信息的点中，搜索与所述目标点属于同一三角面片的点，得到第1级邻接点；
在搜索到第i级邻接点的情况下，从语义信息为所述目标语义信息的点中，搜索与第i级邻接点属于同一三角面片的点，得到第i+1级邻接点，直至搜索不到更多邻接点，其中，i大于或等于1；
将各级邻接点分别确定为与所述目标点连接的点。
根据该实现方式，能够从语义信息为所述目标语义信息的点中，准确地确定与所述目标点连接的点。
在一种可能的实现方式中，所述根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，包括：
在所述自动标注请求对应的请求位置属于三维场景中任一已有的包围盒的情况下，根据所述请求位置所属的包围盒包围的点的语义信息，确定目标语义信息。
该实现方式通过在所述自动标注请求对应的请求位置属于三维场景中任一已有的包围盒的情况下，根据所述请求位置所属的包围盒包围的点的语义信息，确定目标语义信息，根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，并根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，由此能够根据已有的包围盒内的点的语义信息，自动调整已有的包围盒，使调整后的包围盒准确地包围待标注三维对象，并根据调整后的包围盒得到待标注三维对象的自动标注数据，从而能够提高获得待标注三维对象的标注数据的便捷性，提高标注效率，并能提高待标注三维对象的标注数据的准确性。
在一种可能的实现方式中，所述根据所述请求位置所属的包围盒包围的点的语义信息，确定目标语义信息，包括：
根据所述请求位置所属的包围盒包围的点的语义信息，确定所述包围盒中出现次数最多或者出现频率最高的语义信息；
将所述包围盒中出现次数最多或者出现频率最高的语义信息，确定为目标语义信息。
在该实现方式中，通过根据所述请求位置所属的包围盒包围的点的语义信息，确定所述包围盒中出现次数最多或者出现频率最高的语义信息，并将所述包围盒中出现次数最多或者出现频率最高的语义信息，确定为目标语义信息，由此能够根据所述请求位置所属的包围盒包围的点的语义信息，准确地确定目标语义信息。
在一种可能的实现方式中，所述根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，包括：
从所述三维场景的点云中，确定语义信息为所述目标语义信息的点；
从语义信息为所述目标语义信息的点中，确定与所述包围盒中语义信息为所述目标语义信息的点连接的点；
将所述包围盒中语义信息为所述目标语义信息的点，以及与所述包围盒中语义信息为所述目标语义信息的点连接的点，确定为属于所述待标注三维对象的点。
在该实现方式中，由于相同类别的三维对象的语义信息相同，因此，通过从所述三维场景的点云中，确定语义信息为所述目标语义信息的点，能够准确地从点云中筛选出所述待标注三维对象所属类别下的所有点。通过从语义信息为所述目标语义信息的点中，确定与所述包围盒中语义信息为所述目标语义信息的点连接的点，由此能够从待标注三维对象所属类别下的所有点中，准确地筛选出属于所述待标注三维对象的点。
在一种可能的实现方式中，所述方法还包括：
根据所述点云中的点的语义信息，显示所述点云，其中，语义信息相同的点的颜色相同，语义信息不同的点的颜色不同。
根据该实现方式，能够方便标注人员直观地区分不同类别的三维对象。
在一种可能的实现方式中，所述根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，包括：
根据属于所述待标注三维对象的点，生成所述待标注三维对象对应的凸包；
对所述凸包进行降采样，得到降采样后的凸包；
将包围所述降采样后的凸包的有向包围盒，作为包围所述待标注三维对象的包围盒。
在该实现方式中，通过根据属于所述待标注三维对象的点，生成所述待标注三维对象对应的凸包，对所述凸包进行降采样，得到降采样后的凸包，并将包围所述降采样后的凸包的有向包围盒，作为包围所述待标注三维对象的包围盒，由此能够在保证待标注三维对象的自动标注数据的准确性的前提下，提高得到待标注三维对象的自动标注数据的速度。
在一种可能的实现方式中，所述根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，包括：
根据所述包围盒的信息和所述目标语义信息，得到所述待标注三维对象的自动标注数据。
在该实现方式中，所述待标注三维对象的自动标注数据可以包括所述包围盒的位置信息和所述目标语义信息，即，所述待标注三维对象的自动标注数据可以包括所述包围盒的位置信息和所述待标注三维对象的类别，由此能够获得更丰富的标注数据。
在一种可能的实现方式中，所述包围盒的信息还包括所述包围盒的大小和旋转角度中的至少之一。
根据该实现方式，能够获得更丰富的标注数据。
在一种可能的实现方式中，在所述得到包围所述待标注三维对象的包围盒之后，所述方法包括：
响应于隐藏请求，根据所述包围盒的信息，对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理。
在该实现方式中，通过响应于隐藏请求，根据所述包围盒的信息，对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理，由此能够隐藏无关的背景和对象(例如物体)，减少待标注三维对象的包围盒之外的场景信息带来的干扰，解决视线遮挡的问题，从而能够方便标注人员观察待标注三维对象和待标注三维对象的包围盒。
在一种可能的实现方式中，所述根据所述包围盒的信息，对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理，包括：
根据所述包围盒的信息，确定切面的位置信息，其中，所述切面与所述包围盒的距离为预设距离；
隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息。
在该实现方式中，可以采用切面隐藏三维场景中的无关场景信息(例如无关的背景、无关的物体等)，缩小标注范围，解决视线遮挡的问题。另外，在该实现方式中，切面与包围盒的距离为预设距离，预设距离可以大于0，由此在包围盒没有完整包围待标注三维对象的情况下，能够方便标注人员观察待标注三维对象以及手动扩大包围盒。
在一种可能的实现方式中，
所述根据所述包围盒的信息，确定切面的位置信息，包括：根据所述包围盒的信息，确定与所述包围盒的六个面对应的六个切面的位置信息；
所述隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息，包括：对于所述六个切面中的任一切面，隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息。
在该实现方式中，通过根据所述包围盒的信息，确定与所述包围盒的六个面对应的六个切面的位置信息，对于所述六个切面中的任一切面，隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息，由此能够更好地隐藏三维场景中的无关场景信息，方便标注人员观察待标注三维对象和待标注三维对象的包围盒。
在一种可能的实现方式中，在所述得到所述待标注三维对象的自动标注数据之后，所述方法还包括：
响应于包围盒调整请求，调整所述包围盒的位置、大小和旋转角度中的至少之一；
根据调整后的包围盒的信息，得到所述待标注三维对象的调整后的标注数据。
在该实现方式中，标注人员可以手动调整包围盒的位置、大小和旋转角度中的至少之一，从而能够进一步提高三维对象的标注数据的准确性。
在一种可能的实现方式中，在所述得到包围所述待标注三维对象的包围盒之后，所述方法还包括：
将所述包围盒投影到二维坐标系，得到所述包围盒对应的二维检测框；
根据所述二维检测框，得到所述待标注三维对象的二维标注数据。
根据该实现方式，能够自动、快速、准确地得到待标注三维对象的二维标注数据。
根据本公开的一方面，提供了一种三维对象的标注装置，其特征在于，包括：
第一确定模块，用于响应于自动标注请求，根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，其中，所述目标语义信息表示所述三维场景中的待标注三维对象的点的语义信息；
第二确定模块，用于根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点；
第三确定模块，用于根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒；
第一标注模块，用于根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，其中，所述包围盒的信息包括所述包围盒的位置信息。
在一种可能的实现方式中，所述第一确定模块用于：
在所述自动标注请求对应的请求位置不属于三维场景中任一已有的包围盒的情况下，将所述点云中与所述请求位置距离最近的点确定为目标点；
将所述目标点的语义信息确定为目标语义信息。
在一种可能的实现方式中，所述第二确定模块用于：
从所述三维场景的点云中，确定语义信息为所述目标语义信息的点；
从语义信息为所述目标语义信息的点中，确定与所述目标点连接的点；
将所述目标点，以及语义信息为所述目标语义信息的点中与所述目标点连接的点，确定为属于所述待标注三维对象的点。
在一种可能的实现方式中，所述第二确定模块用于：
从语义信息为所述目标语义信息的点中，搜索与所述目标点属于同一三角面片的点，得到第1级邻接点；
在搜索到第i级邻接点的情况下，从语义信息为所述目标语义信息的点中，搜索与第i级邻接点属于同一三角面片的点，得到第i+1级邻接点，直至搜索不到更多邻接点，其中，i大于或等于1；
将各级邻接点分别确定为与所述目标点连接的点。
在一种可能的实现方式中，所述第一确定模块用于：
在所述自动标注请求对应的请求位置属于三维场景中任一已有的包围盒的情况下，根据所述请求位置所属的包围盒包围的点的语义信息，确定目标语义信息。
在一种可能的实现方式中，所述第一确定模块用于：
根据所述请求位置所属的包围盒包围的点的语义信息，确定所述包围盒中出现次数最多或者出现频率最高的语义信息；
将所述包围盒中出现次数最多或者出现频率最高的语义信息，确定为目标语义信息。
在一种可能的实现方式中，所述第二确定模块用于：
从所述三维场景的点云中，确定语义信息为所述目标语义信息的点；
从语义信息为所述目标语义信息的点中，确定与所述包围盒中语义信息为所述目标语义信息的点连接的点；
将所述包围盒中语义信息为所述目标语义信息的点，以及与所述包围盒中语义信息为所述目标语义信息的点连接的点，确定为属于所述待标注三维对象的点。
在一种可能的实现方式中，所述装置还包括：
显示模块，用于根据所述点云中的点的语义信息，显示所述点云，其中，语义信息相同的点的颜色相同，语义信息不同的点的颜色不同。
在一种可能的实现方式中，所述第三确定模块用于：
根据属于所述待标注三维对象的点，生成所述待标注三维对象对应的凸包；
对所述凸包进行降采样，得到降采样后的凸包；
将包围所述降采样后的凸包的有向包围盒，作为包围所述待标注三维对象的包围盒。
在一种可能的实现方式中，所述第一标注模块用于：
根据所述包围盒的信息和所述目标语义信息，得到所述待标注三维对象的自动标注数据。
在一种可能的实现方式中，所述包围盒的信息还包括所述包围盒的大小和旋转角度中的至少之一。
在一种可能的实现方式中，所述装置还包括：
隐藏模块，用于响应于隐藏请求，根据所述包围盒的信息，对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理。
在一种可能的实现方式中，所述隐藏模块用于：
根据所述包围盒的信息，确定切面的位置信息，其中，所述切面与所述包围盒的距离为预设距离；
隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息。
在一种可能的实现方式中，所述隐藏模块用于：
根据所述包围盒的信息，确定与所述包围盒的六个面对应的六个切面的位置信息；
对于所述六个切面中的任一切面，隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息。
在一种可能的实现方式中，所述装置还包括：
第一调整模块，用于响应于包围盒调整请求，调整所述包围盒的位置、大小和旋转角度中的至少之一；
第二调整模块，用于根据调整后的包围盒的信息，得到所述待标注三维对象的调整后的标注数据。
在一种可能的实现方式中，所述装置还包括：
投影模块，用于将所述包围盒投影到二维坐标系，得到所述包围盒对应的二维检测框；
第二标注模块，用于根据所述二维检测框，得到所述待标注三维对象的二维标注数据。
根据本公开的一方面，提供了一种基于网页的标注工具，所述基于网页的标注工具用于执行上述方法。
根据本公开的一方面，提供了一种电子设备，包括：一个或多个处理器；用于存储可执行指令的存储器；其中，所述一个或多个处理器被配置为调用所述存储器存储的可执行指令，以执行上述方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
在本公开实施例中，通过响应于自动标注请求，根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，其中，所述目标语义信息表示所述三维场景中的待标注三维对象的点的语义信息，根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，并根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，由此根据三维场景的点云的点的语义信息得到包围待标注三维对象的包围盒，并根据包围盒得到自动标注数据，从而能够实现三维对象的自动标注，能够大大节省对三维对象进行标注的时间成本和人力成本，提高标注效率，并能提高三维对象的标注数据的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出本公开实施例提供的三维对象的标注方法的流程图。
图2示出本公开实施例提供的三维对象的标注方法中的标注界面的示意图。
图3a示出待标注三维对象的示意图。
图3b示出已生成包围待标注三维对象的包围盒的示意图。
图4a示出已有的包围盒的示意图。
图4b示出调整后的包围盒的示意图。
图5a示出未对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理的示意图。
图5b示出已对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理的示意图。
图6示出本公开实施例提供的三维对象的标注方法中的标注界面的另一示意图。
图7示出在标注界面中展示操作指南的示意图。
图8示出本公开实施例提供的三维对象的标注装置的框图。
图9示出本公开实施例提供的一种电子设备800的框图。
图10示出本公开实施例提供的一种电子设备1900的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
相关技术中，通常由标注人员人为地对三维对象进行标注，得到三维对象的标注数据。标注人员的水平参差不齐，容易出错，导致得到的三维对象的标注数据的准确性较低。另外，人工标注的方式需要耗费大量的时间成本和人力成本，标注效率较低。
为了解决类似上述所述的技术问题，本公开实施例提供了一种三维对象的标注方法及装置、工具、电子设备和存储介质，通过响应于自动标注请求，根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，其中，所述目标语义信息表示所述三维场景中的待标注三维对象的点的语义信息，根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，并根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，由此根据三维场景的点云的点的语义信息得到包围待标注三维对象的包围盒，并根据包围盒得到自动标注数据，从而能够实现三维对象的自动标注，能够大大节省对三维对象进行标注的时间成本和人力成本，提高标注效率，并能提高三维对象的标注数据的准确性。
图1示出本公开实施例提供的三维对象的标注方法的流程图。所述三维对象的标注方法的执行主体可以是三维对象的标注装置。例如，所述三维对象的标注方法可以由终端设备或服务器或其它处理设备执行。其中，终端设备可以是用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal DigitalAssistant，PDA)、手持设备、计算设备、车载设备或者可穿戴设备等。在一些可能的实现方式中，所述三维对象的标注方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，所述三维对象的标注方法包括步骤S11至步骤S14。
在步骤S11中，响应于自动标注请求，根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，其中，所述目标语义信息表示所述三维场景中的待标注三维对象的点的语义信息。
在本公开实施例中，三维场景指的是三维的场景，所述三维场景中可以包括至少一个三维对象。三维对象指的是三维的对象。例如，三维对象可以是三维物体(例如三维的椅子、桌子、车辆)、三维的人(例如三维的行人)等。待标注三维对象可以表示三维场景中需要标注的三维对象。
在本公开实施例中，用户可以通过按键、鼠标等方式，发出自动标注请求。所述自动标注请求对应的请求位置，可以是所述自动标注请求对应的点击位置(例如鼠标的点击位置、手指的点击位置、触控笔的点击位置)、按压位置(例如手指的按压位置或者触控笔的按压位置)等。
图2示出本公开实施例提供的三维对象的标注方法中的标注界面的示意图。在一个例子中，可以在标注界面左侧的类别栏中展示三维场景中的三维对象的类别。例如，在图2所示的示例中，三维场景中的三维对象的类别包括chair(椅子)和desk(桌子)。在一个例子中，可以响应于用户选择任一类别，在标注界面左侧的标签栏中展示属于该类别的三维对象的标签。例如，若用户选择类别“chair”，则可以在标注界面左侧的标签栏中展示属于该类别的三维对象的标签“chair1”。
如图2所示，可以通过更改标注界面的右上方的控制界面中的选项，来改变标注界面显示的信息。例如，可以通过控制界面选择是否显示渲染信息、是否显示世界坐标轴、是否显示网格、背景颜色、点云的材质、是否显示线框等。
如图2所示，在一个例子中，用户可以点击标注界面右上角的保存按钮，以保存当前的标注进度。即，可以响应于保存按钮被点击，保存当前的标注进度。在一个例子中，用户可以点击标注界面右上角的提交按钮，以导出标注结果。即，可以响应于标注界面右上角的提交按钮被点击，导出标注结果。
在本公开实施例中，所述目标语义信息，可以表示待标注三维对象的点的语义信息。待标注三维对象的点的语义信息可以与该待标注三维对象的类别相同。例如，在图2所示的示例中，待标注三维对象的类别是“椅子”，则所述目标语义信息也可以是“椅子”。
在步骤S12中，根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点。
在一种可能的实现方式中，所述三维场景的点云中的各个点均可以具有语义信息。对于所述点云中的任意一点，所述点的语义信息可以与所述点所属的三维对象的类别相同。例如，所述点所属的三维对象的类别是“椅子”，则所述点的语义信息也可以是“椅子”。
在本公开实施例中，可以根据所述目标语义信息，以及所述点云中的点之间的位置关系，确定属于所述待标注三维对象的点。
在一种可能的实现方式中，所述根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，包括：在所述自动标注请求对应的请求位置不属于三维场景中任一已有的包围盒的情况下，将所述点云中与所述请求位置距离最近的点确定为目标点；将所述目标点的语义信息确定为目标语义信息。
例如，所述自动标注请求对应的请求位置可以是所述自动标注请求对应的点击位置，在所述自动标注请求对应的点击位置不属于三维场景中任一已有的包围盒的情况下，可以将所述点云中与所述点击位置距离最近的点确定为目标点，并将所述目标点的语义信息确定为目标语义信息。
作为该实现方式的一个示例，可以根据用户在标注界面中的请求位置(例如点击位置)，确定在所述三维场景的世界坐标系中，所述请求位置对应的三维坐标，并将所述三维场景的点云中，与所述请求位置对应的三维坐标距离最近的点确定为目标点。例如，可以将与所述请求位置对应的三维坐标距离最近的三维对象的表面点，确定为目标点。
在该实现方式中，所述目标点的语义信息可以与所述目标点所属的三维对象的类别相同。例如，所述目标点所属的三维对象的类别是“椅子”，则所述目标点的语义信息也可以是“椅子”。
在该实现方式中，通过在所述自动标注请求对应的请求位置不属于三维场景中任一已有的包围盒的情况下，将所述点云中与所述请求位置距离最近的点确定为目标点，将所述目标点的语义信息确定为目标语义信息，根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，并根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，由此能够根据标注人员在三维场景中的请求位置，自动生成包围待标注三维对象的包围盒，并根据自动生成的包围盒得到待标注三维对象的自动标注数据，从而能够提高获得待标注三维对象的标注数据的便捷性，提高标注效率，并能提高待标注三维对象的标注数据的准确性。
在该实现方式中，标注人员只要点击三维场景中的某一位置，就能得到该位置对应的三维对象的自动标注结果，因此，该实现方式提供的三维对象的标注方法对于标注人员而言操作简单，学习成本较低，对于用户较友好。
作为该实现方式的一个示例，所述根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，包括：从所述三维场景的点云中，确定语义信息为所述目标语义信息的点；从语义信息为所述目标语义信息的点中，确定与所述目标点连接的点；将所述目标点，以及语义信息为所述目标语义信息的点中与所述目标点连接的点，确定为属于所述待标注三维对象的点。
在该示例中，由于相同类别的三维对象的语义信息相同，因此，通过从所述三维场景的点云中，确定语义信息为所述目标语义信息的点，能够准确地从点云中筛选出所述目标点所属的三维对象的类别下的所有点。通过从语义信息为所述目标语义信息的点中，确定与所述目标点连接的点，由此能够从所述目标点所属的三维对象的类别下的所有点中，准确地筛选出属于所述目标点所属的三维对象的点。因此，根据该示例，能够从所述点云中准确地筛选出属于所述待标注三维对象的点。
在一个例子中，所述从语义信息为所述目标语义信息的点中，确定与所述目标点连接的点，包括：从语义信息为所述目标语义信息的点中，搜索与所述目标点属于同一三角面片的点，得到第1级邻接点；在搜索到第i级邻接点的情况下，从语义信息为所述目标语义信息的点中，搜索与第i级邻接点属于同一三角面片的点，得到第i+1级邻接点，直至搜索不到更多邻接点，其中，i大于或等于1；将各级邻接点分别确定为与所述目标点连接的点。
在这个例子中，所述三维场景的点云可以是由多个三角面片组成的，任意一个三角面片可以包括3个顶点。任意两个属于同一个三角面片的点互为邻接点。通过从语义信息为所述目标语义信息的点中，搜索与所述目标点属于同一三角面片的点，可以得到所述目标点的邻接点，即第1级邻接点；通过从语义信息为所述目标语义信息的点中，搜索与第1级邻接点属于同一三角面片的点，可以得到第1级邻接点的邻接点，即第2级邻接点；通过从语义信息为所述目标语义信息的点中，搜索与第2级邻接点属于同一三角面片的点，可以得到第2级邻接点的邻接点，即第3级邻接点；以此类推，从语义信息为所述目标语义信息的点中，搜索与第i级邻接点属于同一三角面片的点，得到第i+1级邻接点，直至搜索不到更多邻接点，由此能够准确地搜索出属于所述目标点所属的三维对象的所有点。在这个例子中，第i+1级邻接点可以不包括所述目标点以及第2级至第i级邻接点中的点，即，每级邻接点中的点可以不重复。根据这个例子，能够从语义信息为所述目标语义信息的点中，准确地确定与所述目标点连接的点。
图3a示出待标注三维对象的示意图。在图3a中，尚未生成包围所述待标注三维对象的包围盒。图3b示出已生成包围待标注三维对象的包围盒的示意图。在一个例子中，用户可以按住Shift键再点击三维场景中想要标注的三维对象(例如图3a中的三维对象)，以得到该待三维对象的包围盒(如图3b所示)。
在另一种可能的实现方式中，所述根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，包括：在所述自动标注请求对应的请求位置属于三维场景中任一已有的包围盒的情况下，根据所述请求位置所属的包围盒包围的点的语义信息，确定目标语义信息。
例如，所述自动标注请求对应的请求位置可以是所述自动标注请求对应的点击位置，在所述自动标注请求对应的点击位置属于三维场景中任一已有的包围盒的情况下，可以根据所述点击位置所属的包围盒包围的点的语义信息，确定目标语义信息。
作为该实现方式的一个示例，可以根据用户在标注界面中的请求位置(例如点击位置)，确定在所述三维场景的世界坐标系中，所述请求位置对应的三维坐标，并将包围所述请求位置对应的三维坐标的包围盒，确定为所述请求位置所属的包围盒。
该实现方式通过在所述自动标注请求对应的请求位置属于三维场景中任一已有的包围盒的情况下，根据所述请求位置所属的包围盒包围的点的语义信息，确定目标语义信息，根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，并根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，由此能够根据已有的包围盒内的点的语义信息，自动调整已有的包围盒，使调整后的包围盒准确地包围待标注三维对象，并根据调整后的包围盒得到待标注三维对象的自动标注数据，从而能够提高获得待标注三维对象的标注数据的便捷性，提高标注效率，并能提高待标注三维对象的标注数据的准确性。
作为该实现方式的一个示例，所述根据所述请求位置所属的包围盒包围的点的语义信息，确定目标语义信息，包括：根据所述请求位置所属的包围盒包围的点的语义信息，确定所述包围盒中出现次数最多或者出现频率最高的语义信息；将所述包围盒中出现次数最多或者出现频率最高的语义信息，确定为目标语义信息。
在该示例中，可以统计所述请求位置所属的包围盒中的各个点的语义信息，得到各语义信息在所述包围盒中的出现次数或者出现频率，从而可以确定所述包围盒中出现次数最多或者出现频率最高的语义信息。
例如，可以根据所述请求位置所属的包围盒包围的点的语义信息，确定所述包围盒中出现次数最多的语义信息，并将所述包围盒中出现次数最多的语义信息，确定为目标语义信息。
又如，可以根据所述请求位置所属的包围盒包围的点的语义信息，确定所述包围盒中出现频率最高的语义信息，并将所述包围盒中出现频率最高的语义信息，确定为目标语义信息。
在该示例中，通过根据所述请求位置所属的包围盒包围的点的语义信息，确定所述包围盒中出现次数最多或者出现频率最高的语义信息，并将所述包围盒中出现次数最多或者出现频率最高的语义信息，确定为目标语义信息，由此能够根据所述请求位置所属的包围盒包围的点的语义信息，准确地确定目标语义信息。
作为该实现方式的另一个示例，所述根据所述请求位置所属的包围盒包围的点的语义信息，确定目标语义信息，包括：将所述请求位置所属的包围盒包围的三维对象的类别，作为目标语义信息。
作为该实现方式的一个示例，所述根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，包括：从所述三维场景的点云中，确定语义信息为所述目标语义信息的点；从语义信息为所述目标语义信息的点中，确定与所述包围盒中语义信息为所述目标语义信息的点连接的点；将所述包围盒中语义信息为所述目标语义信息的点，以及与所述包围盒中语义信息为所述目标语义信息的点连接的点，确定为属于所述待标注三维对象的点。
在该示例中，由于相同类别的三维对象的语义信息相同，因此，通过从所述三维场景的点云中，确定语义信息为所述目标语义信息的点，能够准确地从点云中筛选出所述待标注三维对象所属类别下的所有点。通过从语义信息为所述目标语义信息的点中，确定与所述包围盒中语义信息为所述目标语义信息的点连接的点，由此能够从待标注三维对象所属类别下的所有点中，准确地筛选出属于所述待标注三维对象的点。
在一个例子中，所述从语义信息为所述目标语义信息的点中，确定与所述包围盒中语义信息为所述目标语义信息的点连接的点，包括：对于所述包围盒中语义信息为所述目标语义信息的任意一点，搜索与所述点属于同一三角面片的点，得到第1级邻接点；在搜索到第i级邻接点的情况下，从语义信息为所述目标语义信息的点中，搜索与第i级邻接点属于同一三角面片的点，得到第i+1级邻接点，直至搜索不到更多邻接点，其中，i大于或等于1；将所述包围盒中语义信息为所述目标语义信息的各个点，以及所述包围盒中语义信息为所述目标语义信息的各个点的各级邻接点，分别确定为属于所述待标注三维对象的点。
图4a示出已有的包围盒的示意图。在图4a所示的示例中，该已有的包围盒没有完整地包围待标注三维对象。图4b示出调整后的包围盒的示意图。如图4b所示，调整后的包围盒能够完整地包围待标注三维对象。在一个例子中，用户可以通过G键扩展已有的包围盒(即调整已有的包围盒)。
作为该实现方式的一个示例，可以响应于生成包围盒的请求，生成预设尺寸的包围盒，例如，预设尺寸可以为长宽高均为1。例如，可以在所述三维场景的世界坐标系的原点添加预设尺寸的包围盒。当然，也可以在所述三维场景的任意位置添加预设尺寸的包围盒。在一个例子中，用户可以通过A键创建预设尺寸的包围盒。
在步骤S13中，根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒。
在本公开实施例中，所述包围盒可以是有向包围盒(Oriented Bounding Box，OBB)、轴对齐包围盒(Axis-Aligned Bounding Box，AABB)、包围球(Sphere)等。
在本公开实施例中，可以根据属于所述待标注三维对象的点，生成新的包围所述待标注三维对象的包围盒，或者，可以根据属于所述待标注三维对象的点，调整已有的包围盒，使调整后的包围盒包围所述待标注三维对象。
在一种可能的实现方式中，所述根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，包括：根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的有向包围盒。在该实现方式中，通过得到包围待标注三维对象的有向包围盒，由此能够得到包围待标注三维对象的最小的包围盒，从而能够提高根据包围盒得到的待标注三维对象的自动标注数据的准确性。在大多数情况下，根据该实现方式得到的有向包围盒为最优解，因此采用该实现方式能够大幅度提高标注效率。
在一种可能的实现方式中，所述根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，包括：根据属于所述待标注三维对象的点，生成所述待标注三维对象对应的凸包；对所述凸包进行降采样，得到降采样后的凸包；将包围所述降采样后的凸包的有向包围盒，作为包围所述待标注三维对象的包围盒。
在该实现方式中，通过根据属于所述待标注三维对象的点，生成所述待标注三维对象对应的凸包，对所述凸包进行降采样，得到降采样后的凸包，并将包围所述降采样后的凸包的有向包围盒，作为包围所述待标注三维对象的包围盒，由此能够在保证待标注三维对象的自动标注数据的准确性的前提下，提高得到待标注三维对象的自动标注数据的速度。
作为该实现方式的一个示例，可以采用多边形减面算法，对待标注三维对象对应的凸包进行降采样，得到降采样后的凸包，由此在保留待标注三维对象的形状特征的同时，减少几何细节，从而在后续计算中能够达到大幅度的速度提升。
作为该实现方式的一个示例，对于所述降采样后的凸包的任一平面，将所述降采样后的凸包的所有点投影到该平面，并采用旋转卡壳算法计算这些点的最小二维包围框，由此得到所述降采样后的凸包的各个平面对应的最小二维包围框；对于所述降采样后的凸包的任一平面，得到以该平面对应的最小二维包围框为底面、且包围所述降采样后的凸包的三维包围盒；计算所述降采样后的凸包的各个平面对应的三维包围盒的体积，并将体积最小的三维包围盒确定为包围所述降采样后的凸包的有向包围盒。
在一种可能的实现方式中，在所述得到包围所述待标注三维对象的包围盒之后，所述方法包括：响应于隐藏请求，根据所述包围盒的信息，对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理。
在该实现方式中，通过响应于隐藏请求，根据所述包围盒的信息，对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理，由此能够隐藏无关的背景和对象(例如物体)，减少待标注三维对象的包围盒之外的场景信息带来的干扰，解决视线遮挡的问题，从而能够方便标注人员观察待标注三维对象和待标注三维对象的包围盒。
作为该实现方式的一个示例，所述根据所述包围盒的信息，对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理，包括：根据所述包围盒的信息，确定切面的位置信息，其中，所述切面与所述包围盒的距离为预设距离；隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息。
在该示例中，所述切面与所述包围盒的距离，可以是所述切面与所述包围盒之间的最短距离，也可以是所述切面与所述包围盒中所述切面对应的面上的各点之间的平均距离等，本领域技术人员可以根据实际应用场景需求灵活选择。其中，所述包围盒中所述切面对应的面，可以表示所述包围盒中与所述切面距离最近的面。
在该示例中，预设距离可以大于0。例如，预设距离可以为0.5米。
在一个例子中，所述切面可以平行于坐标平面。在另一个例子中，所述切面可以平行于所述包围盒。
在该示例中，可以采用切面隐藏三维场景中的无关场景信息(例如无关的背景、无关的物体等)，缩小标注范围，解决视线遮挡的问题。另外，在该示例中，切面与包围盒的距离为预设距离，预设距离可以大于0，由此在包围盒没有完整包围待标注三维对象的情况下，能够方便标注人员观察待标注三维对象以及手动扩大包围盒。
在一个例子中，所述根据所述包围盒的信息，确定切面的位置信息，包括：根据所述包围盒的信息，确定与所述包围盒的六个面对应的六个切面的位置信息；所述隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息，包括：对于所述六个切面中的任一切面，隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息。
在这个例子中，通过根据所述包围盒的信息，确定与所述包围盒的六个面对应的六个切面的位置信息，对于所述六个切面中的任一切面，隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息，由此能够更好地隐藏三维场景中的无关场景信息，方便标注人员观察待标注三维对象和待标注三维对象的包围盒。
图5a示出未对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理的示意图，图5b示出已对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理的示意图。
在步骤S14中，根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，其中，所述包围盒的信息包括所述包围盒的位置信息。
在本公开实施例中，所述待标注三维对象的自动标注数据可以包括所述包围盒的位置信息。例如，所述包围盒的位置信息可以包括所述包围盒的几何中心的三维坐标。又如，所述包围盒的位置信息可以包括所述包围盒的顶点的三维坐标。
在本公开实施例中，通过响应于自动标注请求，根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，并根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，其中，所述包围盒的信息包括所述包围盒的位置信息，由此根据三维场景的点云的点的语义信息得到包围待标注三维对象的包围盒，并根据包围盒得到自动标注数据，从而能够实现三维对象的自动标注，能够大大节省对三维对象进行标注的时间成本和人力成本，提高标注效率，并能提高三维对象的标注数据的准确性。
在一种可能的实现方式中，所述根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，包括：根据所述包围盒的信息和所述目标语义信息，得到所述待标注三维对象的自动标注数据。在该实现方式中，所述待标注三维对象的自动标注数据可以包括所述包围盒的位置信息和所述目标语义信息，即，所述待标注三维对象的自动标注数据可以包括所述包围盒的位置信息和所述待标注三维对象的类别，由此能够获得更丰富的标注数据。
在一种可能的实现方式中，所述包围盒的信息还包括所述包围盒的大小和旋转角度中的至少之一。在该实现方式中，所述待标注三维对象的自动标注数据可以包括所述包围盒的大小和旋转角度中的至少之一，以及所述包围盒的位置信息，由此能够获得更丰富的标注数据。
其中，所述包围盒的旋转角度可以包括所述包围盒的三个坐标轴与所述三维场景的世界坐标系的三个坐标轴之间的夹角。例如，所述包围盒的旋转角度可以包括：所述包围盒的x轴与所述三维场景的世界坐标轴的x轴之间的夹角，所述包围盒的y轴与所述三维场景的世界坐标轴的y轴之间的夹角，以及所述包围盒的z轴与所述三维场景的世界坐标轴的z轴之间的夹角。
作为该实现方式的一个示例，所述包围盒的信息可以包括所述包围盒的位置信息、大小和旋转角度。
在一种可能的实现方式中，所述方法还包括：根据所述点云中的点的语义信息，显示所述点云，其中，语义信息相同的点的颜色相同，语义信息不同的点的颜色不同。根据该实现方式，能够方便标注人员直观地区分不同类别的三维对象。
作为该实现方式的一个示例，可以通过Raycaster(射线)工具获取点击位置的点的颜色，从而可以获取点击位置的点的语义信息。
在一种可能的实现方式中，所述方法还包括：响应于改变点云材质的请求，改变点云的材质。根据该实现方式，能够便于标注人员更好地观察三维场景，从而有助于更加准确地标注包围盒。其中，点云的材质可以是基础(Basic)材质、兰伯特(Lambert)材质、冯(Phong)材质、标准(Standard)材质、法线(Normal)材质等。
在一种可能的实现方式中，在所述得到所述待标注三维对象的自动标注数据之后，所述方法还包括：响应于包围盒调整请求，调整所述包围盒的位置、大小和旋转角度中的至少之一；根据调整后的包围盒的信息，得到所述待标注三维对象的调整后的标注数据。在该实现方式中，标注人员可以手动调整包围盒的位置、大小和旋转角度中的至少之一，从而能够进一步提高三维对象的标注数据的准确性。
图6示出本公开实施例提供的三维对象的标注方法中的标注界面的另一示意图。如图6所示，可以在标注界面的左侧展示包围盒的信息。例如，可以展示包围盒的位置信息、旋转角度信息和大小信息。例如，在图6中，包围盒的位置为(-0.105,-0.046,1.4657)，旋转角度(即图6中的“旋转”)为(87.836,-88.34,-126.0)，大小(即图6中的“缩放”)为(0.7104,0.7400,0.7884)。在一个例子中，标注人员还可以通过“可见性”选项选择是否显示三维场景中的三维对象的包围盒。在一个例子中，标注人员可以直接在标注界面的左侧修改包围盒的位置、旋转角度和大小的数值。
在一种可能的实现方式中，在所述得到包围所述待标注三维对象的包围盒之后，所述方法还包括：将所述包围盒投影到二维坐标系，得到所述包围盒对应的二维检测框；根据所述二维检测框，得到所述待标注三维对象的二维标注数据。在该实现方式中，所述包围盒对应的二维检测框，可以表示所述待标注三维对象在二维坐标系中的边界框。根据该实现方式，能够自动、快速、准确地得到待标注三维对象的二维标注数据。
作为该实现方式的一个示例，所述待标注三维对象的二维标注数据可以包括所述二维检测框的位置信息。例如，所述二维检测框的位置信息可以包括所述二维检测框的几何中心的二维坐标。又如，所述二维检测框的位置信息可以包括所述二维检测框的顶点的二维坐标。
作为该实现方式的一个示例，所述待标注三维对象的二维标注数据还可以包括所述目标语义信息，即，所述待标注三维对象的二维标注数据还可以包括所述待标注三维对象的类别。
作为该实现方式的一个示例，所述将所述包围盒投影到二维坐标系，得到所述包围盒对应的二维检测框，包括：根据相机参数，将所述包围盒投影到相机坐标系，得到所述包围盒对应的二维检测框。该示例通过根据相机参数，将所述包围盒投影到相机坐标系，得到所述包围盒对应的二维检测框，由此能够保证所得到的待标注三维对象的二维标注数据的准确性。
在一种可能的实现方式中，可以采用多线程加载三维场景，由此能够降低加载大型的三维场景时页面发生卡顿甚至崩溃的可能性，从而能够提高使用的流畅度。
在一种可能的实现方式中，可以记录操作历史，由此使用户在操作不当时可以轻松地回退或者重做之前的操作。例如，可以通过“Ctrl+Z”键执行撤销操作(即回退操作)，可以通过“Ctrl+Shift+Z”键执行重做操作。
在一种可能的实现方式中，可以响应于旋转三维场景的请求，旋转三维场景。在该实现方式中，用户可以旋转三维场景，例如，可以通过按住鼠标左键来旋转三维场景，以便于用户从不同角度对三维场景中的三维对象进行观察和操作。
在一种可能的实现方式中，可以响应于缩放三维场景的请求，对三维场景进行缩放。例如，用户可以通过滚动鼠标滚轮来对三维场景进行缩放。
本公开实施例可以应用于目标检测、3D场景理解等应用场景中。
例如，在目标检测的应用场景中，可以采用本公开实施例提供的三维对象的标注方法，得到大量三维目标(例如三维的车辆、行人等)的标注数据，从而得到包含大量三维目标的标注数据的数据集，以用于目标检测。
又如，在3D场景理解的应用场景中，可以采用本公开实施例提供的三维对象的标注方法，得到3D场景中大量三维对象的标注数据，从而得到包含大量三维对象的标注数据的数据集，以用于3D场景理解。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了三维对象的标注装置、工具、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种三维对象的标注方法，相应技术方案和技术效果可参见方法部分的相应记载，不再赘述。
本公开实施例提供了一种基于网页的标注工具，所述基于网页的标注工具用于实现本公开提供的任一种三维对象的标注方法，相应技术方案和技术效果可参见方法部分的相应记载，在此不再赘述。所述基于网页的标注工具不需要用户在终端下载和安装，由此能够节省不必要的使用成本(例如安装成本)。所述基于网页的标注工具不依赖于平台和安装环境，能够跨平台，便捷性较高。另外，所述基于网页的标注工具能够方便多人协同标注，并可以在退出前保存标注进度。再者，所述基于网页的标注工具的版本的更新与发布更加快速，扩展性更强，方便添加新的功能以满足项目需求。
在一种可能的实现方式中，所述基于网页的标注工具可以是插件。
在一种可能的实现方式中，所述基于网页的标注工具可以添加多语言支持的功能，从而方便不同语言的用户使用。
在一种可能的实现方式中，所述基于网页的标注工具可以提供详细的操作指南，使操作简单明了，不懂原理的用户也可以方便使用。图7示出在标注界面中展示操作指南的示意图。例如，用户可以点击标注界面右上角的帮助键，以获取操作指南。即，可以响应于标注界面右上角的帮助键被点击，弹出操作指南。
图8示出本公开实施例提供的三维对象的标注装置的框图。如图8所示，所述三维对象的标注装置包括：
第一确定模块21，用于响应于自动标注请求，根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，其中，所述目标语义信息表示所述三维场景中的待标注三维对象的点的语义信息；
第二确定模块22，用于根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点；
第三确定模块23，用于根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒；
第一标注模块24，用于根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，其中，所述包围盒的信息包括所述包围盒的位置信息。
在一种可能的实现方式中，所述第一确定模块21用于：
在所述自动标注请求对应的请求位置不属于三维场景中任一已有的包围盒的情况下，将所述点云中与所述请求位置距离最近的点确定为目标点；
将所述目标点的语义信息确定为目标语义信息。
在一种可能的实现方式中，所述第二确定模块22用于：
从所述三维场景的点云中，确定语义信息为所述目标语义信息的点；
从语义信息为所述目标语义信息的点中，确定与所述目标点连接的点；
将所述目标点，以及语义信息为所述目标语义信息的点中与所述目标点连接的点，确定为属于所述待标注三维对象的点。
在一种可能的实现方式中，所述第二确定模块22用于：
从语义信息为所述目标语义信息的点中，搜索与所述目标点属于同一三角面片的点，得到第1级邻接点；
在搜索到第i级邻接点的情况下，从语义信息为所述目标语义信息的点中，搜索与第i级邻接点属于同一三角面片的点，得到第i+1级邻接点，直至搜索不到更多邻接点，其中，i大于或等于1；
将各级邻接点分别确定为与所述目标点连接的点。
在一种可能的实现方式中，所述第一确定模块21用于：
在所述自动标注请求对应的请求位置属于三维场景中任一已有的包围盒的情况下，根据所述请求位置所属的包围盒包围的点的语义信息，确定目标语义信息。
在一种可能的实现方式中，所述第一确定模块21用于：
根据所述请求位置所属的包围盒包围的点的语义信息，确定所述包围盒中出现次数最多或者出现频率最高的语义信息；
将所述包围盒中出现次数最多或者出现频率最高的语义信息，确定为目标语义信息。
在一种可能的实现方式中，所述第二确定模块22用于：
从所述三维场景的点云中，确定语义信息为所述目标语义信息的点；
从语义信息为所述目标语义信息的点中，确定与所述包围盒中语义信息为所述目标语义信息的点连接的点；
将所述包围盒中语义信息为所述目标语义信息的点，以及与所述包围盒中语义信息为所述目标语义信息的点连接的点，确定为属于所述待标注三维对象的点。
在一种可能的实现方式中，所述装置还包括：
显示模块，用于根据所述点云中的点的语义信息，显示所述点云，其中，语义信息相同的点的颜色相同，语义信息不同的点的颜色不同。
在一种可能的实现方式中，所述第三确定模块23用于：
根据属于所述待标注三维对象的点，生成所述待标注三维对象对应的凸包；
对所述凸包进行降采样，得到降采样后的凸包；
将包围所述降采样后的凸包的有向包围盒，作为包围所述待标注三维对象的包围盒。
在一种可能的实现方式中，所述第一标注模块24用于：
根据所述包围盒的信息和所述目标语义信息，得到所述待标注三维对象的自动标注数据。
在一种可能的实现方式中，所述包围盒的信息还包括所述包围盒的大小和旋转角度中的至少之一。
在一种可能的实现方式中，所述装置还包括：
隐藏模块，用于响应于隐藏请求，根据所述包围盒的信息，对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理。
在一种可能的实现方式中，所述隐藏模块用于：
根据所述包围盒的信息，确定切面的位置信息，其中，所述切面与所述包围盒的距离为预设距离；
隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息。
在一种可能的实现方式中，所述隐藏模块用于：
根据所述包围盒的信息，确定与所述包围盒的六个面对应的六个切面的位置信息；
对于所述六个切面中的任一切面，隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息。
在一种可能的实现方式中，所述装置还包括：
第一调整模块，用于响应于包围盒调整请求，调整所述包围盒的位置、大小和旋转角度中的至少之一；
第二调整模块，用于根据调整后的包围盒的信息，得到所述待标注三维对象的调整后的标注数据。
在一种可能的实现方式中，所述装置还包括：
投影模块，用于将所述包围盒投影到二维坐标系，得到所述包围盒对应的二维检测框；
第二标注模块，用于根据所述二维检测框，得到所述待标注三维对象的二维标注数据。
在本公开实施例中，通过响应于自动标注请求，根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，其中，所述目标语义信息表示所述三维场景中的待标注三维对象的点的语义信息，根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，并根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，由此根据三维场景的点云的点的语义信息得到包围待标注三维对象的包围盒，并根据包围盒得到自动标注数据，从而能够实现三维对象的自动标注，能够大大节省对三维对象进行标注的时间成本和人力成本，提高标注效率，并能提高三维对象的标注数据的准确性。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现和技术效果可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。其中，所述计算机可读存储介质可以是非易失性计算机可读存储介质，或者可以是易失性计算机可读存储介质。
本公开实施例还提出一种计算机程序，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行用于实现上述方法。
本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的三维对象的标注方法的操作。
本公开实施例还提供一种电子设备，包括：一个或多个处理器；用于存储可执行指令的存储器；其中，所述一个或多个处理器被配置为调用所述存储器存储的可执行指令，以执行上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图9示出本公开实施例提供的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图9，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如无线网络(Wi-Fi)、第二代移动通信技术(2G)、第三代移动通信技术(3G)、第四代移动通信技术(4G)/通用移动通信技术的长期演进(LTE)、第五代移动通信技术(5G)或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图10示出本公开实施例提供的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图10，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统(Windows ServerTM)，苹果公司推出的基于图形用户界面操作系统(Mac OSXTM)，多用户多进程的计算机操作系统(UnixTM),自由和开放原代码的类Unix操作系统(LinuxTM)，开放原代码的类Unix操作系统(FreeBSDTM)或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (18)
1.一种三维对象的标注方法，其特征在于，包括：
响应于自动标注请求，根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，其中，所述目标语义信息表示所述三维场景中的待标注三维对象的点的语义信息；
根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点；
根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒；
根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，其中，所述包围盒的信息包括所述包围盒的位置信息；
其中，所述根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，包括：
在所述自动标注请求对应的请求位置不属于三维场景中任一已有的包围盒的情况下，将所述点云中与所述请求位置距离最近的点确定为目标点；
将所述目标点的语义信息确定为目标语义信息；
所述根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，包括：
从所述三维场景的点云中，确定语义信息为所述目标语义信息的点；
从语义信息为所述目标语义信息的点中，确定与所述目标点连接的点；
将所述目标点，以及语义信息为所述目标语义信息的点中与所述目标点连接的点，确定为属于所述待标注三维对象的点。
2.根据权利要求1所述的方法，其特征在于，所述从语义信息为所述目标语义信息的点中，确定与所述目标点连接的点，包括：
从语义信息为所述目标语义信息的点中，搜索与所述目标点属于同一三角面片的点，得到第1级邻接点；
在搜索到第i级邻接点的情况下，从语义信息为所述目标语义信息的点中，搜索与第i级邻接点属于同一三角面片的点，得到第i+1级邻接点，直至搜索不到更多邻接点，其中，i大于或等于1；
将各级邻接点分别确定为与所述目标点连接的点。
3.根据权利要求1所述的方法，其特征在于，所述根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，包括：
在所述自动标注请求对应的请求位置属于三维场景中任一已有的包围盒的情况下，根据所述请求位置所属的包围盒包围的点的语义信息，确定目标语义信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述请求位置所属的包围盒包围的点的语义信息，确定目标语义信息，包括：
根据所述请求位置所属的包围盒包围的点的语义信息，确定所述包围盒中出现次数最多或者出现频率最高的语义信息；
将所述包围盒中出现次数最多或者出现频率最高的语义信息，确定为目标语义信息。
5.根据权利要求3或4所述的方法，其特征在于，所述根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点，包括：
从所述三维场景的点云中，确定语义信息为所述目标语义信息的点；
从语义信息为所述目标语义信息的点中，确定与所述包围盒中语义信息为所述目标语义信息的点连接的点；
将所述包围盒中语义信息为所述目标语义信息的点，以及与所述包围盒中语义信息为所述目标语义信息的点连接的点，确定为属于所述待标注三维对象的点。
6.根据权利要求1至4中任意一项所述的方法，其特征在于，所述方法还包括：
根据所述点云中的点的语义信息，显示所述点云，其中，语义信息相同的点的颜色相同，语义信息不同的点的颜色不同。
7.根据权利要求1至4中任意一项所述的方法，其特征在于，所述根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒，包括：
根据属于所述待标注三维对象的点，生成所述待标注三维对象对应的凸包；
对所述凸包进行降采样，得到降采样后的凸包；
将包围所述降采样后的凸包的有向包围盒，作为包围所述待标注三维对象的包围盒。
8.根据权利要求1至4中任意一项所述的方法，其特征在于，所述根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，包括：
根据所述包围盒的信息和所述目标语义信息，得到所述待标注三维对象的自动标注数据。
9.根据权利要求1至4中任意一项所述的方法，其特征在于，所述包围盒的信息还包括所述包围盒的大小和旋转角度中的至少之一。
10.根据权利要求1至4中任意一项所述的方法，其特征在于，在所述得到包围所述待标注三维对象的包围盒之后，所述方法包括：
响应于隐藏请求，根据所述包围盒的信息，对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理。
11.根据权利要求10所述的方法，其特征在于，所述根据所述包围盒的信息，对所述三维场景中的所述包围盒之外的场景信息进行隐藏处理，包括：
根据所述包围盒的信息，确定切面的位置信息，其中，所述切面与所述包围盒的距离为预设距离；
隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息。
12.根据权利要求11所述的方法，其特征在于，
所述根据所述包围盒的信息，确定切面的位置信息，包括：根据所述包围盒的信息，确定与所述包围盒的六个面对应的六个切面的位置信息；
所述隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息，包括：对于所述六个切面中的任一切面，隐藏所述三维场景中与所述包围盒在所述切面的不同侧的场景信息。
13.根据权利要求1至4中任意一项所述的方法，其特征在于，在所述得到所述待标注三维对象的自动标注数据之后，所述方法还包括：
响应于包围盒调整请求，调整所述包围盒的位置、大小和旋转角度中的至少之一；
根据调整后的包围盒的信息，得到所述待标注三维对象的调整后的标注数据。
14.根据权利要求1至4中任意一项所述的方法，其特征在于，在所述得到包围所述待标注三维对象的包围盒之后，所述方法还包括：
将所述包围盒投影到二维坐标系，得到所述包围盒对应的二维检测框；
根据所述二维检测框，得到所述待标注三维对象的二维标注数据。
15.一种三维对象的标注装置，其特征在于，包括：
第一确定模块，用于响应于自动标注请求，根据三维场景中所述自动标注请求对应的请求位置，确定目标语义信息，其中，所述目标语义信息表示所述三维场景中的待标注三维对象的点的语义信息；
第二确定模块，用于根据所述目标语义信息，从所述三维场景的点云中，确定属于所述待标注三维对象的点；
第三确定模块，用于根据属于所述待标注三维对象的点，得到包围所述待标注三维对象的包围盒；
第一标注模块，用于根据所述包围盒的信息，得到所述待标注三维对象的自动标注数据，其中，所述包围盒的信息包括所述包围盒的位置信息；
其中，所述第一确定模块用于：
在所述自动标注请求对应的请求位置不属于三维场景中任一已有的包围盒的情况下，将所述点云中与所述请求位置距离最近的点确定为目标点；
将所述目标点的语义信息确定为目标语义信息；
所述第二确定模块用于：
从所述三维场景的点云中，确定语义信息为所述目标语义信息的点；
从语义信息为所述目标语义信息的点中，确定与所述目标点连接的点；
将所述目标点，以及语义信息为所述目标语义信息的点中与所述目标点连接的点，确定为属于所述待标注三维对象的点。
16.一种基于网页的标注工具，其特征在于，所述基于网页的标注工具用于执行权利要求1至14中任意一项所述的方法。
17.一种电子设备，其特征在于，包括：
一个或多个处理器；
用于存储可执行指令的存储器；
其中，所述一个或多个处理器被配置为调用所述存储器存储的可执行指令，以执行权利要求1至14中任意一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至14中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110180923.XA CN112907760B (zh) | 2021-02-09 | 2021-02-09 | 三维对象的标注方法及装置、工具、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110180923.XA CN112907760B (zh) | 2021-02-09 | 2021-02-09 | 三维对象的标注方法及装置、工具、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907760A CN112907760A (zh) | 2021-06-04 |
| CN112907760B true CN112907760B (zh) | 2023-03-24 |
Family
ID=76123397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110180923.XA Active CN112907760B (zh) | 2021-02-09 | 2021-02-09 | 三维对象的标注方法及装置、工具、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907760B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362363B (zh) * | 2021-06-18 | 2022-11-04 | 广东工业大学 | 一种基于视觉slam的图像自动标注方法、装置及存储介质 |
| CN113744417B (zh) * | 2021-11-08 | 2022-03-22 | 山东捷瑞数字科技股份有限公司 | 一种复杂节点模型的尺寸标注方法 |
| CN114898076B (zh) * | 2022-03-29 | 2023-04-21 | 北京城市网邻信息技术有限公司 | 模型标签的添加方法、装置、电子设备及存储介质 |
| CN114820979B (zh) * | 2022-04-22 | 2023-03-24 | 如你所视(北京)科技有限公司 | 三维网格模型的处理方法、装置和存储介质 |
| CN114842175B (zh) * | 2022-04-22 | 2023-03-24 | 如你所视(北京)科技有限公司 | 三维标签的交互呈现方法、装置、设备和介质 |
| CN116204945B (zh) * | 2023-04-28 | 2023-07-14 | 北京求解科技有限公司 | 基于三维观察体的对象观察方法、装置、终端及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734120A (zh) * | 2018-05-15 | 2018-11-02 | 百度在线网络技术（北京）有限公司 | 标注图像的方法、装置、设备和计算机可读存储介质 |
| WO2020248614A1 (zh) * | 2019-06-10 | 2020-12-17 | 商汤集团有限公司 | 地图生成方法、驾驶控制方法、装置、电子设备及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6851295B2 (ja) * | 2017-01-27 | 2021-03-31 | 株式会社デンソーアイティーラボラトリ | 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法 |
| CN109635685B (zh) * | 2018-11-29 | 2021-02-12 | 北京市商汤科技开发有限公司 | 目标对象3d检测方法、装置、介质及设备 |
| US10909392B1 (en) * | 2019-12-27 | 2021-02-02 | Lyft, Inc. | Systems and methods for computer-based labeling of sensor data captured by a vehicle |
| CN111860370A (zh) * | 2020-07-24 | 2020-10-30 | 浙江商汤科技开发有限公司 | 语义标注方法、装置和系统 |
| CN112034488B (zh) * | 2020-08-28 | 2023-05-02 | 京东科技信息技术有限公司 | 目标物体自动标注方法与装置 |
-
2021
- 2021-02-09 CN CN202110180923.XA patent/CN112907760B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734120A (zh) * | 2018-05-15 | 2018-11-02 | 百度在线网络技术（北京）有限公司 | 标注图像的方法、装置、设备和计算机可读存储介质 |
| WO2020248614A1 (zh) * | 2019-06-10 | 2020-12-17 | 商汤集团有限公司 | 地图生成方法、驾驶控制方法、装置、电子设备及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907760A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112907760B (zh) | 三维对象的标注方法及装置、工具、电子设备和存储介质 | |
| EP3091426B1 (en) | User terminal device providing user interaction and method therefor | |
| EP3989177A1 (en) | Method for controlling multiple virtual characters, device, apparatus, and storage medium | |
| EP3769509B1 (en) | Multi-endpoint mixed-reality meetings | |
| US10205873B2 (en) | Electronic device and method for controlling a touch screen of the electronic device | |
| CN110321048B (zh) | 三维全景场景信息处理、交互方法及装置 | |
| US11087560B2 (en) | Normalization of objects for a 3D environment within an authoring application | |
| US11039061B2 (en) | Content assistance in a three-dimensional environment | |
| EP4273808A1 (en) | Method and apparatus for publishing video, device, and medium | |
| CN106980379B (zh) | 一种显示方法及终端 | |
| CN110989905A (zh) | 信息处理方法及装置、电子设备和存储介质 | |
| CN111190677A (zh) | 信息显示方法、信息显示装置及终端设备 | |
| CN111127469A (zh) | 缩略图显示方法、装置、存储介质以及终端 | |
| US11030822B2 (en) | Content indicators in a 3D environment authoring application | |
| WO2022134390A1 (zh) | 标注方法及装置、电子设备和存储介质 | |
| WO2024037415A1 (zh) | 投屏内容显示方法、装置、设备及存储介质 | |
| US20200363929A1 (en) | Text Editing System for 3D Environment | |
| WO2022228433A1 (zh) | 信息处理方法、装置以及电子设备 | |
| CN114116106A (zh) | 图表显示方法及装置、电子设备和存储介质 | |
| CN113392263A (zh) | 一种数据标注方法及装置、电子设备和存储介质 | |
| CN112162681A (zh) | 文本操作执行方法、装置及电子设备 | |
| CN112529976B (zh) | 目标显示方法及装置、电子设备和存储介质 | |
| KR101458542B1 (ko) | 디지털 콘텐츠 생성 장치 및 그 방법, 디지털 콘텐츠 생성 장치를 이용한 데이터 통신 시스템 및 그 방법 및 기록매체 | |
| CN116385599B (zh) | 文字交互方法、装置、电子设备和存储介质 | |
| CN113835809B (zh) | 一种隐藏处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |