CN113240678B

CN113240678B - 平面信息检测方法及系统

Info

Publication number: CN113240678B
Application number: CN202110505159.9A
Authority: CN
Inventors: 吴涛
Original assignee: Qingdao Xiaoniao Kankan Technology Co Ltd
Current assignee: Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date: 2021-05-10
Filing date: 2021-05-10
Publication date: 2023-05-30
Anticipated expiration: 2041-05-10
Also published as: CN113240678A; WO2022237026A1

Abstract

本发明提供一种平面信息检测方法及系统，其中的方法包括：获取用户物理环境下的点云信息；对点云信息进行迭代回归，拟合出与物理环境对应的所有平面信息；对所有平面信息进行预设规则的合并，以获取合并后的平面信息集；基于预训练的平面分割模型对平面信息集进行平面分割，获取分割后的平面信息；对分割后的平面信息进行筛选，确定与物理环境对应的所有目标平面信息。利用上述发明能够提高物理环境下的平面检测和提取的精度和稳定性。

Description

平面信息检测方法及系统

技术领域

本发明涉及平面检测技术领域，更为具体地，涉及一种平面信息检测方法及系统。

背景技术

目前，VR/AR/MR一体机设备越来越多的进入到人们生活中，其主要的应用场景是当用户进行VR/AR/MR场景交互时，通过头戴上的多目追踪摄像头自动识别跟踪用户手一些行为轨迹信息，并通过手的一些行为轨迹检测手势指令，然后作为人造虚拟现实系统的输入信息，和虚拟场景进行交互。

现有的VR、AR或者MR均是人基于虚拟场景物体和物理环境物体进行交互，其中最为基础和最为常见的交互物体是平面，平面检测的精度往往代表了VR、AR或者MR人机交互的基础体验，由于不同的物理环境，例如办公室场所、商场场所或者家里客厅、卧室等不同环境下的场所，使其平面环境变的多种多样，其平面检测的难度和复杂度也的越来越高。

目前在VR、AR或者MR领域中，主要是通过计算处理器生成物理环境的点云数据，通过对点云数据进行平面检测和平面拟合，然后获取物理环境中的各种平面信息，但是，现有方法存在对物理环境下的一些场景的平面检测不充分，或者过充分的情况，影响平面检测精度和稳定性。

发明内容

鉴于上述问题，本发明的目的是提供一种平面信息检测方法及系统，解决目前平面检测存在的检测不充分或过充分，影响检测精度和稳定性等问题。

本发明提供的平面信息检测方法，包括获取用户物理环境下的点云信息；对点云信息进行迭代回归，拟合出与物理环境对应的所有平面信息；对所有平面信息进行预设规则的合并，以获取合并后的平面信息集；基于预训练的平面分割模型对平面信息集进行平面分割，获取分割后的平面信息；对分割后的平面信息进行筛选，确定与物理环境对应的所有目标平面信息。

此外，可选的技术方案是，平面分割模型的训练过程包括：采集平面图像数据，并对平面图像数据进行数据标注，以获取平面图像标注集；基于平面图像标注集训练神经网络模型，直至神经网络模型收敛在预设范围内，形成平面分割模型。

此外，可选的技术方案是，平面信息包括当前平面中所有的点云信息以及与各点云信息分别对应的二维图像信息；点云信息通过虚拟现实显示装置内的头戴定位追踪模块获取。

此外，可选的技术方案是，对点云信息进行迭代回归的过程包括：对点云信息进行RANSAC算法处理，拟合与物理环境对应的所有平面信息；其中，拟合的最小点云信息的个数为10。

此外，可选的技术方案是，拟合出与物理环境对应的所有平面信息的过程包括：在点云信息中随机获取预设个数的距离最近的点云，并进行RANSAC算法的平面拟合，以获取初始平面；获取初始平面的法向量；随机获取点云信息中的随机点云，并对随机点云和初始平面的点云进行平面拟合，获取新的法向量；判断初始平面的法向量和新的法向量之间的差异，如果差异符合预设范围，则重复上述迭代步骤，否则，保留最后一次迭代的平面信息，直至获取所有平面信息。

此外，可选的技术方案是，预设范围为1cm～4cm。

此外，可选的技术方案是，对所有平面信息进行预设规则的合并的过程包括：判断所有平面信息中任意两平面信息之间的倾斜角，当倾斜角满足第一阈值时，判断两平面信息上的三维空间点云之间的距离在预设值以内的点云的个数是否满足第二阈值；当第一阈值和第二阈值均满足时，对两平面信息进行合并。

此外，可选的技术方案是，第一阈值为4°～12°；第二阈值为8～20个。

此外，可选的技术方案是，对分割后的平面信息进行筛选的过程包括：获取分割后的平面信息中各平面的像素点个数在平面信息集中对应的平面中的占比率；当占比率满足预设阈值时，确定平面信息为物理环境下的目标平面信息。

根据本发明的另一方面，提供一种平面信息检测系统，包括：点云信息获取单元，用于获取用户物理环境下的点云信息；平面信息拟合单元，用于对点云信息进行迭代回归，拟合出与物理环境对应的所有平面信息；平面信息集获取单元，用于对所有平面信息进行预设规则的合并，以获取合并后的平面信息集；分割处理单元，用于基于预训练的平面分割模型对平面信息集进行平面分割，获取分割后的平面信息；目标平面信息确定单元，用于对分割后的平面信息进行筛选，确定与物理环境对应的所有目标平面信息。

利用上述平面信息检测方法及系统，获取用户物理环境下的点云信息；对点云信息进行迭代回归，拟合出与物理环境对应的所有平面信息；对所有平面信息进行预设规则的合并，以获取合并后的平面信息集；基于预训练的平面分割模型对平面信息集进行平面分割，获取分割后的平面信息；对分割后的平面信息进行筛选，确定与物理环境对应的所有目标平面信息，能够稳定的提取屋里环境下的平面信息，提取准确度高、可适用范围广。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的平面信息检测方法的流程图；

图2为根据本发明实施例的平面信息检测系统的逻辑方框图。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

为详细描述本发明实施例的平面信息检测方法及系统，以下将结合附图对本发明的具体实施例进行详细描述。

图1示出了根据本发明实施例的平面信息检测方法的流程。

如图1所示，本发明实施例的平面信息检测方法，主要包括以下步骤：

S110：取用户物理环境下的点云信息；

S120：对所述点云信息进行迭代回归，拟合出与所述物理环境对应的所有平面信息；

S130：对所述所有平面信息进行预设规则的合并，以获取合并后的平面信息集；

S140：基于预训练的平面分割模型对平面信息集进行平面分割，获取分割后的平面信息；

S150：对分割后的平面信息进行筛选，确定与物理环境对应的所有目标平面信息。

其中，本发明实施例的平面信息检测方法主要包括两个阶段，一个阶段为平面分割模型的训练阶段，另一个阶段为基于平面分割模型获取目标平面信息的阶段，以下将结合具体实施例对上述两个阶段进行分别描述。

具体地，平面分割模型的训练过程包括：采集平面图像数据，并对平面图像数据进行数据标注，以获取平面图像标注集；基于平面图像标注集训练神经网络模型，直至神经网络模型收敛在预设范围内，形成平面分割模型。

作为具体示例，可通过虚拟现实显示设备(HMD)采集各种场景下的平面图像数据，比如办公室场景下的办公桌面、地面、会议桌面等平面图像数据，家里的客厅环境下的平面图像数据，比如客厅餐桌、客厅地面或者客厅茶几等平面图像数据等其他环境场景下的平面图像数据，共采集300万张平面图像数据，形成平面图像数据集，然后对数据集中每一张图像数据进行平面数据标注，获取对应的平面图像标注集；然后，基于神经网络模型进行平面分割模型的训练，直至获取高精度的平面分割模型。

进一步地，在上述虚拟现实显示设备(HMD)内设置有头戴定位追踪传感器，该头戴定位追踪传感器通常为鱼眼光脚摄像机，在虚拟现实显示设备(HMD)内一般设置有两个及以上个数的鱼眼广角摄像机。例如，在本发明的平面信息检测方法中，可通过获取的HMD内置的鱼眼广角摄像机的图像数据进行平面分割模型的训练。

上述步骤S110中，可通过HMD的头戴定位追踪传感器获取用户物理环境下的点云信息，点云主要是指目标表面特性的海量点集合，根据激光测量原理得到的点云，包括三维坐标和激光反射强度，而根据摄影测量原理得到的点云，包括三维坐标和颜色信息，本发明中的点云信息可包括目标表面特性的海量的三维坐标、颜色信息和激光反射强度。

进一步地，对获取的点云信息进行迭代回归，拟合出与物理环境对应的所有平面信息；其中，平面信息包括当前平面中所有的点云信息以及与各点云信息分别对应的二维图像信息，点云信息通过虚拟现实显示装置内的头戴定位追踪模块获取。

作为具体示例，对点云信息进行迭代回归的过程可包括：对点云信息进行RANSAC算法处理，拟合与物理环境对应的所有平面信息；其中，为了提高平面拟合的精度和稳定性，拟合的最小点云信息的个数可设置为10。

进一步地，拟合出与物理环境对应的所有平面信息的过程包括：在点云信息中随机获取预设个数的距离最近的点云，并进行RANSAC算法的平面拟合(例如，随机获取10个相互距离最近的点云进行平面拟合)，以获取初始平面；然后，获取初始平面的法向量；随机获取点云信息中的随机点云，并对随机点云和初始平面的点云进行平面拟合，获取新的法向量；判断初始平面的法向量和新的法向量之间的差异，如果差异符合预设范围，例如1cm～4cm，则重复上述迭代步骤，继续在点云信息(池)中随机获取一个点云，继续做平面拟合；否则，如何差异大于预设范围，则保留最后一次迭代的平面信息；然后，继续在点云信息中随机获取预设个数的距离最近的点云进行平面拟合，直至获取所有的平面信息，形成平面信息集。

在上述步骤S130中，对所有平面信息进行预设规则的合并的过程包括：判断所有平面信息中任意两平面信息之间的倾斜角，当倾斜角满足第一阈值时，判断两平面信息上的三维空间点云之间的距离在预设值以内的点云的个数是否满足第二阈值；进而，当第一阈值和第二阈值均满足时，对两平面信息进行合并。

在本发明的一个具体实施方式中，第一阈值可设置为4°～12°；第二阈值可设置为8～20个。

作为示例，针对所有平面信息，判断任意两平面信息之间的倾斜角在8°以内并且两个平面信息上的最近三维空间点云之间的距离在10cm以内的点云个数如果超过10个，在对该两个平面信息进行合并，并获取合并后的一个平面信息，在合并过程中，可将两个平面信息对应的点云信息组合在一起，然后进行一次平面拟合，即可获取合并后的平面信息。

然后，按照上述预设规则的判断标准，对检测出的所有平面进行判断合并，获取对应物理环境下所有平面信息，作为合并后的平面信息集。

上述步骤S140中，通过训练完成的平面分割模型对平面信息集中的所有平面信息进行平面分割，由于在进行分割前，可能存在不是平面的误检测概率，即在上述步骤中获取的物理环境中的平面可能存在误检测的可能，为此可通过平面分割对上述检测到的平面信息进一步结合语义信息进行确认，以精准获取真实物理环境下的平面信息。

在获取分割后的平面信息后，进一步对分割后的平面信息进行筛选，筛选的过程包括：获取分割后的平面信息中各平面的像素点个数在平面信息集中对应的平面中的占比率；当占比率满足预设阈值时，确定平面信息为物理环境下的目标平面信息。

例如，计算分割后的平面信息中每个平面的像素点个数在平面信息集中对应的平面中的占比率，如果占比率大于85％(该占比率可根据具体的应用场景或需求进行设置及调整)，确认对应的平面为物理环境中的平面信息，即可作为目标平面信息，按照上述筛选方式，对分割后的所有平面信息均进行筛选，以获取对应的物理环境下的所有的目标平面信息。

其中，像素点对应二维点，空间点云对应空间三维点，每一个像素点对应一个空间三维点云。

与上述平面信息检测方法相对应，本发明还提供一种平面信息检测系统。具体地，图2示出了根据本发明实施例的平面信息检测系统的示意逻辑。

如图2所示，本发明实施例的平面信息检测系统200，可以包括：

点云信息获取单元210，用于获取用户物理环境下的点云信息；

平面信息拟合单元220，用于对点云信息进行迭代回归，拟合出与物理环境对应的所有平面信息；

平面信息集获取单元230，用于对所有平面信息进行预设规则的合并，以获取合并后的平面信息集；

分割处理单元240，用于基于预训练的平面分割模型对平面信息集进行平面分割，获取分割后的平面信息；

目标平面信息确定单元250，用于对分割后的平面信息进行筛选，确定与物理环境对应的所有目标平面信息。

需要说明的是，上述平面信息检测系统的实施例可参考平面信息检测方法实施例中的描述，此处不再一一赘述。

利用上述根据本发明提供的平面信息检测方法及系统，结合人工神经网络模型的语义分割技术，实现对物理环境下的平面的检测和提取，能够提高物理环境下的平面检测精度和稳定性。

如上参照附图以示例的方式描述根据本发明的平面信息检测方法及系统。但是，本领域技术人员应当理解，对于上述本发明所提出的平面信息检测方法及系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims

1.一种平面信息检测方法，其特征在于，包括：

获取用户物理环境下的点云信息；

对所述点云信息进行迭代回归，拟合出与所述物理环境对应的所有平面信息；所述平面信息包括当前平面中所有的点云信息以及与各点云信息分别对应的二维图像信息；

对所述所有平面信息进行预设规则的合并，以获取合并后的平面信息集，包括：判断所述所有平面信息中任意两平面信息之间的倾斜角，当所述倾斜角满足第一阈值时，判断所述两平面信息上的三维空间点云之间的距离在预设值以内的点云的个数是否满足第二阈值；当所述第一阈值和所述第二阈值均满足时，对所述两平面信息进行合并；

基于预训练的平面分割模型对所述平面信息集进行平面分割，获取分割后的平面信息；

对分割后的平面信息进行筛选，确定与所述物理环境对应的所有目标平面信息。

2.如权利要求1所述的平面信息检测方法，其特征在于，所述平面分割模型的训练过程包括：

采集平面图像数据，并对所述平面图像数据进行数据标注，以获取平面图像标注集；

基于所述平面图像标注集训练神经网络模型，直至所述神经网络模型收敛在预设范围内，形成所述平面分割模型。

3.如权利要求1所述的平面信息检测方法，其特征在于，

所述点云信息通过虚拟现实显示装置内的头戴定位追踪模块获取。

4.如权利要求1所述的平面信息检测方法，其特征在于，对所述点云信息进行迭代回归的过程包括：

对所述点云信息进行RANSAC算法处理，拟合与所述物理环境对应的所有平面信息；其中，

所述拟合的最小点云信息的个数为10。

5.如权利要求4所述的平面信息检测方法，其特征在于，所述拟合出与所述物理环境对应的所有平面信息的过程包括：

在所述点云信息中随机获取预设个数的距离最近的点云，并进行RANSAC算法的平面拟合，以获取初始平面；

获取所述初始平面的法向量；

随机获取所述点云信息中的随机点云，并对所述随机点云和所述初始平面的点云进行平面拟合，获取新的法向量；

判断所述初始平面的法向量和所述新的法向量之间的差异，如果所述差异符合预设范围，则重复上述迭代步骤，否则，保留最后一次迭代的平面信息，直至获取所述所有平面信息。

6.如权利要求5所述的平面信息检测方法，其特征在于，

所述预设范围为1cm～4cm。

7.如权利要求1所述的平面信息检测方法，其特征在于，

所述第一阈值为4°～12°；

所述第二阈值为8～20个。

8.如权利要求1所述的平面信息检测方法，其特征在于，对分割后的平面信息进行筛选的过程包括：

获取所述分割后的平面信息中各平面的像素点个数在所述平面信息集中对应的平面中的占比率；

当所述占比率满足预设阈值时，确定所述平面信息为所述物理环境下的目标平面信息。

9.一种平面信息检测系统，其特征在于，包括：

点云信息获取单元，用于获取用户物理环境下的点云信息；

平面信息拟合单元，用于对所述点云信息进行迭代回归，拟合出与所述物理环境对应的所有平面信息；所述平面信息包括当前平面中所有的点云信息以及与各点云信息分别对应的二维图像信息；

平面信息集获取单元，用于对所述所有平面信息进行预设规则的合并，以获取合并后的平面信息集，包括：判断所述所有平面信息中任意两平面信息之间的倾斜角，当所述倾斜角满足第一阈值时，判断所述两平面信息上的三维空间点云之间的距离在预设值以内的点云的个数是否满足第二阈值；当所述第一阈值和所述第二阈值均满足时，对所述两平面信息进行合并；

分割处理单元，用于基于预训练的平面分割模型对所述平面信息集进行平面分割，获取分割后的平面信息；

目标平面信息确定单元，用于对分割后的平面信息进行筛选，确定与所述物理环境对应的所有目标平面信息。