CN113052977A - 处理方法及装置 - Google Patents

处理方法及装置 Download PDF

Info

Publication number
CN113052977A
CN113052977A CN202110339210.3A CN202110339210A CN113052977A CN 113052977 A CN113052977 A CN 113052977A CN 202110339210 A CN202110339210 A CN 202110339210A CN 113052977 A CN113052977 A CN 113052977A
Authority
CN
China
Prior art keywords
plane
environment
determining
line
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110339210.3A
Other languages
English (en)
Inventor
刘超
陈玉琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202110339210.3A priority Critical patent/CN113052977A/zh
Publication of CN113052977A publication Critical patent/CN113052977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种处理方法及装置，该方法包括：获得电子设备当前所处环境的环境图像，获取所述环境图像上的点特征和/或线特征；确定所述点特征和/或线特征的三维空间位置信息；至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息。本公开实施例的处理方法不依赖深度相机即可准确、全面地检测出电子设备当前所处环境内的平面信息，适用范围广，且成本较低。本公开可以采用通用的单目或多目相机确定电子设备当前所处环境内的平面信息，操作方便，无需使用深度相机，通用性强；同时，可以准确、全面地检测出电子设备当前所处环境内的平面信息，在纹理较少的环境中也能够准确确定平面信息，具有较好的鲁棒性。

Description

处理方法及装置
技术领域
本公开涉及图像处理技术领域，具体涉及一种处理方法及装置。
背景技术
在增强现实AR应用中，一个典型的应用场景是检测物理世界中的平面，比如水平的桌面和地面、竖直的墙面等，以用于展示虚拟模型，如虚拟的恐龙或飞机模型等。因此，如何实时、准确地在移动设备比如手机、AR眼镜上检测输出平面信息是增强现实AR应用亟待解决的问题。
现有技术中，一般采用单目或者双目相机与深度相机配合检测平面，其中，单目或者双目相机用于运行SLAM算法以解算出6dof姿态数据，深度相机用于获取周围环境的深度信息以得到周围环境的三维稠密点云信息，从而检测出周围环境的几何平面，由于需要使用深度相机，成本较高，且无法适用于手机等不含深度相机的设备，通用性不强。另一基于RGB相机的平面检测方案，比如谷歌的ARcore，无需使用深度相机，但是，其检测不够准确，特别是在纹理不丰富的地方仅能检测部分平面，比如无法检测到桌面边缘区域的平面，另外，该方案不易扩展到基于双目鱼眼相机的AR眼镜上。
发明内容
根据本公开的方案之一，提供一种处理方法，包括：
获得电子设备当前所处环境的环境图像，获取所述环境图像上的点特征和/或线特征；
确定所述点特征和/或线特征的三维空间位置信息；
至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息。
在一些实施例中，所述方法还包括：
至少基于所述平面信息将所述电子设备的待输出内容输出至所述环境内的目标平面。
在一些实施例中，获取所述环境图像上的点特征和/或线特征，包括：
提取所述环境图像中像素变化大于第一预设阈值的角点，将所述角点作为特征点，得到所述点特征；和/或，
提取所述环境图像中梯度变化大于第二预设阈值的像素，将所述像素作为特征线，得到所述线特征。
在一些实施例中，确定所述点特征和/或线特征的三维空间位置信息，包括：
对所述点特征和/或线特征进行解算，得到表征所述点特征的特征点和/或表征所述线特征的特征线的相对空间坐标，其中，所述点特征和/或线特征从利用单目相机采集的所述环境图像中提取；
利用惯性测量单元确定所述特征点和/或特征线的绝对空间坐标。
在一些实施例中，确定所述点特征和/或线特征的三维空间位置信息，包括：
对所述点特征和/或线特征进行解算，得到表征所述点特征的特征点和/或表征所述线特征的特征线的绝对空间坐标，其中，所述点特征和/或线特征从利用双目相机采集的所述环境图像中提取。
在一些实施例中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
至少基于多个特征点的三维空间位置信息，从所述多个特征点中选择三个第一特征点；
对三个所述第一特征点进行三角化，形成第一平面；
基于属于所述第一平面中第二特征点的数量，确定电子设备当前所处环境内的有效平面，其中，所述第二特征点为所述多个特征点中不同于所述第一特征点的特征点，所述有效平面为包含所述第二特征点最多的平面。
在一些实施例中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
至少基于多条特征线的三维空间位置信息，从多条所述特征线中选择两条第一特征线；
利用两条所述第一特征线形成第二平面；
基于多条所述特征线中的第二特征线检测所述第二平面是否有效，其中，所述第二特征线不同于所述第一特征线；
将有效的所述第二平面确定为电子设备当前所处环境内的有效平面。
在一些实施例中，其中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：至少基于多个特征点的三维空间位置信息确定电子设备当前所处环境内的第三平面；
至少基于多条特征线的三维空间位置信息确定电子设备当前所处环境内的第四平面；
判断所述第三平面和所述第四平面是否为同一平面；
若是，将所述第三平面和所述第四平面融合后的第五平面确定为电子设备当前所处环境内的有效平面。
在一些实施例中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
至少基于多个特征点的三维空间位置信息确定电子设备当前所处环境内的第一有效平面；
基于所述第一有效平面内至少一条特征线的三维空间位置信息确定所述第一有效平面的边缘信息；或，
至少基于多条特征线的三维空间位置信息确定电子设备当前所处环境内的第二有效平面；
基于所述第二有效平面内多个特征点的三维空间位置信息对所述第二有效平面进行扩展，确定所述第二有效平面的边缘信息。
根据本公开的方案之一，还提供一种处理装置，包括：
获取模块，用于获得电子设备当前所处环境的环境图像，获取所述环境图像上的点特征和/或线特征；
第一确定模块，用于确定所述点特征和/或线特征的三维空间位置信息；
第二确定模块，用于至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息。
根据本公开的方案之一，还提供一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现上述的处理方法。
根据本公开的方案之一，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现上述的处理方法。
本公开的各种实施例提供的处理方法及装置，通过采用通用的单目或多目相机采集电子设备当前所处环境的环境图像，并从中提取点特征和/或线特征，基于提取的点特征和/或线特征确定电子设备当前所处环境内的平面信息，操作方便，无需使用深度相机，通用性强；同时，可以准确、全面地检测出电子设备当前所处环境内的平面信息，在纹理较少的环境中也能够准确确定平面信息，具有较好的鲁棒性；另外，本公开实施例提供的处理方法仅需提取稀疏的点特征和线特征，不涉及稠密特征提取，能够实时确定平面信息，提高处理效率。
附图说明
图1示出本公开实施例的处理方法的流程图；
图2示出本公开实施例的利用点特征确定平面信息的方法的流程图；
图3示出本公开实施例的利用线特征确定平面信息的方法的流程图；
图4示出本公开实施例的利用点特征和线特征确定平面信息的方法的流程图；
图5示出本公开实施例的利用点特征和线特征确定平面信息的另一方法的流程图；
图6示出本公开实施例的利用点特征和线特征确定平面信息的又一方法的流程图；
图7(a)和图7(b)示出本公开实施例的利用点特征确定平面信息的示意图；
图8(a)至图8(c)示出本公开实施例的利用点特征确定平面信息的另一示意图；
图9示出本公开实施例的利用线特征确定平面信息的示意图；
图10(a)和图10(b)示出本公开实施例的利用点特征和线特征确定平面信息的示意图；
图11示出本公开实施例的利用点特征和线特征确定平面信息的另一示意图；
图12示出本公开实施例的利用点特征和线特征确定平面信息的又一示意图；
图13示出本公开实施例的处理装置的结构示意图。
具体实施方式
此处参考附图描述本公开的各种方案以及特征。
应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本公开的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本公开进行了描述，但本领域技术人员能够确定地实现本公开的很多其它等效形式。
当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例；然而，应当理解，所申请的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
图1示出了本公开实施例的处理方法的流程图。如图1所示，本公开实施例提供了一种处理方法，包括：
S101：获得电子设备当前所处环境的环境图像，获取所述环境图像上的点特征和/或线特征。
具体地，可以通过图像采集设备获得电子设备当前所处环境的连续的图像帧，从所述连续的图像帧中提取点特征和/或线特征；也可以仅获得电子设备当前所处环境的当前的图像帧，从当前帧图像中提取点特征和/或线特征。
图像采集设备可以为单目相机(比如单目RGB相机)，也可以为多目相机(比如AR眼镜上的双目鱼眼相机)，本公开实施例不具体限定。
在一些实施例中，步骤S101中，获取所述环境图像上的点特征和/或线特征，包括：
提取所述环境图像中像素变化大于第一预设阈值的角点，将所述角点作为特征点，得到所述点特征；和/或，
提取所述环境图像中梯度变化大于第二预设阈值的像素，将所述像素作为特征线，得到所述线特征。
具体地，在获取所述环境图像上的点特征时，可以基于SIFT、SURF以及ORB等特征提取算法通过寻找所述环境图像中像素变化显著(大于第一预设阈值)的角点来提取点特征。
在获取所述环境图像上的线特征时，可以基于LSD(Line Segment Detector)线特征提取算法通过寻找所述环境图像中梯度变化较大(大于第二预设阈值)的像素来提取线特征。其中，像素的梯度是指像素值的变化的程度。特征线可以为特征直线或特征线段。具体实施中，也可以基于FLD(Fast Line Detector)、EDline等线特征提取算法提取线特征。
需要说明的是，上述提取的点特征和/或线特征均为稀疏的点特征和/或线特征，无需进行稠密特征提取，可以提高处理效率。
S102：确定所述点特征和/或线特征的三维空间位置信息。
在提取出所述环境图像上的点特征和/或线特征后，计算上述点特征和/或线特征的三维空间位置信息。
在一些实施例中，步骤S102中，确定所述点特征和/或线特征的三维空间位置信息，包括：
对所述点特征和/或线特征进行解算，得到表征所述点特征的特征点和/或表征所述线特征的特征线的相对空间坐标，其中，所述点特征和/或线特征从利用单目相机采集的所述环境图像中提取；
利用惯性测量单元确定所述特征点和/或特征线的绝对空间坐标。
具体地，当所述环境图像为单目相机采集的单目图像时，先使用SLAM(Simultaneous Localization And Mapping，同步定位与建图)算法提取单目图像中的点特征，进而解算出单目相机的6dof姿态数据，继而得到环境图像中表征所述点特征的特征点和/或环境图像中表征线特征的特征线(特征线可以基于两个特征点获得)的三维相对空间坐标。
示例性地，当单目相机采集的两个图像帧中观测到同一个特征点时，可以利用两个图像帧的6dof姿态数据计算出该特征点的三维空间坐标。由于单目相机缺失深度信息，上述SLAM算法解算出的三维空间坐标为相对空间坐标。
进一步地，为得到特征点和/或特征线的绝对空间坐标，可以利用惯性测量单元(IMU)恢复出空间坐标的尺度信息，进而得到绝对空间坐标。
上述的单目相机以及惯性测量单元(IMU)为手机等设备的通用设置，因此，操作方便。
在另一些实施例中，步骤S102中，确定所述点特征和/或线特征的三维空间位置信息，包括：
对所述点特征和/或线特征进行解算，得到环境图像中表征所述点特征的特征点和/或表征所述线特征的特征线的绝对空间坐标，其中，所述点特征和/或线特征从利用双目相机采集的所述环境图像中提取。
当所述环境图像为多目相机采集的多目图像时，先使用SLAM算法提取多目图像中的点特征和/或线特征，进而解算出多目相机的6dof姿态数据，继而得到表征所述点特征的特征点和/或表征所述线特征的特征线的三维绝对空间坐标。多目相机可以利用立体视觉(多目视差)恢复深度信息，因此，可以利用SLAM算法直接获得特征点和/或特征线的三维绝对空间坐标。
S103：至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息。
在确定出特征点和/或特征线的三维绝对空间坐标后，便可确定出所述环境图像中的平面信息，进而确定电子设备当前所处环境内的平面信息，以提供更加准确、丰富的平面信息。另外，采用绝对空间坐标作为三维空间位置信息，由于绝对空间坐标的稳定、准确性，可以保证平面信息确定的准确性。
本公开实施例提供的处理方法，通过采用通用的单目或多目相机采集电子设备当前所处环境的环境图像，并从中提取点特征和/或线特征，基于提取的点特征和/或线特征确定电子设备当前所处环境内的平面信息，操作方便，无需使用深度相机，通用性强；同时，可以准确、全面地检测出电子设备当前所处环境内的平面信息，在纹理较少的环境中也能够准确确定平面信息，具有较好的鲁棒性；另外，本公开实施例提供的处理方法仅需提取稀疏的点特征和线特征，不涉及稠密特征提取，能够实时确定平面信息，提高处理效率。
图2示出了本公开实施例的利用点特征确定平面信息的方法的流程图；
图7(a)和图7(b)示出了本公开实施例的利用点特征确定平面信息的示意图。如图2、图7(a)和图7(b)所示，在一些实施例中，步骤S103中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
S201：至少基于多个特征点的三维空间位置信息，从所述多个特征点中选择三个第一特征点A1；
S202：对三个所述第一特征点A1进行三角化，形成第一平面；
S203：基于属于所述第一平面中第二特征点A2的数量，确定电子设备当前所处环境内的有效平面，其中，所述第二特征点A2为所述多个特征点中不同于所述第一特征点A1的特征点，所述有效平面为包含所述第二特征点A2最多的平面。
具体地，在检测出电子设备当前所处环境的三维空间存在多个特征点后，利用Ransac算法提取所述环境图像的平面，如图7(a)所示，首先从提取的多个特征点中任选三个第一特征点A1构建第一平面，然后如图7(b)所示，统计归属于该第一平面的第二特征点A2个数，并将第二特征点A2个数最多的平面确定为所述环境图像的中的有效平面。在得到该有效平面后可以获取该平面的边界信息和法向量等平面信息，并存储。
可以理解，由于上述点特征的三维空间位置信息为绝对空间坐标，因此，归属于该第一平面的第二特征点A2为3D点。
进一步地，可以以类似的方式确定电子设备当前所处环境内的其他有效平面，得到电子设备当前所处环境内的所有有效平面。
上述实施例中，仅利用点特征的三维空间位置信息确定电子设备当前所处环境内的平面信息。
图8(a)至图8(c)示出了本公开实施例的利用点特征确定平面信息的另一示意图。在一些实施例中，如图8(a)至图8(c)所示，在确定电子设备当前所处环境内的有效平面为至少两个，且至少两个所述有效平面存在相同的特征点时，所述方法还包括：
获取所述至少两个所述有效平面中的相同的第三特征点A3，其中，相同的第三特征点A3的连线不为直线；
基于相同的所述第三特征点A3将至少两个所述有效平面进行融合。
具体地，图8(a)所示的第一平面中包含八个第二特征点A2，图8(b)所示的另一第一平面中也包含八个第二特征点A2，这两个第一平面中第二特征点A2的个数最多，因此可以确定这两个第一平面均为有效平面。同时，图8(a)所示的第一平面和图8(b)所示的另一第一平面中包含相同的第三特征点A3，且这些相同的第三特征点A3的连线不为直线，则确定这两个有效平面存在重叠，因此，可以将这两个第一平面进行融合，得到如图8(c)所示的面积更大的平面，即这两个第一平面实质为一个平面，并将融合后的平面边界信息和法向量等平面信息记录保存，可以使得平面检测的边界扩大。
如果这些相同的第三特征点A3的连线为直线，则可以确定该直线为这两个第一平面的边界，进一步地，可以利用这两个第一平面的法向量等平面信息确定这两个第一平面之间的夹角等信息，以便获取不同平面之间的关系。
图3示出了本公开实施例的利用线特征确定平面信息的方法的流程图；
图9示出了本公开实施例的利用线特征确定平面信息的示意图。如图3和图9所示，在另一些实施例中，步骤S103中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
S301：至少基于多条特征线的三维空间位置信息，从多条所述特征线中选择两条第一特征线；
S302：利用两条所述第一特征线L1形成第二平面；
S303：基于多条所述特征线中的第二特征线L2检测所述第二平面是否有效，其中，所述第二特征线不同于所述第一特征线；
S304：将有效的所述第二平面确定为电子设备当前所处环境内的有效平面。
具体地，在检测到电子设备当前所处环境的三维空间存在多条特征线后，如图9所示，可以先使用两条第一特征线L1确定一个第二平面，再利用多条特征线中的其他特征线，比如第二特征线L2来检测第二平面是否有效，即利用第三条特征线来检测第二平面是否有效，从而提取出电子设备当前所处环境内的有效平面。如图9所示的平面，可利用桌面四周边缘的两条第一特征线L1检测出部分平面，然后利用中部的第二特征线L2确定该第二平面有效。
上述实施例中，仅利用线特征的三维空间位置信息确定电子设备当前所处环境内的平面信息。
图4示出了本公开实施例的利用点特征和线特征确定平面信息的方法的流程图；图10(a)和图10(b)示出了本公开实施例的利用点特征和线特征确定平面信息的示意图。在又一些实施例中，步骤S103中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
S401：至少基于多个特征点的三维空间位置信息确定电子设备当前所处环境内的第三平面；
S402：至少基于多条特征线的三维空间位置信息确定电子设备当前所处环境内的第四平面；
S403：判断所述第三平面和所述第四平面是否为同一平面；
S404：若是，将所述第三平面和所述第四平面融合后的第五平面确定为电子设备当前所处环境内的有效平面。
具体地，步骤S401可以如步骤S201-S203一样利用提取的点特征确定电子设备当前所处环境内的有效平面，如图10(a)所示，步骤S402可以如步骤S301-S304一样利用提取的线特征确定电子设备当前所处环境内的有效平面，进而通过步骤S403判断利用点特征确定的有效平面和利用线特征确定的有效平面是否为同一平面，如果是，则将两个有效平面融合进而确定出如图10(b)所示的最终的有效平面。
上述利用点特征和线特征共同确定有效平面的方法，特别适用于光滑平面，比如干净的桌面，纹理特征比较少，检测到的特征点也比较少，特别是边缘区域的特征点较少，因此仅使用点特征的三维空间位置信息检测电子设备当前所处环境内的有效平面，很容易出现边缘缺失的情况；同时对于线特征，平面的边缘容易被遮挡，导致边缘检测不完全，因此，仅使用线特征检测电子设备当前所处环境内的有效平面，容易出现部分平面检测不到或者平面检测不全的情况。
图5和图6示出了本公开实施例的利用点特征和线特征确定平面信息的另外的方法的流程图；图11和图12示出了本公开实施例的利用点特征和线特征确定平面信息的另外的示意图。在又一些实施例中，步骤S103中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
S501：至少基于多个特征点的三维空间位置信息确定电子设备当前所处环境内的第一有效平面；
S502：基于所述第一有效平面内至少一条特征线的三维空间位置信息确定所述第一有效平面的边缘信息；或，
S601：至少基于多条特征线的三维空间位置信息确定电子设备当前所处环境内的第二有效平面；
S602：基于所述第二有效平面内多个特征点的三维空间位置信息对所述第二有效平面进行扩展，确定所述第二有效平面的边缘信息。
上述通过步骤S401和步骤S402分别利用点特征和线特征检测电子设备当前所处环境内的有效平面，再将两个有效平面进行比较得到最终的有效平面，在通过步骤S401和步骤S402确定的所述第三平面和所述第四平面的数量较多时，需要将所述第三平面和所述第四平面一一进行比对，存在数据处理量大的问题。因此，本实施例中，可以先利用点特征或线特征确定出电子设备当前所处环境内的有效平面，再利用与点特征对应的线特征或与线特征对应的点特征对有效平面进行优化，可以大大减少数据处理量，提高数据处理效率。
步骤S501和S502先利用提取的点特征(A)的三维空间位置信息确定出第一有效平面S1，再利用线特征(L)的三维空间位置信息对第一有效平面S1进行改善优化，得到包含平面边缘(比如桌面边缘)信息的第一有效平面S1；步骤S601和S602先利用提取的线特征(L)的三维空间位置信息确定出第二有效平面S2，再利用点特征(A)的三维空间位置信息对第二有效平面S2进行改善优化，对第二有效平面S2进行有效扩展(图12中虚线部分)，使得第二有效平面S2的平面边缘更加丰富。
如上所述，本公开实施例的处理方法不仅可以利用点特征确定电子设备当前所处环境内的平面信息，还可以利用线特征确定电子设备当前所处环境内的平面信息，特别是可以有效融合点特征和线特征，一方面可以快速检测出桌面的边缘等不易检测的平面，保证平面检测的全面性和准确性；另一方面在点特征比较少的区域，可以稳定、有效地确定有效平面，使得平面检测处理运行更稳定、更准确。
在一些实施例中，在步骤S103确定电子设备当前所处环境内的平面信息之后，所述方法还包括：
S104：至少基于所述平面信息将所述电子设备的待输出内容输出至所述环境内的目标平面。
其中，所述平面信息为有效平面所包含的信息，比如平面边缘信息、平面的法向量信息、平面的中心等信息。
电子设备的待输出内容可以为增强现实AR应用中的虚拟对象，当确定出电子设备当前所处环境内的有效平面后，可以选择其中的有效平面作为目标平面，将所述电子设备的待输出内容放置于该目标平面进行呈现，以为佩戴有AR眼镜等增强现实设备的用户呈现增强现实场景，提高用户的AR沉浸体验。
图13示出了本公开实施例的处理装置的结构示意图。如图13所示，本公开实施例提供一种处理装置，包括：
获取模块1301，用于获得电子设备当前所处环境的环境图像，获取所述环境图像上的点特征和/或线特征；
第一确定模块1302，用于确定所述点特征和/或线特征的三维空间位置信息；
第二确定模块1303，用于至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息。
具体地，获取模块1301可以利用图像采集设备获得电子设备当前所处环境的连续的图像帧，从所述连续的图像帧中提取点特征和/或线特征；也可以仅获得电子设备当前所处环境的当前的图像帧，从当前帧图像中提取点特征和/或线特征。
图像采集设备可以为单目相机(比如单目RGB相机)，也可以为多目相机(比如AR眼镜上的双目鱼眼相机)，本公开实施例不具体限定。
在通过获取模块1301提取出所述环境图像上的点特征和/或线特征后，通过第一确定模块1302计算上述点特征和/或线特征的三维空间位置信息，进而通过第二确定模块1303确定所述环境图像中的平面信息，从而确定电子设备当前所处环境内的平面信息。
本公开实施例提供的处理装置，通过采用通用的单目或多目相机采集电子设备当前所处环境的环境图像，并从中提取点特征和/或线特征，基于提取的点特征和/或线特征确定电子设备当前所处环境内的平面信息，操作方便，无需使用深度相机，通用性强；同时，可以准确、全面地检测出电子设备当前所处环境内的平面信息，在纹理较少的环境中也能够准确确定平面信息，具有较好的鲁棒性；另外，本公开实施例提供的处理装置仅需提取稀疏的点特征和线特征，不涉及稠密特征提取，能够实时确定平面信息，提高处理效率。
第一确定模块1302确定的点特征和/或线特征的三维空间位置信息为特征点和/或特征线的三维绝对空间坐标，由于绝对空间坐标的稳定、准确性，可以保证平面信息确定的准确性。
在一些实施例中，获取模块1301包括第一提取单元和/或第二提取单元，第一提取单元用于提取所述环境图像中像素变化大于第一预设阈值的角点，将所述角点作为特征点，得到所述点特征；第二提取单元用于提取所述环境图像中梯度变化大于第二预设阈值的像素，将所述像素作为特征线，得到所述线特征。
在一些实施例中，当获取模块1301获得的电子设备当前所处环境的环境图像为单目相机采集的单目图像时，第一确定模块1302具体用于：
对所述点特征和/或线特征进行解算，得到表征所述点特征的特征点和/或表征所述线特征的特征线的相对空间坐标，其中，所述点特征和/或线特征从利用单目相机采集的所述环境图像中提取；
利用惯性测量单元确定所述特征点和/或特征线的绝对空间坐标。
在另一些实施例中，当获取模块1301获得的电子设备当前所处环境的环境图像为多目相机采集的多目图像时，第一确定模块1302具体用于：
对所述点特征和/或线特征进行解算，得到表征所述点特征的特征点和/或表征所述线特征的特征线的绝对空间坐标，其中，所述点特征和/或线特征从利用双目相机采集的所述环境图像中提取。
在一些实施例中，第二确定模块1303包括第一确定子单元，第一确定子单元用于利用第一确定模块1302确定的所述点特征的三维空间位置信息确定电子设备当前所处环境内的平面信息，具体用于：
至少基于多个特征点的三维空间位置信息，从所述多个特征点中选择三个第一特征点A1；
对三个所述第一特征点A1进行三角化，形成第一平面；
基于属于所述第一平面中第二特征点A2的数量，确定电子设备当前所处环境内的有效平面，其中，所述第二特征点A2为所述多个特征点中不同于所述第一特征点A1的特征点，所述有效平面为包含所述第二特征点A2最多的平面。
在一些实施例中，在通过第一确定子单元确定电子设备当前所处环境内的有效平面为至少两个，且至少两个所述有效平面存在相同的特征点时，第一确定子单元还用于：
获取所述至少两个所述有效平面中的相同的第三特征点A3，其中，相同的第三特征点A3的连线不为直线；
基于相同的所述第三特征点A3将至少两个所述有效平面进行融合。
在一些实施例中，第二确定模块1303包括第二确定子单元，第二确定子单元用于利用第一确定模块1302确定的所述线特征的三维空间位置信息确定电子设备当前所处环境内的平面信息，具体用于：
至少基于多条特征线的三维空间位置信息，从多条所述特征线中选择两条第一特征线；
利用两条所述第一特征线L1形成第二平面；
基于多条所述特征线中的第二特征线L2检测所述第二平面是否有效，其中，所述第二特征线不同于所述第一特征线；
将有效的所述第二平面确定为电子设备当前所处环境内的有效平面。
在一些实施例中，第二确定模块1303包括第三确定子单元，第三确定子单元用于利用第一确定模块1302确定的所述点特征和线特征的三维空间位置信息共同确定电子设备当前所处环境内的平面信息，具体用于：
至少基于多个特征点的三维空间位置信息确定电子设备当前所处环境内的第三平面；
至少基于多条特征线的三维空间位置信息确定电子设备当前所处环境内的第四平面；
判断所述第三平面和所述第四平面是否为同一平面；
若是，将所述第三平面和所述第四平面融合后的第五平面确定为电子设备当前所处环境内的有效平面。
在另一些实施例中，第三确定子单元用于：
至少基于多个特征点的三维空间位置信息确定电子设备当前所处环境内的第一有效平面；
基于所述第一有效平面内至少一条特征线的三维空间位置信息确定所述第一有效平面的边缘信息；或，
至少基于多条特征线的三维空间位置信息确定电子设备当前所处环境内的第二有效平面；
基于所述第二有效平面内多个特征点的三维空间位置信息对所述第二有效平面进行扩展，确定所述第二有效平面的边缘信息。
在一些实施例中，处理装置还包括：
输出模块，用于至少基于所述平面信息将所述电子设备的待输出内容输出至所述环境内的目标平面。
本公开实施例提供的处理装置与上述实施例中处理方法相对应，基于上述的处理方法，本领域的技术人员能够了解本公开实施例中处理装置具体实施方式以及其各种变化形式，处理方法实施例中的任何可选项也适用于处理装置，在此不再赘述。
本公开实施例还提供一种电子设备，包括：包括处理器和存储器，所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现上述的处理方法。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器可能包括随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现上述的处理方法。
以上实施例仅为本公开的示例性实施例，不用于限制本公开，本公开的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内，对本公开做出各种修改或等同替换，这种修改或等同替换也应视为落在本公开的保护范围内。

Claims (10)

1.一种处理方法，包括：
获得电子设备当前所处环境的环境图像，获取所述环境图像上的点特征和/或线特征；
确定所述点特征和/或线特征的三维空间位置信息；
至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息。
2.根据权利要求1所述的方法，还包括：
至少基于所述平面信息将所述电子设备的待输出内容输出至所述环境内的目标平面。
3.根据权利要求1所述的方法，其中，获取所述环境图像上的点特征和/或线特征，包括：
提取所述环境图像中像素变化大于第一预设阈值的角点，将所述角点作为特征点，得到所述点特征；和/或，
提取所述环境图像中梯度变化大于第二预设阈值的像素，将所述像素作为特征线，得到所述线特征。
4.根据权利要求1所述的方法，其中，确定所述点特征和/或线特征的三维空间位置信息，包括：
对所述点特征和/或线特征进行解算，得到表征所述点特征的特征点和/或表征所述线特征的特征线的相对空间坐标，其中，所述点特征和/或线特征从利用单目相机采集的所述环境图像中提取；
利用惯性测量单元确定所述特征点和/或特征线的绝对空间坐标。
5.根据权利要求1所述的方法，其中，确定所述点特征和/或线特征的三维空间位置信息，包括：
对所述点特征和/或线特征进行解算，得到表征所述点特征的特征点和/或表征所述线特征的特征线的绝对空间坐标，其中，所述点特征和/或线特征从利用双目相机采集的所述环境图像中提取。
6.根据权利要求1所述的方法，其中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
至少基于多个特征点的三维空间位置信息，从所述多个特征点中选择三个第一特征点；
对三个所述第一特征点进行三角化，形成第一平面；
基于属于所述第一平面中第二特征点的数量，确定电子设备当前所处环境内的有效平面，其中，所述第二特征点为所述多个特征点中不同于所述第一特征点的特征点，所述有效平面为包含所述第二特征点最多的平面。
7.根据权利要求1所述的方法，其中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
至少基于多条特征线的三维空间位置信息，从多条所述特征线中选择两条第一特征线；
利用两条所述第一特征线形成第二平面；
基于多条所述特征线中的第二特征线检测所述第二平面是否有效，其中，所述第二特征线不同于所述第一特征线；
将有效的所述第二平面确定为电子设备当前所处环境内的有效平面。
8.根据权利要求1所述的方法，其中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：至少基于多个特征点的三维空间位置信息确定电子设备当前所处环境内的第三平面；
至少基于多条特征线的三维空间位置信息确定电子设备当前所处环境内的第四平面；
判断所述第三平面和所述第四平面是否为同一平面；
若是，将所述第三平面和所述第四平面融合后的第五平面确定为电子设备当前所处环境内的有效平面。
9.根据权利要求1所述的方法，其中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
至少基于多个特征点的三维空间位置信息确定电子设备当前所处环境内的第一有效平面；
基于所述第一有效平面内至少一条特征线的三维空间位置信息确定所述第一有效平面的边缘信息；或，
至少基于多条特征线的三维空间位置信息确定电子设备当前所处环境内的第二有效平面；
基于所述第二有效平面内多个特征点的三维空间位置信息对所述第二有效平面进行扩展，确定所述第二有效平面的边缘信息。
10.一种处理装置，包括：
获取模块，用于获得电子设备当前所处环境的环境图像，获取所述环境图像上的点特征和/或线特征；
第一确定模块，用于确定所述点特征和/或线特征的三维空间位置信息；
第二确定模块，用于至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息。
CN202110339210.3A 2021-03-30 2021-03-30 处理方法及装置 Pending CN113052977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110339210.3A CN113052977A (zh) 2021-03-30 2021-03-30 处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110339210.3A CN113052977A (zh) 2021-03-30 2021-03-30 处理方法及装置

Publications (1)

Publication Number Publication Date
CN113052977A true CN113052977A (zh) 2021-06-29

Family

ID=76516988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110339210.3A Pending CN113052977A (zh) 2021-03-30 2021-03-30 处理方法及装置

Country Status (1)

Country Link
CN (1) CN113052977A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700355A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 室内二维平面图的生成方法、装置和系统
CN104899918A (zh) * 2015-05-14 2015-09-09 深圳大学 一种无人机的三维环境建模方法及系统
CN110388919A (zh) * 2019-07-30 2019-10-29 上海云扩信息科技有限公司 增强现实中基于特征图和惯性测量的三维模型定位方法
CN110853100A (zh) * 2019-10-24 2020-02-28 东南大学 一种基于改进点线特征的结构化场景视觉slam方法
CN111242908A (zh) * 2020-01-07 2020-06-05 青岛小鸟看看科技有限公司 一种平面检测方法及装置、平面跟踪方法及装置
CN111415420A (zh) * 2020-03-25 2020-07-14 北京迈格威科技有限公司 空间信息确定方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700355A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 室内二维平面图的生成方法、装置和系统
CN104899918A (zh) * 2015-05-14 2015-09-09 深圳大学 一种无人机的三维环境建模方法及系统
CN110388919A (zh) * 2019-07-30 2019-10-29 上海云扩信息科技有限公司 增强现实中基于特征图和惯性测量的三维模型定位方法
CN110853100A (zh) * 2019-10-24 2020-02-28 东南大学 一种基于改进点线特征的结构化场景视觉slam方法
CN111242908A (zh) * 2020-01-07 2020-06-05 青岛小鸟看看科技有限公司 一种平面检测方法及装置、平面跟踪方法及装置
CN111415420A (zh) * 2020-03-25 2020-07-14 北京迈格威科技有限公司 空间信息确定方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN108028871B (zh) 移动设备上的无标记的多用户多对象增强现实
JP6228320B2 (ja) 制約なしｓｌａｍ用のセンサベースのカメラ運動検出
KR102044491B1 (ko) 모바일 디바이스 현지화를 위한 영역 서술 파일의 크라우드-소싱 생성 및 업데이트
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
CN110276317B (zh) 一种物体尺寸检测方法、物体尺寸检测装置及移动终端
US9361731B2 (en) Method and apparatus for displaying video on 3D map
KR101851303B1 (ko) 3차원 공간 재구성 장치 및 방법
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
WO2021244161A1 (zh) 基于多目全景图像的模型生成方法及装置
JP2020067978A (ja) 床面検出プログラム、床面検出方法及び端末装置
JP6240706B2 (ja) グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング
EP3189493B1 (en) Depth map based perspective correction in digital photos
CN108401460B (zh) 生成视差图的方法、系统、存储介质和计算机程序产品
US10672181B2 (en) 3D capture: object extraction
Yeh et al. 3D reconstruction and visual SLAM of indoor scenes for augmented reality application
CN113436269B (zh) 图像稠密立体匹配方法、装置和计算机设备
CN113052977A (zh) 处理方法及装置
WO2023279867A1 (zh) 同步定位与建图后端优化方法、装置及存储介质
JP6080424B2 (ja) 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置
WO2021238499A1 (zh) 双目图像快速处理方法、装置及对应的存储介质
CN115511944A (zh) 基于单相机的尺寸估计方法、装置、设备及存储介质
JP2018059767A (ja) 画像処理装置、画像処理方法およびプログラム
CN110880187B (zh) 一种相机位置信息确定方法、装置、电子设备及存储介质
WO2023199583A1 (ja) ビューワ制御方法及び情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination