CN113129249B - 基于深度视频的空间平面检测方法及其系统和电子设备 - Google Patents
基于深度视频的空间平面检测方法及其系统和电子设备 Download PDFInfo
- Publication number
- CN113129249B CN113129249B CN201911364381.0A CN201911364381A CN113129249B CN 113129249 B CN113129249 B CN 113129249B CN 201911364381 A CN201911364381 A CN 201911364381A CN 113129249 B CN113129249 B CN 113129249B
- Authority
- CN
- China
- Prior art keywords
- plane
- current frame
- detection
- data
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 222
- 238000012545 processing Methods 0.000 claims abstract description 68
- 239000013598 vector Substances 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度视频的空间平面检测方法及其系统和电子设备。该基于深度视频的空间平面检测方法括步骤：对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据；对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据；对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据；以及根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围。
Description
技术领域
本发明涉及AR技术领域，尤其是涉及基于深度视频的空间平面检测方法及其系统和电子设备。
背景技术
在增强现实(Augmented Reality，简称AR)的应用场景中，往往需要在空间平面(即拍摄场景中的真实平面对象)上放置虚拟对象，以用于与用户交互。此外，对于日常三维场景，平面作为物品或对象的主要构成部分或形态，即平面是日常三维场景中常见的特征，可用于场景、对象识别等图像处理算法，以提高算法准确度和速度，例如，在SLAM算法中，可以将平面作为特征，提高位姿估计的效率。因此，为了获取空间平面的平面信息，现有技术中的平面检测方法按照图像信息的格式不同被分为两类：一类是基于RGB图像的平面检测方法，另一类是基于深度图的平面检测方法。
然而，该基于RGB图像的平面检测方法通常是通过提取RGB图像中的关键点，并计算关键点的空间位置以拟合出平面。但关键点的提取往往是基于纹理进行的，无法获取无纹理平面(如纯色的桌子和墙面等)的信息，容易出现漏检的情况。此外，由于关键点的数量一般较少，因此对于存在多个平面的场景，拟合算法将无法区分多个平面，容易出现拟合出一个错误平面的情况。
该基于深度图的平面检测方法按照实现方式又可以分为迭代拟合方法、霍夫变换方法以及聚类方法，其中该迭代拟合方法和该霍夫变换方法虽然实现方式不同，但结果类似，都是现在全部点中拟合一个平面。相比于基于RGB图像的平面检测方法，该迭代拟合方法和该霍夫变换方法却存在类似的问题，即当存在多个平面时，仍容易出现将不属于同一平面的点拟合在一个平面上，出现误检的问题。例如，在由水平桌面和垂直墙面构成的场景中，两者间隔较近，这样在拟合桌面时会将墙面与其所在平面交线上的点包含在内，虽然平面方程是正确的，但平面中心和范围仍会出错。而现有的聚类方法的运算量巨大，不能输出平面范围，导致该现有的聚类方法无法直接应用于AR设备中。
特别地，现有技术中的上述平面检测方法都是基于单帧图像的检测，在同一个场景下的检测结果会受到移动的影响。例如，角度变化出现遮挡会导致前几帧存在的平面突然消失或面积较少，进而造成平面在时域上漏检或不完整。
发明内容
本发明的一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其能够在移动或遮挡变化的过程中，确保检测结果的稳定、完整。
本发明的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度视频的空间平面检测方法能够对帧间平面进行融合，使得视频中的结果更稳定和完整。
本发明的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度视频的空间平面检测方法能够给出平面的中心点、指向以及范围，以便被直接应用于AR场景。
本发明的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度视频的空间平面检测方法增加了间隔平面的合并，有助于保证空间平面检测的完整性。
本发明的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度视频的空间平面检测方法能够以块为基本单位进行检测，有助于大幅地减少运算量，提高检测速度，以便满足AR场景对实时性的要求。
本发明的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度视频的空间平面检测方法不需要提取关键点，极大地避免了漏检问题。
本发明的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度视频的空间平面检测方法能够在聚类前剔除了无效节点，避免了多平面检测的干扰，极大地避免了误检问题。
本发明的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度视频的空间平面检测方法能够避免因遮挡而造成的一个平面被分割成多块的问题。
本发明的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中为了达到上述优势，在本发明中不需要采用复杂的结构和庞大的计算量，对软硬件要求低。因此，本发明成功和有效地提供一解决方案，不只提供一基于深度视频的空间平面检测方法及其系统和电子设备，同时还增加了所述基于深度视频的空间平面检测方法及其系统和电子设备的实用性和可靠性。
为了实现上述至少一优势或其他优势和目的，本发明提供了基于深度视频的空间平面检测方法，包括步骤：
对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据；
对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据；
对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据；以及
根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围。
在本发明的一实施例中，所述对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据的步骤，包括步骤：
获取经由检测相机采集的该深度视频，其中该深度视频包括连续的多帧深度图序列；和
根据该检测相机的内参，通过坐标转换模型对该深度视频中该当前帧的该深度图进行转换，以得到该当前帧的该点云数据。
在本发明的一实施例中，所述对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据的步骤，包括步骤：
对该深度图和该点云数据进行节点初始化，以获得该当前帧的有效节点；和
根据在该深度图像上位置相邻的该有效节点之间法向量的相似度，迭代地合并以输出迭代后的节点作为该当前帧的粗平面。
在本发明的一实施例中，所述对该深度图和该点云数据进行节点初始化，以获得该当前帧的有效节点的步骤，包括步骤：
将该当前帧的该深度图均匀地分成若干图像块；
检测该图像块中像素点的深度值，剔除存在深度值为0或不存在的图像块，以得到有效图像块；
检测该有效图像块中相邻的像素点之间的深度连续性，剔除存在深度连续性小于预定连续阈值的图像块，以得到连续图像块；以及
通过对与该连续图像块对应的点云数据进行平面拟合，获得拟合平面的法向量、中心点坐标以及均方误差，以将均方误差小于预定误差阈值的该连续图像块作为该当前帧的该有效节点。
在本发明的一实施例中，所述根据在该深度图像上位置相邻的该有效节点之间法向量的相似度，迭代地合并以输出迭代后的节点作为该当前帧的粗平面的步骤，包括步骤：
根据该有效节点在该深度图上的二维空间位置，以该有效节点为中心，分别比较上、下、左、右四个相邻节点与该有效节点之间法向量的相似度，如果相似度大于预定相似度阈值，则将相应的该相邻节点作为邻近节点；
将该有效节点与该邻近节点分别合并，以作为候选节点；
选择均方误差最小且小于预定合并阈值的该候选节点作为新的有效节点，以进行迭代地合并；以及
当迭代次数达到预定最大次数时，判断最终的有效节点中所包含的节点数是否大于预定点数阈值，如果是，则输出该最终的有效节点以作为该当前帧的该粗平面。
在本发明的一实施例中，所述对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据的步骤，包括步骤：
通过对该粗平面数据进行凸包处理，确定该当前帧的该粗平面的范围；和
通过同一平面判断模型，判断该当前帧中是否存在处于同一平面的粗平面，如果存在，则合并该处于同一平面的粗平面，以将合并后的粗平面作为该当前帧的检测平面；如果不存在，则将该粗平面分别作为该当前帧的检测平面。
在本发明的一实施例中，所述根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围的步骤，包括步骤：
根据该检测相机的当前位姿，对该当前帧的该检测平面数据进行配准处理，以获得该当前帧的该检测平面在世界坐标系下的数据；
在该世界坐标系下，判断该当前帧的该检测平面与该历史帧的历史输出平面之间的法向量是否相似；
如果相似，在相机坐标系下，判断该检测平面与该历史输出平面是否重合；如果不相似，则将该检测平面作为该当前输出平面；
如果重合，则将该检测平面与该历史输出平面合并，以将合并后的平面作为该当前输出平面；如果不重合，则判断该检测平面与该历史输出平面之间的距离是否小于预定距离阈值；以及
如果小于该预定距离阈值，则将该检测平面与该历史输出平面合并，以将合并后的平面作为该当前输出平面；反之，则将该检测平面作为该当前输出平面。
根据本发明的另一方面，本发明还提供了基于深度视频的空间平面检测系统，包括相互可通信地连接的：
一预处理模块，用于对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据；
一层次聚类模块，用于对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据；
一帧内合并模块，用于对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据；以及
一帧间合并模块，用于根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围。
在本发明的一实施例中，所述预处理模块包括相互可通信地连接的一获取模块和一转换模块，其中所述获取模块用于获取经由检测相机采集的该深度视频，其中该深度视频包括连续的多帧深度图序列；其中所述转换模块用于根据该检测相机的内参，通过坐标转换模型对该深度视频中该当前帧的该深度图进行转换，以得到该当前帧的该点云数据。
在本发明的一实施例中，所述层次聚类模块包括相互可通信地连接的一初始化模块和一迭代合并模块，其中所述初始化模块用于对该深度图和该点云数据进行节点初始化，以获得该当前帧的有效节点；其中所述迭代合并模块用于根据在该深度图像上位置相邻的该有效节点之间法向量的相似度，迭代地合并以输出迭代后的节点作为该当前帧的粗平面。
在本发明的一实施例中，所述帧内合并模块包括相互可通信地连接的一凸包处理模块和一判断分析模块，其中所述凸包处理模块用于通过对该粗平面数据进行凸包处理，确定该当前帧的该粗平面的范围；其中所述判断分析模块用于通过同一平面判断模型，判断该当前帧中是否存在处于同一平面的粗平面，如果存在，则合并该处于同一平面的粗平面，以将合并后的粗平面作为该当前帧的检测平面；如果不存在，则将该粗平面分别作为该当前帧的检测平面。
在本发明的一实施例中，所述帧间合并模块包括相互可通信地连接的一配准模块、一相似度判断模块、一重合判断模块以及一距离判断模块，其中所述配准模块用于根据该检测相机的当前位姿，对该当前帧的该检测平面数据进行配准处理，以获得该当前帧的该检测平面在世界坐标系下的数据；其中所述相似度判断模块用于在该世界坐标系下，判断该当前帧的该检测平面与该历史帧的历史输出平面之间的法向量是否相似；其中所述重合判断模块用于如果相似，在相机坐标系下，判断该检测平面与该历史输出平面是否重合；其中所述距离判断模块用于如果不重合，则判断该检测平面与该历史输出平面之间的距离是否小于预定距离阈值。
根据本发明的另一方面，本发明还提供了电子设备，包括：
至少一处理器，用于执行指令；和
与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行基于深度视频的空间平面检测方法中的部分或全部步骤，其中所述基于深度视频的空间平面检测方法包括步骤：
对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据；
对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据；
对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据；以及
根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
图1是根据本发明的一实施例的基于深度视频的空间平面检测方法的流程示意图。
图2示出了根据本发明的上述实施例的所述基于深度视频的空间平面检测方法的步骤之一的流程示意图。
图3至图5示出了根据本发明的上述实施例的所述基于深度视频的空间平面检测方法的步骤之二的流程示意图。
图6示出了根据本发明的上述实施例的所述基于深度视频的空间平面检测方法的步骤之三的流程示意图。
图7示出了根据本发明的上述实施例的所述基于深度视频的空间平面检测方法的步骤之四的流程示意图。
图8示出了根据本发明的一实施例的基于深度视频的空间平面检测系统的框图示意图。
图9示出了根据本发明的一实施例的电子设备的框图示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。
在本发明的描述中，需要理解的是，属于“第一”、“第二”等仅用于描述目的，而不能理解为指示或者暗示相对重要性。本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过媒介间接连结。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
随着AR技术的飞速发展，AR技术的应用场景越来越丰富。在AR场景中，由于需要在空间平面上放置虚拟对象，以便与用户交互，因此需要获取空间平面的信息，如空间平面的中心点、法向量以及平面范围等等。但现有技术中的空间平面检测方法通常都是基于单帧图像的检测，在同一个场景下的检测结果会受到移动的影响。例如，角度变化出现遮挡会导致前几帧存在的平面突然消失或面积较少，进而造成平面在时域上漏检或不完整。此外，由于深度相机的视场角通常较小，导致现有的基于深度图的空间平面检测方法所采用的单帧深度图的覆盖范围较小，难以完整地检测出空间平面。因此，本发明提供了一种基于深度视频的空间平面检测方法及其系统和电子设备，其能够在移动或遮挡变化的过程中，确保检测结果的稳定、完整。
示意性方法
参考说明书附图之图1至图7所示，根据本发明的一实施例的一种基于深度视频的空间平面检测方法被阐明。具体地，如图1所示，所述基于深度视频的空间平面检测方法，包括步骤：
S100：对深度视频中当前帧的深度图进行预处理，以得到所述当前帧的点云数据；
S200：对所述当前帧的所述深度图和所述点云数据进行层次聚类处理，以获得所述当前帧的粗平面数据；
S300：对所述当前帧的所述粗平面数据进行帧内合并处理，以得到所述当前帧的检测平面数据；以及
S400：根据所述深度视频中历史帧的历史输出平面数据，对所述当前帧的所述检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中所述当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围。
值得注意的是，本发明的所述基于深度视频的空间平面检测方法通过帧间合并处理(如帧间平面的融合)，使得当前输出平面能够随着视频帧进行拓展，以在移动过程中获得了稳定的检测结果。与此同时，本发明的所述基于深度视频的空间平面检测方法给出了当前输出平面的中心点、指向以及范围等平面信息，可直接按照平面信息放置虚拟物体，这是AR技术开发的必要模块，具有明确的应用前景。
可以理解的是，本发明的所述深度视频指的是连续的多帧深度图序列，其中所述深度图被实施为具有深度信息的二维图像，其与二维图像类似，但像素值为被拍摄点到检测相机的距离的深度，以便通过坐标转换模型将所述深度图转换成点云数据。本发明的所述历史帧是指所述深度视频中所述当前帧之前的所有帧。此外，所述深度视频可以但不限于通过诸如激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法等等之类的获取方法来获取。
示例性地，如图2所示，本发明的所述基于深度视频的空间平面检测方法的所述步骤S100，可以包括步骤：
S110：获取经由检测相机采集的所述深度视频，其中所述深度视频包括连续的多帧深度图序列；和
S120：根据所述检测相机的内参，通过坐标转换模型对所述深度视频中所述当前帧的深度图进行转换，以得到所述当前帧的点云数据。
更详细地，所述坐标转换模型可以但不限于被实施为：
其中：(i,j)为所述深度图中像素点的像素坐标，I为所述像素点的深度值；(x,y,z)为与所述像素点对应的点云坐标；cx,cy,fx以及fy为所述检测相机的内参。
这样，本发明的所述基于深度视频的空间平面检测方法就能够一方面基于所述点云数据进行空间平面的信息计算与合并，另一方面基于所述深度图进行层次聚类的节点划分及其邻近节点的查找，有助于降低计算难度，提高检测效率。
值得一提的是，本发明的所述基于深度视频的空间平面检测方法优选地采用节点作为层次聚类的最小单位，其中所述节点为一个连续区域及其平面信息(包括法向量、中心点、均方误差MSE等等)，也就是说，当一个区域被检测出时，要同时计算所述区域的平面信息。换言之，所述节点也可以被称之为所述深度图中的图像块，以通过分割所述深度图而获得，而不是所述深度图中的像素点，使得以块为基本单位的检测方法运算量明显降低。此外，所述图像块的尺寸可以根据所述深度图的分辨率进行定义，使得所述图像块的尺寸可以随着所述的深度图的分辨率变大而增大，有助于在保证具有较高检测精度的情况下，减少计算量，提高检测效率。
示例性地，如图3所示，本发明的所述基于深度视频的空间平面检测方法的所述步骤S200，可以包括步骤：
S210：对所述深度图和所述点云数据进行节点初始化，以获得所述当前帧的有效节点；和
S220：根据在所述深度图上位置相邻的所述有效节点之间法向量的相似度，迭代地合并以输出迭代后的节点作为所述当前帧的粗平面。
更进一步地，如图4所示，所述步骤S210可以包括步骤：
S211：将所述当前帧的所述深度图均匀地分成若干图像块；
S212：检测所述图像块中像素点的深度值，剔除存在深度值为0或不存在的图像块，以得到有效图像块；
S213：检测所述有效图像块中相邻的像素点之间的深度连续性，剔除存在深度连续性小于预定连续阈值的图像块，以得到连续图像块；以及
S214：通过对与所述连续图像块对应的点云数据进行平面拟合，获得拟合平面的法向量、中心点坐标以及均方误差，以将所述均方误差小于预定误差阈值的所述连续图像块作为所述当前帧的所述有效节点。
换言之，本发明的所述步骤S210根据所述图像块的深度值及其平面信息，剔除三类无效节点，即深度缺失区域(对应于存在深度值为0或不存在的所述图像块)、深度不连续区域(对应于存在深度连续性小于预定连续阈值的图像块)以及不平整区域(对应于均方误差不小于预定误差阈值的图像块)，以将剩余的图像块作为所述有效节点。例如，在所述步骤S213中，遍历所述有效图像块中的像素点，判断当前像素点与右方和下方相邻的像素点之间的深度连续性，如果不连续则删除所述有效图像块，即剔除了深度不连续区域。
可以理解的是，所述均方误差(即MSE)被实施为点云到拟合平面的平均距离，也就是说，MSE的值越大，则表明对应的图像块越不平坦，越不可能是平面；而MSE的值越小，则表明对应的图像块越平坦，越可能是平面。此外，所述预定误差阈值可以是固定值，也可以根据深度值或点的个数定义的自适应阈值；而所述预定连续阈值则可以根据实际应用场景估计或实验总结来获得。
值得注意的是，在通过所述步骤S210剔除掉无效节点，以减少运算量和多平面检测的干扰，并提高检测速度和准确定的同时，还获得了所述有效节点的法向量、中心点坐标以及均方误差，便于简化后续的迭代合并。具体地，如图5所示，本发明的所述基于深度视频的空间平面检测方法的所述步骤S220，可以包括步骤：
S221：根据所述有效节点在所述深度图上的二维空间位置，以所述有效节点为中心，分别比较上、下、左、右四个相邻节点与所述有效节点之间法向量的相似度，如果相似度大于预定相似度阈值，则将相应的所述相邻节点作为邻近节点；
S222：将所述有效节点与所述邻近节点分别合并，以作为候选节点；
S223：选择均方误差最小且小于预定合并阈值的所述候选节点作为新的有效节点，以进行迭代地合并；以及
S224：当迭代次数达到预定最大次数时，判断最终的有效节点中所包含的节点数是否大于预定点数阈值，如果是，则输出所述最终的有效节点以作为所述当前帧的所述粗平面。
可以理解的是，在所述步骤S222中，当所述候选节点的数量仅为一个时，则只需判断所述候选节点的所述均方误差是否小于所述预定合并阈值即可，如果是，则直接将所述候选节点作为所述新的有效节点以进行后续的迭代。此外，随着层次聚类的迭代次数的增加，所述新的有效节点对应的区域将逐渐地扩大至覆盖空间中的平面，这样在迭代达到最大次数时，所述新的有效节点就可以作为待确定的粗平面，以在去除节点数较小的所述待确定的粗平面之后，剩余的所述待确定的粗平面就是所述当前帧中真正的粗平面。
根据本发明的上述实施例，在通过所述步骤S200获得所述当前帧的所述粗平面之后，不同的所述粗平面通常是不相邻的，但不相邻的所述粗平面仍有可能处于同一平面上，因此需要对所述粗平面进行帧内合并处理，以获得所述当前帧的所述检测平面，这样能够避免因遮挡而导致一个平面被分割成多块的问题，并能保证空间平面检测的完整性。具体地，如图6所示，本发明的所述基于深度视频的空间平面检测方法的所述步骤S300，可以包括步骤：
S310：通过对所述粗平面数据进行凸包处理，确定所述粗平面的范围；和
S320：通过同一平面判断模型，判断所述当前帧中是否存在处于同一平面的粗平面，如果存在，则合并所述处于同一平面的粗平面，以将合并后的粗平面作为所述当前帧的检测平面；如果不存在，则将所述粗平面分别作为所述当前帧的检测平面。
优选地，本发明的所述同一平面判断模型可以被实施为：
其中：cp和np分别为粗平面p的中心点和法向量；cq和nq分别为粗平面q的中心点和法向量。
值得注意的是，在所述步骤S310中，先提取所述粗平面的顶点，然后根据所述粗平面的所述顶点来寻找凸包，使得所述凸包内的区域就是所述粗平面的有效范围。这样，当处于同一平面的所述粗平面被合并成一个所述检测平面时，所述检测平面的范围则能够根据所述粗平面的范围来确定。与此同时，所述检测平面的中心点和法向量分别为(cp+cq)/2和(np+nq)/2。
值得一提的是，在本发明的上述实施例中，在对所述当前帧的所述深度图进行处理以获得所述当前帧的所述检测平面之后，本发明的所述基于深度视频的空间平面检测方法将根据历史输出平面数据进行帧间合并，以在移动过程中获得稳定的检测结果。而由于所述当前帧的所述检测平面数据是在相机坐标系下的数据，因此本发明的所述基于深度视频的空间平面检测方法还需通过检测相机的当前位姿对所述检测平面数据进行配准，以获得所述当前帧的所述检测平面在世界坐标系下的数据。
具体地，如图7所示，本发明的所述基于深度视频的空间平面检测方法的所述步骤S400，可以包括步骤：
S410：根据检测相机的当前位姿，对所述当前帧的所述检测平面数据进行配准处理，以获得所述当前帧的所述检测平面在世界坐标系下的数据；
S420：在所述世界坐标系下，判断所述当前帧的所述检测平面与所述历史帧的历史输出平面之间的法向量是否相似；
S430：如果相似，在相机坐标系下，判断所述当前帧的所述检测平面与所述历史帧的历史输出平面是否重合；如果不相似，则将所述检测平面作为所述当前输出平面；
S440：如果重合，则将所述检测平面与所述历史输出平面合并，以将合并后的平面作为所述当前输出平面；如果不重合，则判断所述检测平面与所述历史输出平面之间的距离是否小于预定距离阈值；以及
S450：如果小于所述预定距离阈值，则将所述检测平面与所述历史输出平面合并，以将合并后的平面作为所述当前输出平面；反之，则将所述检测平面作为所述当前输出平面。
示例性地，在所述步骤S410中：所述检测相机的当前位姿可以但不限于通过SLAM算法获得，以通过配准模型进行配准处理，其中所述配准模型被实施为：
Lj＝R*lj+T
其中：Lj和lj为所述当前帧的所述检测平面分别在世界坐标系和相机坐标系下的数据；R和T分别为检测相机的当前位姿。
在所述步骤S420中，当所述当前帧是所述深度视频中的第一帧时，所述深度视频中将不存在所述历史帧，直接将所述当前帧的所述检测平面作为所述当前输出平面即可；接着，在进行下一帧的平面检测时，所述当前输出平面则被作为历史帧的历史输出平面。换言之，本发明所提及的所述历史输出平面包括从所述深度视频的所述历史帧中检测出来的所有检测平面。
值得注意的是，由于当所述当前帧的所述检测平面与所述历史帧的历史输出平面之间的法向量相似时，所述检测平面与所述历史输出平面将可能是同一平面，也有可能是平行平面，因此本发明通过进一步判断所述检测平面与所述历史输出平面在相机坐标系下是否重合，来确定两者属于同一平面还是平行平面。而由于所述检测相机的帧间移动距离非常小，因此同一平面在不同帧的空间差距是十分小的，因此当所述检测平面与所述历史输出平面即使是平行的，只要两者之间的距离足够小，也可以认为处于同一平面，能够通过诸如PCA(主成分分析方法)进行平面拟合以实现所述检测平面与所述历史输出平面的合并融合。
此外，在本发明的上述实施例中，所述当前输出平面数据中的所述中心点坐标可以被实施为所述当前输出平面上所有的三维点坐标的平均；所述当前输出平面数据中的法向量优选地指向观察点(即所述世界坐标系的原点)，换言之，所述法向量与由原点指向中心点的向量之间的夹角大于90度。所述平面范围可以由包围所述当前输出平面的凸包的顶点坐标构成。
示意性系统
参考说明书附图之图8所示，根据本发明的一基于深度视频的空间平面检测系统被阐明。具体地，所述基于深度视频的空间平面检测系统1包括相互可通信地连接的一预处理模块10，一层次聚类模块20，一帧内合并模块30以及一帧间合并模块40。所述预处理模块10用于对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据。所述层次聚类模块20用于对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据。所述帧内合并模块30用于对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据。所述帧间合并模块40用于根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围。
更具体地，如图8所示，所述所述预处理模块10包括相互可通信地连接的一获取模块11和一转换模块12，其中所述获取模块11用于获取经由检测相机采集的该深度视频，其中该深度视频包括连续的多帧深度图序列；其中所述转换模块12用于根据该检测相机的内参，通过坐标转换模型对该深度视频中该当前帧的该深度图进行转换，以得到该当前帧的该点云数据。
如图8所示，所述层次聚类模块20包括相互可通信地连接的一初始化模块21和一迭代合并模块22，其中所述初始化模块21用于对该深度图和该点云数据进行节点初始化，以获得该当前帧的有效节点；其中所述迭代合并模块22用于根据在该深度图像上位置相邻的该有效节点之间法向量的相似度，迭代地合并以输出迭代后的节点作为该当前帧的粗平面。
更进一步地，在本发明的一示例中，所述初始化模块21还用于将该当前帧的该深度图均匀地分成若干图像块；检测该图像块中像素点的深度值，剔除存在深度值为0或不存在的图像块，以得到有效图像块；检测该有效图像块中相邻的像素点之间的深度连续性，剔除存在深度连续性小于预定连续阈值的图像块，以得到连续图像块；以及通过对与该连续图像块对应的点云数据进行平面拟合，获得拟合平面的法向量、中心点坐标以及均方误差，以将均方误差小于预定误差阈值的该连续图像块作为该当前帧的该有效节点。
在本发明的一示例中，所述迭代合并模块22还用于根据该有效节点在该深度图上的二维空间位置，以该有效节点为中心，分别比较上、下、左、右四个相邻节点与该有效节点之间法向量的相似度，如果相似度大于预定相似度阈值，则将相应的该相邻节点作为邻近节点；将该有效节点与该邻近节点分别合并，以作为候选节点；选择均方误差最小且小于预定合并阈值的该候选节点作为新的有效节点，以进行迭代地合并；以及当迭代次数达到预定最大次数时，判断最终的有效节点中所包含的节点数是否大于预定点数阈值，如果是，则输出该最终的有效节点以作为该当前帧的该粗平面。
值得一提的是，在本发明的上述实施例中，如图8所示，所述帧内合并模块30包括相互可通信地连接的一凸包处理模块31和一判断分析模块32，其中所述凸包处理模块31用于通过对该粗平面数据进行凸包处理，确定该当前帧的该粗平面的范围；其中所述判断分析模块32用于通过同一平面判断模型，判断该当前帧中是否存在处于同一平面的粗平面，如果存在，则合并该处于同一平面的粗平面，以将合并后的粗平面作为该当前帧的检测平面；如果不存在，则将该粗平面分别作为该当前帧的检测平面。
此外，如图8所示，所述帧间合并模块40包括相互可通信地连接的一配准模块41、一相似度判断模块42、一重合判断模块43以及一距离判断模块44，其中所述配准模块41用于根据该检测相机的当前位姿，对该当前帧的该检测平面数据进行配准处理，以获得该当前帧的该检测平面在世界坐标系下的数据；其中所述相似度判断模块42用于在该世界坐标系下，判断该当前帧的该检测平面与该历史帧的历史输出平面之间的法向量是否相似；其中所述重合判断模块43用于如果相似，在相机坐标系下，判断该检测平面与该历史输出平面是否重合；其中所述距离判断模块44用于如果不重合，则判断该检测平面与该历史输出平面之间的距离是否小于预定距离阈值。
示意性电子设备
下面，参考图9来描述根据本发明的一实施例的电子设备。如图9所示，电子设备90包括一个或多个处理器91和存储器92。
所述处理器91可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备90中的其他组件以执行期望的功能。换言之，所述处理器91包括被配置成执行指令的一个或多个物理设备。例如，所述处理器91可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。
所述处理器91可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，所述处理器91可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。所述处理器91的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。所述处理器91的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。所述处理器91的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
所述存储器92可以包括一个或多个计算程序产品，所述计算程序产品可以包括各种形式的计算可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算可读存储介质上可以存储一个或多个计算程序指令，所述处理器11可以运行所述程序指令，以实现上文所述的本发明的上述示意性方法中的部分或全部步骤，以及/或者其他期望的功能。
换言之，所述存储器92包括被配置成保存可由所述处理器91执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换所述存储器92的状态(例如，保存不同的数据)。所述存储器92可以包括可移动和/或内置设备。所述存储器92可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。所述存储器92可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，所述存储器92包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。所述处理器91和所述存储器92的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
在一个示例中，如图9所示，所述电子设备90还可以包括输入装置93和输出装置94，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入装置93可以是例如用于采集图像数据或视频数据的摄像模组等等。又如，所述输入装置93可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，所述输入装置93可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；和/或任何其他合适的传感器。
该输出装置94可以向外部输出各种数据，包括分类结果等。该输出装置94可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，所述电子设备90还可以进一步包括所述通信装置，其中所述通信装置可被配置成将所述电子设备90与一个或多个其他计算机设备通信地耦合。所述通信装置可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，所述通信装置可允许所述电子设备90经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
当然，为了简化，图9中仅示出了该电子设备90中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备90还可以包括任何其他适当的组件。
示意性计算程序产品
除了上述方法和设备以外，本发明的实施例还可以是计算程序产品，其包括计算程序指令，所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的方法中的步骤。
所述计算程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本发明的实施例还可以是计算可读存储介质，其上存储有计算程序指令，所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述方法中的步骤。
所述计算可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
Claims (11)
1.基于深度视频的空间平面检测方法，其特征在于，包括步骤：
对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据；
对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据；
对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据；以及
根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围；
其中，所述根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围的步骤，包括步骤：
根据检测相机的当前位姿，对该当前帧的该检测平面数据进行配准处理，以获得该当前帧的该检测平面在世界坐标系下的数据；
在该世界坐标系下，判断该当前帧的该检测平面与该历史帧的历史输出平面之间的法向量是否相似；
如果相似，在相机坐标系下，判断该检测平面与该历史输出平面是否重合；如果不相似，则将该检测平面作为该当前输出平面；
如果重合，则将该检测平面与该历史输出平面合并，以将合并后的平面作为该当前输出平面；如果不重合，则判断该检测平面与该历史输出平面之间的距离是否小于预定距离阈值；以及
如果小于该预定距离阈值，则将该检测平面与该历史输出平面合并，以将合并后的平面作为该当前输出平面；反之，则将该检测平面作为该当前输出平面。
2.如权利要求1所述的基于深度视频的空间平面检测方法，其中，所述对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据的步骤，包括步骤：
获取经由检测相机采集的该深度视频，其中该深度视频包括连续的多帧深度图序列；和
根据该检测相机的内参，通过坐标转换模型对该深度视频中该当前帧的该深度图进行转换，以得到该当前帧的该点云数据。
3.如权利要求2所述的基于深度视频的空间平面检测方法，其中，所述对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据的步骤，包括步骤：
对该深度图和该点云数据进行节点初始化，以获得该当前帧的有效节点；和
根据在该深度图上位置相邻的该有效节点之间法向量的相似度，迭代地合并以输出迭代后的节点作为该当前帧的粗平面。
4.如权利要求3所述的基于深度视频的空间平面检测方法，其中，所述对该深度图和该点云数据进行节点初始化，以获得该当前帧的有效节点的步骤，包括步骤：
将该当前帧的该深度图均匀地分成若干图像块；
检测该图像块中像素点的深度值，剔除存在深度值为0或不存在的图像块，以得到有效图像块；
检测该有效图像块中相邻的像素点之间的深度连续性，剔除存在深度连续性小于预定连续阈值的图像块，以得到连续图像块；以及
通过对与该连续图像块对应的点云数据进行平面拟合，获得拟合平面的法向量、中心点坐标以及均方误差，以将均方误差小于预定误差阈值的该连续图像块作为该当前帧的该有效节点。
5.如权利要求4所述的基于深度视频的空间平面检测方法，其中，所述根据在该深度图像上位置相邻的该有效节点之间法向量的相似度，迭代地合并以输出迭代后的节点作为该当前帧的粗平面的步骤，包括步骤：
根据该有效节点在该深度图上的二维空间位置，以该有效节点为中心，分别比较上、下、左、右四个相邻节点与该有效节点之间法向量的相似度，如果相似度大于预定相似度阈值，则将相应的该相邻节点作为邻近节点；
将该有效节点与该邻近节点分别合并，以作为候选节点；
选择均方误差最小且小于预定合并阈值的该候选节点作为新的有效节点，以进行迭代地合并；以及
当迭代次数达到预定最大次数时，判断最终的有效节点中所包含的节点数是否大于预定点数阈值，如果是，则输出该最终的有效节点以作为该当前帧的该粗平面。
6.如权利要求5所述的基于深度视频的空间平面检测方法，其中，所述对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据的步骤，包括步骤：
通过对该粗平面数据进行凸包处理，确定该当前帧的该粗平面的范围；和
通过同一平面判断模型，判断该当前帧中是否存在处于同一平面的粗平面，如果存在，则合并该处于同一平面的粗平面，以将合并后的粗平面作为该当前帧的检测平面；如果不存在，则将该粗平面分别作为该当前帧的检测平面。
7.基于深度视频的空间平面检测系统，其特征在于，包括相互可通信地连接的：
一预处理模块，用于对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据；
一层次聚类模块，用于对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据；
一帧内合并模块，用于对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据；以及
一帧间合并模块，用于根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围；
其中，所述帧间合并模块包括相互可通信地连接的一配准模块、一相似度判断模块、一重合判断模块以及一距离判断模块，其中所述配准模块用于根据检测相机的当前位姿，对该当前帧的该检测平面数据进行配准处理，以获得该当前帧的该检测平面在世界坐标系下的数据；其中所述相似度判断模块用于在该世界坐标系下，判断该当前帧的该检测平面与该历史帧的历史输出平面之间的法向量是否相似；其中所述重合判断模块用于如果相似，在相机坐标系下，判断该检测平面与该历史输出平面是否重合；其中所述距离判断模块用于如果不重合，则判断该检测平面与该历史输出平面之间的距离是否小于预定距离阈值。
8.如权利要求7所述的基于深度视频的空间平面检测系统，其中，所述预处理模块包括相互可通信地连接的一获取模块和一转换模块，其中所述获取模块用于获取经由检测相机采集的该深度视频，其中该深度视频包括连续的多帧深度图序列；其中所述转换模块用于根据该检测相机的内参，通过坐标转换模型对该深度视频中该当前帧的该深度图进行转换，以得到该当前帧的该点云数据。
9.如权利要求8所述的基于深度视频的空间平面检测系统，其中，所述层次聚类模块包括相互可通信地连接的一初始化模块和一迭代合并模块，其中所述初始化模块用于对该深度图和该点云数据进行节点初始化，以获得该当前帧的有效节点；其中所述迭代合并模块用于根据在该深度图上位置相邻的该有效节点之间法向量的相似度，迭代地合并以输出迭代后的节点作为该当前帧的粗平面。
10.如权利要求9所述的基于深度视频的空间平面检测系统，其中，所述帧内合并模块包括相互可通信地连接的一凸包处理模块和一判断分析模块，其中所述凸包处理模块用于通过对该粗平面数据进行凸包处理，确定该当前帧的该粗平面的范围；其中所述判断分析模块用于通过同一平面判断模型，判断该当前帧中是否存在处于同一平面的粗平面，如果存在，则合并该处于同一平面的粗平面，以将合并后的粗平面作为该当前帧的检测平面；如果不存在，则将该粗平面分别作为该当前帧的检测平面。
11.电子设备，其特征在于，包括：
至少一处理器，用于执行指令；和
与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行基于深度视频的空间平面检测方法中的全部步骤，其中所述基于深度视频的空间平面检测方法包括步骤：
对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据；
对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据；
对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据；以及
根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围；
其中，所述根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围的步骤，包括步骤：
根据检测相机的当前位姿，对该当前帧的该检测平面数据进行配准处理，以获得该当前帧的该检测平面在世界坐标系下的数据；
在该世界坐标系下，判断该当前帧的该检测平面与该历史帧的历史输出平面之间的法向量是否相似；
如果相似，在相机坐标系下，判断该检测平面与该历史输出平面是否重合；如果不相似，则将该检测平面作为该当前输出平面；
如果重合，则将该检测平面与该历史输出平面合并，以将合并后的平面作为该当前输出平面；如果不重合，则判断该检测平面与该历史输出平面之间的距离是否小于预定距离阈值；以及
如果小于该预定距离阈值，则将该检测平面与该历史输出平面合并，以将合并后的平面作为该当前输出平面；反之，则将该检测平面作为该当前输出平面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911364381.0A CN113129249B (zh) | 2019-12-26 | 2019-12-26 | 基于深度视频的空间平面检测方法及其系统和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911364381.0A CN113129249B (zh) | 2019-12-26 | 2019-12-26 | 基于深度视频的空间平面检测方法及其系统和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113129249A CN113129249A (zh) | 2021-07-16 |
| CN113129249B true CN113129249B (zh) | 2023-01-31 |
Family
ID=76767231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911364381.0A Active CN113129249B (zh) | 2019-12-26 | 2019-12-26 | 基于深度视频的空间平面检测方法及其系统和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113129249B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898661B (zh) * | 2018-05-31 | 2023-04-18 | 深圳先进技术研究院 | 三维图像构建的方法、装置及具有存储功能的装置 |
| CN113744338A (zh) * | 2021-10-29 | 2021-12-03 | 青岛影创信息科技有限公司 | 一种深度视频空间平面检测方法及系统 |
| CN117061684A (zh) * | 2022-05-07 | 2023-11-14 | 北京字跳网络技术有限公司 | 特效视频生成方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104050709A (zh) * | 2014-06-06 | 2014-09-17 | 联想(北京)有限公司 | 一种三维图像处理方法及电子设备 |
| CN106570507A (zh) * | 2016-10-26 | 2017-04-19 | 北京航空航天大学 | 单目视频场景三维结构的多视角一致的平面检测解析方法 |
| CN107665507A (zh) * | 2016-07-29 | 2018-02-06 | 成都理想境界科技有限公司 | 基于平面检测实现增强现实的方法及装置 |
| CN110084797A (zh) * | 2019-04-25 | 2019-08-02 | 北京达佳互联信息技术有限公司 | 平面检测方法、装置、电子设备和存储介质 |
| CN110458805A (zh) * | 2019-03-26 | 2019-11-15 | 华为技术有限公司 | 一种平面检测方法、计算设备以及电路系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8218819B2 (en) * | 2009-09-01 | 2012-07-10 | Behavioral Recognition Systems, Inc. | Foreground object detection in a video surveillance system |
-
2019
- 2019-12-26 CN CN201911364381.0A patent/CN113129249B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104050709A (zh) * | 2014-06-06 | 2014-09-17 | 联想(北京)有限公司 | 一种三维图像处理方法及电子设备 |
| CN107665507A (zh) * | 2016-07-29 | 2018-02-06 | 成都理想境界科技有限公司 | 基于平面检测实现增强现实的方法及装置 |
| CN106570507A (zh) * | 2016-10-26 | 2017-04-19 | 北京航空航天大学 | 单目视频场景三维结构的多视角一致的平面检测解析方法 |
| CN110458805A (zh) * | 2019-03-26 | 2019-11-15 | 华为技术有限公司 | 一种平面检测方法、计算设备以及电路系统 |
| CN110084797A (zh) * | 2019-04-25 | 2019-08-02 | 北京达佳互联信息技术有限公司 | 平面检测方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 红外焦平面阵列坏元检测算法;李炎冰;《电光与控制》;20150203;第22卷(第3期);第69-71页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113129249A (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9646410B2 (en) | Mixed three dimensional scene reconstruction from plural surface models | |
| US10373380B2 (en) | 3-dimensional scene analysis for augmented reality operations | |
| US10573018B2 (en) | Three dimensional scene reconstruction based on contextual analysis | |
| US9330471B2 (en) | Camera aided motion direction and speed estimation | |
| CN113129249B (zh) | 基于深度视频的空间平面检测方法及其系统和电子设备 | |
| JP5554984B2 (ja) | パターン認識方法およびパターン認識装置 | |
| RU2607774C2 (ru) | Способ управления в системе захвата изображения, устройство управления и машиночитаемый носитель данных | |
| US20200294252A1 (en) | Human-tracking methods, systems, and storage media | |
| US10554957B2 (en) | Learning-based matching for active stereo systems | |
| KR102476016B1 (ko) | 안구 위치 정보 확정 방법 및 장치 | |
| EP3711025A1 (en) | Graphical coordinate system transform for video frames | |
| JP2024508024A (ja) | 画像データの処理方法及び装置 | |
| US11256949B2 (en) | Guided sparse feature matching via coarsely defined dense matches | |
| KR20190018274A (ko) | 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법 | |
| CN114981845A (zh) | 图像扫描方法及装置、设备、存储介质 | |
| CN113592706A (zh) | 调整单应性矩阵参数的方法和装置 | |
| CN113281780A (zh) | 对图像数据进行标注的方法、装置及电子设备 | |
| CN110009683B (zh) | 基于MaskRCNN的实时平面上物体检测方法 | |
| CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
| JP2008261756A (ja) | ステレオ画像対から３次元の頭部姿勢をリアルタイムで推定するための装置及びプログラム | |
| CN114510142A (zh) | 基于二维图像的手势识别方法及其系统和电子设备 | |
| CN113128324A (zh) | 基于深度数据的手势分割方法及其系统和电子设备 | |
| CN115836322A (zh) | 图像裁剪方法与装置、电子设备及存储介质 | |
| CN112711324B (zh) | 基于tof相机的手势交互方法及其系统 | |
| US20220230342A1 (en) | Information processing apparatus that estimates object depth, method therefor, and storage medium holding program therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210716 Assignee: Zhejiang Shunwei Technology Co.,Ltd. Assignor: SUNNY OPTICAL (ZHEJIANG) RESEARCH INSTITUTE Co.,Ltd. Contract record no.: X2024330000055 Denomination of invention: A spatial plane detection method based on deep video and its system and electronic devices Granted publication date: 20230131 License type: Common License Record date: 20240515 |