CN105825499A - 基准平面的确定方法和确定系统 - Google Patents

基准平面的确定方法和确定系统 Download PDF

Info

Publication number
CN105825499A
CN105825499A CN201610133165.5A CN201610133165A CN105825499A CN 105825499 A CN105825499 A CN 105825499A CN 201610133165 A CN201610133165 A CN 201610133165A CN 105825499 A CN105825499 A CN 105825499A
Authority
CN
China
Prior art keywords
datum plane
planar graph
plane
screening
axle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610133165.5A
Other languages
English (en)
Inventor
赵骥伯
李英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201610133165.5A priority Critical patent/CN105825499A/zh
Priority to PCT/CN2016/085251 priority patent/WO2017152529A1/zh
Priority to US15/525,703 priority patent/US10319104B2/en
Publication of CN105825499A publication Critical patent/CN105825499A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基准平面的确定方法和确定系统,所述基准平面的确定方法包括:获取深度图像,对所述深度图像进行边缘提取以形成边缘图像,所述边缘图像包括多个平面图形,对所述边缘图像之中的平面图形进行筛选以确定基准平面。本发明提供的技术方案可以确定现实景象之中的基准平面,从而以上述基准平面为基准建立虚拟坐标系,最终实现将虚拟物体与现实场景相互融合的目的。因此,本发明提供的技术方案将虚拟物体与现实场景相互融合,为用户带来实时匹配的体验感,具有可穿戴的便携性和自由性。

Description

基准平面的确定方法和确定系统
技术领域
本发明涉及显示技术领域,尤其涉及一种基准平面的确定方法和确定系统。
背景技术
增强现实(AugmentedReality,简称AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。具体来说,增强现实技术将虚拟的信息应用到真实世界,使得真实的环境与虚拟的物体实时地叠加至同一个画面或同一个空间,从而被人类感官所感知,达到超越现实的感官体验。因此,增强现实技术不仅展现了真实世界的信息,而且将虚拟世界的信息同时显示出来,两种信息相互补充、叠加。
在增强现实领域之中,光学透视式增强现实系统具有简单、分辨率高、没有视觉偏差等优点。然而,现有的光学透视式增强现实系统将虚拟物体与现实场景融合时,或者需要时刻调整镜头的角度,或者需要人工设置标定位置,才能实现虚拟物体与现实场景的对位。上述方式导致虚拟物体与现实场景无法实时匹配,从而影响用户的体验感。
发明内容
为解决上述问题,本发明提供一种基准平面的确定方法和确定系统,用于解决现有的增强现实技术导致虚拟物体与现实场景无法实时匹配,从而影响用户的体验感的问题。
为此,本发明提供一种基准平面的确定方法,包括:
获取深度图像;
对所述深度图像进行边缘提取,以形成边缘图像,所述边缘图像包括多个平面图形;
对所述边缘图像之中的平面图形进行筛选,以确定基准平面。
可选的,所述对所述边缘图像之中的平面图形进行筛选,以确定基准平面的步骤之后包括:
根据所述基准平面形成基准坐标系。
可选的,所述对所述深度图像进行边缘提取,以形成边缘图像的步骤包括:
根据预设的梯度算法获取所述深度图像的梯度变化率;
根据所述梯度变化率形成二值图像;
对所述二值图像进行边缘提取,以形成边缘图像。
可选的,所述对所述边缘图像之中的平面图形进行筛选,以确定基准平面的步骤包括:
筛选图像深度值由远及近递增的平面图形,以形成第一平面图形集合;
对所述第一平面图形集合之中的平面图形进行筛选,以确定基准平面。
可选的,所述的对所述第一平面图形集合之中的平面图形进行筛选,以确定基准平面步骤包括:
筛选平面图形面积大于边缘图像面积的15%的平面图形,以形成第二平面图形集合;
对所述第二平面图形集合之中的平面图形进行筛选,以确定基准平面。
可选的,所述对所述第二平面图形集合之中的平面图形进行筛选,以确定基准平面的步骤包括:
筛选平面图形中心点最靠近边缘图像中心点的平面图形,以确定基准平面。
可选的,所述基准坐标系包括第一轴、第二轴以及第三轴,所述第一轴、第二轴以及第三轴之间相互垂直,所述根据所述基准平面形成基准坐标系的步骤包括:
获取所述基准平面之内的至少三个点的坐标;
根据所述至少三个点的坐标形成基准坐标系,所述第一轴与所述基准平面垂直,所述第二轴与所述第三轴设置在所述基准平面之内。
可选的,所述获取所述基准平面之内的至少三个点的坐标的步骤包括:
获取所述基准平面之内的最大正方形;
获取所述最大正方形的四个顶点的坐标。
可选的,所述根据所述基准平面形成基准坐标系的步骤之前包括:
对所述边缘图像之中的平面图形进行筛选,以确定参照平面,所述参照平面与所述基准平面平行;
所述根据所述基准平面形成基准坐标系的步骤包括:
根据所述基准平面和所述参照平面形成基准坐标系,所述基准坐标系的原点设置在所述参照平面之内。
本发明还提供一种基准平面的确定系统,包括:
第一获取单元,用于获取深度图像;
第一提取单元,用于对所述深度图像进行边缘提取,以形成边缘图像,所述边缘图像包括多个平面图形;
第一筛选单元,用于对所述边缘图像之中的平面图形进行筛选,以确定基准平面。
可选的,还包括:
第一形成单元,用于根据所述基准平面形成基准坐标系。
可选的,所述第一提取单元包括:
第一获取模块,用于根据预设的梯度算法获取所述深度图像的梯度变化率;
第一形成模块,用于根据所述梯度变化率形成二值图像;
第一提取模块,用于对所述二值图像进行边缘提取,以形成边缘图像。
可选的,所述第一筛选单元包括:
第一筛选模块,用于筛选图像深度值由远及近递增的平面图形,以形成第一平面图形集合;
第二筛选模块,用于对所述第一平面图形集合之中的平面图形进行筛选,以确定基准平面。
可选的,所述第二筛选模块包括:
第一筛选子模块,用于筛选平面图形面积大于边缘图像面积的15%的平面图形,以形成第二平面图形集合;
第二筛选子模块,用于对所述第二平面图形集合之中的平面图形进行筛选,以确定基准平面。
可选的,所述第二筛选子模块包括:
第三筛选子模块,用于筛选平面图形中心点最靠近边缘图像中心点的平面图形,以确定基准平面。
可选的,所述基准坐标系包括第一轴、第二轴以及第三轴,所述第一轴、第二轴以及第三轴之间相互垂直,所述第一形成单元包括:
第二获取模块,用于获取所述基准平面之内的至少三个点的坐标;
第二形成模块,用于根据所述至少三个点的坐标形成基准坐标系,所述第一轴与所述基准平面垂直,所述第二轴与所述第三轴设置在所述基准平面之内。
可选的,所述第二获取模块包括:
第一获取子模块,用于获取所述基准平面之内的最大正方形;
第二获取子模块,用于获取所述最大正方形的四个顶点的坐标。
可选的,还包括:
第二筛选单元,用于对所述边缘图像之中的平面图形进行筛选,以确定参照平面,所述参照平面与所述基准平面平行;
所述第一形成单元包括:
第三形成模块,用于根据所述基准平面和所述参照平面形成基准坐标系,所述基准坐标系的原点设置在所述参照平面之内。
本发明具有下述有益效果:
本发明提供的基准平面的确定方法和确定系统之中,所述基准平面的确定方法包括:获取深度图像,对所述深度图像进行边缘提取以形成边缘图像,所述边缘图像包括多个平面图形,对所述边缘图像之中的平面图形进行筛选以确定基准平面。本发明提供的技术方案可以确定现实景象之中的基准平面,从而以上述基准平面为基准建立虚拟坐标系,最终实现将虚拟物体与现实场景相互融合的目的。因此,本发明提供的技术方案将虚拟物体与现实场景相互融合,为用户带来实时匹配的体验感,具有可穿戴的便携性和自由性。
附图说明
图1为本发明实施例一提供的一种基准平面的确定方法的流程图;
图2为本发明实施例一提供的深度图像;
图3为本发明实施例一提供的二值图像;
图4为本发明实施例一提供的边缘图像;
图5为本发明实施例一提供的基准平面示意图;
图6为本发明实施例一提供的最大内接正方形示意图;
图7为本发明实施例一提供的参照平面示意图;
图8为本发明实施例二提供的一种基准平面的确定系统的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图对本发明提供的基准平面的确定方法和确定系统进行详细描述。
实施例一
图1为本发明实施例一提供的一种基准平面的确定方法的流程图。如图1所示,所述基准平面的确定方法包括:
步骤1001、获取深度图像。
图2为本发明实施例一提供的深度图像。如图2所示,本实施例通过深度摄像头获取办公室的深度图像。本实施例所述的深度图像也称为景深图像。
步骤1002、对所述深度图像进行边缘提取,以形成边缘图像,所述边缘图像包括多个平面图形。
本实施例中,所述对所述深度图像进行边缘提取,以形成边缘图像的步骤包括:根据预设的梯度算法获取所述深度图像的梯度变化率;根据所述梯度变化率形成二值图像;对所述二值图像进行边缘提取,以形成边缘图像。
图3为本发明实施例一提供的二值图像。如图3所示,由于深度图像不同于二值图像,不能进行边缘提取。因此,本实施例将深度图像转化为二值图像,再进行边缘提取,从而形成边缘图像。所述二值图像(BinaryImage)是指图像的每一个像素只有两种可能的取值或灰度等级。在深度图像之中,一个平面的边缘在视角方向上的梯度变化是均匀的。因此,根据预设的梯度算法,例如,Sobel算法,计算所述深度图像的梯度变化率,将梯度变化率相同的像素设置为黑色,将梯度变化率不均匀的像素设置为白色,从而形成二值图像。
图4为本发明实施例一提供的边缘图像。如图4所示,将具有相同的梯度变化率的像素相互连接可以形成平面图形的边缘,因此通过对所述二值图像进行边缘提取,可以形成边缘图像,所述边缘图像包括多个平面图形。例如,中间位置的平面图形10由桌面的边缘轮廓形成。
步骤1003、对所述边缘图像之中的平面图形进行筛选,以确定基准平面。
图5为本发明实施例一提供的基准平面示意图。如图5所示,所述对所述边缘图像之中的平面图形进行筛选,以确定基准平面的步骤包括:筛选图像深度值由远及近递增的平面图形,以形成第一平面图形集合;对所述第一平面图形集合之中的平面图形进行筛选,以确定基准平面。因此,水平方向的平面图形的梯度变化在图像之中的反映必然是由下而上递减(在用户视角方向的深度值由远及近递增),例如,桌面在用户视角方向的深度值由远及近均匀递增,从而形成平面图形10。本实施例通过平面的梯度变化率可以排除变化趋势不符合上述要求的平面,例如,部分天花板和办公桌的侧面。
本实施例选择尽可能大而且水平的平面作为基准平面,用于投射虚拟物体。本实施例中,所述的对所述第一平面图形集合之中的平面图形进行筛选,以确定基准平面步骤包括:筛选平面图形面积大于边缘图像面积的15%的平面图形,以形成第二平面图形集合;对所述第二平面图形集合之中的平面图形进行筛选,以确定基准平面。因此,可以选取桌面的平面图形10作为基准平面,首先平面图形的面积大小适合,根据保守估计选择平面图形最小也要大于整个图像面积的15%才可以作为基准平面,从而可以排除面积过小的平面图形。
优选的,所述对所述第二平面图形集合之中的平面图形进行筛选,以确定基准平面的步骤包括:筛选平面图形中心点最靠近边缘图像中心点的平面图形,以确定基准平面。因此,当多个平面图形满足上述条件时,可以在用户视角方向上选取边缘轮廓的中心点靠近整个图像的下半部的平面图形。此时,可以排除部分天花板和墙壁。最后,本实施例成功选取平面图形10作为基准平面20。
本实施例中,所述基准平面的确定方法还包括:根据所述基准平面形成基准坐标系。可选的,所述基准坐标系包括第一轴、第二轴以及第三轴,所述第一轴、第二轴以及第三轴之间相互垂直,所述根据所述基准平面形成基准坐标系的步骤包括:获取所述基准平面之内的至少三个点的坐标;根据所述至少三个点的坐标形成基准坐标系,所述第一轴与所述基准平面垂直,所述第二轴与所述第三轴设置在所述基准平面之内。优选的,所述获取所述基准平面之内的至少三个点的坐标的步骤包括:获取所述基准平面之内的最大正方形;获取所述最大正方形的四个顶点的坐标。
在所述基准平面之上,选择至少三个点定位所述基准平面。本实施例采用绘制所述基准平面的最大内接正方形的方式获得四个点,轮廓的最大内接正方形可以通过在轮廓中心绘制一个小正方形,然后逐渐放大与边缘相交的方式获得。图6为本发明实施例一提供的最大内接正方形示意图。如图6所示,设置正方形30的四个顶点的坐标值,以基准平面20(即,平面图形10)为水平面建立一个基准坐标系。所述基准坐标系包括第一轴、第二轴以及第三轴,所述第一轴、第二轴以及第三轴之间相互垂直。所述第一轴与所述基准平面垂直,所述第二轴与所述第三轴设置在所述基准平面之内。通过上述坐标系,深度图像之中的每一个像素点的坐标都是可以确定的,因此虚拟物体可以通过预知环境之中的每个真实物体的位置选择合适的位置进行虚实融合。因此,本实施例提供的技术方案将虚拟物体与现实场景相互融合,为用户带来实时匹配的体验感,具有可穿戴的便携性和自由性。
参见图6,桌面的中心区域为最大内接正方形,根据所述正方形30的至少三个点的坐标形成基准坐标系。通过上述基准坐标系,我们可以知道如果需要建模一个虚拟的笔记本电脑,这个虚拟的笔记本电脑应该放在那里。将笔记本的底盘坐标点形成的平面与上述正方形30重合。如果还需要添置其他虚拟物体,依次寻找其他相对靠近基准平面20的中心区域的位置进行添置。
本实施例中,所述根据所述基准平面形成基准坐标系的步骤之前包括:对所述边缘图像之中的平面图形进行筛选,以确定参照平面,所述参照平面与所述基准平面平行;所述根据所述基准平面形成基准坐标系的步骤包括:根据所述基准平面和所述参照平面形成基准坐标系,所述基准坐标系的原点设置在所述参照平面之内。
本实施例对每一帧的计算速度在30ms以内,因此可以实时的进行平面检测。然而,一旦选定基准平面,而且根据所述基准平面虚拟物体与现实场景融合之后就不允许视角发生很大的变动,否则将无法准确放置虚拟物体。虽然上述基准平面的确定方法准确的找到了基准平面,但是用户的视线一旦发生扭动,基准平面出现在视野里的情况也会发生变化,基准平面中心点的位置也会随之变化。假如之前在正方形标定的位置放置了一个虚拟的笔记本电脑,那么一旦用户的视野发生变化,笔记本电脑也会随之转移位置,虽然笔记本电脑还是在之前的基准平面上,但是具体位置却不同了,导致用户主观上的感受和体验受到很大影响。
图7为本发明实施例一提供的参照平面示意图。如图7所示,将预先放置在桌面之上的盒子或书本确定为参照平面40,根据所述基准平面20和所述参照平面40建立基准坐标系,所述基准坐标系的原点设置在所述参照平面40之内,之后进行虚拟物体与现实场景的融合。由于参照平面40是固定的,而基准坐标系的原点设置在参照平面40之内,因此可以允许用户进行一定的视角转动,只要参照平面40始终完整的呈现在视野之内就可以作为标定的参照物,从而避免其他虚拟物体的位置发生错乱。
本实施例提供的基准平面的确定方法包括:获取深度图像,对所述深度图像进行边缘提取以形成边缘图像,所述边缘图像包括多个平面图形,对所述边缘图像之中的平面图形进行筛选以确定基准平面。本实施例提供的技术方案可以确定现实景象之中的基准平面,从而以上述基准平面为基准建立虚拟坐标系,最终实现将虚拟物体与现实场景相互融合的目的。因此,本实施例提供的技术方案将虚拟物体与现实场景相互融合,为用户带来实时匹配的体验感,具有可穿戴的便携性和自由性。
实施例二
图8为本发明实施例二提供的一种基准平面的确定系统的结构示意图。如图8所示,所述基准平面的确定系统包括:第一获取单元101,用于获取深度图像;第一提取单元102,用于对所述深度图像进行边缘提取,以形成边缘图像,所述边缘图像包括多个平面图形;第一筛选单元103,用于对所述边缘图像之中的平面图形进行筛选,以确定基准平面。
参见图2,第一获取单元101获取办公室的深度图像,本实施例所述的深度图像也称为景深图像。本实施例中,所述第一提取单元102包括:第一获取模块,用于根据预设的梯度算法获取所述深度图像的梯度变化率;第一形成模块,用于根据所述梯度变化率形成二值图像;第一提取模块,用于对所述二值图像进行边缘提取,以形成边缘图像。
参见图3,由于深度图像不同于二值图像,不能进行边缘提取。因此,本实施例将深度图像转化为二值图像,再进行边缘提取,从而形成边缘图像。所述二值图像(BinaryImage)是指图像的每一个像素只有两种可能的取值或灰度等级。在深度图像之中,一个平面的边缘在视角方向上的梯度变化是均匀的。因此,第一获取模块根据预设的梯度算法,例如,Sobel算法,计算所述深度图像的梯度变化率,第一形成模块将梯度变化率相同的像素设置为黑色,将梯度变化率不均匀的像素设置为白色,从而形成二值图像。
参见图4,将具有相同的梯度变化率的像素相互连接可以形成平面的边缘,因此第一提取模块对所述二值图像进行边缘提取,可以形成边缘图像,所述边缘图像包括多个平面图形。例如,中间位置的平面图形10由桌面的边缘轮廓形成。
本实施例中,所述第一筛选单元包括:第一筛选模块,用于筛选图像深度值由远及近递增的平面图形,以形成第一平面图形集合;第二筛选模块,用于对所述第一平面图形集合之中的平面图形进行筛选,以确定基准平面。参见图5,水平方向的平面图形的梯度变化在图像之中的反映必然是由下而上递减(在用户视角方向的深度值由远及近递增),例如,桌面在用户视角方向的深度值由远及近均匀递增,从而形成平面图形10。本实施例通过平面的梯度变化率可以排除变化趋势不符合上述要求的平面,例如,部分天花板和办公桌的侧面。
本实施例选择尽可能大而且水平的平面作为基准平面,用于投射虚拟物体。可选的,所述第二筛选模块包括:第一筛选子模块,用于筛选平面图形面积大于边缘图像面积的15%的平面图形,以形成第二平面图形集合;第二筛选子模块,用于对所述第二平面图形集合之中的平面图形进行筛选,以确定基准平面。因此,可以选取桌面的平面图形10作为基准平面,首先平面图形的面积大小适合,根据保守估计选择平面图形最小也要大于整个图像面积的15%才可以作为基准平面,从而可以排除面积过小的平面图形。
优选的,所述第二筛选子模块包括第三筛选子模块,所述第三筛选子模块用于筛选平面图形中心点最靠近边缘图像中心点的平面图形,以确定基准平面。因此,当多个平面图形满足上述条件时,所述第三筛选子模块可以在用户视角方向上选取边缘轮廓的中心点靠近整个图像的下半部的平面图形。此时,可以排除部分天花板和墙壁。最后,本实施例成功选取平面图形10作为基准平面20。
本实施例中,所述基准平面的确定系统还包括:第一形成单元,用于根据所述基准平面形成基准坐标系。可选的,所述基准坐标系包括第一轴、第二轴以及第三轴,所述第一轴、第二轴以及第三轴之间相互垂直,所述第一形成单元包括:第二获取模块,用于获取所述基准平面之内的至少三个点的坐标;第二形成模块,用于根据所述至少三个点的坐标形成基准坐标系,所述第一轴与所述基准平面垂直,所述第二轴与所述第三轴设置在所述基准平面之内。优选的,所述第二获取模块包括:第一获取子模块,用于获取所述基准平面之内的最大正方形;第二获取子模块,用于获取所述最大正方形的四个顶点的坐标。
在所述基准平面之上,选择至少三个点定位所述基准平面。本实施例采用绘制所述基准平面的最大内接正方形的方式获得四个点,轮廓的最大内接正方形可以通过在轮廓中心绘制一个小正方形,然后逐渐放大与边缘相交的方式获得。参见图6,设置正方形30的四个顶点的坐标值,以基准平面20(即,平面图形10)为水平面建立一个基准坐标系。所述基准坐标系包括第一轴、第二轴以及第三轴,所述第一轴、第二轴以及第三轴之间相互垂直。所述第一轴与所述基准平面垂直,所述第二轴与所述第三轴设置在所述基准平面之内。通过上述坐标系,深度图像之中的每一个像素点的坐标都是可以确定的,因此虚拟物体可以通过预知环境之中的每个真实物体的位置选择合适的位置进行虚实融合。因此,本实施例提供的技术方案将虚拟物体与现实场景相互融合,为用户带来实时匹配的体验感,具有可穿戴的便携性和自由性。
参见图6,桌面的中心区域为最大内接正方形,根据所述正方形30的至少三个点的坐标形成基准坐标系。通过上述基准坐标系,我们可以知道如果需要建模一个虚拟的笔记本电脑,这个虚拟的笔记本电脑应该放在那里。将笔记本的底盘坐标点形成的平面与上述正方形30重合。如果还需要添置其他虚拟物体,依次寻找其他相对靠近基准平面20的中心区域的位置进行添置。
本实施例中,所述基准平面的确定系统还包括:第二筛选单元,用于对所述边缘图像之中的平面图形进行筛选,以确定参照平面,所述参照平面与所述基准平面平行;所述第一形成单元包括:第三形成模块,用于根据所述基准平面和所述参照平面形成基准坐标系,所述基准坐标系的原点设置在所述参照平面之内。
本实施例对每一帧的计算速度在30ms以内,因此可以实时的进行平面检测。然而,一旦选定基准平面,而且根据所述基准平面虚拟物体与现实场景融合之后就不允许视角发生很大的变动,否则将无法准确放置虚拟物体。虽然上述基准平面的确定方法准确的找到了基准平面,但是用户的视线一旦发生扭动,基准平面出现在视野里的情况也会发生变化,基准平面中心点的位置也会随之变化。假如之前在正方形标定的位置放置了一个虚拟的笔记本电脑,那么一旦用户的视野发生变化,笔记本电脑也会随之转移位置,虽然笔记本电脑还是在之前的基准平面上,但是具体位置却不同了,导致用户主观上的感受和体验受到很大影响。
参见图7,将预先放置在桌面之上的盒子或书本确定为参照平面40,根据所述基准平面20和所述参照平面40建立基准坐标系,所述基准坐标系的原点设置在所述参照平面40之内,之后进行虚拟物体与现实场景的融合。由于参照平面40是固定的,而基准坐标系的原点设置在参照平面40之内,因此可以允许用户进行一定的视角转动,只要参照平面40始终完整的呈现在视野之内就可以作为标定的参照物,从而避免其他虚拟物体的位置发生错乱。
本实施例提供的基准平面的确定系统包括:第一获取单元,用于获取深度图像;第一提取单元,用于对所述深度图像进行边缘提取,以形成边缘图像,所述边缘图像包括多个平面;第一筛选单元,用于对所述边缘图像之中的平面进行筛选,以确定基准平面。本实施例提供的技术方案可以确定现实景象之中的基准平面,从而以上述基准平面为基准建立虚拟坐标系,最终实现将虚拟物体与现实场景相互融合的目的。因此,本实施例提供的技术方案将虚拟物体与现实场景相互融合,为用户带来实时匹配的体验感,具有可穿戴的便携性和自由性。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

Claims (18)

1.一种基准平面的确定方法,其特征在于,包括:
获取深度图像;
对所述深度图像进行边缘提取,以形成边缘图像,所述边缘图像包括多个平面图形;
对所述边缘图像之中的平面图形进行筛选,以确定基准平面。
2.根据权利要求1所述的基准平面的确定方法,其特征在于,所述对所述边缘图像之中的平面图形进行筛选,以确定基准平面的步骤之后包括:
根据所述基准平面形成基准坐标系。
3.根据权利要求1所述的基准平面的确定方法,其特征在于,所述对所述深度图像进行边缘提取,以形成边缘图像的步骤包括:
根据预设的梯度算法获取所述深度图像的梯度变化率;
根据所述梯度变化率形成二值图像;
对所述二值图像进行边缘提取,以形成边缘图像。
4.根据权利要求1所述的基准平面的确定方法,其特征在于,所述对所述边缘图像之中的平面图形进行筛选,以确定基准平面的步骤包括:
筛选图像深度值由远及近递增的平面图形,以形成第一平面图形集合;
对所述第一平面图形集合之中的平面图形进行筛选,以确定基准平面。
5.根据权利要求4所述的基准平面的确定方法,其特征在于,所述的对所述第一平面图形集合之中的平面图形进行筛选,以确定基准平面步骤包括:
筛选平面图形面积大于边缘图像面积的15%的平面图形,以形成第二平面图形集合;
对所述第二平面图形集合之中的平面图形进行筛选,以确定基准平面。
6.根据权利要求5所述的基准平面的确定方法,其特征在于,所述对所述第二平面图形集合之中的平面图形进行筛选,以确定基准平面的步骤包括:
筛选平面图形中心点最靠近边缘图像中心点的平面图形,以确定基准平面。
7.根据权利要求2所述的基准平面的确定方法,其特征在于,所述基准坐标系包括第一轴、第二轴以及第三轴,所述第一轴、第二轴以及第三轴之间相互垂直,所述根据所述基准平面形成基准坐标系的步骤包括:
获取所述基准平面之内的至少三个点的坐标;
根据所述至少三个点的坐标形成基准坐标系,所述第一轴与所述基准平面垂直,所述第二轴与所述第三轴设置在所述基准平面之内。
8.根据权利要求7所述的基准平面的确定方法,其特征在于,所述获取所述基准平面之内的至少三个点的坐标的步骤包括:
获取所述基准平面之内的最大正方形;
获取所述最大正方形的四个顶点的坐标。
9.根据权利要求2所述的基准平面的确定方法,其特征在于,所述根据所述基准平面形成基准坐标系的步骤之前包括:
对所述边缘图像之中的平面图形进行筛选,以确定参照平面,所述参照平面与所述基准平面平行;
所述根据所述基准平面形成基准坐标系的步骤包括:
根据所述基准平面和所述参照平面形成基准坐标系,所述基准坐标系的原点设置在所述参照平面之内。
10.一种基准平面的确定系统,其特征在于,包括:
第一获取单元,用于获取深度图像;
第一提取单元,用于对所述深度图像进行边缘提取,以形成边缘图像,所述边缘图像包括多个平面图形;
第一筛选单元,用于对所述边缘图像之中的平面图形进行筛选,以确定基准平面。
11.根据权利要求10所述的基准平面的确定系统,其特征在于,还包括:
第一形成单元,用于根据所述基准平面形成基准坐标系。
12.根据权利要求10所述的基准平面的确定系统,其特征在于,所述第一提取单元包括:
第一获取模块,用于根据预设的梯度算法获取所述深度图像的梯度变化率;
第一形成模块,用于根据所述梯度变化率形成二值图像;
第一提取模块,用于对所述二值图像进行边缘提取,以形成边缘图像。
13.根据权利要求10所述的基准平面的确定系统,其特征在于,所述第一筛选单元包括:
第一筛选模块,用于筛选图像深度值由远及近递增的平面图形,以形成第一平面图形集合;
第二筛选模块,用于对所述第一平面图形集合之中的平面图形进行筛选,以确定基准平面。
14.根据权利要求13所述的基准平面的确定系统,其特征在于,所述第二筛选模块包括:
第一筛选子模块,用于筛选平面图形面积大于边缘图像面积的15%的平面图形,以形成第二平面图形集合;
第二筛选子模块,用于对所述第二平面图形集合之中的平面图形进行筛选,以确定基准平面。
15.根据权利要求14所述的基准平面的确定系统,其特征在于,所述第二筛选子模块包括:
第三筛选子模块,用于筛选平面图形中心点最靠近边缘图像中心点的平面图形,以确定基准平面。
16.根据权利要求11所述的基准平面的确定系统,其特征在于,所述基准坐标系包括第一轴、第二轴以及第三轴,所述第一轴、第二轴以及第三轴之间相互垂直,所述第一形成单元包括:
第二获取模块,用于获取所述基准平面之内的至少三个点的坐标;
第二形成模块,用于根据所述至少三个点的坐标形成基准坐标系,所述第一轴与所述基准平面垂直,所述第二轴与所述第三轴设置在所述基准平面之内。
17.根据权利要求16所述的基准平面的确定系统,其特征在于,所述第二获取模块包括:
第一获取子模块,用于获取所述基准平面之内的最大正方形;
第二获取子模块,用于获取所述最大正方形的四个顶点的坐标。
18.根据权利要求11所述的基准平面的确定系统,其特征在于,还包括:
第二筛选单元,用于对所述边缘图像之中的平面图形进行筛选,以确定参照平面,所述参照平面与所述基准平面平行;
所述第一形成单元包括:
第三形成模块,用于根据所述基准平面和所述参照平面形成基准坐标系,所述基准坐标系的原点设置在所述参照平面之内。
CN201610133165.5A 2016-03-09 2016-03-09 基准平面的确定方法和确定系统 Pending CN105825499A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610133165.5A CN105825499A (zh) 2016-03-09 2016-03-09 基准平面的确定方法和确定系统
PCT/CN2016/085251 WO2017152529A1 (zh) 2016-03-09 2016-06-08 基准平面的确定方法和确定系统
US15/525,703 US10319104B2 (en) 2016-03-09 2016-06-08 Method and system for determining datum plane

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610133165.5A CN105825499A (zh) 2016-03-09 2016-03-09 基准平面的确定方法和确定系统

Publications (1)

Publication Number Publication Date
CN105825499A true CN105825499A (zh) 2016-08-03

Family

ID=56987608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610133165.5A Pending CN105825499A (zh) 2016-03-09 2016-03-09 基准平面的确定方法和确定系统

Country Status (3)

Country Link
US (1) US10319104B2 (zh)
CN (1) CN105825499A (zh)
WO (1) WO2017152529A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600638A (zh) * 2016-11-09 2017-04-26 深圳奥比中光科技有限公司 一种增强现实的实现方法
CN110215686A (zh) * 2019-06-27 2019-09-10 网易(杭州)网络有限公司 游戏场景中的显示控制方法及装置、存储介质及电子设备
WO2020029556A1 (zh) * 2018-08-09 2020-02-13 北京微播视界科技有限公司 自适应平面的方法、装置和计算机可读存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3680857B1 (en) * 2017-09-11 2021-04-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
WO2020073982A1 (en) * 2018-10-11 2020-04-16 Shanghaitech University System and method for extracting planar surface from depth image
US11804015B2 (en) 2018-10-30 2023-10-31 Samsung Electronics Co., Ltd. Methods for determining three-dimensional (3D) plane information, methods for displaying augmented reality display information and corresponding devices
CN110675360B (zh) * 2019-08-02 2022-04-01 杭州电子科技大学 一种基于深度图像的实时平面检测及提取的方法
CN113766147B (zh) * 2020-09-22 2022-11-08 北京沃东天骏信息技术有限公司 视频中嵌入图像的方法、平面预测模型获取方法和装置
CN112198529B (zh) * 2020-09-30 2022-12-27 上海炬佑智能科技有限公司 参考平面调整及障碍物检测方法、深度相机、导航设备
CN112198527B (zh) * 2020-09-30 2022-12-27 上海炬佑智能科技有限公司 参考平面调整及障碍物检测方法、深度相机、导航设备
CN112697042B (zh) * 2020-12-07 2023-12-05 深圳市繁维科技有限公司 手持式tof相机及其强适应包裹体积测量方法
CN114322775B (zh) * 2022-01-06 2022-11-11 深圳威洛博机器人有限公司 一种机器人视觉定位系统及视觉定位方法
CN114943778B (zh) * 2022-07-26 2023-01-13 广州镭晨智能装备科技有限公司 基准面确定方法、检测方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075686A (zh) * 2011-02-10 2011-05-25 北京航空航天大学 一种鲁棒的实时在线摄像机跟踪方法
CN102901488A (zh) * 2012-09-07 2013-01-30 曹欢欢 一种自动生成房间平面图的方法及设备
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466661B2 (ja) 1993-06-29 2003-11-17 キヤノン株式会社 画像処理装置及びその方法
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US8223143B2 (en) * 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US20110211749A1 (en) * 2010-02-28 2011-09-01 Kar Han Tan System And Method For Processing Video Using Depth Sensor Information
CN102135417B (zh) 2010-12-26 2013-05-22 北京航空航天大学 一种全自动三维特征提取方法
CN102566827A (zh) 2010-12-30 2012-07-11 株式会社理光 虚拟触摸屏系统中对象检测方法和系统
US9330490B2 (en) * 2011-04-29 2016-05-03 University Health Network Methods and systems for visualization of 3D parametric data during 2D imaging
WO2014020801A1 (ja) * 2012-07-31 2014-02-06 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、および画像ファイルのデータ構造
TWI496090B (zh) 2012-09-05 2015-08-11 Ind Tech Res Inst 使用深度影像的物件定位方法與裝置
US9773074B2 (en) * 2012-12-06 2017-09-26 Daybreak Game Company Llc System and method for building digital objects with blocks
US9317962B2 (en) * 2013-08-16 2016-04-19 Indoor Technologies Ltd 3D space content visualization system
CN103389042A (zh) 2013-07-11 2013-11-13 夏东 基于深度图像的地面自动检测以及场景高度计算的方法
CN104574515B (zh) * 2013-10-09 2017-10-17 华为技术有限公司 一种三维物体重建的方法、装置和终端
CN103729850B (zh) 2013-12-31 2017-01-11 楚天科技股份有限公司 一种在全景图中提取直线的方法
US10008027B1 (en) * 2014-10-20 2018-06-26 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images
US9691177B2 (en) * 2014-12-12 2017-06-27 Umbra Software Ltd. Techniques for automatic occluder simplification using planar sections
CN104539925B (zh) 2014-12-15 2016-10-05 北京邮电大学 基于深度信息的三维场景增强现实的方法及系统
US9734405B2 (en) * 2015-10-05 2017-08-15 Pillar Vision, Inc. Systems and methods for monitoring objects in athletic playing spaces
US9741125B2 (en) * 2015-10-28 2017-08-22 Intel Corporation Method and system of background-foreground segmentation for image processing
CN107205113B (zh) * 2016-03-18 2020-10-16 松下知识产权经营株式会社 图像生成装置、图像生成方法及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075686A (zh) * 2011-02-10 2011-05-25 北京航空航天大学 一种鲁棒的实时在线摄像机跟踪方法
CN102901488A (zh) * 2012-09-07 2013-01-30 曹欢欢 一种自动生成房间平面图的方法及设备
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600638A (zh) * 2016-11-09 2017-04-26 深圳奥比中光科技有限公司 一种增强现实的实现方法
WO2020029556A1 (zh) * 2018-08-09 2020-02-13 北京微播视界科技有限公司 自适应平面的方法、装置和计算机可读存储介质
CN110215686A (zh) * 2019-06-27 2019-09-10 网易(杭州)网络有限公司 游戏场景中的显示控制方法及装置、存储介质及电子设备
CN110215686B (zh) * 2019-06-27 2023-01-06 网易(杭州)网络有限公司 游戏场景中的显示控制方法及装置、存储介质及电子设备

Also Published As

Publication number Publication date
WO2017152529A1 (zh) 2017-09-14
US10319104B2 (en) 2019-06-11
US20180075616A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
CN105825499A (zh) 基准平面的确定方法和确定系统
CN105959665B (zh) 一种针对于虚拟现实设备的全景3d视频生成方法
CN107071382B (zh) 立体图像显示装置
US9911214B2 (en) Display control method and display control apparatus
WO2020042970A1 (zh) 一种三维建模的方法及其装置
US11170521B1 (en) Position estimation based on eye gaze
JP2019079552A (ja) イメージ形成における及びイメージ形成に関する改良
JP6276691B2 (ja) シミュレーション装置、シミュレーションシステム、シミュレーション方法及びシミュレーションプログラム
JP2006042298A (ja) 立体視画像作成方法および装置
AU2018249563B2 (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
US10553014B2 (en) Image generating method, device and computer executable non-volatile storage medium
JP2007531951A (ja) 水平遠近法ディスプレイ
CN110378914A (zh) 基于注视点信息的渲染方法及装置、系统、显示设备
US11956415B2 (en) Head mounted display apparatus
US9918066B2 (en) Methods and systems for producing a magnified 3D image
TWI532363B (zh) Improved naked eye 3D display crosstalk method and naked eye 3D display
TWI589150B (zh) 3d自動對焦顯示方法及其系統
JP6558365B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
WO2017191703A1 (ja) 画像処理装置
CN108881892B (zh) 用于桌面式虚拟现实系统的防眩晕方法、系统
US10083675B2 (en) Display control method and display control apparatus
CN108471939B (zh) 一种潘弄区测量方法、装置以及可穿戴显示设备
CN110390686A (zh) 裸眼3d显示方法及系统
KR20240057994A (ko) 입체 디스플레이 콘텐츠를 생성하기 위한 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160803

RJ01 Rejection of invention patent application after publication