CN115619985A - 增强现实内容展示方法、装置、电子设备及存储介质 - Google Patents
增强现实内容展示方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115619985A CN115619985A CN202211013124.4A CN202211013124A CN115619985A CN 115619985 A CN115619985 A CN 115619985A CN 202211013124 A CN202211013124 A CN 202211013124A CN 115619985 A CN115619985 A CN 115619985A
- Authority
- CN
- China
- Prior art keywords
- point set
- point
- plane
- points
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 36
- 238000003860 storage Methods 0.000 title claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例涉及增强现实技术领域,公开了一种增强现实内容展示方法,该方法包括:获取现实场景图像及待显示的虚拟内容;从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值;将所述虚拟内容展示在所述现实场景图像的所述展示区域。通过上述方式,本发明实施例实现了自适应选择虚拟内容的最佳呈现位置的技术效果。
Description
技术领域
本发明实施例涉及增强显示技术领域,具体涉及一种增强现实内容展示方法、装置、电子设备及计算机可读存储介质。
背景技术
目前,随着AR/MR设备日渐成熟,元宇宙时代的逐步揭幕,现实生活中的虚拟内容会呈井喷式的出现。这其中必然会出现大量社交之类高频次的虚拟内容。这些频次高、体积小的内容如何很好的融入现实世界,呈现在人们视野中相对合适的位置,将会是一个普遍需要解决的问题。
发明人在实施本发明实施例的过程中发现,现有的虚拟内容与现实世界的融合技术,要么完全依赖识别库,并且渲染位置相对固定,适用场景有限,要么流程复杂,难以大规模生产。因此,亟需一种简单,不需要依赖图片或现实环境特征的自适应的增强现实内容展示方法。
发明内容
鉴于上述问题,本发明实施例提供了一种增强现实内容展示方法、装置、电子设备及计算机可读存储介质,用于解决现有技术中存在的无法自适应进行定位的技术问题。
根据本发明实施例的一个方面,提供了一种增强现实内容展示方法,所述方法包括:
获取现实场景图像及待显示的虚拟内容;
从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值;
将所述虚拟内容展示在所述现实场景图像的所述展示区域。
在一种可选的方式中,所述从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值,包括:获取所述现实场景图像的二维平面内第一区域对应的平面坐标点集及边缘特征点集;根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集;赋予所述平面坐标点集三维空间深度坐标;在所述三维空间深度坐标的范围内,迭代检测所述虚拟内容与所述边缘特征点集的交叉系数;将所述目标稀疏点集中所述交叉系数小于所述阈值的点作为定位点;根据所述定位点,确定所述展示区域。
在一种可选的方式中,所述在所述三维空间深度坐标的范围内,迭代检测所述虚拟内容与所述边缘特征点集的交叉系数,包括:对所述目标稀疏点集赋予三维空间深度坐标,在所述目标稀疏点集中各个点上建立所述虚拟内容大小的立方体,在所述三维空间深度坐标的范围内迭代计算所述立方体与所述边缘特征点集的交叉系数。
在一种可选的方式中,所述方法进一步包括:获取所述现实场景图像的平面坐标点集;获取所述现实场景图像中关键区分点的边缘特征点集;根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集;对所述目标稀疏点集赋予三维空间深度坐标,在所述目标稀疏点集中各个点上建立所述虚拟内容大小的立方体,在所述三维空间深度坐标的范围内迭代计算所述立方体与所述边缘特征点集的交叉系数;将所述目标稀疏点集中所述交叉系数最小的点作为所述展示区域的定位点。
在一种可选的方式中,所述获取所述现实场景图像的二维平面内第一区域对应的平面坐标点集及边缘特征点集,包括:按照预设采样率对所述现实场景图像进行平面点集采集,得到初始点集;分别搜索所述初始点集中的每个点的邻近点,得到所述初始点集的邻近矩阵;取所述初始点集的邻近矩阵中的最小的邻近特征值作为所述初始点集的法向量;分别以所述初始点集中每个点与所述法向量,构建一个初始平面;统计初始点集中除与所述法向量构成初始平面的点的所有剩余点属于所述初始平面内的点的内点数量,当所述内点数量大于预设第一数量阈值时,确定所述初始平面为一个目标平面;将最大内点数量的目标平面作为输出平面,得到所述输出平面对应的平面坐标点集。
在一种可选的方式中,所述根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集,包括:当所述平面坐标点集为空时,以所述现实场景图像的中心点第一预设范围内的点作为所述初始稀疏点集;当所述平面坐标点集不为空时,以所述平面坐标点集对应的输出平面的中心点第二预设范围内的点作为所述初始稀疏点集;统计所述初始稀疏点集中,以每个点为聚类中心所包含的所述边缘特征点集的数量;选取所述初始稀疏点集中,以每个点为聚类中心所包含的所述边缘特征点集数量最小的预设第二数量的点,构成所述目标稀疏点集。
在一种可选的方式中,所述对所述目标稀疏点集赋予三维空间深度坐标,将所述目标稀疏点集中各个点分别作为所述虚拟内容的中心,在所述三维空间深度坐标的范围内迭代计算所述虚拟内容与所述边缘特征点集的交叉系数,包括:将所述目标稀疏点集中各个点的坐标映射为三维坐标,得到三维点集;赋予所述三维点集新的三维空间深度坐标;对于所述三维点集中每一个三维点,以所述三维点为中心建立与所述虚拟内容大小相同的立方体;根据三维空间交叉检测算法,统计从所述边缘特征点集中的边缘特征点发出的射线与所述立方体的交点,得到交点集;根据所述交点集,计算每一个所述三维点对应的交叉系数;将所述交叉系数最小的三维点,确定为所述展示区域的定位点。
在一种可选的方式中,所述根据所述交点集,计算每一个所述三维点对应的交叉系数,包括:确定所述交点集的平面面积及所述交点集中交点的个数;根据所述平面面积及所述交点的个数,计算所述三维点的交叉系数。
根据本发明实施例的另一方面,提供了一种增强现实内容展示装置,包括:
获取模块,用于获取现实场景图像及待显示的虚拟内容;
确定模块,用于从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值;
展示模块,用于将所述虚拟内容展示在所述现实场景图像的所述展示区域。
根据本发明实施例的另一方面,提供了一种电子设备,包括:
处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行所述的增强现实内容展示方法的操作。
根据本发明实施例的又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令在电子设备上运行时,使得电子设备执行所述的增强现实内容展示方法的操作。
本发明实施例通过获取现实场景图像及虚拟内容,确定所述现实场景图像中与场景内容交叉小的区域作为所述虚拟内容的展示区域,将所述虚拟内容展示在所述现实场景图像的所述展示区域,能够不依赖现实中的具体物体或图像追踪,不依赖现实环境的三维空间模型,而是知道虚拟内容所在具体范围后,根据分析当前环境特征进行自适应计算找到最佳呈现位置,实现了自适应选择虚拟内容的最佳呈现位置的技术效果。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的增强现实内容展示方法的流程示意图;
图2示出了本发明另一实施例提供的增强现实内容展示方法的流程示意图;
图3示出了本发明实施例提供的增强现实内容展示方法中目标平面点集的示意图;
图4示出了本发明实施例提供的增强现实内容展示方法中边缘特征点集的示意图;
图5示出了本发明实施例提供的增强现实内容展示方法中交叉检测的示意图;
图6示出了本发明实施例提供的增强现实内容展示方法中展示效果图;
图7示出了本发明实施例提供的增强现实内容展示装置的结构示意图;
图8示出了本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
在元宇宙时代,人们日常接触到的虚拟内容会非常多,比如虚拟广告牌,虚拟涂鸦墙,虚拟照片墙,留言板等,这些内容的呈现解决一个普遍的问题:如何把这些虚拟内容放置在视野中一个相对合适的位置,使人们能一目了然的看到,与现实世界保持相对规整,又不会对人们视野中的关键物体造成遮挡。目前AR引擎不具备自动定位的能力,这是要开发者按一定的算法和策略去实现的。
当前的AR引擎在虚拟内容定位呈现有两大方向:
1、图片追踪和物体识别:需要预先建立识别库,并且设定每个虚拟内容与识别物的相对位置,AR引擎自带图像识别和物体识别算法(也可以采用通过机器学习基于特定的数据集实现的识别模型算法),当AR设备检测到镜头中出现包含在识别库中的图片或者物体后,将虚拟内容渲染到预先设定的位置(主要缺点:完全依赖识别库,并且渲染位置相对固定,适用场景有限)。其中,这里的图像不是AR摄像头看到的整个画面,而是现实生活中的一张具体的图片,如一张海报,一个logo或者是二维码。物体是指现实生活中某一个小物件(如杯子,音箱,物体识别库至少要6张不同方位拍摄的照片才能构建)。
此方向的基于图像或物体的识别的方法,准备工作:创建识别库(通过AR SDK识别库或者通过定制开发机器学习识别库),设定虚拟内容相对位置。在预设区域贴上识别库中的图片或者摆上识别库中的物体。触发:识别到当前环境中有识别库中追踪图片或者物体。定位:渲染到预先设定的识别物相对位置。适用场景:教育出版物,AR图书。
2、环境识别:
1)三维空间建模:需要为预定的空间范围创建一个数字孪生世界,也就是3D点云模型(如图1),开发者需要预先在3d点云模型中编辑虚拟内容,设定虚拟内容的位置坐标。AR设备进入到预定的空间范围检测到当前环境特征与3D点云模型中的特征匹配后,建立与3D点云空间匹配的现实坐标系,并把预先设定好的虚拟内容渲染到相应的位置上。主要缺点是:流程复杂,难以大规模生产,只适合室内空间,且空间特征需要保持相对稳定。
2)平面识别:需要预先设定虚拟内容相对于平面中心点的位置,AR引擎自带平面识别算法(也可以根据业务需求定制识别算法,如借助激光雷达更好的探测垂直水平面),AR设备实时分析当前画面特征,当检测到平面区域后获取平面中心点坐标,将虚拟内容渲染到预先设定的位置。缺点是:不能保证虚拟物体与现实环境出现大范围交叉。
此方向的基于环境识别的方法,包括准备工作:为预设区域建立3D点云模型,在模型中摆放虚拟广告牌。触发:识别到当前环境特征成功与3D点云模型匹配,建立对应坐标系。定位:渲染到3D点云模型中预先设定的位置。适用场景:室内AR导航,博物馆AR展馆。
发明人在实施本发明实施例的过程中发现,上述的虚拟内容与现实世界的融合技术,要么完全依赖识别库,并且渲染位置相对固定,适用场景有限,要么流程复杂,难以大规模生产。基于此,本发明实施例提供一种增强现实内容展示方法,解决在特定的业务场景下虚拟内容的定位问题,与现有技术的明显差异是无需做大量的预建模和预设置准备工作,可以完全依靠图形分析软件方式实现,不借助雷达波,红外线等探测设备,也不依赖空间点云建模技术,而是通过实时自适应定位策略,将虚拟内容呈现到现实世界的最佳位置。
图1示出了本发明实施例提供的增强现实内容展示方法中方法的流程图,该方法由电子设备执行。该电子设备可以是计算机设备,如个人计算机、平板电脑、终端设备、穿戴式设备,AR/MR设备、显示设备等,本发明实施例不做具体限制。如图1所示,该方法包括以下步骤:
步骤110:获取现实场景图像及待显示的虚拟内容。
本发明实施例中,可在用户佩戴穿戴式设备(如AR/MR设备)时,检测佩戴穿戴式设备画面,实时获取穿戴式设备拍摄到的现实场景图像。其中,该虚拟内容可以是预先设置在数据库中的虚拟内容,该虚拟内容可以是与现实场景关联的虚拟内容,也可以是随机设置的内容,该虚拟内容可以是图片、视频、文字、动图或图像元素等多媒体内容,本发明实施例不做具体限制。
步骤120:从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值。本发明实施例通过获取所述现实场景图像的二维平面内第一区域对应的平面坐标点集及边缘特征点集;根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集,赋予所述平面坐标点集三维空间深度坐标,基于所述平面坐标点集在所述三维空间深度坐标的范围内,迭代检测所述虚拟内容与所述现实场景图像中的边缘特征点集的交叉系数,将所述目标稀疏点集中所述交叉系数最小的点作为所述展示区域的定位点,来得到展示区域。其中,第一区域为现实场景图像的二维平面内存在较少场景内容的空旷区域。一个现实场景图像的二维平面内可能存在多个所述第一区域。
在本发明的一个实施例中,包括以下步骤:
步骤1201:获取所述现实场景图像的平面坐标点集。其中,在获取了现实场景图像及虚拟内容后,需要估计图像中某一个区域的点是否能连接成一个平面,构成一组平面坐标点集。本发明实施例为了提高检测效率,采用快速平面检测算法OPS获取平面坐标点集,该快速平面检测算法OPS只需抽样一个有向点即可产生平面假设。该快速平面检测算法OPS的检测过程为:
1.点集法向量估计:
1)按一定采样率采集获取初始平面点集。
2)分别搜索所述初始点集中的每个点的邻近点,得到初始点集的邻近矩阵。
其中,根据K-d tree方法(k-dimensional树的简称,一种分割k维数据空间的数据结构)为初始点集中的每个点搜索其邻近点,得到初始点集的邻近矩阵Mi,其中邻近矩阵Mi包括初始点集中每个点与邻近点的邻近值M,该M值越低表示离中心点越近。
初始点集的邻近矩阵Mi的计算公式为:
其中,pi代表所述初始点集中的第i个点,Mi表示所述初始点集中第i个点pi的邻近矩阵;对pi的邻近点进行第j次搜索时的pi与其邻近点之间的中心点表示为qij。其中,该中心点可通过聚类计算得到。Q代表初始点集的中心点。σ表示距离阈值参数,该距离阈值参数可以依据具体场景进行相应设置。
3)取所述初始点集的邻近矩阵中的最小的邻近特征值M作为所述初始点集的法向量。初始点集中的每个点与该法向量可以组成一个平面。
2.平面估计
分别以所述初始点集中每个点与所述法向量,构建一个初始平面;统计初始点集中除与所述法向量构成初始平面的点外的所有剩余点属于所述初始平面内的点的内点数量,当所述内点数量大于预设第一数量阈值时,确定所述初始平面为一个目标平面。本发明一个实施例中,可以将拥有最大的内点数量的目标平面作为输出平面,得到所述输出平面对应的平面坐标点集PS。
具体地,假设初始点集中各个点及其法向量定义了一个初始平面,计算初始点集中剩余的点到这个平面的距离,以阈值theta-h判定其是否为平面内的点,对平面内的点进行计数,得到内点数量,若内点数量大于theta-N,则预测这个点及法向量可以定义一个目标平面。
其中,根据以下迭代公式对初始点集中与法向量构成初始平面的点进行迭代更新,再迭代上述计算是否属于该平面以及统计内点数量步骤:
其中,p为至少一个随机样本不存在离群值(指存在一个或几个数值与其他数值相比差异较大的情况)的概率,e是所有点中离群值的比例。e在每一次迭代后进行更新,最后,得到拥有最大的内点数的目标平面,将该目标平面作为输出平面,得到该输出平面上所有的内点,作为该输出平面对应的平面坐标点集PS。如图3所示,重新估计该输出平面的法向量,得到一个由该输出平面的中心点和其法向量组成的矩阵输出。
步骤1202:获取所述现实场景图像中关键区分点的边缘特征点集。
其中,本发明实施例进行特征提取,以获取所述现实场景图像中局部区域的一些关键区分点的边缘特征,以得到边缘特征点集FS。其中,如图4所示,这些关键区分点包括角点、边缘点、暗区的亮点及亮区的暗点等。
步骤1203:根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集。
其中,稀疏点集是指从透视角度,相对最空旷的区域点集合。本发明实施例中,虚拟内容最终需放置在所述现实场景图像中一个相对于空旷的位置,避免与现实物体产生过多交叉和遮挡,并且虚拟内容不能在当前画面的边缘位置,最好在水面平面上的中心位置。其中,在得到平面坐标点集PS和边缘特征点集FS后,可以通过以下方式确定目标稀疏点集:
首先从平面坐标点集中选取一定数量的点,作为初始稀疏点集。其中,当所述平面坐标点集为空(也即未在所述现实场景图像中检测到输出平面)时,以所述现实场景图像的中心点第一预设范围内的点作为所述初始稀疏点集。具体可通过以下公式确定初始稀疏点集:KS'={(x,y)│x∈W/2-R2,y∈H/2-R2},其中,W和H分别为整个现实场景图像的宽和高,R2为距离画面中心点的距离。其中,R2(也即第一预设范围)可依据具体场景进行相应设置。也就是说,本发明实施例中,当未在所述现实场景图像中检测到输出平面PS时,则选取初始点集中距离现实场景图像中心点第一预设范围内的点。
其中,当所述平面坐标点集不为空(也即在所述现实场景图像中检测到输出平面)时,则对所述平面坐标点集进行裁剪,只选取平面坐标点集中距离输出平面的中心点第二预设范围R3内的点作为所述初始稀疏点集。具体可通过以下公式确定初始稀疏点集:KS'={(x,y)│x∈PW/2-R3,y∈PH/2-R3},其中,PW和PH分别为输出平面的宽和高,R3为第二预设范围,也即距离输出平面中心点的距离,本领域技术人员可依据具体场景对第二预设范围进行相应设置,本发明实施例不做具体限制。
然后,在确定初始稀疏点集后,统计所述初始稀疏点集中,以每个点为聚类中心所包含的所述边缘特征点集的数量KN;选取所述初始稀疏点集中,以每个点为聚类中心(K值范围内)所包含的所述边缘特征点集数量KN最小的预设第二数量的点,构成所述目标稀疏点集KS。
步骤1204:对所述目标稀疏点集赋予三维空间深度坐标,在所述目标稀疏点集中各个点上建立所述虚拟内容大小的立方体,在所述三维空间深度坐标的范围内迭代计算所述立方体与所述边缘特征点集的交叉系数。
本发明实施例中,可以将目标稀疏点集映射到当前相机的三维坐标系中,并继续推测其最佳的深度坐标z。
首先,可以将所述目标稀疏点集KS中各个点的坐标映射为三维坐标,得到三维点集KZS。具体地,可通过以下变换公式:KZS=KS*T,其中,T为转换矩阵,由当前相机参数决定。
然后,再赋予所述三维点集KZS新的三维空间深度坐标。其中,三维空间深度坐标的范围可以设置为(1~3),则赋予所述三维点集新的三维空间深度坐标:KZS=(Xi,Yi,1)~(Xi,Yi,3)。
其中,对于所述三维点集KZS中每一个三维点,以所述三维点为中心,在所述三维点上建立立方体,所述立方体的大小与所述虚拟内容相同。如图5所示,假如(x,y,z)为三维点集KZS中的一个点,在该点上创建一个CUBE(立方体),其大小与虚拟内容大小相当。
本发明实施例中,根据三维空间交叉检测算法,统计从所述边缘特征点集中的边缘特征点发出的射线与所述立方体的交点,得到交点集。其中,该三维空间交叉检测算法为Ray-AABB三维空间交叉检测算法,根据该Ray-AABB三维空间交叉检测算法统计从所述边缘特征点集中的边缘特征点发出的射线与所述立方体的交点,得到交点集CS。交点集CS与所述立方体在同一个平面上。
在得到交点集之后,根据所述交点集,计算每一个所述三维点对应的交叉系数。其中,确定所述交点集的平面面积及所述交点集中交点的个数;根据所述平面面积及所述交点的个数,计算所述三维点的交叉系数。具体交叉系数计算公式为:RN=CS平面面积/CS数量。
步骤1205:将所述目标稀疏点集中所述交叉系数小于所述阈值的点作为所述展示区域的定位点。
其中,当所述目标稀疏点集中某个点的所述交叉系数小于所述阈值时,表征以该点作为展示区域的定位点(中心点)时,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值。在本发明的一个实施例中,可以将所述目标稀疏点集中所述交叉系数最小的点作为所述展示区域的定位点。
其中,在得到三维点集KZS中每个点的交叉系数,选取RN最小的点作为最终点的所述展示区域的定位点。
步骤130:将所述虚拟内容展示在所述现实场景图像的所述展示区域。
其中,如图6所示,在确定所述展示区域的定位点后,将所述虚拟内容渲染并锚定在该点位置。本发明实施例中,为了避免频繁切换,一旦定位成功不再重新定位。
本发明实施例通过获取现实场景图像及虚拟内容,确定所述现实场景图像中与场景内容交叉小的区域作为所述虚拟内容的展示区域,将所述虚拟内容展示在所述现实场景图像的所述展示区域,能够不依赖现实中的具体物体或图像追踪,不依赖现实环境的三维空间模型,而是知道虚拟内容所在具体范围后,根据分析当前环境特征进行自适应计算找到最佳呈现位置,实现了自适应选择虚拟内容的最佳呈现位置的技术效果。
图2示出了本发明另一实施例提供的增强现实内容展示方法的流程图,该方法由电子设备执行。如图2所示,该方法包括以下步骤:
步骤210:检测现实场景图像中平面坐标集PS。
步骤220:检测所述现实场景图像中的边缘特征点集FS。
步骤230:选取所述现实场景图像中相对稀疏空旷的稀疏点集KS。从平面坐标集PS或者整个画面中心点的K值范围内,选取N个包含特征点FS数量最少的点。
步骤240:将稀疏点集KS中的点映射到当前相机的三维坐标,赋予深度坐标z,在z值范围内迭代计算稀疏点集KS中每个点的交叉系数RN。
步骤250:选取RN最小的点三维坐标点为最终定位点,将虚拟内容渲染到定位点之上。
本发明实施例中的增强现实内容展示方法与上述方法实施例大体一致,此处不再赘述。
本发明实施例通过获取现实场景图像及虚拟内容,确定所述现实场景图像中与场景内容交叉小的区域作为所述虚拟内容的展示区域,将所述虚拟内容展示在所述现实场景图像的所述展示区域,能够不依赖现实中的具体物体或图像追踪,不依赖现实环境的三维空间模型,而是知道虚拟内容所在具体范围后,根据分析当前环境特征进行自适应计算找到最佳呈现位置,实现了自适应选择虚拟内容的最佳呈现位置的技术效果。
图7示出了本发明实施例提供的增强现实内容展示装置的结构示意图。如图7所示,该装置300包括:
获取模块310,用于获取现实场景图像及待显示的虚拟内容;
确定模块320,用于从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值;
展示模块330,用于将所述虚拟内容展示在所述现实场景图像的所述展示区域。
获取现实场景图像及待显示的虚拟内容;
从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值;
将所述虚拟内容展示在所述现实场景图像的所述展示区域。
在一种可选的方式中,所述从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值,包括:获取所述现实场景图像的二维平面内第一区域对应的平面坐标点集及边缘特征点集;根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集;赋予所述平面坐标点集三维空间深度坐标;在所述三维空间深度坐标的范围内,迭代检测所述虚拟内容与所述边缘特征点集的交叉系数;将所述目标稀疏点集中所述交叉系数小于所述阈值的点作为所述展示区域的定位点。
在一种可选的方式中,所述在所述三维空间深度坐标的范围内,迭代检测所述虚拟内容与所述边缘特征点集的交叉系数,包括:对所述目标稀疏点集赋予三维空间深度坐标,在所述目标稀疏点集中各个点上建立所述虚拟内容大小的立方体,在所述三维空间深度坐标的范围内迭代计算所述立方体与所述边缘特征点集的交叉系数。
在一种可选的方式中,所述方法进一步包括:获取所述现实场景图像的平面坐标点集;获取所述现实场景图像中关键区分点的边缘特征点集;根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集;对所述目标稀疏点集赋予三维空间深度坐标,在所述目标稀疏点集中各个点上建立所述虚拟内容大小的立方体,在所述三维空间深度坐标的范围内迭代计算所述立方体与所述边缘特征点集的交叉系数;将所述目标稀疏点集中所述交叉系数最小的点作为定位点;根据所述定位点,确定所述展示区域。
在一种可选的方式中,所述获取所述现实场景图像的二维平面内第一区域对应的平面坐标点集,包括:按照预设采样率对所述现实场景图像进行平面点集采集,得到初始点集;分别搜索所述初始点集中的每个点的邻近点,得到所述初始点集的邻近矩阵;取所述初始点集的邻近矩阵中的最小的邻近特征值作为所述初始点集的法向量;分别以所述初始点集中每个点与所述法向量,构建一个初始平面;统计初始点集中除与所述法向量构成初始平面的点的所有剩余点属于所述初始平面内的点的内点数量,当所述内点数量大于预设第一数量阈值时,确定所述初始平面为一个目标平面;将最大内点数量的目标平面作为输出平面,得到所述输出平面对应的平面坐标点集。
在一种可选的方式中,所述根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集,包括:当所述平面坐标点集为空时,以所述现实场景图像的中心点第一预设范围内的点作为所述初始稀疏点集;当所述平面坐标点集不为空时,以所述平面坐标点集对应的输出平面的中心点第二预设范围内的点作为所述初始稀疏点集;统计所述初始稀疏点集中,以每个点为聚类中心所包含的所述边缘特征点集的数量;选取所述初始稀疏点集中,以每个点为聚类中心所包含的所述边缘特征点集数量最小的预设第二数量的点,构成所述目标稀疏点集。
在一种可选的方式中,所述对所述目标稀疏点集赋予三维空间深度坐标,将所述目标稀疏点集中各个点分别作为所述虚拟内容的中心,在所述三维空间深度坐标的范围内迭代计算所述虚拟内容与所述边缘特征点集的交叉系数,包括:将所述目标稀疏点集中各个点的坐标映射为三维坐标,得到三维点集;赋予所述三维点集新的三维空间深度坐标;对于所述三维点集中每一个三维点,以所述三维点为中心建立与所述虚拟内容大小相同的立方体;根据三维空间交叉检测算法,统计从所述边缘特征点集中的边缘特征点发出的射线与所述立方体的交点,得到交点集;根据所述交点集,计算每一个所述三维点对应的交叉系数;将所述交叉系数最小的三维点,确定为所述展示区域的定位点。
在一种可选的方式中,所述根据所述交点集,计算每一个所述三维点对应的交叉系数,包括:确定所述交点集的平面面积及所述交点集中交点的个数;根据所述平面面积及所述交点的个数,计算所述三维点的交叉系数。
本发明实施例的增强现实内容展示装置的具体工作过程与上述方法实施例的具体步骤大体一致,此处不再赘述。
本发明实施例通过获取现实场景图像及虚拟内容,确定所述现实场景图像中与场景内容交叉小的区域作为所述虚拟内容的展示区域,将所述虚拟内容展示在所述现实场景图像的所述展示区域,能够不依赖现实中的具体物体或图像追踪,不依赖现实环境的三维空间模型,而是知道虚拟内容所在具体范围后,根据分析当前环境特征进行自适应计算找到最佳呈现位置,实现了自适应选择虚拟内容的最佳呈现位置的技术效果。
图8示出了本发明实施例提供的电子设备的结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。
如图8所示,该电子设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中:处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。处理器402,用于执行程序410,具体可以执行上述用于增强现实内容展示方法实施例中的相关步骤。
具体地,程序410可以包括程序代码,该程序代码包括计算机可执行指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序410具体可以被处理器402调用使电子设备执行以下操作:
在一种可选的方式中,所述从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值,包括:获取所述现实场景图像的二维平面内第一区域对应的平面坐标点集及边缘特征点集;根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集;赋予所述平面坐标点集三维空间深度坐标;在所述三维空间深度坐标的范围内,迭代检测所述虚拟内容与所述边缘特征点集的交叉系数;将所述目标稀疏点集中所述交叉系数最小的点作为所述展示区域的定位点。
在一种可选的方式中,所述在所述三维空间深度坐标的范围内,迭代检测所述虚拟内容与所述边缘特征点集的交叉系数,包括:对所述目标稀疏点集赋予三维空间深度坐标,在所述目标稀疏点集中各个点上建立所述虚拟内容大小的立方体,在所述三维空间深度坐标的范围内迭代计算所述立方体与所述边缘特征点集的交叉系数。
在一种可选的方式中,所述方法进一步包括:获取所述现实场景图像的平面坐标点集;获取所述现实场景图像中关键区分点的边缘特征点集;根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集;对所述目标稀疏点集赋予三维空间深度坐标,在所述目标稀疏点集中各个点上建立所述虚拟内容大小的立方体,在所述三维空间深度坐标的范围内迭代计算所述立方体与所述边缘特征点集的交叉系数;将所述目标稀疏点集中所述交叉系数小于所述阈值的点作为定位点;根据所述定位点,确定所述展示区域。
在一种可选的方式中,所述获取所述现实场景图像的二维平面内第一区域对应的平面坐标点集及边缘特征点集,包括:按照预设采样率对所述现实场景图像进行平面点集采集,得到初始点集;分别搜索所述初始点集中的每个点的邻近点,得到所述初始点集的邻近矩阵;取所述初始点集的邻近矩阵中的最小的邻近特征值作为所述初始点集的法向量;分别以所述初始点集中每个点与所述法向量,构建一个初始平面;统计初始点集中除与所述法向量构成初始平面的点的所有剩余点属于所述初始平面内的点的内点数量,当所述内点数量大于预设第一数量阈值时,确定所述初始平面为一个目标平面;将最大内点数量的目标平面作为输出平面,得到所述输出平面对应的平面坐标点集。
在一种可选的方式中,所述根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集,包括:当所述平面坐标点集为空时,以所述现实场景图像的中心点第一预设范围内的点作为所述初始稀疏点集;当所述平面坐标点集不为空时,以所述平面坐标点集对应的输出平面的中心点第二预设范围内的点作为所述初始稀疏点集;统计所述初始稀疏点集中,以每个点为聚类中心所包含的所述边缘特征点集的数量;选取所述初始稀疏点集中,以每个点为聚类中心所包含的所述边缘特征点集数量最小的预设第二数量的点,构成所述目标稀疏点集。
在一种可选的方式中,所述对所述目标稀疏点集赋予三维空间深度坐标,将所述目标稀疏点集中各个点分别作为所述虚拟内容的中心,在所述三维空间深度坐标的范围内迭代计算所述虚拟内容与所述边缘特征点集的交叉系数,包括:将所述目标稀疏点集中各个点的坐标映射为三维坐标,得到三维点集;赋予所述三维点集新的三维空间深度坐标;对于所述三维点集中每一个三维点,以所述三维点为中心建立与所述虚拟内容大小相同的立方体;根据三维空间交叉检测算法,统计从所述边缘特征点集中的边缘特征点发出的射线与所述立方体的交点,得到交点集;根据所述交点集,计算每一个所述三维点对应的交叉系数;将所述交叉系数最小的三维点,确定为所述展示区域的定位点。
在一种可选的方式中,所述根据所述交点集,计算每一个所述三维点对应的交叉系数,包括:确定所述交点集的平面面积及所述交点集中交点的个数;根据所述平面面积及所述交点的个数,计算所述三维点的交叉系数。
本发明实施例的电子设备的具体工作过程与上述方法实施例的具体步骤大体一致,此处不再赘述。
本发明实施例通过获取现实场景图像及虚拟内容,确定所述现实场景图像中与场景内容交叉小的区域作为所述虚拟内容的展示区域,将所述虚拟内容展示在所述现实场景图像的所述展示区域,能够不依赖现实中的具体物体或图像追踪,不依赖现实环境的三维空间模型,而是知道虚拟内容所在具体范围后,根据分析当前环境特征进行自适应计算找到最佳呈现位置,实现了自适应选择虚拟内容的最佳呈现位置的技术效果。
本发明实施例提供了一种计算机可读存储介质,所述存储介质存储有至少一可执行指令,该可执行指令在电子设备上运行时,使得所述电子设备执行上述任意方法实施例中的增强现实内容展示方法。
可执行指令具体可以用于使得电子设备执行以下操作:
获取现实场景图像及待显示的虚拟内容;
从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值;
将所述虚拟内容展示在所述现实场景图像的所述展示区域。
在一种可选的方式中,所述从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值,包括:获取所述现实场景图像的二维平面内第一区域对应的平面坐标点集及边缘特征点集;根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集;赋予所述平面坐标点集三维空间深度坐标;在所述三维空间深度坐标的范围内,迭代检测所述虚拟内容与所述边缘特征点集的交叉系数;将所述目标稀疏点集中所述交叉系数最小的点作为定位点;根据所述定位点,确定所述展示区域。
在一种可选的方式中,所述在所述三维空间深度坐标的范围内,迭代检测所述虚拟内容与所述边缘特征点集的交叉系数,包括:对所述目标稀疏点集赋予三维空间深度坐标,在所述目标稀疏点集中各个点上建立所述虚拟内容大小的立方体,在所述三维空间深度坐标的范围内迭代计算所述立方体与所述边缘特征点集的交叉系数。
在一种可选的方式中,所述方法进一步包括:获取所述现实场景图像的平面坐标点集;获取所述现实场景图像中关键区分点的边缘特征点集;根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集;对所述目标稀疏点集赋予三维空间深度坐标,在所述目标稀疏点集中各个点上建立所述虚拟内容大小的立方体,在所述三维空间深度坐标的范围内迭代计算所述立方体与所述边缘特征点集的交叉系数;将所述目标稀疏点集中所述交叉系数小于所述阈值的点作为所述展示区域的定位点。
在一种可选的方式中,所述获取所述现实场景图像的二维平面内第一区域对应的平面坐标点集及边缘特征点集,包括:按照预设采样率对所述现实场景图像进行平面点集采集,得到初始点集;分别搜索所述初始点集中的每个点的邻近点,得到所述初始点集的邻近矩阵;取所述初始点集的邻近矩阵中的最小的邻近特征值作为所述初始点集的法向量;分别以所述初始点集中每个点与所述法向量,构建一个初始平面;统计初始点集中除与所述法向量构成初始平面的点的所有剩余点属于所述初始平面内的点的内点数量,当所述内点数量大于预设第一数量阈值时,确定所述初始平面为一个目标平面;将最大内点数量的目标平面作为输出平面,得到所述输出平面对应的平面坐标点集。
在一种可选的方式中,所述根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集,包括:当所述平面坐标点集为空时,以所述现实场景图像的中心点第一预设范围内的点作为所述初始稀疏点集;当所述平面坐标点集不为空时,以所述平面坐标点集对应的输出平面的中心点第二预设范围内的点作为所述初始稀疏点集;统计所述初始稀疏点集中,以每个点为聚类中心所包含的所述边缘特征点集的数量;选取所述初始稀疏点集中,以每个点为聚类中心所包含的所述边缘特征点集数量最小的预设第二数量的点,构成所述目标稀疏点集。
在一种可选的方式中,所述对所述目标稀疏点集赋予三维空间深度坐标,将所述目标稀疏点集中各个点分别作为所述虚拟内容的中心,在所述三维空间深度坐标的范围内迭代计算所述虚拟内容与所述边缘特征点集的交叉系数,包括:将所述目标稀疏点集中各个点的坐标映射为三维坐标,得到三维点集;赋予所述三维点集新的三维空间深度坐标;对于所述三维点集中每一个三维点,以所述三维点为中心建立与所述虚拟内容大小相同的立方体;根据三维空间交叉检测算法,统计从所述边缘特征点集中的边缘特征点发出的射线与所述立方体的交点,得到交点集;根据所述交点集,计算每一个所述三维点对应的交叉系数;将所述交叉系数最小的三维点,确定为所述展示区域的定位点。
在一种可选的方式中,所述根据所述交点集,计算每一个所述三维点对应的交叉系数,包括:确定所述交点集的平面面积及所述交点集中交点的个数;根据所述平面面积及所述交点的个数,计算所述三维点的交叉系数。
本发明实施例通过获取现实场景图像及虚拟内容,确定所述现实场景图像中与场景内容交叉小的区域作为所述虚拟内容的展示区域,将所述虚拟内容展示在所述现实场景图像的所述展示区域,能够不依赖现实中的具体物体或图像追踪,不依赖现实环境的三维空间模型,而是知道虚拟内容所在具体范围后,根据分析当前环境特征进行自适应计算找到最佳呈现位置,实现了自适应选择虚拟内容的最佳呈现位置的技术效果。
本发明实施例提供一种增强现实内容展示装置,用于执行上述增强现实内容展示方法。
本发明实施例提供了一种计算机程序,所述计算机程序可被处理器调用使电子设备执行上述任意方法实施例中的增强现实内容展示方法。
本发明实施例提供了一种计算机程序产品,计算机程序产品包括存储在计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令在计算机上运行时,使得所述计算机执行上述任意方法实施例中的增强现实内容展示方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
本领域技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。
Claims (10)
1.一种增强现实内容展示方法,其特征在于,所述方法包括:
获取现实场景图像及待显示的虚拟内容;
从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值;
将所述虚拟内容展示在所述现实场景图像的所述展示区域。
2.根据权利要求1所述的方法,其特征在于,所述从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值,包括:
获取所述现实场景图像的二维平面内第一区域对应的平面坐标点集及边缘特征点集;
根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集;
赋予所述平面坐标点集三维空间深度坐标;
在所述三维空间深度坐标的范围内,迭代检测所述虚拟内容与所述边缘特征点集的交叉系数;
将所述目标稀疏点集中所述交叉系数小于所述阈值的点作为定位点;
根据所述定位点,确定所述展示区域。
3.根据权利要求2所述的方法,其特征在于,所述在所述三维空间深度坐标的范围内,迭代检测所述虚拟内容与所述边缘特征点集的交叉系数,包括:
对所述目标稀疏点集赋予三维空间深度坐标,在所述目标稀疏点集中各个点上建立所述虚拟内容大小的立方体,在所述三维空间深度坐标的范围内迭代计算所述立方体与所述边缘特征点集的交叉系数。
4.根据权利要求2所述的方法,其特征在于,所述获取所述现实场景图像的二维平面内第一区域对应的平面坐标点集,包括:
按照预设采样率对所述现实场景图像进行平面点集采集,得到初始点集;
分别搜索所述初始点集中的每个点的邻近点,得到所述初始点集的邻近矩阵;
取所述初始点集的邻近矩阵中的最小的邻近特征值作为所述初始点集的法向量;
分别以所述初始点集中每个点与所述法向量,构建一个初始平面;
统计初始点集中除与所述法向量构成初始平面的点外的所有剩余点属于所述初始平面内的点的内点数量,当所述内点数量大于预设第一数量阈值时,确定所述初始平面为一个目标平面;
将最大内点数量的目标平面作为输出平面,得到所述输出平面对应的平面坐标点集。
5.根据权利要求2所述的方法,其特征在于,所述根据所述平面坐标点集及所述边缘特征点集,确定目标稀疏点集,包括:
当所述平面坐标点集为空时,以所述现实场景图像的中心点第一预设范围内的点作为初始稀疏点集;当所述平面坐标点集不为空时,以所述平面坐标点集对应的输出平面的中心点第二预设范围内的点作为所述初始稀疏点集;
统计所述初始稀疏点集中,以每个点为聚类中心所包含的所述边缘特征点集的数量;
选取所述初始稀疏点集中,以每个点为聚类中心所包含的所述边缘特征点集数量最小的预设第二数量的点,构成所述目标稀疏点集。
6.根据权利要求3所述的方法,其特征在于,所述对所述目标稀疏点集赋予三维空间深度坐标,将所述目标稀疏点集中各个点分别作为所述虚拟内容的中心,在所述三维空间深度坐标的范围内迭代计算所述虚拟内容与所述边缘特征点集的交叉系数,包括:
将所述目标稀疏点集中各个点的坐标映射为三维坐标,得到三维点集;
赋予所述三维点集新的三维空间深度坐标;
对于所述三维点集中每一个三维点,以所述三维点为中心建立与所述虚拟内容大小相同的立方体;
根据三维空间交叉检测算法,统计从所述边缘特征点集中的边缘特征点发出的射线与所述立方体的交点,得到交点集;
根据所述交点集,计算每一个所述三维点对应的交叉系数。
7.根据权利要求6所述的方法,其特征在于,所述根据所述交点集,计算每一个所述三维点对应的交叉系数,包括:
确定所述交点集的平面面积及所述交点集中交点的个数;
根据所述平面面积及所述交点的个数,计算所述三维点的交叉系数。
8.一种增强现实内容展示装置,其特征在于,所述装置包括:
获取模块,用于获取现实场景图像及待显示的虚拟内容;
确定模块,用于从所述现实场景图像中确定展示区域,所述展示区域中的场景内容与所述虚拟内容的重叠区域小于阈值展示模块,用于将所述虚拟内容展示在所述现实场景图像的所述展示区域。
9.一种电子设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7任意一项所述的增强现实内容展示方法的操作。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令在电子设备上运行时,使得电子设备执行如权利要求1-7任意一项所述的增强现实内容展示方法的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211013124.4A CN115619985A (zh) | 2022-08-23 | 2022-08-23 | 增强现实内容展示方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211013124.4A CN115619985A (zh) | 2022-08-23 | 2022-08-23 | 增强现实内容展示方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115619985A true CN115619985A (zh) | 2023-01-17 |
Family
ID=84857328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211013124.4A Pending CN115619985A (zh) | 2022-08-23 | 2022-08-23 | 增强现实内容展示方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115619985A (zh) |
-
2022
- 2022-08-23 CN CN202211013124.4A patent/CN115619985A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10977818B2 (en) | Machine learning based model localization system | |
CN109683699B (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
US11645815B2 (en) | Method, device, and storage medium for segmenting three-dimensional object | |
CN107798725B (zh) | 基于Android的二维住房户型识别和三维呈现方法 | |
CN111612880B (zh) | 基于二维画作的三维模型构建方法、电子设备及存储介质 | |
JP2020518918A (ja) | 情報処理方法、装置、クラウド処理デバイス及びコンピュータプログラム製品 | |
EP4365841A1 (en) | Object pose detection method and apparatus, computer device, and storage medium | |
WO2023024441A1 (zh) | 模型重建方法及相关装置、电子设备和存储介质 | |
CN112927353A (zh) | 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端 | |
JP2002288687A (ja) | 特徴量算出装置および方法 | |
US7030875B2 (en) | Environmental reasoning using geometric data structure | |
KR20200136723A (ko) | 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치 | |
CN112836698A (zh) | 一种定位方法、装置、存储介质及电子设备 | |
CN114881841A (zh) | 图像生成方法及其装置 | |
WO2023231793A1 (zh) | 对物理场景进行虚拟化的方法、电子设备、计算机可读存储介质和计算机程序产品 | |
CN113570615A (zh) | 一种基于深度学习的图像处理方法、电子设备及存储介质 | |
Álvarez et al. | Junction assisted 3d pose retrieval of untextured 3d models in monocular images | |
CN116843754A (zh) | 一种基于多特征融合的视觉定位方法及系统 | |
CN115578432B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN115619985A (zh) | 增强现实内容展示方法、装置、电子设备及存储介质 | |
US11281935B2 (en) | 3D object detection from calibrated 2D images | |
CN114529648A (zh) | 模型展示方法、设备、装置、电子设备及存储介质 | |
CN114022630A (zh) | 三维场景的重建方法、装置、设备和计算机可读存储介质 | |
CN113570713A (zh) | 一种面向动态环境的语义地图构建方法及装置 | |
CN113191462A (zh) | 信息获取方法、图像处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |