CN111652979A - 一种实现ar的方法和系统 - Google Patents
一种实现ar的方法和系统 Download PDFInfo
- Publication number
- CN111652979A CN111652979A CN202010370764.5A CN202010370764A CN111652979A CN 111652979 A CN111652979 A CN 111652979A CN 202010370764 A CN202010370764 A CN 202010370764A CN 111652979 A CN111652979 A CN 111652979A
- Authority
- CN
- China
- Prior art keywords
- entity
- template
- enhanced
- auxiliary information
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000003190 augmentative effect Effects 0.000 claims abstract description 40
- 230000003416 augmentation Effects 0.000 claims abstract description 12
- 230000002452 interceptive effect Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
Abstract
本申请提供了一种实现AR的方法和系统，该方法包括：选择待增强实体，并所述待增强实体进行几何建模；从数据库中选择虚拟辅助信息模板；在所述辅助信息模板中设置辅助信息；根据所述虚拟模型和辅助信息对所述待增强实体进行现实增强。本申请增强现实可以对选择的任意实体实现，而不需要预先对实体进行设置，提高了增强现实的体验。
Description
技术领域
本申请属于虚拟现实领域，尤其涉及一种实现AR的方法和系统。
背景技术
AR（Augmentedreality）即增强现实技术，是一种能够不间断地计算实体的位置及朝向，从而是把虚拟世界合成到现实世界并进行互动的技术。通过AR技术人们可以实现多种不同的效果，比如：三维游戏。
但现有技术通常由AR服务商指定需要增强现实的实体，对该实体进行处理后提供给用户使用，这样AR就只能在服务商提供的实体上实现，不能由用户来指定需要增强现实的实体，降低了AR的使用体验。
发明内容
本发明实施例的主要目的在于提供一种实现AR的方法和系统，通过本发明实施例的方案，增强现实可以对选择的任意实体实现，而不需要预先对实体进行设置，提高了增强现实的体验。
第一方面，提供了一种实现AR的方法，包括：
选择待增强实体，并对待增强实体进行几何建模；
从数据库中选择虚拟模型的辅助信息模板；
在辅助信息模板中设置辅助信息；
根据虚拟模型和辅助信息对待增强实体进行现实增强。
在一个可能的实现方式中，对待增强实体进行几何建模，包括：
对待增强实体进行拍照，并通过计算机视觉算法获取照片中所有物体的三维几何模型，计算机视觉算法包括：SFM、MVS；和/或，
通过物理方式获取包含待增强实体的所有物体的三维几何模型，物理方式包括：RGB-D深度相机、激光雷达；
通过交互式分割算法从所述三维几何模型中获取所述待增强实体的虚拟模型。
在另一个可能的实现方式中，虚拟信息模板包括：三维空间文本框模板、三维空间音频触发模板、三维空间视频显示模板、图形模板、形状调整模板中一种或多种。
在又一个可能的实现方式中，形状调整模板的调整包括：平移、旋转、缩小、放大。
第二方面，提供了一种实现AR的系统，包括：
虚拟模型获取模块，用于选择待增强实体，并对待增强实体进行几何建模；
辅助信息模板获取模块，用于从数据库中选择虚拟模型的辅助信息模板；
设置模块，用于在辅助信息模板中设置辅助信息；
增强现实模块，用于根据虚拟模型和辅助信息对待增强实体进行增强现实。
在一个可能的实现方式中，虚拟模型获取模块，包括：
计算机视觉算法测距建模子模块，用于对待增强实体进行拍照，并通过计算机视觉算法获取照片中所有物体的三维几何模型，计算机视觉算法包括：SFM、MVS；和/或，
物理测距建模子模块，用于通过物理方式获取包含所述待增强实体的所有物体的三维几何模型，物理方式包括：RGB-D深度相机、激光雷达；
虚拟模型获取子模块，用于通过交互式分割算法从所述三维几何模型中获取所述待增强实体的虚拟模型。
在又一个可能的实现方式中，虚拟信息模板包括：三维空间文本框模板、三维空间音频触发模板、三维空间视频显示模板、图形模板、形状调整模板中的一种或多种。
在又一个可能的实现方式中，形状调整模板的调整包括：平移、旋转、缩小、放大。
本申请提供的技术方案带来的有益效果是：增强现实可以对选择的任意实体实现，而不需要预先对实现进行设置，提高了增强现实的体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本发明一个实施例提供的一种实现AR的方法的流程图；
图2为本发明一个实施例提供的一种实现AR的系统的机构图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、模块、组件和/或它们的组。应该理解，当我们称模块被“连接”或“耦接”到另一模块时，它可以直接连接或耦接到其他模块，或者也可以存在中间模块。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如和解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
实施例一
如图1所示为本发明一个实施例提供的一种实现AR的方法的流程图，包括：
步骤S101，选择待增强实体，并对所述待增强实体进行几何建模。
在本发明实施例中，用户在进行增强现实时，首先通过使用的增强设备选择待增强的实体，该增强设备通常为用户穿戴的增强现实眼镜，该增强设备可以对该待增强实体进行几何建模。
所述对所述待增强实体进行几何建模，包括：
对所述待增强实体进行拍照，并通过计算机视觉算法获取所述照片中所有物体的三维几何模型，所述计算机视觉算法包括：SFM、MVS；和/或，
通过物理方式获取包含所述待增强实体的所有物体的三维几何模型，所述物理方式包括：RGB-D深度相机、激光雷达；
通过交互式分割算法从所述三维几何模型中获取所述待增强实体的虚拟模型。
在本发明实施例中，几何建模通常分为两类：计算机视觉算法测距建模以及物理测距建模。对于算法建模，增强设备上通常安装有摄像机，通过摄像机可以对选择的待增强实体进行拍照，获取照片。增强设备上预设的计算机视觉算法对该照片进行处理，获取照片中所有物体的三维几何模型，并使用交互式分割算法从三维几何模型中获取待增强实体对应的虚拟模型。其中，计算机视觉算法包括但不限于：SFM、MVS。对于物理测距建模，增强设备上安装的各种物理设备可以通过物理测距的方式获取待增强物体的三维几何模型，并使用交互式分割算法从三维几何模型中获取待增强实体对应的虚拟模型，其中，物理测方式包括但不限于：RGB-D深度相机、激光雷达。
步骤S102，从数据库中选择所述虚拟模型的辅助信息模板。
在本发明实施例中，数据库中存储有多种预设的辅助信息模板，用户可以根据自己的喜好选择辅助信息，在后续的步骤中使用该辅助信息实现增强现实。
其中，所述虚拟信息模板包括但不限于：三维空间文本框模板、三维空间音频触发模板、三维空间视频显示模板、图形模板、形状调整模板。
在上述模板中，三维空间文本框模板用于在进行AR时展示文本内容，三维空间音频触发模板用于在进行AR时展示音频内容，三维空间视频显示模板用于在进行AR时展示视频内容，图形模板用于在进行AR时展示几何图形，形状调整模板用于在进行AR时对虚拟模型的形状进行调整。
其中，所述形状调整模板的调整包括但不限于：平移、旋转、缩小、放大。
步骤S103，在所述辅助信息模板中设置辅助信息。
在本发明实施例中，用户在选定的辅助信息模板中设置想要展示的文本、音频、视频、图形以及调整方式即可实现辅助信息的获取。
步骤S104，根据所述虚拟模型和辅助信息对所述待增强实体进行增强现实。
在本发明实施例中，将辅助信息交互式的添加到虚拟模型的坐标中，即可实现对待增强实体的增强现实，即AR。将辅助信息交互式的添加到虚拟模型的坐标中的方法使用现有技术实现，在此不做赘述。
本发明实施例，选择待增强实体，通过计算机视觉算法获取待增强实体的虚拟模型，从数据库中选择虚拟模型的辅助信息模板，在辅助信息模板中设置辅助信息，根据虚拟模型和辅助信息对待增强实体进行增强现实，使得增强现实可以对选择的任意实体实现，而不需要预先对实体进行设置，提高了增强现实的体验。
实施例二
如图2所示为本发明一个实施例提供的一种实现AR的系统的结构图，所述系统包括：
虚拟模型获取模块201，用于选择待增强实体，并对所述待增强实体进行几何建模。
在本发明实施例中，用户在进行增强现实时，首先通过使用的增强设备选择待增强的实体，该增强设备通常为用户穿戴的增强现实眼镜，该增强设备可以对该待增强实体进行几何建模。
所述虚拟模型获取模块，包括：
计算机视觉算法测距建模子模块，用于对所述待增强实体进行拍照，并通过计算机视觉算法获取所述照片中所有物体的三维几何模型，所述计算机视觉算法包括：SFM、MVS；和/或，
物理测距建模子模块，用于通过物理方式获取包含所述待增强实体的所有物体的三维几何模型，所述物理方式包括：RGB-D深度相机、激光雷达；
虚拟模型获取子模块，用于通过交互式分割算法从所述三维几何模型中获取所述待增强实体的虚拟模型。
在本发明实施例中，几何建模通常分为两类：计算机视觉算法测距建模以及物理建模。对于算法建模，增强设备上通常安装有摄像机，通过摄像机可以对选择的待增强实体进行拍照，获取照片。增强设备上预设的计算机视觉算法对该照片进行处理，获取照片中所有物体的三维几何模型，并使用交互式分割算法从三维几何模型中获取待增强实体对应的虚拟模型。其中，计算机视觉算法包括但不限于：SFM、MVS。对于物理测距建模，增强设备上安装的各种物理设备可以通过物理测距的方式获取待增强物体的三维几何模型，并使用交互式分割算法从三维几何模型中获取待增强实体对应的虚拟模型，其中，物理测方式包括但不限于：RGB-D深度相机、激光雷达。
辅助信息模板获取模块202，用于从数据库中选择所述虚拟模型的辅助信息模板。
在本发明实施例中，数据库中存储有多种预设的辅助信息模板，用户可以根据自己的喜好选择辅助信息，在后续的步骤中使用该辅助信息实现增强现实。
其中，所述虚拟信息模板包括但不限于：三维空间文本框模板、三维空间音频触发模板、三维空间视频显示模板、图形模板、形状调整模板。
在上述模板中，三维空间文本框模板用于在进行AR时展示文本内容，三维空间音频触发模板用于在进行AR时展示音频内容，三维空间视频显示模板用于在进行AR时展示视频内容，图形模板用于在进行AR时展示几何图形，形状调整模板用于在进行AR时对虚拟模型的形状进行调整。
其中，所述形状调整模板的调整包括但不限于：平移、旋转、缩小、放大。
设置模块203，用于在所述辅助信息模板中设置辅助信息。
在本发明实施例中，用户在选定的辅助信息模板中设置想要展示的文本、音频、视频、图形以及调整方式即可实现辅助信息的获取。
增强现实模块204，用于根据所述虚拟模型和辅助信息对所述待增强实体进行增强现实。
在本发明实施例中，将辅助信息交互式的添加到虚拟模型的坐标中，即可实现对待增强实体的增强现实，即AR。将辅助信息交互式的添加到虚拟模型的坐标中的方法使用现有技术实现，在此不做赘述。
本发明实施例，选择待增强实体，通过计算机视觉算法获取待增强实体的虚拟模型，从数据库中选择虚拟模型的辅助信息模板，在辅助信息模板中设置辅助信息，根据虚拟模型和辅助信息对待增强实体进行增强现实，使得增强现实可以对选择的任意实体实现，而不需要预先对实现体进行设置，提高了增强现实的体验。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种实现AR的方法，其特征在于，包括：
选择待增强实体，并对所述待增强实体进行几何建模；
从数据库中选择所述待增强实体的辅助信息模板；
在所述辅助信息模板中设置用于实例化的辅助信息；
根据所述虚拟模型和辅助信息对所述待增强实体进行现实增强。
2.如权利要求1所述的方法，其特征在于，所述对所述待增强实体进行几何建模，包括：
对所述待增强实体进行拍照，并通过计算机视觉算法获取所述照片中所有物体的三维几何模型，所述计算机视觉算法包括：SFM、MVS；和/或，
通过物理方式获取包含所述待增强实体的所有物体的三维几何模型，所述物理方式包括：RGB-D深度相机、激光雷达；
通过交互式分割算法从所述三维几何模型中获取所述待增强实体的虚拟模型。
3.如权利要求1所述的方法，其特征在于，所述虚拟信息模板包括：三维空间文本框模板、三维空间音频触发模板、三维空间视频显示模板、图形模板、形状调整模板中一种或多种。
4.如权利要求3所述的方法，其特征在于，所述形状调整模板的调整包括：平移、旋转、缩小、放大。
5.一种实现AR的系统，其特征在于，包括：
虚拟模型获取模块，用于选择待增强实体，并对所述待增强实体进行几何建模；
辅助信息模板获取模块，用于从数据库中选择所述待增强实体的辅助信息模板；
设置模块，用于在所述辅助信息模板中设置用于实例化的辅助信息；
增强现实模块，用于根据所述虚拟模型和辅助信息对所述待增强实体进行现实增强。
6.如权利要求5所述的系统，其特征在于，所述虚拟模型获取模块，包括：
计算机视觉算法测距建模子模块，用于对所述待增强实体进行拍照，并通过计算机视觉算法获取所述照片中所有物体的三维几何模型，所述计算机视觉算法包括：SFM、MVS；和/或，
物理测距建模子模块，用于通过物理方式获取包含所述待增强实体的所有物体的三维几何模型，所述物理方式包括：RGB-D深度相机、激光雷达；
虚拟模型获取子模块，用于通过交互式分割算法从所述三维几何模型中获取所述待增强实体的虚拟模型。
7.如权利要求5所述的系统，其特征在于，所述虚拟信息模板包括：三维空间文本框模板、三维空间音频触发模板、三维空间视频显示模板、图形模板、形状调整模板中的一种或多种。
8.如权利要求7所述的系统，其特征在于，所述形状调整模板的调整包括：平移、旋转、缩小、放大。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010370764.5A CN111652979A (zh) | 2020-05-06 | 2020-05-06 | 一种实现ar的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010370764.5A CN111652979A (zh) | 2020-05-06 | 2020-05-06 | 一种实现ar的方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111652979A true CN111652979A (zh) | 2020-09-11 |
Family
ID=72348250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010370764.5A Pending CN111652979A (zh) | 2020-05-06 | 2020-05-06 | 一种实现ar的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652979A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108255304A (zh) * | 2018-01-26 | 2018-07-06 | 腾讯科技（深圳）有限公司 | 基于增强现实的视频数据处理方法、装置和存储介质 |
| CN108537889A (zh) * | 2018-03-26 | 2018-09-14 | 广东欧珀移动通信有限公司 | 增强现实模型的调整方法、装置、存储介质和电子设备 |
| CN108921941A (zh) * | 2018-07-10 | 2018-11-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN109087376A (zh) * | 2018-07-31 | 2018-12-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
-
2020
- 2020-05-06 CN CN202010370764.5A patent/CN111652979A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108255304A (zh) * | 2018-01-26 | 2018-07-06 | 腾讯科技（深圳）有限公司 | 基于增强现实的视频数据处理方法、装置和存储介质 |
| CN108537889A (zh) * | 2018-03-26 | 2018-09-14 | 广东欧珀移动通信有限公司 | 增强现实模型的调整方法、装置、存储介质和电子设备 |
| CN108921941A (zh) * | 2018-07-10 | 2018-11-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN109087376A (zh) * | 2018-07-31 | 2018-12-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
| US11315328B2 (en) | Systems and methods of rendering real world objects using depth information | |
| CN110335343B (zh) | 基于rgbd单视角图像人体三维重建方法及装置 | |
| US20200051269A1 (en) | Hybrid depth sensing pipeline | |
| WO2017092307A1 (zh) | 模型渲染方法及装置 | |
| US20180158246A1 (en) | Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays | |
| WO2018119889A1 (zh) | 三维场景定位方法和装置 | |
| CN110766777A (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
| CN110675489B (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| EP3321881A1 (en) | Novel view synthesis using deep convolutional neural networks | |
| CN113287118A (zh) | 用于面部再现的系统和方法 | |
| WO2002013144A1 (en) | 3d facial modeling system and modeling method | |
| CN108805979A (zh) | 一种动态模型三维重建方法、装置、设备和存储介质 | |
| CN107862733B (zh) | 基于视线更新算法的大规模场景实时三维重建方法和系统 | |
| CN107203962B (zh) | 一种利用2d图片制作伪3d图像的方法及电子设备 | |
| CN111612878A (zh) | 将静态照片制作成三维效果视频的方法及装置 | |
| CN107203961B (zh) | 一种表情迁移的方法及电子设备 | |
| CN109684973B (zh) | 基于对称一致性的卷积神经网络的人脸图像填充系统 | |
| US10755476B2 (en) | Image processing method and image processing device | |
| CN112017242B (zh) | 显示方法及装置、设备、存储介质 | |
| CN108492381A (zh) | 一种将实物颜色转换成3d模型贴图的方法及系统 | |
| JP3854229B2 (ja) | 画像処理装置 | |
| CN111652979A (zh) | 一种实现ar的方法和系统 | |
| JP2007102478A (ja) | 画像処理装置、画像処理方法、及び半導体集積回路 | |
| Leung et al. | Realistic video avatar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200911 |
|
| RJ01 | Rejection of invention patent application after publication |