CN109685905A - 基于增强现实的小区规划方法和系统 - Google Patents
基于增强现实的小区规划方法和系统 Download PDFInfo
- Publication number
- CN109685905A CN109685905A CN201710972958.0A CN201710972958A CN109685905A CN 109685905 A CN109685905 A CN 109685905A CN 201710972958 A CN201710972958 A CN 201710972958A CN 109685905 A CN109685905 A CN 109685905A
- Authority
- CN
- China
- Prior art keywords
- real scene
- virtual
- sample
- object model
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 11
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 12
- 239000011159 matrix material Substances 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/16—Real estate
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种基于增强现实的小区规划方法和系统。该小区规划方法通过摄像头获取真实场景图像；对所述真实场景图像进行处理，确定出多个标识区域；将多个标识区域与模型库中的样本标识区域进行匹配，以从多个标识区域确定目标标识区域；识别所述目标标识区域，获取对应的虚拟规划对象模型，虚拟规划对象模型包括：绿化带、停车场所、路灯、垃圾站和/或公共休闲设施；将所述虚拟规划对象模型与所述真实场景图像进行融合，以实时输出增强现实画面。该方案可通过用户视点所识别到的标识区域匹配相应的虚拟规划对象模型与真实场景融合，提高了小区规划的演示效果。
Description
技术领域
本申请涉及增强现实技术领域，尤其涉及一种基于增强现实的小区规划方法和系统。
背景技术
AR(Augmented Reality，增强现实)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后，把真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息充、叠加。
近年来，基于VR(Virtual Reality，虚拟现实)技术的小区规划方案已经逐渐为设计者所接收，在一定程度上解决了实体模型规划方案的缺陷。但由于缺乏高效、自然的人机交互方式，使得规划效果大打折扣。而增强现实技术的出现为小区规划提供了新的契机，它既继承了虚拟现实技术卓越的三维表现力，由具有虚实结合的特点，能够在真实的规划场景中整合设计要素，给设计者和方案评估者以直观的感受。
发明内容
本申请实施例提供一种基于增强现实的小区规划方法和系统，提高了小区规划的演示效果。
本申请实施例提供了一种基于增强现实的小区规划方法，包括：
通过摄像头获取真实场景图像；
对所述真实场景图像进行处理，确定出多个标识区域；
将多个标识区域与模型库中的样本标识区域进行匹配，以从多个标识区域确定目标标识区域；
识别所述目标标识区域，获取对应的虚拟规划对象模型，虚拟规划对象模型包括：绿化带、停车场所、路灯、垃圾站和/或公共休闲设施；
将所述虚拟规划对象模型与所述真实场景图像进行融合，以实时输出增强现实画面。
相应地，本申请实施例还提供一种基于增强现实的小区规划系统，包括：
图像获取模块，用于通过摄像头获取真实场景图像；
处理模块，用于对所述真实场景图像进行处理，确定出多个标识区域；
匹配模块，用于将多个标识区域与模型库中的样本标识区域进行匹配，以从多个标识区域确定目标标识区域；
模型获取模块，用于识别所述目标标识区域，获取对应的虚拟规划对象模型；
融合模块，用于将所述虚拟规划对象模型与所述真实场景图像进行融合，以实时输出增强现实画面。
本申请实施例提供的基于增强现实的小区规划方法和系统，通过摄像头获取真实场景图像；对所述真实场景图像进行处理，确定出多个标识区域；将多个标识区域与模型库中的样本标识区域进行匹配，以从多个标识区域确定目标标识区域；识别所述目标标识区域，获取对应的虚拟规划对象模型，虚拟规划对象模型包括：绿化带、停车场所、路灯、垃圾站和/或公共休闲设施；将所述虚拟规划对象模型与所述真实场景图像进行融合，以实时输出增强现实画面。该方案可通过用户视点所识别到的标识区域匹配相应的虚拟规划对象模型与真实场景融合，提高了小区规划的演示效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于增强现实的小区规划方法的一种流程示意图。
图2是本申请实施例提供的基于增强现实的小区规划方法的一种应用场景示意图。
图3是本申请实施例提供的基于增强现实的小区规划系统的另一种应用场景示意图。
图4是本申请实施例提供的基于增强现实的小区规划系统的一种架构示意图。
图5是本申请实施例提供的基于增强现实的小区规划系统的第一种结构示意图。
图6是本申请实施例提供的基于增强现实的小区规划系统的第二种结构示意图。
图7是本申请实施例提供的基于增强现实的小区规划系统的第三种结构示意图。
图8是本申请实施例提供的基于增强现实的小区规划系统的第四种结构示意图。
图9是本申请实施例提供的基于增强现实的小区规划系统的第五种结构示意图。
图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种基于增强现实的小区规划方法和系统。以下将分别进行详细说明。
参考图1～4，图1是本申请实施例提供的基于增强现实的小区规划方法的一种流程示意图。图2是本申请实施例提供的基于增强现实的小区规划方法的一种应用场景示意图。图3是本申请实施例提供的基于增强现实的小区规划系统的另一种应用场景示意图。图4是本申请实施例提供的基于增强现实的小区规划系统的一种架构示意图。
在一实施例中，提供一种基于增强现实的小区规划方法。如图1所示，该方法流程可以如下：
101、通过摄像头获取真实场景图像。
在一些实施例中，摄像机可被安置在头盔式显示器的顶部，可以随使用者头部在规划空间范围内随意移动，图像通过分频器分别传送到头盔式显示器和台式显示器上。统同时支持多头盔显示器工作模式，此模式下台式显示器的画面可以在多个摄像头之间进行切换，使用户能够从多个角度观察规划效果。
具体地，本申请实施例中，摄像头所获取的真实场景图像可包括：一部分是反映城市真实环境的资源，如城市地图、沙盘模型等；另一部分是代表虚拟规划对象的平面标识。
102、对该真实场景图像进行处理，确定出多个标识区域。
本申请实施例中，确定标识区域的方式可以由多种，比如，步骤“对该真实场景图像进行处理，确定出多个标识区域”可以包括以下流程：
对真实场景图像进行二值化处理，以得到二值图像；
从二值图像中提取具有目标图像特征的图像区域作为标识区域，以得到多个标识区域。
具体地，可实时获取真实场景的色彩图像和深度图像，将采集到的色彩图像转换成二值图像(即黑白图像)。然后对该二值图像进行连通域分析，通过图像识别技术从中提取具有目标图像特征的图像区域，以作为标识区域。其中，该目标图像特征可以由规划者进行设定，可包括颜色特征、纹理特征、形状特征和/或空间关系特征。
比如，该目标图像特征可以为形状特征，具体可以是四边形、圆形等等。示例性的，参考图2和图3，标识区域可以真实场景中呈四边形的区域。
103、将多个标识区域与模型库中的样本标识区域进行匹配，以从多个标识区域确定目标标识区域。
为了能够同时表现不同的规划对象，可设计不同的标识区域以对应不同的虚拟规划对象模型。用户可以按照需要随意调整虚拟规划对象模型的位置，以实现不同的规划方案。
在本申请实施例中，需预先构建虚拟模型库。也即，在通过摄像头获取真实场景图像之前，该方法还可以包括：
对多个真实对象进行三维建模，得到多个样本虚拟规划对象模型；
在真实场景中设定多个样本标识区域；
建立样本虚拟规划对象模型与样本标识区域之间的映射关系，基于多个样本虚拟规划对象模型、多个样本标识区域、及映射关系，以构建虚拟模型库。
具体实施时，可通过三维制作软件(如3DS max)在虚拟三维空间构建出具有三维数据的立体模型，如图2所示的虚拟模型库中的“楼层”“树”。
104、识别目标标识区域，获取对应的虚拟规划对象模型，虚拟规划对象模型包括：绿化带、停车场所、路灯、垃圾站和/或公共休闲设施。
在一些实施例中，可通过虚拟模型库中样本模型规划对象模型与样本标识区域之间的映射关系，获取所需要的虚拟规划对象模型。也即，步骤“识别目标标识区域，获取对应的虚拟规划对象模型”可以包括以下流程：
识别目标标识区域的形态特征；
根据形态特征从虚拟模型库确定与目标标识区域匹配的样本标识区域；
根据该映射关系，获取与该匹配的样本标识区域对应的样本虚拟规划对象模型，以作为目标标识区域对应的虚拟规划对象模型。
其中，由于从不同视点或视角出发，观看同一物体会呈现不同的画面效果，因而将形成不同的形态特征。
105、将虚拟规划对象模型与真实场景图像进行融合，以实时输出增强现实画面。
实际应用中，规划者可通过头戴式显示器观看到规划效果，通过移动摄像头可实时切换虚实结合的增强现实画面。本申请实施例中，头戴式显示器可与电脑主机进行无线连接，以方便规划者在走动过程中观看小区规划效果图。
在一些实施例中，步骤“将虚拟规划对象模型与真实场景图像进行融合，以实时输出增强现实画面”可以包括以下流程：
基于三维注册算法实时检测摄像头在真实场景中位置和姿态；
根据所述位置和姿态，确定虚拟规划对象模型在显示屏中的显示位置；
将虚拟规划对象模型显示于显示位置上，以与真实场景图像进行融合。
具体地，由于从不同视点或视角出发，观看同一物体会呈现不同的画面效果，因此，可通过该标识区域的变形(即形态特征)计算摄像头在真实场景中相对于已知标识区域的位置和姿态。
三维注册又称为虚实配准，可实时地检测摄像机相对于真实世界的位置和姿态，使计算机能够根据这些信息确定所要添加的虚拟信息在投影平面中的映射位置，并将这些虚拟信息实时显示在显示屏的正确位置上。
三维注册问题可归结为世界坐标系与摄像机坐标系之间三维变换矩阵的求解，系统坐标变换关系如图3所示，其中世界坐标系与标识坐标系重合，三维注册转化为摄像机坐标系与标识(世界)坐标系之间三维变换矩阵的求解。
由图3及透视投影基本原理，屏幕坐标系与世界坐标系之间的变换关系可用式(1)表示，其中λ为比例因子，C为未知摄像头内参矩阵，Tcm为待求三维注册矩阵，R1、R2、R3为旋转分量，T为平移分量。假设主点(u0,v0)值为(0,0)。
由于规定标识平面与世界坐标系下的z＝0平面重合，上式可改写为式(2)，如下：
如果已知世界坐标系中的4个非共线点及其在屏幕坐标系中对应点的位置，可以利用式(2)和奇异值分解法求得矩阵H的值，利用标识的4个角点完成上述运算。问题转化为如何根据H求取三维变换矩阵Tcm。
由变换矩阵旋转分量的正交性可得式(3)、式(4)及式(5)，如下：
r11r12十r21r22十r31r32＝0 (5)
由以上三式及H可求出fu、fv，进而恢复出比例因子λ。
利用以上各步获取的参数以及坐标轴间的正交性可以恢复出三维注册矩阵Tcm。
事实上由于不可能完全避免成像畸变以及图像处理过程中的误差，上述方法求得的Tcm是不够精确的。作者的解决办法是利用上述方法求取第1帧图像的三维变换矩阵，在后面的计算过程中采用非线性最小二乘法求取后续帧的变换距阵。计算公式见式(9)，如下：
其中，为根据上一帧Tcm和式(1)求得的标识4个角点在屏幕坐标系下的位置。(xci,yci)(0,1,3)＝为实时检测到的标识角点在图像中的位置。利用勒温伯格-马阔特方法求解式(9)。
在相关技术中，基于虚拟现实的规划系统中的场景完全由计算机生成，随着绘制场景真实程度的提高，对系统硬件配置的要求也相应提高。从而形成了绘制效果和实时性两个同等重要又难以同时解决的问题。而本申请实施例中主体是来源于真实世界的图像，虚拟模型只起到辅助作用，因此对硬件配置要求较低。
实际应用中，交互方式直观、自然，鼠标、键盘等传统输入设备并没有提供给用户一种直观自然的交互方式，而数据手套等外围设备不仅使用起来不方便，而且对工作范围也有一定的限制。因此，本申请实施例中采用平面标识块作为人机交互的核心，使得用户可以用一种接近于自然的方式与系统交互，从而大大提高了系统的可用性。小区规划需要在真实空间中构建小区的未来景象，增强现实技术能够将真实场景和设计对象有效的进行融合。以平面标识区域为核心的增强现实设计系统使住宅小区设计者能够方便的进行虚实交互、人机交互。
由上可知，本申请实施例提供了一种基于增强现实的小区规划方法，通过摄像头获取真实场景图像；对所述真实场景图像进行处理，确定出多个标识区域；将多个标识区域与模型库中的样本标识区域进行匹配，以从多个标识区域确定目标标识区域；识别所述目标标识区域，获取对应的虚拟规划对象模型，虚拟规划对象模型包括：绿化带、停车场所、路灯、垃圾站和/或公共休闲设施；将所述虚拟规划对象模型与所述真实场景图像进行融合，以实时输出增强现实画面。该方案可通过用户视点所识别到的标识区域匹配相应的虚拟规划对象模型与真实场景融合，提高了小区规划的演示效果。
在本申请又一实施例中，还提供一种基于增强现实的小区规划系统。该系统的工作流程可如图4所示，首先将实时采集到的真实场景图像转换成二值图像，然后对该二值图像进行处理提取图像特征，找出其中所有的标识区域作为候选匹配区域。然后，将每一候选区域与虚拟模板库中的模型进行匹配，如果产生匹配，则系统认为找到了一个目标标识区域。接着，利用该标识区域的变形来计算摄像机相对于已知标识的位置和姿态，然后调用与该标识相对应的虚拟规划对象模型实现虚实之间的无缝融合。系统最后将虚实结合的增强现实画面输出到显示器上供使用者观看。
在一些实施例中，如图5所示，该基于增强现实的小区规划系统400可以包括图像获取模块41、处理模块42、匹配模块43、模型过去模块44以及融合模块45，其中：
图像获取模块41，用于通过摄像头获取真实场景图像；
处理模块42，用于对所述真实场景图像进行处理，确定出多个标识区域；
匹配模块43，用于将多个标识区域与模型库中的样本标识区域进行匹配，以从多个标识区域确定目标标识区域；
模型获取模块44，用于识别所述目标标识区域，获取对应的虚拟规划对象模型；
融合模块45，用于将所述虚拟规划对象模型与所述真实场景图像进行融合，以实时输出增强现实画面。
在一些实施例中，参考图6，处理模块42可以包括：
处理子模块421，用于对所述真实场景图像进行二值化处理，以得到二值图像；
提取子模块422，用于从所述二值图像中提取具有目标图像特征的图像区域作为标识区域，以得到多个标识区域。
在一些实施例中，参考图7，融合模块45可以包括：
检测子模块451，用于基于三维注册算法实时检测摄像头在真实场景中位置和姿态；
确定子模块452，用于根据所述位置和所述姿态，确定所述虚拟规划对象模型在显示屏中的显示位置；
融合子模块453，用于将所述虚拟规划对象模型显示于所述显示位置上，以与所述真实场景图像进行融合。
在一些实施例中，参考图8，该小区规划系统40还可包括：
模型构建模块46，用于在通过摄像头获取真实场景图像之前，对多个真实对象进行三维建模，得到多个样本虚拟规划对象模型；
设定模块47，用于在真实场景中设定多个样本标识区域；
数据库构建模块48，用于建立所述样本虚拟规划对象模型与所述样本标识区域之间的映射关系，基于所述多个样本虚拟规划对象模型、多个样本标识区域、及所述映射关系，以构建虚拟模型库。
在一些实施例中，参考图9，模型获取模块44可以包括：
识别子模块441，用于识别目标标识区域的形态特征；
匹配子模块442，用于根据所述形态特征从虚拟模型库确定与目标标识区域匹配的样本标识区域；
获取子模块443，用于根据所述映射关系，获取与所述匹配的样本标识区域对应的样本虚拟规划对象模型，以作为目标标识区域对应的虚拟规划对象模型。
由上可知，本申请实施例提供了一种基于增强现实的小区规划系统，通过摄像头获取真实场景图像；对所述真实场景图像进行处理，确定出多个标识区域；将多个标识区域与模型库中的样本标识区域进行匹配，以从多个标识区域确定目标标识区域；识别所述目标标识区域，获取对应的虚拟规划对象模型，虚拟规划对象模型包括：绿化带、停车场所、路灯、垃圾站和/或公共休闲设施；将所述虚拟规划对象模型与所述真实场景图像进行融合，以实时输出增强现实画面。该方案可通过用户视点所识别到的标识区域匹配相应的虚拟规划对象模型与真实场景融合，提高了小区规划的演示效果。
相应地，本申请实施例还提供一种电子设备500，该电子设备500具体可以是智能手机、平板电脑等终端设备。如图10所示，该电子设备500可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、通讯单元503、电源504、输入单元505、以及显示单元506等部件。本领域技术人员可以理解，图10中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器501是该电子设备500的控制中心，利用各种接口和线路连接整个电子设备500的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行电子设备500的各种功能和处理数据，从而对电子设备500进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块。处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。
通讯单元503可用于收发信息过程中，信号的接收和发送，特别地，通讯单元503接收终端发送的信号，并将该数据获取请求交由一个或者一个以上处理器501处理。同时，通讯单元503将处理器501发出的反馈信号发送给服务器。
电子设备500还包括给各个部件供电的电源504(比如电池)。优选的，电源可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源504还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备500还可包括输入单元505，该输入单元505可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备500还可包括显示单元506，该显示单元506可用于显示由用户输入的信息或提供给用户的信息以及电子设备500的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元508可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
在描述本申请的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中)，应该将这些术语解释为既涵盖单数又涵盖复数。此外，除非本文中另有说明，否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值，而每个独立的值都并入本说明书中，就像这些值在本文中单独进行了陈述一样。另外，除非本文中另有指明或上下文有明确的相反提示，否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本申请的改变并不限于描述的步骤顺序。除非另外主张，否则使用本文中所提供的任何以及所有实例或示例性语言(例如，“例如”)都仅仅为了更好地说明本申请的概念，而并非对本申请的概念的范围加以限制。
以上对本申请实施例所提供的一种基于增强现实的小区规划方法和系统进行了详细介绍。应理解，本文所述的示例性实施方式应仅被认为是描述性的，用于帮助理解本申请的方法及其核心思想，而并不用于限制本申请。在每个示例性实施方式中对特征或方面的描述通常应被视作适用于其他示例性实施例中的类似特征或方面。尽管参考示例性实施例描述了本申请，但可建议所属领域的技术人员进行各种变化和更改。本申请意图涵盖所附权利要求书的范围内的这些变化和更改。
Claims (10)
1.一种基于增强现实的小区规划方法，其特征在于，包括：
通过摄像头获取真实场景图像；
对所述真实场景图像进行处理，确定出多个标识区域；
将多个标识区域与模型库中的样本标识区域进行匹配，以从多个标识区域确定目标标识区域；
识别所述目标标识区域，获取对应的虚拟规划对象模型，虚拟规划对象模型包括：绿化带、停车场所、路灯、垃圾站和/或公共休闲设施；
将所述虚拟规划对象模型与所述真实场景图像进行融合，以实时输出增强现实画面。
2.如权利要求1所述的基于增强现实的小区规划方法，其特征在于，对所述真实场景图像进行处理，确定出多个标识区域的步骤，包括:
对所述真实场景图像进行二值化处理，以得到二值图像；
从所述二值图像中提取具有目标图像特征的图像区域作为标识区域，以得到多个标识区域。
3.如权利要求1所述的基于增强现实的小区规划方法，其特征在于，将所述虚拟规划对象模型与所述真实场景图像进行融合的步骤，包括：
基于三维注册算法实时检测摄像头在真实场景中位置和姿态；
根据所述位置和所述姿态，确定所述虚拟规划对象模型在显示屏中的显示位置；
将所述虚拟规划对象模型显示于所述显示位置上，以与所述真实场景图像进行融合。
4.如权利要求1所述的基于增强现实的小区规划方法，其特征在于，在通过摄像头获取真实场景图像之前，所述方法还包括：
对多个真实对象进行三维建模，得到多个样本虚拟规划对象模型；
在真实场景中设定多个样本标识区域；
建立所述样本虚拟规划对象模型与所述样本标识区域之间的映射关系，基于所述多个样本虚拟规划对象模型、多个样本标识区域、及所述映射关系，以构建虚拟模型库。
5.如权利要求4所述的基于增强现实的小区规划方法，其特征在于，识别所述目标标识区域，获取对应的虚拟规划对象模型的步骤，包括：
识别目标标识区域的形态特征；
根据所述形态特征从虚拟模型库确定与目标标识区域匹配的样本标识区域；
根据所述映射关系，获取与所述匹配的样本标识区域对应的样本虚拟规划对象模型，以作为目标标识区域对应的虚拟规划对象模型。
6.一种基于增强现实的小区规划系统，其特征在于，包括：
图像获取模块，用于通过摄像头获取真实场景图像；
处理模块，用于对所述真实场景图像进行处理，确定出多个标识区域；
匹配模块，用于将多个标识区域与模型库中的样本标识区域进行匹配，以从多个标识区域确定目标标识区域；
模型获取模块，用于识别所述目标标识区域，获取对应的虚拟规划对象模型；
融合模块，用于将所述虚拟规划对象模型与所述真实场景图像进行融合，以实时输出增强现实画面。
7.如权利要求6所述的基于增强现实的小区规划系统，其特征在于，所述处理模块包括：
处理子模块，用于对所述真实场景图像进行二值化处理，以得到二值图像；
提取子模块，用于从所述二值图像中提取具有目标图像特征的图像区域作为标识区域，以得到多个标识区域。
8.如权利要求7所述的基于增强现实的小区规划系统，其特征在于，所述融合模块包括：
检测子模块，用于基于三维注册算法实时检测摄像头在真实场景中位置和姿态；
确定子模块，用于根据所述位置和所述姿态，确定所述虚拟规划对象模型在显示屏中的显示位置；
融合子模块，用于将所述虚拟规划对象模型显示于所述显示位置上，以与所述真实场景图像进行融合。
9.如权利要求6所述的基于增强现实的小区规划系统，其特征在于，所述系统还包括：
模型构建模块，用于在通过摄像头获取真实场景图像之前，对多个真实对象进行三维建模，得到多个样本虚拟规划对象模型；
设定模块，用于在真实场景中设定多个样本标识区域；
数据库构建模块，用于建立所述样本虚拟规划对象模型与所述样本标识区域之间的映射关系，基于所述多个样本虚拟规划对象模型、多个样本标识区域、及所述映射关系，以构建虚拟模型库。
10.如权利要求9所述的基于增强现实的小区规划系统，其特征在于，所述模型获取模块包括：
识别子模块，用于识别目标标识区域的形态特征；
匹配子模块，用于根据所述形态特征从虚拟模型库确定与目标标识区域匹配的样本标识区域；
模型获取子模块，用于根据所述映射关系，获取与所述匹配的样本标识区域对应的样本虚拟规划对象模型，以作为目标标识区域对应的虚拟规划对象模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710972958.0A CN109685905A (zh) | 2017-10-18 | 2017-10-18 | 基于增强现实的小区规划方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710972958.0A CN109685905A (zh) | 2017-10-18 | 2017-10-18 | 基于增强现实的小区规划方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109685905A true CN109685905A (zh) | 2019-04-26 |
Family
ID=66182962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710972958.0A Pending CN109685905A (zh) | 2017-10-18 | 2017-10-18 | 基于增强现实的小区规划方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109685905A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110436082A (zh) * | 2019-08-08 | 2019-11-12 | 上海萃钛智能科技有限公司 | 一种智能垃圾分类识别提示装置、系统和方法 |
| CN110879979A (zh) * | 2019-11-13 | 2020-03-13 | 泉州师范学院 | 一种基于移动终端的增强现实系统 |
| CN111142673A (zh) * | 2019-12-31 | 2020-05-12 | 维沃移动通信有限公司 | 场景切换方法及头戴式电子设备 |
| CN111653175A (zh) * | 2020-06-09 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
| CN111710017A (zh) * | 2020-06-05 | 2020-09-25 | 北京有竹居网络技术有限公司 | 展示方法、装置和电子设备 |
| CN112187502A (zh) * | 2019-07-05 | 2021-01-05 | 中国移动通信集团河南有限公司 | 一种深度覆盖需求定位的方法 |
| CN112396688A (zh) * | 2019-08-14 | 2021-02-23 | 杭州海康威视数字技术股份有限公司 | 一种三维虚拟场景的生成方法及装置 |
| CN113934297A (zh) * | 2021-10-13 | 2022-01-14 | 西交利物浦大学 | 一种基于增强现实的交互方法、装置、电子设备及介质 |
| WO2022160406A1 (zh) * | 2021-01-29 | 2022-08-04 | 深圳技术大学 | 基于增强现实技术的物联网实训系统的实现方法及系统 |
| CN115793864A (zh) * | 2023-02-09 | 2023-03-14 | 宏景科技股份有限公司 | 一种虚拟现实响应装置、方法及存储介质 |
| CN115951806A (zh) * | 2022-11-01 | 2023-04-11 | 金华八达集团有限公司监理分公司 | 一种基于ar技术的施工场景识别方法及终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8466915B1 (en) * | 2010-06-15 | 2013-06-18 | Google Inc. | Fusion of ground-based facade models with 3D building models |
| US20140002444A1 (en) * | 2012-06-29 | 2014-01-02 | Darren Bennett | Configuring an interaction zone within an augmented reality environment |
| WO2014169692A1 (en) * | 2013-04-15 | 2014-10-23 | Tencent Technology (Shenzhen) Company Limited | Method,device and storage medium for implementing augmented reality |
| CN106249881A (zh) * | 2016-07-21 | 2016-12-21 | 江苏奥格视特信息科技有限公司 | 增强现实视场空间和虚拟三维目标动态配准方法 |
-
2017
- 2017-10-18 CN CN201710972958.0A patent/CN109685905A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8466915B1 (en) * | 2010-06-15 | 2013-06-18 | Google Inc. | Fusion of ground-based facade models with 3D building models |
| US20140002444A1 (en) * | 2012-06-29 | 2014-01-02 | Darren Bennett | Configuring an interaction zone within an augmented reality environment |
| WO2014169692A1 (en) * | 2013-04-15 | 2014-10-23 | Tencent Technology (Shenzhen) Company Limited | Method,device and storage medium for implementing augmented reality |
| CN106249881A (zh) * | 2016-07-21 | 2016-12-21 | 江苏奥格视特信息科技有限公司 | 增强现实视场空间和虚拟三维目标动态配准方法 |
Non-Patent Citations (1)
| Title |
|---|
| 管涛等: "增强现实在小区规划中的应用研究", 《工程图学学报》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112187502A (zh) * | 2019-07-05 | 2021-01-05 | 中国移动通信集团河南有限公司 | 一种深度覆盖需求定位的方法 |
| CN110436082A (zh) * | 2019-08-08 | 2019-11-12 | 上海萃钛智能科技有限公司 | 一种智能垃圾分类识别提示装置、系统和方法 |
| CN112396688B (zh) * | 2019-08-14 | 2023-09-26 | 杭州海康威视数字技术股份有限公司 | 一种三维虚拟场景的生成方法及装置 |
| CN112396688A (zh) * | 2019-08-14 | 2021-02-23 | 杭州海康威视数字技术股份有限公司 | 一种三维虚拟场景的生成方法及装置 |
| CN110879979A (zh) * | 2019-11-13 | 2020-03-13 | 泉州师范学院 | 一种基于移动终端的增强现实系统 |
| CN110879979B (zh) * | 2019-11-13 | 2024-01-02 | 泉州师范学院 | 一种基于移动终端的增强现实系统 |
| CN111142673A (zh) * | 2019-12-31 | 2020-05-12 | 维沃移动通信有限公司 | 场景切换方法及头戴式电子设备 |
| CN111710017A (zh) * | 2020-06-05 | 2020-09-25 | 北京有竹居网络技术有限公司 | 展示方法、装置和电子设备 |
| CN111653175B (zh) * | 2020-06-09 | 2022-08-16 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
| CN111653175A (zh) * | 2020-06-09 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
| WO2022160406A1 (zh) * | 2021-01-29 | 2022-08-04 | 深圳技术大学 | 基于增强现实技术的物联网实训系统的实现方法及系统 |
| CN113934297A (zh) * | 2021-10-13 | 2022-01-14 | 西交利物浦大学 | 一种基于增强现实的交互方法、装置、电子设备及介质 |
| CN113934297B (zh) * | 2021-10-13 | 2024-05-31 | 西交利物浦大学 | 一种基于增强现实的交互方法、装置、电子设备及介质 |
| CN115951806A (zh) * | 2022-11-01 | 2023-04-11 | 金华八达集团有限公司监理分公司 | 一种基于ar技术的施工场景识别方法及终端 |
| CN115951806B (zh) * | 2022-11-01 | 2024-06-07 | 金华八达集团有限公司监理分公司 | 一种基于ar技术的施工场景识别方法及终端 |
| CN115793864A (zh) * | 2023-02-09 | 2023-03-14 | 宏景科技股份有限公司 | 一种虚拟现实响应装置、方法及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685905A (zh) | 基于增强现实的小区规划方法和系统 | |
| US11762475B2 (en) | AR scenario-based gesture interaction method, storage medium, and communication terminal | |
| WO2020010979A1 (zh) | 手部关键点的识别模型训练方法、识别方法及设备 | |
| JP5799521B2 (ja) | 情報処理装置、オーサリング方法及びプログラム | |
| US8751969B2 (en) | Information processor, processing method and program for displaying a virtual image | |
| CN104765905B (zh) | 基于bim的平面图和第一视角分屏同步显示方法和系统 | |
| CN108388882B (zh) | 基于全局-局部rgb-d多模态的手势识别方法 | |
| WO2020029554A1 (zh) | 增强现实多平面模型动画交互方法、装置、设备及存储介质 | |
| CN106355153A (zh) | 一种基于增强现实的虚拟对象显示方法、装置以及系统 | |
| CN110473293A (zh) | 虚拟对象处理方法及装置、存储介质和电子设备 | |
| CN110378947A (zh) | 3d模型重建方法、装置及电子设备 | |
| CN106204746A (zh) | 一种可实现3d模型实时上色的增强现实系统 | |
| CN112927330B (zh) | 用于生成虚拟人体图像的方法和系统 | |
| Liu et al. | Skeleton tracking based on Kinect camera and the application in virtual reality system | |
| CN113989462A (zh) | 一种基于增强现实的铁路信号室内设备维护系统 | |
| CN109427102B (zh) | 基于增强现实的教程演示方法和装置 | |
| JP2014102685A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| WO2023151271A1 (zh) | 模型展示方法、装置、电子设备及存储介质 | |
| KR101850134B1 (ko) | 3차원 동작 모델 생성 방법 및 장치 | |
| CN112348965B (zh) | 成像方法、装置、电子设备及可读存储介质 | |
| CN116029912A (zh) | 图像处理模型的训练、图像处理方法、装置、设备及介质 | |
| Han et al. | The application of augmented reality technology on museum exhibition—a museum display project in Mawangdui Han dynasty tombs | |
| Shi et al. | Error elimination method in moving target tracking in real-time augmented reality | |
| CN110363860B (zh) | 3d模型重建方法、装置及电子设备 | |
| Song et al. | Landscape Fusion Method Based on Augmented Reality and Multiview Reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190426 |