CN107943301A - 一种基于ar技术的购房观赏体验系统 - Google Patents
一种基于ar技术的购房观赏体验系统 Download PDFInfo
- Publication number
- CN107943301A CN107943301A CN201711365316.0A CN201711365316A CN107943301A CN 107943301 A CN107943301 A CN 107943301A CN 201711365316 A CN201711365316 A CN 201711365316A CN 107943301 A CN107943301 A CN 107943301A
- Authority
- CN
- China
- Prior art keywords
- house
- virtual objects
- information
- admired
- viewed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于AR技术的购房观赏体验系统，包括：采集单元、接收所述采集单元传送的图像信息的处理单元，接收处理单元传送的数据信息的虚拟对象重建单元、显示单元和终端服务器。通过本系统商家可以将该系统集成在用户的手机的APP上，用户运行该AR看房APP通过选择亲眼看房选项，将摄像头对准宣传册上的房屋，手机屏幕上即生成该房屋的虚拟现实3D立体模型，用户可以通过触摸屏幕、在屏幕上进行点击、移动旋转等操作控制虚拟对象的运转动作，使客户可以从多个角度全面的了解到房屋或者是楼盘的全方位信息，即实现3D立体布局一览无余、视觉角度从高空至近景全覆盖的效果。
Description
技术领域
本发明涉及增强现实和驾驶体验领域，尤其涉及一种基于AR技术的购房观赏体验系统。
背景技术
AR是实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。除了看清楚你自己的世界，还可以亲身体验别人的世界，这就是增强现实(AR)技术带来的冲击效果之一。这种技术1990年提出。随着随身电子产品CPU运算能力的提升，预期增强现实的用途将会越来越广。目前通过AR技术与视频图像算法、视频压缩及传输、云计算、大数据等科学技术的深度融合，视频监控系统作为关键性内容的输入端和图像、数据的处理端，立足VR/AR用户体验，可以有效针对虚拟现实场景，强化其内容拼接、色差消除、景深调整、数据处理、结构化数据提取和分析等技术处理效果，为用户提供浸入式的视频感知体验，助力AR产品实现良好的体感交互，为视频监控行业创造出崭新的行业应用和市场需求，推动视频监控系统在民用、商用等领域得到更为广泛的应用。
目前在房地产销售中如果客户想了解一家地产的楼盘或者想观看一下想要购买的房源时需要亲自去房源现场仔细查看，并且在查看过程中需要了解和勘测房子朝向、布局结构、周围环境等等，传统的房地产销售只能依靠平面的图文以及销售员的一张嘴，容易给客户带来欺骗的感觉和误区。
发明内容
根据现有技术存在的问题，本发明公开了一种基于AR技术的购房观赏体验系统，具体方案为：
采集宣传单上房屋的结构框架信息的采集单元；
接收所述采集单元传送的图像信息的处理单元，所述处理单元提取该图像信息中房屋的轮廓信息、特征点信息以及建立该图像的线性光谱混合模型；
接收所述处理单元传送的数据信息的虚拟对象重建单元，所述虚拟对象重建单元读取其内部存储的房屋框架模型将处理单元传送的原始图像的特征点信息和线性光谱混合模型叠加在房屋框架模型上构建三维空间下的虚拟对象；
该系统还包括与所述虚拟对象重建单元实时数据通信的终端服务器，所述终端服务器内存储有多个房屋对应的3D图库和每个房源对应的宣传片，其中该3D图库包括多个空间下的360°全景图像，其中该宣传片包括视频信息和文字信息，所述终端服务器将其内部存储的视频信息传送至虚拟对象重建单元内将视频信息与虚拟对象进行融合式处理；
接收所述虚拟对象重建单元传送的虚拟对象信息进行3D效果展示的显示单元。
所述虚拟对象重建单元内设置有色差补偿模块，所述虚拟对象重建单元读取处理单元传送的原始图像的参考亮度值，所述色差补偿模块根据该参考亮度值对建立的虚拟对象进行色差的调整，直至虚拟对象的像素达到设定要求为止。
所述线性光谱混合模型采用如下方式表示：
其中：r是混合像元中任意的l维光谱向量，p是端元个数，M＝[m1,m2,....mp]是大小为l*p的端元光谱矩阵，α是p维矢量系数，其各分量元素是混合像元r中端元mi的丰度,e为l维矢量，表示模型误差项。
所述显示单元中设置有角速度传感器，所述角速度传感器实时读取用户在观看视频时输入的动作信息，根据动作信息控制视频中虚拟对象的动作。
所述角速度传感器至少包括陀螺仪。
所述用户在观看视频时输入的动作信息包括手指动作和眼球动作，所述角速度传感器根据指尖力度大小的不同和眼球的转动方向输出多种对虚拟对象的动作控制指令。
由于采用了上述技术方案，本发明提供的一种基于AR技术的购房观赏体验系统，通过采集卖房宣传单上的房屋的图像信息然后建立该房屋三维空间下的虚拟对象，利用3D虚拟现实技术，将AR眼镜或、摄像头、三维陀螺仪等设备应用到购房体验中，使用户可以观看到全方位多角度的房屋或者楼盘的拟真信息，用户可以观看到样板房、实景房周围的环境信息、配置信息、装修风格信息和设计信息等等，让客户对未来的家有更全面深入的了解。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明系统的结构示意图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1所示的一种基于AR技术的购房观赏体验系统，包括：
采集宣传单上房屋的结构框架信息的采集单元；
接收所述采集单元传送的图像信息的处理单元，所述处理单元提取该图像信息中房屋的轮廓信息、特征点信息以及建立该图像的线性光谱混合模型；
接收所述处理单元传送的数据信息的虚拟对象重建单元，所述虚拟对象重建单元读取其内部存储的房屋框架模型将处理单元传送的原始图像的特征点信息和线性光谱混合模型叠加在房屋框架模型上构建三维空间下的虚拟对象；
该系统还包括与所述虚拟对象重建单元实时数据通信的终端服务器，所述终端服务器内存储有多个房屋对应的3D图库和每个房源对应的宣传片，其中该3D图库包括多个空间下的360°全景图像，其中该宣传片包括视频信息和文字信息，所述终端服务器将其内部存储的视频信息传送至虚拟对象重建单元内将视频信息与虚拟对象进行融合式处理；
接收所述虚拟对象重建单元传送的虚拟对象信息进行3D效果展示的显示单元。本系统中用户不仅可以看见扫描图像的中房屋的虚拟对象还可以看见终端服务器内存储的其他的房源信息，使客户有更大的选择空间。
所述虚拟对象重建单元内设置有色差补偿模块，所述虚拟对象重建单元读取处理单元传送的原始图像的参考亮度值，所述色差补偿模块根据该参考亮度值对建立的虚拟对象进行色差的调整，直至虚拟对象的像素达到设定要求为止。
进一步的，所述线性光谱混合模型采用如下方式表示：
其中：r是混合像元中任意的l维光谱向量，p是端元个数，M＝[m1,m2,....mp]是大小为l*p的端元光谱矩阵，α是p维矢量系数，其各分量元素是混合像元r中端元mi的丰度,e为l维矢量，表示模型误差项。通过建立图像的线性光谱混合模型根据该模型建立对应的虚拟对象，这样建立的虚拟对象中的特征点信息与真实图像的信息一致，即保证建立逼真的虚拟对象。
进一步的，所述显示单元中设置有角速度传感器，所述角速度传感器实时读取用户在观看视频时输入的动作信息，根据动作信息控制视频中虚拟对象的动作。
进一步的，所述角速度传感器至少包括陀螺仪。陀螺仪采用三维陀螺仪。
进一步的，所述用户在观看视频时输入的动作信息包括手指动作和眼球动作，所述角速度传感器根据指尖力度大小的不同和眼球的转动方向输出多种对虚拟对象的动作控制指令。例如力度如果比较大则控制虚拟对象进行360°旋转，力度适中则控制虚拟对象进行180°旋转，手指沿着一个方向运动则控制虚拟对象向这个方向平移。通过指尖的缩放即可实现角度的切换，用户在观看房源时候还可以配合动态效果，光影渲染等操作，使画面更加的精美细致。
本发明公开的一种基于AR技术的购房观赏体验系统，商家可以将该系统集成在用户的手机的APP上，用户运行该AR看房APP通过选择亲眼看房选项，将摄像头对准宣传册上的房屋，手机屏幕上即生成该房屋的虚拟现实3D立体模型，用户可以通过触摸屏幕、在屏幕上进行点击、移动旋转等操作控制虚拟对象的运转动作，使客户可以从多个角度全面的了解到房屋或者是楼盘的全方位信息，即实现3D立体布局一览无余、视觉角度从高空至近景全覆盖的效果。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于AR技术的购房观赏体验系统，其特征在于：包括：
采集宣传单上房屋的结构框架信息的采集单元；
接收所述采集单元传送的图像信息的处理单元，所述处理单元提取该图像信息中房屋的轮廓信息、特征点信息以及建立该图像的线性光谱混合模型；
接收所述处理单元传送的数据信息的虚拟对象重建单元，所述虚拟对象重建单元读取其内部存储的房屋框架模型将处理单元传送的原始图像的特征点信息和线性光谱混合模型叠加在房屋框架模型上构建三维空间下的虚拟对象；
该系统还包括与所述虚拟对象重建单元实时数据通信的终端服务器，所述终端服务器内存储有多个房屋对应的3D图库和每个房源对应的宣传片，其中该3D图库包括多个空间下的360°全景图像，其中该宣传片包括视频信息和文字信息，所述终端服务器将其内部存储的视频信息传送至虚拟对象重建单元内将视频信息与虚拟对象进行融合式处理；
接收所述虚拟对象重建单元传送的虚拟对象信息进行3D效果展示的显示单元。
2.根据权利要求1所述的一种基于AR技术的购房观赏体验系统，其特征还在于：所述虚拟对象重建单元内设置有色差补偿模块，所述虚拟对象重建单元读取处理单元传送的原始图像的参考亮度值，所述色差补偿模块根据该参考亮度值对建立的虚拟对象进行色差的调整，直至虚拟对象的像素达到设定要求为止。
3.根据权利要求1所述的一种基于AR技术的购房观赏体验系统，其特征还在于：所述线性光谱混合模型采用如下方式表示：
<mrow>
<mi>r</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>p</mi>
</munderover>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<mi>e</mi>
<mo>=</mo>
<mi>M</mi>
<mi>&alpha;</mi>
<mo>+</mo>
<mi>e</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中：r是混合像元中任意的l维光谱向量，p是端元个数，M＝[m1,m2,....mp]是大小为l*p的端元光谱矩阵，α是p维矢量系数，其各分量元素是混合像元r中端元mi的丰度,e为l维矢量，表示模型误差项。
4.根据权利要求1所述的一种基于AR技术的购房观赏体验系统，其特征还在于：所述显示单元中设置有角速度传感器，所述角速度传感器实时读取用户在观看视频时输入的动作信息，根据动作信息控制视频中虚拟对象的动作。
5.根据权利要求3所述的一种基于AR技术的购房观赏体验系统，其特征还在于：所述角速度传感器至少包括陀螺仪。
6.根据权利要求3所述的一种基于AR技术的购房观赏体验系统，其特征还在于：所述用户在观看视频时输入的动作信息包括手指动作和眼球动作，所述角速度传感器根据指尖力度大小的不同和眼球的转动方向输出多种对虚拟对象的动作控制指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711365316.0A CN107943301A (zh) | 2017-12-18 | 2017-12-18 | 一种基于ar技术的购房观赏体验系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711365316.0A CN107943301A (zh) | 2017-12-18 | 2017-12-18 | 一种基于ar技术的购房观赏体验系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107943301A true CN107943301A (zh) | 2018-04-20 |
Family
ID=61943751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711365316.0A Pending CN107943301A (zh) | 2017-12-18 | 2017-12-18 | 一种基于ar技术的购房观赏体验系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107943301A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109192111A (zh) * | 2018-10-19 | 2019-01-11 | 林辉 | 一种基于ar技术的景区参观的导览系统 |
| CN109545003A (zh) * | 2018-12-24 | 2019-03-29 | 北京卡路里信息技术有限公司 | 一种显示方法、装置、终端设备及存储介质 |
| CN109636464A (zh) * | 2018-12-11 | 2019-04-16 | 深圳市房多多网络科技有限公司 | 基于ar技术的智能找房方法及系统 |
| CN111885398A (zh) * | 2020-07-20 | 2020-11-03 | 贝壳技术有限公司 | 基于三维模型的交互方法、装置和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN206162689U (zh) * | 2016-08-24 | 2017-05-10 | 成都汉沙科技发展有限公司 | 一种楼盘互动展示系统 |
| CN106683197A (zh) * | 2017-01-11 | 2017-05-17 | 福建佳视数码文化发展有限公司 | 一种融合vr和ar技术的楼盘展示系统及其方法 |
-
2017
- 2017-12-18 CN CN201711365316.0A patent/CN107943301A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN206162689U (zh) * | 2016-08-24 | 2017-05-10 | 成都汉沙科技发展有限公司 | 一种楼盘互动展示系统 |
| CN106683197A (zh) * | 2017-01-11 | 2017-05-17 | 福建佳视数码文化发展有限公司 | 一种融合vr和ar技术的楼盘展示系统及其方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘代志: "《遥感地球物理与国家安全》", 31 December 2012 * |
| 郑月平: "增强现实中场景无缝融合技术的研究", 《万方数据库》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109192111A (zh) * | 2018-10-19 | 2019-01-11 | 林辉 | 一种基于ar技术的景区参观的导览系统 |
| CN109636464A (zh) * | 2018-12-11 | 2019-04-16 | 深圳市房多多网络科技有限公司 | 基于ar技术的智能找房方法及系统 |
| CN109545003A (zh) * | 2018-12-24 | 2019-03-29 | 北京卡路里信息技术有限公司 | 一种显示方法、装置、终端设备及存储介质 |
| CN111885398A (zh) * | 2020-07-20 | 2020-11-03 | 贝壳技术有限公司 | 基于三维模型的交互方法、装置和系统 |
| CN111885398B (zh) * | 2020-07-20 | 2021-12-07 | 贝壳找房(北京)科技有限公司 | 基于三维模型的交互方法、装置、系统、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106210861B (zh) | 显示弹幕的方法及系统 | |
| CN107943301A (zh) | 一种基于ar技术的购房观赏体验系统 | |
| CN108227916A (zh) | 用于确定沉浸式内容中的兴趣点的方法和设备 | |
| CN109478344A (zh) | 用于合成图像的方法和设备 | |
| US20090265661A1 (en) | Multi-resolution three-dimensional environment display | |
| CN109716757A (zh) | 用于沉浸式视频格式的方法、装置和流 | |
| JP2021520101A (ja) | ボリュメトリックビデオフォーマット用の方法、装置及びストリーム | |
| Hoberman et al. | Immersive training games for smartphone-based head mounted displays | |
| CN107005689B (zh) | 数字视频渲染 | |
| Ebner et al. | Multi‐view reconstruction of dynamic real‐world objects and their integration in augmented and virtual reality applications | |
| CN108174174A (zh) | Vr视频显示方法、装置及终端 | |
| CN114463470A (zh) | 虚拟空间浏览方法、装置、电子设备和可读存储介质 | |
| CN108419090A (zh) | 三维直播流展示系统和方法 | |
| CN116152416A (zh) | 基于扩展现实的画面渲染方法、装置及存储介质 | |
| Ekong et al. | Teacher-student vr telepresence with networked depth camera mesh and heterogeneous displays | |
| CN108008822A (zh) | 一种基于增强现实技术的商场体验系统 | |
| CN108022305A (zh) | 一种基于ar技术的看房体验系统 | |
| Kot et al. | Application of augmented reality in mobile robot teleoperation | |
| CN108364353A (zh) | 引导观看者观看场景的三维直播流的系统和方法 | |
| CN105893452B (zh) | 一种呈现多媒体信息的方法及装置 | |
| KR20190030938A (ko) | 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램 | |
| CN109636917B (zh) | 三维模型的生成方法、装置、硬件装置 | |
| CN111538920A (zh) | 内容的呈现方法及装置、系统、存储介质、电子装置 | |
| CN114779948B (zh) | 基于面部识别的动画人物即时交互控制方法、装置及设备 | |
| CN114972466A (zh) | 图像处理方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180420 |