CN109636907A - 一种基于ar眼镜的地形重建方法及系统 - Google Patents
一种基于ar眼镜的地形重建方法及系统 Download PDFInfo
- Publication number
- CN109636907A CN109636907A CN201811522311.9A CN201811522311A CN109636907A CN 109636907 A CN109636907 A CN 109636907A CN 201811522311 A CN201811522311 A CN 201811522311A CN 109636907 A CN109636907 A CN 109636907A
- Authority
- CN
- China
- Prior art keywords
- scene
- glasses
- acquisition
- image
- processing platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 31
- 239000000284 extract Substances 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- CCEKAJIANROZEO-UHFFFAOYSA-N sulfluramid Chemical group CCNS(=O)(=O)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)F CCEKAJIANROZEO-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于AR眼镜的地形重建方法及系统，所述方法包括如下步骤：步骤S1，利用AR眼镜获取多个场景视频，并将获得的场景视频传送至处理平台；步骤S2，于处理平台对获得的场景视频进行解码，提取所述场景视频的各个帧，并利用unity3D引擎将各个帧进行三维建模，获得对应时刻的有序的场景三维图像；步骤S3，对获取的有序的场景三维图像进行编码，并传输给指挥中心；步骤S4，指挥中心对获取的有序场景三维图像进行解码，并实时输出显示，通过本发明，指挥中心能够科学、有效地根据现场情况规划指挥方案。
Description
技术领域
本发明涉及AR(Augmented Reality，即增强现实)技术领域，特别是涉及一种基于AR眼镜的地形重建方法及系统。
背景技术
我国是世界上自然灾害最严重的国家之一，各种气象灾害、地质灾害和水火灾害等频繁发生。对社会的稳定，经济的发展，人民群众生命财产安全构成严重威胁。因此，如何建立防灾减灾的应急处理体系，有效地应对各种灾害和突发事件，已经引起从中央到地方各级政府部门高度重视。为最大限度地减少各类灾害事故带来的危害和损失，确保社会稳定和群众安全，迫切需要建立有效的灾害应急指挥管理系统。然而，海啸、地震、火山、飓风、山洪、泥石流、火灾等灾害往往具有突发性，且受灾现场信息量巨大，灾前预警分析、疏散抢救受灾群众、调集分配救灾物资等工作刻不容缓，救灾领导组需要在最短的时间内做出最正确的决策，对信息的处理能力和反应速度具有很高要求。如何使救灾指挥中心在第一时间获得最全面、最可靠、最直观的灾害现场信息，进而高效地部署，就成为了救灾减灾研究工作的重中之重。
当前指挥中心系统面对复杂外勤场景(如外勤现场地形和周边建筑环境)时无法有效反馈实时现场场景，对于指挥员部署现场产生一定的困难。
另一方面，随着智能计算机技术的发展，智能产品不断涌现，继智能手机、平板电脑之后，增强现实(AR)已有潜力成为下一个重大通用计算平台。AR头显设备是一种实现AR(Augmented Reality，即增强现实，也称之为混合现实)技术且可佩戴在人体头部进行展示的穿戴式设备，它通过计算机技术可将虚拟的信息叠加到真实世界，使真实的环境和虚拟的物体能够实时地叠加到同一个画面中，实现两种信息的相互补充，并通过诸如头盔显示其等设备在用户眼前进行画面展示，增强用户的现实感。例如由谷歌公司开发出的AR智能眼镜，其属于眼镜+摄像头+微处理器+微型摄影设备的结合体，可以将虚拟数据叠加到由摄像头采集到的实时图像中，并通过微型摄影设备在人体眼球前进行画面展示，从而可以实现多种应用功能，例如进行导航或显示周围建筑的参数等。
因此，若能利用AR眼镜及时获取现场场景，于指挥中心将现场场景还原成为3D场景，则必能提高指挥中心的部署效率。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种基于AR眼镜的地形重建方法及系统，以便指挥中心能够科学、有效地根据现场情况规划指挥方案。
为达上述目的，本发明提出一种基于AR眼镜的地形重建方法，包括如下步骤：
步骤S1，利用AR眼镜获取多个场景视频，并将获得的场景视频传送至处理平台；
步骤S2，于处理平台对获得的场景视频进行解码，提取所述场景视频的各个帧，并利用unity3D引擎将各个帧进行三维建模，获得对应时刻的有序的场景三维图像；
步骤S3，对获取的有序的场景三维图像进行编码，并传输给指挥中心；
步骤S4，指挥中心对获取的有序场景三维图像进行解码，并实时输出显示。
优选地，所述AR眼镜通过有线或无线方式将获得的场景视频传送至所述处理平台。
优选地，所述处理平台为Android平台。
为达到上述目的，本发明还提供一种基于AR眼镜的地形重建系统，包括：
AR眼镜，用于实时获取多个场景视频，并将获得的场景视频传送至处理平台；
处理平台，用于对获得的场景视频进行解码，提取所述场景视频的各个帧，并利用unity3D引擎将各个帧进行三维建模，获得对应时刻的有序的场景三维图像，并对获取的有序的场景三维图像进行编码，并传输给指挥中心；
指挥中心，用于对获取的有序场景三维图像进行解码，并实时输出显示。
优选地，所述AR眼镜通过有线或无线方式将获得的场景视频传送至所述处理平台。
优选地，所述处理平台为Android平台。
与现有技术相比，本发明一种基于AR眼镜的地形重建方法及系统通过利用unity3D可基于android的特性，通过利用AR眼镜实时采集现场场景视频，并于android平台利用unity3D将其还原成为3D场景,并利用机器学习的方法提高建模效率，使得指挥中心对前方态势信息掌握更加全面，以便指挥中心能够科学、有效地根据现场情况规划指挥方案。
附图说明
图1为本发明一种基于AR眼镜的地形重建方法的步骤流程图；
图2为本发明一种基于AR眼镜的地形重建系统的系统架构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
Unity3d引擎基于图形建模和渲染技术，已在影视和娱乐行业广泛应用。其良好的平台通用性使其可以运行于android平台。因此，本发明利用android平台获得的现场图像，利用Unity3d引擎对其进行三维建模，并使用机器学习方法对图像中的关键物件(如建筑，山丘，河流等)进行识别并完成物件转化。
图1为本发明一种基于AR眼镜的地形重建方法的步骤流程图。如图1所示，本发明一种基于AR眼镜的地形重建方法，包括：
步骤S1，利用AR眼镜获取多个场景视频，并将获得的场景视频传送至处理平台。在本发明具体实施例中，所述场景视频指的是工作现场视频，AR眼镜通过其摄像头获取场景视频，并可通过有线或无线方式将获得的场景视频传送至处理平台，这里的处理平台为Android平台，例如可以为用户使用的手机或其他手持式终端。
步骤S2，于处理平台对获得的场景视频进行解码，提取各个帧，并利用unity3D引擎将各个帧进行三维建模，获得对应时刻的有序的场景三维图像。也就是说，在本发明具体实施例中，所述处理平台上可运行unity3D引擎，利用神经网络方法对图像进行建模，并通过输入一系列需要识别的目标图像对所建模型进行训练，使得模型对某类特征能有很高的识别率，识别这些关键物件是便于对其进行信息添加，这样能方便使指挥中心对现场的人进行指导，由于利用Unity3d引擎进行三维建模是已知技术，在此不予赘述。这里需说明的是，处理平台收到的视频是已经编码好的视频，即步骤S1的录制视频就有编码过程。
步骤S3，对获取的有序的场景三维图像进行编码，并传输给指挥中心。在本发明具体实施例中，对图像进行编码采用的现有的编码方式，在此不予赘述。
步骤S4，指挥中心对获取的有序场景三维图像进行解码，并实时输出显示。
图2为本发明一种基于AR眼镜的地形重建系统的系统架构图。如图2所示，本发明一种基于AR眼镜的地形重建系统，包括：
AR眼镜201，用于实时获取多个场景视频，并将获得的场景视频传送至处理平台202。在本发明具体实施例中，AR眼镜201可通过有线或无线方式将获得的场景视频传送至处理平台
处理平台202，用于对获得的场景视频进行解码，提取各个帧，并利用unity3D引擎将各个帧进行三维建模，获得对应时刻的有序的场景三维图像，并对获取的有序的场景三维图像进行编码，并传输给指挥中心。也就是说在本发明具体实施例中，所述处理平台上可运行unity3D引擎，所述处理平台为Android平台，例如可以为用户使用的手机或其他手持式终端，由于利用Unity3D引擎进行三维建模是已知技术，在此不予赘述。，
指挥中心203，用于对获取的有序场景三维图像进行解码，并实时输出显示。在本发明具体实施例中，指挥中心对获取的系列有序三维图像进行解码，并实时显示在指挥中心大屏。
综上所述，本发明一种基于AR眼镜的地形重建方法及系统通过利用unity3D可基于android的特性，通过利用AR眼镜实时采集现场场景视频，并于android平台利用unity3D将其还原成为3D场景,并利用机器学习的方法提高建模效率，使得指挥中心对前方态势信息掌握更加全面，以便指挥中心能够科学、有效地根据现场情况规划指挥方案。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
Claims (6)
1.一种基于AR眼镜的地形重建方法，包括如下步骤：
步骤S1，利用AR眼镜获取多个场景视频，并将获得的场景视频传送至处理平台；
步骤S2，于处理平台对获得的场景视频进行解码，提取所述场景视频的各个帧，并利用unity3D引擎将各个帧进行三维建模，获得对应时刻的有序的场景三维图像；
步骤S3，对获取的有序的场景三维图像进行编码，并传输给指挥中心；
步骤S4，指挥中心对获取的有序场景三维图像进行解码，并实时输出显示。
2.如权利要求1所述的一种基于AR眼镜的地形重建方法，其特征在于：所述AR眼镜通过有线或无线方式将获得的场景视频传送至所述处理平台。
3.如权利要求1所述的一种基于AR眼镜的地形重建方法，其特征在于：所述处理平台为Android平台。
4.一种基于AR眼镜的地形重建系统，包括：
AR眼镜，用于实时获取多个场景视频，并将获得的场景视频传送至处理平台；
处理平台，用于对获得的场景视频进行解码，提取所述场景视频的各个帧，并利用unity3D引擎将各个帧进行三维建模，获得对应时刻的有序的场景三维图像，并对获取的有序的场景三维图像进行编码，并传输给指挥中心；
指挥中心，用于对获取的有序场景三维图像进行解码，并实时输出显示。
5.如权利要求4所述的一种基于AR眼镜的地形重建系统，其特征在于：所述AR眼镜通过有线或无线方式将获得的场景视频传送至所述处理平台。
6.如权利要求4所述的一种基于AR眼镜的地形重建系统，其特征在于：所述处理平台为Android平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811522311.9A CN109636907A (zh) | 2018-12-13 | 2018-12-13 | 一种基于ar眼镜的地形重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811522311.9A CN109636907A (zh) | 2018-12-13 | 2018-12-13 | 一种基于ar眼镜的地形重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109636907A true CN109636907A (zh) | 2019-04-16 |
Family
ID=66073517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811522311.9A Pending CN109636907A (zh) | 2018-12-13 | 2018-12-13 | 一种基于ar眼镜的地形重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109636907A (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102821323A (zh) * | 2012-08-01 | 2012-12-12 | 成都理想境界科技有限公司 | 基于增强现实技术的视频播放方法、系统及移动终端 |
| CN103778271A (zh) * | 2013-09-06 | 2014-05-07 | 上海大学 | 基于网格装配的多孔结构建模方法 |
| CN203608289U (zh) * | 2013-11-28 | 2014-05-21 | 国网四川省电力公司信息通信公司 | 基于3d场景显示技术的变电站视频监控系统 |
| CN103886115A (zh) * | 2012-12-20 | 2014-06-25 | 上海工程技术大学 | 一种基于不同体型的三维虚拟人台的建立及其调用方法 |
| CN204465738U (zh) * | 2015-02-11 | 2015-07-08 | 尼森科技（湖北）有限公司 | 一种救灾救援可视系统 |
| CN105608737A (zh) * | 2016-02-01 | 2016-05-25 | 成都通甲优博科技有限责任公司 | 一种基于机器学习的人体足部三维重建方法 |
| CN105786188A (zh) * | 2016-04-01 | 2016-07-20 | 苏州美房云客软件科技股份有限公司 | 基于im和3d虚拟技术的交互方法 |
| CN105893046A (zh) * | 2016-04-01 | 2016-08-24 | 苏州美房云客软件科技股份有限公司 | 一种Unity3D与Android灵活结合使用的方法 |
| CN106875493A (zh) * | 2017-02-24 | 2017-06-20 | 广东电网有限责任公司教育培训评价中心 | Ar眼镜中虚拟目标物的叠加方法 |
| CN106909215A (zh) * | 2016-12-29 | 2017-06-30 | 深圳市皓华网络通讯股份有限公司 | 基于精确定位和增强现实的消防作战三维可视化指挥系统 |
| CN107067429A (zh) * | 2017-03-17 | 2017-08-18 | 徐迪 | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 |
| CN107680158A (zh) * | 2017-11-01 | 2018-02-09 | 长沙学院 | 一种基于卷积神经网络模型的三维人脸重建方法 |
| CN107844703A (zh) * | 2017-10-13 | 2018-03-27 | 珠海金山网络游戏科技有限公司 | 一种基于Android平台Unity3D游戏的客户端安全检测方法及装置 |
| CN108648061A (zh) * | 2018-05-18 | 2018-10-12 | 北京京东尚科信息技术有限公司 | 图像生成方法和装置 |
| CN108985129A (zh) * | 2018-08-02 | 2018-12-11 | 谷东科技（广州）有限公司 | 二维码的定位与检出方法 |
-
2018
- 2018-12-13 CN CN201811522311.9A patent/CN109636907A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102821323A (zh) * | 2012-08-01 | 2012-12-12 | 成都理想境界科技有限公司 | 基于增强现实技术的视频播放方法、系统及移动终端 |
| CN103886115A (zh) * | 2012-12-20 | 2014-06-25 | 上海工程技术大学 | 一种基于不同体型的三维虚拟人台的建立及其调用方法 |
| CN103778271A (zh) * | 2013-09-06 | 2014-05-07 | 上海大学 | 基于网格装配的多孔结构建模方法 |
| CN203608289U (zh) * | 2013-11-28 | 2014-05-21 | 国网四川省电力公司信息通信公司 | 基于3d场景显示技术的变电站视频监控系统 |
| CN204465738U (zh) * | 2015-02-11 | 2015-07-08 | 尼森科技（湖北）有限公司 | 一种救灾救援可视系统 |
| CN105608737A (zh) * | 2016-02-01 | 2016-05-25 | 成都通甲优博科技有限责任公司 | 一种基于机器学习的人体足部三维重建方法 |
| CN105786188A (zh) * | 2016-04-01 | 2016-07-20 | 苏州美房云客软件科技股份有限公司 | 基于im和3d虚拟技术的交互方法 |
| CN105893046A (zh) * | 2016-04-01 | 2016-08-24 | 苏州美房云客软件科技股份有限公司 | 一种Unity3D与Android灵活结合使用的方法 |
| CN106909215A (zh) * | 2016-12-29 | 2017-06-30 | 深圳市皓华网络通讯股份有限公司 | 基于精确定位和增强现实的消防作战三维可视化指挥系统 |
| CN106875493A (zh) * | 2017-02-24 | 2017-06-20 | 广东电网有限责任公司教育培训评价中心 | Ar眼镜中虚拟目标物的叠加方法 |
| CN107067429A (zh) * | 2017-03-17 | 2017-08-18 | 徐迪 | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 |
| CN107844703A (zh) * | 2017-10-13 | 2018-03-27 | 珠海金山网络游戏科技有限公司 | 一种基于Android平台Unity3D游戏的客户端安全检测方法及装置 |
| CN107680158A (zh) * | 2017-11-01 | 2018-02-09 | 长沙学院 | 一种基于卷积神经网络模型的三维人脸重建方法 |
| CN108648061A (zh) * | 2018-05-18 | 2018-10-12 | 北京京东尚科信息技术有限公司 | 图像生成方法和装置 |
| CN108985129A (zh) * | 2018-08-02 | 2018-12-11 | 谷东科技（广州）有限公司 | 二维码的定位与检出方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110737989B (zh) | 一种平行智能应急协同方法、系统及电子装备 | |
| CN108257063A (zh) | 一种消防战训桌面推演人机交互系统 | |
| CN206179293U (zh) | 一种水电厂安全应急培训系统 | |
| CN107272882A (zh) | 一种类全息远程呈现实现方法 | |
| EP4092636A2 (en) | Method and apparatus of generating virtual idol, and electronic device | |
| CN106940825B (zh) | 一种面向灾难应急的疏散规划方法 | |
| CN109636907A (zh) | 一种基于ar眼镜的地形重建方法及系统 | |
| Flentge et al. | Designing context-aware HCI for collaborative emergency management | |
| CN106127846A (zh) | 虚拟现实终端及其视觉虚拟方法和装置 | |
| CN209514551U (zh) | 一种智能交流机器人及交流系统 | |
| CN211180586U (zh) | 综合管廊运维系统 | |
| CN116229786A (zh) | 一种军事推演沙盘模拟系统及其方法 | |
| CN114141082A (zh) | 一种基于时空大数据的消防救灾三维仿真演练系统 | |
| CN105592305A (zh) | 基于多旋翼无人机的三维视频应急通信系统 | |
| CN110213757A (zh) | 一种协同工地监控管理方法及系统、协同式的安全帽 | |
| CN106204706B (zh) | 一种漂移模型的海面三维可视化系统 | |
| CN105049484A (zh) | 一种应急救灾智能单兵系统 | |
| KR20160036763A (ko) | 증강인지 장치 및 증강인지 장치에서의 증강인지 서비스 제공 방법 | |
| CN213126248U (zh) | 一种地铁车辆段施工现场与bim场景智能交互系统 | |
| CN114494427A (zh) | 一种对吊臂下站人的违规行为检测方法、系统及终端 | |
| CN114611938B (zh) | 一种基于3dgis的应急指挥方法及系统 | |
| Lee et al. | Application of wearable devices in crime scene investigation and virtual reality | |
| CN106034220A (zh) | 一种智慧城市海量监控的方法、装置以及系统 | |
| CN106339792A (zh) | 一种变电站三维模型与scada实时数据接入方法 | |
| CN107527033A (zh) | 摄像头模组和社交系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190416 |
|
| RJ01 | Rejection of invention patent application after publication |