CN112204958B - 用于无线电模拟的增强现实的方法、设备 - Google Patents

用于无线电模拟的增强现实的方法、设备 Download PDF

Info

Publication number
CN112204958B
CN112204958B CN201880092895.2A CN201880092895A CN112204958B CN 112204958 B CN112204958 B CN 112204958B CN 201880092895 A CN201880092895 A CN 201880092895A CN 112204958 B CN112204958 B CN 112204958B
Authority
CN
China
Prior art keywords
environment
augmented reality
wireless signal
coordinate
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880092895.2A
Other languages
English (en)
Other versions
CN112204958A (zh
Inventor
博芬西彭·丹尼尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN112204958A publication Critical patent/CN112204958A/zh
Application granted granted Critical
Publication of CN112204958B publication Critical patent/CN112204958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18Network planning tools
    • H04W16/20Network planning tools for indoor coverage or short range network deployment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/04Architectural design, interior design
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种用于无线信号模拟的增强现实的方法、设备。该方法包括:捕捉环境并形成环境的三维虚拟表示;确定与虚拟无线设备相关的参数,其中虚拟无线设备为虚拟的无线信号源或反射器;在环境中定位虚拟无线设备,根据定位、参数及环境的三维虚拟表示,模拟在环境的三维虚拟表示中的虚拟无线信号覆盖;在环境的基础上添加表示虚拟无线信号覆盖的标记,以作为增强现实图像并显示。本发明通过增强现实技术结合对无线信号发射的模拟,能够令不具备无线专业知识的使用者得以准确快速地估计无线系统在需要的空间内各处的行为,从而容易地调整以便在需要的空间内能够提供优良乃至卓越的无线信号质量。

Description

用于无线电模拟的增强现实的方法、设备
技术领域
本发明涉及对无线信号系统特性的模拟,尤其是涉及用于无线信号模拟的增强现实的方法、设备以及非临时性计算机可读存储介质。
背景技术
如今,无线传输及无线通信系统可以说无处不在。人们常携带采用各种无线技术标准进行通信的通信设备。由于无线通信的可用性极佳,无线信号成为了现今大多数通信的媒介。然而,尽管无线通信得到大范围的应用已经有较长的历史,但与之相关的技术和应用技巧仍然是较为复杂,并且难以为应用者所掌握的。例如,即使是业内专家,可能也无法掌握各种新技术、新标准下,与无线系统的布置、无线信号的覆盖和干扰相关的问题。
上述原因使得无线系统中的设备管理者、终端用户等,在实际应用中可能无法以适当的方式在一定的周边环境中布置相关设备,从而导致无线通信或者传输的使用区域中出现无线信号覆盖范围不够、信号强度不佳、信号干扰严重等问题。
为了解决上述问题,无线系统的使用者可以直接寻求熟知特定的无线通信系统、标准或者技术的专家的帮助,以对无线系统及其中的设备进行布置或设置。此外,现有的方法还包括为了便于使用者自行解决上述问题而提供的无线信号勘测工具和无线信号模拟应用程序,但这些工具和程序要求使用者具有相当的专业知识,对于一般的使用者而言,这些工具和程序是难以正确使用的。这带来的问题还包括,无线系统的使用者仍然需要花费大量时间和精力才能确定无线系统在需求的空间中各处的行为,以确定空间中各处的工作条件是否理想。并且,就无线信号模拟应用程序而言,另一问题在于,对于无线系统的周边环境的近似如果不够接近真实情况,也会造成最终的模拟结果不够理想,进而导致判断的偏差。
因此,亟需一种能够更完善的解决方案,以便于不具备相关专业知识和技能的无线系统的使用者,能够自行根据周边环境条件对无线系统中的相关设备进行适当布置,从而在需要的工作范围或空间内提供卓越的无线信号质量。
发明内容
本发明要解决的技术问题是为了克服现有技术中对无线系统相关设备的布置必须依靠熟知相关无线技术的专业知识的人才能进行,从而在需要的范围或空间内提供卓越的无线信号质量的缺陷,提出用于无线信号模拟的增强现实的方法、设备、存储有适于执行该方法的非临时性计算机可读存储介质。
本发明是通过下述技术方案来解决上述技术问题的:
根据本发明的一个方面,提供了用于无线信号模拟的增强现实方法,其包括:
捕捉环境并形成所述环境的三维虚拟表示;
确定与虚拟无线设备相关的参数,其中所述虚拟无线设备为虚拟的无线信号源或反射器;
在所述环境中定位所述虚拟无线设备,根据所述定位、所述参数及所述环境的三维虚拟表示,模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖;
在所述环境的基础上添加表示所述虚拟无线信号覆盖的标记,以作为增强现实图像并显示。
较佳地,所述虚拟无线设备与所述标记一并被添加在所述环境的基础上,以作为所述增强现实图像。
较佳地,所述参数包括无线信号源的类型、频率、天线类型、天线增益中的部分或全部。
较佳地,在所述环境的基础上添加所述标记,包括在所述环境的三维虚拟表示的基础上绘制所述标记,绘制采用以下方法之一:
在所述环境的地面之上,绘出所述虚拟无线信号覆盖的图样;
在所述环境的一张照片之上,绘出所述虚拟无线信号覆盖的图样;
将所述环境划分为多个区域,并标示出各个区域的虚拟无线信号覆盖情况。
较佳地,所述捕捉环境并形成所述环境的三维虚拟表示包括:
从不同的位置以不同的角度针对真实环境进行摄像,从而针对每一场景得到至少两幅图像;
基于立体图像的三角测量方法测量得出所述图像中的各个像素的深度信息。
较佳地,所述捕捉环境并形成所述环境的三维虚拟表示还包括:
利用预设的用于机器学习以匹配图像包含的光学信息和图像包含的表面材料的训练集,通过机器学习算法学习所述训练集,并基于所述图像包含的光学信息匹配得出所述图像中的各个表面的材料;
并且,所述模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖,根据所述定位、所述参数、所述环境的三维虚拟表示以及匹配得出的所述图像中的各个表面的材料进行模拟。
根据本发明的另一方面,提供了非临时性计算机可读存储介质,其上存储有计算机指令,所述计算机指令在被处理器执行时,使得所述处理器执行如上所述的增强现实方法。
较佳地,所述确定与虚拟无线设备相关的参数为,根据用户的输入确定所述参数。
根据本发明的另一方面,提供了用于无线信号模拟的增强现实设备,其包括:
环境捕捉模块,其配置为捕捉环境并形成所述环境的三维虚拟表示;
设置模块,其配置为确定与虚拟无线设备相关的参数,其中所述虚拟无线设备为虚拟的无线信号源或反射器,并在所述环境中定位所述虚拟无线设备;
无线信号模拟模块,其配置为根据所述定位、所述参数及所述环境的三维虚拟表示,模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖;
增强模块,其配置为在所述环境的基础上添加表示所述虚拟无线信号覆盖的标记,以作为增强现实图像并显示。
根据本发明的另一方面,提供了用于无线信号模拟的增强现实设备,其包括:
捕获装置,配置为捕捉环境并形成所述环境的三维虚拟表示;
显示装置,配置为显示增强现实图像;
处理器;
非临时性计算机可读存储介质,其存储有计算机指令;
其中所述处理器、所述非临时性计算机可读存储介质及所述计算机指令配置为,使得所述增强现实装置至少执行:
根据用户的输入,确定与虚拟无线设备相关的参数,其中所述虚拟无线信号设备为虚拟的无线信号源或反射器;
在所述环境中定位所述虚拟无线设备,根据所述定位、所述参数及所述环境的三维虚拟表示,模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖;
在所述环境的基础上添加表示所述虚拟无线信号覆盖的标记,以作为增强现实图像。
较佳地,所述虚拟无线设备与所述标记一并被添加在所述环境的基础上,以作为所述增强现实图像。
较佳地,所述捕获装置和所述显示装置具有共用的透视组件或相互独立的透视组件。
较佳地,所述增强现实设备为头戴式设备或手持式设备。
较佳地,所述捕获装置包括被布置为具有不同位置和不同拍摄角度的若干摄像装置,或者,捕获装置包括摄像装置及惯性传感器,其中所述惯性传感器配置为测量所述摄像装置拍摄期间的运动;
所述处理器、所述非临时性计算机可读存储介质及所述计算机指令还配置为,使得所述增强现实装置至少执行:
基于立体图像的三角测量方法,测量得出针对同一场景所拍摄得到至少两幅图像中的各个像素的深度信息,并基于所述深度信息及所述图像包含的二维信息形成所述环境的三维虚拟表示。
较佳地,所述处理器、所述非临时性计算机可读存储介质及所述计算机指令还配置为,使得所述增强现实装置至少执行:
利用预设的用于机器学习以匹配图像包含的光学信息和图像包含的表面材料的训练集,通过机器学习算法学习所述训练集,并基于所述图像包含的光学信息匹配得出所述图像中的各个表面的材料;
并且,所述模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖,根据所述定位、所述参数、所述环境的三维虚拟表示以及匹配得出的所述图像中的各个表面的材料进行模拟。
在符合本领域常识的基础上,上述各优选条件,可任意组合,即得本发明各较佳实例。
本发明的积极进步效果在于:
本发明通过增强现实技术结合对无线信号发射的模拟,能够令不具备无线专业知识的使用者得以准确快速地估计无线系统在需要的空间或范围内各处的行为,从而容易地调整以便在需要的空间或范围内能够提供优良乃至卓越的无线信号质量。
附图说明
以下附图仅旨在于对本发明做示意性说明和解释,并不限定本发明的范围。其中,
图1为根据本发明的较佳实施方式的无线模拟的增强现实方法的流程示意图。
图2为用户使用本发明的较佳实施方式的增强现实设备的使用状态示意图。
图3为用户使用本发明的较佳实施方式的增强现实设备的使用状态示意图。
图4为用户使用本发明的较佳实施方式的增强现实设备的使用状态示意图。
图5为根据本发明的较佳实施方式的便携式增强现实设备的结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图说明本发明的具体实施方式。
下面结合说明书附图,进一步对本发明的优选实施例进行详细描述,以下的描述为示例性的,并非对本发明的限制,任何的其他类似情形也都落入本发明的保护范围之中。
参照图1所示,本发明的一些实施方式所提供的用于无线信号模拟的增强现实方法,其包括:
捕捉环境并形成所述环境的三维虚拟表示;
确定与虚拟无线设备相关的参数,其中所述虚拟无线设备为虚拟的无线信号源或反射器;
在所述环境中定位所述虚拟无线设备,根据所述定位、所述参数及所述环境的三维虚拟表示,模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖;
在所述环境的基础上添加表示所述虚拟无线信号覆盖的标记,以作为增强现实图像并显示。
应当理解的是,本发明利用了现有的增强现实的算法,并在此基础上设计的新颖的架构。其中,捕捉环境可以利用诸如各种传感装置(例如多个光学传感器)来实施。举例来说,可利用现有的增强现实系统中所采用的光学透视组件或视频透视组件来捕捉环境。在此所称的环境,可以理解为用以捕捉环境的装置或组件当时所处的环境,亦即想要研究特定的无线电系统中无线电传播的行为所处的空间或范围,例如,其可以是一间房间、多间房间构成的空间、一个大厅等。
根据本发明的一些优选实施方式,在实施所述增强现实方法时,捕捉环境以及其后的增强现实图像的形成、显示可由使用者持有的便携式设备或者移动终端设备实现,其中可以采用基于图像的三维重建算法来捕捉真实环境并将相关信息传输给真实环境的虚拟表示。
根据一类优选实施方式,在所述增强现实方法的实施中,可采用基于立体图像的三角测量方法捕捉环境形成虚拟表示,以及在虚拟表示的基础上添加信息以形成增强现实图像。举例来说,由使用者持有的便携式设备可配备有多个摄像头或摄像装置,其从各自不同的位置以不同的角度针对真实环境进行摄像。以两个相机为例,当两个相机从不同的位置对真实环境拍下同一场景的照片,因两个相机的拍摄角度的不同,因而可以根据同一场景的两幅图像(两张照片)中像素的不同位置,对二维的图像中的各个像素的深度进行三角测量。由此,尽管单个摄像头或照相机拍摄得到的图像本身是二维的,但在此基础上补充经由三角测量所得出的深度信息,即可获得形成真实环境的三维虚拟表示所需的三维信息。
根据本发明的另一类优选实施方式,可在便携式设备仅配备有单个摄像装置的情况下,仍然采用基于立体图像的三角测量方法捕捉环境形成虚拟表示。在这类实施方式中,需要单个摄像装置在随着使用者移动位置及变换拍摄角度的情况下连续拍摄照片,并且在拍摄期间利用诸如加速度传感器之类的惯性传感器记录期间的传感数据,通过这些传感数据可以计算得出拍摄期间的各张照片(或者对于摄影而言,各帧图像)所对应的拍摄位置及角度。根据这些信息,可以根据与上述优选实施方式中相似的方法,根据同一场景的两幅图像中像素的不同位置,对二维的图像中的各个像素的深度进行三角测量,从而获得形成真实环境的三维虚拟表示所需的三维信息。
根据本发明的上述两类优选实施方式,采用基于图像的三维重建算法都可在拍摄得到的二维图像的基础上进一步提供像素的深度信息,并由此获得真实环境的三维点云数据或者说建立真实环境的三维点云模型,而该三维点云数据或者三维点云模型可以提供关于环境中无线电模拟的每个反射点的信息。
进一步地,在上述基于图像的三维重建算法的基础上,可以应用“贪婪表面三角测量”(greedy surface triangulation)等三角网格算法来为环境的三维虚拟表示提供表面。
根据本发明的一些进一步优选的实施方式,在基于图像的三维重建算法的基础上,可以利用拍摄的图像所包含的光学信息(例如表面的颜色或图案等)对环境中的表面的材料进行估计。例如,可以先采用大量的与拍摄的环境类似的图像或照片构建训练集,然后通过诸如神经网络算法的机器学习算法对训练集的学习,使得拍摄的图像所包含的某一类或几类光学信息可被用作匹配依据而估计得出相应的表面材料。鉴于无线电反射在不同材料(例如,吸收材料或非吸收材料)上表现不同,对于表面材料的估计,将有助于改善本发明的无线电模拟的模拟结果的准确性。
在本发明的一些实施方式中,确定与虚拟无线设备相关的参数,例如可以是,利用用户界面使得用户得以设置模拟所需参数。根据本发明的一些优选实施方式,确定的参数包括无线信号源的类型、频率、天线类型、天线增益。参数的确定加上对虚拟无线设备的定位,使得模拟所需的有关虚拟无线设备的信息被确定。
根据以上获得的两部分信息,即环境的三维虚拟表示以及有关虚拟无线设备的信息,通过运算便可模拟得出环境中无线信号的覆盖情况。其中,模拟运算的算法本身可采用相关的已知算法。将模拟得出的有关无线信号覆盖的结果作为用以增强现实的信息。根据一些优选的实施方式,所述虚拟无线设备与所述标记一并被添加在所述环境的基础上,以作为所述增强现实图像,以便于使用者的直观观察。
根据本发明的一些优选实施方式,通过使用者持有的便携式设备的用户界面,得以将无线电源“虚拟地放置或者定位”于环境中的特定位置,这将确定无线电源的位置,亦即其坐标(X1,Y1,Z1)。在此基础上,利用无线电模拟算法可在完整的真实环境的三维虚拟表示中计算得出每个坐标(Xn,Yn,Zn)的功率级。为此,举例来说,在所述无线电模拟算法中可先考虑频率(例如60GHz),然后从预定义的数据集中选择相匹配的路径损耗值,并通过利用路径损耗值亦即诸如从(X1,Y1,Z1)到(Xn,Yn,Zn)的距离测量结果,以计算从每个角度的每个坐标(Xn,Yn,Zn)的信号强度。根据各个坐标之间的距离,我们可以应用路径损耗值并获取特定坐标(Xn,Yn,Zn)的信号强度。
对于真实环境的三维虚拟表示中的每个坐标,都需要经历上述计算过程,并且对于各个坐标的信号强度的计算,应当包括以以下两方面的计算考虑坐标的潜在信号强度值:1、直接信号强度,即自坐标(X1,Y1,Z1)至坐标(Xn,Yn,Zn)的信号强度;2、反射信号强度,例如,通过采用光线追踪方法(ray-tracing)找出在坐标(X1,Y1,Z1)和坐标(Xn,Yn,Zn)的所有反射(路径),每一个反射(路径)均有对应的反射信号强度。
在以上计算过程遍历了坐标(X1,Y1,Z1)和坐标(Xn,Yn,Zn)间的所有直接路径和间接路径后,即可汇总所有单个路径的计算结果计算得出坐标(Xn,Yn,Zn)的总信号强度。
应当理解的是,增强现实系统中包含了对真实世界的显示,因而增强现实系统在显示增强现实的图像时有着显示真实世界所采用的视角,这一视角与用户在真实世界中所处位置及通过增强现实设备看向真实世界的角度及视野相关。上述方法中,可以是根据增强现实设备中的摄像头的拍摄环境图像的视角,在所述环境的基础上添加表示所述虚拟无线信号覆盖的标记。这里所称的视角不应理解为狭义的视线所成的角度,而是为由在环境中所处位置、看向真实世界的角度及视野所确定。
因此,最终显示在使用者眼前的增强现实图像,可以是以其当前视角所视的真实的环境以及在此基础上添加的表示所述虚拟无线信号覆盖的标记。通过这种增强现实图像,在使用者的周边环境中的无线信号覆盖或者分布,就得以以一种对不知晓相关专业知识的普通人来说容易理解的方式直观表现在了现实世界中。并且,使用者可以方便地从周边环境的范围内不同的位置以不同的角度对不同区域的无线信号覆盖或者分布进行直观地观察、比较。由此,即便是在最苛刻的环境之中,一个普通使用者也能较为周全且快速地考虑所需求的区域内无线信号源或反射器的最佳位置,以在该区域内提供卓越的无线信号质量。
在如上所述的方法中,通常使用者仅仅需要设置与虚拟无线设备相关的参数,而这些参数通常可选自使用者在考虑的真实可选的无线设备,因而并不会对使用者的专业知识提出过高的要求。
而为了尽可能避免使用者因不具备相关知识而无法很好地利用增强现实图像,根据一些优选的实施方式,在所述环境的三维虚拟表示的基础上绘制所述标记,可选择采用以下方法。
例如,在所述环境的地面之上,绘出所述虚拟无线信号覆盖的图样,诸如以绘出的线的疏密来反映虚拟无线信号覆盖程度或者信号的强弱,以便于使用者直观观察在各个(横向)区域内的无线信号覆盖的不同。
又例如,可在所述环境的照片之上,绘出所述虚拟无线信号覆盖的图样。
又例如,可将所述环境划分为网格状的多个(二维)区域或者多块(三维)空间,并标示出各个区域或者各块空间的虚拟无线信号覆盖情况,诸如以所标示的数值的大小来反映虚拟无线信号覆盖程度或者信号的强弱。
本发明的一些实施方式提供了非临时性计算机可读存储介质,其上存储有计算机指令,所述计算机指令在被处理器执行时,使得所述处理器执行如上所述的增强现实方法。这也意味着,本发明的实施方式中的至少一类,可以是安装于智能手机、平板电脑、智能可穿戴设备等设备的应用程序。
下面,介绍本发明的一些实施方式所提供的用于无线电模拟的增强现实设备。增强现实设备包括:
捕获装置,配置为捕捉环境并形成所述环境的三维虚拟表示;
显示装置,配置为显示增强现实图像;
其中,捕获装置可包含多个传感器,诸如光学传感器。捕获装置利用传感器捕获真实环境的相关信息,诸如距离信息,并将其转换为环境的三维虚拟表示。换言之,捕获装置可以是任何通过感测现实世界得到感测数据并依此来构建三维的虚拟世界的设备。
显示增强现实图像的显示装置,可以基于现有的增强现实系统中所采用的光学透视技术或者视频透视技术设计。应当理解的是,捕获装置和显示装置可具有共用的组件,例如增强现实设备中的部分光学组件(例如透视组件),既作为捕获装置中涉及捕捉环境的部分组件,又作为显示装置中显示增强现实图像中的真实环境部分的部分组件。
增强现实设备还包括,处理器以及存储有计算机指令的非临时性计算机可读存储介质,配置为使得增强现实装置至少执行:
根据用户的输入,确定与虚拟无线设备相关的参数,其中所述虚拟无线设备为虚拟的无线信号源或反射器;
在所述环境中定位所述虚拟无线设备,根据所述定位、所述参数及所述环境的三维虚拟表示,模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖;
在所述环境的基础上添加表示所述虚拟无线信号覆盖的标记,以作为增强现实图像。
参考图5所示,根据本发明的一些优选实施方式,增强现实设备可以采用两个便携式设备的形式,其中一个便携式设备可配备有不同位置的第一摄像头1、第二摄像头2,以不同的角度进行摄像,并通过前述基于图像的三维重建算法将两个摄像头拍摄的同一场景的图像通过计算而得出深度信息,或者说将两幅图像三维化形成三维虚拟表示。另一个便携式设备具有用户界面3,用户界面3可呈现基于二维图像三维重建得出的虚拟表示,并供用户输入指令以将无线电源“虚拟地放置或者定位”于环境中的特定位置。在进行无线信号覆盖的模拟之后,形成包含无线信号覆盖模拟结果的增强现实图像也可显示在该用户界面3中。
应当理解的是,关于无线电模拟的计算,既可以由便携式设备完成,也可以在与便携式设备相分离的计算单元上完成(例如,通过云计算技术实现)。在由便携式设备完成相关计算工作的实施方式中,便携式设备需要额外的计算性能和电池电量的支持。在由分离的计算单元完成相关计算的实施方式中,尽管便携式设备将需要额外的通信接口,但对计算性能和电池电量的要求显著降低,并且对于诸如在云端完成计算的方式来说,在模拟计算的准确性、精度或者效率上的提升,将无需对分散在许多用户手中的便携式设备进行升级就能便捷地实现产品性能的改善。
在上述参照图5描述的本发明的优选实施方式的基础上,还应当理解的是,可选地,第一摄像头1、第二摄像头2也可被一个摄像头加一个惯性传感器所替代,或者可选地,摄像头和惯性传感器的数量也可变更。相应地,对所应用的基于图像的三维重建算法的适应性调整,可参见先前的说明,在此不再赘述。
其中,在所述环境的基础上添加表示所述虚拟无线信号覆盖的标记以作为增强现实图像,可以是依据显示装置或捕获装置的当前视角,进行信息添加和显示。“当前”一词在此处只是为了将显示增强现实图像时的视角与捕捉环境时可能具有的视角进行区分。
优选地,虚拟无线设备本身可与所述标记一并被添加在所述环境的基础上,以作为所述增强现实图像。
应当理解的是,尽管在上述针对增强现实设备中存储的计算机指令的说明中并未涉及,但存储的计算机指令中还可进一步包含对捕获装置和显示装置进行配置和/或控制的指令。
其中,增强现实设备可以为固定设备,但较优选地,增强现实设备整体上为头戴式设备或手持式设备的形式。当采用头戴式设备的形式时,显示装置或捕获装置的当前视角可以与使用者本身的视角较为一致。当采用手持式设备的形式时,通常显示装置或捕获装置的当前视角与使用者本身的视角有明显区别。
下面,以手持式设备形式的增强现实设备为例,对用户对该设备的使用进行举例说明,以便理解。
参考图2所示,用户处于想要进行无线信号发射模拟的环境中,并持有手持式的增强现实设备,增强现实设备通过传感装置将周围环境转换为三维虚拟表示。
参考图3所示,用户可在绘制于真实环境之上的虚拟环境中定位设置虚拟无线信号源或反射器,并设置与其相关的参数,诸如无线信号源的类型、频率、天线类型、天线增益。
参考图4所示,用户可开启增强现实设备的无线信号发射模拟,根据虚拟无线信号源或反射器的设置位置及其参数、及虚拟无线信号源或反射器周边的环境,模拟得出虚拟无线信号覆盖,并据此形成增强现实图像。用户可在环境中移动从而从不同的位置观察由增强现实图像反映的虚拟无线信号覆盖,也可改变对虚拟无线信号源或反射器的参数设置和定位,重新模拟新的虚拟无线信号覆盖。应注意的是,增强现实图像中的标记是根据用户观察时经由手持的增强现实设备所看到的环境的图像而添加于环境之上的,因而添加于环境之上的标记与用户所处位置及观察的角度相关。
应当理解,虽然本说明书是按照各个实施例描述的,但并非每个实施例仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
以上所述仅为本发明示意性的具体实施方式,并非用以限定本发明的范围。任何本领域的技术人员,在不脱离本发明的构思和原则的前提下所作的等同变化、修改与结合,均应属于本发明保护的范围。

Claims (12)

1.一种用于无线信号模拟的增强现实方法,其特征在于,其包括:
捕捉环境并形成所述环境的三维虚拟表示;
确定与虚拟无线设备相关的参数,其中所述虚拟无线设备为虚拟的无线信号源或反射器;
在所述环境中定位所述虚拟无线设备,根据所述定位、所述参数及所述环境的三维虚拟表示,模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖;
在所述环境的基础上添加所述虚拟无线设备和表示所述虚拟无线信号覆盖的标记,以作为增强现实图像并显示;
所述模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖包括:
对于所述环境的三维虚拟表示中的每个坐标,分别经历如下计算过程:
根据考虑的频率,从预定义的数据集中选择相匹配的路径损耗值,并根据所述定位到所述每个坐标之间的距离,应用路径损耗值,获取所述每个坐标的信号强度;所述各个坐标的信号强度包括两方面的潜在信号强度值:所述定位到所述每个坐标的直接信号强度,以及所述定位到所述每个坐标的所有反射路径中的每个反射路径对应的反射信号强度;
且,汇总每个坐标的所有单个路径的计算结果,计算得出每个坐标的总信号强度。
2.如权利要求1所述的增强现实方法,其特征在于,所述参数包括无线信号源的类型、频率、天线类型、天线增益中的部分或全部。
3.如权利要求1所述的增强现实方法,其特征在于,在所述环境的基础上添加所述标记,包括在所述环境的三维虚拟表示的基础上绘制所述标记,绘制采用以下方法之一:
在所述环境的地面之上,绘出所述虚拟无线信号覆盖的图样;
在所述环境的一张照片之上,绘出所述虚拟无线信号覆盖的图样;
将所述环境划分为多个区域,并标示出各个区域的虚拟无线信号覆盖情况。
4.如权利要求1所述的增强现实方法,其特征在于,所述捕捉环境并形成所述环境的三维虚拟表示包括:
从不同的位置以不同的角度针对真实环境进行摄像,从而针对每一场景得到至少两幅图像;
基于立体图像的三角测量方法测量得出所述图像中的各个像素的深度信息。
5.如权利要求4所述的增强现实方法,其特征在于,所述捕捉环境并形成所述环境的三维虚拟表示还包括:
利用预设的用于机器学习以匹配图像包含的光学信息和图像包含的表面材料的训练集,通过机器学习算法学习所述训练集,并基于所述图像包含的光学信息匹配得出所述图像中的各个表面的材料;
并且,所述模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖,根据所述定位、所述参数、所述环境的三维虚拟表示以及匹配得出的所述图像中的各个表面的材料进行模拟。
6.一种非临时性计算机可读存储介质,其特征在于,所述非临时性计算机可读存储介质上存储有计算机指令,所述计算机指令在被处理器执行时,使得所述处理器执行如权利要求1-5中任意一项所述的增强现实方法。
7.如权利要求6所述的非临时性计算机可读存储介质,其特征在于,所述确定与虚拟无线设备相关的参数为,根据用户的输入确定所述参数。
8.一种用于无线信号模拟的增强现实设备,其特征在于,其包括:
环境捕捉模块,其配置为捕捉环境并形成所述环境的三维虚拟表示;
设置模块,其配置为确定与虚拟无线设备相关的参数,其中所述虚拟无线设备为虚拟的无线信号源或反射器,并在所述环境中定位所述虚拟无线设备;
无线信号模拟模块,其配置为根据所述定位、所述参数及所述环境的三维虚拟表示,模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖;
增强模块,其配置为在所述环境的基础上添加所述虚拟无线设备和表示所述虚拟无线信号覆盖的标记,以作为增强现实图像并显示;所述模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖包括:
所述无线信号模拟模块对于所述环境的三维虚拟表示中的每个坐标,分别经历如下计算过程:
根据考虑的频率,从预定义的数据集中选择相匹配的路径损耗值,并根据所述定位到所述每个坐标之间的距离,应用路径损耗值,获取所述每个坐标的信号强度;所述各个坐标的信号强度包括两方面的潜在信号强度值:所述定位到所述每个坐标的直接信号强度,以及所述定位到所述每个坐标的所有反射路径中的每个反射路径对应的反射信号强度;
且,汇总每个坐标的所有单个路径的计算结果,计算得出每个坐标的总信号强度。
9.一种用于无线信号模拟的增强现实设备,其特征在于,其包括:
捕获装置,配置为捕捉环境并形成所述环境的三维虚拟表示;
显示装置,配置为显示增强现实图像;
处理器;
非临时性计算机可读存储介质,其存储有计算机指令;
其中所述处理器、所述非临时性计算机可读存储介质及所述计算机指令配置为,使得所述增强现实装置至少执行:
根据用户的输入,确定与虚拟无线设备相关的参数,其中所述虚拟无线设备为虚拟的无线信号源或反射器;
在所述环境中定位所述虚拟无线设备,根据所述定位、所述参数及所述环境的三维虚拟表示,模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖;
在所述环境的基础上添加所述虚拟无线设备和表示所述虚拟无线信号覆盖的标记,以作为增强现实图像;
所述模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖包括:
对于所述环境的三维虚拟表示中的每个坐标,分别经历如下计算过程:
根据考虑的频率,从预定义的数据集中选择相匹配的路径损耗值,并根据所述定位到所述每个坐标之间的距离,应用路径损耗值,获取所述每个坐标的信号强度;所述各个坐标的信号强度包括两方面的潜在信号强度值:所述定位到所述每个坐标的直接信号强度,以及所述定位到所述每个坐标的所有反射路径中的每个反射路径对应的反射信号强度;
且,汇总每个坐标的所有单个路径的计算结果,计算得出每个坐标的总信号强度。
10.如权利要求9所述的增强现实设备,其特征在于,所述捕获装置和所述显示装置具有共用的透视组件或相互独立的透视组件。
11.如权利要求9所述的增强现实设备,其特征在于,所述捕获装置包括被布置为具有不同位置和不同拍摄角度的若干摄像装置,或者,捕获装置包括摄像装置及惯性传感器,其中所述惯性传感器配置为测量所述摄像装置拍摄期间的运动;
所述处理器、所述非临时性计算机可读存储介质及所述计算机指令还配置为,使得所述增强现实装置至少执行:
基于立体图像的三角测量方法,测量得出针对同一场景所拍摄得到至少两幅图像中的各个像素的深度信息,并基于所述深度信息及所述图像包含的二维信息形成所述环境的三维虚拟表示。
12.如权利要求11所述的增强现实设备,其特征在于,所述处理器、所述非临时性计算机可读存储介质及所述计算机指令还配置为,使得所述增强现实装置至少执行:
利用预设的用于机器学习以匹配图像包含的光学信息和图像包含的表面材料的训练集,通过机器学习算法学习所述训练集,并基于所述图像包含的光学信息匹配得出所述图像中的各个表面的材料;
并且,所述模拟在所述环境的三维虚拟表示中的虚拟无线信号覆盖,根据所述定位、所述参数、所述环境的三维虚拟表示以及匹配得出的所述图像中的各个表面的材料进行模拟。
CN201880092895.2A 2018-06-01 2018-06-01 用于无线电模拟的增强现实的方法、设备 Active CN112204958B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/089647 WO2019227485A1 (zh) 2018-06-01 2018-06-01 用于无线电模拟的增强现实的方法、设备

Publications (2)

Publication Number Publication Date
CN112204958A CN112204958A (zh) 2021-01-08
CN112204958B true CN112204958B (zh) 2022-01-18

Family

ID=68697786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880092895.2A Active CN112204958B (zh) 2018-06-01 2018-06-01 用于无线电模拟的增强现实的方法、设备

Country Status (3)

Country Link
US (1) US11651559B2 (zh)
CN (1) CN112204958B (zh)
WO (1) WO2019227485A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022061824A1 (en) * 2020-09-27 2022-03-31 Siemens Aktiengesellschaft Methods, apparatuses and computer medium for radio signal simulation
US20230027175A1 (en) * 2021-07-21 2023-01-26 Cisco Technology, Inc. Three-dimensional visualization of wi-fi signal propagation
CN113852517A (zh) * 2021-09-06 2021-12-28 天翼数字生活科技有限公司 一种基于ar的信号强度可视化系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741483A (zh) * 2009-12-09 2010-06-16 广州天越电子科技有限公司 一种实现无线网络通信场强覆盖仿真系统
CN106851674A (zh) * 2017-03-10 2017-06-13 广州杰赛科技股份有限公司 无线网络仿真方法及系统
CN106874567A (zh) * 2017-01-17 2017-06-20 合肥工业大学 一种基于cad图形的wlan工程规划可视化设计系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6630915B1 (en) * 1999-01-26 2003-10-07 Lsa. Inc. Wireless transmission system for transmitting data to a simulation system user
AUPR483301A0 (en) * 2001-05-08 2001-05-31 Commonwealth Scientific And Industrial Research Organisation An optical device and methods of manufacture
US7162252B2 (en) * 2002-12-23 2007-01-09 Andrew Corporation Method and apparatus for supporting multiple wireless carrier mobile station location requirements with a common network overlay location system
US7873321B2 (en) * 2005-03-29 2011-01-18 Qualcomm Incorporated Apparatus and methods for determining network access performance of a wireless device
US9129644B2 (en) * 2009-06-23 2015-09-08 Disney Enterprises, Inc. System and method for rendering in accordance with location of virtual objects in real-time
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US20140002443A1 (en) * 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US9292951B2 (en) * 2012-08-22 2016-03-22 Cable Television Laboratories, Inc. Service coverage identification using augmented reality
US9264799B2 (en) * 2012-10-04 2016-02-16 Siemens Aktiengesellschaft Method and apparatus for acoustic area monitoring by exploiting ultra large scale arrays of microphones
CN103400409B (zh) 2013-08-27 2016-08-10 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
US9668146B2 (en) * 2014-04-25 2017-05-30 The Hong Kong University Of Science And Technology Autonomous robot-assisted indoor wireless coverage characterization platform
EP3878391A1 (en) * 2016-03-14 2021-09-15 Mohamed R. Mahfouz A surgical navigation system
WO2018022909A1 (en) * 2016-07-27 2018-02-01 Hadley Ryan Robert Visual representation and simulation of electromagnetic radiation distribution in a volume of space
US10360335B2 (en) 2016-08-29 2019-07-23 Tempo Communications, Inc. Distributed sensor network for measuring and optimizing wireless networks
EP3322207B1 (en) * 2016-11-14 2020-01-08 Deutsche Telekom AG Method to provide an enhanced network performance and/or capability information related to both a mobile communication network and a user equipment within that mobile communication network, system and mobile communication network for the provision of an enhanced network performance and/or capability information related to both the mobile communication network and a user equipment, program and computer program product
US11281958B2 (en) * 2016-12-14 2022-03-22 Hendrik J Volkerink Wireless sensor networks installation, deployment, maintenance, and operation
US10460053B2 (en) * 2017-04-24 2019-10-29 Toyota Research Institute, Inc. Systems and methods for surface property identification using waveform classification
US10992158B2 (en) * 2017-05-16 2021-04-27 Glover 38Th St, Holdings Llc Systems, devices, and/or methods for managing wireless electrical grid location or personal area network (WiGL) energy
AU2018308418A1 (en) * 2017-07-26 2020-01-16 Magic Leap, Inc. Training a neural network with representations of user interface devices
US10937240B2 (en) * 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
US10565797B2 (en) * 2018-02-17 2020-02-18 Varjo Technologies Oy System and method of enhancing user's immersion in mixed reality mode of display apparatus
US10559121B1 (en) * 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
US11410399B1 (en) * 2021-07-30 2022-08-09 Cisco Technology, Inc. Augmented reality wireless planning and troubleshooting

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741483A (zh) * 2009-12-09 2010-06-16 广州天越电子科技有限公司 一种实现无线网络通信场强覆盖仿真系统
CN106874567A (zh) * 2017-01-17 2017-06-20 合肥工业大学 一种基于cad图形的wlan工程规划可视化设计系统
CN106851674A (zh) * 2017-03-10 2017-06-13 广州杰赛科技股份有限公司 无线网络仿真方法及系统

Also Published As

Publication number Publication date
CN112204958A (zh) 2021-01-08
WO2019227485A1 (zh) 2019-12-05
US11651559B2 (en) 2023-05-16
US20210201583A1 (en) 2021-07-01
EP3796649A1 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
CN109660783B (zh) 虚拟现实视差校正
US10068547B2 (en) Augmented reality surface painting
KR102120046B1 (ko) 오브젝트를 표시하는 방법
US11880956B2 (en) Image processing method and apparatus, and computer storage medium
JP5093053B2 (ja) 電子カメラ
CN108401461A (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN112204958B (zh) 用于无线电模拟的增强现实的方法、设备
US20140218354A1 (en) View image providing device and method using omnidirectional image and 3-dimensional data
CN107330978B (zh) 基于位置映射的增强现实建模体验系统及方法
CN110022470A (zh) 使用合成图像训练对象检测算法的方法和系统和存储介质
WO2016114930A2 (en) Systems and methods for augmented reality art creation
CN110728755B (zh) 场景间漫游、模型拓扑创建、场景切换方法及系统
EP3533218B1 (en) Simulating depth of field
CN109840946B (zh) 虚拟对象显示方法及装置
CN109640070A (zh) 一种立体显示方法、装置、设备及存储介质
US20170237940A1 (en) Multiuser telepresence interaction
CN108230434B (zh) 图像纹理的处理方法、装置、存储介质和电子装置
CN111885366A (zh) 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
US11587284B2 (en) Virtual-world simulator
WO2021093703A1 (zh) 基于光通信装置的交互方法和系统
JP2016541042A (ja) 車両の少なくとも1つの機能を制御するための位置又は運動情報を提供するための方法及びシステム
JP2023551864A (ja) 自動立体テレプレゼンスシステムのための3次元(3d)顔特徴追跡
JP7006810B2 (ja) 3次元計測装置、移動ロボット、手押し車型移動装置および3次元計測処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant