CN112544097A - 用于执行三维无线电模型构建的方法、装置和计算机程序 - Google Patents

用于执行三维无线电模型构建的方法、装置和计算机程序 Download PDF

Info

Publication number
CN112544097A
CN112544097A CN201880096408.XA CN201880096408A CN112544097A CN 112544097 A CN112544097 A CN 112544097A CN 201880096408 A CN201880096408 A CN 201880096408A CN 112544097 A CN112544097 A CN 112544097A
Authority
CN
China
Prior art keywords
environment
information
access point
dimensional model
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880096408.XA
Other languages
English (en)
Inventor
A·尚卡
廖琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN112544097A publication Critical patent/CN112544097A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18Network planning tools
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18Network planning tools
    • H04W16/20Network planning tools for indoor coverage or short range network deployment
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/02Arrangements for optimising operational condition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/08Access point devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

一种装置,包括用于执行以下项的装置:向用户设备发送请求,其中该用户设备位于环境中;响应于该请求,从用户设备接收环境的图像信息;基于该图像信息构建环境的三维模型;从环境的三维模型获取信息;并且使用从环境的三维模型获取的信息生成环境的无线电传播模型。

Description

用于执行三维无线电模型构建的方法、装置和计算机程序
技术领域
各种示例涉及方法、装置和计算机程序。更具体地,各种示例涉及无线电模型构建,并且更具体地涉及用于执行三维无线电模型构建的方法和装置。
背景技术
用户设备可以被放置在包括无线电网络的环境中。对于网络规划和网络优化,可以的是需要具有无线电波如何在环境中传播的信息。
二维无线电覆盖地图可以被用于提供在环境中的无线电覆盖的二维表示。
发明内容
根据第一方面,提供了一种装置,该装置包括用于执行以下项的装置:向用户设备发送请求,其中该用户设备位于环境中;响应于该请求,从用户设备接收环境的图像信息;基于该图像信息,构建环境的三维模型;从环境的三维模型获取信息;并且使用从环境的三维模型获取的信息来生成环境的无线电传播模型。
在示例中,构建环境的三维模型包括使用定位和地图绘制技术以及对象识别技术。
在示例中,构建三维模型包括使用对象识别技术检测环境中的对象,以及在环境的三维模型中构建对象的位置和形状。
在示例中,构建三维模型包括使用对象识别技术确定对象的材料和/或类型。
在示例中,获取信息包括获取以下至少一个信息:在三维环境内的用户设备的位置的信息;在三维环境中的至少一个对象的位置和形状的信息;在环境中的至少一个对象的表面材料的信息。
在示例中,构建三维模型包括使用对象识别技术确定位于环境中的接入点的位置。
在示例中,构建三维模型包括识别位于环境中的接入点的类型。
在示例中,装置进一步被配置为执行:基于以下项生成虚拟无线电覆盖地图和/或至少一个性能度量:无线电传播模型;位于环境中的接入点的确定的位置,以及接入点的经识别类型。
在示例中,装置进一步被配置为执行:从用户设备接收与用户设备的接入点的优选的类型有关的信息和/或接收与用户设备的优选的接入点部署位置有关的信息。
在示例中,装置进一步被配置为执行:基于以下项生成虚拟无线电覆盖地图和/或至少一个性能度量:无线电传播模型;环境中的接入点的位置以及接入点的优选类型。
在示例中,装置进一步被配置为执行:向用户设备发送虚拟无线电覆盖地图和/或至少一个性能度量。
在示例中,至少一个性能度量包括网络容量和网络等待时间。
在示例中,装置进一步被配置为执行:从用户设备接收环境的背景信息;并且使用该背景信息来构建环境的三维模型。
在示例中,在用户设备处由用户通过触觉和/或语音反馈来提供背景信息。
在示例中,由用户设备的传感器记录背景信息。
在示例中,装置进一步被配置为执行:网络规划或网络优化。
在示例中,装置进一步被配置为执行:向用户设备提供建议的优化接入点部署位置。
在示例中,多个优化接入点部署位置被提供给用户设备。
在示例中,装置进一步被配置为向用户设备提供:在环境中部署多个接入点的建议。
在示例中,装置进一步被配置为执行:从用户设备接收用户设备的运动信息和/或无线电信号测量。
在示例中,定位和地图绘制技术包括同时定位和地图绘制算法。
在示例中,对象识别技术使用卷积神经网络。
根据第二方面,提供了一种装置,该装置包括用于执行以下项的装置:从服务器接收对图像信息的请求,该图像信息用于构建环境的三维模型,装置位于该环境中;并且响应于该请求,向服务器发送环境的图像信息。
在示例中,装置进一步被配置为执行:向服务器发送关于装置的接入点的优选的类型的信息和/或发送关于用户设备的优选的接入点部署位置的信息。
在示例中,装置进一步被配置为执行:向服务器发送运动信息和/或无线电信号测量。
在示例中,装置进一步被配置为执行:接收虚拟无线电覆盖地图和/或至少一个性能度量,其中虚拟无线电覆盖地图和/或至少一个性能度量基于:无线电传播模型;接入点的位置以及以下至少一项:接入点的优选的类型;以及由服务器检测到的在环境中的接入点的类型。
在示例中,装置进一步被配置为执行:接收建议的优化接入点部署位置,并且向用户显示建议的优化接入点部署位置。
在示例中,装置进一步被配置为执行:从服务器接收虚拟无线电覆盖地图和/或至少一个性能度量。
在示例中,至少一个性能度量包括网络容量和网络等待时间。
在示例中,装置进一步被配置为执行:向服务器发送环境的背景信息。
在示例中,背景信息由用户在装置处通过触觉和/或语音反馈来提供。
在示例中,背景信息由装置的传感器记录。
在示例中,装置进一步被配置为执行:从服务器接收多个优化接入点部署位置。
在示例中,装置进一步被配置为执行:从服务器接收建议,以在环境中部署多个接入点。
根据第三方面,提供了一种装置,该装置包括:至少一个处理器;至少一个存储器,包括计算机程序代码;其中至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置至少执行:向用户设备发送请求,其中用户设备位于环境中;响应于该请求,从用户设备接收环境的图像信息;基于图像信息,构建环境的三维模型;从环境的三维模型获取信息;并且使用从环境的三维模型获取的信息,来生成环境的无线电传播模型。
在示例中,构建环境的三维模型包括使用定位和地图绘制技术以及对象识别技术。
在示例中,构建三维模型包括使用对象识别技术检测在环境中的对象以及在环境的三维模型中构建对象的位置和形状。
在示例中,构建三维模型包括使用对象识别技术确定对象的材料和/或类型。
在示例中,获取信息包括获取以下至少一个信息:在三维环境内的用户设备的位置的信息;在三维环境中的至少一个对象的位置和形状的信息;在环境中的至少一个对象的表面材料的信息。
在示例中,构建三维模型包括使用对象识别技术确定位于环境中的接入点的位置。
在示例中,构建三维模型包括识别位于环境中的接入点的类型。
在示例中,基于以下项来使装置生成虚拟无线电覆盖地图和/或至少一个性能度量:无线电传播模型;位于环境中的接入点的确定的位置以及接入点的经识别的类型。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行:从用户设备接收关于用户设备的接入点的优选的类型的信息和/或接收关于用户设备的优选的接入点部署位置的信息。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置基于以下项执行生成虚拟无线电覆盖地图和/或至少一个性能度量:无线电传播模型;在环境中的接入点的位置以及接入点的优选类型。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行向用户设备发送虚拟无线电覆盖地图和/或至少一个性能度量。
在示例中,至少一个性能度量包括网络容量和网络等待时间。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行:从用户设备接收环境的背景信息;并且使用背景信息构建环境的三维模型。
在示例中,在用户设备处由用户通过触觉和/或语音反馈来提供背景信息。
在示例中,由用户设备的传感器记录背景信息。
在示例中,使装置执行网络规划或网络优化。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行向用户设备提供建议的优化接入点部署位置。
在示例中,多个优化接入点部署位置被提供给用户设备。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行向用户设备提供:在环境中部署多个接入点的建议。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行从用户设备接收用户设备的运动信息和/或无线电信号测量。
在示例中,定位和地图绘制技术包括同时定位和地图绘制算法。
在示例中,对象识别技术使用卷积神经网络。
根据第四方面,提供了一种装置,该装置包括:至少一个处理器;至少一个存储器,包括计算机程序代码;其中至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置至少执行:从服务器接收对图像信息的请求,该图像信息用于构建环境的三维模型,装置位于该环境中;并且响应于该请求,向服务器发送环境的图像信息。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行向服务器发送关于装置的接入点的优选的类型的信息;和/或发送关于用户设备的优选的接入点部署位置的信息。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行向服务器发送运动信息和/或无线电信号测量。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行接收虚拟无线电覆盖地图和/或至少一个性能度量;其中虚拟无线电覆盖地图和/或至少一个性能度量基于:无线电传播模型;接入点的位置以及以下至少一项:接入点的优选类型;以及由服务器检测到的环境中的接入点的类型。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行接收建议的优化接入点部署位置,并且用于向用户显示建议的优化接入点部署位置。
在示例中,至少一个储存器和计算机程序代码被配置为利用至少一个处理器使装置执行从服务器接收虚拟无线电覆盖地图和/或至少一个性能度量。
在示例中,至少一个性能度量包括网络容量和网络等待时间。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行向服务器发送环境的背景信息。
在示例中,在装置处由用户通过触觉和/或语音反馈来提供背景信息。
在示例中,由装置的传感器记录背景信息。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行从服务器接收多个优化接入点部署位置。
在示例中,至少一个存储器和计算机程序代码被配置为利用至少一个处理器使装置执行从服务器接收建议,以在环境中部署多个接入点。
根据第五方面,提供了一种方法,包括:向用户设备发送请求,其中用户设备位于环境中;响应于该请求,从用户设备接收环境的图像信息;基于图像信息构建环境的三维模型;从环境的三维模型获取信息;以及使用从环境的三维模型获取的信息来生成环境的无线电传播模型。
在示例中,构建环境的三维模型包括使用定位和地图绘制技术以及对象识别技术。
在示例中,构建三维模型包括使用对象识别技术检测环境中的对象,以及在环境的三维模型中构建对象的位置和形状。
在示例中,构建三维模型包括使用对象识别技术确定对象的材料和/或类型。
在示例中,获取信息包括获取以下至少一个信息:在三维环境内的用户设备的位置的信息;在三维环境中的至少一个对象的位置和形状的信息;在环境中的至少一个对象的表面材料的信息。
在示例中,构建三维模型包括使用对象识别技术确定位于环境中的接入点的位置。
在示例中,构建三维模型包括识别位于环境中的接入点的类型。
在示例中,方法进一步包括:基于以下项生成虚拟无线电覆盖地图和/或至少一个性能度量:无线电传播模型;位于环境中的接入点的确定的位置以及接入点的识别的类型。
在示例中,方法进一步包括:从用户设备接收关于用户设备的接入点的优选的类型的信息和/或接收关于用户设备的优选的接入点部署位置的信息。
在示例中,方法进一步包括:基于以下项生成虚拟无线电覆盖地图和/或至少一个性能度量:无线电传播模型;环境中的接入点的位置以及接入点的优选类型。
在示例中,方法进一步包括:向用户设备发送虚拟无线电覆盖地图和/或至少一个性能度量。
在示例中,至少一个性能度量包括网络容量和网络等待时间。
在示例中,方法进一步包括:从用户设备接收环境的背景信息;并且使用背景信息来构建环境的三维模型。
在示例中,在用户设备处由用户通过触觉和/或语音反馈来提供背景信息。
在示例中,由用户设备的传感器记录背景信息。
在示例中,方法进一步包括:执行网络规划或网络优化。
在示例中,方法进一步包括:向用户设备提供建议的优化接入点部署位置。
在示例中,多个优化接入点部署位置被提供给用户设备。
在示例中,方法进一步包括向用户设备提供建议,以在环境中部署多个接入点。
在示例中,方法进一步包括:从用户设备接收用户设备的运动信息和/或无线电信号测量。
在示例中,定位和地图绘制技术包括同时定位和地图绘制算法。
在示例中,对象识别技术使用卷积神经网络。
根据第六方面,提供了一种方法,包括:从服务器接收对图像信息的请求,该图像信息用于构建环境的三维模型,装置位于该环境中;并且响应于该请求,向服务器发送环境的图像信息。
在示例中,方法可以进一步包括:向服务器发送关于装置的接入点的优选的类型的信息和/或发送关于用户设备的优选的接入点部署位置的信息。
在示例中,方法可以进一步包括:向服务器发送运动信息和/或无线电信号测量。
在示例中,方法可以进一步包括:接收虚拟无线电覆盖地图和/或至少一个性能度量,其中虚拟无线电覆盖地图和/或至少一个性能度量基于:无线电传播模型;接入点的位置以及以下至少一项:接入点的优选的类型;以及由服务器检测到的在环境中的接入点的类型。
在示例中,方法可以进一步包括:接收建议的优化接入点部署位置,并且用于向用户显示建议的优化接入点部署位置。
在示例中,方法可以进一步包括:从服务器接收虚拟无线电覆盖地图和/或至少一个性能度量。
在示例中,至少一个性能度量包括网络容量和网络等待时间。
在示例中,方法可以进一步包括:向服务器发送环境的背景信息。
在示例中,在装置处由用户通过触觉和/或语音反馈来提供背景信息。
在示例中,由装置的传感器记录背景信息。
在示例中,方法可以进一步包括:从服务器接收多个优化接入点部署位置。
在示例中,方法可以进一步包括:从服务器接收建议,以在环境中部署多个接入点。
根据第七方面,提供了一种计算机程序,该计算机程序包括用于使装置至少执行以下项的指令:向用户设备发送请求,其中用户设备位于环境中;响应于该请求,从用户设备接收环境的图像信息;基于图像信息构建环境的三维模型;从环境的三维模型获取信息;以及使用从环境的三维模型获取的信息,来生成环境的无线电传播模型。
根据第八方面,提供了一种非暂时性计算机可读介质,该非暂时性计算机可读介质包括用于使装置至少执行以下项的程序指令:向用户设备发送请求,其中用户设备位于环境中;响应于该请求,从用户设备接收环境的图像信息;基于图像信息构建环境的三维模型;从环境的三维模型获取信息;以及使用从环境的三维模型获取的信息,来生成环境的无线电传播模型。
在示例中,构建环境的三维模型包括使用定位和地图绘制技术以及对象识别技术。
在示例中,构建三维模型包括使用对象识别技术检测环境中的对象,以及在环境的三维模型中构建对象的位置和形状。
在示例中,构建三维模型包括使用对象识别技术确定对象的材料和/或类型。
在示例中,获取信息包括获取以下至少一个信息:三维环境内的用户设备的位置的信息;三维环境中的至少一个对象的位置和形状的信息;环境中的至少一个对象的表面材料的信息。
在示例中,构建三维模型包括使用对象识别技术确定位于环境中的接入点的位置。
在示例中,构建三维模型包括识别位于环境中的接入点的类型。
在示例中,使装置执行:基于以下项生成虚拟无线电覆盖地图和/或至少一个性能度量:无线电传播模型;位于环境中的接入点的确定的位置以及接入点的识别的类型。
在示例中,使装置执行:从用户设备接收关于用户设备的接入点的优选的类型的信息和/或接收关于用户设备的优选的接入点部署位置的信息。
在示例中,使装置执行:基于以下项生成虚拟无线电覆盖地图和/或至少一个性能度量:无线电传播模型;环境中的接入点的位置以及接入点的优选类型。
在示例中,使装置执行:向用户设备发送虚拟无线电覆盖地图和/或至少一个性能度量。
在示例中,至少一个性能度量包括网络容量和网络等待时间。
在示例中,使装置执行:从用户设备接收环境的背景信息;并且使用背景信息来构建环境的三维模型。
在示例中,在用户设备处由用户通过触觉和/或语音反馈来提供背景信息。
在示例中,由用户设备的传感器记录背景信息。
在示例中,使装置执行:执行网络规划或网络优化。
在示例中,使装置执行:向用户设备提供建议的优化接入点部署位置。
在示例中,多个优化接入点部署位置被提供给用户设备。
在示例中,使装置执行:向用户设备提供建议,以在环境中部署多个接入点。
在示例中,使装置执行:从用户设备接收用户设备的运动信息和/或无线电信号测量。
在示例中,定位和地图绘制技术包括同时定位和地图绘制算法。
在示例中,对象识别技术使用卷积神经网络。
根据第九方面,提供了一种计算机程序,该计算机程序包括用于使装置至少执行以下项的指令:从服务器接收对图像信息的请求,该图像信息用于构建环境的三维模型,装置位于该环境中;并且响应于该请求,向服务器发送环境的图像信息。
根据第十方面,提供了一种非暂时性计算机可读介质,该非暂时性计算机可读介质包括用于使装置至少执行以下操作的程序指令:从服务器接收对图像信息的请求,该图像信息用于构建环境的三维模型,装置位于该环境中;并且响应于该请求,向服务器发送环境的图像信息。
在示例中,使装置执行:向服务器发送关于装置的接入点的优选的类型的信息和/或发送关于用户设备的优选的接入点部署位置的信息。
在示例中,使装置执行:向服务器发送运动信息和/或无线电信号测量。
在示例中,使装置执行:接收虚拟无线电覆盖地图和/或至少一个性能度量,其中虚拟无线电覆盖地图和/或至少一个性能度量基于:无线电传播模型;接入点的位置以及以下至少一项:接入点的优选的类型;以及由服务器检测到的环境中的接入点的类型。
在示例中,使装置执行:接收建议的优化接入点部署位置,并且用于向用户显示建议的优化接入点部署位置。
在示例中,使装置执行:从服务器接收虚拟无线电覆盖地图和/或至少一个性能度量。
在示例中,至少一个性能度量包括网络容量和网络等待时间。
在示例中,使装置执行:向服务器发送环境的背景信息。
在示例中,在装置处由用户通过触觉和/或语音反馈来提供背景信息。
在示例中,由装置的传感器记录背景信息。
在示例中,使装置执行:从服务器接收多个优化接入点部署位置。
在示例中,使装置执行:从服务器接收建议,以在环境中部署多个接入点。
在第十一方面,提供了一种计算机程序,该计算机程序包括存储在其上用于至少执行以下项的指令:向用户设备发送请求,其中用户设备位于环境中;响应于该请求,从用户设备接收环境的图像信息;基于图像信息构建环境的三维模型;从环境的三维模型获取信息;以及使用从环境的三维模型获取的信息,来生成环境的无线电传播模型。
在第十二方面,提供了一种非暂时性计算机可读介质,该非暂时性计算机可读介质包括其上用于至少执行以下项的程序指令:向用户设备发送请求,其中用户设备位于环境中;响应于该请求,从用户设备接收环境的图像信息;基于图像信息构建环境的三维模型;从环境的三维模型获取信息;以及使用从环境的三维模型获取的信息,来生成环境的无线电传播模型。
在第十三方面,提供了一种计算机程序,该计算机程序包括存储在其上用于至少执行以下项的指令:从服务器接收对图像信息的请求,该图像信息用于构建环境的三维模型,装置位于该环境中;并且响应于该请求,向服务器发送环境的图像信息。
在第十四方面,提供了一种非暂时性计算机可读介质,该非暂时性计算机可读介质包括其上用于至少执行以下操作的指令:从服务器接收对图像信息的请求,该图像信息用于构建环境的三维模型,装置位于该环境中;并且响应于该请求,向服务器发送环境的图像信息。
在以上所述中,已经描述了各个方面。应当理解,可以通过上述方面中的任意两个或多个方面的组合来提供进一步的方面。
在以下详细描述和所附权利要求中还描述了各种其它方面和进一步的实施例。
附图说明
为了帮助理解本公开并示出一些实施例可以如何生效,仅以示例的方式参考附图,其中:
图1示意性地图示了环境的示例;
图2示意性地图示了系统的示例;
图3示意性地图示了环境的示例;
图4示意性地图示了根据示例的用于构建三维无线电模型的方法;
图5示意性地图示了根据示例的用于使用无线电传播模型的方法;
图6图示了根据示例的第一方法流程;并且
图7图示了根据示例的第二方法流程。
具体实施方式
可以在网络规划或网络优化的背景中提供一些示例。
无线电地图构建可以被用于网络规划和优化。第五代(5G)无线接入和无人飞行器(UAV)服务的不断增长的市场推动了对三维(3D)空间中提供的无线电地图的需求。这种需求带来了新的技术挑战,诸如如何快速有效地估计在3D空间中的位置相关的网络性能。例如,网络性能可以通过信号强度和/或网络吞吐量(数据速率)来表示。另一个挑战是如何简化所需的数据收集,以便构建无线电地图或执行网络规划和网络优化。例如,在大规模环境(例如,制造工厂)中,收集用于构建虚拟无线电地图的现场调查数据的过程可能花费很长时间并且可能是劳动密集型的。
在某些示例中,描述了使用基于视觉的3D网络环境构建的网络规划和优化服务。在一些示例中,网络规划和优化服务可以提供基于环境的无线电传播模型(“数字孪生”)的信息。
方法和装置可以被用于提供关于环境100的信息,诸如图1中示意性地示出的信息。尽管图1以2D示意性地示出,但是将理解的是,环境100包括3D环境。在3D环境100中,可以定位用户设备102、用户104、接入点(AP)106以及对象(诸如椅子108、屏幕110(例如,计算机的屏幕)和桌子112)。环境100可以是室内环境(诸如,家庭或办公室)。环境100可以备选地包括室外环境。环境100还可以包括室内环境和室外环境二者。
在环境100中,还可以存在某些特征,这些特征可以被认为是在环境的二维(2D)图像中突出的“关键点”或“兴趣点”。例如,特征可以是环境中的项目的拐角或边缘。在图1中的114处图示了示例性特征,即屏幕110的拐角。该环境可以包括其它特征,例如进一步的关键点。
现在将参考图2更详细地描述一些示例的示例性系统,图2图示了系统254的示意图。示例性系统254包括用户设备202和服务器设备224。
用户设备202可以至少包括至少一个数据处理实体228、至少一个存储器230以及用于在被设计为执行任务的辅助执行的软件和硬件中使用的其它可能的部件,任务包括控制接入服务器设备和其它通信设备以及与服务器设备和其它通信设备的通信。至少一个存储器228可以与数据处理实体230通信,数据处理实体230可以是数据处理器。数据处理、存储和其它相关的控制装置可以被设置在适当的电路板上和/或芯片组中。
用户设备202可以可选地包括用户接口(诸如,键盘、语音命令、触敏屏幕或触摸板及其组合等)。可以可选地提供以下一项或多项:显示器220、扬声器和麦克风。此外,用户设备202可以包括到其它设备的适当的连接器(有线或无线)和/或用于将外部附件(例如,免提设备)连接到其上的适当的连接器(有线或无线)。显示器220可以是能够例如响应于用户输入而向用户提供触觉反馈的触觉显示器。
用户设备202可以经由用于接收的适当的装置在空中或无线电接口226上接收信号,并且可以经由用于发射无线电信号的适当的装置发射信号。在图2中,在232处示意性地图示了收发器装置。例如,可以借助于无线电部分和相关联的天线布置来提供收发器装置232。天线布置可以被布置在无线设备的内部或外部。可以由通信单元222来控制收发器装置232。
在示例中,用户设备202可以包括数据收集模块218。数据收集模块218可以包括运动测量装置。运动测量装置可以包括能够测量用户设备202的运动、旋转和速度的惯性测量单元。例如,惯性测量单元可以包括加速度计和/或陀螺仪。
数据收集模块218可以包括无电线信号测量单元,用于收集在环境200中的各个位置处的信息,诸如信号强度和/或数据速率。在一些示例中,除了运动测量装置之外,还可以提供无线电信号测量单元。在一些示例中,提供了无线电信号测量单元,而没有提供运动测量装置。
用户设备202可以包括用于记录图像信息的图像信息记录单元216。例如,图像信息可以包括2D图像帧。在一些示例中,2D图像帧包括静止图像帧。在一些示例中,2D图像帧包括运动图像帧。图像信息单元216可以包括相机模块。相机模块可以被嵌入在用户设备202中,或者可以被提供为可以经由无线通信单元或有线通信单元连接到网络的独立设备。
服务器224可以在空中或在无线电接口(诸如接口226)上经由用于接收的适当的装置接收信号,并且可以经由用于发射无线电信号的适当的装置发射信号。在图2中,在238处示意性地图示了服务器设备224的收发器装置。例如,可以借助于无线电部分和相关联的天线布置来提供收发器装置238。天线布置可以被布置在无线设备的内部或外部。可以由通信单元来控制收发器装置238。
如在240处示意性地示出的,图像信息记录单元216可以提供与环境200有关的图像信息。用户设备和相机可以位于环境200中。
用户设备202可以通过接口226与服务器设备224接触。服务器设备224可以至少包括至少一个数据处理实体234、至少一个存储器236以及用于在被设计为执行任务的辅助执行的软件和硬件中使用的其它可能的部件,该任务包括接入用户设备和其它通信设备的控制以及与用户设备和其它通信设备的通信。至少一个存储器236可以与数据处理实体234通信,数据处理实体234可以是数据处理器。数据处理、存储和其它相关的控制装置可以被设置在适当的电路板上和/或芯片组中。
服务器设备可以位于“云”中。由服务器224提供的方法步骤可以由服务云提供。服务器设备可以执行数据分析以及网络规划和优化。
为了提供可以在其中执行网络规划和优化任务的3D环境的无线电传播模型,建议的是使用基于视觉的方法来构建环境的3D模型。然后可以提取(或获取)来自构建的环境的3D模型的信息,以便创建(或生成)无线电传播模型。通过使用基于视觉的方法构建3D环境的3D模型并且从3D模型生成无线电传播模型,则无需进行现场调查数据测量(例如,信号强度测量)即可生成无线电传播模型。此外,由于3D环境使用图像信息(诸如,来自相机的图像帧)被构建为3D模型,因此用户不必提供3D环境的蓝图或地图。换句话说,在一些示例中,不进行实际的无线电测量以便生成3D模型。而是,可以基于所接收的图像信息而无需获取实际的或物理的无线电测量来计算或确定在模型(也就是环境)中的位置处的无线电信息(例如,信号强度)。
为了构建环境的3D模型,用户设备202可以将从图像信息记录单元216收集的图像信息发送到服务器224。可以发送进一步的信息,例如以下至少一个信息:无线电信号测量信息,运动信息以及指定的网络要求(例如,AP的优选的/安装的型号和/或服务质量要求)。如以下进一步描述的,服务云可以分析数据并且构建或更新3D环境的模型。同时,用户设备的位置和视点可以(例如,通过使用如以下进一步描述的计算机视觉技术)可选地被保持跟踪。
为了构建环境的3D模型,使用了定位和地图绘制技术(例如,同时定位和地图绘制(SLAM)算法)以及基于深度学习的对象识别技术(例如,卷积神经网络(ConvNets))。
如上所述,定位和地图绘制技术的示例是SLAM算法。SLAM可以被用于构建或更新未知环境的地图而同时保持跟踪在其内的设备的位置。当(一个或多个)解决方案仅基于视觉信息时,SLAM算法可以被称为“视觉SLAM算法”。视觉SLAM算法的输出可以包括用户设备周围环境的3D点云,以及设备自身相对于环境的位置和视点。SLAM算法可以被用于检测用户设备的轨迹。
如上所述,ConvNets可以被用作基于深度学习的对象识别技术。尽管SLAM可以捕获在用户设备与环境之间的拓扑关系,但是ConvNets可以被用于提供有关环境中的无线电波将在环境内遇到的障碍物的附加的信息,这对于提供无线电传播模型可以是有用的。这对于具有窄波束特性的高频无线电频谱(诸如,毫米波(mmWave)频率无线电频谱)可以是有用的。
例如,SLAM可以能够确定障碍物,但是可能不能够确定障碍物的一些物理属性。例如,SLAM可能不能够区分障碍物是木制的还是金属的。与木制的障碍物相比,金属的障碍物将信号衰减的程度更高。ConvNets可以被用于从图像标识对象的属性,诸如其材料。ConvNets还可以被用于确定对象的类型(例如,人、汽车、椅子等)。ConvNets可以被用于检测、分割和识别图像中的对象和区域。因此,ConvNets可以被用于基于环境的图像信息来识别在3D环境中的对象。当将AP被布置在环境中时,ConvNets还可以被用于识别AP。ConvNets可以被用于提供与环境中的AP的位置有关的信息。ConvNets可以提供与AP的类型(例如,人、汽车、椅子等)有关的信息。
在一些示例中,通过结合定位和地图绘制技术以及对象识别技术,因此能够生成环境的3D模型,从中可以获取以下信息中的至少一些信息以生成无线电传播模型:
·3D环境内的用户设备的轨迹;
·3D环境内的用户设备的视点;
·3D环境中的一个或多个障碍物的位置;
·3D环境中的一个或多个障碍物的形状;
·3D环境中的一个或多个障碍物的表面材料;
·3D环境中的一个或多个障碍物的类型;
·3D环境中的一个或多个部署的AP的位置;
·部署在3D环境中的一个或多个AP的类型。
为了讨论某些示例,下面将参考图3讨论某些术语和短语。
特征(关键点),诸如在图1中示意性地示出的特征114,可以包括具有相关联的描述符的选择的图像区域。可以将特征视为在2D图像中突出或突出的兴趣点。如果图像被修改(例如,图像被旋转,比例被更改或被扭曲),则应该有可能在原始图像和修改的图像中找到相同的特征。这些2D点可以帮助标识和跟踪3D空间中的“标记”(例如,地图点或关键目标)。为了标识这些特征(关键点),可以将特征与描述提取的特征的特性的描述符相关联。图3中图示了位于环境300中的对象308和310(分别是椅子和屏幕)的示例性特征352、350、344、346和348。
有各种可用的特征检测器。其中包括尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、哈里斯拐角检测器(HARRIS)、来自加速段测试的特征(FAST)和ORB(定向的FAST和旋转的BRIEF(二进制鲁棒独立基本特征))。
在示例中,可以使用具有亚像素准确度的HARRIS。
在另一非限制性示例中,可以使用可以检测拐角的ORB检测器和描述符。ORB是基于定向的FAST特征检测器和旋转的BRIEF描述符开发的。在ORB中,对于每个检测到的特征Fi,存储以下信息:
·图像坐标系中的其质心
Figure BDA0002936309600000181
的2D位置;
·其有意义的特征邻域
Figure BDA0002936309600000182
的直径;
·其定向角oi∈[0,360];
·其描述符为总结了特征的属性的有限矢量
Figure BDA0002936309600000183
例如,BRIEF描述符描述特征Fi的本地图像补丁的L个位置对的集合之间的二进制强度比较;
·目标类id Ii可以被用于按其所属的目标对象对特征进行聚类。
地图点可以形成世界的3D重建的结构。地图点可以被用于构建环境的3D模型。每个地图点Mj可以对应于世界中的纹理平面补丁。可以从不同的视图中对地图点的位置进行三角剖分。每个地图点的位置还可以通过光束法平差来完善。可以将地图点视为在重建的3D空间中的标记。地图点可以与在不同特征中检测到的一个或多个关键点(特征)相关联。单个地图点可以与数个关键帧(下面讨论了关键帧)中的特征相关联,并且因此数个描述符可以与地图点相关联。可以针对每个地图点存储以下信息:
·在世界坐标系中的其3D位置
Figure BDA0002936309600000191
·观察方向
Figure BDA0002936309600000192
是其所有观察方向的平均单位向量(将点与对其进行观察的关键帧的光学中心相连的射线)。Mj的所有观察方向的集合可以由
Figure BDA0002936309600000193
指示,其中
Figure BDA0002936309600000194
是观察地图点Mj的关键帧的集合;
·代表性特征描述符Dj,与一个特征描述符相关联,该特征描述符的汉明距离相对于在其中观察到地图点Mj的关键帧中的所有其它相关联的描述符最小。
·基于特征的比例不变性限制,可以观察到该点的最大距离和最小距离,分别由dj (max)和dj (min)表示。
关键目标可以是显示出阻碍无线电波传播、并且可以导致无线电波衰减或反射的目标对象。一旦被检测到,关键目标(诸如图3的椅子308)可以被提供有边界框342。可以在机器学习分类模型(例如,ConvNets)中预定义或预训练潜在的关键目标及其物理属性的目标类别的集合。对于关键目标TI,可以存储以下信息:
·关键目标的从属类和唯一的ID。每个检测到的关键目标都被分类为一个类别(例如,壁橱、桌子、墙壁)并且具有唯一的ID。
·关键目标的相关联的特征(多个特征)和地图点。通常,落入检测到的关键目标的边界框中的特征与关键目标以及与这些特征相关联的地图点相关联。剔除机制可以被用于检测冗余或不匹配的特征以及与关键目标相关联的地图点。这种剔除机制将在下面进一步讨论。
关键帧可以被视为总结了现实世界的视觉信息的图像帧(“快照”)。每个关键帧都将所有特征存储在帧中,无论该特征是否与地图点相关联。每个关键帧还存储相机姿态。在一些示例中,“姿态”可以被认为是相机的位置和取向的组合。对于关键帧Kn,可以存储以下信息:
·相机姿态矩阵
Figure BDA0002936309600000201
可以将点从世界变换为相机坐标系。相机姿态矩阵
Figure BDA0002936309600000202
包括:旋转矩阵
Figure BDA0002936309600000203
用于描述相机相对于世界坐标轴的取向;以及列向量
Figure BDA0002936309600000204
用于描述世界坐标中的相机中心的位置;
·相机本征信息,包括焦距和主要点;
·在帧中提取的所有特征(由集合
Figure BDA0002936309600000205
表示),无论特征是否与地图点相关联;
·在帧中的所有检测到的关键目标(由集合
Figure BDA0002936309600000206
表示)及其对应的边界框(诸如,图3中所示的椅子的边界框342)。然后可以使用边界框将在同一帧中提取的特征与地图点相关联。
参考图4描述用于构建环境的三维模型的方法的示例。
在执行图4的方法之前,可以进行地图初始化。地图初始化计算在两个帧之间的相对姿态,以对地图点的初始集合进行三角剖分。这可以通过提取当前帧和参考帧中彼此相对应的初始特征、并且分别利用归一化直接线性变换(DLT)和八点算法并行计算用于算法之间的模型选择的单应性(平面场景)和基本矩阵(非平面场景)来完成。如果检测到平面场景,则可以使用DLT算法计算单应性。如果检测到非平面场景,则可以使用八点算法来计算基本矩阵。场景是从环境的某个角度观看的视图。例如,环境可以是整个房间,但是场景可以是从视图的特定角度观看的房间的一个角落。一旦存在初始地图,跟踪403就估计每个进入帧的相机姿态。
在401处,提供了输入图像信息。图像信息可以是帧,并且可以是2D图像帧或2D视频帧。在405处,使用特征检测和跟踪功能执行特征提取和跟踪,特征检测和跟踪功能可以例如是OpenCV特征检测和跟踪功能和/或以上描述的特征检测和跟踪功能。在407处,执行初始姿态估计和/或全局重新定位。特征的跟踪尝试从最后一帧获取相机姿态的第一估计。例如,利用3D到2D的对应关系的集合,可以在随机样本共识(RANSAC)方案内计算相机姿态的视角与点(PnP)问题。如果丢失了从先前帧或前一帧的跟踪,则可以基于数据库中的关键帧与当前关键帧之间的相似性来查询用于重新定位候选的关键帧数据库。对于每个候选的关键帧,计算特征对应关系以及与关键帧中的地图点相关联的特征。通过这样做,获取了针对每个候选的关键帧的2D到3D对应关系的集合。可以对每个候选对象交替地执行RANSAC迭代,并且尝试计算相机姿态。
在409处,使用对象识别技术(例如,深度学习框架中的ConvNets)执行关键目标检测(目标识别)。为了训练模型,可以首先收集包含相关对象(例如,可以影响无线电传播的障碍物(诸如,大型设备、墙壁、壁橱等))的图像的数据集。对象可以是给定的训练标签。通过在标签中包括关键目标的材料或大小,可以实现更详细的分类。训练的模型被用于对选择的关键帧执行实时关键目标对象检测。如果服务提供商收集包括对象的新类型的新图像,则可以通过引入更多目标类别或通过自定义目标类别来更新训练模型。
在411处,将特征与在409处找到的关键目标相关联。在关键帧中的每个检测到的关键目标与边界框(例如,图3中示出的342)相关联。在边界框内的特征与唯一的目标ID相关联。如果相同的特征(基于描述符在连续帧中跟踪相同的特征)位于连续帧中的不同的关键目标的边界框中,则选择特征出现频率最高的关键目标。
在413处,执行本地地图跟踪。本地地图是关键帧集合,该关键帧集合与当前帧共享相似的位置。尽管特征跟踪有助于找到环境中的相机姿态的第一估计,但利用估计的相机姿态,可以将地图点投影到本地地图的关键帧上,并且在本地地图关键帧中关联或拒绝地图点。根据地图点的相关联的特征描述符以及特征的相对应的目标ID,可以将其关联到关键目标。可以使用初始姿态估计以及在帧本地地图点中的特征之间找到的所有的对应关系来执行最终姿态优化。可以通过最小化重投影误差来优化相机姿态。例如,一种可能的方法是将列文伯格-马夸尔特(Levenberg-Marquadt)算法与胡伯(Huber)成本函数一起使用。
在成功跟踪的情况下,可以决定是插入新的关键帧(在415处)还是插入新的关键目标(417)。基于以下参数可以定义用于插入新的关键帧的各种标准:从上次重新定位起经过的帧的数目;由当前帧跟踪的点的数目;当前帧中和一些参考帧中跟踪的地图点的数目之间的差异(例如,与当前帧共享最多的地图点的帧);从上次关键帧插入或从本地光束法平差的完成起经过的帧的数目。还可以定义插入新的关键目标的条件,如以下给定的示例所示。
i.在当前帧中的检测到的边界框中跟踪的至少N(newTar)个点。
ii.包括在检测到的边界框中的至少N(newPts)个地图点不与现有目标id相关联。
iii.从上次关键帧插入起已经经过了至少N(passFr)个帧。
在403处跟踪之后,在419处可以如上所述提供新的关键帧421或关键目标423。然后可以执行本地地图绘制425。在新的关键目标插入431或新的关键帧插入427期间,可以更新目标数据库。还可以更新表征在关键帧之间的相似性的可见性图。可见性图可以暗示在关键帧之间的可见性信息。在可见性图中,每个节点可以是关键帧,并且如果在两个关键帧之间共享相同的地图点的观测,则它们之间存在边缘。当将第一关键帧输入到系统时,可以创建可见性图。当插入新的关键帧时,它可以被更新。
在一些示例中,为了被保留在地图中,可以要求新创建的地图点和目标在429和433处通过剔除测试。例如,跟踪必须至少在点被预测为可见的帧的定义的百分比的帧中找到该点(或者与目标相关联的点的最小数目),或/和如果自地图点或目标创建以来已经通过了多于一个的关键帧,则必须从至少N(createFr)个帧中观察到该关键帧。这些剔除测试可以被用于减少冗余并且减少在所构建的环境的3D模型中的噪声。
在435处,通过对不同关键帧中的特征进行三角剖分来创建新的地图点。例如,可以使用并行跟踪和地图绘制(PTAM)来对具有最接近的关键帧的点进行三角剖分。例如,还可以使用定向的FAST和旋转的BRIEF(二进制鲁棒独立基本特征)同时定位和地图绘制(ORB-SLAM)来完成,该方法使用可见性图中共享最多地图点的数个相邻的关键帧。在示例中,可以将关键点视为每个关键帧中检测到的特征,这些关键帧的位置(在2D图像中)从一个帧到另一个帧不同。例如,在两个关键帧中检测到的两个关键点可以涉及在3D空间中的一个相同的地图点。因此,共享更多的相同的地图点的关键帧(即,在一个关键帧中检测到的关键点的子集以及在另一个关键帧中检测到的关键点的子集被地图绘制到地图点的相同的集合)可以被视为“接近”相邻的关键帧。如果特征与检测到的关键目标相关联,则在439处将其对应的地图点与相同的关键目标相关联。
在437处,可以进行本地光束法平差。光束法平差(BA)可以被视为在环境的3D结构以及环境的观察参数上的问题。本地BA优化了当前处理的关键帧以及在可见性图中与当前处理的关键帧连接的所有关键帧。它还优化了由这些关键帧看到的所有地图点。在可能的方法中,可以使用列文伯格-马夸尔特算法。
在441处,可以执行本地关键帧剔除以减少冗余。例如,标准可以被定义为:如果至少在其它N(cullFr)个关键帧中看到多于N(overlapPts)个的重叠的地图点,则可以定义丢弃关键帧。
在443处,可以执行闭环过程。闭环443可以包括循环检测449和循环校正453。循环检测449可以包括循环候选检测445以及计算相似度变换447。循环校正453可以包括循环融合451和所谓的“基本图”优化455。循环检测449和循环校正453步骤可以包括与ORB-SLAM算法的循环检测和循环校正步骤相似的步骤。
在457处,可以使用3D关键目标重建来构建地图中的障碍物(对象)。这可以通过使用地图点、其对应的目标id以及目标类别来实现,以便在3D空间中重构建障碍物。为此的示例性解决方案是为属于相同的目标id的地图点的每个集合创建3D凸包,并且使用目标类别标签(例如,材料或反射表面)中包括的信息来重建地图中的3D对象(传播障碍物)。如果提供更多的信息,例如,对象的大小或形状,则可以拟合属于具有该大小或形状的相同目标ID的地图点,并且改善对象的3D重建。
在459处,可以构建输入帧401的环境的3D模型。这可以包括关于环境中的关键目标465以及地图点461的信息。可以在467处的3D模型中重建障碍物(对象)。还可以从图4中示意性地示出的方法输出关键帧463。
通过图4示意性地示出的方法产生的环境的3D模型可以被用于获取信息,以生成用户设备的环境的无线电传播模型。在此参考图5描述用于生成和使用无线电传播模型的示例性方法。
图5图示了其中用户设备502和服务器524进行通信的示例性方法。应当理解的是,可以以不同于图5所示的顺序来执行图5的某些步骤,并且在一些示例中,图5的一些步骤可以是可选的。
用户设备和服务器可以跨接口(诸如,图2中示意性地示出的接口226)通信。
在S1处,用户设备502向服务器524发送请求以启动服务。
在S2处,服务器524请求接入图像信息记录单元,该图像信息记录单元可以是相机。
在S2之后,可以有用于用户的可选的要求,以对将图像信息(诸如,图像/视频帧)发送到服务器524授予许可。
在S3处,图像信息被发送到服务器524。为了保护用户的隐私,可以在发送图像数据之前对图像数据进行可选地过滤。例如,在发送图像之前,可以对图像中检测到或确定为敏感的区域进行加扰或像素化处理。在S3处,还可以发送其它测量(诸如,运动信息、位置信息和无线电信号测量信息)。该信息可以被用于校准在S5处生成的无线电传播模型。例如,可以使用信号强度和在环境中的估计(使用定位和地图绘制技术估计)的位置来更新无线电传播模型。该信息还可以被用于更新有关AP类型的信息。
服务器524可以存储有关AP类型的信息,例如天线型号。
在S4处,如上所述地构建图像信息中所示的环境的3D模型。用户设备可以位于环境中,在该环境中构建3D模型。如上所述,这可以通过使用定位和地图绘制技术(诸如,SLAM)以及对象识别技术(诸如,ConvNets)来实现。
在S4处的环境的3D模型构建的示例性可能输出包括:在3D环境内的用户设备的位置的信息;用户设备轨迹和视点的信息;环境的3D地图;可以反射或阻挡无线电波的在环境中的主要障碍物(对象)的位置和形状的信息;以及主要障碍物的表面材料的信息。这些输出可以被用于在S5处提取(获取)信息,以生成环境的无线电传播模型(“环境的数字孪生”)。
在S6处,网络要求和/或背景信息从用户设备502被发送到服务器524。可以由服务器设备524在网络规划和/或优化任务中使用网络要求和/或背景信息。可以由服务器设备524在构建环境的3D模型中或在生成环境的无线电传播模型中使用网络要求和/或背景信息。应当注意,S6可以在图5中的另一点处发生,例如在S1之前或同时。
网络要求和/或背景信息可以包括与AP的优选的类型有关的信息。网络要求和/或背景信息可以包括与用户的优选的AP部署位置有关的信息(该信息可以包括针对至少一个AP的至少一个部署位置)。经由来自在用户设备502处的用户的触觉和/或语音反馈,可以将网络要求和/或背景信息提供给用户设备。可以由在用户设备502处的传感器记录网络要求和/或背景信息。可以通过在用户设备502处的用户接口来提供网络要求和/或背景信息。网络要求和/或背景信息可以包括与由用户在用户设备处提供的覆盖区域有关的信息,例如由用户使用用户设备502的用户接口标记的低等待时间或高网络可靠性的区域。网络要求和/或背景信息可以包括与AP的安装类型有关的信息。网络要求和/或背景信息还可以包括与AP的位置有关的信息。网络要求和/或背景信息可以包括与服务要求的质量有关的信息。
在S7处,可以执行网络规划和/或优化。对于网络规划功能,可以尚未在环境中部署AP,并且可以执行网络规划以确定要部署的AP的最佳位置。对于网络优化功能,可以已经在环境中部署了至少一个AP。
射线跟踪可以被用于生成无线电传播信道以及使用无线电传播模型生成虚拟无线电地图。射线跟踪是一种计算波或粒子通过具有变化的传播速度、吸收特性和反射表面的区域的系统的路径的方法。
对于网络规划,服务器524可以使用从在S6处的用户设备发送的与AP的优选的类型或安装的AP有关的信息。服务器524还可以使用AP优选的类型和/或AP安装的类型以及无线电传播模型来生成虚拟无线电覆盖地图。服务器524可以附加地使用在环境中的AP的位置,来生成虚拟无线电覆盖地图。
对于网络优化,在S4处使用的对象识别技术可以确定在环境中部署的AP的类型的信息。对象识别还可以确定环境中的AP的位置的信息。服务器可以在网络优化中使用该信息。服务器还可以使用AP类型和/或位置信息以及无线电传播模型来生成虚拟无线电覆盖地图。
服务器524的网络规划和优化功能可以提供AP的建议的最佳部署位置。服务器524可以建议部署多个AP,并且可以建议多个AP的多个最佳部署位置。对于大区域,可以建议多个AP部署。还可以给出用户设备502或AP的优化的配置参数的建议。生成的虚拟无线电地图可以在自组织的无线网络中被用于优化覆盖范围和容量。
在S8处,用户设备502向服务器524发送可视化请求。该可视化请求可以被用于可视化虚拟无线电覆盖地图,或者用于可视化针对AP的优化的部署位置。
在S9处,如在S3中,用户设备502发送图像信息以及其它测量信息。在S10处,可以使用定位和地图绘制技术来确定用户设备的位置和视点。还可以使用定位和地图绘制技术来确定用户设备的轨迹。在S11处,可以生成虚拟无线电覆盖地图。这可以包括3D空间的网格化无线电地图。在S12处,可以将建议的最佳部署位置覆盖在由用户设备捕获的图像信息上发送。该图像信息可以是实时图像帧。然后,可以在用户设备502的显示器上查看最佳部署位置。可以在S12处发送其它信息,诸如要在用户设备502处显示的性能度量。可以代替最佳部署位置而发送该信息,或者可以发送该信息以及最佳部署位置。这些性能度量可以包括网络容量信息(例如,就数据速率而言的网络容量信息)或网络等待时间信息。
使用该方法产生的虚拟无线电覆盖地图可以是有用的,因为用户可以指定在3D环境中的任意点,然后可以针对该点给出无线电覆盖信息。这意味着用户可以在3D环境中指定长度、宽度和高度的任意坐标,并且为该坐标提供测量。这在3D空间中提供了快速有效的位置相关网络性能估计。
在示例中,用户可以通过使用用户设备指定高度值来可视化3D无线电覆盖地图。然后可以将在该平面上并且针对该高度的2D虚拟无线电地图提供给用户。用户可以类似地限制要被提供2D虚拟无线电地图的在3D空间中的任何其它维度。可以对地图进行颜色编码以显示无线电覆盖范围的差异(例如,绿色表示良好的覆盖范围,红色表示较差的覆盖范围)。该地图也可以在3D中渲染,利用在某些2D点处的峰值对应于较好的无线电覆盖范围的区域,并且波谷对应于较差的无线电覆盖范围的区域。该地图可以被显示在用户设备502的显示器上。
用户可以通过在表面(诸如,墙壁、天花板或对象的表面)上提供地图的投影来可视化无线电地图。这可以被显示在用户设备502的显示器上。
在一些示例中,可以在环境中使用多个AP。
在一些示例中,可以建议多个AP部署位置,使得用户可以选择要使用的它们的优选的位置。这在用户有特定于区域的考虑时可以是有用的,例如与安全性或安全相关的问题。
本文描述的方法和装置可以被用在5G固定的无线接入(FWA)室外场景中。FWA被用于为没有(或有限的)具有用于有线宽带的空间的基础设施的家庭和中小型企业提供无线宽带服务(例如,具有窄波束宽度的mmWave接入)。在FWA中,通常需要两个固定的位置直接与部署的固定的AP连接。除了连接一对一位置之外,FWA还可以在点对点和多点对多点传输模式下实现。本文描述的方法和装置可以被用于决定在3D空间中的何处部署固定的无线AP(例如,安装在塔楼或建筑物上,屋顶安装或壁挂式安装,以及确切地位于哪个位置),以最大化直接(视线)无线通信链接的容量。
无人驾驶飞行器(UAV)可以被用于收集视频/图像数据、GPS信息以及对应的接收的信号强度或其它网络性能测量。这在FWA场景中可能很有用。使用本文描述的3D模型构建方法以及基于本文描述的提取的“数字孪生”的网络规划/优化方法,可以向用户示出部署固定的无线接入的优化的位置,以及经由增强现实辅助的移动用户接口针对室外场景在3D空间中实现的虚拟网络性能,即可以将优化的部署位置以及虚拟的网络性能覆盖在用户设备界面上的真实图像(或视频流)上。
图6图示了示例方法。该方法可以由服务器执行。在S601处,该方法包括向用户设备发送请求,该用户设备位于环境中。在S602处,该方法包括响应于该请求从用户设备接收环境的图像信息。在S603处,该方法包括基于该图像信息构建环境的三维模型。在S604处,该方法包括从环境的三维模型获取信息。在S605处,该方法包括使用从环境的三维模型获取的信息生成环境的无线电传播模型。
图7图示了示例方法。该方法可以由用户设备执行。该方法包括在S701处从服务器接收针对图像信息的请求,该图像信息用于构建环境的三维模型。在S702处,该方法进一步包括响应于该请求向服务器发送环境的图像信息。
通常,图示的各种示例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。一些方面可以以硬件来实现,而其它方面可以以可以由控制器、微处理器或其它计算设备执行的固件或软件来实现,但是本发明不限于此。尽管各个方面可以作为框图、流程图或使用一些其它图形表示进行说明和描述,但是应该充分理解,本文描述的这些框、装置、系统、技术或方法可以作为非限制性示例(硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备、或其一些组合)来实现。
一些实施例可以由计算机软件来实现,该计算机软件由移动设备的数据处理器(诸如在处理器实体中、或者由硬件、或者由软件和硬件的组合)执行。可以将包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)存储在任何装置可读数据存储介质中,并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括一个或多个计算机可执行部件,当该程序运行时,该部件被配置为执行本公开中描述的方法。一个或多个计算机可执行部件可以是至少一个软件代码或软件代码的一部分。
在这一点上,还应注意,图中的逻辑流程的任何框都可以表示程序步骤,或者互连的逻辑电路、框和功能,或者程序步骤和逻辑电路、框和功能的组合。该软件可以被存储在物理介质(诸如,存储器芯片、或者在处理器内实现的存储器块)上、磁性介质(诸如,硬盘或软盘)上、以及光学介质(诸如,DVD及其数据变体CD)上。物理介质是非暂时性介质。
存储器可以是适合于本地技术环境的任何类型,并且可以使用任何适当的数据存储技术来实现,诸如基于半导体的存储器设备、磁性存储器设备和系统、光学存储器设备和系统、固定存储器以及可移动存储器。作为非限制性示例,数据处理器可以是适合于本地技术环境的任何类型,并且可以包括通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、FPGA、基于多核处理器架构的门级电路和处理器。
所公开的实施例的示例可以在各种部件(诸如,集成电路模块)中实践。集成电路的设计总体上是高度自动化的过程。复杂且功能强大的软件工具可用于将逻辑电平设计转换为易于在半导体衬底上蚀刻和形成的半导体电路设计。
本文描述的示例应被理解为本发明的实施例的说明性示例。设想了进一步的实施例和示例。关于任何一个示例或实施例描述的任何特征可以单独使用或与其它特征结合使用。另外,关于任何一个示例或实施例描述的任何特征还可以与示例或实施例中的任何其它示例或实施例的一个或多个特征或者示例或实施例中的任何其它示例或实施例的任何组合结合使用。此外,在权利要求所定义的本发明的范围内,还可以采用本文未描述的等同物和修改。

Claims (38)

1.一种装置,包括用于执行以下项的部件:
向用户设备发送请求,其中所述用户设备位于环境中;
响应于所述请求,从所述用户设备接收所述环境的图像信息;
基于所述图像信息,构建所述环境的三维模型;
从所述环境的所述三维模型获取信息;以及
使用从所述环境的所述三维模型获取的信息,来生成所述环境的无线电传播模型。
2.根据权利要求1所述的装置,其中构建所述环境的三维模型包括:使用定位和地图绘制技术以及对象识别技术。
3.根据权利要求2所述的装置,其中构建三维模型包括:使用所述对象识别技术检测在所述环境中的对象,并且构建在所述环境的所述三维模型中的所述对象的位置和形状。
4.根据权利要求2或权利要求3所述的装置,其中构建三维模型包括:使用所述对象识别技术确定所述对象的材料和/或类型。
5.根据前述权利要求中任一项所述的装置,其中获取信息包括获取以下至少一个信息:在所述三维环境内的用户设备的位置的信息;在所述三维环境中的至少一个对象的位置和形状的信息;在所述环境中的至少一个对象的表面材料的信息。
6.根据权利要求2至5中任一项所述的装置,其中构建三维模型包括:使用所述对象识别技术确定位于所述环境中的接入点的位置。
7.根据权利要求7所述的装置,其中构建三维模型包括:识别位于所述环境中的所述接入点的类型。
8.根据权利要求6或7所述的装置,其中所述部件进一步被配置为执行:基于以下项来生成虚拟无线电覆盖地图和/或至少一个性能度量:所述无线电传播模型;所确定的位于所述环境中的所述接入点的所述位置以及所识别的所述接入点的所述类型。
9.根据前述权利要求中任一项所述的装置,其中所述部件进一步被配置为执行:从所述用户设备接收关于所述用户设备的接入点的优选类型的信息和/或接收关于所述用户设备的优选接入点部署位置的信息。
10.根据权利要求9所述的装置,其中所述部件进一步被配置为执行:基于以下项来生成虚拟无线电覆盖地图和/或至少一个性能度量:所述无线电传播模型;在所述环境中的所述接入点的位置以及所述接入点的所述优选类型。
11.根据前述权利要求中任一项所述的装置,其中所述部件进一步被配置为执行:网络规划或网络优化。
12.根据权利要求11所述的装置,其中所述部件进一步被配置为执行:向所述用户设备提供建议的优化接入点部署位置。
13.根据前述权利要求中任一项所述的装置,其中所述部件进一步被配置为执行:从所述用户设备接收所述用户设备的运动信息和/或无线电信号测量。
14.一种装置,包括用于执行以下项的部件:
从服务器接收针对图像信息的请求,所述图像信息用于构建环境的三维模型,所述装置位于所述环境中;以及
响应于所述请求,向所述服务器发送环境的图像信息。
15.根据权利要求14所述的装置,其中所述部件进一步被配置为执行:向所述服务器发送关于所述装置的接入点的优选类型的信息和/或发送关于所述用户设备的优选接入点部署位置的信息。
16.根据权利要求14或15所述的装置,其中所述部件进一步被配置为执行:向所述服务器发送运动信息和/或无线电信号测量。
17.根据权利要求14至16中任一项所述的装置,其中所述部件进一步被配置为执行:接收虚拟无线电覆盖地图和/或至少一个性能度量,其中所述虚拟无线电覆盖地图和/或至少一个性能度量基于:无线电传播模型;所述接入点的位置以及以下至少一个信息:所述接入点的所述优选类型;以及由所述服务器检测到的位于所述环境中的所述接入点的类型。
18.根据权利要求14至17中任一项所述的装置,其中所述部件进一步被配置为执行:接收建议的优化接入点部署位置,以及用于向用户显示所述建议的优化接入点部署位置。
19.一种方法,包括:
向用户设备发送请求,其中所述用户设备位于环境中;
响应于所述请求,从所述用户设备接收所述环境的图像信息;
基于所述图像信息,构建所述环境的三维模型;
从所述环境的所述三维模型获取信息;以及
使用从所述环境的所述三维模型获取的信息,生成所述环境的无线电传播模型。
20.根据权利要求19所述的方法,其中构建所述环境的三维模型包括:使用定位和地图绘制技术以及对象识别技术。
21.根据权利要求20所述的方法,其中构建三维模型包括:使用所述对象识别技术检测位于所述环境中的对象,以及构建所述环境的所述三维模型中的所述对象的位置和形状。
22.根据权利要求20或21所述的方法,其中构建三维模型包括:使用所述对象识别技术确定所述对象的材料和/或类型。
23.根据权利要求19至22中任一项所述的方法,其中获取信息包括获取以下至少一项:在所述三维环境内的用户设备的位置的信息;在所述三维环境中的至少一个对象的位置和形状的信息;在所述环境中的至少一个对象的表面材料的信息。
24.根据权利要求20至23中任一项所述的方法,其中构建三维模型包括:使用所述对象识别技术确定位于所述环境中的接入点的位置。
25.根据权利要求24所述的方法,其中构建三维模型包括:识别位于所述环境中的所述接入点的类型。
26.根据权利要求24或25所述的方法,进一步包括:基于以下项来生成虚拟无线电覆盖地图和/或至少一个性能度量:所述无线电传播模型;所确定的位于所述环境中的所述接入点的所述位置以及所识别的所述接入点的所述类型。
27.根据权利要求19至26中任一项所述的方法,进一步包括:
从所述用户设备接收关于所述用户设备的接入点的优选类型的信息和/或接收关于所述用户设备的优选接入点部署位置的信息。
28.根据权利要求27所述的方法,进一步包括:基于以下项来生成虚拟无线电覆盖地图和/或至少一个性能度量:所述无线电传播模型;在所述环境中的所述接入点的位置以及接入点的所述优选类型。
29.根据权利要求19至28中任一项所述的方法,进一步包括:执行网络规划或网络优化。
30.根据权利要求29所述的方法,进一步包括:向所述用户设备提供建议的优化接入点部署位置。
31.根据权利要求19至30中任一项所述的方法,进一步包括:
从所述用户设备接收所述用户设备的运动信息和/或无线电信号测量。
32.一种方法,包括:
从服务器接收针对图像信息的请求,所述图像信息用于构建环境的三维模型,所述装置位于所述环境中;以及
响应于所述请求,向所述服务器发送环境的图像信息。
33.根据权利要求32所述的方法,进一步包括:向所述服务器发送关于所述装置的接入点的优选类型的信息和/或发送关于所述用户设备的优选接入点部署位置的信息。
34.根据权利要求32或33所述的方法,进一步包括:向所述服务器发送运动信息和/或无线电信号测量。
35.根据权利要求32至34中任一项所述的方法,进一步包括:接收虚拟无线电覆盖地图和/或至少一个性能度量,其中所述虚拟无线电覆盖地图和/或至少一个性能度量基于:无线电传播模型;所述接入点的位置以及以下至少一项:所述接入点的所述优选类型;以及由所述服务器检测到的在所述环境中的所述接入点的类型。
36.根据权利要求32至35中任一项所述的方法,进一步包括:接收建议的优化接入点部署位置,以及用于向用户显示所述建议的优化接入点部署位置。
37.一种计算机程序,包括指令,所述指令用于使得装置至少执行以下项:
向用户设备发送请求,其中所述用户设备位于环境中;
响应于所述请求,从所述用户设备接收所述环境的图像信息;
基于所述图像信息,构建所述环境的三维模型;
从所述环境的所述三维模型获取信息;以及
使用从所述环境的所述三维模型获取的信息,生成所述环境的无线电传播模型。
38.一种计算机程序,包括指令,所述指令用于使得装置至少执行以下项:
从服务器接收针对图像信息的请求,所述图像信息用于构建环境的三维模型,所述装置位于所述环境中;以及
响应于所述请求,向所述服务器发送环境的图像信息。
CN201880096408.XA 2018-07-06 2018-07-06 用于执行三维无线电模型构建的方法、装置和计算机程序 Withdrawn CN112544097A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2018/068361 WO2020007483A1 (en) 2018-07-06 2018-07-06 Method, apparatus and computer program for performing three dimensional radio model construction

Publications (1)

Publication Number Publication Date
CN112544097A true CN112544097A (zh) 2021-03-23

Family

ID=62909503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880096408.XA Withdrawn CN112544097A (zh) 2018-07-06 2018-07-06 用于执行三维无线电模型构建的方法、装置和计算机程序

Country Status (5)

Country Link
US (1) US20210274358A1 (zh)
EP (1) EP3818741A1 (zh)
JP (1) JP2021530821A (zh)
CN (1) CN112544097A (zh)
WO (1) WO2020007483A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210155833A (ko) * 2019-05-16 2021-12-24 엘지전자 주식회사 다중 센서 및 인공지능에 기반하여 맵을 생성하고 노드들의 상관 관계를 설정하며 맵을 이용하여 주행하는 로봇 및 맵을 생성하는 방법
US11228501B2 (en) * 2019-06-11 2022-01-18 At&T Intellectual Property I, L.P. Apparatus and method for object classification based on imagery
US11044158B2 (en) * 2019-08-26 2021-06-22 CACI, Inc.—Federal Self-configuring wireless networks
US11622280B2 (en) 2019-10-16 2023-04-04 Commscope Technologies Llc Methods and systems for location determination of radios controlled by a shared spectrum system
JP7390255B2 (ja) * 2020-05-22 2023-12-01 株式会社日立製作所 無線運用管理システム、及び無線運用支援方法
CN111784841B (zh) * 2020-06-05 2024-06-11 中国人民解放军军事科学院国防科技创新研究院 重建三维图像的方法、装置、电子设备及介质
US11163921B1 (en) * 2020-09-01 2021-11-02 TeleqoTech Managing a smart city
JP7397814B2 (ja) 2021-01-07 2023-12-13 株式会社Kddi総合研究所 モデル作成装置、モデル作成方法及びプログラム
FR3124591B1 (fr) * 2021-06-25 2023-08-04 Fond B Com Procédé et dispositif de détermination d’une cartographie d’un environnement tridimensionnel et système de cartographie associé
US11742965B2 (en) 2021-07-21 2023-08-29 Cisco Technology, Inc. Simulation of Wi-Fi signal propagation in three-dimensional visualization
US20230366696A1 (en) * 2022-05-12 2023-11-16 Microsoft Technology Licensing, Llc Updating a 3d map of an environment
CN115604725B (zh) * 2022-11-03 2024-04-19 中国联合网络通信集团有限公司 一种传播损耗的确定方法、装置及存储介质
CN117195379B (zh) * 2023-11-03 2024-02-06 南京中音讯达网络科技有限公司 基于人工智能的数字孪生仿真展厅的快速部署方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3135586B2 (ja) * 1996-11-22 2001-02-19 三菱電機株式会社 伝送路推定回路、およびそれを用いた変復調装置
US6119009A (en) * 1997-09-18 2000-09-12 Lucent Technologies, Inc. Method and apparatus for modeling the propagation of wireless signals in buildings
US20040259554A1 (en) * 2003-04-23 2004-12-23 Rappaport Theodore S. System and method for ray tracing using reception surfaces
US7002943B2 (en) * 2003-12-08 2006-02-21 Airtight Networks, Inc. Method and system for monitoring a selected region of an airspace associated with local area networks of computing devices
JP3817558B2 (ja) * 2004-04-07 2006-09-06 パナソニック モバイルコミュニケーションズ株式会社 フェージングシミュレータ
EP2209301A1 (en) * 2008-12-04 2010-07-21 Alcatel, Lucent Camera control method for remote controlling a camera and a related camera control server
US20140244817A1 (en) * 2013-02-28 2014-08-28 Honeywell International Inc. Deploying a network of nodes
US9405972B2 (en) * 2013-09-27 2016-08-02 Qualcomm Incorporated Exterior hybrid photo mapping
WO2018093204A1 (en) * 2016-11-17 2018-05-24 Samsung Electronics Co., Ltd. Method and apparatus for analyzing communication environment based on property information of an object

Also Published As

Publication number Publication date
EP3818741A1 (en) 2021-05-12
WO2020007483A1 (en) 2020-01-09
US20210274358A1 (en) 2021-09-02
JP2021530821A (ja) 2021-11-11

Similar Documents

Publication Publication Date Title
CN112544097A (zh) 用于执行三维无线电模型构建的方法、装置和计算机程序
US20230130320A1 (en) Laser scanner with real-time, online ego-motion estimation
US20230288209A1 (en) Aligning measured signal data with slam localization data and uses thereof
US10726264B2 (en) Object-based localization
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
Liang et al. Image based localization in indoor environments
US11393212B2 (en) System for tracking and visualizing objects and a method therefor
Majdik et al. Air‐ground matching: Appearance‐based GPS‐denied urban localization of micro aerial vehicles
EP3398164B1 (en) System for generating 3d images for image recognition based positioning
Niu et al. Resource-efficient and automated image-based indoor localization
TW201712361A (zh) 視訊與無線電熔合為主的準確室內定位
JP6353175B1 (ja) 視覚特徴を使用した画像の自動結合
US10660062B1 (en) Indoor positioning
Liang et al. Image-based positioning of mobile devices in indoor environments
Feng et al. Three-dimensional robot localization using cameras in wireless multimedia sensor networks
CA3069813C (en) Capturing, connecting and using building interior data from mobile devices
Liang et al. Reduced-complexity data acquisition system for image-based localization in indoor environments
KR101758786B1 (ko) 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법
Chi et al. Locate, Tell, and Guide: Enabling public cameras to navigate the public
Denby Towards automated aerial refueling: Real time position estimation with stereo vision
Ludziejewski et al. Integrated human tracking based on video and smartphone signal processing within the Arahub system
WO2024083010A1 (zh) 一种视觉定位方法及相关装置
Feng et al. Collaboration calibration and three-dimensional localization in multi-view system
US11869217B2 (en) Image processing apparatus, detection method, and non-transitory computer readable medium
Lee Real-Time Object Motion and 3D Localization from Geometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210323

WW01 Invention patent application withdrawn after publication