CN111698745A - Ai公专融合与无人智能设备组网方法、系统及装备 - Google Patents

Ai公专融合与无人智能设备组网方法、系统及装备 Download PDF

Info

Publication number
CN111698745A
CN111698745A CN202010584561.6A CN202010584561A CN111698745A CN 111698745 A CN111698745 A CN 111698745A CN 202010584561 A CN202010584561 A CN 202010584561A CN 111698745 A CN111698745 A CN 111698745A
Authority
CN
China
Prior art keywords
private
network
public
module
unmanned intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010584561.6A
Other languages
English (en)
Inventor
唐玮圣
包开阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadun Information Technology Shanghai Co ltd
Original Assignee
Tadun Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadun Information Technology Shanghai Co ltd filed Critical Tadun Information Technology Shanghai Co ltd
Priority to CN202010584561.6A priority Critical patent/CN111698745A/zh
Publication of CN111698745A publication Critical patent/CN111698745A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/0005—Control or signalling for completing the hand-off
    • H04W36/0083—Determination of parameters used for hand-off, e.g. generation or modification of neighbour cell lists
    • H04W36/00837—Determination of triggering parameters for hand-off
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/14—Reselecting a network or an air interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/24—Reselection being triggered by specific parameters
    • H04W36/30—Reselection being triggered by specific parameters by measured or perceived connection quality data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种基于AI公专融合的无人智能设备组网方法、系统及装备。在同时具有专用网络和公网连接的业务区域部署无人智能设备，并在无人智能设备的通信模块中同时装有公网及专网模块。通过强化学习的方法使无人智能设备在运行过程中根据其信号强度、网络连接质量、所在位置等因素进行学习，智能地选择所连接的网络，在公网和专网之间自动切换，以此来降低重传和丢包现象，保持网络连接的稳定。使无人智能设备在公网和专网覆盖的重合区域获得较好的数据传输性能。

Description

AI公专融合与无人智能设备组网方法、系统及装备
技术领域
本发明属于无线通信网络技术领域，特别是涉及一种基于AI的无人智能设备在公网和专网自动切换的组网方法、系统及装备。
背景技术
在业务区域部署专用网络能够保证关键区域持续、可靠的网络覆盖和连接，并且可以通过定制方案保护网络的数据安全。专网通常用于公安、消防、轨道交通、工业园区等部门或领域，其低成本、可定制、性能可靠、安全性强的特点非常适合用于调度指挥和应急关键信息通信。
虽然专网对于保证关键业务的服务质量是必须的，但是受限于成本和所处的客观环境等因素，专网无法做到覆盖所有业务区域，在某些区域专网的网络信号强度不足以支撑网络的稳定连接。此时，使用4G或5G公网作为补充，进行公网和专网的融合通信对于保证整个网络系统的覆盖和稳定性至关重要。
在公专融合的网络中，公网和专网在一些区域会有网络覆盖的重合，网络中的设备在重合的区域通过何种方式连接网络是一个非常关键的问题。选择合适的连接方式可以使网络的可靠性提高，并且更好地保证关键数据的传输。
传统的无线接入和组网技术通常通过某种静态的匹配关系来组织网络，网络中的设备根据某一特定参数来选择组网的方式和与其连接的节点，例如网络中节点的位置、信号强度等。而随着网络规模的扩大和网络中节点状态的变化（例如接入设备的增减和设备位置的移动），单一的判定方法会使网络中会出现部分节点的连接质量下降的问题，甚至出现连接失效的现象，导致整个网络系统的性能下降，影响系统关键业务的进行。
发明内容
本发明的目的在于，针对现有的公网和专网融合网络中设备仅通过特定参数来决定组网方式的问题，通过在无人智能设备中同时安装公网及专网模块，采用强化学习的方法使设备在运行过程中根据其网络信号强度、网络连接质量及所在位置等因素逐渐进行学习，最终能自动选择较优的连接方式组网，使无人智能设备在公网和专网覆盖重合的区域获得更可靠的连接质量，进而提升整个网络的稳定性和可靠性。
技术解决方案为了实现上述目的，本发明采用如下技术方案：
1、所述无人智能设备可以是智能传感器节点、智能机器人、智能小车、无人机等各种智能设备，至少包括跟其具体作用相关的核心功能模块、处理模块、通信模块和电源模块。其中无线通信模块包含公网模块和专网模块。如图1：
2、所述核心功能模块根据不同的应用场景和需求，可以是数据采集模块、对讲模块、视频拍摄模块、传感报警模块等。
3、所述处理模块包括处理器和存储器两部分。处理器至少包括CPU，根据具体应用可以加入GPU。处理模块除用于维持无人智能设备的基本运行所需之外，还用于进行机器学习的相关计算。
4、所述无线通信模块的公网模块可以是4G或5G通信模块，包含射频收发器；专网模块可以是基于wifi、Zigbee、蓝牙等各种技术、各种频段的宽带或窄带通信模块，内部包含射频收发器，可以对外进行数据通信。
5、所述电源模块跟其他所有模块相连，为其他模块供电。根据设备的具体使用场景可以是电池供电或交流电供电。
6、所述的基于AI强化学习智能选择所连接的网络的方法主要步骤如下：
（1）网络中的每个智能设备随机初始化一种连接方式，选择公网或者专网模块进行连接。
（2）设定最低信号强度阈值Pth，当信号强度低于阈值时，强制切换到另一种模式尝试连接。
（3）当信号强度处于阈值之上时，根据所设的参数（0<<1），有的概率切换到另一种模式尝试连接。
（4）随着网络的运行（根据网络收发数据的次数计数），逐渐增长为趋近为1，网络设备的连接逐渐稳定。
（5）构造神经网络，初始化权重和参数。
（6）定义网络设备在下一个数据发送时选择公网模块或专网模块作为强化学习的动作（action），当前信道的信号强度、网络丢包率、网络延迟等作为观测到的状态（state），如果本次数据包发送成功则回报（reward）为+1，若发生重传或丢包则回报为-1。
（7）定义回合结束条件为在过去10个数据包中有3个发生碰撞，或者目的节点收到本设备发送的数据。
（8）每个设备开始数据的发送和接收。
（9）开始智能网络设备的学习过程，采用随机梯度下降法，利用神经网络的反向传递不断更新权重参数，直到网络中的设备在各个情况下对于公网和专网的选择达到稳定状态。
技术效果
本发明通过采用强化学习的方法，使同时具有公网模块和专网模块的无人智能设备通过不断学习找到能使自己的网络连接质量较优的连接方式，达到自动切换公网连接和专网连接的效果。相比于仅通过单一参数或阈值决定设备的连接方式的传统方法，本方法可以通过智能设备对实际网络条件的感知，逐渐学习找到其所处状态下最优的连接方式，使设备在公网和专网覆盖重合的区域获得更好的网络连接质量，提高了整个网络组网的可靠性，减少网络中数据的重传和丢包，保证了关键业务的正常运行。
说明书附图说明
图1是无人智能设备组网装备的基本结构图。
图2是通过强化学习得到稳定的智能设备连接方式步骤示意图。
具体实施方式
为使本发明的目的、技术方案和优点表达的更加清楚明白，下面对具体实施本发明的方式做进一步的说明。
本发明所述的无人智能设备可以是智能传感器节点、智能机器人、智能小车、无人机等各种智能设备，这里以智能巡检机器人为例，说明本发明的具体实施方式。
1、智能巡检机器人的核心功能模块包括环境感知、视频成像、语音采集等，此外它还包括处理模块以及包含公网模块和专网模块的通信模块，由电池供电。此外，智能巡检机器人还包括起辅助作用的行驶驱动模块。
2、智能巡检机器人工作的区域部署了专用网络，与此同时还有4G公网。在监测区域，专网具有更好的网络带宽及安全性，但是在一些区域专网的信号覆盖不佳。
3、智能巡检机器人进入现场开始巡检，首先根据其初始化的连接方式选择公网模块或专网模块进行连接。如果连接得到的信号强度低于所设置的最低信号强度阈值，则更换连接方式。否则保持现有的连接方式，进行信号强度、网络丢包率、网络延迟、位置信息的记录和学习。
4、在网络连接过程中，根据所设的参数（0<<1），有的概率切换到另一种模式尝试连接。这里可以设为0.9。
5、切换到另一种连接方式后，依然根据最低信号强度阈值和参数参数决定是否更换连接方式。
6、随着智能巡检机器人发送和接收的数据包增多，神经网络不断更新权重参数，逐渐收敛，智能巡检机器人的网络连接方式趋于稳定。
7、此时的网络连接方式即是在此公专融合网络下较为优化的连接方式。

Claims (19)

1.一种支持公专融合的无人智能设备组网装备，其特征在于：包括核心功能模块；包括处理模块、通信模块和电源模块；根据无人智能设备的实际作用可能包括其他辅助模块。
2.根据权利要求1所述的支持公专融合的无人智能设备组网装备，其特征在于，所述核心功能模块根据不同的应用场景和需求，可以是数据采集模块、对讲模块、视频拍摄模块、传感报警模块等任意一种或多种组合。
3.根据权利要求1所述的支持公专融合的无人智能设备组网装备，其特征在于，所述处理模块包括处理器和存储器两部分。
4.处理器至少包括CPU，根据具体应用可能包括GPU。
5.根据权利要求1所述的支持公专融合的无人智能设备组网装备，其特征在于，所述无线通信模块包括公网模块和专网模块。
6.根据权利要求4所述的支持公专融合的无人智能设备组网装备，其特征在于，所述公网模块可以是4G或5G通信模块，包含射频收发器。
7.根据权利要求4所述的支持公专融合的无人智能设备组网装备，其特征在于，所述专网模块可以基于wifi、Zigbee、蓝牙等技术中的任意一种或多种组合。
8.根据权利要求4所述的支持公专融合的无人智能设备组网装备，其特征在于，所述专网模块可以是工作在各种频段的宽带或窄带通信模块
根据权利要求1所述的支持公专融合的无人智能设备组网装备，其特征在于，所述电源模块跟其他所有模块相连，为其他模块供电。
9.根据具体使用场景可以采用电池供电或交流电供电。
10.一种基于AI公专融合的无人智能设备组网方法，其特征在于，所述方法包括：随机初始化一种连接方式，根据预设最低信号强度阈值进行调整；初始化预设神经网络模型中的权重和偏置，并定义强化学习方法的参数以作为所述神经网络模型中的变量；令多个无人智能设备开始进行数据的发送和接收，并获取对应各所述装备网络传输情况的观察值；依据各所述观察值采用随机梯度下降法及反向传递方法更新所述神经网络模型的权重和参数，及强化学习方法的参数，据以调整所述各无人智能设备的连接方式，直至获得稳定的对应所述装备的最终连接方式。
11.根据权利要求9所述的基于AI公专融合的无人智能设备组网方法，其特征在于， 所述初始化连接方式可以是选择公网模块或专网模块进行连接。
12.根据权利要求9所述的基于AI公专融合的无人智能设备组网方法，其特征在于，所述无人智能设备在信号强度低于预设的最低信号强度阈值时强制切换到另一种连接方式尝试连接。
13.根据权利要求9所述的基于AI公专融合的无人智能设备组网方法，其特征在于，所述强化学习参数包括：动作、状态、回报、及回合结束条件。
14.根据权利要求9所述的基于AI公专融合的无人智能设备组网方法，其特征在于，定义网络设备在下一个数据发送时选择公网模块或专网模块作为所述强化学习方法中的动作。
15.根据权利要求9所述的基于AI公专融合的无人智能设备组网方法，其特征在于，定义当前连接的信号强度、网络丢包率、网络延迟作为所述强化学习方法中的状态。
16.根据权利要求9所述的基于AI公专融合的无人智能设备组网方法，其特征在于，定义发送数据包是否成功作为强化学习方法中的回报的依据；若发送数据包成功则回报为+1；若发生重传或丢包则所述回报为-1。
17.根据权利要求9所述的基于AI公专融合的无人智能设备组网方法，其特征在于，定义所述强化学习方法中的回合结束条件为：在一定数量的发送数据包的尝试中发生重传或丢包的次数达到阈值，或所述数据包在网络中的目的节点收到本设备发送的数据。
18.一种AI公专融合的无人智能设备组网系统，其特征在于，所述系统包括：若干权利要求1所述的支持公专融合的无人智能设备组网装备，通过网络互相连接。
19.根据权利要求17所述的AI公专融合的无人智能设备组网系统，其特征在于，所述的网络连接方式可以是公网或者专网。
CN202010584561.6A 2020-06-24 2020-06-24 Ai公专融合与无人智能设备组网方法、系统及装备 Pending CN111698745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010584561.6A CN111698745A (zh) 2020-06-24 2020-06-24 Ai公专融合与无人智能设备组网方法、系统及装备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010584561.6A CN111698745A (zh) 2020-06-24 2020-06-24 Ai公专融合与无人智能设备组网方法、系统及装备

Publications (1)

Publication Number Publication Date
CN111698745A true CN111698745A (zh) 2020-09-22

Family

ID=72482990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010584561.6A Pending CN111698745A (zh) 2020-06-24 2020-06-24 Ai公专融合与无人智能设备组网方法、系统及装备

Country Status (1)

Country Link
CN (1) CN111698745A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205596362U (zh) * 2016-03-25 2016-09-21 全球能源互联网研究院 一种用于电力系统的多模异构融合终端
CN109861720A (zh) * 2019-03-15 2019-06-07 中国科学院上海高等研究院 基于强化学习的wsn抗干扰方法、装置、设备和介质
CN110167026A (zh) * 2018-02-14 2019-08-23 中兴通讯股份有限公司 一种网络切换方法和装置、专网应用服务器及存储介质
CN110691393A (zh) * 2019-09-17 2020-01-14 南京万形电气有限公司 一种基于公专合一的通信方法
US20200034705A1 (en) * 2018-07-30 2020-01-30 International Business Machines Corporation Action shaping from demonstration for fast reinforcement learning
CN110809306A (zh) * 2019-11-04 2020-02-18 电子科技大学 一种基于深度强化学习的终端接入选择方法
WO2020040723A1 (en) * 2018-08-20 2020-02-27 Nokia Solutions And Networks Oy Method, apparatus and computer program
CN210490557U (zh) * 2019-10-15 2020-05-08 智洋创新科技股份有限公司 基于电力无线专网的输电线路智能监拍装置
CN210780753U (zh) * 2019-11-05 2020-06-16 厦门泊舟科技有限公司 一种含有公网模块、专网模块的融合型对讲终端
US20200195359A1 (en) * 2018-12-18 2020-06-18 Vmware, Inc. Downlink interference detection and identification of aggressor cells

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205596362U (zh) * 2016-03-25 2016-09-21 全球能源互联网研究院 一种用于电力系统的多模异构融合终端
CN110167026A (zh) * 2018-02-14 2019-08-23 中兴通讯股份有限公司 一种网络切换方法和装置、专网应用服务器及存储介质
US20200034705A1 (en) * 2018-07-30 2020-01-30 International Business Machines Corporation Action shaping from demonstration for fast reinforcement learning
WO2020040723A1 (en) * 2018-08-20 2020-02-27 Nokia Solutions And Networks Oy Method, apparatus and computer program
US20200195359A1 (en) * 2018-12-18 2020-06-18 Vmware, Inc. Downlink interference detection and identification of aggressor cells
CN109861720A (zh) * 2019-03-15 2019-06-07 中国科学院上海高等研究院 基于强化学习的wsn抗干扰方法、装置、设备和介质
CN110691393A (zh) * 2019-09-17 2020-01-14 南京万形电气有限公司 一种基于公专合一的通信方法
CN210490557U (zh) * 2019-10-15 2020-05-08 智洋创新科技股份有限公司 基于电力无线专网的输电线路智能监拍装置
CN110809306A (zh) * 2019-11-04 2020-02-18 电子科技大学 一种基于深度强化学习的终端接入选择方法
CN210780753U (zh) * 2019-11-05 2020-06-16 厦门泊舟科技有限公司 一种含有公网模块、专网模块的融合型对讲终端

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HONGZHI XING: "An NN-based access network selection algorithm for heterogeneous networks", 《2013 22ND WIRELESS AND OPTICAL COMMUNICATION CONFERENCE》 *
JIANI SUN: "ES-DQN-Based Vertical Handoff Algorithm for Heterogeneous Wireless Networks", 《IEEE》 *
冯勇军等: "基于DFNN的智能配电异构无线网络准入控制算法", 《现代电力》 *
陈前斌等: "基于深度强化学习的异构云无线接入网自适应无线资源分配算法", 《电子与信息学报》 *
魏超: "异构网络下动态高效能网络选择算法研究与仿真实现", 《万方》 *

Similar Documents

Publication Publication Date Title
US10945185B2 (en) Method and apparatus for supporting fast link recovery and link status reporting in wireless communication system
US20230209635A1 (en) Method and apparatus for supporting early data transmission in inactive state in wireless communication system
US20080013502A1 (en) Wireless data bus
US20210204192A1 (en) Access control for data transmission
CN105515637B (zh) 无人驾驶移动接入设备的控制方法及装置
US20220124678A1 (en) Deactivation of configured grant and initiation of connection request upon detection of sidelink failure
US20200322847A1 (en) Method and apparatus for enhancing handover procedure for supporting conditional handover in wireless communication system
CN108566687A (zh) Ldsw超低功耗无线自组网系统及通信方法
US11595862B2 (en) Signaling delay handling for handover
US20220232433A1 (en) Method and apparatus for mobility management in wireless communication system
JP2018513657A (ja) 周期的なビーコン信号に基づいて無線センサネットワーク内の通信を提供するためのシステム及び方法
CN103686089A (zh) 一种基于无线wds的列车监控系统
JP2018093465A (ja) バックアップ電源、およびバックアップ電源を用いた通信システム
WO2020175868A1 (en) Method and apparatus for measurement logging and reporting in wireless communication system
US11122503B2 (en) Method and apparatus for inter-RAT cell selection mechanism in NB-IOT
CN115190079B (zh) 基于分层强化学习的高铁自供电感知通信一体化交互方法
CN112333801A (zh) 一种船岸通信链路的选择方法、系统
WO2018109047A1 (en) Method for geographic-based radiofrequency band selection
US20220095191A1 (en) Source cell communication control for dual protocol stack mobility
US20220394744A1 (en) Clearing part of sidelink grant for single pdu transmission and sidelink resource allocation
CN111698745A (zh) Ai公专融合与无人智能设备组网方法、系统及装备
CN113246117B (zh) 一种机器人的控制方法、设备及楼宇管理系统
Sugiyama et al. Integrated operations of multi-robot rescue system with ad hoc networking
CN111246529B (zh) 基于LoRa技术的电子镣铐的通讯切换方法、装置、电子设备及存储介质
US20230292217A1 (en) Method and apparatus for routing path switching in wireless communication system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200922

WD01 Invention patent application deemed withdrawn after publication