CN114646814A - 一种电磁波预测方法、装置及相关设备 - Google Patents
一种电磁波预测方法、装置及相关设备 Download PDFInfo
- Publication number
- CN114646814A CN114646814A CN202011497626.XA CN202011497626A CN114646814A CN 114646814 A CN114646814 A CN 114646814A CN 202011497626 A CN202011497626 A CN 202011497626A CN 114646814 A CN114646814 A CN 114646814A
- Authority
- CN
- China
- Prior art keywords
- electromagnetic wave
- ray
- target area
- path
- wave ray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000012549 training Methods 0.000 claims abstract description 431
- 230000002787 reinforcement Effects 0.000 claims abstract description 109
- 230000006870 function Effects 0.000 claims abstract description 76
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 41
- 238000004088 simulation Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 abstract description 60
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000013461 design Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 16
- 238000005457 optimization Methods 0.000 description 13
- 230000009471 action Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- CCEKAJIANROZEO-UHFFFAOYSA-N sulfluramid Chemical group CCNS(=O)(=O)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)F CCEKAJIANROZEO-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R29/00—Arrangements for measuring or indicating electric quantities not covered by groups G01R19/00 - G01R27/00
- G01R29/08—Measuring electromagnetic field characteristics
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Image Generation (AREA)
Abstract
本申请实施例提供一种电磁波预测方法，该方法可以应用于包括云计算平台在内的训练设备。其中，训练设备先使用路径训练模型确定第一电磁波射线的初始特征数据，该初始特征数据包括第一电磁波射线在目标区域的入射信息和第一电磁波射线在目标区域的出射信息。训练设备再使用初始特征数据和用于确定第一电磁波射线的射线传播深度和射线传播状态的反馈函数，对路径训练模型进行强化学习训练，以获得第一电磁波射线在目标区域的路径模型，该路径模型用于确定第二电磁波射线在目标区域的传播路径。可见，该电磁波预测方法有利于提高射线追踪算法的预测精度，提高计算效率，降低计算时耗。
Description
技术领域
本申请涉及通信技术领域，尤其涉及一种电磁波预测方法、装置及相关设备。
背景技术
由于人们对无线信号的预测精度要求越来越高，确定性模型已经成为现今应用最为广泛的电磁波预测模型。其中，射线追踪(ray tracing，RT)算法是众多确定性模型中应用最为广泛的确定性建模方法。现有的射线追踪算法中，预测无线信号的能量传播结果的主要方式是追踪发射源所发射出的大量射线(百万、千万数量级)，通过物理传播的方式，以直达径、反射径、绕射径为传播基础，计算所有射线的功率损耗，从而预测无线信号的能量传播结果(如接收信号的功率、射线传播的脉冲时延等)。
但是，现有的射线追踪算法在保证预测精度的前提下，需要发射和追踪计算数千万条射线，但数千万条射线中的有效射线占比小，存在大量的打空射线、被遮挡射线、传播深度超限射线等，从而导致计算效率低、计算时耗高；并且，现有射线追踪算法没有考虑散射建模，在高频信号计算中，散射射线所产生的信号传播越发普遍和重要，散射射线如何有效传播的问题也成为非常重要的问题。
发明内容
本申请实施例提供一种电磁波预测方法、装置及相关设备，该方法有利于提高射线追踪算法的预测精度，提高计算效率，降低计算时耗。
第一方面，本申请实施例提供一种电磁波预测方法，该方法可以由包括云计算平台在内的训练设备所执行。其中，训练设备使用路径训练模型确定第一电磁波射线的初始特征数据，该初始特征数据包括第一电磁波射线在目标区域的入射信息和第一电磁波射线在目标区域的出射信息。训练设备使用初始特征数据和用于确定第一电磁波射线的射线传播深度和射线传播状态的反馈函数，对路径训练模型进行强化学习训练，以获得第一电磁波射线在目标区域的路径模型；其中，该路径模型用于确定第二电磁波射线在目标区域的传播路径。
可见，本申请实施例提供的一种电磁波预测方法以强化学习算法训练电磁波射线的路径训练模型，从而提供了散射射线寻径方法，推广了现有的射线追踪纯反射计算机制，解决现有的射线追踪方法在遮挡严重的空间或者远离发射天线的空间无法计算问题，提升复杂环境下射线追踪算法的信号预测能力。
在一种可能的设计中，第一电磁波射线在目标区域的入射信息包括第一电磁波射线所位于的地图离散网格的标识；第一电磁波射线在目标区域的出射信息包括第一电磁波射线所位于的出射离散网格的标识。训练设备在使用路径训练模型确定第一电磁波射线的初始特征数据之前，还可以根据三维电子地图和目标站点的位置信息，将目标区域划分为多个地理栅格；训练设备还可以将多个地理栅格分别进行空间离散化处理，获得地图离散网格集合；训练设备还可以将地图离散网格集合中的每一个地图离散网格进行角度离散化处理，获得每一个地图离散网格分别对应的出射离散网格集合。
可见，训练设备在对路径训练模型进行强化学习训练之前，可以先对强化学习训练的各个变量赋予本实施例所要训练的路径训练模型中的各个变量的定义，从而实现对路径训练模型的强化学习训练。
在一种可能的设计中，训练设备确定路径训练模型；其中，所述路径训练模型的行向量标识指示所述第一电磁波射线在目标区域的入射信息，所述路径训练模型的列向量标识指示所述第一电磁波射线在目标区域的出射信息。训练设备根据第一电磁波射线在目标区域的入射信息，确定强化学习训练后所述第一电磁波射线在目标区域的出射信息、对应的反馈函数以及更新后的路径训练模型。训练设备将强化学习训练后的第一电磁波射线在目标区域的出射信息作为下一轮强化学习训练中电磁波射线在目标区域的入射信息进行强化学习训练，直至更新后的路径训练模型满足预设的收敛条件；其中，预设的收敛条件为到达目标区域中的目标站点的射线数量超过预设的阈值。
可见，训练设备采用强化学习方法训练路径训练模型，有利于提升射线追踪算法的射线有效计算率，大幅提高射线追踪方法的预测精度、减少计算时耗。
在一种可能的设计中，路径模型用于指示电磁波射线的入射射线位于的第n个地图离散网格，出射射线位于的第m个出射离散网格的概率；其中，n和m为任意正整数。
可见，训练设备可以构建自定义的特征数据结构，即通过地图离散网格集合、出射离散网格集合构建包括Q数据结构和/或[S-A-V]数据结构在内的路径训练模型进行射线寻径，从而实现散射射线的射线寻径。
在一种可能的设计中，反馈函数的反馈函数值用于指示训练设备对路径训练模型进行强化学习训练时，得到的传播路径为第二电磁波射线在目标区域的传播路径的概率。
可见，反馈函数值可以反映路径训练模型训练得到的传播路径作为第二电磁波射线在目标区域的传播路径的概率，从而有利于路径训练模型在训练过程中将概率更高的路径作为预测路径。
在一种可能的设计中，训练设备还可以确定三维电子地图的目标区域标识集合；目标区域标识集合包括一个或多个目标区域标识；其中，目标区域标识与目标区域的路径模型对应，目标区域标识是根据目标区域对应的消息摘要算法MD5值、目标区域的仿真半径、目标区域中的地图离散网格的数量、目标站点的位置信息确定的。
可见，训练设备还可以建模目标区域标识集合，从而可以进一步建模目标区域标识与目标区域的路径模型之间的匹配关系，便于训练设备根据目标区域标识调用对应的目标区域的路径模型进行电磁波预测仿真。
在一种可能的设计中，训练设备还可以根据第一电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径。其中，第二电磁波射线在目标区域的传播路径通过第二电磁波射线在目标区域的射线径、电磁波射线在目标区域的入射角度矢量、出射角度矢量来表征。训练设备根据第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得所述第二电磁波射线的电平预测值。
可见，训练设备可以根据强化学习训练得到的路径模型，确定第二电磁波射线在目标区域的传播路径；并且根据该传播路径，训练设备可以进一步确定第二电磁波射线的电平预测值，从而实现电磁波信号预测，同时可以得到包括宏观电平信息、多径信息等多尺度数据信息。
在一种可能的设计中，训练设备可以根据第一电磁波射线在目标区域的路径模型，获得该路径模型指示的第一电磁波射线在目标区域的出射射线概率的最大值对应的第一射线；训练设备确定第一射线的传播路径为电磁波射线在目标区域的传播路径。
可见，训练设备可以根据路径模型，选取第一电磁波射线目标区域中的一条传播路径进行电磁波预测仿真。其中，训练设备采用该方式进行电磁波预测仿真时的计算效率较高，但是预测精度较低。
在一种可能的设计中，训练设备可以根据第一电磁波射线在目标区域的路径模型和第一电磁波射线在目标区域的出射射线概率分布，获得第二电磁波射线在目标区域的多条传播路径。其中，第二电磁波射线在目标区域的出射射线概率分布包括第一电磁波射线在目标区域的多个出射射线概率。
可见，训练设备可以根据路径模型，选取第一电磁波射线目标区域中的多条传播路径进行电磁波预测仿真。其中，训练设备采用该方式进行电磁波预测仿真时的预测精度较高，但是计算效率较低。
第二方面，本申请实施例提供一种电磁波预测方法，该方法可以由用户设备所执行。其中，用户设备可以根据三维电子地图和工参/配置文件，获得第一电磁波射线在目标区域的路径模型。其中，路径模型是根据第一电磁波射线的初始特征数据和用于确定第一电磁波射线的传播深度和传播状态的反馈函数对路径训练模型进行强化学习训练获得的，第一电磁波射线的初始特征数据包括第一电磁波射线在目标区域的入射信息和第一电磁波射线在目标区域的出射信息。用户设备根据路径模型，确定第二电磁波射线在目标区域的传播路径。用户设备根据第二电磁波射线在目标区域的传播路径，获得第二电磁波射线在目标区域的预测信息。
可见，用户设备可以请求获得第一电磁波射线在目标区域的路径模型，并根据该路径模型确定第二电磁波射线在目标区域的传播路径，从而提供了散射射线寻径方法，推广了现有的射线追踪纯反射计算机制，解决现有的射线追踪方法在遮挡严重的空间或者远离发射天线的空间无法计算问题，提升复杂环境下射线追踪算法的信号预测能力。
在一种可能的设计中，用户设备还可以根据三维电子地图和目标站点的位置信息，确定目标区域的目标区域标识；其中，目标区域为任意电磁波射线的预测区域。那么用户设备可以根据目标区域的目标区域标识，获得目标区域标识所匹配的路径模型。
可见，用户设备在请求获得路径模型时，可以通过目标区域标识获得该目标区域标识所匹配的路径模型，以便根据路径模型进行电磁波预测仿真。
在一种可能的设计中，目标区域标识与目标区域的路径模型存在匹配关系；其中，目标区域标识是根据目标区域对应的消息摘要算法MD5值、目标区域的仿真半径、目标区域中的地图离散网格的数量、目标站点的位置信息确定的。
在一种可能的设计中，用户设备可以根据路径模型，获得路径模型中的出射射线概率的最大值对应的第一射线。用户设备确定第一射线的传播路径为第二电磁波射线在目标区域的传播路径。
可见，用户设备可以根据路径模型，选取第一电磁波射线目标区域中的一条传播路径进行电磁波预测仿真。其中，用户设备采用该方式进行电磁波预测仿真时的计算效率较高，但是预测精度较低。
在一种可能的设计中，用户设备根据路径模型，获得第二电磁波射线在目标区域的出射射线概率分布。用户设备根据第二电磁波射线在目标区域的出射射线概率分布，获得第二电磁波射线在目标区域的多条传播路径。
可见，用户设备可以根据路径模型，选取第一电磁波射线目标区域中的多条传播路径进行电磁波预测仿真。其中，用户设备采用该方式进行电磁波预测仿真时的预测精度较高，但是计算效率较低。
在一种可能的设计中，用户设备可以根据第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得第二电磁波射线的电平预测值。
可见，用户设备可以根据第二电磁波射线的传播路径，确定第二电磁波射线的电平预测值，从而实现电磁波信号预测，同时可以得到包括宏观电平信息、多径信息等多尺度数据信息。
第三方面，本申请实施例提供一种电磁波预测装置，该电磁波预测装置包括确定单元和强化学习训练单元。其中，确定单元用于使用路径训练模型确定第一电磁波射线的初始特征数据，该初始特征数据包括第一电磁波射线在目标区域的入射信息和第一电磁波射线在目标区域的出射信息。强化学习训练单元用于使用初始特征数据和用于确定第一电磁波射线的射线传播深度和射线传播状态的反馈函数，对路径训练模型进行强化学习训练，以获得第一电磁波射线在目标区域的路径模型；该路径模型用于确定第二电磁波射线在目标区域的传播路径。
在一种可能的设计中，第一电磁波射线在目标区域的入射信息包括第一电磁波射线所位于的地图离散网格的标识；第一电磁波射线在目标区域的出射信息包括第一电磁波射线所位于的出射离散网格的标识。其中，电磁波预测装置还包括获得单元，获得单元用于根据三维电子地图和目标站点的位置信息，将目标区域划分为多个地理栅格；将多个地理栅格分别进行空间离散化处理，获得地图离散网格集合；将地图离散网格集合中的每一个地图离散网格进行角度离散化处理，获得每一个地图离散网格分别对应的出射离散网格集合。
在一种可能的设计中，强化学习训练单元用于使用初始特征数据和用于确定第一电磁波射线的射线传播深度和射线传播状态的反馈函数，对路径训练模型进行强化学习训练，以获得第一电磁波射线在目标区域的路径模型，包括：
确定路径训练模型，该路径训练模型的行向量标识指示第一电磁波射线在目标区域的入射信息，路径训练模型的列向量标识指示第一电磁波射线在目标区域的出射信息；
根据第一电磁波射线在目标区域的入射信息，确定强化学习训练后第一电磁波射线在目标区域的出射信息、对应的反馈函数以及更新后的路径训练模型；
将强化学习训练后的第一电磁波射线在目标区域的出射信息作为下一轮强化学习训练中电磁波射线在目标区域的入射信息进行强化学习训练，直至更新后的路径训练模型满足预设的收敛条件，预设的收敛条件为到达目标区域中的目标站点的射线数量超过预设的阈值。
在一种可能的设计中，路径模型用于指示电磁波射线的入射射线位于的第n个地图离散网格，出射射线位于的第m个出射离散网格的概率；n和m为正整数。
在一种可能的设计中，反馈函数的反馈函数值用于指示训练设备对路径训练模型进行强化学习训练时，得到的传播路径为第二电磁波射线在目标区域的传播路径的概率。
在一种可能的设计中，确定单元还用于确定三维电子地图的目标区域标识集合；该目标区域标识集合包括一个或多个目标区域标识；目标区域标识与目标区域的路径模型对应，目标区域标识是根据目标区域对应的消息摘要算法MD5值、目标区域的仿真半径、目标区域中的地图离散网格的数量、目标站点的位置信息确定的。
在一种可能的设计中，确定单元还用于根据第一电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径；第二电磁波射线在目标区域的传播路径通过第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量来表征；
获得单元还用于根据第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得第二电磁波射线的电平预测值。
在一种可能的设计中，确定单元用于根据第一电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径，包括：
根据第一电磁波射线在目标区域的路径模型，获得路径模型指示的第一电磁波射线在目标区域的出射射线概率的最大值对应的第一射线；
确定第一射线的传播路径为电磁波射线在目标区域的传播路径。
在一种可能的设计中，确定单元用于根据第一电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径，包括：
根据第一电磁波射线在目标区域的路径模型和第一电磁波射线在目标区域的出射射线概率分布，获得第二电磁波射线在目标区域的多条传播路径；第二电磁波射线在目标区域的出射射线概率分布包括第一电磁波射线在目标区域的多个出射射线概率。
第四方面，本申请实施例提供另一种电磁波预测装置，该电磁波预测装置包括获得单元和确定单元。其中，获得单元用于根据三维电子地图和目标站点的位置信息，获得第一电磁波射线在目标区域的路径模型。路径模型是根据第一电磁波射线的初始特征数据和用于确定第一电磁波射线的传播深度和传播状态的反馈函数对路径训练模型进行强化学习训练获得的，第一电磁波射线的初始特征数据包括第一电磁波射线在目标区域的入射信息和第一电磁波射线在目标区域的出射信息。确定单元用于根据路径模型，确定第二电磁波射线在目标区域的传播路径。获得单元还用于根据第二电磁波射线在目标区域的传播路径，获得第二电磁波射线在目标区域的预测信息。
在一种可能的设计中，获得单元用于根据三维电子地图和目标站点的位置信息，获得第一电磁波射线在目标区域的路径模型，包括：
根据三维电子地图和目标站点的位置信息，确定目标区域的目标区域标识，目标区域为任意电磁波射线的预测区域；
根据目标区域的目标区域标识，获得目标区域标识所匹配的路径模型。
在一种可能的设计中，目标区域标识与目标区域的路径模型存在匹配关系；目标区域标识是根据目标区域对应的消息摘要算法MD5值、目标区域的仿真半径、目标区域中的地图离散网格的数量、目标站点的位置信息确定的。
在一种可能的设计中，确定单元用于根据路径模型，确定第二电磁波射线在目标区域的传播路径，包括：
根据路径模型，获得路径模型中的出射射线概率的最大值对应的第一射线；
确定第一射线的传播路径为第二电磁波射线在目标区域的传播路径。
在一种可能的设计中，确定单元用于根据路径模型，确定第二电磁波射线在目标区域的传播路径，包括：
根据路径模型，获得第二电磁波射线在目标区域的出射射线概率分布；
根据第二电磁波射线在目标区域的出射射线概率分布，获得第二电磁波射线在目标区域的多条传播路径。
在一种可能的设计中，获得单元用于根据第二电磁波射线在目标区域的传播路径，获得第二电磁波射线在目标区域的预测信息，包括：
根据第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得第二电磁波射线的电平预测值。
第五方面，本申请实施例提供一种训练设备，该设备具有实现第一方面所提供的电磁波预测方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第六方面，本申请实施例提供一种用户设备，该设备具有实现第二方面所提供的电磁波预测方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第七方面，本申请实施例提供一种电磁波预测系统，该电磁波预测系统包括上述第三方面提供的电磁波预测装置或第五方面提供的训练设备，以及第四方面提供的电磁波预测装置或第六方面提供的用户设备。
第八方面，本申请实施例提供一种计算机可读存储介质，该可读存储介质包括程序或指令，当所述程序或指令在计算机上运行时，使得计算机执行第一方面或第一方面中任一种可能实现方式中的方法。
第九方面，本申请实施例提供一种计算机可读存储介质，该可读存储介质包括程序或指令，当所述程序或指令在计算机上运行时，使得计算机执行第二方面或第二方面中任一种可能实现方式中的方法。
第十方面，本申请实施例提供一种芯片或者芯片系统，该芯片或者芯片系统包括至少一个处理器和接口，接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以进行第一方面或第一方面的任一种可能的实现方式中任一项所描述的方法。
第十一方面，本申请实施例提供一种芯片或者芯片系统，该芯片或者芯片系统包括至少一个处理器和接口，接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以进行第二方面或第二方面的任一种可能的实现方式中任一项所描述的方法。
其中，芯片中的接口可以为输入/输出接口、管脚或电路等。
上述方面中的芯片系统可以是片上系统(system on chip，SOC)，也可以是基带芯片等，其中基带芯片可以包括处理器、信道编码器、数字信号处理器、调制解调器和接口模块等。
在一种可能的实现中，本申请中上述描述的芯片或者芯片系统还包括至少一个存储器，该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元，例如，寄存器、缓存等，也可以是该芯片的存储单元(例如，只读存储器、随机存取存储器等)。
第十二方面，本申请实施例提供一种计算机程序或计算机程序产品，包括代码或指令，当代码或指令在计算机上运行时，使得计算机执行第一方面或第一方面中任一种可能实现方式中的方法。
第十三方面，本申请实施例提供一种计算机程序或计算机程序产品，包括代码或指令，当代码或指令在计算机上运行时，使得计算机执行第二方面或第二方面中任一种可能实现方式中的方法。
附图说明
图1为本申请实施例提供的一种网络规划和网络优化技术的流程示意图；
图2为本申请实施例提供的一种射线追踪算法的流程框架图；
图3为本申请实施例提供的一种无效射线的示意图；
图4为本申请实施例提供的一种训练设备的示意图；
图5为本申请实施例提供的一种电磁波预测系统的示意图；
图6为本申请实施例提供的一种电磁波预测方法的流程示意图；
图7a为本申请实施例提供的一种栅格化处理后的目标区域的示意图；
图7b为本申请实施例提供的一种空间离散化处理后的目标区域的示意图；
图7c为本申请实施例提供的一种角度离散化处理后的出射离散网格集合的示意图；
图8为本申请实施例提供的一种采用Q-Learning算法进行路径模型训练的示意图；
图9为本申请实施例提供的另一种电磁波预测方法的流程示意图；
图10为本申请实施例提供的一种数据的示意图；
图11为本申请实施例提供的一种训练设备进行电磁波射线的预测仿真计算的流程示意图；
图12为本申请实施例提供的一种散射射线检测场景的示意图；
图13为本申请实施例提供的一种电磁波预测装置的结构示意图；
图14为本申请实施例提供的一种训练设备的结构示意图；
图15为本申请实施例提供的另一种电磁波预测装置的结构示意图；
图16为本申请实施例提供的一种用户设备的结构示意图。
具体实施方式
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的实施例中，术语“第二”、“第一”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第二”、“第一”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上，例如，多个第一报文是指两个或两个以上的第一报文。
应理解，在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”，“an”)”和“该”旨在也包括复数形式，除非上下文另外明确地指示。
还应理解，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。术语“和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中的字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，在本申请的各个实施例中，各个过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
还应理解，术语“包括”(也称“includes”、“including”、“comprises”和/或“comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
传统的网络规划与网络优化业务主要分为场景输入101、电磁波仿真102、网络评估103、参数优化104、结果输出105五个步骤进行。请参见图1，图1为一种网络规划和网络优化技术的流程示意图。其中，图1中的虚线框对应的电磁波仿真102、网络评估103和参数优化104的过程是一种需要迭代循环的优化过程，该迭代循环的优化过程导致了传统的网络规划与网络优化任务的主要性能瓶颈在于：
1、多轮次参数寻优迭代，迭代效率受电磁波预测模型的效率影响，通常情况下电磁波仿真阶段占整个流程的95％以上；
2、电磁波预测模型的精度决定了网络参数的调整策略和精度，若电磁波预测模型精度不足，则导致网络参数的优化效果不理想，无法满足网络优化的要求。
因此，需要一种高效的、高精度的电磁波预测方法来提升网络优化效果，突破传统的网络规划和网络优化的瓶颈。
目前，电磁波传播预测模型可分三大类，分别为经验模型、确定性模型和半经验模型。其中，经验模型也称统计模型，主要以大量的实测数据进行电磁波传播特征的拟合，形成经验公式。其中，较为典型的经验模型有Okumura-Hata模型、Cost231-Hata模型等。确定性模型则以经典的无线电磁波传播理论为基础，以麦克斯韦方程结合环境等边界条件来描述电磁波传播规律，具有较高的预测精度。其中，较为典型的确定性模型有Deygout模型、Volcano Mini模型等。半经验模型则结合了经验模型和确定性模型，其精度受到经验模型的预测精度的影响，主要有SPM模型、Volcano Macro模型等。
由于人们对无线信号的预测精度要求越来越高，确定性模型已经成为现今应用最为广泛的电磁波预测模型。其中，射线追踪算法(ray tracing，RT)是众多确定性模型中应用最为广泛的确定性建模方法。请参见图2，图2为一种射线追踪算法的流程框架图。其中，该射线追踪算法流程可以包括以下步骤：
201，以具体环境信息(如三维电子地图、天线文件、工参/配置文件等)作为输入，并且对输入环境进行离散建模(如建筑物离散、地面离散等)。
202，以预测栅格为源点，全向(360°)发射数千万条射线，每条射线与建筑物、地面进行反射、绕射、透射(在室外场景中，透射一般不考虑)等交互后，按照新的方向进行传播，直至达到设定射线传播深度阈值或到达目标球(即以基站为中心，以一定长度为半径的接收球)，记录所有有效射线的传播路径。
203，通过反向追踪、计算每条有效射线(即从基站到预测栅格的射线路径)的传播能量损耗，获得栅格预测电平、多径、覆盖等指标。
其中，在射线追踪算法中，射线传播深度为射线从源点到目标点的传播过程中经过的反射次数和/或绕射次数等。射线传播深度阈值表示对射线传播深度设定的最大值。例如，若射线传播深度通过反射次数来表示，那么对应的射线传播深度阈值为反射次数的最大值。
目前，射线追踪算法以电磁波传播理论结合几何光学理论对电磁波射线进行计算。电磁波射线的传播形式包括直达射线、反射射线、绕射射线、透射射线等，并且上述四类射线都可以根据相应的理论模型进行计算。
举例来说，非理想界面下的反射射线的计算模型(即不考虑反射表面的散射影响，仅以对称反射形式进行无线信号传播计算)如式(1)所示：
其中，Q为反射点，s为反射距离，
为入射波末场，
为反射波末场，
为并矢反射系数，A(s)为扩散因子，e-jks为相位延迟因子。其中，
如式(2)所示：
其中，Γ⊥为垂直极化波反射系数，如式(3)所示：
其中，θi为入射角，ε1为入射面上方材质介电常数，ε2为入射面材质介电常数。
其中，Γ||为平行极化波反射系数，如式(4)所示：
目前的射线追踪算法中，预测无线信号的能量传播结果的主要方式是追踪发射源所发射出的大量射线(百万、千万数量级)，通过物理传播的方式，以直达径、反射径、绕射径为传播基础，计算所有射线的功率损耗，从而预测无线信号的能量传播结果(如接收信号的功率、射线传播的脉冲时延等)。
但是在实际的仿真预测计算中，目前的射线追踪算法还存在诸多问题。例如，目前的射线追踪算法针对每个预测栅格，需要发射数千万条射线进行追踪计算。但是这数千万条射线中存在大量无法连接预测栅格和基站的射线径(包括打空射线、被遮挡射线、传播深度超限射线等)，如图3所示，从而导致无效射线计算占比高、计算效率低下的问题。现有的射线追踪算法以对称(镜面)反射、绕射作为主要信号传播机制，当预测栅格在遮挡严重区域或远离发射天线区域时，预测栅格光线缺失、存在预测盲点和盲区问题。
为了解决上述问题，本申请实施例提供一种电磁波预测方法，该方法有利于提高射线追踪算法的预测精度，提高计算效率，降低计算时耗。
本申请实施例所述的电磁波预测方法可以应用于如图4所示的一种包括云计算平台在内的训练设备中。其中，图4所示的训练设备包括数据获取模块401、路径模型训练模块402、路径模型存储模块403和预测计算模块404。
其中，数据获取模块401用于获取数据，即获取三维电子地图、工参/配置文件和/或天线文件等数据，并对获取的数据进行处理。路径模型训练模块402使用数据对路径训练模型进行强化学习训练，生成路径模型。路径模型存储模块403用于存储路径模型，并且提供独立数据匹配和传输接口，供预测计算模块404进行路径模型下载和调用。预测计算模块404用于预测计算路径传播的结果(如电平预测值等)。
可选的，本申请实施例所述的电磁波预测方法还可以应用于如图5所示的一种电磁波预测系统中。其中，图5所示的电磁波预测系统包括数据获取设备501、训练设备502、云存储服务器503和用户设备504。
其中，数据获取设备501所得到的数据可以上传至训练设备502，训练设备502根据数据训练并获得路径模型后，将路径模型上传到云存储服务器503。云存储服务器503开放给用户设备504进行路径模型获取。当用户设备504需要对目标区域的电磁波射线进行预测计算时，用户设备504可以与云存储服务器503进行通信，获得目标区域的路径模型后进行预测计算。其中，本实施例所述的训练设备可以是一个训练设备，也可以是由多个训练设备构成的训练集群。本实施例所述的用户设备可以包括但不限于个人电脑(PersonalComputer，PC)、服务器、计算机系统等。
下面对本申请实施例进行详细的描述。
请参见图6，图6为本申请实施例提供的一种电磁波预测方法的流程示意图。其中，图6为本申请实施例所述的电磁波预测方法应用于图4所示的训练设备中时的流程，可以包括以下步骤：
601，训练设备使用路径训练模型确定第一电磁波射线的初始特征数据；
602，训练设备使用初始特征数据和用于确定第一电磁波射线的传播深度和传播状态的反馈函数，对路径训练模型进行强化学习训练，以获得第一电磁波射线在目标区域的路径模型；该路径模型用于确定第二电磁波射线在所述目标区域的传播路径。
其中，路径训练模型是训练设备构建的训练架构，该路径训练模型可以抽象为数据结构，例如，抽象为一个矩阵。路径训练模型包括模型参数，其中，该路径训练模型的模型参数包括射线参数、训练环境参数、状态空间参数、动作空间参数和反馈参数等。例如，路径训练模型可以如式(5)所示：
其中，WA表示路径训练模型，
表示各个模型参数，例如，W1 A表示射线参数，
表示训练环境参数，以此类推，1≤n≤N。那么对该路径训练模型进行强化学习训练，也就是对该路径训练模型中的模型参数进行赋值。
其中，使用路径训练模型确定第一电磁波射线的初始特征数据，也就是对该路径训练模型中的模型参数进行赋值，得到的具体值即为第一电磁波射线在目标区域的入射信息的具体值，以及第一电磁波射线在目标区域的出射信息的具体值。其中，第一电磁波射线表示在目标区域的入射射线，当第一电磁波射线入射目标区域之后，存在对应的出射射线，本实施例假设第一电磁波射线对应的出射射线为第二电磁波射线。也就是说，训练设备通过对入射射线和路径训练模型进行强化学习训练，获得优化后的出射射线的传播路径。其中，本实施例所述的目标区域为任意电磁波射线的预测区域，即预测模块需要对哪个区域进行电磁波预测，那么这个区域即为目标区域。
下面对第一电磁波射线在目标区域的入射信息和出射信息进行详细的介绍。
在一种示例中，第一电磁波射线在目标区域的入射信息为第一电磁波射线所位于的地图离散网格的标识。第一电磁波射线在目标区域的出射信息为第一电磁波射线所位于的出射离散网格的标识。
其中，地图离散网格是训练设备对目标区域中的地理栅格进行空间离散化处理得到的。出射离散网格是训练设备对地图离散网格进行角度离散化处理得到的。其中，目标区域中的地理栅格是训练设备根据三维电子地图和目标站点的位置信息，对目标区域进行栅格化处理得到的。
也就是说，训练设备在使用路径训练模型确定第一电磁波射线的初始特征数据之前，可以预先对目标区域进行栅格化处理、空间离散化处理以及角度离散化处理，从而可以得到路径训练模型中的训练环境参数、状态空间参数、动作空间参数。可以理解的是，目标区域的地理栅格对应训练环境参数，地图离散网格对应状态空间参数，出射离散网格对应动作空间参数。其中，训练设备获得路径训练模型的模型参数可以包括以下步骤：
s11，训练设备根据三维电子地图和目标站点的位置信息，将目标区域划分为多个地理栅格；
s12，训练设备将多个地理栅格进行空间离散化处理，获得地图离散网格集合；
s13，训练设备将地图离散网格集合中的每一个地图离散网格进行角度离散化处理，获得每一个地图离散网格分别对应的出射离散网格集合。
其中，三维电子地图包括了建筑物信息(如建筑物的经度、纬度和高度等信息)、植被信息(如植被的经度、纬度和高度等信息)、道路信息等，本实施例不作限定。需要注意的是，这里的三维电子地图包含了目标区域，也就是说，目标区域为三维电子地图中的部分或全部区域，可以通过工参/配置文件中的字段来确定目标区域。
其中，目标站点为目标区域中设定的射线传播的目标点，如图2所示的基站。目标站点的位置信息包括目标站点的经度值、纬度值、高度值、目标球(以目标站点为中心，以一定长度为半径的接收球)的半径值等，该位置信息是根据目标站点的工参\配置文件确定的。其中，工参/配置文件的必需字段如表1所示，包括站点标识，站点经度、站点纬度等信息。
表1：工参/配置文件的字段
| 字段名称 | 物理意义 | 字段单位 |
| Site_ID | 站点标识 | 无 |
| Cell_ID | 逻辑小区标识 | 无 |
| PCI | 物理小区标识 | 无 |
| Antenna | 天线型号名称 | 无 |
| Longitude | 站点经度 | 无 |
| Latitude | 站点纬度 | 无 |
| Height | 站点高度 | 米(m) |
| Azimuth | 天线方位角 | 角度(°) |
| Downtilt | 天线下倾角 | 角度(°) |
| Frequency_Band | 频率带宽 | 赫兹(Hz) |
| RS_Power | 发射功率 | 分贝毫瓦(dBm) |
| Calculation_Radius | 仿真半径 | 米(m) |
根据表1，训练设备可以读取其中的Longitude+Latitude+Height+Calculation_Radius字段以及各个字段中的值，从而确定目标站点的经度值(即Longitude字段中的值)、纬度值(即Longitude字段中的值)、高度值(即Height字段中的值)以及目标球的半径值(即Calculation_Radius字段中的值)。
其中，训练设备可以读取工参/配置文件，按照Site_ID+Cell_ID+PCI+Longitude+Latitude+Calculation_Radius字段适配三维电子地图中相应的仿真区域，该适配到的仿真区域即为本实施例所述的目标区域。
在一种示例中，训练设备可以对目标区域进行栅格化处理。例如，按照一定的距离，将目标区域划分为多个地理栅格，各个地理栅格的大小假设是相同的，如图7a所示。其中，图7a为本实施例提供的一种栅格化处理后的目标区域的示意图。图7a中的每一个菱形区域代表一个地理栅格。可选的，对目标区域进行栅格化处理，也包括对目标区域中的建筑物进行栅格化处理，例如，图7a中的柱状体为对建筑物进行栅格化处理后的抽象形态。其中，电磁波射线的发射设备(如图7a中的终端设备)所在的地理栅格为预测栅格。
可见，栅格化处理后的目标区域中，预测栅格可以抽象为一组数据(包括经度值、纬度值等)，目标站点也可以抽象为一组数据，建筑物(射线的遮挡物)也可以抽象为一组数据，以便后续进行数据训练。
在一种示例中，训练设备可以对目标区域进行空间离散化处理。例如，采用三角面片离散化(如Delaunay三角剖分)的方法对建筑物、地面、地图障碍物等进行三角剖分，选取三角面片的重心点为状态点，如图7b所示。其中，图7b所示的实施例中采用的是三角面片离散化，空间离散化处理的方法还可以是多边形面片离散化等方法，本实施例不作限定。其中，图7b中的地理栅格通过三角面片离散化处理，转换为多个三角面片。其中，一个三角面片即为一个地图离散网格。那么目标区域中的所有三角面片即构成地图离散网格集合。
可见，每一个地图离散网格也可以抽象为一组数据(包括地图离散网格的编号等)。需要注意的是，地图离散网格可以视为包括经纬度值和高度值的一组数据，那么地图离散网格的标识也就是指这一组数据的索引值，根据该索引值，可以获得对应的经纬度值和高度值。
在一种示例中，训练设备可以将地图离散网格集合中的每一个地图离散网格进行角度离散化处理。例如，对于图7b所示的一个三角面片，以三角面片的重心点为坐标圆心，对该三角面片法线方向半球进行等角度离散化处理，所有离散角度所形成的集合即为出射离散网格集合，如图7c所示。其中，图7c中的一个地图离散网格(即一个三角面片)对应一个出射离散网格集合(即该三角面片法线方向半球上的多个弧面)。需要注意的是，本实施例中假设入射射线入射时，入射点位于地图离散网格的中心点(如三角面片的重心点)；出射射线出射时，出射点也位于出射离散网格的中心点(如弧面的中心点)。可选的，训练设备对地图离散网格进行角度离散化处理时，当离散点趋于无限密集时，所有的离散点即构成三角面片法线方向半球。
其中，一个出射离散网格如图7c中的一块阴影区域所示，该出射离散网格为一个弧面。在图7c所示的示例中，假设出射射线从图7c所示的一个出射离散网格处出射，那么该出射射线与图7c中的y轴(即地图离散网格的法线方向)之间的夹角为出射射线天顶角度，该出射射线投影到xz轴所在的平面(即地图离散网格所在的平面)的射线，与x轴之间的夹角为出射射线方位角度。也就是说，训练设备确定第一电磁波射线在目标区域所位于的出射离散网格后，训练设备也就可以确定第一电磁波设备在目标区域的出射信息还包括出射射线天顶角度和出射射线方位角度。
可见，一个出射离散网格也可以抽象为一组数据(包括出射射线天顶角度值、出射射线方位角度值等)。类似的，出射离散网格可以视为包括出射射线方位角度值和出射射线天顶角度值的一组数据。出射离散网格的标识可以是指这一组数据的索引值，根据该索引值，可以获得对应的出射射线方位角度值和出射射线天顶角度值。
在一种示例中，训练设备还可以定义反馈函数，反馈函数用于确定电磁波射线的传播深度和传播状态。其中，反馈函数值可以用于评估入射射线从某一个地图离散网格射入，并且出射射线从某一个出射离散网格出射时，该入射射线和出射射线构成的路径是否为有效射线路径。
例如，本实施例定义的反馈函数包括电磁波射线的传播深度d和射线有效标记Re。在电磁波射线传播过程中，定义入射射线从某一个地图离散网格射入，并且出射射线从某一个出射离散网格出射时的反馈函数值为R(s,a)。反馈函数的表达式如式(6)所示：
R(s,a)＝F(d,Re) (6)
其中，F为反馈函数的表达式，若射线为有效射线，即非打空、被遮挡、传播深度超限射线，则Re＝1，否则Re＝0。s为入射射线所位于的三角面片编号(即地图离散网格的标识)，a为出射射线所位于的弧面编号(即出射离散网格的标识)。
其中，该反馈函数的反馈函数值R(s,a)可以指示训练设备对路径训练模型进行强化学习训练时，得到的传播路径为第二电磁波射线在目标区域的传播路径的概率。也就是说，反馈函数值R(s,a)可以体现每一轮强化学习训练中，出射射线从第s个三角面片，以第a个弧面所对应的角度出射后，训练设备可以基于该出射射线的传播深度和射线有效标记等参数计算得到反馈函数值，从而根据反馈函数值(正值或负值)确定该出射射线的传播路径作为第二电磁波射线在目标区域的传播路径的概率的大小。
训练设备在获得待训练的数据之后，可以对这些数据进行训练。本实施例中的训练设备选取强化学习训练算法中的Q-Learning算法进行路径模型训练，训练流程如图8所示。其中，在图8所示的Q-Learning算法的训练流程中，代理(Agent)指代的是训练的主体(如本实施例中的电磁波射线)，环境(Environment)指代的是训练过程中整个目标区域的三维电子地图、基站等构成的训练环境，状态(State)指代的是由地图离散单元构成的强化学习训练的状态空间，动作(Action)指代的是由出射离散单元构成的强化学习训练的动作空间，奖励(Reward)指代的是反馈函数值。
在一种示例中，训练设备使用初始特征数据和用于确定所述电磁波射线的传播深度和传播状态的反馈函数，对路径训练模型进行强化学习训练，以获得电磁波射线在所述目标区域的路径模型，可以包括以下步骤：
s21，训练设备确定路径训练模型；
s22，训练设备根据第一电磁波射线在目标区域的入射信息，确定强化学习训练后第一电磁波射线在所述目标区域的出射信息、对应的反馈函数以及更新后的路径训练模型；
s23，训练设备将强化学习训练后的第一电磁波射线在所述目标区域的出射信息作为下一轮强化学习训练中电磁波射线在所述目标区域的入射信息进行强化学习训练，直至所述更新后的路径训练模型满足预设的收敛条件，所述预设的收敛条件为到达所述目标区域中的目标站点的射线数量超过预设的阈值。
在一种示例中，路径训练模型可以抽象为一个Q数据结构(如Q matrix)，Q数据结构可以如式(7)所示：
其中，该路径训练模型的行向量标识(即n)表示强化学习状态空间维度，该路径训练模型的列向量标识(即m)表示每个状态的动作空间维度，qij表示第i个状态采取第j个动作的概率值，1≤i≤n,1≤j≤m，n和m均为大于1的正整数。
举例来说，该Q数据结构中i的值为入射射线所位于的地图离散网格的标识，即第一电磁波射线的入射位置位于第i个地图离散网格。该Q数据结构中j的值为出射射线所位于的出射离散网格的标识，即第二电磁波射线的出射位置位于第i个地图离散网格角度离散化形成的出射离散网格集合中的第j个出射离散网格。该Q数据结构中qij表示第一电磁波射线的入射位置位于第i个地图离散网格，并且第二电磁波射线的出射位置位于第j个出射离散网格的概率值。
训练设备对如式(7)所示的路径训练模型进行强化学习训练，也就是为式(7)所示的Q数据结构中的元素赋值。例如，初始化时，假设路径训练模型中的元素的值均为0，即第0轮强化学习训练时的Q数据结构为：
训练设备对路径训练模型进行强化学习训练，即记录预测栅格发射的多条电磁波射线的入射位置位于第i个地图离散网格，并且出射位置位于第j个出射离散网格的概率值。例如，对于预测栅格发射的某一条电磁波射线来说，若该电磁波射线的入射位置位于第1个地图离散网格，出射位置位于第1个地图离散网格对应的第3个出射离散网格，那么第1轮强化学习训练后，Q数据结构更新为：
以此类推，假设经过100轮强化学习训练后，路径训练模型满足预设的收敛条件，训练设备对Q数据结构进行归一化处理，得到100轮强化学习训练后的Q数据结构为：
其中，归一化处理后的Q数据结构，每一行的概率值之和等于1，例如，Q数据结构的第一行q11+q12+...+q1m＝1。
需要注意的是，本示例中所述的一轮强化学习训练是指同一条射线在整个路径中的一次反射、绕射或散射等。例如，对于预测栅格发射出来的一条射线，它在目标区域可能会遇到多个遮挡物，即进行多次反射、绕射或散射等，那么训练设备对目标区域的路径训练模型进行强化学习训练时，可能会将同一射线在上一轮强化学习训练后的出射信息作为下一轮强化学习训练的入射信息，直至该射线的传播深度达到传播深度阈值，或者该射线传播至目标站点的接收球的区域内。
对于路径训练模型，本实施例假设路径训练模型的收敛条件为到达目标区域中的目标站点的射线数量超过预设的阈值，也就是说，到达目标站点的有效射线的数量达到预设的阈值时，表示路径训练模型可以有效预测目标区域的第二电磁波射线的传输路径，则训练设备不再继续对该路径训练模型进行强化学习训练。
在一种示例中，路径训练模型还可以抽象为一个[S-A-V]数据结构(如[S-A-V]matrix)，[S-A-V]数据结构可以如式(8)所示：
其中，sn表示第n个状态序号，
表示第n个状态采取第m个动作序号，
表示第n个状态采取第m个动作的概率值，mn表示第n个状态前mn个最大概率的概率值。可以理解的是，该[S-A-V]数据结构相较于Q数据结构，只选取了Q数据结构的每一行的前mn个最大概率的概率值作为[S-A-V]数据结构中的元素，可以降低数据结构的数据量。
举例来说，该[S-A-V]数据结构中的sn的值为入射射线所位于的地图离散网格的标识，即第一电磁波射线位于第sn个地图离散网格。该[S-A-V]数据结构中的
的值为出射射线所位于的出射离散网格的标识，即第二电磁波射线位于第sn个地图离散网格角度离散化形成的出射离散网格集合中的第
个出射离散网格。该[S-A-V]数据结构中的
表示第一电磁波射线的入射位置位于第sn个地图离散网格，并且第二电磁波射线的出射位置位于第
个出射离散网格的概率值。
类似于训练设备对如式(7)所示的路径训练模型进行强化学习训练，训练设备也可以对如式(8)所示的路径训练模型进行强化学习训练，即对式(8)所示的[S-A-V]数据结构中的元素赋值。具体过程可以参考对式(7)的强化学习训练过程的描述，在此不再赘述。当路径训练模型满足预设的收敛条件时，训练设备不再继续对该路径训练模型进行强化学习训练。
可选的，训练设备在对路径训练模型进行强化学习训练时，可以结合反馈函数值，对第一电磁波射线在目标区域的传播路径进行筛选。例如，训练设备对路径训练模型每进行一轮强化学习训练时，可以得到一个反馈函数值，若该反馈函数值为零或者负数，则表示本轮强化学习训练得到的第一电磁波射线的传播路径作为预测路径的概率较低，则训练设备可以降低本轮强化学习训练得到的第一电磁波射线的传播路径的概率，即设置本轮强化学习训练得到的传播路径在Q数据结构或者[S-A-V]数据结构中的概率值减去1。又例如，若该反馈函数值为正数，则表示本轮强化学习训练得到的第一电磁波射线的传播路径可以作为预测路径，则训练设备可以设置本轮强化学习训练得到的传播路径在Q数据结构或者[S-A-V]数据结构中的概率值增加1。可以理解的是，本实施例中的训练设备通过对路径训练模型进行强化学习训练，得到的路径模型主要是用于进行散射射线的寻径计算，从而获得大量的散射射线的传播路径。
在一种示例中，训练设备还可以确定三维电子地图的目标区域标识集合。根据前文实施例的描述，目标区域为任意电磁波射线的预测区域，也就是说，目标区域可以理解为一份三维电子地图中的一部分区域或全部区域。那么为了区分各个目标区域，一个目标区域对应一个目标区域标识，一个或多个目标区域标识构成目标区域标识集合。
其中，目标区域标识是根据目标区域对应的消息摘要算法MD5值、目标区域的仿真半径、目标区域中的地图离散网格的数量、目标站点的位置信息确定的。例如，本实施例所述的目标区域标识如式(9)所示：
其中，mapprecode表示目标区域对应的消息摘要算法MD5值；mapradius表示目标区域的仿真半径，actionprecode表示动作空间编码，slat表示目标站点的经度，slon表示目标站点的纬度，sheight表示目标站点的高度，scellid表示目标站点的逻辑小区标识，spci表示目标站点的物理小区标识。其中，slat、slon、sheight、scellid和spci都是从工参/配置文件中获得的。
训练设备可以将目标区域标识与目标区域的路径模型建立匹配关系，即建立Mapi与Q数据结构的匹配关系
或者Mapi与[S-A-V]数据结构的匹配关系
那么用户可以匹配目标区域标识Mapi来请求调用对应的路径训练模型。
在一种示例中，训练设备需要对目标区域的电磁波射线进行寻径计算时，可以通过预测计算模块获得第二电磁波射线在目标区域的传播路径，以及电磁波射线在目标区域的预测信息(如电平预测值、覆盖区域预测值等)。其中，训练设备对目标区域的第二电磁波射线进行电平预测可以包括以下步骤：
s31，训练设备根据第一电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径；第二电磁波射线在目标区域的传播路径通过第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量来表征；
s32，训练设备根据第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得第二电磁波射线的电平预测值。
其中，训练设备可以根据Mapi与Q数据结构的匹配关系
或者Mapi与[S-A-V]数据结构的匹配关系
获得第二电磁波射线在目标区域的Q数据结构或[S-A-V]数据结构。例如，假设第二电磁波射线所在的目标区域的目标区域标识为Map1，那么训练设备可以根据Map1获得对应的目标区域的
基于
训练设备可以根据多种寻径预测模式来确定第二电磁波射线在目标区域的传播路径。
寻径预测模式一：训练设备使用Q数据结构预测第二电磁波射线在目标区域的传播路径。其中，训练设备根据电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径，可以包括以下步骤：
s41，训练设备根据第一电磁波射线在目标区域的路径模型，获得路径模型指示的第一电磁波射线在目标区域的出射射线概率的最大值对应的第一射线；
s42，训练设备确定第一射线的传播路径为第二电磁波射线在目标区域的传播路径。
其中，训练设备可以根据Q数据结构，获得目标区域中每个地图离散网格的出射概率。当第一电磁波射线入射到某个地图离散网格时，即训练设备可以确定该第一电磁波射线的出射射线位于该地图离散网格对应的出射离散网格的概率为Q数据结构中的某一行。针对这一行数据，训练设备可以选择最大概率值所对应的出射离散网格为第二电磁波射线所位于的出射离散网格，使得第二电磁波射线以最大概率传播至接收点。
例如，假设训练设备训练得到的Q数据结构为：
其中，假设第一电磁波射线所位于的地图离散网格的标识为1，即第一电磁波射线入射位置位于目标区域的第一个地图离散网格，训练设备可以从Q数据结构中提取第一行中的数据。训练设备从第一行中选取最大概率值(假设为第二列的0.3)所对应的第二个出射离散网格为第二电磁波射线所位于的出射离散网格。其中，假设第二个出射离散网格所对应的出射射线方位角度为4°，出射射线天顶角度为5°，再结合第一电磁波射线的入射角度，训练设备可以反向推导出第二电磁波射线的传播路径。
可见，训练设备使用寻径预测模式一预测第二电磁波射线在目标区域的传播路径时，仅预测一条传播路径，计算效率较高，但是预测精度较低。
寻径预测模式二：训练设备使用Q数据结构预测第二电磁波射线在目标区域的传播路径时，可以基于Q数据结构中的某一行中的所有概率值确定多个出射方向的出射射线概率分布，然后基于出射射线概率分布确定多条出射射线，形成多径计算，从而获得第二电磁波射线的多条传播路径。
其中，训练设备根据电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径，可以执行以下步骤：训练设备根据第一电磁波射线在目标区域的路径模型和第一电磁波射线在目标区域的出射射线概率分布，获得第二电磁波射线在目标区域的多条传播路径。
可见，训练设备使用寻径预测模式二预测第二电磁波射线在目标区域的传播路径时，计算量大导致计算效率较低，但是预测精度较高(预测的传播路径较多)。
寻径预测模式三：训练设备使用[S-A-V]数据结构预测第二电磁波射线在目标区域的传播路径。其中，训练设备根据电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径，也可以执行步骤s41和s42，在此不再赘述。
类似的，训练设备可以根据
数据结构，获得目标区域中每个地图离散网格的出射概率。当第一电磁波射线入射到某个地图离散网格时，即训练设备可以确定该第一电磁波射线的出射射线的概率为
数据结构中的某一行。针对这一行数据，训练设备可以获得该行数据中的所有出射射线的概率值并形成出射概率分布，形成多径计算，从而获得第二电磁波射线在目标区域的多条传播路径。
可见，训练设备寻径预测模式三预测第二电磁波射线在目标区域的传播路径时，相较于使用寻径预测模式二或使用寻径预测模式一预测第二电磁波射线在目标区域的传播路径，在计算效率和精度上进行了折中处理。也就是说，训练设备使用寻径预测模式三预测第二电磁波射线在目标区域的传播路径时，相较于使用寻径预测模式一，计算效率降低(计算多径)，但是预测精度提高；相较于使用寻径预测模式二，计算效率提高(计算的多径数量少于寻径预测模式二计算的多径数量)，但是预测精度降低。
其中，第二电磁波射线在目标区域的传播路径通过第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量来表征。
第二电磁波射线在目标区域的射线径用于指示第二电磁波射线的传播距离。
第二电磁波射线在目标区域的入射角度矢量θ用于指示第二电磁波射线在散射面(即地图离散网格)上的入射角度。可选的，当训练设备采用多径计算时，该入射角度矢量θ包括多条传播路径分别的入射角度。
第二电磁波射线在目标区域的出射角度矢量
用于指示第二电磁波射线在散射面(即入射的地图离散网格对应的其中一个出射离散网格)上的出射射线方位角度和出射射线天顶角度。可选的，当训练设备采用多径计算时，该出射角度矢量
包括多条传播路径分别的出射射线方位角度和出射射线天顶角度。其中，对出射射线方位角度和出射射线天顶角度的描述请参考前文实施例的描述，在此不再赘述。
可见，根据第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量，训练设备可以反向推导出第二电磁波射线的传播路径。
在一种示例中，训练设备可以根据电磁波射线的电平预测模型，获得第二电磁波射线的电平预测值。其中，现有的散射计算方法包括深度神经网络方法、统计散射计算等在内的散射计算模型，本实施例所采用的电平预测模型如式(10)所示：
其中，RSRP′为电平预测值，RSRPt为发射电平值，Lloss为直达、反射、绕射、透射射线的电平损耗值，PLS为散射射线的自由空间路径损耗值，
为散射射线的能量损耗值，θ为第二电磁波射线在散射面上的入射角度矢量，
为第二电磁波射线在散射面上的出射角度矢量，λ为材质属性参数，W为散射损耗系数。
其中，训练设备可以通过天线文件获得RSRPt、Lloss和PLS的值。λ的值与散射面的材料有关，例如，目标区域为地面区域，那么λ的值与地面材料的参数有关。W指代散射射线的能量损耗中的三个参数θ,
λ分别的系数，例如，假设
那么系数a、b和c即为式(10)中的W。该散射损耗系数W可以统计散射计算得到。
本申请实施例提供一种电磁波预测方法，该电磁波预测方法可以应用于包括云计算平台在内的训练设备中。其中，训练设备可以使用路径训练模型确定第一电磁波射线的初始特征数据，该初始特征数据包括第一电磁波射线在目标区域的入射信息和第一电磁波射线在目标区域的出射信息。训练设备使用初始特征数据和用于确定所述第一电磁波射线的射线传播深度和射线传播状态的反馈函数，对路径训练模型进行强化学习训练，以获得第一电磁波射线在目标区域的路径模型，该路径模型用于确定第二电磁波射线在目标区域的传播路径。可见，该电磁波预测方法有利于提高射线追踪算法的预测精度，提高计算效率，降低计算时耗。
请参见图9，图9为本申请实施例提供的另一种电磁波预测方法的流程示意图。其中，图9为本申请实施例所述的电磁波预测方法应用于图5所示的电磁波预测系统中时的流程，该流程由电磁波预测系统中的数据获取设备501、训练设备502、云存储服务器503和用户设备504之间的交互实现，包括以下步骤：
901，数据获取设备获得数据；
902，数据获取设备向训练设备发送该数据；对应的，训练设备接收来自数据获取设备的数据；
903，训练设备根据数据，对路径训练模型进行强化学习训练，以获得多个目标区域分别的路径模型；
904，训练设备向云存储服务器发送多个目标区域分别的路径模型；对应的，云存储服务器接收来自训练设备的多个目标区域分别的路径模型；
905，云存储服务器建立目标区域标识与目标区域的路径模型的匹配关系；
906，用户设备向云存储服务器发送匹配请求消息，该匹配请求消息用于获得第一电磁波射线在目标区域的路径模型；
907，云存储服务器向用户设备发送匹配确认消息，该匹配确认消息包括第一电磁波射线在目标区域的路径模型；
908，用户设备根据路径模型，确定第二电磁波射线在目标区域的传播路径；
909，用户设备根据第二电磁波射线在目标区域的传播路径，获得第二电磁波射线在目标区域的预测信息。
其中，本实施例所述的数据包括三维电子地图、天线文件和工参/配置文件。其中，对三维电子地图和工参/配置文件的描述请参见图6所示的实施例中的相关描述，在此不再赘述。其中，天线文件的必需字段如表2所示。
表2：天线文件的字段
| 字段名称 | 物理意义 | 字段单位 |
| Name | 天线名称标识 | 无 |
| Gain | 最大天线增益 | dBi |
| Phi | 水平偏角 | 角度(°) |
| Theta | 垂直偏角 | 角度(°) |
| Attenuation | 衰减 | 分贝(dB) |
数据获取设备获得三维电子地图、天线文件和工参/配置文件之后，可以向训练设备发送三维电子地图、天线文件和工参配置文件，以使训练设备根据数据，对路径训练模型进行强化学习训练。需要注意的是，在电磁波预测系统中，数据获取设备所获得的三维电子地图可以是多个三维电子地图(即多个目标区域)，对应的，每一个三维电子地图与天线文件、工参配置文件存在一种匹配关系，即三维电子地图-天线文件-工参配置文件的匹配关系，如图10所示。
训练设备接收数据后，可以首先对数据进行处理。例如，训练设备根据三维电子地图和目标站点的位置信息，对目标区域进行栅格化处理，得到多个地理栅格。训练设备再对每一个地理栅格进行空间离散化处理，得到多个地图离散网格。训练设备再对每一个地图离散网格进行角度离散化处理，得到多个出射离散网格。其中，训练设备的上述处理过程可以参考图6所示的实施例中相对应的描述，在此不再赘述。
训练设备根据处理后的数据，对路径训练模型进行强化学习训练，可以得到多个目标区域分别的路径训练模型。其中，路径模型是根据第一电磁波射线的初始特征数据和用于确定第一电磁波射线的传播深度和传播状态的反馈函数对路径训练模型进行强化学习训练获得的，第一电磁波射线的初始特征数据包括第一电磁波射线在目标区域的入射信息和第一电磁波射线在所述目标区域的出射信息。本实施例中训练设备对路径训练模型进行强化学习训练的步骤，以及对路径模型、路径训练模型、第一电磁波射线的初始特征数据的描述可以参考图6所示的实施例中对应的描述，在此不再赘述。
训练设备向云存储服务器发送多个目标区域分别的路径模型，对应的，云存储服务器接收来自训练设备的多个目标区域分别的路径模型。其中，一个目标区域对应一个路径模型，一个目标区域也对应一个目标区域标识，也就是说，云存储服务器可以建立目标区域标识与目标区域的路径模型的匹配关系。
例如，云存储服务器可以建立目标区域标识Mapi与Q数据结构的匹配关系
或者建立Mapi与[S-A-V]数据结构的匹配关系
可以理解的是，目标区域标识也可以指示对应的三维电子地图，也就是说，云存储服务器还可以建立三维电子地图
的匹配关系，或者建立三维电子地图
的匹配关系。
当用户设备需要对目标区域进行电磁波射线预测时，用户设备可以向云存储服务器发送匹配请求消息，该匹配请求消息用于获得第一电磁波射线在目标区域的路径模型。例如，用户设备在匹配请求消息中携带目标区域标识，用于获得目标区域标识所指示的目标区域的路径模型。
对应的，云存储服务器接收来自用户设备的匹配请求消息后，可以根据目标区域标识查找对应的目标区域的路径模型，并生成匹配确认消息，该匹配确认消息中携带目标区域的路径模型。可选的，若用户设备发送的匹配请求消息中的目标区域标识未能成功匹配到对应的目标区域的路径模型，云存储服务器可以向用户设备发送匹配失败消息。
当用户设备获得到第一电磁波射线在目标区域的路径模型后，可以根据该路径模型，确定第二电磁波射线在目标区域的传播路径。其中，本实施例中用户设备根据路径训练模型确定第二电磁波射线在目标区域的传播路径可以参考图6所示的实施例中训练设备确定第二电磁波射线在目标区域的传播路径的步骤的相关描述，在此不再赘述。类似的，本实施例中用户设备根据第二电磁波射线在目标区域的传播路径，获得第二电磁波射线在目标区域的预测信息也可以参考图6所示的实施例中训练设备根据电磁波射线的电平预测模型，获得第二电磁波射线的电平预测值的步骤的相关描述，在此不再赘述。
用户设备还可以根据第二电磁波射线在目标区域的传播路径，获得第二电磁波射线在目标区域的预测信息。其中，本实施例所述的第二电磁波射线在目标区域的预测信息可以包括但不限于第二电磁波射线在目标区域的电平预测值，第二电磁波射线在目标区域的覆盖信息。其中，第二电磁波射线在目标区域的覆盖信息可以根据第二电磁波射线在目标区域的电平预测值来确定。例如，当第二电磁波射线在第一区域的电平预测值为-60dB，在第二区域的电平预测值为-80dB，也就是说，第一区域的覆盖强度大于第二区域的覆盖强度。
其中，用户设备获得第二电磁波射线在目标区域的电平预测值的具体步骤可以参考图6所示的实施例中的训练设备根据电磁波射线的电平预测模型，获得第二电磁波射线的电平预测值的相关描述，在此不再赘述。
可选的，本实施例中的用户设备除了采用如式(10)所示的电平预测模型获得第二电磁波射线在目标区域的电平预测值，还可以采用如式(1)所示的反射射线的计算模型获得一条或多条反射射线的传播路径(即反射径)，再采用反射计算模型的电磁波预测计算获得反射射线的电平预测值。类似的，用户设备还可以采用现有的计算模型获得直达径、绕射径和投射径，从而获得各类射线在目标区域的传播路径以及预测信息，从而完成整体的电磁波射线的预测仿真计算，如图11所示。可选的，本实施例所述的路径模型主要是用于进行散射射线的寻径计算，但是该路径模型也适用于进行绕射射线的寻径计算，本实施例不作限定。可选的，请参见图12，图12为本申请实施例提供的一种散射射线检测场景。在图12所示的检测场景中，包括散射区域和非散射区域。其中，本实施例假设当图12所示的检测场景中存在散射射线时，散射区域的RSRP和非散射区域的RSRP渐进式变化；当图12所示的检测场景中不存在散射射线时，散射区域的RSRP和非散射区域的RSRP截断式突变。那么数据获取设备可以获得散射区域的RSRP和非散射区域的RSRP的变化情况，从而判断目标区域是否存在散射射线。
本申请实施例提供的一种电磁波预测方法，该电磁波预测方法可以由电磁波预测系统中的数据获取设备、训练设备、云存储服务器和用户设备之间的交互实现。其中，训练设备可以根据数据，对路径训练模型进行强化学习训练，以获得多个目标区域分别的路径模型。训练设备可以向云存储服务器发送多个目标区域分别的路径模型，云存储服务器接收多个目标区域分别的路径模型后，可以建立目标区域标识与目标区域的路径模型的匹配关系。当用户设备需要对目标区域进行电磁波预测仿真时，可以向云存储服务器发送匹配请求消息，以请求第一电磁波射线在目标区域的路径模型。对应的，云存储服务器可以向用户设备发送第一电磁波射线在目标区域的路径模型，以使用户设备可以根据路径模型，确定第二电磁波射线在目标区域的传播路径，并获得第二电磁波射线在目标区域的预测信息，从而完成目标区域的电磁波预测仿真。可见，本实施例以散射射线传播方式代替现有的纯反射机制，并提供散射计算模型，提升复杂环境下射线追踪算法的信号预测能力，同时提升整体预测精度与预测效率。
以下结合图13至图16详细说明本申请实施例的电磁波预测装置及相关设备。
本申请实施例提供一种电磁波预测装置，如图13所示，该电磁波预测装置用于实现上述图6所示的实施例中训练设备所执行的方法，具体包括：
确定单元1301，用于使用路径训练模型确定第一电磁波射线的初始特征数据，该初始特征数据包括第一电磁波射线在目标区域的入射信息和第一电磁波射线在目标区域的出射信息；
强化学习训练单元1302，用于使用初始特征数据和用于确定第一电磁波射线的射线传播深度和射线传播状态的反馈函数，对路径训练模型进行强化学习训练，以获得第一电磁波射线在目标区域的路径模型，该路径模型用于确定第二电磁波射线在目标区域的传播路径。
具体实现方式，请参考图6所示的实施例中的训练设备确定初始特征数据以及使用初始特征数据和反馈函数对路径训练模型进行强化学习训练的步骤，在此不再赘述。
在一种实现方式中，第一电磁波射线在目标区域的入射信息包括第一电磁波射线所位于的地图离散网格的标识；第一电磁波射线在目标区域的出射信息包括第一电磁波射线所位于的出射离散网格的标识。电磁波预测装置还包括获得单元1303，获得单元1303用于根据三维电子地图和目标站点的位置信息，将目标区域划分为多个地理栅格；将多个地理栅格分别进行空间离散化处理，获得地图离散网格集合；将地图离散网格集合中的每一个地图离散网格进行角度离散化处理，获得每一个地图离散网格分别对应的出射离散网格集合。
具体实现方式，请参考图6所示的实施例中的训练设备对目标区域进行地理栅格化处理、对地理栅格进行空间离散化处理以及对地图离散网格进行角度离散化处理的步骤，在此不再赘述。
在一种实现方式中，强化学习训练单元1302用于使用初始特征数据和用于确定第一电磁波射线的射线传播深度和射线传播状态的反馈函数，对路径训练模型进行强化学习训练，以获得第一电磁波射线在目标区域的路径模型，包括：
确定路径训练模型，该路径训练模型的行向量标识指示第一电磁波射线在目标区域的入射信息，路径训练模型的列向量标识指示第一电磁波射线在目标区域的出射信息；
根据第一电磁波射线在目标区域的入射信息，确定强化学习训练后第一电磁波射线在目标区域的出射信息、对应的反馈函数以及更新后的路径训练模型；
将强化学习训练后的第一电磁波射线在目标区域的出射信息作为下一轮强化学习训练中电磁波射线在目标区域的入射信息进行强化学习训练，直至更新后的路径训练模型满足预设的收敛条件，预设的收敛条件为到达目标区域中的目标站点的射线数量超过预设的阈值。
具体实现方式，请参考图6所示的实施例中的训练设备对路径训练模型进行强化学习训练的步骤，在此不再赘述。
在一种实现方式中，路径模型用于指示电磁波射线的入射射线位于的第n个地图离散网格，出射射线位于的第m个出射离散网格的概率；n和m为正整数。
具体实现方式，请参考图6所示的实施例中对路径模型的相关描述，在此不再赘述。
在一种实现方式中，反馈函数的反馈函数值用于指示训练设备对路径训练模型进行强化学习训练时，得到的传播路径为第二电磁波射线在目标区域的传播路径的概率。
具体实现方式，请参考图6所示的实施例中对反馈函数以及反馈函数值的相关描述，在此不再赘述。
在一种实现方式中，确定单元1301还用于确定三维电子地图的目标区域标识集合；该目标区域标识集合包括一个或多个目标区域标识；目标区域标识与目标区域的路径模型对应，目标区域标识是根据目标区域对应的消息摘要算法MD5值、目标区域的仿真半径、目标区域中的地图离散网格的数量、目标站点的位置信息确定的。
具体实现方式，请参考图6所示的实施例中对目标区域标识集合以及目标区域标识的相关描述，在此不再赘述。
在一种实现方式中，确定单元1301还用于根据第一电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径；第二电磁波射线在目标区域的传播路径通过第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量来表征；
获得单元1303还用于根据第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得第二电磁波射线的电平预测值。
具体实现方式，请参考图6所示的实施例中训练设备确定第二电磁波射线在目标区域的传播路径以及对该传播路径的电平值进行预测计算的步骤，在此不再赘述。
在一种实现方式中，确定单元1301用于根据第一电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径，包括：
根据第一电磁波射线在目标区域的路径模型，获得路径模型指示的第一电磁波射线在目标区域的出射射线概率的最大值对应的第一射线；
确定第一射线的传播路径为电磁波射线在目标区域的传播路径。
具体实现方式，请参考图6所示的实施例中训练设备确定第二电磁波射线在目标区域的传播路径的步骤，在此不再赘述。
在一种实现方式中，确定单元1301用于根据第一电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径，包括：
根据第一电磁波射线在目标区域的路径模型和第一电磁波射线在目标区域的出射射线概率分布，获得第二电磁波射线在目标区域的多条传播路径；第二电磁波射线在目标区域的出射射线概率分布包括第一电磁波射线在目标区域的多个出射射线概率。
具体实现方式，请参考图6所示的实施例中训练设备确定第二电磁波射线在目标区域的传播路径的步骤，在此不再赘述。
在一种实现方式中，图13中的各个单元所实现的相关功能可以通过收发器和处理器来实现。请参见图14，图14是本申请实施例提供的一种训练设备的结构示意图，该训练设备可以为具有执行图6所示的实施例所述的电磁波预测功能的设备(例如芯片)。该训练设备可以包括收发器1401、至少一个处理器1402和存储器1403。其中，收发器1401、处理器1402和存储器1403可以通过一条或多条通信总线相互连接，也可以通过其它方式相连接。
其中，收发器1401可以用于发送数据，或者接收数据。可以理解的是，收发器1401是统称，可以包括接收器和发送器。
其中，处理器1402可以用于对训练设备的数据进行处理，例如，对路径训练模型进行强化学习训练。处理器1402可以包括一个或多个处理器，例如该处理器1402可以是一个或多个中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)，硬件芯片或者其任意组合。在处理器1402是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
其中，存储器1403用于存储程序代码等。存储器1403可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)；存储器1403也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-statedrive，SSD)；存储器1403还可以包括上述种类的存储器的组合。
其中，上述处理器1402和存储器1403可以通过接口耦合，也可以集成在一起，本实施例不作限定。
上述处理器1402可以用于实现图6所示的实施例中的电磁波预测方法，其中，具体实现方式如下：
使用路径训练模型确定第一电磁波射线的初始特征数据，该初始特征数据包括第一电磁波射线在目标区域的入射信息和第一电磁波射线在目标区域的出射信息；
使用初始特征数据和用于确定第一电磁波射线的射线传播深度和射线传播状态的反馈函数，对路径训练模型进行强化学习训练，以获得第一电磁波射线在目标区域的路径模型；该路径模型用于确定第二电磁波射线在目标区域的传播路径。
具体实现方式，请参考图6所示的实施例中的训练设备确定初始特征数据以及使用初始特征数据和反馈函数对路径训练模型进行强化学习训练的步骤，在此不再赘述。
在一种实现方式中，第一电磁波射线在目标区域的入射信息包括第一电磁波射线所位于的地图离散网格的标识；第一电磁波射线在目标区域的出射信息包括第一电磁波射线所位于的出射离散网格的标识；处理器1402还用于：
根据三维电子地图和目标站点的位置信息，将目标区域划分为多个地理栅格；
将多个地理栅格分别进行空间离散化处理，获得地图离散网格集合；
将地图离散网格集合中的每一个地图离散网格进行角度离散化处理，获得每一个地图离散网格分别对应的出射离散网格集合。
具体实现方式，请参考图6所示的实施例中的训练设备对目标区域进行地理栅格化处理、对地理栅格进行空间离散化处理以及对地图离散网格进行角度离散化处理的步骤，在此不再赘述。
在一种实现方式中，处理器1402用于使用初始特征数据和用于确定第一电磁波射线的射线传播深度和射线传播状态的反馈函数，对路径训练模型进行强化学习训练，以获得第一电磁波射线在目标区域的路径模型，包括：
确定路径训练模型，该路径训练模型的行向量标识指示第一电磁波射线在目标区域的入射信息，路径训练模型的列向量标识指示第一电磁波射线在目标区域的出射信息；
根据第一电磁波射线在目标区域的入射信息，确定强化学习训练后第一电磁波射线在目标区域的出射信息、对应的反馈函数以及更新后的路径训练模型；
将强化学习训练后的第一电磁波射线在目标区域的出射信息作为下一轮强化学习训练中电磁波射线在目标区域的入射信息进行强化学习训练，直至更新后的路径训练模型满足预设的收敛条件，预设的收敛条件为到达目标区域中的目标站点的射线数量超过预设的阈值。
具体实现方式，请参考图6所示的实施例中的训练设备对路径训练模型进行强化学习训练的步骤，在此不再赘述。
在一种实现方式中，路径模型用于指示电磁波射线的入射射线位于的第n个地图离散网格，出射射线位于的第m个出射离散网格的概率；n和m为正整数。
具体实现方式，请参考图6所示的实施例中对路径模型的相关描述，在此不再赘述。
在一种实现方式中，反馈函数的反馈函数值用于指示训练设备对路径训练模型进行强化学习训练时，得到的传播路径为第二电磁波射线在目标区域的传播路径的概率。
具体实现方式，请参考图6所示的实施例中对反馈函数以及反馈函数值的相关描述，在此不再赘述。
在一种实现方式中，处理器1402还用于：
确定三维电子地图的目标区域标识集合；该目标区域标识集合包括一个或多个目标区域标识；目标区域标识与目标区域的路径模型对应，目标区域标识是根据目标区域对应的消息摘要算法MD5值、目标区域的仿真半径、目标区域中的地图离散网格的数量、目标站点的位置信息确定的。
具体实现方式，请参考图6所示的实施例中对目标区域标识集合以及目标区域标识的相关描述，在此不再赘述。
在一种实现方式中，处理器1402还用于：
根据第一电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径；第二电磁波射线在目标区域的传播路径通过第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量来表征；
根据第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得第二电磁波射线的电平预测值。
具体实现方式，请参考图6所示的实施例中训练设备确定第二电磁波射线在目标区域的传播路径以及对该传播路径的电平值进行预测计算的步骤，在此不再赘述。
在一种实现方式中，处理器1402用于根据第一电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径，包括：
根据第一电磁波射线在目标区域的路径模型，获得路径模型指示的第一电磁波射线在目标区域的出射射线概率的最大值对应的第一射线；
确定第一射线的传播路径为电磁波射线在目标区域的传播路径。
具体实现方式，请参考图6所示的实施例中训练设备确定第二电磁波射线在目标区域的传播路径的步骤，在此不再赘述。
在一种实现方式中，处理器1402用于根据第一电磁波射线在目标区域的路径模型，确定第二电磁波射线在目标区域的传播路径，包括：
根据第一电磁波射线在目标区域的路径模型和第一电磁波射线在目标区域的出射射线概率分布，获得第二电磁波射线在目标区域的多条传播路径；第二电磁波射线在目标区域的出射射线概率分布包括第一电磁波射线在目标区域的多个出射射线概率。
具体实现方式，请参考图6所示的实施例中训练设备确定第二电磁波射线在目标区域的传播路径的步骤，在此不再赘述。
本申请实施例提供另一种电磁波预测装置，如图15所示，该电磁波预测装置用于实现上述图9所示的实施例中用户设备所执行的方法，具体包括：
获得单元1501，用于根据三维电子地图和目标站点的位置信息，获得第一电磁波射线在目标区域的路径模型；路径模型是根据第一电磁波射线的初始特征数据和用于确定第一电磁波射线的传播深度和传播状态的反馈函数对路径训练模型进行强化学习训练获得的，第一电磁波射线的初始特征数据包括第一电磁波射线在目标区域的入射信息和第一电磁波射线在目标区域的出射信息；
确定单元1502，用于根据路径模型，确定第二电磁波射线在目标区域的传播路径；
获得单元1501还用于根据第二电磁波射线在目标区域的传播路径，获得第二电磁波射线在目标区域的预测信息。
具体实现方式，请参考图9所示的实施例中的用户设备获取目标区域的路径模型、根据路径模型确定第二电磁波射线在目标区域的传播路径以及根据该传播路径获得第二电磁波射线在目标区域的预测信息的步骤，在此不再赘述。
在一种实现方式中，获得单元1501用于根据三维电子地图和目标站点的位置信息，获得第一电磁波射线在目标区域的路径模型，包括：
根据三维电子地图和目标站点的位置信息，确定目标区域的目标区域标识，目标区域为任意电磁波射线的预测区域；
根据目标区域的目标区域标识，获得目标区域标识所匹配的路径模型。
具体实现方式，请参考图9所示的实施例中的用户设备根据目标区域标识获得目标区域的路径模型的步骤，在此不再赘述。
在一种实现方式中，目标区域标识与目标区域的路径模型存在匹配关系；目标区域标识是根据目标区域对应的消息摘要算法MD5值、目标区域的仿真半径、目标区域中的地图离散网格的数量、目标站点的位置信息确定的。
具体实现方式，请参考图6和图9所示的实施例中对目标区域标识和目标区域的路径模型的具体描述，在此不再赘述。
在一种实现方式中，确定单元1502用于根据路径模型，确定第二电磁波射线在目标区域的传播路径，包括：
根据路径模型，获得路径模型中的出射射线概率的最大值对应的第一射线；
确定第一射线的传播路径为第二电磁波射线在目标区域的传播路径。
具体实现方式，请参考图9所示的实施例中用户设备确定第二电磁波射线在目标区域的传播路径的步骤，在此不再赘述。
在一种实现方式中，确定单元1502用于根据路径模型，确定第二电磁波射线在目标区域的传播路径，包括：
根据路径模型，获得第二电磁波射线在目标区域的出射射线概率分布；
根据第二电磁波射线在目标区域的出射射线概率分布，获得第二电磁波射线在目标区域的多条传播路径。
具体实现方式，请参考图9所示的实施例中用户设备确定第二电磁波射线在目标区域的传播路径的步骤，在此不再赘述。
在一种实现方式中，获得单元1501用于根据第二电磁波射线在目标区域的传播路径，获得第二电磁波射线在目标区域的预测信息，包括：
根据第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得第二电磁波射线的电平预测值。
具体实现方式，请参考图9所示的实施例中用户设备确定第二电磁波射线在目标区域的传播路径以及对该传播路径的电平值进行预测计算的步骤，在此不再赘述。
在一种实现方式中，图15中的各个单元所实现的相关功能可以通过收发器和处理器来实现。请参见图16，图16是本申请实施例提供的一种用户设备的结构示意图，该用户设备可以为具有执行图9所示的实施例所述的电磁波预测功能的设备(例如芯片)。该用户设备可以包括收发器1601、至少一个处理器1602和存储器1603。其中，收发器1601、处理器1602和存储器1603可以通过一条或多条通信总线相互连接，也可以通过其它方式相连接。
其中，收发器1601可以用于发送数据，或者接收数据。可以理解的是，收发器1601是统称，可以包括接收器和发送器。
其中，处理器1602可以用于对用户设备的数据进行处理，例如，通过路径模型获得第二电磁波射线在目标区域的传播路径。处理器1602可以包括一个或多个处理器，例如该处理器1602可以是一个或多个中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)，硬件芯片或者其任意组合。在处理器1602是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
其中，存储器1603用于存储程序代码等。存储器1603可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)；存储器1603也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-statedrive，SSD)；存储器1603还可以包括上述种类的存储器的组合。
其中，上述处理器1602和存储器1603可以通过接口耦合，也可以集成在一起，本实施例不作限定。
上述处理器1602可以用于实现图9所示的实施例中的电磁波预测方法，其中，具体实现方式如下：
根据三维电子地图和目标站点的位置信息，获得第一电磁波射线在目标区域的路径模型；路径模型是根据第一电磁波射线的初始特征数据和用于确定第一电磁波射线的传播深度和传播状态的反馈函数对路径训练模型进行强化学习训练获得的，第一电磁波射线的初始特征数据包括第一电磁波射线在目标区域的入射信息和第一电磁波射线在目标区域的出射信息；
根据路径模型，确定第二电磁波射线在目标区域的传播路径；
根据第二电磁波射线在目标区域的传播路径，获得第二电磁波射线在目标区域的预测信息。
具体实现方式，请参考图9所示的实施例中的用户设备获取目标区域的路径模型、根据路径模型确定第二电磁波射线在目标区域的传播路径以及根据该传播路径获得第二电磁波射线在目标区域的预测信息的步骤，在此不再赘述。
在一种实现方式中，处理器1602用于根据三维电子地图和目标站点的位置信息，获得第一电磁波射线在目标区域的路径模型，包括：
根据三维电子地图和目标站点的位置信息，确定目标区域的目标区域标识，目标区域为任意电磁波射线的预测区域；
根据目标区域的目标区域标识，获得目标区域标识所匹配的路径模型。
具体实现方式，请参考图9所示的实施例中的用户设备根据目标区域标识获得目标区域的路径模型的步骤，在此不再赘述。
在一种实现方式中，目标区域标识与目标区域的路径模型存在匹配关系；目标区域标识是根据目标区域对应的消息摘要算法MD5值、目标区域的仿真半径、目标区域中的地图离散网格的数量、目标站点的位置信息确定的。
具体实现方式，请参考图6和图9所示的实施例中对目标区域标识和目标区域的路径模型的具体描述，在此不再赘述。
在一种实现方式中，处理器1602用于根据路径模型，确定第二电磁波射线在目标区域的传播路径，包括：
根据路径模型，获得路径模型中的出射射线概率的最大值对应的第一射线；
确定第一射线的传播路径为第二电磁波射线在目标区域的传播路径。
具体实现方式，请参考图9所示的实施例中用户设备确定第二电磁波射线在目标区域的传播路径的步骤，在此不再赘述。
在一种实现方式中，处理器1602用于根据路径模型，确定第二电磁波射线在目标区域的传播路径，包括：
根据路径模型，获得第二电磁波射线在目标区域的出射射线概率分布；
根据第二电磁波射线在目标区域的出射射线概率分布，获得第二电磁波射线在目标区域的多条传播路径。
具体实现方式，请参考图9所示的实施例中用户设备确定第二电磁波射线在目标区域的传播路径的步骤，在此不再赘述。
在一种实现方式中，处理器1602用于根据第二电磁波射线在目标区域的传播路径，获得第二电磁波射线在目标区域的预测信息，包括：
根据第二电磁波射线在目标区域的射线径、第二电磁波射线在目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得第二电磁波射线的电平预测值。
具体实现方式，请参考图9所示的实施例中用户设备确定第二电磁波射线在目标区域的传播路径以及对该传播路径的电平值进行预测计算的步骤，在此不再赘述。
本申请实施例提供一种电磁波预测系统，该电磁波预测系统包括前述实施例所述的训练设备和用户设备。
本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有程序或指令，当所述程序或指令在计算机上运行时，使得计算机执行本申请实施例中的电磁波预测方法。
本申请实施例提供一种芯片或者芯片系统，该芯片或者芯片系统包括至少一个处理器和接口，接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以进行本申请实施例中的电磁波预测方法。
其中，芯片中的接口可以为输入/输出接口、管脚或电路等。
上述方面中的芯片系统可以是片上系统(system on chip，SOC)，也可以是基带芯片等，其中基带芯片可以包括处理器、信道编码器、数字信号处理器、调制解调器和接口模块等。
在一种实现方式中，本申请中上述描述的芯片或者芯片系统还包括至少一个存储器，该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元，例如，寄存器、缓存等，也可以是该芯片的存储单元(例如，只读存储器、随机存取存储器等)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digitalvideo disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (34)
1.一种电磁波预测方法，其特征在于，应用于包括云计算平台在内的训练设备，包括：
使用路径训练模型确定第一电磁波射线的初始特征数据，所述初始特征数据包括所述第一电磁波射线在目标区域的入射信息和所述第一电磁波射线在目标区域的出射信息；
使用所述初始特征数据和用于确定所述第一电磁波射线的射线传播深度和射线传播状态的反馈函数，对所述路径训练模型进行强化学习训练，以获得第一电磁波射线在所述目标区域的路径模型，所述路径模型用于确定第二电磁波射线在所述目标区域的传播路径。
2.根据权利要求1所述的方法，其特征在于，所述第一电磁波射线在目标区域的入射信息包括所述第一电磁波射线所位于的地图离散网格的标识；所述第一电磁波射线在目标区域的出射信息包括所述第一电磁波射线所位于的出射离散网格的标识；
所述使用路径训练模型确定第一电磁波射线的初始特征数据之前，所述方法还包括：
根据三维电子地图和目标站点的位置信息，将所述目标区域划分为多个地理栅格；
将所述多个地理栅格分别进行空间离散化处理，获得地图离散网格集合；
将所述地图离散网格集合中的每一个地图离散网格进行角度离散化处理，获得每一个地图离散网格分别对应的出射离散网格集合。
3.根据权利要求1或2所述的方法，其特征在于，所述使用所述初始特征数据和用于确定所述第一电磁波射线的传播深度和传播状态的反馈函数，对路径训练模型进行强化学习训练，以获得电磁波射线在所述目标区域的路径模型，包括：
确定路径训练模型，所述路径训练模型的行向量标识指示所述第一电磁波射线在目标区域的入射信息，所述路径训练模型的列向量标识指示所述第一电磁波射线在目标区域的出射信息；
根据所述第一电磁波射线在所述目标区域的入射信息，确定强化学习训练后所述第一电磁波射线在所述目标区域的出射信息、对应的反馈函数以及更新后的路径训练模型；
将所述强化学习训练后的所述第一电磁波射线在所述目标区域的出射信息作为下一轮强化学习训练中电磁波射线在所述目标区域的入射信息进行强化学习训练，直至更新后的路径训练模型满足预设的收敛条件，所述预设的收敛条件为到达所述目标区域中的目标站点的射线数量超过预设的阈值。
4.根据权利要求3所述的方法，其特征在于，所述路径模型用于确定所述电磁波射线在所述目标区域的传播路径，包括：
所述路径模型用于指示电磁波射线的入射射线位于的第n个地图离散网格，出射射线位于的第m个出射离散网格的概率；所述n和所述m为正整数。
5.根据权利要求4所述的方法，其特征在于，所述反馈函数的反馈函数值用于指示所述训练设备对所述路径训练模型进行强化学习训练时，得到的传播路径为所述第二电磁波射线在所述目标区域的传播路径的概率。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
确定所述三维电子地图的目标区域标识集合；所述目标区域标识集合包括一个或多个目标区域标识；所述目标区域标识与所述目标区域的路径模型对应，所述目标区域标识是根据所述目标区域对应的消息摘要算法MD5值、所述目标区域的仿真半径、所述目标区域中的地图离散网格的数量、所述目标站点的位置信息确定的。
7.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述第一电磁波射线在所述目标区域的路径模型，确定所述第二电磁波射线在所述目标区域的传播路径；所述第二电磁波射线在所述目标区域的传播路径通过所述第二电磁波射线在所述目标区域的射线径、所述第二电磁波射线在所述目标区域的入射角度矢量、出射角度矢量来表征；
根据所述第二电磁波射线在所述目标区域的射线径、所述第二电磁波射线在所述目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得所述第二电磁波射线的电平预测值。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第一电磁波射线在所述目标区域的路径模型，确定所述第二电磁波射线在所述目标区域的传播路径，包括：
根据所述第一电磁波射线在所述目标区域的路径模型，获得所述路径模型指示的第一电磁波射线在所述目标区域的出射射线概率的最大值对应的第一射线；
确定所述第一射线的传播路径为所述电磁波射线在所述目标区域的传播路径。
9.根据权利要求7所述的方法，其特征在于，所述根据所述目标区域的路径模型，确定所述目标区域的电磁波射线的传播路径，包括：
根据所述第一电磁波射线在所述目标区域的路径模型和所述第一电磁波射线在所述目标区域的出射射线概率分布，获得所述第二电磁波射线在所述目标区域的多条传播路径；所述第二电磁波射线在所述目标区域的出射射线概率分布包括所述第一电磁波射线在所述目标区域的多个出射射线概率。
10.一种电磁波预测方法，其特征在于，应用于用户设备，包括：
根据三维电子地图和目标站点的位置信息，获得第一电磁波射线在目标区域的路径模型；其中，所述路径模型是根据所述第一电磁波射线的初始特征数据和用于确定所述第一电磁波射线的传播深度和传播状态的反馈函数对路径训练模型进行强化学习训练获得的，所述第一电磁波射线的初始特征数据包括所述第一电磁波射线在目标区域的入射信息和所述第一电磁波射线在所述目标区域的出射信息；
根据所述路径模型，确定第二电磁波射线在所述目标区域的传播路径；
根据所述第二电磁波射线在所述目标区域的传播路径，获得所述第二电磁波射线在所述目标区域的预测信息。
11.根据权利要求10所述的方法，其特征在于，所述根据三维电子地图和目标站点的位置信息，获得第一电磁波射线在所述目标区域的路径模型，包括：
根据三维电子地图和目标站点的位置信息，确定所述目标区域的目标区域标识，所述目标区域为任意电磁波射线的预测区域；
根据所述目标区域的目标区域标识，获得所述目标区域标识所匹配的路径模型。
12.根据权利要求11所述的方法，其特征在于，所述目标区域标识与所述目标区域的路径模型存在匹配关系；所述目标区域标识是根据所述目标区域对应的消息摘要算法MD5值、所述目标区域的仿真半径、所述目标区域中的地图离散网格的数量、所述目标站点的位置信息确定的。
13.根据权利要求10所述的方法，其特征在于，所述根据所述路径模型，确定第二电磁波射线在所述目标区域的传播路径，包括：
根据所述路径模型，获得所述路径模型中的出射射线概率的最大值对应的第一射线；
确定所述第一射线的传播路径为所述第二电磁波射线在所述目标区域的传播路径。
14.根据权利要求10所述的方法，其特征在于，所述根据所述路径模型，确定第二电磁波射线在所述目标区域的传播路径，包括：
根据所述路径模型，获得所述第二电磁波射线在所述目标区域的出射射线概率分布；
根据所述第二电磁波射线在所述目标区域的出射射线概率分布，获得所述第二电磁波射线在所述目标区域的多条传播路径。
15.根据权利要求10至14任意一项所述的方法，其特征在于，所述根据所述第二电磁波射线在所述目标区域的传播路径，获得所述第二电磁波射线在所述目标区域的预测信息，包括：
根据所述第二电磁波射线在所述目标区域的射线径、所述第二电磁波射线在所述目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得所述第二电磁波射线的电平预测值。
16.一种电磁波预测装置，其特征在于，包括：
确定单元，用于使用路径训练模型确定第一电磁波射线的初始特征数据，所述初始特征数据包括所述第一电磁波射线在目标区域的入射信息和所述第一电磁波射线在目标区域的出射信息；
强化学习训练单元，用于使用所述初始特征数据和用于确定所述第一电磁波射线的射线传播深度和射线传播状态的反馈函数，对所述路径训练模型进行强化学习训练，以获得第一电磁波射线在所述目标区域的路径模型，所述路径模型用于确定第二电磁波射线在所述目标区域的传播路径。
17.根据权利要求16所述的装置，其特征在于，所述第一电磁波射线在目标区域的入射信息包括所述第一电磁波射线所位于的地图离散网格的标识；所述第一电磁波射线在目标区域的出射信息包括所述第一电磁波射线所位于的出射离散网格的标识；所述电磁波预测装置还包括获得单元，所述获得单元用于：
根据三维电子地图和目标站点的位置信息，将所述目标区域划分为多个地理栅格；
将所述多个地理栅格分别进行空间离散化处理，获得地图离散网格集合；
将所述地图离散网格集合中的每一个地图离散网格进行角度离散化处理，获得每一个地图离散网格分别对应的出射离散网格集合。
18.根据权利要求16或17所述的装置，其特征在于，所述强化学习训练单元用于使用所述初始特征数据和用于确定所述第一电磁波射线的射线传播深度和射线传播状态的反馈函数，对所述路径训练模型进行强化学习训练，以获得第一电磁波射线在所述目标区域的路径模型，包括：
确定路径训练模型，所述路径训练模型的行向量标识指示所述第一电磁波射线在目标区域的入射信息，所述路径训练模型的列向量标识指示所述第一电磁波射线在目标区域的出射信息；
根据所述第一电磁波射线在所述目标区域的入射信息，确定强化学习训练后所述第一电磁波射线在所述目标区域的出射信息、对应的反馈函数以及更新后的路径训练模型；
将所述强化学习训练后的所述第一电磁波射线在所述目标区域的出射信息作为下一轮强化学习训练中电磁波射线在所述目标区域的入射信息进行强化学习训练，直至更新后的路径训练模型满足预设的收敛条件，所述预设的收敛条件为到达所述目标区域中的目标站点的射线数量超过预设的阈值。
19.根据权利要求18所述的装置，其特征在于，所述路径模型用于确定所述电磁波射线在所述目标区域的传播路径，包括：
所述路径模型用于指示电磁波射线的入射射线位于的第n个地图离散网格，出射射线位于的第m个出射离散网格的概率；所述n和所述m为正整数。
20.根据权利要求19所述的装置，其特征在于，所述反馈函数的反馈函数值用于指示所述训练设备对所述路径训练模型进行强化学习训练时，得到的传播路径为所述第二电磁波射线在所述目标区域的传播路径的概率。
21.根据权利要求18所述的装置，其特征在于，
所述确定单元还用于确定所述三维电子地图的目标区域标识集合；所述目标区域标识集合包括一个或多个目标区域标识；所述目标区域标识与所述目标区域的路径模型对应，所述目标区域标识是根据所述目标区域对应的消息摘要算法MD5值、所述目标区域的仿真半径、所述目标区域中的地图离散网格的数量、所述目标站点的位置信息确定的。
22.根据权利要求18所述的装置，其特征在于，
所述确定单元还用于根据所述第一电磁波射线在所述目标区域的路径模型，确定所述第二电磁波射线在所述目标区域的传播路径；所述第二电磁波射线在所述目标区域的传播路径通过所述第二电磁波射线在所述目标区域的射线径、所述第二电磁波射线在所述目标区域的入射角度矢量、出射角度矢量来表征；
所述获得单元还用于根据所述第二电磁波射线在所述目标区域的射线径、所述第二电磁波射线在所述目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得所述第二电磁波射线的电平预测值。
23.根据权利要求22所述的装置，其特征在于，所述确定单元用于根据所述第一电磁波射线在所述目标区域的路径模型，确定所述第二电磁波射线在所述目标区域的传播路径，包括：
根据所述第一电磁波射线在所述目标区域的路径模型，获得所述路径模型指示的第一电磁波射线在所述目标区域的出射射线概率的最大值对应的第一射线；
确定所述第一射线的传播路径为所述电磁波射线在所述目标区域的传播路径。
24.根据权利要求22所述的装置，其特征在于，所述确定单元用于根据所述第一电磁波射线在所述目标区域的路径模型，确定所述第二电磁波射线在所述目标区域的传播路径，包括：
根据所述第一电磁波射线在所述目标区域的路径模型和所述第一电磁波射线在所述目标区域的出射射线概率分布，获得所述第二电磁波射线在所述目标区域的多条传播路径；所述第二电磁波射线在所述目标区域的出射射线概率分布包括所述第一电磁波射线在所述目标区域的多个出射射线概率。
25.一种电磁波预测装置，其特征在于，包括：
获得单元，用于根据三维电子地图和目标站点的位置信息，获得第一电磁波射线在目标区域的路径模型；其中，所述路径模型是根据所述第一电磁波射线的初始特征数据和用于确定所述第一电磁波射线的传播深度和传播状态的反馈函数对路径训练模型进行强化学习训练获得的，所述第一电磁波射线的初始特征数据包括所述第一电磁波射线在目标区域的入射信息和所述第一电磁波射线在所述目标区域的出射信息；
确定单元，用于根据所述路径模型，确定第二电磁波射线在所述目标区域的传播路径；
所述获得单元还用于根据所述第二电磁波射线在所述目标区域的传播路径，获得所述第二电磁波射线在所述目标区域的预测信息。
26.根据权利要求25所述的装置，其特征在于，所述获得单元用于根据三维电子地图和目标站点的位置信息，获得第一电磁波射线在所述目标区域的路径模型，包括：
根据三维电子地图和目标站点的位置信息，确定所述目标区域的目标区域标识，所述目标区域为任意电磁波射线的预测区域；
根据所述目标区域的目标区域标识，获得所述目标区域标识所匹配的路径模型。
27.根据权利要求26所述的装置，其特征在于，所述目标区域标识与所述目标区域的路径模型存在匹配关系；所述目标区域标识是根据所述目标区域对应的消息摘要算法MD5值、所述目标区域的仿真半径、所述目标区域中的地图离散网格的数量、所述目标站点的位置信息确定的。
28.根据权利要求25所述的装置，其特征在于，所述确定单元用于根据所述路径模型，确定第二电磁波射线在所述目标区域的传播路径，包括：
根据所述路径模型，获得所述路径模型中的出射射线概率的最大值对应的第一射线；
确定所述第一射线的传播路径为所述第二电磁波射线在所述目标区域的传播路径。
29.根据权利要求25所述的装置，其特征在于，所述确定单元用于根据所述路径模型，确定第二电磁波射线在所述目标区域的传播路径，包括：
根据所述路径模型，获得所述第二电磁波射线在所述目标区域的出射射线概率分布；
根据所述第二电磁波射线在所述目标区域的出射射线概率分布，获得所述第二电磁波射线在所述目标区域的多条传播路径。
30.根据权利要求25至29任意一项所述的装置，其特征在于，所述获得单元用于根据所述第二电磁波射线在所述目标区域的传播路径，获得所述第二电磁波射线在所述目标区域的预测信息，包括：
根据所述第二电磁波射线在所述目标区域的射线径、所述第二电磁波射线在所述目标区域的入射角度矢量、出射角度矢量，以及电磁波射线的电平预测模型，获得所述第二电磁波射线的电平预测值。
31.一种训练设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储指令；
所述处理器，用于执行所述指令，使得如权利要求1至9中任意一项所述的方法被执行。
32.一种用户设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储指令，
所述处理器，用于执行所述指令，使得如权利要求10至15中任意一项所述的方法被执行。
33.一种芯片，其特征在于，包括处理器和接口；
所述处理器用于读取指令以执行权利要求1至9或10至15中任意一项所述的方法。
34.一种计算机可读存储介质，其特征在于，包括程序或指令，当所述程序或指令在计算机上运行时，如权利要求1至9或10至15中任意一项所述的方法被执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011497626.XA CN114646814A (zh) | 2020-12-17 | 2020-12-17 | 一种电磁波预测方法、装置及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011497626.XA CN114646814A (zh) | 2020-12-17 | 2020-12-17 | 一种电磁波预测方法、装置及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114646814A true CN114646814A (zh) | 2022-06-21 |
Family
ID=81990956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011497626.XA Pending CN114646814A (zh) | 2020-12-17 | 2020-12-17 | 一种电磁波预测方法、装置及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114646814A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116976202A (zh) * | 2023-07-12 | 2023-10-31 | 清华大学 | 基于深度神经网络的固定复杂源项分布反演方法及装置 |
-
2020
- 2020-12-17 CN CN202011497626.XA patent/CN114646814A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116976202A (zh) * | 2023-07-12 | 2023-10-31 | 清华大学 | 基于深度神经网络的固定复杂源项分布反演方法及装置 |
| CN116976202B (zh) * | 2023-07-12 | 2024-03-26 | 清华大学 | 基于深度神经网络的固定复杂源项分布反演方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9759800B2 (en) | Infrastructure for location discovery | |
| Geok et al. | A comprehensive review of efficient ray-tracing techniques for wireless communication | |
| US5828960A (en) | Method for wireless communication system planning | |
| US6889053B1 (en) | Likelihood-based geolocation prediction algorithms for CDMA systems using pilot strength measurements | |
| US20180352309A1 (en) | Automatic adaptive network planning | |
| JP6645346B2 (ja) | 電磁波伝搬経路の追跡方法、装置及びシステム | |
| CN105430664B (zh) | 一种基于分类拟合预测传播路损的方法和装置 | |
| Xiong et al. | Customizing indoor wireless coverage via 3D-fabricated reflectors | |
| CN109874146A (zh) | 一种预测路损的方法及装置 | |
| JP2018032939A (ja) | 品質推定装置及び品質推定方法 | |
| CN114646814A (zh) | 一种电磁波预测方法、装置及相关设备 | |
| WO2019105194A1 (zh) | 一种传播路径搜索方法以及装置 | |
| CN114448531A (zh) | 一种信道特性分析方法、系统、介质、设备及处理终端 | |
| CN117580054A (zh) | 基于使用需求数据的ntn小区构建方法、装置、设备及介质 | |
| JP2004193912A (ja) | レイの受信判定方法並びにシステム及びそれを用いた電波伝搬特性推定方法 | |
| Feng et al. | A new ray tracing method based on piecewise conformal transformations | |
| Wu et al. | Cost-efficient indoor white space exploration through compressive sensing | |
| KR100329518B1 (ko) | 무선망 설계시스템에서의 전파해석방법 | |
| CN115866656A (zh) | 路径损耗计算方法及装置 | |
| Cerri et al. | Application of an automatic tool for the planning of a cellular network in a real town | |
| Hosseinianfar et al. | Probabilistic shadowing model for indoor optical wireless communication systems | |
| Zhou et al. | Positioning Improvement Algorithm Based on LoRa Wireless Networks | |
| Sandouno et al. | A novel approach for ray tracing optimization in wireless communication | |
| CN114339780B (zh) | 站点覆盖范围的预测方法及相关设备 | |
| Islam et al. | Efficient and accurate ray tracing method for indoor radio wave propagation prediction in presence of human body movement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |