CN116233857A - 通信方法和通信装置 - Google Patents

通信方法和通信装置 Download PDF

Info

Publication number
CN116233857A
CN116233857A CN202111462667.XA CN202111462667A CN116233857A CN 116233857 A CN116233857 A CN 116233857A CN 202111462667 A CN202111462667 A CN 202111462667A CN 116233857 A CN116233857 A CN 116233857A
Authority
CN
China
Prior art keywords
information
model
training
terminal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111462667.XA
Other languages
English (en)
Inventor
孙琰
柴晓萌
孙雅琪
邱宇珩
吴艺群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111462667.XA priority Critical patent/CN116233857A/zh
Priority to KR1020247021743A priority patent/KR20240117116A/ko
Priority to PCT/CN2022/136138 priority patent/WO2023098860A1/zh
Publication of CN116233857A publication Critical patent/CN116233857A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/02Arrangements for optimising operational condition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18Network planning tools
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/22Processing or transfer of terminal data, e.g. status or physical capabilities
    • H04W8/24Transfer of terminal data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本公开提供了一种通信方法和通信装置,该方法包括:通信装置接收第一信息,所述第一信息用于指示第一智能模型的训练策略;通信装置根据所述训练策略,对所述第一智能模型进行模型训练。能够在减小空口资源开销的情况下,得到满足通信性能需求的智能模型。

Description

通信方法和通信装置
技术领域
本公开涉及通信领域,并且更具体地,涉及一种通信方法和通信装置。
背景技术
在无线通信网络中,例如在移动通信网络中,网络支持的业务越来越多样,因此需要满足的需求越来越多样。例如,网络需要能够支持超高速率、超低时延和/或超大连接。该特点使得网络规划、网络配置和/或资源调度越来越复杂。此外,由于网络的功能越来越强大,例如支持的频谱越来越高、支持高阶多入多出(multiple input multiple output,MIMO)技术、支持波束赋形、和/或支持波束管理等新技术,使得网络节能成为了热门研究课题。这些新需求、新场景和新特性给网络规划、运维和高效运营带来了前所未有的挑战。为了迎接该挑战,可以将人工智能技术引入无线通信网络中,从而实现网络智能化。基于此,如何在网络中有效地实现人工智能是一个值得研究的问题。
发明内容
本公开提供了一种通信方法和通信装置,能够在减小空口资源开销的情况下,得到满足通信性能需求的智能模型。
第一方面,提供了一种通信方法,该方法可以由终端或配置于(或用于)终端的模块(如芯片)执行。
该方法包括:接收第一信息,该第一信息用于指示第一智能模型的训练策略;根据该训练策略,对该第一智能模型进行模型训练。
根据上述方案,网络可以通知终端智能模型的训练策略,由终端基于网络提供的训练策略执行智能模型的训练,减小了接入网节点向终端发送智能模型的模型参数(如每个神经元的权重值、激活函数和偏置等)带来的空口资源开销,能够在尽量不影响业务数据的传输效率的情况下,使得终端训练得到的模型能够与网络采用的模型相匹配,且满足应用于实际通信中的性能需求。
结合第一方面,在第一方面的某些实施方式中,该训练策略包括以下一项或多项:
模型训练方式、损失函数信息、模型初始化方式、模型优化算法的类型、或优化算法的参数。
可选地,上述模型训练方式可以是但不限于监督学习、无监督学习或强化学习中的一种训练方式。
可选地,上述损失函数信息可以指示训练第一智能模型采用的损失函数,该损失函数可以是但不限于交叉熵损失函数或平方损失函数。或者该损失函数还可以是一个机器学习智能模型。
可选地,上述模型初始化方式可以是第一智能模型的每个神经元的权值的初始化方式。一个示例中,第一信息可以指示该模型初始化方式为每个神经元的初始权重为预设范围内的随机值。可选地,该第一信息包括该预设范围的起始值和终止值。另一个示例中,第一信息可以指示神经元的初始权重均为0。又一个示例中,第一信息可以指示神经元的初始权重采用预设函数生成。又一个示例中,第一信息可以指示预定义多种初始化方式其中一种初始化方式的标识信息。
可选地,上述该模型优化算法可以是自适应动量估计(adaptive momentumestimation,ADAM)算法、随机梯度下降算法(stochastic gradient descent,SGD)或批量梯度下降算法(batch gradient descent,BGD)。
可选地,上述优化算法的参数可以包括但不限于以下一项或多项:
学习率、迭代次数、或批量处理的数据量。
结合第一方面,在第一方面的某些实施方式中,该方法还包括:获取第二信息,该第二信息用于指示第一智能模型的结构。
根据上述方案,由接入网节点通知终端第一智能模型的结构,终端基于接入网节点的指示生成具有该结构的初始第一智能模型,并基于指示的训练策略训练该第一智能模型,使得终端训练得到的第一智能模型能够与网络设备采用的模型相匹配,满足接入网节点的性能需求,从而能够使用第一智能模型提高无线通信的性能。
结合第一方面,在第一方面的某些实施方式中,该第二信息具体用于指示该第一智能模型的以下一种或多种结构信息:
网络层结构信息、输入数据的维度或输出数据的维度。
根据上述方案,接入网节点可以通过第二信息通知终端网络层结构信息(如神经网络层数、类型等)、输入数据的维度、输出数据的维度中的一项或多项,这些结构信息的信息量远小于神经网络中每个神经元的权重值、激活函数和偏置等的信息量,能够减小资源占用率的情况小,使得终端训练得到满足性能需求的第一智能模型。
结合第一方面,在第一方面的某些实施方式中,该网络层结构信息包括以下一项或多项:
该第一智能模型包含的神经网络层数、该神经网络层的类型、该神经网络层的使用方式、神经网络层之间的级联关系、该神经网络层的输入数据的维度或该神经网络层的输出数据的维度。
结合第一方面,在第一方面的某些实施方式中,该方法还包括:接收第三信息,该第三信息用于指示训练数据集合的信息,该训练数据集合用于训练该第一智能模型。
可选地,该训练数据集合可以包括训练样本,或者训练样本和标签。
可选地,训练数据集合的信息可以指示训练样本的类型,或者训练样本的类型和标签的类型。可选地,训练数据集合的信息可以指示第一智能模型的用途。可选地,该第三信息可以包括训练数据集合。
根据上述方案,接入网节点还可以通知终端其训练第一智能模型时使用的训练数据集合。使得终端训练得到的第一智能模型能够更接近接入网节点的需求,或者说更匹配接入网节点的智能模型。
结合第一方面,在第一方面的某些实施方式中,该方法还包括:发送能力信息,该能力信息用于指示运行智能模型的能力。
根据上述方案,终端可以通过能力信息向接入网节点终端设备运行智能模型的能力,以便接入网节点可以基于终端的能力向终端指示满足终端能力需求的训练策略和/或模型结构。
结合第一方面,在第一方面的某些实施方式中,该能力信息具体用于指示以下一项或多项能力:是否支持运行智能模型、支持运行的智能模型的类型、数据处理能力或存储能力。
结合第一方面,在第一方面的某些实施方式中,该方法还包括:接收第四信息,该第四信息用于指示测试信息,该测试信息用于测试该第一智能模型的性能。
根据上述方案,接入网节点还可以向终端发送测试信息,使得终端能够基于测试信息对第一智能模型进行测试。
结合第一方面,在第一方面的某些实施方式中,该测试信息包括以下一项或多项:
测试数据信息、性能评估方式或性能评估参数。
结合第一方面,在第一方面的某些实施方式中,该方法还包括:发送第五信息,该第五信息用于指示该第一智能模型的测试结果。
根据上述方案,终端基于测试信息测试第一智能模型后,确定训练后的第一智能模型是否满足性能需求,并通过第五信息通知接入网节点测试结果。
结合第一方面,在第一方面的某些实施方式中,发送第六信息,该第六信息用于指示推理数据,该推理数据是该第一智能模型推理测试数据得到的,该测试信息包括该测试数据。
根据上述方案,终端可以推理测试数据得到推理数据,并通过第六信息将推理数据发送给接入网节点,使得接入网节点能够基于推理数据确定终端训练后的第一智能模型是否满足性能需求。
结合第一方面,在第一方面的某些实施方式中,该方法还包括:接收第七信息,该第七信息用于指示该第一智能模型的更新后的训练策略,和/或,用于指示该第一智能模型的更新后的结构。
根据上述方案,若接入网节点确定终端训练的第一智能模型不满足性能需求,则接入网节点通过第七信息通知终端更新后的训练策略和/或更新后的模型结构,终端可以基于第七信息再次训练第一智能模型。
结合第一方面,在第一方面的某些实施方式中,该第七信息具体用于指示该训练策略的至少一个变换量,和/或该第一智能模型的结构的至少一个变化量。
根据上述方案,第七信息具体可以指示训练策略的至少一个变化量和/或模型结构的至少一个变化量,能够减小信息开销。
第二方面,提供了一种通信方法,该方法可以由接入网节点或配置于(或用于)接入网节点的模块(如芯片)执行。
该方法包括:发送第一信息,该第一信息用于指示第一智能模型的训练策略。
关于该训练策略与第一方面中介绍的训练策略相同,为了简要,在此不再赘述。
结合第二方面,在第二方面的某些实施方式中,该方法还包括:发送第二信息,该第二信息用于指示第一智能模型的结构。
关于第二信息具体指示的结构信息与第一方面中介绍的相同,为了简要,在此不再赘述。
结合第二方面,在第二方面的某些实施方式中,该方法还包括:发送第三信息,该第三信息用于指示用于训练数据集合的信息,该训练数据集合用于训练该第一智能模型。
结合第二方面,在第二方面的某些实施方式中,该方法还包括:接收能力信息,该能力信息用于指示运行智能模型的能力。
根据该方法,可以根据该能力信息,确定该训练策略和/或该第一智能模型的结构。
关于能力信息具体指示的能力与第一方面中介绍的相同,为了简要,在此不再赘述。
结合第二方面,在第二方面的某些实施方式中,该根据该能力信息,确定该训练策略和/或该第一智能模型的结构,包括:根据该能力信息,确定该第一智能模型的结构;和/或,根据该训练策略训练该第一智能模型。
结合第二方面,在第二方面的某些实施方式中,该方法还包括:
发送第四信息,该第四信息用于指示测试该第一智能模型性能的测试信息。
关于测试信息包含的内容与第一方面中介绍的相同,为了简要,在此不再赘述。
结合第二方面,在第二方面的某些实施方式中,该方法还包括:
接收第五信息,该第五信息用于指示该第一智能模型的测试结果;和/或,
接收第六信息,该第六信息用于指示推理数据,该推理数据是该第一智能模型推理测试数据得到的,该测试信息包括该测试数据。
结合第二方面,在第二方面的某些实施方式中,该第七信息具体用于指示该训练策略的至少一个参数变换量,和/或该第一智能模型的结构的至少一个参数变化量。
第三方面,提供了一种通信方法,该方法可以由终端或配置于(或用于)终端的模块(如芯片)执行,以下以该方法由终端执行为例进行说明。
该方法包括:接收第二信息,该第二信息用于指示第一智能模型的结构,该第二信息包括该第一智能模型的网络层结构信息、输入数据的维度或输出数据的维度中的一种或多种结构信息;根据该第二信息,确定该第一智能模型的结构;对该第一智能模型进行模型训练。
关于该网络层结构信息与第一方面中介绍的相同,为了简要,在此不再赘述。
结合第三方面,在第三方面的某些实施方式中,该方法还包括:获取第一信息,该第一信息用于指示第一智能模型的训练策略;以及,该对该第一智能模型进行模型训练,包括:根据该训练策略,对该第一智能模型进行模型训练。
关于该训练策略与第一方面中介绍的相同,为了简要,在此不再赘述。
结合第三方面,在第三方面的某些实施方式中,该方法还包括:接收第三信息,该第三信息用于指示训练数据集合的信息,该训练数据集合用于训练该第一智能模型。
结合第三方面,在第三方面的某些实施方式中,该方法还包括:发送能力信息,该能力信息用于指示运行智能模型的能力。
关于该能力信息与第一方面中介绍的相同,为了简要,在此不再赘述。
结合第三方面,在第三方面的某些实施方式中,该方法还包括:接收第四信息,该第四信息用于指示测试信息,该测试信息用于测试该第一智能模型的性能。
关于该测试信息与第一方面中介绍的相同,为了简要,在此不再赘述。
结合第三方面,在第三方面的某些实施方式中,该方法还包括:发送第五信息,该第五信息用于指示该第一智能模型的测试结果;和/或,发送第六信息,该第六信息用于指示推理数据,该推理数据是该第一智能模型推理测试数据得到的,该测试信息包括该测试数据。
结合第三方面,在第三方面的某些实施方式中,该方法还包括:接收第七信息,该第七信息用于指示该第一智能模型的更新后的训练策略,和/或,用于指示该第一智能模型的更新后的结构。
结合第三方面,在第三方面的某些实施方式中,该第七信息具体用于指示该训练策略的至少一个变换量,和/或该第一智能模型的结构的至少一个变化量。
第四方面,提供了一种通信方法,该方法可以由接入网节点或配置于(或用于)接入网节点的模块(如芯片)执行。
该方法包括:发送第二信息,该第二信息用于指示第一智能模型的结构,该第二信息包括该第一智能模型的网络层结构信息、输入数据的维度或输出数据的维度中的一种或多种结构信息。
关于该网络层结构信息与第一方面中介绍的相同,为了简要,在此不再赘述。
结合第四方面,在第四方面的某些实施方式中,该方法还包括:发送第一信息,该第一信息用于指示第一智能模型的训练策略;
关于该训练策略与第一方面中介绍的相同,为了简要,在此不再赘述。
结合第四方面,在第四方面的某些实施方式中,该方法还包括:发送第三信息,该第三信息用于指示训练数据集合的信息,该训练数据集合用于训练该第一智能模型。
结合第四方面,在第四方面的某些实施方式中,该方法还包括:接收能力信息,该能力信息用于指示运行智能模型的能力。
关于该能力信息与第一方面中介绍的相同,为了简要,在此不再赘述。
结合第四方面,在第四方面的某些实施方式中,该方法还包括:发送第四信息,该第四信息用于指示测试信息,该测试信息用于测试该第一智能模型的性能。
关于该测试信息与第一方面中介绍的相同,为了简要,在此不再赘述。
结合第四方面,在第四方面的某些实施方式中,该方法还包括:接收第五信息,该第五信息用于指示该第一智能模型的测试结果;和/或,接收第六信息,该第六信息用于指示推理数据,该推理数据是该第一智能模型推理测试数据得到的,该测试信息包括该测试数据。
结合第四方面,在第四方面的某些实施方式中,该方法还包括:发送第七信息,该第七信息用于指示该第一智能模型的更新后的训练策略,和/或,用于指示该第一智能模型的更新后的结构。
结合第四方面,在第四方面的某些实施方式中,该第七信息具体用于指示该训练策略的至少一个变换量,和/或该第一智能模型的结构的至少一个变化量。
第五方面,提供了一种通信装置,一种设计中,该装置可以包括执行第一方面中所描述的方法/操作/步骤/动作所一一对应的模块,该模块可以是硬件电路,也可是软件,也可以是硬件电路结合软件实现。一种设计中,该装置包括:收发单元,用于接收第一信息,该第一信息用于指示第一智能模型的训练策略;处理单元,用于根据该训练策略,对该第一智能模型进行模型训练。
第六方面,提供了一种通信装置,一种设计中,该装置可以包括执行第二方面中所描述的方法/操作/步骤/动作所一一对应的模块,该模块可以是硬件电路,也可是软件,也可以是硬件电路结合软件实现。一种设计中,该装置包括:处理单元,用于确定该第一智能模型的训练策略;收发单元,用于发送第一信息,该第一信息用于指示第一智能模型的训练策略。
第七方面,提供了一种通信装置,一种设计中,该装置可以包括执行第三方面中所描述的方法/操作/步骤/动作所一一对应的模块,该模块可以是硬件电路,也可是软件,也可以是硬件电路结合软件实现。一种设计中,该装置包括:收发单元,用于接收第二信息,该第二信息用于指示第一智能模型的结构,该第二信息包括该第一智能模型的网络层结构信息、输入数据的维度或输出数据的维度中的一种或多种结构信息;处理单元,用于根据该第二信息,确定该第一智能模型的结构;以及该处理单元还用于对该第一智能模型进行模型训练。
第八方面,提供了一种通信装置,一种设计中,该装置可以包括执行第四方面中所描述的方法/操作/步骤/动作所一一对应的模块,该模块可以是硬件电路,也可是软件,也可以是硬件电路结合软件实现。一种设计中,该装置包括:处理单元,用于确定第一智能模型的结构;收发单元,用于发送第二信息,该第二信息用于指示第一智能模型的结构,该第二信息包括该第一智能模型的网络层结构信息、输入数据的维度或输出数据的维度中的一种或多种结构信息。
第九方面,提供了一种通信装置,包括处理器。该处理器可以实现上述第一方面或第三方面以及第一方面或第三方面中任一种可能实现方式中的方法。可选地,该通信装置还包括存储器,该处理器与该存储器耦合,可用于执行存储器中的指令,以实现上述第一方面或第三方面以及第一方面或第三方面中任一种可能实现方式中的方法。可选地,该通信装置还包括通信接口,处理器与通信接口耦合。本公开中,通信接口可以是收发器、管脚、电路、总线、模块或其它类型的通信接口,不予限制。
在一种实现方式中,该通信装置为终端。当该通信装置为终端时,该通信接口可以是收发器,或,输入/输出接口。
在另一种实现方式中,该通信装置为配置于终端中的芯片。当该通信装置为配置于终端中的芯片时,该通信接口可以是输入/输出接口。
可选地,该收发器可以为收发电路。可选地,该输入/输出接口可以为输入/输出电路。
第十方面,提供了一种通信装置,包括处理器。该处理器可以实现上述第二方面或第四方面以及第二方面或第四方面中任一种可能实现方式中的方法。可选地,该通信装置还包括存储器,该处理器与该存储器耦合,可用于执行存储器中的指令,以实现上述第二方面或第四方面以及第二方面或第四方面中任一种可能实现方式中的方法。可选地,该通信装置还包括通信接口,处理器与通信接口耦合。
在一种实现方式中,该通信装置为接入网节点。当该通信装置为接入网节点时,该通信接口可以是收发器,或,输入/输出接口。
在另一种实现方式中,该通信装置为配置于接入网节点中的芯片。当该通信装置为配置于第一接入网节点中的芯片时,该通信接口可以是输入/输出接口。
可选地,该收发器可以为收发电路。可选地,该输入/输出接口可以为输入/输出电路。
第十一方面,提供了一种处理器,包括:输入电路、输出电路和处理电路。该处理电路用于通过该输入电路接收信号,并通过该输出电路发射信号,使得该处理器执行第一方面至第四方面以及第一方面至第四方面中任一种可能实现方式中的方法。
在具体实现过程中,上述处理器可以为一个或多个芯片,输入电路可以为输入管脚,输出电路可以为输出管脚,处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所接收的输入的信号可以是由例如但不限于接收器接收并输入的,输出电路所输出的信号可以是例如但不限于输出给发射器并由发射器发射的,且输入电路和输出电路可以是同一电路,该电路在不同的时刻分别用作输入电路和输出电路。本公开对处理器及各种电路的具体实现方式不做限定。
第十二方面,提供了一种计算机程序产品,该计算机程序产品包括:计算机程序(也可以称为代码,或指令),当该计算机程序被运行时,使得计算机执行上述第一方面至第四方面以及第一方面至第四方面中任一种可能实现方式中的方法。
第十三方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序(也可以称为代码,或指令)当其在计算机上运行时,使得计算机执行上述第一方面至第四方面以及第一方面至第四方面中任一种可能实现方式中的方法。
第十四方面,提供了一种通信系统,包括前述的至少一个用于实现终端的方法的装置和至少一个用于实现接入网节点的方法的装置。
附图说明
图1是本公开提供的通信系统的一个示意图;
图2A是本公开提供的AI在通信系统中的应用框架的一个示例图;
图2B至图2E是本公开提供的网络架构的示意图;
图2F是本公开提供的神经网络的层关系的一个示意图;
图3是本公开提供的智能模型的训练过程的一个示意图;
图4是本公开提供的通信方法的一个示意性流程图;
图5A是本公开提供的不采用dropout方式时神经元的输入输出关系的示意图;
图5B是本公开提供的采用dropout方式时神经元的输入输出关系的示意图;
图5C是本公开提供的通信方法的另一个示意性流程图;
图6是本公开提供的通信方法的另一个示意性流程图;
图7是本公开提供的通信装置的一例的示意性框图;
图8是本公开提供的终端设备的一例的示意性结构图;
图9是本公开提供的网络设备的一例的示意性结构图。
具体实施方式
本公开中,至少一个(项)还可以描述为一个(项)或多个(项),多个(项)可以是两个(项)、三个(项)、四个(项)或者更多个(项),不予限制。“/”可以表示前后关联的对象是一种“或”的关系,例如,A/B可以表示A或B;“和/或”可以用于描述关联对象存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。为了便于描述本公开的技术方案,可以采用“第一”、“第二”、“A”、或“B”等字样对功能相同或相似的技术特征进行区分。该“第一”、“第二”、“A”、或“B”等字样并不对数量和执行次序进行限定。并且,“第一”、“第二”、“A”、或“B”等字样也并不限定一定不同。“示例性的”或者“例如”等词用于表示例子、例证或说明,被描述为“示例性的”或者“例如”的任何设计方案不应被解释为比其它设计方案更优选或更具优势。使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念,便于理解。
图1是本公开能够应用的通信系统1000的架构示意图。如图1所示,该通信系统包括无线接入网(radio access network,RAN)100和核心网(core network,CN)200。可选的,通信系统1000还可以包括互联网300。其中,无线接入网100可以包括至少一个接入网节点(如图1中的110a和110b),还可以包括至少一个终端(如图1中的120a-120j)。终端通过无线通信的方式与接入网节点相连。接入网节点通过无线通信或有线通信的方式与核心网连接。核心网设备与接入网节点可以是独立的不同的物理设备;或者可以是集成了核心网设备的功能与接入网节点的功能的同一个物理设备;或者可以是其他可能的情况,例如一个物理设备上可以集成接入网节点的功能和部分核心网设备的功能,另一个物理设备实现核心网设备的其余部分功能。本公开不限制核心网设备和接入网节点的物理存在形式。终端和终端之间可以通过有线或无线的方式相互连接。接入网节点和接入网节点之间可以通过有线或无线的方式相互连接。图1只是示意图,该通信系统中还可以包括其它网络设备,如还可以包括无线中继设备和无线回传设备等。
接入网节点可以是接入网设备,如基站(base station)、节点B(Node B)、演进型节点B(evolved NodeB,eNodeB或eNB)、发送接收点(transmission reception point,TRP)、第五代(5th generation,5G)移动通信系统中的下一代节点B(next generationNodeB,gNB)、开放无线接入网(open radio access network,O-RAN或open RAN)中的接入网节点、第六代(6th generation,6G)移动通信系统中的下一代基站、未来移动通信系统中的基站或无线保真(wireless fidelity,WiFi)系统中的接入节点等。或者,接入网节点可以是完成基站部分功能的模块或单元,例如,可以是集中式单元(central unit,CU)、分布式单元(distributed unit,DU)、集中单元控制面(CU control plane,CU-CP)模块、或集中单元用户面(CU user plane,CU-UP)模块。接入网节点可以是宏基站(如图1中的110a),也可以是微基站或室内站(如图1中的110b),还可以是中继节点或施主节点等。本公开中对接入网节点所采用的具体技术和具体设备形态不做限定。其中,5G系统还可以被称为新无线(new radio,NR)系统。
在本公开中,用于实现接入网节点的功能的装置可以是接入网节点;也可以是能够支持接入网节点实现该功能的装置,例如芯片系统、硬件电路、软件模块、或硬件电路加软件模块,该装置可以被安装在接入网节点中或可以与接入网节点匹配使用。在本公开中,芯片系统可以由芯片构成,也可以包括芯片和其他分立器件。为了便于描述,下文以用于实现接入网节点的功能的装置是接入网节点,并可选的以接入网节点是基站为例,描述本公开提供的技术方案。
终端也可以称为终端设备、用户设备(user equipment,UE)、移动台、移动终端等。终端可以广泛应用于各种场景进行通信。该场景例如包括但不限于以下至少一个场景:增强移动宽带(enhanced mobile broadband,eMBB)、超高可靠性超低时延通信(ultra-reliable low-latency communication,URLLC)、大规机器类型通信(massive machine-type communications,mMTC)、设备到设备(device-to-device,D2D)、车物(vehicle toeverything,V2X)、机器类型通信(machine-type communication,MTC)、物联网(internetof things,IOT)、虚拟现实、增强现实、工业控制、自动驾驶、远程医疗、智能电网、智能家具、智能办公、智能穿戴、智能交通、或智慧城市等。终端可以是手机、平板电脑、带无线收发功能的电脑、可穿戴设备、车辆、无人机、直升机、飞机、轮船、机器人、机械臂、或智能家居设备等。本公开对终端所采用的具体技术和具体设备形态不做限定。
在本公开中,用于实现终端的功能的装置可以是终端;也可以是能够支持终端实现该功能的装置,例如芯片系统、硬件电路、软件模块、或硬件电路加软件模块,该装置可以被安装在终端中或可以与终端匹配使用。为了便于描述,下文以用于实现终端的功能的装置是终端为例,并可选的以终端是UE为例,描述本公开提供的技术方案。
基站和/或终端可以是固定位置的,也可以是可移动的。基站和/或终端可以部署在陆地上,包括室内或室外、手持或车载;或者可以部署在水面上;或者可以部署在空中的飞机、气球和人造卫星上。本公开对基站和终端所处的环境/场景不做限定。基站和终端可以部署在相同的或不同的环境/场景,例如,基站和终端同时部署在陆地上;或者,基站部署在陆地上,终端部署在水面上等,不再一一举例。
基站和终端的角色可以是相对的。例如,图1中的直升机或无人机120i可以被配置成移动基站,对于那些通过120i接入到无线接入网100的终端120j来说,终端120i是基站;但对于基站110a来说,120i可以是终端,即110a与120i之间可以是通过无线空口协议进行通信的。或者,110a与120i之间是通过基站与基站之间的接口协议进行通信的,此时,相对于110a来说,120i也是基站。因此,基站和终端都可以统一称为通信装置(或通信设备),图1中的110a和110b可以称为具有基站功能的通信装置,图1中的120a-120j可以称为具有终端功能的通信装置。
可选的,接入网节点和终端之间的协议层结构可以包括人工智能(artificialintelligence,AI)层,用于传输AI功能相关的数据。
在本公开中,可以在前述图1所示的通信系统中引入独立的网元(如称为AI实体、AI网元、AI节点、或AI设备等)来实现AI相关的操作。AI网元可以和基站直接连接,或者可以通过第三方网元和基站实现间接连接。可选的,第三方网元可以是接入和移动性管理功能移动管理功能(access and mobility management function,AMF)网元或用户面功能(user plane function,UPF)网元等核心网网元。或者,可以在通信系统中的网元内配置AI实体(或者,可以称为AI模块或其他名称)来实现AI相关的操作。可选的,该配置有AI实体的网元可以是基站、核心网设备、或网管(operation,administration and maintenance,OAM)等。其中,OAM用于操作、管理和/或维护核心网设备(核心网设备的网管),和/或,用于操作、管理和/或维护接入网节点(接入网节点的网管)。
可选的,为了匹配支持AI,终端或终端芯片中可以集成AI实体。
可选的,本公开中,AI实体还可以称为其他名称,如AI模块或AI单元等,主要用于实现AI功能(或称为AI相关的操作),本公开不限制其具体名称。
本公开中,AI模型是实现AI功能的具体方法。AI模型表征了模型的输入和输出之间的映射关系。AI模型可以是神经网络、线性回归模型、决策树模型、聚类SVD模型或者其他机器学习模型。其中,AI模型可以简称为智能模型、模型或其他名称,不予限制。AI相关的操作可以包括以下至少一项:数据收集、模型训练、模型信息发布、模型测试(或称为模型校验)、模型推断(或称为模型推理、推理、或预测等)、或推理结果发布等。
如图2A所示为AI在通信系统中的第一种应用框架的示例图。在图2A中,数据源(data source)用于存储训练数据和推理数据。模型训练节点(model trainning host)通过对数据源提供的训练数据(training data)进行分析或训练,得到AI模型,且将AI模型部署在模型推理节点(model inference host)中。其中,AI模型表征了模型的输入和输出之间的映射关系。通过模型训练节点学习得到AI模型,相当于由模型训练节点利用训练数据学习得到模型的输入和输出之间的映射关系。模型推理节点使用AI模型,基于数据源提供的推理数据进行推理,得到推理结果。该方法还可以描述为:模型推理节点将推理数据输入到AI模型,通过AI模型得到输出,该输出即为推理结果。该推理结果可以指示:由执行对象使用(执行)的配置参数、和/或由执行对象执行的操作。推理结果可以由执行(actor)实体统一规划,并发送给一个或多个执行对象(例如,网元)去执行。可选的,模型推理节点可以将其推理结果反馈给模型训练节点,该过程可以称为模型反馈,所反馈的参数用于模型训练节点更新AI模型,并将更新后的AI模型部署在模型推理节点中。可选的,执行对象可以将其收集到的网络参数反馈给数据源,该过程可以称为表现反馈,所反馈的参数可以作为训练数据或推理数据。
在本公开中,图2A所示的应用框架可以部署在图1中所示的网元。例如,图2A的应用框架可以部署在图1的终端设备、接入网设备、核心网设备、或独立部署的AI网元(未示出)中的至少一项。例如,AI网元(可看做模型训练节点)可对终端设备和/或接入网设备提供的训练数据(training data)进行分析或训练,得到一个模型。终端设备、接入网设备、或核心网设备中的至少一项(可看做模型推理节点)可以使用该模型和推理数据进行推理,得到模型的输出。其中,推理数据可以是由终端设备和/或接入网设备提供的。该模型的输入包括推理数据,该模型的输出即为该模型所对应的推理结果。终端设备、接入网设备、或核心网设备中的至少一项(可看做执行对象)可以根据推理数据和/或推理结果进行相应的操作。其中,模型推理节点和执行对象可以相同,也可以不同,不予限制。
下面结合图2B~2E对本公开提供的通信方案能够应用的网络架构进行介绍。
如图2B所示,第一种可能的实现中,接入网设备中包括近实时接入网智能控制(RAN intelligent controller,RIC)模块,用于进行模型学习和推理。例如,近实时RIC可以用于训练AI模型,利用该AI模型进行推理。例如,近实时RIC可以从CU、DU或RU中的至少一项获得网络侧和/或终端侧的信息,该信息可以作为训练数据或者推理数据。可选的,近实时RIC可以将推理结果递交至CU、DU或RU中的至少一项。可选的,CU和DU之间可以交互推理结果。可选的,DU和RU之间可以交互推理结果,例如近实时RIC将推理结果递交至DU,由DU转发给RU。
如图2B所示,第二种可能的实现中,接入网之外包括非实时RIC(可选的,非实时RIC可以位于OAM中或者核心网设备中),用于进行模型学习和推理。例如,非实时RIC用于训练AI模型,利用该模型进行推理。例如,非实时RIC可以从CU、DU或RU中的至少一项获得网络侧和/或终端侧的信息,该信息可以作为训练数据或者推理数据,该推理结果可以被递交至CU、DU或RU中的至少一项。可选的,CU和DU之间可以交互推理结果。可选的,DU和RU之间可以交互推理结果,例如非实时RIC将推理结果递交至DU,由DU转发给RU。
如图2B所示,第三种可能的实现中,接入网设备中包括近实时RIC,接入网设备之外包括非实时RIC(可选的,非实时RIC可以位于OAM中或者核心网设备中)。同上述第二种可能的实现,非实时RIC可以用于进行模型学习和推理;和/或,同上述第一种可能的实现,近实时RIC可以用于进行模型学习和推理;和/或,近实时RIC可以从非实时RIC获得AI模型信息,并从CU、DU或RU中的至少一项获得网络侧和/或终端侧的信息,利用该信息和该AI模型信息得到推理结果,可选的,近实时RIC可以将推理结果递交至CU、DU或RU中的至少一项,可选的,CU和DU之间可以交互推理结果,可选的,DU和RU之间可以交互推理结果,例如近实时RIC将推理结果递交至DU,由DU转发给RU。例如,近实时RIC用于训练模型A,利用模型A进行推理。例如,非实时RIC用于训练模型B,利用模型B进行推理。例如,非实时RIC用于训练模型C,将模型C递交给近实时RIC,近实时RIC利用模型C进行推理。
图2C所示为本公开提供的方法能够应用的一种网络架构的示例图。相对图2B,图2B中将CU分离为了CU-CP和CU-UP。
图2D所示为本公开提供的方法能够应用的一种网络架构的示例图。如图2D所示,可选的,接入网设备中包括一个或多个AI实体,该AI实体的功能类似上述近实时RIC。可选的,OAM中包括一个或多个AI实体,该AI实体的功能类似上述非实时RIC。可选的,核心网设备中包括一个或多个AI实体,该AI实体的功能类似上述非实时RIC。当OAM和核心网设备中都包括AI实体时,他们各自的AI实体所训练得到的模型不同,和/或用于进行推理的模型不同。
本公开中,模型不同包括以下至少一项不同:模型的结构参数(例如模型的层数、模型的宽度、层间的连接关系、神经元的权值、神经元的激活函数、或激活函数中的偏置中的至少一项)、模型的输入参数(例如输入参数的类型和/或输入参数的维度)、或模型的输出参数(例如输出参数的类型和/或输出参数的维度)。
图2E所示为本公开提供的方法能够应用的一种网络架构的示例图。相对图2D,图2E中的接入网设备分离为CU和DU。可选的,CU中可以包括AI实体,该AI实体的功能类似上述近实时RIC。可选的,DU中可以包括AI实体,该AI实体的功能类似上述近实时RIC。当CU和DU中都包括AI实体时,他们各自的AI实体所训练得到的模型不同,和/或,用于进行推理的模型不同。可选的,还可以进一步将图2E中的CU拆分为CU-CP和CU-UP。可选的,CU-CP中可以部署有一个或多个AI模型。可选的,CU-UP中可以部署有一个或多个AI模型。
可选的,如前文所述,图2D或图2E中,接入网设备的OAM和核心网设备的OAM可以分开独立部署。图2D或图2E中,核心网设备可以包括一个或多个模块,例如包括
本公开中,一个模型可以推理得到一个参数,或者推理得到多个参数。不同模型的学习过程可以部署在不同的设备或节点中,也可以部署在相同的设备或节点中。不同模型的推理过程可以部署在不同的设备或节点中,也可以部署在相同的设备或节点中。
本公开描述的网络架构以及业务场景是为了更加清楚的说明本公开的技术方案,并不构成对于本公开提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本公开提供的技术方案对于类似的技术问题,同样适用。
在描述本公开的方法之前,先简单介绍一些关于人工智能的相关知识。人工智能,可以让机器具有人类的智能,例如可以让机器应用计算机的软硬件来模拟人类某些智能行为。为了实现人工智能,可以采取机器学习方法或其他方法,不予限制。
神经网络(neural network,NN)是机器学习的一种具体实现方式。根据通用近似定理,神经网络理论上可以逼近任意连续函数,从而使得神经网络具备学习任意映射的能力。因此神经网络可以对复杂的高维度问题进行准确地抽象建模。也就是说,智能模型可以通过神经网络实现。
神经网络的思想来源于大脑组织的神经元结构。每个神经元都对其输入值做加权求和运算,将加权求和结果通过一个激活函数产生输出。假设神经元的输入为x=[x0,...,xn],与输入对应的权重值(或称为权值)为w=[w0,...,wn],加权求和的偏置为b。激活函数的形式可以多样化。假设一个神经元的激活函数为:y=f(z)=max(0,z),则该神经元的输出为:
Figure BDA0003389222220000121
再例如一个神经元的激活函数为:y=f(z)=z,则该神经元的输出为:/>
Figure BDA0003389222220000122
神经元的输入x中的元素xi、权重值w的元素wi、或偏置b可以为小数、整数(包括0、正整数或负整数等)、或复数等各种可能的取值。神经网络中不同神经元的激活函数可以相同或不同。
神经网络一般包括多层结构,每层可包括一个或多个神经元。增加神经网络的深度和/或宽度可以提高该神经网络的表达能力,为复杂系统提供更强大的信息提取和抽象建模能力。其中,神经网络的深度指神经网络包括的层数,每层包括的神经元个数可以称为该层的宽度。如图2F所示,为神经网络的层关系示意图。
一种实现中,神经网络包括输入层和输出层。神经网络的输入层将接收到的输入经过神经元处理后,将结果传递给输出层,由输出层得到神经网络的输出结果。
另一种实现中,神经网络包括输入层、隐藏层和输出层。神经网络的输入层将接收到的输入经过神经元处理后,将结果传递给中间的隐藏层,隐藏层再将计算结果传递给输出层或者相邻的隐藏层,最后由输出层得到神经网络的输出结果。一个神经网络可以包括一层或多层依次连接的隐藏层,不予限制。
AI模型的训练过程中,可以定义损失函数。损失函数描述了AI模型的输出值和理想目标值之间的差距或差异,本公开不限制损失函数的具体形式。AI模型的训练过程就是通过调整AI模型的部分或全部参数使得损失函数的值小于门限值或者满足目标需求的过程。如AI模型为神经网络,训练过程中可以调整以下一项或多项参数:神经网络的层数、神经网络的宽度、层间的连接关系、神经元的权重值、神经元的激活函数、或激活函数中的偏置,使得神经网络的输出与理想目标值之间的差异尽可能小。
图3为智能模型的训练过程的一个示例图。图3所示以智能模型为一个神经网络模型为例,且以该神经网络fθ(·)可以包括4层卷积层网络,4层全连接层网络为例进行介绍。AI实体可以从基础数据集(如信道数据的集合)中得到训练数据,训练数据可以包括训练样本和标签,样本x作为输入经过神经网络fθ(·)处理后输出推理结果fθ(x),损失函数计算得到推理结果与标签之间的误差,AI实体可以基于损失函数得到的误差,采用反向传播优化算法(可以称为模型优化算法),优化网络参数θ。通过大量训练数据对神经网络进行训练,使得神经网络的输出与标签之间的差异小于预设值后完成神经网络的训练。
需要说明的是,图3所示的训练过程采用了监督学习的训练方式,即基于样本与标签,利用损失函数实现模型的训练。智能模型的训练过程也可以采用无监督学习,利用算法学习样本的内在模式,实现基于样本完成智能模型的训练。智能模型的训练过程还可以采用强化学习,通过与环境进行交互获取环境反馈的激励信号,从而学习解决问题的策略,实现模型的优化。本公开对于模型的训练方法和模型的类型不予限制。
训练之后的AI模型可以执行推理任务。实际数据输入AI模型进行处理后,得到对应的推理结果。可选地,一个AI模型可以推理得到一个参数,或者推理得到多个参数。
人工智能应用在无线通信系统中能够显著提升通信系统的性能。在大部分场景中,网络侧与终端需要使用相匹配的人工智能模型来提升无线通信性能。例如,终端可以采用压缩编码器模型对上行信息进行压缩编码后发送给网络侧,网络侧采用相匹配的解码器模型解码得到终端发送的上行信息。人工智能应用在无线通信领域中往往涉及较复杂的非线性函数拟合。智能模型的规模往往较大,例如模型层数较多、模型参数个数较多。例如,实现CSI反馈压缩的编码器模型的卷积神经网络(convolutional neural network,CNN)可能包括15层的神经网络层。
为了满足性能需求,终端使用的智能模型通常由网络指定。网络侧可以从预定义的多个模型中选择一个模型,并通知终端该模型的标识,使得终端设备能够基于标识确定采用的模型。然而终端种类多样且信道环境复杂多变,预定义的模型数量有限,无法保证在各种环境下均能得到良好的通信性能。为了保证通信性能,网络侧也可以将智能模型下发给终端,但智能模型的参数量庞大,需要占用大量空口资源,将影响业务数据的传输效率。若终端从网络下载该模型,需要下载该模型的结构参数、每个神经元的权重值、激活函数、和偏置等,总参数量高达数十万浮点数。此时,空口资源开销巨大、使得业务数据的空口资源减少,降低了业务数据的传输效率。针对该问题,本公开提出网络可以通知终端智能模型的训练策略,由终端基于网络提供的训练策略执行智能模型的训练,使得终端训练得到的模型能够与网络采用的模型相匹配,达到预期的性能需求。
下面将结合附图,对本公开提供的通信方法进行说明。需要说明的是,本文以终端和接入网节点之间的交互为例,但本申请不限于此,本公开提供的通信方法可以用于任意两个节点之间,由一个节点从另一个节点获取智能模型的训练策略和/或模型结构,并基于训练策略和/或模型结构执行模型训练。本公开中,如前文所述,可以由接入网节点的一个或多个模块(如RU、DU、CU、CU-CP、CU-UP或近实时RIC)实现接入网节点的相应方法或操作。
图4是本公开提供的通信方法400的一个示意性流程图。
S401,接入网节点向终端发送第一信息,该第一信息用于指示第一智能模型的训练策略。
相应地,终端接收来自该接入网节点的该第一信息。终端根据该第一信息,确定第一智能模型的训练策略。
本公开中,作为示例非限定,该训练策略包括以下一项或多项:
模型训练方式、损失函数信息、模型初始化方式、模型优化算法的类型、或优化算法的参数。
下面对上述各项训练策略分别进行介绍。
(1)模型训练方式
该第一信息可以指示终端训练第一智能模型的训练方式,终端可以采用第一信息指示的模型训练方式训练第一智能模型。以使训练得到的第一智能模型能够匹配网络侧的智能模型。达到提升无线通信性能的效果。
例如,第一信息可以指示终端采用监督学习、无监督学习或强化学习中的一种方式训练第一智能模型。但本公开不限于此。
(2)损失函数信息
该第一信息可以包括损失函数信息。终端接收到第一信息后可以基于该损失函数信息得到用于训练第一智能模型的损失函数。
接入网节点可以通过损失函数信息通知终端采用的损失函数。该损失函数信息可以直接指示该损失函数,或者该损失函数信息可以指示预定义的多个损失函数中的一个损失函数的标识信息。
一个示例中,终端可以采用监督学习的方式训练该第一智能模型,例如,可以是预定义采用该监督学习的训练方式,或者接入网节点通过第一信息指示模型训练方式为监督学习的训练方式。例如,监督学习的模型训练方式的训练目标是使损失函数的值达到最小值,具体实施中,可以在训练得到该损失函数的值小于或等于第一阈值的情况下完成模型训练。可选地,该第一阈值可以是预定义的或该损失函数信息指示的。
例如,该损失函数可以是如下交叉熵损失函数:
∑-[yn×log(fθ(xn))+(1-yn)×log(1-fθ(xn))]
其中,log(A)表示计算A的对数,∑nBn表示基于n的取值范围对Bn求和。
或者,该损失函数可以是如下平方损失函数:
n(yn-yθ(xn))2
其中,xn为样本,yn为第n个样本的标签,fθ(xn)为模型针对输入数据xn的输出结果。
另一个示例中,终端可以采用无监督学习的方式训练该第一智能模型,对于无监督学习,损失函数可以是用于评价模型性能的一个函数。例如,无监督学习的模型训练方式的训练目标是使损失函数的值达到最大值,具体实施中,可以在训练得到该损失函数的值大于或等于第二阈值的情况下完成模型训练。可选地,该第二阈值可以是预定义的或该损失函数信息指示的。
例如,第一智能模型用于基于信道响应推理发射功率,则第一智能模型的输入为信道响应hn,第一智能模型的推理结果为发射功率Pn,则损失函数可以是计算数据吞吐量的函数,如损失函数可以如下:
Figure BDA0003389222220000141
其中,log(A)表示计算A的对数,N0为噪声功率。
损失函数可以是上述数学表达式,可选地,损失函数也可以是一个机器学习智能模型。损失函数模型的复杂度、参数量远小于第一智能模型的复杂度、参数量,该损失函数信息可以包括损失函数的结构信息和/或参数信息,使得终端接收到该第一信息后可以得到损失函数模型,基于该损失函数进行第一智能模型的训练,能够提高终端的模型训练的效果。
例如,采用无监督学习的训练方式时,该损失函数可以是系统吞吐量、信号误比特率、信干噪比等非线性的性能度量模型。
(3)模型初始化方式
该第一信息可以指示模型初始化方式,终端可以基于第一信息指示的模型初始化方式初始化第一智能模型。
一个示例中,第一智能模型可以是神经网络模型,第一信息可以指示第一智能模型中神经元权重的初始化方式。如接入网节点可以指示终端每个神经元的权重随机取值、或神经元的权重值均为0,或神经元的权重值采用预设函数生成等方式。
例如,接入网节点可以通过第一信息指示终端在[zmin,zmax]区间内随机取值作为神经元的权重,如该第一信息可以指示zmin和zmax。终端接收到该第一信息后,在[zmin,zmax]区间内为每个神经元选择一个值,作为该神经元的权重初始值。
再例如,第一信息指示预定义多种初始化方式其中一种初始化方式的标识信息,如通过第一信息包括2比特指示域,用于指示神经元权重的初始化方式,该2比特指示“00”表示神经元的权重初始值采用随机取值的方式,可选地,终端可以在预设取值区间内为每个神经元选择一个权重值,或者该第一信息指示该方式时第一信息还包括取值区间的端点值,终端在第一信息指示的取值区间内为神经元的权重值;该2比特指示“01”表示神经元的初始值均设置为0;该2比特指示“10”表示采用预设函数,生成初始值序列,序列中的每个值作为一个神经元的初始值。
(4)模型优化算法的类型
如图3示例中,在模型训练中,训练装置可以基于损失函数的输出值采用模型优化算法得到智能模型的优化参数,基于该优化参数更新智能模型后,采用该更新参数后的智能模型进行下一次模型训练。接入网节点可以通过第一信息通知终端第一智能模型的优化算法。
例如,第一信息可以指示在预定义的多种类型的模型优化算法中指示一种类型的优化算法,终端可以在训练第一智能模型时,采用第一信息指示的模型优化算法进行模型优化。作为示例非限定,模型优化算法可以包括但不限于以下一种或多种算法:
自适应动量估计(adaptive momentum estimation,ADAM)算法、随机梯度下降算法(stochastic gradient descent,SGD)或批量梯度下降算法(batch gradient descent,BGD)。
可选地,通信协议可以预定义多种类型的模型优化算法,每种类型的模型优化算法的参数也可以是预定义的,终端可以基于第一信息指示的模型优化算法的类型的标识信息,确定该优化算法的类型,以及预定义的该优化算法的参数。终端在第一智能模型的训练中,采用该模型优化算法进行模型权重的更新。或者,优化算法的参数也可以是第一信息指示的,可以参考下文中的描述。
(5)优化算法的参数
第一信息可以指示模型优化算法的参数,其中,该模型优化算法的类型可以是接入网节点可以通过第一信息指示的,或者模型优化算法的类型可以是预配置的。
作为示例非限定,模型优化算法的参数可以包括但不限于以下一种或多种参数:
学习率、迭代次数、批量处理的数据量。
其中,学习率为模型训练中表征梯度下降步长的参数。学习率可以为一个定值,接入网节点可以通过第一信息通知终端,该学习率的值。例如,学习率可以设置为0.001。或者,学习率也可以设置为随迭代步骤逐渐减小的值,第一信息可以指示学习率和每次迭代学习率减小的值,如第一信息可以指示初始值为0.1,每迭代一次减小0.01。迭代次数为指训练数据集被遍历的次数。批量处理的数据量是指每次模型训练时在训练数据集中选取的、用于梯度下降更新的训练数据的数据量。
以上介绍了第一信息指示的第一智能模型的训练策略可以包括但不限于如上(1)至(5)中的一种或多种策略。使得终端设备可以基于该训练策略,训练第一智能模型,得到与网络相匹配的智能模型。
需要说明的是,若接入网节点通知终端未指示上述训练策略(1)至(5)中的一种或多种策略,终端可以采用但不限于以下方式确定接入网节点未指示的训练策略。
一种实施方式中,终端可以预配置有上述训练策略中的一种或多种策略,在接入网节点未指示其中一种或多种策略的情况下,终端基于预配置的训练策略进行模型训练。该预配置的训练策略可以是协议定义的,或者该预配置的训练策略可以是基于终端生产实现由厂商配置的。
另一种实施方式中,终端可以基于接入网节点指示的一种或多种训练策略,确定接入网节点未指示的一种或多种训练策略。也就是说,多种训练策略之间可以具有关联关系,接入网节点通过指示一种训练策略,隐式地指示了与该训练策略相关的其他训练策略。该关联关系可以是协议约定的,或者是接入网节点预先通知终端的,不予限制。
例如,接入网节点可以通过第一信息指示模型训练方式而不指示损失函数信息,终端基于接入网节点指示的模型训练方式确定损失函数。如第一信息指示模型训练方式为监督学习的方式,终端可以确定损失函数为交叉熵损失函数,或者终端可以确定损失函数为平方损失函数。但本申请不限于此。
可选地,接入网节点还可以向终端发送第二信息,该第二信息用于指示该第一智能模型的结构。
接入网节点通知终端该第一智能模型的训练策略以外,还通过第二信息通知终端第一智能模型的结构。终端接收到该第二信息后,基于第二信息生成具有该结构的初始的第一智能模型(或者称为训练前的第一智能模型),并采用第一信息指示的训练策略对该第一智能模型进行训练,使得训练后的第一智能模型能够与接入网节点采用的模型相匹配。
接入网节点可以在预定义的多种智能模型的结构中指示一种结构的标识信息,通知终端采用该结构的智能模型。或者,接入网节点可以指示第一智能模型的结构参数。
作为示例非限定,该第二信息具体可以用于指示该第一智能模型的以下一种或多种结构信息:
网络层结构信息、输入数据的维度或输出数据的维度。
例如,第二信息可以指示第一智能模型的输入数据的维度,即一个训练样本的维度。如第一智能模型为神经网络模型,包括输入层和输出层,则该输入数据的维度即为该第一智能模型的输入层的输入数据的维度。
再例如,该第二信息可以指示第一智能模型的输出数据的维度,即第一智能模型输出的推理数据的维度。如第一智能模型为神经网络模型,则该输出数据的维度即为该第一智能模型的输出层的输出数据的维度。
第二信息可以包括该第一智能模型的网络层结构信息,该网络层结构信息可以包括但不限于以下一项或多项:
第一智能模型包含的神经网络层的层数、神经网络层的类型、神经网络层的使用方式、神经网络层之间的级联关系、神经网络层的输入数据的维度或神经网络层的输出数据的维度。
例如,接入网节点可以指示第一智能模型包含的神经网络层的层数,以及可以指示每个神经网络层的类型,如CNN、FNN、维度变换神经网络层等。
若上述网络层结构信息指示了该第一智能模型中的一个神经网络层的类型为CNN时,CNN可以由滤波器实现。接入网节点还可以通过该网络层结构信息通知终端实现该CNN的滤波器(Filter)的类型。如Filter的类型可以是滤波器的维度。例如,网络层结构信息可以指示滤波器的维度为3×3、5×5或者3×3×3等。
维度变换神经网络层用于数据维度的变换,例如,维度变换神经网络层可以位于两个神经网络层之间,该维度变换神经网络层用于将输入数据(即前一个神经网络的输出数据)的维度变换后得到一个神经网络层的输入数据的维度,将该变换维度后的数据输出给后一个神经网络层。例如,该神经网络层A的输出数据的维度为3×3×10,而神经网络层B的输入数据的维度要求为30×3。则可以在该两个神经网络之间设置一个维度变换神经网络,将神经网络层A的输出的3×3×10的数据变换为30×3的数据,将该数据输出至神经网络层B。使得数据经过维度变换后能够由神经网络层B继续处理。
接入网节点还可以通过第二信息通知终端神经网络层的使用方式,如可以通知终端神经网络中的一个或多个神经网络层是否使用暂时丢弃(dropout)的方式。dropout方式是指在模型训练时,可以随机地选择神经网络层中的一个或多个神经元不参与本次训练,而在下一次训练中可以恢复该一个或多个神经元参与模型训练。
例如,一个CNN神经网络层不采用dropout方式时该神经网络层中的神经元的输入输出关系可以如图5A所示。若采用dropout方式,该神经网络层中的神经元的输入输出关系可以如图5B所示。终端可以随机地选择该CNN神经网络层中的多个神经元不参与模型训练,该神经元的输出为置0,且不参与模型训练的神经元在本次训练中不更细神经元的权重,在下一次参与的模型训练中继续使用该权重。
接入网节点还可以通知终端第一智能模型中的神经网络层的输入数据的维度和/或输出数据的维度。和/或,接入网节点还可以通知终端神经网络层之间的级联关系,例如,该神经网络层之间的级联关系可以是神经网络层在第一智能模型中的排列顺序。
表1示出了一个神经网络结构的示例,接入网节点可以通知终端如表1所示的神经网络结构,但本公开不限于此。如第二信息指示该第一智能模型的神经网络层数为6,并通知每个神经网络层的类型,如神经网络层的类型包括输入层、CNN、形状变换、FNN以及输出层,第二信息还可以指示神经网络层间的级联关系,如第二信息可以指示该6个神经网络层的排列顺序可以依次为输入层、CNN、CNN、形状变换、FNN以及输出层。以及第二信息还可以指示每层神经网络层的输入维度和输出维度如表2所示,其中,NT为天线数,Nsc为子载波数。第二信息还可以通知终端实现第2层、第3层CNN层的滤波器为3×3的滤波器,以及,其中2、3、4、5层神经网络层可以采用dropout的使用方式。但本公开不限于此,第一智能模型的结构可以部分为预定义的部分由接入网节点通过第二信息指示的。例如,接入网节点可以通知终端如表1所示的部分或全部结构参数。其中,表1所示的N/A表示该行不适用(或不配置)该参数。
表1
Figure BDA0003389222220000171
Figure BDA0003389222220000181
终端可以基于第二信息指示的表1所示的第一智能模型的结构,生成初始的第一智能模型。终端首先基于第二信息可以确定该第一智能模型包括6个神经网络层,基于第二信息指示该6个神经网络层中每个神经网络层的类型、输入维度和输出维度,生成满足类型和维度要求的6个神经网络层,即输入层、CNN层、CNN层、形状变换层、FNN层以及输出层。其中,终端基于第二信息的指示通过3×3的滤波器实现其中的两个CNN层。终端得到该6个神经网络层后,基于第二信息指示的级联关系确定该6个神经网络层的排列顺序,得到初始的该第一智能模型。在训练该第一智能模型的过程中,对2、3、4、5层神经网络层采用dropout的使用方式在每次训练中随机选择网络层中的神经元不参与本次训练。
可选地,接入网节点向终端发送第三信息,该第三信息用于指示训练数据集合的信息,该训练数据集合用于训练该第一智能模型。
一个示例中,第三信息可以指示预设训练数据集合的标识信息,使得终端接收到第三信息后采用该标识信息对应的训练数据集合训练该第一智能模型。
例如,协议可以预定义多个训练数据集合,每个训练数据集合对应一个标识信息,接入网节点可以通过第三信息指示该多个训练数据集合中的一个训练数据集合的标识信息,终端根据该标识信息确定采用该标识信息对应的训练数据集合训练第一智能模型。
另一个示例中,训练数据集合的信息可以指示训练样本的类型,或者训练样本的类型和标签的类型。
例如,第一智能模型的训练方式为无监督学习的方式,该第三信息可以指示训练样本的类型,如第一智能模型可以基于输入的信道数据推理发射功率。则该第三信息可以指示训练样本的类型为信道数据,终端可以根据采用信道数据对第一智能模型进行训练。该信道数据可以是终端基于接入网节点发送的参考信号测量得到的,或者可以是预配置在终端的。但本申请不限于此。
再例如,第一智能模型的训练方式为无监督学习的方式,该第三信息可以指示训练样本的类型和标签的类型,终端可以基于训练样本的类型和标签的类型确定训练数据集合,该训练数据集合中包含的数据可以是终端与接入网节点通信中采集到的数据,或者可以是预配置在终端的相应类型的数据。例如,第一智能模型实现数据的信道编码功能,即基于输入的编码前数据推理输出编码后的数据,第三信息可以指示训练样本的类型为信道编码前的数据,标签的类型为信道编码后的数据。
另一个示例中,训练数据集合的信息还可以指示第一智能模型的用途,如训练数据集合的信息指示第一智能模型用于压缩编码、译码或发射功率。终端根据第一智能模型的用途,确定相应的训练数据集合。
例如,第三信息可以指示第一智能模型的用途为压缩编码,且第一智能模型的训练方式为监督学习,则终端基于该第一智能模型的用途,可以确定用于训练第一智能模型的训练样本的类型为压缩编码前的信息数据,以及标签为压缩编码后的压缩数据,从而确定包括训练样本和标签的第一智能模型的训练数据集合。该训练数据集合中包含的数据可以是终端与接入网节点通信中采集到的数据,或者可以是预配置在终端的相应类型的数据。但本申请不限于此。
另一个示例中,第三信息可以包括训练数据集合,如该训练数据集合可以包括训练样本、或者训练样本和标签,也就是说终端可以从网络获取训练数据集合。
例如,第一智能模型的训练方式为监督学习的方式,该第三信息中的训练数据集合包括训练样本和标签。第一智能模型的训练方式为无监督学习的方式,该第三信息中的训练数据集合包括训练样本而不包括标签。
终端可以以小的资源带宽边下载该训练数据集合中的训练数据边训练第一智能模型,能够减小资源占用率,避免影响业务数据的传输速率。
在本公开中,接入网节点可以基于终端的能力信息,和/或,基于接入网节点与终端之间的环境数据(如信道数据等),确定该第一智能模型的训练策略、模型结构或训练数据集合中的一项或多项。或者,接入网节点可以从网络中的第三方节点获取该第一智能模型的训练策略和/或模型结构后,转发给终端。也就是说,接入网节点向终端发送的上述信息(包括但不限于第一信息、第二信息、第三信息)可以是接入网节点生成的,也可以是接入网节点从第三方节点获取到并转发给终端的。例如,该第三方节点可以是网络中具有AI功能或配置有AI实体的节点,如第三方节点可以是非实时RIC,非实时RIC可以包括在OAM中,该第三方节点实际可以是OAM。可选的,接入网节点接收来自该终端的能力信息,该能力信息用于指示终端运行智能模型的能力。
作为示例非限定,该能力信息具体用于指示终端的以下一项或多项能力:
是否支持运行智能模型、数据处理能力、存储能力、支持运行的智能模型的类型、处理器的功耗或电池容量。
例如,该能力信息可以指示终端是否支持运行智能模型,接入网节点接收到该能力信息后,基于该能力信息确定终端支持智能模型的情况下,接入网节点向终端发送该第一信息,以通知终端训练第一智能模型的策略。
再例如,接入网节点需要通过第二信息通知终端第一智能模型的结构,该能力信息可以指示终端支持的机器学习模型的算子库信息。该算子库信息可以指示终端能够支持的基本智能模型运算单元的集合,或者,该算子库信息可以指示终端不支持的基本智能模型运算单元。接入网节点可以该能力信息获知终端支持的模型算子库信息,从而确定第一智能模型的结构。
比如,智能模型运算单元可以包括但不限于以下一项或多项:
一维CNN单元(conv1d)、二维CNN单元(conv2d)、三维CNN单元(conv3d)、池化(pooling)层、池化操作或s形(sigmoid)激活函数。
再例如,能力信息指示终端的数据处理能力,例如,能力信息可以指示处理器的类型、处理器的运算速度、处理器能够处理的数据量大小等。如处理器的类型可以包括图形处理器(graphics processing unit,GPU)的类型和/或中央处理器(central processingunit,CPU)的类型。接入网节点可以基于终端的数据处理能力确定第一智能模型的训练策略、模型结构或训练数据集合中的一项或多项。
一种实施方式中,接入网节点可以基于终端的能力信息,和/或,基于接入网节点与终端之间的环境数据(如信道数据等),训练得到符合终端能力和/或信道条件的智能模型。接入网节点将训练该智能模型的训练策略通知终端,以便终端采用该训练策略训练第一智能模型,使得终端训练后的第一智能模型与接入网节点训练得到的该智能模型尽可能的相同,从而是终端与接入网节点在通信过程中应用的第一智能模型能够与接入网节点使用的智能模型相匹配,达到提升通信性能的效果。
例如,第一智能模型为压缩编码模型,接入网节点可以基于终端的能力信息和信道数据,训练得到相互匹配的接入网节点使用的压缩解码模型和终端使用的压缩编码模型。接入网节点通知终端接入网节点训练该压缩编码模型所使用的训练策略,如接入网节点通知终端接入网节点采用的初始化方式为在[zmin,zmax]区间内随机取值作为神经元的权重、模型训练方式为监督学习的方式,损失函数为交叉熵损失函数,优化算法为随机梯度下降算法。终端获取到接入网节点的训练策略后基于该训练策略训练压缩编码模型,使得终端训练后的压缩编码模型与接入网节点训练得到的压缩编码模型尽可能的相同,从而实现终端在通信中使用的压缩编码模型与接入网节点在通信中使用的压缩解码模型相匹配。
可选地,接入网节点还可以将该智能模型的结构作为第一智能模型的结构通知终端,和/或,接入网节点还可以将向终端指示接入网节点训练该智能模型的训练数据集合的信息。
另一种实施方式中,可以由网络中的第三方节点从接入网节点获取终端的能力信息,和/或,获取接入网节点与终端之间的环境数据,基于获取到的信息训练得到相匹配的接入网节点应用的智能模型和终端应用的智能模型,并由第三方节点将该接入网节点应用的智能模型发送给接入网节点,以及通知接入网节点终端训练智能模型的训练策略,由接入网节点通过第一信息转发给终端。可选地,第三方节点还可以通过接入网节点通知终端智能模型的结构和/或训练数据集合信息。
S402,终端根据该训练策略对第一智能模型进行模型训练。
终端可以确定第一智能模型的训练策略,如模型训练方式、损失函数、模型初始化方式、模型优化算法的类型以及优化算法的参数等,训练策略中的部分或全部可以是终端基于来自接入网节点的第一信息确定的,接入网节点未指示的训练策略可以是终端基于预配置的信息或基于接入网节点指示的相关联的训练策略得到的。
可选地,终端可以获取第一智能模型的结构,基于该结构确定该第一智能模型。
一种实施方式中,终端可以接收来自接入网节点的第二信息,第二信息用于指示该第一智能模型的结构,终端根据该第二信息确定初始的第一智能模型(或者称为训练前的第一智能模型)。
具体终端设备基于第二信息得到初始的第一智能模型的实施方式可以参考前文中的描述,为了简要,在此不再赘述。
另一种实施方式中,终端从预配置信息中获取第一智能模型的结构,确定初始的第一智能模型。可选地,终端可以接收到来自接入网节点的第三信息,该第三信息用于指示训练数据集合的信息,
终端根据第三信息获取训练数据集合,并基于的该训练数据集合采用第一信息指示的训练策略对该第一智能模型进行模型训练。但本公开不限于此,终端还可以基于终端存储的数据集合对第一智能模型进行模型训练。
终端获取到第一智能模型的训练策略、训练数据集合以及基于第一智能模型的结构得到初始的第一智能模型后,终端可以开始执行第一智能模型的模型训练。
例如,终端基于训练策略确定模型训练方式为监督学习的方式,该训练数据集合中包括训练样本和标签。终端在每次训练中将训练样本输入第一智能模型,第一智能模型对训练样本的处理后输出推理结果,终端基于推理结果和标签,利用损失函数得到损失函数输出的损失值。再基于该损失值采用模型优化算法优化第一智能模型的参数,得到更新参数后的第一智能模型,将该更新参数后的第一智能模型应用于下一次模型训练中,经过多次迭代训练,当损失函数输出的损失值小于或等于第一阈值时,终端确定完成该第一智能模型的训练,得到训练后的该第一智能模型。
再例如,终端基于训练策略确定模型训练方式为无监督学习的方式,该训练数据集合中包括训练样本。终端在每次训练中将训练样本输入第一智能模型,第一智能模型对训练样本的处理后输出推理结果,终端基于推理结果,利用损失函数得到损失函数的输出值。再基于该损失函数的输出值采用模型优化算法优化第一智能模型的参数,得到更新参数后的第一智能模型,将该更新参数后的第一智能模型应用于下一次模型训练中,经过多次迭代训练,当损失函数的输出值大于或等于第二阈值时,终端确定完成该第一智能模型的训练,得到训练后的该第一智能模型。根据上述方案,网络可以通知终端智能模型的训练策略,由终端基于网络提供的训练策略执行智能模型的训练,使得终端训练得到的模型能够与网络采用的模型相匹配,达到预期的性能需求。减小了接入网节点向终端发送第一智能模型的模型参数(如每个神经元的权重值、激活函数和偏置等)带来的空口资源开销。
图5C是本公开公开提供的通信方法500的一个示意性流程图。需要说明的是,图5所示方法中与图4所示方法中相同的部分,可以参考图4所示方法中的描述,为了简要,在此不再赘述。
S501,接入网节点向终端发送第一信息,该第一信息用于指示第一智能模型的训练策略。
具体实现可参考S401,此处不再赘述。
S502,终端根据该训练策略,对第一智能模型进行训练。
终端可以获取第一智能模型的结构确定第一智能模型,利用训练数据集合,采用该训练策略对第一智能模型进行训练。具体实现可参考S402,此处不再赘述。
S503,接入网节点向终端发送第四信息,该第四信息用于指示测试信息,该测试信息用于测试该第一智能模型的性能。
相应地,终端接收来自接入网节点的第四信息,终端接收到第四信息后根据第四信息对训练后的第一智能模型进行测试。
作为示例非限定,该测试信息包括以下一项或多项:
测试数据信息、性能评估方式或性能评估参数。
可选地,当测量信息包括测试数据信息、性能评估方式和性能评估参数中的一项或两项时,例如包括测试数据信息和性能评估方式,未包括的其他项,例如性能评估参数,可以是协议约定的,或者通过其他方式确定的,不予限制。或者如下示例,终端无需获知性能评估方式和/或性能评估参数,由接入网节点进行性能评估。
其中,测试数据信息用于指示测试数据、测试数据的类型、标签数据或标签数据的类型中的一项或多项。性能评估方式可以是计算推理数据与标签数据之间的损失值的方式,性能评估参数可以是评估损失值的门限值等参数,但本公开不限于此,性能评估方式也可以是评估函数等。
S504,终端向接入网节点发送第五信息和/或第六信息,该第五信息用于指示该第一智能模型的测试结果,该第六信息用于指示推理数据。
其中,该推理数据是该第一智能模型推理测试数据得到的,第四信息指示的测试信息包括该测试数据。
一种实施方式中,终端可以向接入网节点发送第五信息,该第五信息可以指示该第一智能模型的测试结果。
例如,该测试结果可以是第一智能模型的性能达标或不达标。接入网节点向终端发送的测试信息可以包括测试数据、校验数据和校验门限值,终端可以将测试数据作为训练后的第一智能模型的输入,得到第一智能模型基于该测试数据推理得到推理数据。终端计算推理数据与校验数据之间的损失值。例如,终端可以采用训练第一智能模型时采用的损失函数计算得到推理数据与校验数据之间的损失值。但本申请不限于此。终端比较该损失值与校验门限值的大小,若损失值小于或等于校验门限值,终端可以确定训练后的第一智能模型达标,可以应用于实际通信中,并通过第五信息通知接入网节点。或者,若损失值大于校验门限值,终端可以通过第五信息通知接入网节点训练后的第一智能模型不达标。
再例如,该测试结果可以是推理数据与校验数据之间的损失值,如接入网节点通过第四信息指示测试数据和校验数据之外,第四信息还指示性能评估方式为计算推理数据与校验数据之间的损失值。终端基于第四信息指示的测试数据,采用训练后的第一智能模型推理得到推理数据,计算推理数据与标签数据之间的损失值,通过第五信息通知接入网节点该损失值,由网络基于该损失值确定终端训练后的第一智能模型的性能是否达标。如可以是接入网节点或网络中的第三方节点判断是否达标,第三方节点可以通过接入网节点的转发获取到该损失值。
另一种实施方式中,终端可以向接入网节点发送第六信息,该第六信息用于指示第一智能模型的推理数据。
例如,第四信息指示测试数据,终端采用训练后的第一智能模型对该测试数据进行推理得到该第一智能模型输出的推理数据,终端将得到的该推理数据发送给接入网节点。由网络节点(如接入网节点或网络中的第三方节点)基于推理数据,判断训练后的第一智能模型的性能是否达标。
另一种实施方式中,终端可以向接入网节点发送第五信息和第六信息。
也就是说,终端即向接入网节点发送测试结果,又向接入网节点发送推理数据,接入网节点可以结合测试结果与推理数据,确定是否在实际通信中使用终端训练后的第一智能模型。但本公开不限于此。
可选地,接入网节点向终端发送第七信息,该第七信息用于指示该第一智能模型的更新后的训练策略,和/或,用于指示该第一智能模型的更新后的结构。
相应地,终端接收来自接入网节点的该第七信息。终端基于第七信息再次对第一智能模型进行训练。
一种实施方式中,接入网节点接收到来自终端的第五信息和/或第六信息后,确定终端训练后的第一智能模型的性能不达标,则接入网节点可以向终端发送第七信息,通知第一智能模型更新后的训练策略,和/或第一智能模型的更新后的结构。
另一种实施方式中,在终端应用该训练后的第一智能模型进行通信的情况下,接入网节点基于通信性能,确定需要更新第一智能模型,接入网节点可以向终端发送该第七信息。
例如,终端应用模型一段时间后信道环境发生变化等情况,使得第一智能模型的性能不能满足需求,接入网节点可以向终端发送该第七信息,以便终端再次对第一智能模型进行模型训练,使得再次训练后的第一智能模型适应于变化后的环境。
第七信息指示训练策略的方式可以与第一信息指示训练策略的方式相同,以及,第七信息指示模型结构的方式可以与第二信息指示模型结构的方式相同。或者,该第七信息具体可以用于指示该训练策略的至少一个变换量,和/或该第一智能模型的结构的至少一个变化量。
例如,第七信息指示了训练策略的至少一个变化量,终端接收到该第七信息后,第七信息指示的变化量,确定更新后的训练策略。比如,接入网节点调整了优化算法参数(如学习率由第一信息指示的0.1变更为0.01),训练策略中仅优化算法参数发生变化,其他训练策略未发生变化,则第七信息可以指示第七信息指示了更新后的学习率为0.01。再比如,第一信息指示批量处理的数据量为N,即每次取N个训练数据进行梯度下降更新,接入网节点将批量处理的数据量调整为M,则接入网接地那可以通过第七信息指示批量处理的数据量调整为M,或者,第七信息可以指示批量处理的数据量增加Q,其中Q=M-N,终端接收到第七信息后,将批量处理的数据量增加Q,即N+Q,从而每次取M个训练数据进行梯度下降更新。但本公开不限于此。
第七信息也可以指示模型结构的至少一个变化量,具体方式与指示训练策略的至少一个变化量的方式类似,可以参考上述描述实施,在此不再赘述。
根据上述方案,终端基于接入网节点指示的训练策略进行模型训练后,接入网节点可以向终端发送测试信息,终端基于测试信息对训练后的第一智能模型进行测试,终端或接入网节点可以基于测试结果和/或推理数据判断训练后的第一智能模型的性能是否达标,能够在性能达标的情况下,在实际通信中应用第一智能模型,以达到提高无线通信性能(如通信可靠性等性能)的目的。
图6是本公开公开提供的通信方法的另一个示意性流程图。需要说明的是,图6所示方法中与其他方法中相同的部分,可以相互引用或结合实施,为了简要,在此不再赘述。
S601,接入网节点向终端发送第二信息,该第二信息用于指示第一智能模型的结构,该第二信息包括第一智能模型的网络层结构信息、输入数据的维度或输出数据的维度中的一种或多种结构信息。
相应地,终端接收来自接入网节点的该第二信息。
其中,该第一智能模型的网络层结构信息可以包括但不限于以下一项或多项:
第一智能模型包含的神经网络层的层数、神经网络层的类型、神经网络层的使用方式、神经网络层之间的级联关系、神经网络层的输入数据的维度或神经网络层的输出数据的维度。
S602,终端根据该第二信息,确定第一智能模型。
终端接收到该第二信息后,可以基于第二信息指示的第一智能模型的结构,生成具有该结构的第一智能模型。
S603,终端对所述第一智能模型进行模型训练。
终端在S602中确定第一智能模型后,对第一智能模型进行训练。
根据上述方案,接入网节点通知终端第一智能模型的结构,终端基于接入网节点的指示生成具有该结构的第一智能模型,使得终端使用的第一智能模型的结构能够满足接入网节点的需求,从而能够使用第一智能模型提高无线通信的性能。由终端执行第一智能模型的训练后可以应用于通信中。能够减小接入网节点通知第一智能模型的模型参数(如每个神经元的权重值、激活函数和偏置等)带来的空口资源开销。
终端可以采用终端与接入网节点达成共识的预定义的训练策略对第一智能模型进行训练,或者接入网节点可以通过第一信息通知终端第一智能模型的训练策略。
终端训练第一智能模型采用的训练数据集可以是终端预存储的或者从接入网节点接收到的。
以上,结合图4至图6详细说明了本公开提供的方法。以下附图说明本公开提供的通信装置和通信设备。为了实现上述本公开提供的方法中的各功能,各网元可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
图7是本公开提供的通信装置的示意性框图。如图7所示,该通信装置700可以包括收发单元720。
在一种可能的设计中,该通信装置700可对应于上文方法中的终端设备,或者配置于(或用于)终端设备中的芯片,或者其他能够实现终端设备的方法的装置、模块、电路或单元等。
应理解,该通信装置700可以包括用于执行图4、图5C、图6所示的方法中终端设备执行的方法的单元。并且,该通信装置700中的各单元和上述其他操作和/或功能分别为了实现图4、图5C、图6所示的方法的相应流程。
可选地,通信装置700还可以包括处理单元710,该处理单元710可以用于处理指令或者数据,以实现相应的操作。
还应理解,该通信装置700为配置于(或用于)终端设备中的芯片时,该通信装置700中的收发单元720可以为芯片的输入/输出接口或电路,该通信装置700中的处理单元710可以为芯片中的处理器。
可选地,通信装置700还可以包括存储单元730,该存储单元730可以用于存储指令或者数据,处理单元710可以执行该存储单元中存储的指令或者数据,以使该通信装置实现相应的操作。
应理解,该通信装置700中的收发单元720为可通过通信接口(如收发器或输入/输出接口)实现,例如可对应于图8中示出的终端设备800中的收发器810。该通信装置700中的处理单元710可通过至少一个处理器实现,例如可对应于图8中示出的终端设备800中的处理器820。该通信装置700中的处理单元710还可以通过至少一个逻辑电路实现。该通信装置700中的存储单元730可对应于图8中示出的终端设备800中的存储器。
还应理解,各单元执行上述相应步骤的具体过程在上述方法中已经详细说明,为了简洁,在此不再赘述。
在另一种可能的设计中,该通信装置700可对应于上文方法中的接入网节点,例如,或者配置于(或用于)接入网节点中的芯片,或者其他能够实现接入网节点的方法的装置、模块、电路或单元等。
应理解,该通信装置700可以包括用于执行图4、图5C、图6所示的方法中接入网节点执行的方法的单元。并且,该通信装置700中的各单元和上述其他操作和/或功能分别为了实现图4、图5C、图6所示的方法的相应流程。
可选地,通信装置700还可以包括处理单元710,该处理单元710可以用于处理指令或者数据,以实现相应的操作。
还应理解,该通信装置700为配置于(或用于)接入网节点中的芯片时,该通信装置700中的收发单元720可以为芯片的输入/输出接口或电路,该通信装置700中的处理单元710可以为芯片中的处理器。
可选地,通信装置700还可以包括存储单元730,该存储单元730可以用于存储指令或者数据,处理单元710可以执行该存储单元中存储的指令或者数据,以使该通信装置实现相应的操作。
应理解,该通信装置700为接入网节点时,该通信装置700中的收发单元720为可通过通信接口(如收发器或输入/输出接口)实现,例如可对应于图9中示出的网络设备900中的收发器910。该通信装置900中的处理单元910可通过至少一个处理器实现,例如可对应于图9中示出的网络设备900中的处理器920,该通信装置700中的处理单元710可通过至少一个逻辑电路实现。该通信装置700中的存储单元730可对应于图9中示出的网络设备900中的存储器。
还应理解,各单元执行上述相应步骤的具体过程在上述方法中已经详细说明,为了简洁,在此不再赘述。
图8是本公开提供的终端设备800的结构示意图。该终端设备800可应用于如图1所示的系统中,执行上述方法中终端设备的功能。如图所示,该终端设备800包括处理器820和收发器810。可选地,该终端设备800还包括存储器。其中,处理器820、收发器810和存储器之间可以通过内部连接通路互相通信,传递控制信号和/或数据信号。该存储器用于存储计算机程序,该处理器820用于执行该存储器中的该计算机程序,以控制该收发器810收发信号。
上述处理器820可以用于执行前面方法中描述的由终端设备内部实现的动作,而收发器810可以用于执行前面方法中描述的终端设备向网络设备发送或从网络设备接收的动作。具体请见前面方法中的描述,此处不再赘述。
可选地,上述终端设备800还可以包括电源,用于给终端设备中的各种器件或电路提供电源。
图9是本公开提供的网络设备900的结构示意图。该网络设备900可应用于如图1所示的系统中,执行上述方法中网络设备的功能。如图所示,该网络设备900包括处理器920和收发器910。可选地,该网络设备900还包括存储器。其中,处理器920、收发器910和存储器之间可以通过内部连接通路互相通信,传递控制和/或数据信号。该存储器用于存储计算机程序,该处理器920用于执行该存储器中的该计算机程序,以控制该收发器910收发信号。
上述处理器920可以用于执行前面方法中描述的由网络设备内部实现的动作,而收发器910可以用于执行前面方法中描述的网络设备向网络设备发送或从网络设备接收的动作。具体请见前面方法中的描述,此处不再赘述。
可选地,上述网络设备900还可以包括电源,用于给网络设备中的各种器件或电路提供电源。
图8所示的终端设备和图9所示的网络设备中,处理器可以和存储器可以合成一个处理装置,处理器用于执行存储器中存储的程序代码来实现上述功能。具体实现时,该存储器也可以集成在处理器中,或者独立于处理器。该处理器可以与图7中的处理单元对应。收发器可以与图7中的收发单元对应。收发器810可以包括接收器(或称接收机、接收电路)和发射器(或称发射机、发射电路)。其中,接收器用于接收信号,发射器用于发射信号。
本公开中,处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
本公开中,存储器可以是非易失性存储器,比如硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)等,还可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM)。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请中的存储器还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
本公开还提供了一种处理装置,包括处理器和(通信)接口;所述处理器用于执行上述任一方法中的方法。
应理解,上述处理装置可以是一个或多个芯片。例如,该处理装置可以是现场可编程门阵列(field programmable gate array,FPGA),可以是专用集成芯片(applicationspecific integrated circuit,ASIC),还可以是系统芯片(system on chip,SoC),还可以是中央处理器(central processor unit,CPU),还可以是网络处理器(networkprocessor,NP),还可以是数字信号处理电路(digital signal processor,DSP),还可以是微控制器(micro controller unit,MCU),还可以是可编程控制器(programmable logicdevice,PLD)或其他集成芯片。
根据本公开提供的方法,本公开还提供一种计算机程序产品,该计算机程序产品包括:计算机程序代码,当该计算机程序代码由一个或多个处理器执行时,使得包括该处理器的装置执行图4、图5C、图6所示中的方法。
本公开提供的技术方案可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明所述的流程或功能。上述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,该计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(digital video disc,DVD))、或者半导体介质等。
根据本公开提供的方法,本公开还提供一种计算机可读存储介质,该计算机可读存储介质存储有程序代码,当该程序代码由一个或多个处理器运行时,使得包括该处理器的装置执行图4、图5C、图6所示中的方法。
根据本公开提供的方法,本公开还提供一种系统,其包括前述的一个或多个第一装置。还系统还可以进一步包括前述的一个或多个第三装置。
在本公开所提供的几个中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本方案的目的。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。

Claims (37)

1.一种通信方法,其特征在于,包括:
接收第一信息,所述第一信息用于指示第一智能模型的训练策略;
根据所述训练策略,对所述第一智能模型进行模型训练。
2.根据权利要求1所述的方法,其特征在于,所述训练策略包括以下一项或多项:
模型训练方式、损失函数信息、模型初始化方式、模型优化算法的类型、或优化算法的参数。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
获取第二信息,所述第二信息用于指示第一智能模型的结构。
4.根据权利要求3所述的方法,其特征在于,所述第二信息具体用于指示所述第一智能模型的以下一种或多种结构信息:
网络层结构信息、输入数据的维度或输出数据的维度。
5.根据权利要求4所述的方法,其特征在于,所述网络层结构信息包括以下一项或多项:
所述第一智能模型包含的神经网络层的层数、所述神经网络层的类型、所述神经网络层的使用方式、所述神经网络层之间的级联关系、所述神经网络层的输入数据的维度或神经网络层的输出数据的维度。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:
接收第三信息,所述第三信息用于指示训练数据集合的信息,所述训练数据集合用于训练所述第一智能模型。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:
发送能力信息,所述能力信息用于指示运行智能模型的能力。
8.根据权利要求7所述的方法,其特征在于,所述能力信息具体用于指示以下一项或多项能力:
是否支持运行智能模型、支持运行的智能模型的类型、数据处理能力或存储能力。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述方法还包括:
接收第四信息,所述第四信息用于指示测试信息,所述测试信息用于测试所述第一智能模型的性能。
10.根据权利要求9所述的方法,其特征在于,所述测试信息包括以下一项或多项:
测试数据信息、性能评估方式或性能评估参数。
11.根据权利要求9或10所述的方法,其特征在于,所述方法还包括:
发送第五信息,所述第五信息用于指示所述第一智能模型的测试结果;和/或,
发送第六信息,所述第六信息用于指示推理数据,所述推理数据是所述第一智能模型推理测试数据得到的,所述测试信息包括所述测试数据。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
接收第七信息,所述第七信息用于指示所述第一智能模型的更新后的训练策略,和/或,用于指示所述第一智能模型的更新后的结构。
13.根据权利要求12所述的方法,其特征在于,所述第七信息具体用于指示所述训练策略的至少一个变换量,和/或所述第一智能模型的结构的至少一个变化量。
14.一种通信方法,其特征在于,包括:
发送第一信息,所述第一信息用于指示第一智能模型的训练策略。
15.根据权利要求14所述的方法,其特征在于,所述训练策略包括以下一项或多项:
模型训练方式、损失函数信息、模型初始化方式、模型优化算法的类型、或优化算法的参数。
16.根据权利要求14或15所述的方法,其特征在于,所述方法还包括:
发送第二信息,所述第二信息用于指示第一智能模型的结构。
17.根据权利要求16所述的方法,其特征在于,所述第二信息具体用于指示所述第一智能模型的以下一种或多种结构信息:
网络层结构信息、输入数据的维度、或输出数据的维度。
18.根据权利要求17所述的方法,其特征在于,所述网络层结构信息包括以下一项或多项:
所述第一智能模型包含的神经网络层的层数、所述神经网络层的类型、所述神经网络层的使用方式、所述神经网络层之间的级联关系、所述神经网络层的输入数据的维度或所述神经网络层的输出数据的维度。
19.根据权利要求14至18中任一项所述的方法,其特征在于,所述方法还包括:
发送第三信息,所述第三信息用于指示用于训练数据集合的信息,所述训练数据集合用于训练所述第一智能模型。
20.根据权利要求14至19中任一项所述的方法,其特征在于,所述方法还包括:
接收能力信息,所述能力信息用于指示运行智能模型的能力。
21.根据权利要求20所述的方法,其特征在于,所述能力信息用于指示以下一项或多项能力:
是否支持运行智能模型、支持运行的智能模型的类型、数据处理能力或存储能力。
22.根据权利要求14至21中任一项所述的方法,其特征在于,所述方法还包括:
发送第四信息,所述第四信息用于指示测试所述第一智能模型性能的测试信息。
23.根据权利要求22所述的方法,其特征在于,所述测试信息包括以下一项或多项:
测试数据信息、性能评估方式或性能评估参数。
24.根据权利要求22或23所述的方法,其特征在于,所述方法还包括:
接收第五信息,所述第五信息用于指示所述第一智能模型的测试结果;和/或,
接收第六信息,所述第六信息用于指示推理数据,所述推理数据是所述第一智能模型推理测试数据得到的,所述测试信息包括所述测试数据。
25.根据权利要求24所述的方法,其特征在于,所述方法还包括:
发送第七信息,所述第七信息用于指示所述第一智能模型的更新后的训练策略,和/或,用于指示所述第一智能模型的更新后的结构。
26.根据权利要求25所述的方法,其特征在于,所述第七信息具体用于指示所述训练策略的至少一个参数变换量,和/或所述第一智能模型的结构的至少一个参数变化量。
27.一种通信方法,其特征在于,包括:
接收第二信息,所述第二信息用于指示第一智能模型的结构,所述第二信息包括所述第一智能模型的网络层结构信息、输入数据的维度或输出数据的维度中的一种或多种结构信息;
根据所述第二信息,确定所述第一智能模型的结构;
对所述第一智能模型进行模型训练。
28.一种通信方法,其特征在于,包括:
发送第二信息,所述第二信息用于指示第一智能模型的结构,所述第二信息包括所述第一智能模型的网络层结构信息、输入数据的维度或输出数据的维度中的一种或多种结构信息。
29.一种通信装置,其特征在于,用于实现如权利要求1至13、27中任一项所述的方法。
30.一种通信装置,其特征在于,包括处理器和存储器,所述存储器和所述处理器耦合,所述处理器用于执行权利要求1至13、27中任一项所述的方法。
31.一种通信装置,其特征在于,包括处理器和通信接口,所述处理器利用所述通信接口,执行权利要求1至13、27中任一项所述的方法。
32.一种通信装置,其特征在于,用于实现如权利要求14至26、28中任一项所述的方法。
33.一种通信装置,其特征在于,包括处理器和存储器,所述存储器和所述处理器耦合,所述处理器用于执行权利要求14至26、28中任一项所述的方法。
34.一种通信装置,其特征在于,包括处理器和通信接口,所述处理器利用所述通信接口,执行权利要求14至26、28中任一项所述的方法。
35.一种通信系统,其特征在于,包括权利要求29至31中任一项所述的通信装置,和权利要求32至34中任一项所述的通信装置。
36.一种计算机可读存储介质,其特征在于,存储有指令,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1至28中任一项所述的方法。
37.一种计算机程序产品,其特征在于,包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1至28中任一项所述的方法。
CN202111462667.XA 2021-12-02 2021-12-02 通信方法和通信装置 Pending CN116233857A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111462667.XA CN116233857A (zh) 2021-12-02 2021-12-02 通信方法和通信装置
KR1020247021743A KR20240117116A (ko) 2021-12-02 2022-12-02 통신 방법 및 통신 장치
PCT/CN2022/136138 WO2023098860A1 (zh) 2021-12-02 2022-12-02 通信方法和通信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111462667.XA CN116233857A (zh) 2021-12-02 2021-12-02 通信方法和通信装置

Publications (1)

Publication Number Publication Date
CN116233857A true CN116233857A (zh) 2023-06-06

Family

ID=86575491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111462667.XA Pending CN116233857A (zh) 2021-12-02 2021-12-02 通信方法和通信装置

Country Status (3)

Country Link
KR (1) KR20240117116A (zh)
CN (1) CN116233857A (zh)
WO (1) WO2023098860A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117812604A (zh) * 2024-02-28 2024-04-02 荣耀终端有限公司 通信方法、系统及相关设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612153B (zh) * 2019-02-22 2024-06-14 华为技术有限公司 训练模型的方法和装置
CN113412494B (zh) * 2019-02-27 2023-03-17 华为技术有限公司 一种确定传输策略的方法及装置
CN113128686A (zh) * 2020-01-16 2021-07-16 华为技术有限公司 模型训练方法及装置
CN113938232A (zh) * 2020-07-13 2022-01-14 华为技术有限公司 通信的方法及通信装置
CN114036994A (zh) * 2020-07-21 2022-02-11 中兴通讯股份有限公司 训练通信决策模型的方法、电子设备、计算机可读介质
CN114143799A (zh) * 2020-09-03 2022-03-04 华为技术有限公司 通信方法及装置
CN112101551A (zh) * 2020-09-25 2020-12-18 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备以及存储介质
CN114793453A (zh) * 2020-11-23 2022-07-26 北京小米移动软件有限公司 一种训练方法、训练装置及存储介质
CN114679355A (zh) * 2020-12-24 2022-06-28 华为技术有限公司 通信方法和装置
CN114936117A (zh) * 2021-09-02 2022-08-23 华为技术有限公司 模型训练的方法、服务器、芯片以及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117812604A (zh) * 2024-02-28 2024-04-02 荣耀终端有限公司 通信方法、系统及相关设备

Also Published As

Publication number Publication date
WO2023098860A1 (zh) 2023-06-08
KR20240117116A (ko) 2024-07-31

Similar Documents

Publication Publication Date Title
Yang et al. Federated learning via over-the-air computation
WO2023098860A1 (zh) 通信方法和通信装置
CN116419257A (zh) 一种通信方法及装置
WO2024164641A1 (zh) 一种csi发送和接收方法及装置
WO2024017001A1 (zh) 模型的训练方法及通信装置
WO2023126007A1 (zh) 信道信息传输方法及装置
CN117693021A (zh) 一种波束管理方法
EP4429309A1 (en) Communication method and communication apparatus
CN115694722A (zh) 一种通信方法及装置
WO2023125996A1 (zh) 一种上行预编码方法及装置
WO2024008004A1 (zh) 一种通信方法及装置
WO2023093777A1 (zh) 一种通信方法及装置
Hydher et al. Recent Results of Machine Learning InspiredWireless Communications
WO2024046419A1 (zh) 一种通信方法及装置
WO2023093725A1 (zh) 一种校准方法及装置
WO2024027424A1 (zh) 一种数据质量度量方法及装置
WO2023036280A1 (zh) 一种模型测试方法及装置
WO2024169757A1 (zh) 一种通信的方法和通信装置
WO2023231881A1 (zh) 一种模型应用方法及装置
WO2024169745A1 (zh) 一种通信方法、装置及系统
WO2023125985A1 (zh) 模型的数据处理方法及装置
CN118524400A (zh) 一种通信方法及装置
CN117220737A (zh) 一种通信方法及装置
CN116828514A (zh) 通信方法和通信装置
CN118057856A (zh) 一种用于定位的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication