CN118283643A - 数据集确定方法、信息传输方法、装置和通信设备 - Google Patents
数据集确定方法、信息传输方法、装置和通信设备 Download PDFInfo
- Publication number
- CN118283643A CN118283643A CN202211720776.1A CN202211720776A CN118283643A CN 118283643 A CN118283643 A CN 118283643A CN 202211720776 A CN202211720776 A CN 202211720776A CN 118283643 A CN118283643 A CN 118283643A
- Authority
- CN
- China
- Prior art keywords
- data set
- data
- model
- information
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 153
- 230000006854 communication Effects 0.000 title claims abstract description 54
- 238000004891 communication Methods 0.000 title claims abstract description 53
- 230000005540 biological transmission Effects 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 73
- 230000015654 memory Effects 0.000 claims description 24
- 230000001502 supplementing effect Effects 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 12
- 239000013589 supplement Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000013016 learning Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Mobile Radio Communication Systems (AREA)
- Communication Control (AREA)
Abstract
本申请公开了一种数据集确定方法、信息传输方法、装置和通信设备,属于通信技术领域,本申请实施例的数据集确定方法包括:第一设备接收来自第二设备的第一数据集;所述第一设备根据采集数据,执行第一操作,其中,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新;所述第一设备根据所述第一操作的结果,确定目标数据集,其中,所述目标数据集用于训练目标AI模型。
Description
技术领域
本申请属于通信技术领域,具体涉及一种数据集确定方法、信息传输方法、装置和通信设备。
背景技术
在相关技术中,对在通信网络中的设备部署人工智能(ArtificialIntelligence,AI)模型进行了研究。
为了跟踪信道环境的变化,在无线通信中使用AI模型时需要进行训练。训练的数据是需要不断进行更新的,因此需要对训练数据集进行补充和删除。传统更新方式为按照时间顺序,补充后来的数据,删除先来的数据。但这种更新方式会逐渐使得AI模型失去泛化能力,产生过拟合。
发明内容
本申请实施例提供一种数据集确定方法、信息传输方法、装置和通信设备,能够通过终端和网络侧设备之间的信息交互,对数据集中的全部或部分数据进行更新,使得更新后的数据集具备较强的泛化能力,进而使得基于该数据集训练出的AI模型具备泛化能力。
第一方面,提供了一种数据集确定方法,该方法包括:
第一设备接收来自第二设备的第一数据集;
所述第一设备根据采集数据,执行第一操作,其中,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新;
所述第一设备根据所述第一操作的结果,确定目标数据集,其中,所述目标数据集用于训练目标AI模型。
第二方面,提供了一种数据集确定装置,该装置包括:
第一接收模块,用于接收来自第二设备的第一数据集;
执行模块,用于根据采集数据,执行第一操作,其中,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新;
第一确定模块,用于根据所述第一操作的结果,确定目标数据集,其中,所述目标数据集用于训练目标AI模型。
第三方面,提供了一种信息传输方法,包括:
第二设备向第一设备发送第一数据集,其中,所述第一设备为根据第一操作的结果确定目标数据集的设备,所述目标数据集用于训练目标AI模型,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新。
第四方面,提供了一种信息传输装置,应用于网络侧设备,该装置包括:
第二发送模块,用于向第一设备发送第一数据集,其中,所述第一设备为根据第一操作的结果确定目标数据集的设备,所述目标数据集用于训练目标AI模型,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新。
第五方面,提供了一种通信设备,该通信设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面或第三方面所述的方法的步骤。
第六方面,提供了一种通信设备,包括处理器及通信接口:
其中,在所述通信设备为第一设备的情况下,所述通信接口用于接收来自第二设备的第一数据集;所述处理器用于根据采集数据,执行第一操作,其中,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新;所述处理器还用于根据所述第一操作的结果,确定目标数据集,其中,所述目标数据集用于训练目标AI模型;
在所述通信设备为第二设备的情况下,所述通信接口用于向第一设备发送第一数据集,其中,所述第一设备为根据第一操作的结果确定目标数据集的设备,所述目标数据集用于训练目标AI模型,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新。
第七方面,提供了一种通信系统,包括:第一设备和第二设备,所述第一设备可用于执行如第一方面所述的数据集确定方法的步骤,所述第二设备可用于执行如第三方面所述的信息传输方法的步骤。
第八方面,提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤,或者实现如第三方面所述的方法的步骤。
第九方面,提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法,或实现如第三方面所述的方法。
第十方面,提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的数据集确定方法的步骤,或者所述计算机程序/程序产品被至少一个处理器执行以实现如第三方面所述的信息传输方法的步骤。
在本申请实施例中,第一设备用来构造目标数据集的数据包括第二设备发送的第一数据集内的离线数据,以及通过采集所获取的在线数据。第一设备可以对离线数据进行更新和/或对在线数据进行更新,并根据更新后的离线数据和/或在线数据来构造目标数据集,以实现对目标数据集的更新,此时,更新后的目标数据集可以基于离线数据来保障训练得到的目标AI模型的泛化能力。在某些情况下,可以不更新目标数据集,如目标AI模型基于上一次更新的目标数据集进行更新训练时,此时,第一设备也可以不对离线数据和在线数据进行更新,即目标数据集仍然是基于更新前的离线数据和在线数据所构造数据集,这样,仍然可以基于离线数据来保障训练得到的目标AI模型的泛化能力。
附图说明
图1是本申请实施例能够应用的一种无线通信系统的结构示意图;
图2是基于网络模型进行预测CSI和未预测CSI时的性能增益示意图;
图3是本申请实施例提供的一种数据集确定方法的流程图;
图4是本申请实施例提供的一种信息传输方法的流程图;
图5是第一设备和第二设备的交互示意图;
图6是本申请实施例提供的一种数据集确定装置的结构示意图;
图7是本申请实施例提供的一种信息传输装置的结构示意图;
图8是本申请实施例提供的一种通信设备的结构示意图;
图9是本申请实施例提供的一种终端的硬件结构示意图
图10是本申请实施例提供的一种网络侧设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”所区别的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”一般表示前后关联对象是一种“或”的关系。
值得指出的是,本申请实施例所描述的技术不限于长期演进型(Long TermEvolution,LTE)/LTE的演进(LTE-Advanced,LTE-A)系统,还可用于其他无线通信系统,诸如码分多址(Code Division Multiple Access,CDMA)、时分多址(Time DivisionMultiple Access,TDMA)、频分多址(Frequency Division Multiple Access,FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access,OFDMA)、单载波频分多址(Single-carrier Frequency Division Multiple Access,SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用,所描述的技术既可用于以上提及的系统和无线电技术,也可用于其他系统和无线电技术。以下描述出于示例目的描述了新空口(New Radio,NR)系统,并且在以下大部分描述中使用NR术语,但是这些技术也可应用于NR系统应用以外的应用,如第6代(6th Generation,6G)通信系统。
图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11和网络侧设备12。其中,终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal DigitalAssistant,PDA)、掌上电脑、上网本、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、移动上网装置(Mobile Internet Device,MID)、增强现实(augmentedreality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴式设备(WearableDevice)、车载设备(VUE)、行人终端(PUE)、智能家居(具有无线通信功能的家居设备,如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(personal computer,PC)、柜员机或者自助机等终端侧设备,可穿戴式设备包括:智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。需要说明的是,在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备或核心网设备,其中,接入网设备12也可以称为无线接入网设备、无线接入网(Radio Access Network,RAN)、无线接入网功能或无线接入网单元。接入网设备12可以包括基站、WLAN接入点或WiFi节点等,基站可被称为节点B、演进节点B(eNB)、接入点、基收发机站(Base Transceiver Station,BTS)、无线电基站、无线电收发机、基本服务集(BasicService Set,BSS)、扩展服务集(Extended Service Set,ESS)、家用B节点、家用演进型B节点、发送接收点(Transmitting Receiving Point,TRP)或所述领域中其他某个合适的术语,只要达到相同的技术效果,所述基站不限于特定技术词汇,需要说明的是,在本申请实施例中仅以NR系统中的基站为例进行介绍,并不限定基站的具体类型。
人工智能目前在各个领域获得了广泛的应用。AI模型有多种实现方式,例如神经网络、决策树、支持向量机、贝叶斯分类器等。本申请主要以神经网络为例进行说明,但是并不限定AI模型的具体类型。
神经网络的参数通过优化算法进行优化。优化算法就是能够帮我们最小化或者最大化目标函数(有时候也叫损失函数)的一类算法。而目标函数往往是模型参数和数据的数学组合。例如给定数据X和其对应的标签Y,我们构建一个神经网络模型f(.),有了模型后,根据输入x就可以得到预测输出f(x),并且可以计算出预测值和真实值之间的差距(f(x)-Y),这个就是损失函数。我们的目的是找到合适的权值和偏置,使上述的损失函数的值达到最小,损失值越小,则说明我们的模型越接近于真实情况。
目前常见的优化算法,基本都是基于误差反向传播(Back Propagation,BP)算法。BP算法的基本思想是,学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时,输入样本从输入层传入,经各隐层逐层处理后,传向输出层。若输出层的实际输出与期望的输出不符,则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程,是周而复始地进行的。权值不断调整的过程,也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度,或进行到预先设定的学习次数为止。
一般而言,根据解决类型不同,选取的AI算法和采用的模型也有所差别。根据目前发表文章及公开研究成果,借助AI提升5G网络性能的主要方法是通过基于神经网络的算法和模型增强或者替代目前已有的算法或处理模块。在特定场景下,基于神经网络的算法和模型可以取得比基于确定性算法更好的性能。比较常用的神经网络包括深度神经网络、卷积神经网络和循环神经网络等。借助已有AI工具,可以实现神经网络的搭建、训练与验证工作。
通过AI或机器学习(Machine Learning,ML)方法替代现有系统中的模块能够有效提升系统性能。例如:可以基于AI模型进行CSI预测,即将历史CSI输入给AI模型,AI模型分析信道的时域变化特性,并输出未来的CSI。如图2所示,在采用AI模型对未来不同时刻的CSI进行预测时,其取得的性能增益(如标准化均方误差(Normalized Mean SquaredError,NMSE))相较于不预测CSI的方案而言,有很大的提升,且预测的未来时刻不同,可以达到的预测精度也会不一样。
AI模型应用于无线通信系统中时,需要在终端上运行相应的神经网络。但是,随着终端的移动、无线环境的变化、执行业务的变化等,终端侧使用的模型也需要进行变化、演进、更新。为了跟踪信道环境的变化,在无线通信中使用AI模型时,需要进行在线训练,即基于终端采集到的在线数据对AI模型进行更新。其中,在线训练的数据是需要不断进行更新的,因此需要对在线数据集进行补充和删除。
在相关技术中,对在线数据集的更新方式为:按照时间顺序,向在线数据集内补充后来的数据,删除在线数据集内先来的数据。但这种更新方式会逐渐使得训练得到的AI模型失去泛化能力,产生过拟合。
而本申请实施例中,将在线数据集划分为离线的基础数据和在线的灵活数据,这样,可以通过基础数据来保障训练得到的AI模型的泛化能力,通过灵活数据来保障训练得到的AI模型与第一设备的信道环境、移动状态、执行业务等的匹配程度。
下面结合附图,通过一些实施例及其应用场景对本申请实施例提供的数据集确定方法、信息传输方法、数据集确定装置、信息传输装置及通信设备等进行详细地说明。
请参阅图3,本申请实施例提供的一种数据集确定方法,其执行主体是第一设备,如图3所示,该第一设备执行的数据集确定方法可以包括以下步骤:
步骤301、第一设备接收来自第二设备的第一数据集。
步骤302、所述第一设备根据采集数据,执行第一操作,其中,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新。
步骤303、所述第一设备根据所述第一操作的结果,确定目标数据集,其中,所述目标数据集用于训练目标AI模型。
其中,所述第一操作的结果,具体可以包括以下任一项:
更新后的所述第一数据集和更新后的所述第二数据集;
更新后的所述第一数据集和未更新的所述第二数据集;
未更新的所述第一数据集和更新后的所述第二数据集;
未更新的所述第一数据集和未更新的所述第二数据集。
一种实施方式中,第一设备可以是终端或者网络侧设备;第二设备可以是另一终端或者网络侧设备,或者第二设备可以是第三方设备。例如:{第一设备是终端,第二设备是网络侧设备},{第一设备是网络侧设备,第二设备是终端},{第一设备是网络侧设备,第二设备是另一个网络侧设备},{第一设备是终端,第二设备是另一个终端},{第一设备是终端,第二设备是第三方设备},{第一设备是第三方设备,第二设备是终端},{第一设备是网络侧设备,第二设备是第三方设备},{第一设备是第三方设备,第二设备是网络侧设备}等情况。其中,上述第三方设备一般是网络上层(Over The Top,OTT)服务器(server),比如:终端厂商服务器、运营商服务器、芯片厂商服务器、网络设备厂商服务器、内容提供商服务器等。这些第三方设备不会参与到实际的移动通信过程中。
为了便于说明,本申请实施例中,通常以第一设备是终端,第二设备是网络侧设备为例进行举例说明。
一种实施方式中,第一数据集可以理解为离线数据集或者是基础数据集,该第一数据集由第二设备确定并下发给第一设备,该第一数据集可以是泛化能力较强的离线数据的集合,如涵盖多种典型的移动状态、通信环境以及业务场景的离线数据。
一种实施方式中,第二数据集可以理解为在线数据集或者是基于在线采集到的采集数据灵活更新的数据集。例如:在第一次构造第二数据集时,基于采集数据确定第二数据集,如将指定数量的采集数据和/或在指定时间段内采集到的采集数据作为第二数据集内的数据,在后续构造第二数据集时,基于最近的采集数据对第二数据集进行更新,如删除第二数据集内的一部分数据和/或向第二数据集内添加最近的采集数据。
一种实施方式中,在训练或更新目标AI模型的过程中,可以对目标数据集进行至少一次更新,此时,第一设备可以在每次更新目标数据集时,从第二设备接收第一数据集。此时,步骤301至步骤303的执行次数等于目标数据集的更新次数。
一种实施方式中,在训练或更新目标AI模型的过程中,可以对目标数据集进行至少一次更新,此时,第一设备可以在第一次更新目标数据集时,从第二设备接收第一数据集,并将更新后的第一数据集存储在本地。后续更新目标数据集时,则以本地存储的第一数据集为基础进行更新。此时,步骤301的执行次数等于1,步骤302和步骤303的执行次数等于目标数据集的更新次数。在此并不限定步骤301至步骤303的执行次数和执行顺序。
一种实施方式中,目标数据集包括未更新的所述第一数据集和更新后的所述第二数据集。
本实施方式中,在对目标数据集进行更新的过程中,可以仅对第二数据集进行更新,而不对第一数据集进行更新。此时,第一数据集不变,即目标数据集内的离线数据不变,基于该离线数据可以保障基于目标数据集训练得到的目标AI模型的泛化能力,且基于更新的第二数据集可以使目标数据集包含与第一设备最新通信环境和/或最新移动状态和/或最新业务场景相匹配的样本数据,从而使得基于该目标数据集训练得到的目标AI模型适用于与第一设备最新通信环境和/或最新移动状态和/或最新业务场景。
一种实施方式中,目标数据集包括更新后的所述第一数据集和未更新的所述第二数据集。
本实施方式中,在对目标数据集进行更新的过程中,可以仅对第一数据集进行更新而不对第二数据集进行更新。
可选地,可以在第一数据集内的离线数据未覆盖第一设备的最新通信环境和/或最新移动状态和/或最新业务场景时,和/或,基于采集数据更新后的第一数据集仍然能够满足保障目标AI模型的泛化能力时,对第一数据集进行更新。
一种实施方式中,目标数据集包括更新后的所述第一数据集和更新后的所述第二数据集。
本实施方式中,在对目标数据集进行更新的过程中,可以对第一数据集和第二数据集进行更新。
可选地,可以基于一部分采集数据来更新第一数据集,基于另一部分采集数据来更新第二数据集。
可选地,在对所述第一数据集和所述第二数据集进行更新的过程中,可以优先对第二数据集进行更新,例如:将更新第二数据集的优先级设置为大于更新第一数据集的优先级。
可选地,在对所述第一数据集和所述第二数据集进行更新的过程中,可以采用不同的更新方式对所述第一数据集和所述第二数据集进行更新,例如:对第一数据集的更新方式可以是:向第一数据集内新增采集数据,和/或,删除第一数据集内的部分数据。例如:在第一数据集的泛化能力足够的情况下,删除第一数据集内的少部分离线数据,或者,向第一数据集内补充M个采集数据,并将第一数据集内与该M个采集数据对应相同的通信环境、移动状态或业务场景的K个离线数据删除。对第二数据集的更新方式可以是:删除第一数据集内的部分数据,并向第二数据集内新增采集数据。
一种实施方式中,目标数据集包括未更新的所述第一数据集和未更新的所述第二数据集。
本实施方式中,可以不对第一数据集和第二数据集进行更新,此时,目标数据集内的数据可以不更新,例如:目标数据集能够满足保障目标AI模型的泛化能力,且基于目标数据集训练得到的目标AI模型适用于第一设备最新通信环境和/或最新移动状态和/或最新业务场景。
值得注意的是,相关技术中的在线数据集仅包含终端采集的在线数据,而本申请实施例中用于进行在线训练的目标数据集可以包括:具有离线数据的第一数据集和具有在线数据的第二数据集。这样,可以基于离线数据来保障训练数据的泛化能力,以及基于在线数据来保障训练数据与第一设备的通信环境、移动状态、业务场景等的匹配程度。
作为一种可选的实施方式,在所述第一设备接收来自第二设备的第一数据集之前,所述方法还包括:
所述第一设备向所述第二设备发送第一请求,其中,所述第一请求用于请求所述第一数据集。
可选地,所述第一请求包括所述第一数据集的描述信息,所述第一数据集的描述信息包括以下至少一项:
数据类型,例如:CSI信息;
数据维度,例如:每个样本是M行或M列的向量,或者是M*N的矩阵,或者是M*N*P的张量等;
数据格式,例如:文本格式、图片格式等;
数据大小限制,如以文件大小描述数据大小的上限和/或下限,其单位可以是bit、Kbit、Mbit、Gbit等;
数据数量限制,例如:最小数据数量,最大数据数量等。
一种实施方式中,不同的设备或者是同一设备在训练不同类型的AI模型时,需要的基础数据可以不同,通过上述描述信息,第二设备可以获知第一设备需要什么样的第一数据集。这样,基于上述第一数据集的描述信息,可以使第二设备向第一设备反馈符合该描述信息的第一数据集。
一种实施方式中,第一设备可以周期性地或在指定时域位置向第二设备请求第一数据。
一种实施方式中,第一设备可以在未曾获取第一数据集的情况下,向第二设备请求第一数据,如:第一设备仅向第二设备发送一次第一请求,以请求初始的第一数据集,后续,第一设备可以基于采集数据对第一数据集进行更新即可。
本实施方式中,由第一设备向第二设备请求第一数据集。
需要说明的是,在另一种可选的实施方式中,也可以由第二设备向第一设备发送指示信息,以将第一数据集指示给第一设备。例如:第二设备可能对第一数据集进行更新,并在更新第一数据集之后,将最新的第一数据集指示给第一设备。
作为一种可选的实施方式,所述方法还包括:
所述第一设备接收来自所述第二设备的第一限制信息,其中,所述第一限制信息为对所述第二数据集和/或所述目标数据集的限制。
可选地,所述第一限制信息用于限制以下至少一项:
数据大小,例如:以文件大小描述数据大小,其单位可以是bit、Kbit、Mbit、Gbit等;
数据数量;
数据时间跨度,该时间跨度的单位可以是毫秒、秒、分钟、小时、天等;
数据位置跨度,该数据位置跨度可以是指数据集内的数据所包含的小区ID个数,或者是绝对位置的范围跨度(如最大距离)。
一种实施方式中,第一设备根据采集数据,执行第一操作,可以包括:
第一设备根据采集数据和第一限制信息,执行第一操作,以使执行第一操作后得到的第二数据集和/或所述目标数据集符合第一限制信息。例如:假设第一限制信息用于限制第二数据集的数据数量的上限,则在根据采集数据,对第二数据集进行更新的过程中,可以根据第一限制信息确定向第二数据集中补充的采集数据的数量,以使第二数据集在更新后的数据数量小于或等于第一限制信息限制的数据数量的上限。
一种实施方式中,鉴于第一数据集是第二设备发送的,其数据大小、数据数量、数据时间跨度以及数据位置跨度可以是固定的,这样,上述第一限制信息对第二数据集的限制和对目标数据集的限制是可以相互推理得到的,例如:第二数据集的数据大小与第一数据集的数量大小之和,等于目标数据集的数量大小。
作为一种可选的实施方式,在所述第一设备根据所述第一操作的结果,确定目标数据集之后,所述方法还包括:
所述第一设备向所述第二设备发送第一信息,其中,所述第一信息用于指示所述第一设备完成所述目标数据集的构造或更新。
可选地,所述第一信息还用于指示有更新的数据集是所述第一数据集和/或所述第二数据集,或者,所述第一信息还用于指示未更新所述第一数据集和所述第二数据集。
一种实施方式中,在第一操作为对第二数据集进行更新的情况下,所述第一信息还用于指示有更新的数据集是所述第二数据集。
一种实施方式中,在第一操作为对所述第一数据集进行更新的情况下,所述第一信息还用于指示有更新的数据集是所述第一数据集。
一种实施方式中,在第一操作为对所述第一数据集和所述第二数据集进行更新的情况下,所述第一信息还用于指示有更新的数据集是所述第一数据集和所述第二数据集。
一种实施方式中,在第一操作为不对所述第一数据集和所述第二数据集进行更新的情况下,所述第一信息还用于指示未更新所述第一数据集和所述第二数据集。
本实施方式中,第一设备在确定目标数据集之后,向第二设备通知该目标数据集已完成构造,这样,第二设备可以据此决定后续处理过程,如:在目标数据集已完成构造时,开始训练目标AI模型。
作为一种可选的实施方式,所述方法还包括:
所述第一设备向所述第二设备发送第二请求,其中,所述第二请求用于请求对所述目标AI模型进行训练;和/或,
所述第一设备接收来自所述第二设备的第一指示信息,其中,所述第一指示信息用于指示允许或禁止对所述目标AI模型进行训练。
一种实施方式中,所述第一设备向所述第二设备发送第二请求,且接收来自所述第二设备的第一指示信息,此时,第一指示信息为第二请求的响应信息,也就是说,第一设备请求第二设备的指示,在第一指示信息指示允许对所述目标AI模型进行训练的情况下,第一设备可以基于目标数据集对所述目标AI模型进行训练。当然,在第一指示信息指示禁止对所述目标AI模型进行训练的情况下,第一设备可以不对所述目标AI模型进行训练
一种实施方式中,第一设备可以接收来自所述第二设备的第一指示信息,此时,由第二设备指示第一设备对所述目标AI模型进行训练。例如:在第一指示信息指示允许对所述目标AI模型进行训练的情况下,第一设备可以基于目标数据集对所述目标AI模型进行训练。
一种实施方式中,所述第一设备向所述第二设备发送第二请求,第二设备根据第二请求决定是否对所述目标AI模型进行训练。例如:第二设备基于第二请求对目标AI模型进行训练。
一种实施方式中,第一设备可以在确定目标数据集时,向第二设备发送第二请求。
一种实施方式中,第一设备可以在确定目标数据集时,向第二设备发送目标数据集,这样,第二设备可以基于目标数据集进行AI模型训练。
本实施方式中,第一设备在确定目标数据集的情况下,可以由第一设备或第二设备发起目标AI模型的训练流程。
可选地,所述对所述目标AI模型进行训练,包括以下至少一项:
所述第一设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备对所述目标AI模型进行训练,例如:第一设备和第二设备通过前向传播信息和反向传播信息的交互,使得第一设备训练目标AI模型的一部分,第二设备训练目标AI模型的另一部分,最后,第二设备将训练的部分目标AI模型发送给第一设备;
所述第一设备和所述第二设备联合训练第一AI模型和第二AI模型,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型,例如:假设第一设备为终端,第二设备为网络侧设备,第一AI模型为编码AI模型,第二AI模型为解码AI模型,则编码AI模型和解码AI模型需要相互匹配,为了实现编码AI模型和解码AI模型相互匹配,终端和网络侧设备对编码AI模型和解码AI模型进行联合训练;
所述第一设备对第一AI模型进行训练,且所述第二设备对第二AI模型进行训练,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型,例如:假设第一设备为终端,第二设备为网络侧设备,第一AI模型为编码AI模型,第二AI模型为解码AI模型,则编码AI模型和解码AI模型需要相互匹配,为了实现编码AI模型和解码AI模型相互匹配,可以在终端对编码AI模型进行训练,在网络侧设备对解码AI模型进行训练,且通过额外训练匹配模型等方式来对编码AI模型和解码AI模型之间的信息进行相互转换。
需要说明的是,本申请实施例中的训练AI模型,可以是在线训练AI模型,即使用包含在线数据的数据集进行训练,且该在线训练过程中的迭代次数(epoch)、训练时间、反向传播次数、每次反向传播所用到的数据量(即批量(batch)或小批量(minibatch))等可能会有限制。
作为一种可选的实施方式,在所述第一设备根据采集数据,执行第一操作之前,所述方法还包括:
所述第一设备向所述第二设备发送第三请求,其中,所述第三请求用于请求更新所述目标数据集。
本实施方式中,第一设备向第二设备请求对目标数据集进行更新。
可选地,所述第三请求信息包括以下至少一项:
第二信息,所述第二信息用于请求对所述第一数据集进行更新;
第三信息,所述第三信息用于请求对所述第二数据集进行更新。
一种实施方式中,第三请求信息包含第二信息,以请求对第一数据集进行更新。
一种实施方式中,第三请求信息包含第三信息,以请求对第二数据集进行更新。
作为一种可选的实施方式,在所述第一设备根据采集数据,执行第一操作之前,所述方法还包括:
所述第一设备接收来自所述第二设备的第二指示信息,其中,所述第二指示信息指示允许或禁止更新所述目标数据集。
例如:第二指示信息指示允许或禁止对目标数据集内的数据进行增加、删减、替换等至少一种更新操作。
本实施方式与上一种可选的实施方式的不同之处在于,本实施方式中,由第二设备向第一设备指示是否对目标数据集进行更新。
可选地,所述第二指示信息包括:
第四信息,所述第四信息用于指示允许或禁止对所述第一数据集进行更新。
一种实施方式中,在所述第四信息用于指示禁止对所述第一数据集进行更新的情况下,所述第一设备根据采集数据,执行第一操作,包括:
所述第一设备根据采集数据,对第二数据集进行更新,或者,所述第一设备根据采集数据,不对所述第一数据集和所述第二数据集进行更新。
一种实施方式中,在所述第四信息用于指示允许对所述第一数据集进行更新的情况下,所述第一设备根据采集数据,执行第一操作,包括:
所述第一设备根据采集数据,对所述第一数据集和所述第二数据集进行更新,或者,所述第一设备根据采集数据,对所述第一数据集进行更新。
一种实施方式中,在第二指示信息包括第四信息,且第四信息指示允许对所述第一数据集进行更新的情况下,所述第一操作包括对所述第一数据集和所述第二数据集进行更新。
一种实施方式中,在第二指示信息包括第四信息,且第四信息指示不允许对所述第一数据集进行更新的情况下,所述第一操作包括对所述第二数据集进行更新。
作为一种可选的实施方式,所述采集数据、所述第一数据集内的每一个数据以及所述第二数据集内的每一个数据,具有各自对应的时间信息;
所述第一设备根据采集数据,执行第一操作,包括:
所述第一设备按照时间顺序,删除所述第二数据集内时间信息早于预设时间的M个数据,并向所述第二数据集内补充K个采集数据,其中,M和K分别为大于或等于1的整数;或者,
所述第一设备按照时间顺序,删除所述第一数据集和所述第二数据集内时间信息早于预设时间的M个数据,并向所述第一数据集和所述第二数据集内补充K个采集数据;或者,
所述第一设备按照时间顺序,删除所述第一数据集内时间信息早于预设时间的M个数据,并向所述第一数据集内补充K个采集数据。
一种实施方式中,M可以等于K,即更新前和更新后的第一数据集和/或第二数据集内的数据数量不变。
一种实施方式中,M和/或K的取值可以根据终端采集到的采集数据的数量以及第一限制信息确定,例如:假设第二数据集有80个灵活数据,第一设备采集到40个采集数据,且第一限制信息限制第二数据集的数据数量小于或等于100个,则第一设备可以确定K等于40,M等于20,即从80个灵活数据中删除20个时间最久的数据,并补充40个采集数据,得到数据数量为100的第二数据集。
需要说明的是,本实施方式中,主要对数据更新的原则进行说明,即按照时间顺序补充最新的采集数据,并删除时间比较久的旧数据。对于未更新的第一数据集和/或第二数据集则没有影响,在此不作赘述。
作为一种可选的实施方式,所述采集数据、所述第一数据集内的每一个数据以及所述第二数据集内的每一个数据,具有各自对应的权重信息;
所述第一设备根据采集数据,执行第一操作,包括:
所述第一设备按照权重大小或等级,删除所述第二数据集内权重信息低于预设权重的M个数据,并向所述第二数据集内补充K个采集数据,其中,M和K分别为大于或等于1的整数;或者,
所述第一设备按照权重大小或等级,删除所述第一数据集和所述第二数据集内权重信息低于预设权重的M个数据,并向所述第一数据集和所述第二数据集内补充K个采集数据;或者,
所述第一设备按照权重大小或等级,删除所述第一数据集内权重信息低于预设权重的M个数据,并向所述第一数据集内补充K个采集数据。
一种实施方式中,上述权重信息可以是用来反映对应数据的重要性、准确性等的取值或等级。例如:权重值越大或权重等级越高,则表示对应的数据越重要或越准确。
一种实施方式中,上述低于预设权重的M个数据,可以是数据集内权重最小的M个数据,此时的预设权重不是固定的取值。
一种实施方式中,上述低于预设权重的M个数据,可以是数据集内低于预设权重的全部数据,此时的预设权重是一个固定的取值。
一种实施方式中,M可以等于K,即更新前和更新后的第一数据集和/或第二数据集内的数据数量不变。
一种实施方式中,M和/或K的取值可以根据终端采集到的采集数据的数量以及第一限制信息确定,例如:假设第二数据集有80个灵活数据,第一设备采集到40个采集数据,且第一限制信息限制第二数据集的数据数量小于或等于100个,则第一设备可以确定K等于40,M等于20,即从80个灵活数据中删除20个权重信息最低的数据,并补充40个采集数据,得到数据数量为100的第二数据集。
需要说明的是,本实施方式与上一种可选的实施方式的区别包括:本实施方式中,按照权重大小或等级来确定需要更新的数据,即按照权重由小到大或者权重等级由低到高的顺序,利用采集数据更新掉权重较低的旧数据。
可选地,在所述第一设备根据采集数据,执行第一操作之后,所述方法还包括:
所述第一设备根据第五信息,更新所述目标数据集内的每一个数据的权重信息。
一种实施方式中,所述第五信息可以包括所述目标数据集内的每一个数据的数据采集时间、数据采集地点、数据质量、数据多样性和数据信噪比中的至少一项。
例如:数据采集时间越近则权重值越大或权重等级越高,和/或,数据采集地点越近则权重值越大或权重等级越高,和/或,数据质量越高则权重值越大或权重等级越高,和/或,数据多样性越好则权重值越大或权重等级越高,和/或,数据信噪比越高则权重值越大或权重等级越高。
或者,可以采用预设的计算公式来根据第五信息计算对应数据的权重,在此不作过多阐述。
本实施方式中,在每次更新目标数据集后,对目标数据集内的数据的权重信息进行更新,以便后续更新过程中据此确定待更新的数据。
在本申请实施例中,第一设备用来构造目标数据集的数据包括第二设备发送的第一数据集内的离线数据,以及通过采集所获取的在线数据。第一设备可以对离线数据进行更新和/或对在线数据进行更新,并根据更新后的离线数据和/或在线数据来构造目标数据集,以实现对目标数据集的更新,此时,更新后的目标数据集可以基于离线数据来保障训练得到的目标AI模型的泛化能力。在某些情况下,可以不更新目标数据集,如目标AI模型基于上一次更新的目标数据集进行更新训练时,此时,第一设备也可以不对离线数据和在线数据进行更新,即目标数据集仍然是基于更新前的离线数据和在线数据所构造数据集,这样,仍然可以基于离线数据来保障训练得到的目标AI模型的泛化能力。
请参阅图4,本申请实施例提供的信息传输方法,其执行主体可以是第二设备,如图4所示,该信息传输方法可以包括以下步骤:
步骤401、第二设备向第一设备发送第一数据集,其中,所述第一设备为根据第一操作的结果确定目标数据集的设备,所述目标数据集用于训练目标AI模型,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新。
其中,第一操作的结果,具体可以包括以下至少一项:
更新后的所述第一数据集和更新后的第二数据集;
更新后的所述第一数据集和未更新的所述第二数据集;
未更新的所述第一数据集和更新后的所述第二数据集;
未更新的所述第一数据集和未更新的所述第二数据集。
上述第二设备可以是终端或者网络侧设备,在此不作具体限定,该第二设备预先存储有第一数据集,该第一数据集包括能够提升AI模型泛化能力的离线数据。
一种实施方式中,第一数据集内的离线数据可以是第二设备确定的或者是网络侧设备下发的或者是协议约定的,在此不作具体限定。
本申请实施例中的第一信息、第一数据集、第二数据集、目标数据集、目标AI网络模型的含义和作用与如图3所示方法实施例中的第一信息、第一数据集、第二数据集、目标数据集、目标AI网络模型的含义和作用相同,在此不作具体限定。
一种实施方式中,第二设备可以在每次更新目标数据集时,向第一设备发送第一数据集。
一种实施方式中,第二设备可以仅在第一次更新目标数据集时,向第一设备发送第一数据集。
作为一种可选的实施方式,在所述第二设备向第一设备发送第一数据集之前,所述方法还包括:
所述第二设备接收来自所述第一设备的第一请求,其中,所述第一请求用于请求所述第一数据集。
作为一种可选的实施方式,所述第一请求包括所述第一数据集的描述信息,所述第一数据集的描述信息包括以下至少一项:
数据类型;
数据维度;
数据格式;
数据大小限制;
数据数量限制。
作为一种可选的实施方式,所述方法还包括:
所述第二设备向所述第一设备发送第一限制信息,其中,所述第一限制信息为对所述第二数据集和/或所述目标数据集的限制。
作为一种可选的实施方式,所述第一限制信息用于限制以下至少一项:
数据大小;
数据数量;
数据时间跨度;
数据位置跨度。
作为一种可选的实施方式,所述方法还包括:
所述第二设备接收来自所述第一设备的第一信息,其中,所述第一信息用于指示所述第一设备完成所述目标数据集的构造或更新。
作为一种可选的实施方式,所述第一信息还用于指示有更新的数据集是所述第一数据集和/或所述第二数据集,或者,所述第一信息还用于指示未更新所述第一数据集和所述第二数据集。
作为一种可选的实施方式,所述方法还包括:
所述第二设备接收来自所述第一设备的第二请求,其中,所述第二请求用于请求对所述目标AI模型进行训练;和/或,
所述第二设备向所述第一设备发送第一指示信息,其中,所述第一指示信息用于指示允许或禁止对所述目标AI模型进行训练。
作为一种可选的实施方式,所述对所述目标AI模型进行训练,包括以下至少一项:
所述第一设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备联合训练第一AI模型和第二AI模型,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型;
所述第一设备对第一AI模型进行训练,且所述第二设备对第二AI模型进行训练,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型。
作为一种可选的实施方式,所述方法还包括:
所述第二设备接收来自所述第一设备的第三请求,其中,所述第三请求用于请求更新所述目标数据集。
作为一种可选的实施方式,所述第三请求信息包括以下至少一项:
第二信息,所述第二信息用于请求对所述第一数据集进行更新;
第三信息,所述第三信息用于请求对所述第二数据集进行更新。
作为一种可选的实施方式,所述方法还包括:
所述第二设备向所述第一设备发送第二指示信息,其中,所述第二指示信息指示允许或禁止更新所述目标数据集。
作为一种可选的实施方式,所述第二指示信息包括:
第四信息,所述第四信息用于指示允许或禁止对所述第一数据集进行更新。
本申请实施例中,第二设备向第一设备发送用于保障训练的目标AI模型的泛化能力的第一数据集,以使第一设备基于该第一数据集和在线数据训练既符合第一设备的通信环境、移动状态、业务场景等,又具备泛化能力的目标AI模型。
为了便于说明本申请实施例提供的数据集确定方法和信息传输方法,以如图5所示应用场景为例对本申请实施例的数据集确定方法和信息传输方法进行举例说明。
如图5所示,第一设备为终端,第二设备为网络侧设备,此时,可以通过以下过程更新用于训练AI模型的目标数据集:
1、终端向网络侧设备发送第一请求。
2、网络侧设备向终端发送第一数据集。
3、网络侧设备向终端发送第一限制信息。
4、终端构造目标数据集。
本步骤中,终端可以基于第一数据集、采集数据和第一限制信息来构造目标数据集,例如:将第一数据集作为基础数据添加至目标数据集内,并基于采集数据补充和/或更新目标数据集内的灵活数据。
5、终端向网络侧设备发送第一信息。
6、终端向网络侧设备发送第二请求。
7、网络侧设备向终端发送第一指示信息。
在第一指示信息指示允许对所述目标AI模型进行训练的情况下,执行步骤8。
8、终端基于目标数据集对目标AI模型进行训练。
9、终端向网络侧设备发送第三请求。
10、网络侧设备向终端发送第二指示信息。
在第二指示信息指示允许更新所述目标数据集的情况下,执行步骤11。
11、终端根据第二指示信息更新目标数据集。
12、终端向网络侧设备发送第一信息。
本申请实施例提供的数据集确定方法,执行主体可以为数据集确定装置。本申请实施例中以数据集确定装置执行数据集确定方法为例,说明本申请实施例提供的数据集确定装置。
请参阅图6,本申请实施例提供的一种数据集确定装置,可以是第一设备内的装置,如图6所示,该数据集确定装置600可以包括以下模块:
第一接收模块601,用于接收来自第二设备的第一数据集;
执行模块602,用于根据采集数据,执行第一操作,其中,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新;
第一确定模块,用于根据所述第一操作的结果,确定目标数据集,其中,所述目标数据集用于训练目标AI模型。
可选地,数据集确定装置600还包括:
第三发送模块,用于向所述第二设备发送第一请求,其中,所述第一请求用于请求所述第一数据集。
可选地,所述第一请求包括所述第一数据集的描述信息,所述第一数据集的描述信息包括以下至少一项:
数据类型;
数据维度;
数据格式;
数据大小限制;
数据数量限制。
可选地,数据集确定装置600还包括:
第二接收模块,用于接收来自所述第二设备的第一限制信息,其中,所述第一限制信息为对所述第二数据集和/或所述目标数据集的限制。
可选地,所述第一限制信息用于限制以下至少一项:
数据大小;
数据数量;
数据时间跨度;
数据位置跨度。
可选地,数据集确定装置600还包括:
第四发送模块,用于向所述第二设备发送第一信息,其中,所述第一信息用于指示所述第一设备完成所述目标数据集的构造或更新。
可选地,所述第一信息还用于指示有更新的数据集是所述第一数据集和/或所述第二数据集,或者,所述第一信息还用于指示未更新所述第一数据集和所述第二数据集。
可选地,数据集确定装置600还包括:
第五发送模块,用于向所述第二设备发送第二请求,其中,所述第二请求用于请求对所述目标AI模型进行训练;和/或,
第三接收模块,用于接收来自所述第二设备的第一指示信息,其中,所述第一指示信息用于指示允许或禁止对所述目标AI模型进行训练。
可选地,所述对所述目标AI模型进行训练,包括以下至少一项:
所述第一设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备联合训练第一AI模型和第二AI模型,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型;
所述第一设备对第一AI模型进行训练,且所述第二设备对第二AI模型进行训练,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型。
可选地,数据集确定装置600还包括:
第六发送模块,用于向所述第二设备发送第三请求,其中,所述第三请求用于请求更新所述目标数据集。
可选地,所述第三请求信息包括以下至少一项:
第二信息,所述第二信息用于请求对所述第一数据集进行更新;
第三信息,所述第三信息用于请求对所述第二数据集进行更新。
可选地,数据集确定装置600还包括:
第四接收模块,用于接收来自所述第二设备的第二指示信息,其中,所述第二指示信息指示允许或禁止更新所述目标数据集。
可选地,所述第二指示信息包括:
第四信息,所述第四信息用于指示允许或禁止对所述第一数据集进行更新。
可选地,在所述第四信息用于指示禁止对所述第一数据集进行更新的情况下,执行模块602,具体用于:
根据采集数据,对第二数据集进行更新,或者,所述第一设备根据采集数据,不对所述第一数据集和所述第二数据集进行更新;
和/或,
在所述第四信息用于指示允许对所述第一数据集进行更新的情况下,执行模块602,具体用于:
根据采集数据,对所述第一数据集和所述第二数据集进行更新,或者,所述第一设备根据采集数据,对所述第一数据集进行更新。
可选地,所述采集数据、所述第一数据集内的每一个数据以及所述第二数据集内的每一个数据,具有各自对应的时间信息;
执行模块602,具体用于:
按照时间顺序,删除所述第二数据集内时间信息早于预设时间的M个数据,并向所述第二数据集内补充K个采集数据,其中,M和K分别为大于或等于1的整数;或者,
按照时间顺序,删除所述第一数据集和所述第二数据集内时间信息早于预设时间的M个数据,并向所述第一数据集和所述第二数据集内补充K个采集数据;或者,
按照时间顺序,删除所述第一数据集内时间信息早于预设时间的M个数据,并向所述第一数据集内补充K个采集数据。
可选地,所述采集数据、所述第一数据集内的每一个数据以及所述第二数据集内的每一个数据,具有各自对应的权重信息;
执行模块602,具体用于:
按照权重大小或等级,删除所述第二数据集内权重信息低于预设权重的M个数据,并向所述第二数据集内补充K个采集数据,其中,M和K分别为大于或等于1的整数;或者,
按照权重大小或等级,删除所述第一数据集和所述第二数据集内权重信息低于预设权重的M个数据,并向所述第一数据集和所述第二数据集内补充K个采集数据;或者,
按照权重大小或等级,删除所述第一数据集内权重信息低于预设权重的M个数据,并向所述第一数据集内补充K个采集数据。
可选地,数据集确定装置600还包括:
确定模块,用于根据第五信息,更新所述目标数据集内的每一个数据的权重信息。
可选地,所述第五信息包括所述目标数据集内的每一个数据的数据采集时间、数据采集地点、数据质量、数据多样性和数据信噪比中的至少一项。
本申请实施例的数据集确定装置600能够实现如图3所示方法实施例中,第一设备实现的各个过程,且能够取得相同的有益效果,为避免重复,在此不再赘述。
本申请实施例提供的信息传输方法,执行主体可以为信息传输装置。本申请实施例中以信息传输装置执行信息传输方法为例,说明本申请实施例提供的信息传输装置。
请参阅图7,本申请实施例提供的一种信息传输装置,可以是第二设备内的装置,如图7所示,该信息传输装置700可以包括以下模块:
第二发送模块701,用于向第一设备发送第一数据集,其中,所述第一设备为根据第一操作的结果确定目标数据集的设备,所述目标数据集用于训练目标AI模型,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新。
可选地,信息传输装置700还包括:
第五接收模块,用于接收来自所述第一设备的第一请求,其中,所述第一请求用于请求所述第一数据集。
可选地,所述第一请求包括所述第一数据集的描述信息,所述第一数据集的描述信息包括以下至少一项:
数据类型;
数据维度;
数据格式;
数据大小限制;
数据数量限制。
可选地,信息传输装置700还包括:
第七发送模块,用于向所述第一设备发送第一限制信息,其中,所述第一限制信息为对所述第二数据集和/或所述目标数据集的限制。
可选地,所述第一限制信息用于限制以下至少一项:
数据大小;
数据数量;
数据时间跨度;
数据位置跨度。
可选地,信息传输装置700还包括:
第六接收模块,用于接收来自所述第一设备的第一信息,其中,所述第一信息用于指示所述第一设备完成所述目标数据集的构造或更新。
可选地,所述第一信息还用于指示有更新的数据集是所述第一数据集和/或所述第二数据集,或者,所述第一信息还用于指示未更新所述第一数据集和所述第二数据集。
可选地,信息传输装置700还包括:
第七接收模块,用于接收来自所述第一设备的第二请求,其中,所述第二请求用于请求对所述目标AI模型进行训练;和/或,
第八发送模块,用于向所述第一设备发送第一指示信息,其中,所述第一指示信息用于指示允许或禁止对所述目标AI模型进行训练。
可选地,所述对所述目标AI模型进行训练,包括以下至少一项:
所述第一设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备联合训练第一AI模型和第二AI模型,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型;
所述第一设备对第一AI模型进行训练,且所述第二设备对第二AI模型进行训练,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型。
可选地,信息传输装置700还包括:
第八接收模块,用于接收来自所述第一设备的第三请求,其中,所述第三请求用于请求更新所述目标数据集。
可选地,所述第三请求信息包括以下至少一项:
第二信息,所述第二信息用于请求对所述第一数据集进行更新;
第三信息,所述第三信息用于请求对所述第二数据集进行更新。
可选地,信息传输装置700还包括:
第九发送模块,用于向所述第一设备发送第二指示信息,其中,所述第二指示信息指示允许或禁止更新所述目标数据集。
可选地,所述第二指示信息包括:
第四信息,所述第四信息用于指示允许或禁止对所述第一数据集进行更新。
本申请实施例提供的信息传输装置700,能够实现如图4所示方法实施例中第二设备实现的各个过程,且能够取得相同的有益效果,为避免重复,在此不再赘述。
可选地,如图8所示,本申请实施例还提供一种通信设备800,包括处理器801和存储器802,存储器802上存储有可在所述处理器801上运行的程序或指令,例如,该通信设备800为第一设备时,该程序或指令被处理器801执行时实现如图3所示方法实施例的各个步骤,且能达到相同的技术效果。该通信设备800为第二设备时,该程序或指令被处理器801执行时实现如图4所示方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供一种通信设备,包括处理器和通信接口。
在一种实施方式中,在所述通信设备为第一设备的情况下,所述通信接口用于接收来自第二设备的第一数据集;所述处理器用于根据采集数据,执行第一操作,其中,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新;所述处理器还用于根据所述第一操作的结果,确定目标数据集,其中,所述目标数据集用于训练目标AI模型。
本实施方式中,该通信设备实施例能够实现如图6所示数据集确定装置600执行的各个过程,且能达到相同的技术效果,在此不再赘述。
在另一种实施方式中,在所述通信设备为第二设备的情况下,所述通信接口用于向第一设备发送第一数据集,其中,所述第一设备为根据第一操作的结果确定目标数据集的设备,所述目标数据集用于训练目标AI模型,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新。
本实施方式中,该通信设备实施例能够实现如图7所示信息传输装置700执行的各个过程,且能达到相同的技术效果,在此不再赘述。
图9为实现本申请实施例的一种终端的硬件结构示意图。
该终端900包括但不限于:射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909以及处理器910等中的至少部分部件。
本领域技术人员可以理解,终端900还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器910逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的终端结构并不构成对终端的限定,终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
应理解的是,本申请实施例中,输入单元904可以包括图形处理单元(GraphicsProcessing Unit,GPU)9041和麦克风9042,图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071,也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
本申请实施例中,射频单元901接收来自网络侧设备的下行数据后,可以传输给处理器910进行处理;另外,射频单元901可以向网络侧设备发送上行数据。通常,射频单元901包括但不限于天线、放大器、收发信机、耦合器、低噪声放大器、双工器等。
存储器909可用于存储软件程序或指令以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器909可以包括易失性存储器或非易失性存储器,或者,存储器909可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(SynchronousDRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。
处理器910可包括一个或多个处理单元;可选地,处理器910集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器910中。
一种实施方式中,终端900作为第一设备。
此时,射频单元901,用于接收来自第二设备的第一数据集;
处理器910,用于根据采集数据,执行第一操作,其中,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新;
所述第一设备根据所述第一操作的结果,确定目标数据集,其中,所述目标数据集用于训练目标AI模型。
可选地,射频单元901在执行所述接收来自第二设备的第一数据集之前,所还用于向所述第二设备发送第一请求,其中,所述第一请求用于请求所述第一数据集。
可选地,所述第一请求包括所述第一数据集的描述信息,所述第一数据集的描述信息包括以下至少一项:
数据类型;
数据维度;
数据格式;
数据大小限制;
数据数量限制。
可选地,射频单元901,还用于接收来自所述第二设备的第一限制信息,其中,所述第一限制信息为对所述第二数据集和/或所述目标数据集的限制。
可选地,所述第一限制信息用于限制以下至少一项:
数据大小;
数据数量;
数据时间跨度;
数据位置跨度。
可选地,在处理器910执行所述根据所述第一操作的结果,确定目标数据集之后:
射频单元901,还用于向所述第二设备发送第一信息,其中,所述第一信息用于指示所述第一设备完成所述目标数据集的构造或更新。
可选地,所述第一信息还用于指示有更新的数据集是所述第一数据集和/或所述第二数据集,或者,所述第一信息还用于指示未更新所述第一数据集和所述第二数据集。
可选地,射频单元901,还用于:
向所述第二设备发送第二请求,其中,所述第二请求用于请求对所述目标AI模型进行训练;和/或,
接收来自所述第二设备的第一指示信息,其中,所述第一指示信息用于指示允许或禁止对所述目标AI模型进行训练。
可选地,所述对所述目标AI模型进行训练,包括以下至少一项:
所述第一设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备联合训练第一AI模型和第二AI模型,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型;
所述第一设备对第一AI模型进行训练,且所述第二设备对第二AI模型进行训练,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型。
可选地,在处理器910执行所述根据采集数据,执行第一操作之前:
射频单元901,还用于向所述第二设备发送第三请求,其中,所述第三请求用于请求更新所述目标数据集。
可选地,所述第三请求信息包括以下至少一项:
第二信息,所述第二信息用于请求对所述第一数据集进行更新;
第三信息,所述第三信息用于请求对所述第二数据集进行更新。
可选地,在处理器910执行所述根据采集数据,执行第一操作之前:
射频单元901,还用于接收来自所述第二设备的第二指示信息,其中,所述第二指示信息指示允许或禁止更新所述目标数据集。
可选地,所述第二指示信息包括:
第四信息,所述第四信息用于指示允许或禁止对所述第一数据集进行更新。
可选地,在所述第四信息用于指示禁止对所述第一数据集进行更新的情况下,处理器910执行的所述根据采集数据,执行第一操作,包括:
根据采集数据,对第二数据集进行更新,或者,所述第一设备根据采集数据,不对所述第一数据集和所述第二数据集进行更新;
和/或,
在所述第四信息用于指示允许对所述第一数据集进行更新的情况下,处理器910执行的所述根据采集数据,执行第一操作,包括:
根据采集数据,对所述第一数据集和所述第二数据集进行更新,或者,所述第一设备根据采集数据,对所述第一数据集进行更新。
可选地,所述采集数据、所述第一数据集内的每一个数据以及所述第二数据集内的每一个数据,具有各自对应的时间信息;
处理器910执行的所述根据采集数据,执行第一操作,包括:
按照时间顺序,删除所述第二数据集内时间信息早于预设时间的M个数据,并向所述第二数据集内补充K个采集数据,其中,M和K分别为大于或等于1的整数;或者,
按照时间顺序,删除所述第一数据集和所述第二数据集内时间信息早于预设时间的M个数据,并向所述第一数据集和所述第二数据集内补充K个采集数据;或者,
按照时间顺序,删除所述第一数据集内时间信息早于预设时间的M个数据,并向所述第一数据集内补充K个采集数据。
可选地,所述采集数据、所述第一数据集内的每一个数据以及所述第二数据集内的每一个数据,具有各自对应的权重信息;
处理器910执行的所述根据采集数据,执行第一操作,包括:
按照权重大小或等级,删除所述第二数据集内权重信息低于预设权重的M个数据,并向所述第二数据集内补充K个采集数据,其中,M和K分别为大于或等于1的整数;或者,
按照权重大小或等级,删除所述第一数据集和所述第二数据集内权重信息低于预设权重的M个数据,并向所述第一数据集和所述第二数据集内补充K个采集数据;或者,
按照权重大小或等级,删除所述第一数据集内权重信息低于预设权重的M个数据,并向所述第一数据集内补充K个采集数据。
可选地,处理器910在执行所述根据采集数据,执行第一操作之后,还用于根据第五信息,更新所述目标数据集内的每一个数据的权重信息。
可选地,所述第五信息包括所述目标数据集内的每一个数据的数据采集时间、数据采集地点、数据质量、数据多样性和数据信噪比中的至少一项。
本实施方式中,本申请实施例提供的终端900能够实现如图6所示数据集确定装置600中个模型执行的过程,且能够取得相同的有益效果,为避免重复,在此不再赘述。
一种实施方式中,终端900作为第二设备。
此时,射频单元901,用于向第一设备发送第一数据集,其中,所述第一设备为根据第一操作的结果确定目标数据集的设备,所述目标数据集用于训练目标AI模型,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新。
可选地,射频单元901在执行所述向第一设备发送第一数据集之前,还用于接收来自所述第一设备的第一请求,其中,所述第一请求用于请求所述第一数据集。
可选地,所述第一请求包括所述第一数据集的描述信息,所述第一数据集的描述信息包括以下至少一项:
数据类型;
数据维度;
数据格式;
数据大小限制;
数据数量限制。
可选地,射频单元901,还用于向所述第一设备发送第一限制信息,其中,所述第一限制信息为对所述第二数据集和/或所述目标数据集的限制。
可选地,所述第一限制信息用于限制以下至少一项:
数据大小;
数据数量;
数据时间跨度;
数据位置跨度。
可选地,射频单元901,还用于接收来自所述第一设备的第一信息,其中,所述第一信息用于指示所述第一设备完成所述目标数据集的构造或更新。
可选地,所述第一信息还用于指示有更新的数据集是所述第一数据集和/或所述第二数据集,或者,所述第一信息还用于指示未更新所述第一数据集和所述第二数据集。
可选地,射频单元901,还用于:
接收来自所述第一设备的第二请求,其中,所述第二请求用于请求对所述目标AI模型进行训练;和/或,
向所述第一设备发送第一指示信息,其中,所述第一指示信息用于指示允许或禁止对所述目标AI模型进行训练。
可选地,所述对所述目标AI模型进行训练,包括以下至少一项:
所述第一设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备联合训练第一AI模型和第二AI模型,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型;
所述第一设备对第一AI模型进行训练,且所述第二设备对第二AI模型进行训练,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型。
可选地,射频单元901,还用于接收来自所述第一设备的第三请求,其中,所述第三请求用于请求更新所述目标数据集。
可选地,所述第三请求信息包括以下至少一项:
第二信息,所述第二信息用于请求对所述第一数据集进行更新;
第三信息,所述第三信息用于请求对所述第二数据集进行更新。
可选地,射频单元901,还用于向所述第一设备发送第二指示信息,其中,所述第二指示信息指示允许或禁止更新所述目标数据集。
可选地,所述第二指示信息包括:
第四信息,所述第四信息用于指示允许或禁止对所述第一数据集进行更新。
本申请实施例提供的终端900能够实现如图7所示信息传输装置700中个模型执行的过程,且能够取得相同的有益效果,为避免重复,在此不再赘述。
本申请实施例还提供了一种网络侧设备。如图10所示,该网络侧设备1000包括:天线1001、射频装置1002、基带装置1003、处理器1004和存储器1005。天线1001与射频装置1002连接。在上行方向上,射频装置1002通过天线1001接收信息,将接收的信息发送给基带装置1003进行处理。在下行方向上,基带装置1003对要发送的信息进行处理,并发送给射频装置1002,射频装置1002对收到的信息进行处理后经过天线1001发送出去。
以上实施例中网络侧设备执行的方法可以在基带装置1003中实现,该基带装置1003包括基带处理器。
基带装置1003例如可以包括至少一个基带板,该基带板上设置有多个芯片,如图10所示,其中一个芯片例如为基带处理器,通过总线接口与存储器1005连接,以调用存储器1005中的程序,执行以上方法实施例中所示的网络设备操作。
该网络侧设备还可以包括网络接口1006,该接口例如为通用公共无线接口(Common Public Radio Interface,CPRI)。
具体地,本发明实施例的网络侧设备1000还包括:存储在存储器1005上并可在处理器1004上运行的指令或程序,处理器1004调用存储器1005中的指令或程序执行图6或图7所示各模块执行的方法,并达到相同的技术效果,为避免重复,故不在此赘述。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现如图3或图4所示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如图3或图4所示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片,系统芯片,芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现如图3或图4所示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供了一种通信系统,包括:第一设备和第二设备,所述第一设备可用于执行如图3所示的数据集确定方法的步骤,所述第二设备可用于执行如图4所示的信息传输方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (35)
1.一种数据集确定方法,其特征在于,包括:
第一设备接收来自第二设备的第一数据集;
所述第一设备根据采集数据,执行第一操作,其中,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新;
所述第一设备根据所述第一操作的结果,确定目标数据集,其中,所述目标数据集用于训练目标AI模型。
2.根据权利要求1所述的方法,其特征在于,在所述第一设备接收来自第二设备的第一数据集之前,所述方法还包括:
所述第一设备向所述第二设备发送第一请求,其中,所述第一请求用于请求所述第一数据集。
3.根据权利要求2所述的方法,其特征在于,所述第一请求包括所述第一数据集的描述信息,所述第一数据集的描述信息包括以下至少一项:
数据类型;
数据维度;
数据格式;
数据大小限制;
数据数量限制。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一设备接收来自所述第二设备的第一限制信息,其中,所述第一限制信息为对所述第二数据集和/或所述目标数据集的限制。
5.根据权利要求4所述的方法,其特征在于,所述第一限制信息用于限制以下至少一项:
数据大小;
数据数量;
数据时间跨度;
数据位置跨度。
6.根据权利要求1所述的方法,其特征在于,在所述第一设备根据所述第一操作的结果,确定目标数据集之后,所述方法还包括:
所述第一设备向所述第二设备发送第一信息,其中,所述第一信息用于指示所述第一设备完成所述目标数据集的构造或更新。
7.根据权利要求6所述的方法,其特征在于,所述第一信息还用于指示有更新的数据集是所述第一数据集和/或所述第二数据集,或者,所述第一信息还用于指示未更新所述第一数据集和所述第二数据集。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一设备向所述第二设备发送第二请求,其中,所述第二请求用于请求对所述目标AI模型进行训练;和/或,
所述第一设备接收来自所述第二设备的第一指示信息,其中,所述第一指示信息用于指示允许或禁止对所述目标AI模型进行训练。
9.根据权利要求8所述的方法,其特征在于,所述对所述目标AI模型进行训练,包括以下至少一项:
所述第一设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备联合训练第一AI模型和第二AI模型,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型;
所述第一设备对第一AI模型进行训练,且所述第二设备对第二AI模型进行训练,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型。
10.根据权利要求1至9中任一项所述的方法,其特征在于,在所述第一设备根据采集数据,执行第一操作之前,所述方法还包括:
所述第一设备向所述第二设备发送第三请求,其中,所述第三请求用于请求更新所述目标数据集。
11.根据权利要求10所述的方法,其特征在于,所述第三请求信息包括以下至少一项:
第二信息,所述第二信息用于请求对所述第一数据集进行更新;
第三信息,所述第三信息用于请求对所述第二数据集进行更新。
12.根据权利要求1至9中任一项所述的方法,其特征在于,在所述第一设备根据采集数据,执行第一操作之前,所述方法还包括:
所述第一设备接收来自所述第二设备的第二指示信息,其中,所述第二指示信息指示允许或禁止更新所述目标数据集。
13.根据权利要求12所述的方法,其特征在于,所述第二指示信息包括:
第四信息,所述第四信息用于指示允许或禁止对所述第一数据集进行更新。
14.根据权利要求13所述的方法,其特征在于,在所述第四信息用于指示禁止对所述第一数据集进行更新的情况下,所述第一设备根据采集数据,执行第一操作,包括:
所述第一设备根据采集数据,对第二数据集进行更新,或者,所述第一设备根据采集数据,不对所述第一数据集和所述第二数据集进行更新;
和/或,
在所述第四信息用于指示允许对所述第一数据集进行更新的情况下,所述第一设备根据采集数据,执行第一操作,包括:
所述第一设备根据采集数据,对所述第一数据集和所述第二数据集进行更新,或者,所述第一设备根据采集数据,对所述第一数据集进行更新。
15.根据权利要求1至9中任一项所述的方法,其特征在于,所述采集数据、所述第一数据集内的每一个数据以及所述第二数据集内的每一个数据,具有各自对应的时间信息;
所述第一设备根据采集数据,执行第一操作,包括:
所述第一设备按照时间顺序,删除所述第二数据集内时间信息早于预设时间的M个数据,并向所述第二数据集内补充K个采集数据,其中,M和K分别为大于或等于1的整数;或者,
所述第一设备按照时间顺序,删除所述第一数据集和所述第二数据集内时间信息早于预设时间的M个数据,并向所述第一数据集和所述第二数据集内补充K个采集数据;或者,
所述第一设备按照时间顺序,删除所述第一数据集内时间信息早于预设时间的M个数据,并向所述第一数据集内补充K个采集数据。
16.根据权利要求1至9中任一项所述的方法,其特征在于,所述采集数据、所述第一数据集内的每一个数据以及所述第二数据集内的每一个数据,具有各自对应的权重信息;
所述第一设备根据采集数据,执行第一操作,包括:
所述第一设备按照权重大小或等级,删除所述第二数据集内权重信息低于预设权重的M个数据,并向所述第二数据集内补充K个采集数据,其中,M和K分别为大于或等于1的整数;或者,
所述第一设备按照权重大小或等级,删除所述第一数据集和所述第二数据集内权重信息低于预设权重的M个数据,并向所述第一数据集和所述第二数据集内补充K个采集数据;或者,
所述第一设备按照权重大小或等级,删除所述第一数据集内权重信息低于预设权重的M个数据,并向所述第一数据集内补充K个采集数据。
17.根据权利要求16所述的方法,其特征在于,在所述第一设备根据采集数据,执行第一操作之后,所述方法还包括:
所述第一设备根据第五信息,更新所述目标数据集内的每一个数据的权重信息。
18.根据权利要求17所述的方法,其特征在于,所述第五信息包括所述目标数据集内的每一个数据的数据采集时间、数据采集地点、数据质量、数据多样性和数据信噪比中的至少一项。
19.一种信息传输方法,其特征在于,包括:
第二设备向第一设备发送第一数据集,其中,所述第一设备为根据第一操作的结果确定目标数据集的设备,所述目标数据集用于训练目标AI模型,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新。
20.根据权利要求19所述的方法,其特征在于,在所述第二设备向第一设备发送第一数据集之前,所述方法还包括:
所述第二设备接收来自所述第一设备的第一请求,其中,所述第一请求用于请求所述第一数据集。
21.根据权利要求20所述的方法,其特征在于,所述第一请求包括所述第一数据集的描述信息,所述第一数据集的描述信息包括以下至少一项:
数据类型;
数据维度;
数据格式;
数据大小限制;
数据数量限制。
22.根据权利要求19所述的方法,其特征在于,所述方法还包括:
所述第二设备向所述第一设备发送第一限制信息,其中,所述第一限制信息为对所述第二数据集和/或所述目标数据集的限制。
23.根据权利要求22所述的方法,其特征在于,所述第一限制信息用于限制以下至少一项:
数据大小;
数据数量;
数据时间跨度;
数据位置跨度。
24.根据权利要求19所述的方法,其特征在于,所述方法还包括:
所述第二设备接收来自所述第一设备的第一信息,其中,所述第一信息用于指示所述第一设备完成所述目标数据集的构造或更新。
25.根据权利要求24所述的方法,其特征在于,所述第一信息还用于指示有更新的数据集是所述第一数据集和/或所述第二数据集,或者,所述第一信息还用于指示未更新所述第一数据集和所述第二数据集。
26.根据权利要求19所述的方法,其特征在于,所述方法还包括:
所述第二设备接收来自所述第一设备的第二请求,其中,所述第二请求用于请求对所述目标AI模型进行训练;和/或,
所述第二设备向所述第一设备发送第一指示信息,其中,所述第一指示信息用于指示允许或禁止对所述目标AI模型进行训练。
27.根据权利要求26所述的方法,其特征在于,所述对所述目标AI模型进行训练,包括以下至少一项:
所述第一设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备对所述目标AI模型进行训练;
所述第一设备和所述第二设备联合训练第一AI模型和第二AI模型,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型;
所述第一设备对第一AI模型进行训练,且所述第二设备对第二AI模型进行训练,其中,所述目标AI模型包括所述第一AI模型和所述第二AI模型,所述第一AI模型为所述第一设备侧的AI模型,所述第二AI模型为所述第二设备侧的AI模型。
28.根据权利要求19至27中任一项所述的方法,其特征在于,所述方法还包括:
所述第二设备接收来自所述第一设备的第三请求,其中,所述第三请求用于请求更新所述目标数据集。
29.根据权利要求28所述的方法,其特征在于,所述第三请求信息包括以下至少一项:
第二信息,所述第二信息用于请求对所述第一数据集进行更新;
第三信息,所述第三信息用于请求对所述第二数据集进行更新。
30.根据权利要求19至27中任一项所述的方法,其特征在于,所述方法还包括:
所述第二设备向所述第一设备发送第二指示信息,其中,所述第二指示信息指示允许或禁止更新所述目标数据集。
31.根据权利要求30所述的方法,其特征在于,所述第二指示信息包括:
第四信息,所述第四信息用于指示允许或禁止对所述第一数据集进行更新。
32.一种数据集确定装置,其特征在于,所述装置包括:
第一接收模块,用于接收来自第二设备的第一数据集;
执行模块,用于根据采集数据,执行第一操作,其中,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新;
第一确定模块,用于根据所述第一操作的结果,确定目标数据集,其中,所述目标数据集用于训练目标AI模型。
33.一种信息传输装置,其特征在于,所述装置包括:
第二发送模块,用于向第一设备发送第一数据集,其中,所述第一设备为根据第一操作的结果确定目标数据集的设备,所述目标数据集用于训练目标AI模型,所述第一操作包括:对第二数据集进行更新,或者对所述第一数据集进行更新,或者对所述第一数据集和所述第二数据集进行更新,或者不对所述第一数据集和所述第二数据集进行更新。
34.一种通信设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至18中任一项所述的数据集确定方法的步骤,或者实现如权利要求19至31中任一项所述的信息传输方法的步骤。
35.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至18中任一项所述的数据集确定方法的步骤,或者实现如权利要求19至31中任一项所述的信息传输方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211720776.1A CN118283643A (zh) | 2022-12-30 | 2022-12-30 | 数据集确定方法、信息传输方法、装置和通信设备 |
PCT/CN2023/141346 WO2024140512A1 (zh) | 2022-12-30 | 2023-12-25 | 数据集确定方法、信息传输方法、装置和通信设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211720776.1A CN118283643A (zh) | 2022-12-30 | 2022-12-30 | 数据集确定方法、信息传输方法、装置和通信设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118283643A true CN118283643A (zh) | 2024-07-02 |
Family
ID=91632497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211720776.1A Pending CN118283643A (zh) | 2022-12-30 | 2022-12-30 | 数据集确定方法、信息传输方法、装置和通信设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118283643A (zh) |
WO (1) | WO2024140512A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10762444B2 (en) * | 2018-09-06 | 2020-09-01 | Quickpath, Inc. | Real-time drift detection in machine learning systems and applications |
CN112016613A (zh) * | 2020-08-26 | 2020-12-01 | 广州市百果园信息技术有限公司 | 视频内容分类模型的训练方法、装置、计算机设备及介质 |
US20220358397A1 (en) * | 2021-05-05 | 2022-11-10 | International Business Machines Corporation | Moving decision boundaries in machine learning models |
CN113486586B (zh) * | 2021-07-06 | 2023-09-05 | 新奥新智科技有限公司 | 设备健康状态评估方法、装置、计算机设备及存储介质 |
CN115130679A (zh) * | 2022-02-11 | 2022-09-30 | 希望知舟技术(深圳)有限公司 | 数据管控方法及相关装置和介质程序产品 |
CN115062788A (zh) * | 2022-06-13 | 2022-09-16 | 中国工商银行股份有限公司 | 一种线性模型的参数更新方法及相关装置 |
CN115412134A (zh) * | 2022-08-31 | 2022-11-29 | 东南大学 | 基于离线强化学习的以用户为中心的无蜂窝大规模mimo功率分配方法 |
-
2022
- 2022-12-30 CN CN202211720776.1A patent/CN118283643A/zh active Pending
-
2023
- 2023-12-25 WO PCT/CN2023/141346 patent/WO2024140512A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024140512A1 (zh) | 2024-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2023143572A1 (zh) | 基于人工智能ai模型的定位方法及通信设备 | |
CN118283643A (zh) | 数据集确定方法、信息传输方法、装置和通信设备 | |
CN116488747A (zh) | 信息交互方法、装置及通信设备 | |
WO2023213270A1 (zh) | 模型训练处理方法、装置、终端及网络侧设备 | |
WO2024120358A1 (zh) | 信息传输方法、信息传输装置和通信设备 | |
WO2023174253A1 (zh) | Ai模型的处理方法及设备 | |
WO2024067665A1 (zh) | Csi预测处理方法、装置、通信设备及可读存储介质 | |
CN118158118A (zh) | Ai网络模型的确定方法、信息传输方法、装置和通信设备 | |
CN116996898A (zh) | Ai网络模型确定方法、装置、参考节点和网络侧设备 | |
WO2024067281A1 (zh) | Ai模型的处理方法、装置及通信设备 | |
CN117639862A (zh) | Csi预测处理方法、装置、通信设备及可读存储介质 | |
WO2024120445A1 (zh) | 模型输入信息的确定方法、装置、设备、系统及存储介质 | |
WO2023098585A1 (zh) | 信息传输方法、装置及通信设备 | |
CN117998295A (zh) | 数据标注方法、装置、终端设备及网络侧设备 | |
CN117641433A (zh) | Csi预测处理方法、装置、通信设备及可读存储介质 | |
WO2023098662A1 (zh) | 定位方法及通信设备 | |
WO2023134628A1 (zh) | 传输方法、装置和设备 | |
CN117834427A (zh) | 更新ai模型参数的方法、装置及通信设备 | |
CN116963100A (zh) | 模型微调的方法、装置及设备 | |
CN116432013A (zh) | 模型训练方法、装置及通信设备 | |
CN116668309A (zh) | Ai模型的在线学习方法、装置、通信设备及可读存储介质 | |
CN117390440A (zh) | 人工智能模型训练方法、装置、网络侧设备、终端及介质 | |
CN117579201A (zh) | 模型匹配方法、装置、通信设备及可读存储介质 | |
CN118277783A (zh) | 模型训练处理方法、装置及相关设备 | |
CN117938689A (zh) | Ai模型配置方法、终端及网络侧设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |