CN116264712A - 数据收集方法及装置、第一设备、第二设备 - Google Patents
数据收集方法及装置、第一设备、第二设备 Download PDFInfo
- Publication number
- CN116264712A CN116264712A CN202111540035.0A CN202111540035A CN116264712A CN 116264712 A CN116264712 A CN 116264712A CN 202111540035 A CN202111540035 A CN 202111540035A CN 116264712 A CN116264712 A CN 116264712A
- Authority
- CN
- China
- Prior art keywords
- equipment
- candidate
- data
- training data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013480 data collection Methods 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 117
- 238000012549 training Methods 0.000 claims abstract description 407
- 238000004891 communication Methods 0.000 claims abstract description 49
- 238000012216 screening Methods 0.000 claims description 83
- 238000012795 verification Methods 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 description 78
- 230000011664 signaling Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L25/00—Baseband systems
- H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L25/00—Baseband systems
- H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
- H04L25/0202—Channel estimation
- H04L25/0224—Channel estimation using sounding signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L5/00—Arrangements affording multiple use of the transmission path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L5/00—Arrangements affording multiple use of the transmission path
- H04L5/003—Arrangements for allocating sub-channels of the transmission path
- H04L5/0053—Allocation of signaling, i.e. of overhead other than pilot signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Power Engineering (AREA)
- Mobile Radio Communication Systems (AREA)
- Selective Calling Equipment (AREA)
- Small-Scale Networks (AREA)
Abstract
本申请公开了一种数据收集方法及装置、第一设备、第二设备,属于通信技术领域,本申请实施例的数据收集方法,包括:第一设备向第二设备发送第一指示,指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;所述第一设备接收所述第二设备上报的训练数据;所述第一设备利用所述训练数据构造数据集,对所述特定AI模型进行训练。本申请实施例能够缓解数据收集时的传输压力,避免数据集中重复样本过多。
Description
技术领域
本申请属于通信技术领域,具体涉及一种数据收集方法及装置、第一设备、第二设备。
背景技术
人工智能(AI)目前在各个领域获得了广泛的应用。AI模块有多种实现方式,例如神经网络、决策树、支持向量机、贝叶斯分类器等。
在无线通信系统中的AI模块进行集中式训练时,需要从远端收集大量的数据构造数据集。由于远端的无线数据存在较大的重叠性,因此没有必要收集所有用户的数据。这样一方面可以缓解数据收集时的传输压力,另一方面避免数据集中重复(或相似)样本过多。
发明内容
本申请实施例提供一种数据收集方法及装置、第一设备、第二设备,能够缓解数据收集时的传输压力,避免数据集中重复样本过多。
第一方面,提供了一种数据收集方法,包括:
第一设备向第二设备发送第一指示,指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;
所述第一设备接收所述第二设备上报的训练数据;
所述第一设备利用所述训练数据构造数据集,对所述特定AI模型进行训练。
第二方面,提供了一种数据收集装置,包括:
发送模块,用于向第二设备发送第一指示,指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;
接收模块,用于接收所述第二设备上报的训练数据;
训练模块,用于利用所述训练数据构造数据集,对所述特定AI模型进行训练。
第三方面,提供了一种数据收集方法,包括:
第二设备接收第一设备的第一指示,所述第一指示用以指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;
所述第二设备收集训练数据,并向所述第一设备上报所述训练数据。
第四方面,提供了一种数据收集装置,包括:
接收模块,用于接收第一设备的第一指示,所述第一指示用以指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;
处理模块,用于收集训练数据,并向所述第一设备上报所述训练数据。
第五方面,提供了一种第一设备,该第一设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第六方面,提供了一种第一设备,包括处理器及通信接口,其中,所述通信接口用于向第二设备发送第一指示,指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;接收所述第二设备上报的训练数据;所述处理器用于利用所述训练数据构造数据集,对所述特定AI模型进行训练。
第七方面,提供了一种第二设备,该第二设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第三方面所述的方法的步骤。
第八方面,提供了一种第二设备,包括处理器及通信接口,其中,所述通信接口用于接收第一设备的第一指示,所述第一指示用以指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;所述处理器用于收集训练数据,并向所述第一设备上报所述训练数据。
第九方面,提供了一种数据收集系统,包括:第一设备及第二设备,所述第一设备可用于执行如第一方面所述的数据收集方法的步骤,所述第二设备可用于执行如第三方面所述的数据收集方法的步骤。
第十方面,提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤,或者实现如第三方面所述的方法的步骤。
第十一方面,提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法,或实现如第三方面所述的方法。
第十二方面,提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的数据收集方法,或实现如第三方面所述的数据收集方法的步骤。
在本申请实施例中,第一设备并不是要求所有的候选第二设备收集并上报训练数据,而是由第一设备先对候选第二设备进行筛选,确定需要进行训练数据收集和上报的第二设备,然后向第二设备发送第一指示,指示第二设备收集并上报训练数据,这样一方面可以缓解数据收集时的传输压力,另一方面可以避免数据集中重复样本过多,减轻模型训练的压力。
附图说明
图1是本申请实施例可应用的一种无线通信系统的框图;
图2是信道状态信息反馈的示意图;
图3是AI训练不同迭代次数时的性能示意图;
图4是本申请实施例第一设备侧数据收集方法的流程示意图;
图5是本申请实施例第二设备侧数据收集方法的流程示意图;
图6是本申请实施例通信设备的结构示意图;
图7是本申请实施例终端的结构示意图;
图8是本申请实施例网络侧设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”所区别的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”一般表示前后关联对象是一种“或”的关系。
值得指出的是,本申请实施例所描述的技术不限于长期演进型(Long TermEvolution,LTE)/LTE的演进(LTE-Advanced,LTE-A)系统,还可用于其他无线通信系统,诸如码分多址(Code Division Multiple Access,CDMA)、时分多址(Time DivisionMultiple Access,TDMA)、频分多址(Frequency Division Multiple Access,FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access,OFDMA)、单载波频分多址(Single-carrier Frequency Division Multiple Access,SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用,所描述的技术既可用于以上提及的系统和无线电技术,也可用于其他系统和无线电技术。以下描述出于示例目的描述了新空口(New Radio,NR)系统,并且在以下大部分描述中使用NR术语,但是这些技术也可应用于NR系统应用以外的应用,如第6代(6th Generation,6G)通信系统。
图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11和网络侧设备12。其中,终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal DigitalAssistant,PDA)、掌上电脑、上网本、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、移动上网装置(Mobile Internet Device,MID)、增强现实(augmentedreality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴式设备(WearableDevice)、车载设备(VUE)、行人终端(PUE)、智能家居(具有无线通信功能的家居设备,如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(personal computer,PC)、柜员机或者自助机等终端侧设备,可穿戴式设备包括:智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。需要说明的是,在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备或核心网设备,其中,接入网设备12也可以称为无线接入网设备、无线接入网(Radio Access Network,RAN)、无线接入网功能或无线接入网单元。接入网设备12可以包括基站、WLAN接入点或WiFi节点等,基站可被称为节点B、演进节点B(eNB)、接入点、基收发机站(Base Transceiver Station,BTS)、无线电基站、无线电收发机、基本服务集(BasicService Set,BSS)、扩展服务集(Extended Service Set,ESS)、家用B节点、家用演进型B节点、发送接收点(Transmitting Receiving Point,TRP)或所述领域中其他某个合适的术语,只要达到相同的技术效果,所述基站不限于特定技术词汇,需要说明的是,在本申请实施例中仅以NR系统中的基站为例进行介绍,并不限定基站的具体类型。
一般而言,根据解决类型不同,选取的AI算法和采用的模型也有所差别。借助AI提升5G网络性能的主要方法是通过基于神经网络的算法和模型增强或者替代目前已有的算法或处理模块。在特定场景下,基于神经网络的算法和模型可以取得比基于确定性算法更好的性能。比较常用的神经网络包括深度神经网络、卷积神经网络和循环神经网络等。借助已有AI工具,可以实现神经网络的搭建、训练与验证工作。
通过AI方法替代现有系统中的模块能够有效提升系统性能。如图2所示的信道状态信息(CSI)反馈,通过AI编码器(encoder)和AI解码器(decoder)替代常规的CSI计算,可以在相同开销的情况下大幅度提升相应的系统性能。通过基于AI的方案,系统的频谱效率可以提升30%左右。
AI训练不同迭代次数时的性能如图3所示,其中,横坐标为训练时期,纵坐标为相关性的平方。不同迭代需要不同的训练数据,可以看到需要大量的训练迭代才能达到性能收敛。
AI应用于无线通信系统中时,有很多模型是在终端侧工作的,有很多在基站侧工作的任务需要利用终端侧收集的数据进行训练。由于终端本身的算力有限,一种可行的解决方案是将数据上报到网络侧,在网络侧进行集中式的训练。由于很多终端具有相同或相似的终端类型、业务类型,且工作在相同或相似的环境中,因此这些终端的数据会具有很高的相似度。用于训练的数据集中应尽量避免产生相同的数据,因为相同的数据对模型的收敛益处不大,反而会造成过拟合或泛化性能较差。元学习是一种提高模型泛化能力的学习方法,基于数据集构造多个任务,进行多任务学习,进而获得一个最优的初始化模型。在新的场景下通过元学习获得的初始化模型会快速实现微调和收敛,具备很高的适应能力。在构造多个任务时要求不同的人物之间的数据特征有一定的差异性。因此,无论是传统的学习方案还是元学习方案,都对数据集中数据的重合度或数据的相似性有要求。
下面结合附图,通过一些实施例及其应用场景对本申请实施例提供的数据收集方法进行详细地说明。
本申请实施例提供一种数据收集方法,如图4所示,包括:
步骤101:第一设备向第二设备发送第一指示,指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;
步骤102:所述第一设备接收所述第二设备上报的训练数据;
步骤103:所述第一设备利用所述训练数据构造数据集,对所述特定AI模型进行训练。
在本申请实施例中,第一设备并不是要求所有的候选第二设备收集并上报训练数据,而是由第一设备先对候选第二设备进行筛选,确定需要进行训练数据收集和上报的第二设备,然后向第二设备发送第一指示,指示第二设备收集并上报训练数据,这样一方面可以缓解数据收集时的传输压力,另一方面可以避免数据集中重复样本过多,减轻模型训练的压力。
一些实施例中,所述第一设备向第二设备发送第一指示包括:
所述第一设备按照预设的第一筛选条件从M个候选第二设备中筛选出N个所述第二设备,向所述N个所述第二设备单播所述第一指示,M,N为正整数,N小于或等于M;或
所述第一设备向所述M个候选第二设备广播所述第一指示,所述第一指示携带有第二筛选条件,所述第二筛选条件用于筛选上报所述训练数据的第二设备,所述第二设备满足所述第二筛选条件。
本实施例中,在第一设备通信范围内的为候选第二设备,上报训练数据的第二设备选自候选第二设备,可以将所有的候选第二设备作为第二设备,也可以筛选出部分候选第二设备作为第二设备。广播是向所有的候选第二设备发送第一指示,而单播只是向筛选出的第二设备发送第一指示,收到单播的第一指示的候选第二设备均需要收集并上报训练数据。收到广播的第一指示的候选第二设备需要判断自身是否满足第二筛选条件,满足第二筛选条件的候选第二设备才收集并上报训练数据。
一些实施例中,所述第一设备通过以下至少一项向所述第二设备发送第一指示:
媒体介入控制MAC控制单元CE;
无线资源控制RRC消息;
非接入层NAS消息;
管理编排消息;
用户面数据;
下行控制信息;
系统信息块SIB;
物理下行控制信道PDCCH的层1信令;
物理下行共享信道PDSCH的信息;
物理随机接入信道PRACH的MSG 2信息;
物理随机接入信道PRACH的MSG 4信息;
物理随机接入信道PRACH的MSG B信息;
广播信道的信息或信令;
Xn接口信令;
PC5接口信令;
物理侧边链路控制信道PSCCH的信息或信令;
物理侧边链路共享信道PSSCH的信息;
物理侧边链路广播信道PSBCH的信息;
物理直通链路发现信道PSDCH的信息;
物理直通链路反馈信道PSFCH的信息。
一些实施例中,所述第一设备向第二设备发送第一指示之前,所述方法还包括:
所述第一设备接收所述候选第二设备上报的第一训练数据和/或第一参数,所述第一参数可以是所述第一筛选条件的判断参数。
本实施例中,候选第二设备可以先上报少量的训练数据(即第一训练数据)和/或第一参数,由第一设备根据少量的训练数据和/或第一参数确定参与训练的数据来源,筛选出收集和上报训练数据的第二设备,避免所有的第二设备都上报训练数据。
一些实施例中,所述第一设备仅接收所述候选第二设备上报的第一训练数据,根据所述第一训练数据确定所述第一参数。第一设备可以根据第一训练数据推测、感知、检测或推理出第一参数。第一设备可以依据第一参数进行候选第二设备的筛选,确定第二设备。
一些实施例中,所述第一参数包括以下至少一项:
所述候选第二设备的数据类型;
所述候选第二设备的数据分布参数;
所述候选第二设备的业务类型,比如增强移动宽带(eMBB),超可靠低延迟通信(URLLC),大规模机器类型通信(mMTC),其他6G新场景等;
所述候选第二设备的工作场景,包括但不限于:高速、低速、视距传播LOS、非视距传播NLOS、高信噪比、低信噪比等工作场景;
所述候选第二设备的通信网络接入方式,包括移动网络、WiFi和固网,其中移动网络包括2G,3G,4G,5G和6G;
所述候选第二设备的信道质量;
所述候选第二设备收集数据的难易程度;
所述候选第二设备的电量状态,比如可用剩余电量的具体值,或分级描述结果,充电或不充电等;
所述候选第二设备的存储状态,比如可用内存的具体值,或分级描述结果。
本实施例中,候选第二设备可以先向第一设备上报少量的训练数据(即第一训练数据)和/或第一参数,其中,第一参数可以是第一筛选条件的判断参数,第一设备根据第一筛选条件确定需要进行训练数据收集和上报的第二设备,该第二设备是选自候选第二设备,具体地,可以有M个候选第二设备,从其中确定N个第二设备需要进行训练数据收集和上报,N可以小于M,也可以等于M。
一具体示例中,可以根据候选第二设备的数据类型确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的数据类型对候选第二设备进行分组,每组内的候选第二设备的数据类型相同或相近。在筛选第二设备时,从每一组候选第二设备中选取K1个候选第二设备作为需要进行训练数据收集和上报的第二设备,K1为正整数,这样可以保证参与训练的数据的多样性,保证每一组候选第二设备都有第二设备收集和上报训练数据。
一具体示例中,可以根据候选第二设备的业务类型确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的业务类型对候选第二设备进行分组,每组内的候选第二设备的业务类型相同或相近。在筛选第二设备时,从每一组候选第二设备中选取K2个候选第二设备作为需要进行训练数据收集和上报的第二设备,K2为正整数,这样可以保证参与训练的数据的多样性,保证每一组候选第二设备都有第二设备收集和上报训练数据。
一具体示例中,可以根据候选第二设备的数据分布参数确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的数据分布参数对候选第二设备进行分组,每组内的候选第二设备的数据分布参数相同或相近。在筛选第二设备时,从每一组候选第二设备中选取K3个候选第二设备作为需要进行训练数据收集和上报的第二设备,K3为正整数,这样可以保证参与训练的数据的多样性,保证每一组候选第二设备都有第二设备收集和上报训练数据。
一具体示例中,可以根据候选第二设备的工作场景确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的工作场景对候选第二设备进行分组,每组内的候选第二设备的工作场景相同或相近。在筛选第二设备时,从每一组候选第二设备中选取A个候选第二设备作为需要进行训练数据收集和上报的第二设备,A为正整数,这样可以保证参与训练的数据的多样性,保证每一组候选第二设备都有第二设备收集和上报训练数据。
一具体示例中,可以根据候选第二设备的通信网络接入方式确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的通信网络接入方式对候选第二设备进行优先级排序,通信网络接入方式包括固网、WiFi和移动网络,移动网络包括2G,3G,4G,5G,6G等。其中,固网被筛选到的优先级大于等于WiFi被筛选到的优先级,WiFi被筛选到的优先级大于等于移动网络被筛选到的优先级。移动网络中代数越高,被筛选到的优先级越高,比如5G候选第二设备被筛选到的优先级高于4G候选第二设备被筛选到的优先级,按照优先级的从高到低从候选第二设备中选取B个候选第二设备作为需要进行训练数据收集和上报的第二设备,B为正整数。
一具体示例中,可以根据候选第二设备的信道质量确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的信道质量对候选第二设备进行优先级排序,信道质量越高的候选第二设备,被筛选到的优先级越高,按照优先级的从高到低从候选第二设备中选取C个候选第二设备作为需要进行训练数据收集和上报的第二设备,C为正整数,这样可以保证信道质量好的第二设备收集和上报训练数据,保证特定AI模型的训练质量。
一具体示例中,可以根据候选第二设备收集数据的难易程度确定需要进行训练数据收集和上报的第二设备,按照候选第二设备收集数据的难易程度对候选第二设备进行优先级排序,收集数据难度越小的候选第二设备,被筛选到的优先级越高,按照优先级的从高到低从候选第二设备中选取D个候选第二设备作为需要进行训练数据收集和上报的第二设备,D为正整数,这样可以降低数据收集的难度。
一具体示例中,可以根据候选第二设备的电量状态确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的电量状态对候选第二设备进行优先级排序,候选第二设备的电量越高,被筛选到的优先级越高,另外,处于充电状态的候选第二设备被筛选到的优先级最高,按照优先级的从高到低从候选第二设备中选取E个候选第二设备作为需要进行训练数据收集和上报的第二设备,E为正整数,这样可以保证进行训练数据收集和上报的第二设备有足够的电量。
一具体示例中,可以根据候选第二设备的存储状态确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的存储状态对候选第二设备进行优先级排序,候选第二设备的可用存储空间越大,被筛选到的优先级越高,按照优先级的从高到低从候选第二设备中选取F个候选第二设备作为需要进行训练数据收集和上报的第二设备,F为正整数,这样可以保证进行训练数据收集和上报的第二设备有足够的可用存储空间来进行训练数据的存储。
一些实施例中,单播的所述第一指示包括以下至少一项:
所述第二设备收集的训练数据的样本数,不同第二设备收集的训练数据的样本数不同或相同;
所述第二设备收集训练数据的时间,不同第二设备收集训练数据的时间不同或相同;
所述第二设备向所述第一设备上报训练数据的时间,不同第二设备上报训练数据的时间不同或相同;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
所述第二设备向所述第一设备上报的训练数据的数据格式。
一些实施例中,广播的所述第一指示包括以下至少一项:
进行数据收集的候选第二设备的标识;
不进行数据收集的候选第二设备的标识;
进行数据收集的候选第二设备所需要收集的训练数据的样本数,不同候选第二设备收集的训练数据的样本数不同或相同;
进行数据收集的候选第二设备收集训练数据的时间,不同候选第二设备收集训练数据的时间不同或相同;
进行数据收集的候选第二设备向所述第一设备上报训练数据的时间,不同候选第二设备上报训练数据的时间不同或相同;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
进行数据收集的候选第二设备向所述第一设备上报的训练数据的数据格式;
所述第一筛选条件。
其中,进行数据收集的候选第二设备的标识和不进行数据收集的候选第二设备的标识组成所述第二筛选条件,候选第二设备可以根据自身的标识判断自身是否满足第二筛选条件。
一些实施例中,对特定AI模型进行训练之后,所述方法还包括:
所述第一设备向L个推理设备发送训练后的AI模型和超参数,所述L大于M、等于M或小于M。
本实施例中,第一设备基于接收到的训练数据构建训练数据集,进行特定AI模型的训练,将训练收敛的AI模型和超参数下发给L个推理设备,推理设备是需要对AI模型进行性能验证和推理的第二设备,推理设备可以选自候选第二设备,还可以是候选第二设备之外的其他第二设备。
一些实施例中,所述第一设备通过以下至少一项向推理设备发送训练后的AI模型和超参数:
媒体介入控制MAC控制单元CE;
无线资源控制RRC消息;
非接入层NAS消息;
管理编排消息;
用户面数据;
下行控制信息;
系统信息块SIB;
物理下行控制信道PDCCH的层1信令;
物理下行共享信道PDSCH的信息;
物理随机接入信道PRACH的MSG 2信息;
物理随机接入信道PRACH的MSG 4信息;
物理随机接入信道PRACH的MSG B信息;
广播信道的信息或信令;
Xn接口信令;
PC5接口信令;
物理侧边链路控制信道PSCCH的信息或信令;
物理侧边链路共享信道PSSCH的信息;
物理侧边链路广播信道PSBCH的信息;
物理直通链路发现信道PSDCH的信息;
物理直通链路反馈信道PSFCH的信息。
一些实施例中,所述AI模型为元学习模型,所述超参数可以由所述第一参数决定。
一些实施例中,元学习模型相关的超参数包括以下至少一项:
外迭代学习率;
不同训练任务或所述推理设备对应的内迭代学习率;
元学习率;
不同训练任务或所述推理设备对应的内迭代次数;
不同训练任务或所述推理设备对应的外迭代次数。
本实施例中,所述第一设备可以为网络侧设备,所述第二设备可以为终端;或,所述第一设备为网络侧设备,所述第二设备为网络侧设备,如多个网络侧设备将训练数据汇聚到一个网络侧设备进行训练的场景;或,所述第一设备为终端,所述第二设备为终端,如多个终端将训练数据汇聚到一个终端进行训练的场景。
另外,候选第二设备可以是网络侧设备,也可以是终端;推理设备可以是网络侧设备,也可以是终端。
本申请实施例还提供了一种数据收集方法,如图5所示,包括:
步骤201:第二设备接收第一设备的第一指示,所述第一指示用以指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;
步骤202:所述第二设备收集训练数据,并向所述第一设备上报所述训练数据。
在本申请实施例中,第一设备并不是要求所有的候选第二设备收集并上报训练数据,而是由第一设备先对候选第二设备进行筛选,确定需要进行训练数据收集和上报的第二设备,然后向第二设备发送第一指示,指示第二设备收集并上报训练数据,这样一方面可以缓解数据收集时的传输压力,另一方面可以避免数据集中重复样本过多,减轻模型训练的压力。
一些实施例中,所述第二设备通过以下至少一项向所述第一设备上报训练数据:
媒体介入控制MAC控制单元CE;
无线资源控制RRC消息;
非接入层NAS消息;
物理上行控制信道PUCCH的层1信令;
物理随机接入信道PRACH的MSG 1信息;
物理随机接入信道PRACH的MSG 3信息;
物理随机接入信道PRACH的MSG A信息;
物理上行共享信道PUSCH的信息;
Xn接口信令;
PC5接口信令;
物理侧边链路控制信道PSCCH的信息或信令;
物理侧边链路共享信道PSSCH的信息;
物理侧边链路广播信道PSBCH的信息;
物理直通链路发现信道PSDCH的信息;
物理直通链路反馈信道PSFCH的信息。
一些实施例中,所述第二设备接收第一设备的第一指示包括:
所述第二设备接收所述第一设备单播的所述第一指示,所述第二设备为所述第一设备按照预设的第一筛选条件从候选第二设备中筛选出的第二设备;或
所述第二设备接收所述第一设备向候选第二设备广播的所述第一指示,所述第一指示携带有第二筛选条件,所述第二筛选条件用于筛选上报所述训练数据的第二设备,所述第二设备满足所述第二筛选条件。
一些实施例中,所述第二设备收集训练数据,并向所述第一设备上报所述训练数据包括:
若所述第二设备接收所述第一设备单播的所述第一指示,所述第二设备收集并上报所述训练数据;或
若所述第二设备接收所述第一设备广播的所述第一指示,所述第二设备收集并上报所述训练数据。
本实施例中,在第一设备通信范围内的为候选第二设备,上报训练数据的第二设备选自候选第二设备,可以将所有的候选第二设备作为第二设备,也可以筛选出部分候选第二设备作为第二设备。广播是向所有的候选第二设备发送第一指示,而单播只是向筛选出的第二设备发送第一指示,收到单播的第一指示的候选第二设备均需要收集并上报训练数据。收到广播的第一指示的候选第二设备需要判断自身是否满足第二筛选条件,满足第二筛选条件的候选第二设备才收集并上报训练数据。
一些实施例中,所述第二设备接收第一设备的第一指示之前,所述方法还包括:
候选第二设备向所述第一设备上报第一训练数据和/或第一参数,所述第一参数可以是所述第一筛选条件的判断参数。
本实施例中,候选第二设备可以先上报少量的训练数据(即第一训练数据)和/或第一参数,由第一设备根据少量的训练数据和/或第一参数确定参与训练的数据来源,筛选出收集和上报训练数据的第二设备,避免所有的第二设备都上报训练数据。
一些实施例中,所述第二设备通过以下至少一项向所述第一设备上报第一训练数据和/或第一参数:
媒体介入控制MAC控制单元CE;
无线资源控制RRC消息;
非接入层NAS消息;
物理上行控制信道PUCCH的层1信令;
物理随机接入信道PRACH的MSG 1信息;
物理随机接入信道PRACH的MSG 3信息;
物理随机接入信道PRACH的MSG A信息;
物理上行共享信道PUSCH的信息;
Xn接口信令;
PC5接口信令;
物理侧边链路控制信道PSCCH的信息或信令;
物理侧边链路共享信道PSSCH的信息;
物理侧边链路广播信道PSBCH的信息;
物理直通链路发现信道PSDCH的信息;
物理直通链路反馈信道PSFCH的信息。
一些实施例中,所述候选第二设备向所述第一设备仅上报所述第一训练数据,所述第一训练数据用于确定所述第一参数。
一些实施例中,所述第一设备仅接收所述候选第二设备上报的第一训练数据,根据所述第一训练数据确定所述第一参数。第一设备可以根据第一训练数据推测、感知、检测或推理出第一参数。第一设备可以依据第一参数进行候选第二设备的筛选,确定第二设备。
一些实施例中,所述第一参数包括以下至少一项:
所述候选第二设备的数据类型;
所述候选第二设备的数据分布参数;
所述候选第二设备的业务类型,比如增强移动宽带(eMBB),超可靠低延迟通信(URLLC),大规模机器类型通信(mMTC),其他6G新场景等;
所述候选第二设备的工作场景,包括但不限于:高速、低速、视距传播LOS、非视距传播NLOS、高信噪比、低信噪比等工作场景;
所述候选第二设备的通信网络接入方式,包括移动网络、WiFi和固网,其中移动网络包括2G,3G,4G,5G和6G;
所述候选第二设备的信道质量;
所述候选第二设备收集数据的难易程度;
所述候选第二设备的电量状态,比如可用剩余电量的具体值,或分级描述结果,充电或不充电等;
所述候选第二设备的存储状态,比如可用内存的具体值,或分级描述结果。
本实施例中,候选第二设备可以先向第一设备上报少量的训练数据(即第一训练数据)和/或第一参数,其中,第一参数可以是第一筛选条件的判断参数,第一设备根据第一筛选条件确定需要进行训练数据收集和上报的第二设备,该第二设备是选自候选第二设备,具体地,可以有M个候选第二设备,从其中确定N个第二设备需要进行训练数据收集和上报,N可以小于M,也可以等于M。
一具体示例中,可以根据候选第二设备的数据类型确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的数据类型对候选第二设备进行分组,每组内的候选第二设备的数据类型相同或相近。在筛选第二设备时,从每一组候选第二设备中选取K1个候选第二设备作为需要进行训练数据收集和上报的第二设备,K1为正整数,这样可以保证参与训练的数据的多样性,保证每一组候选第二设备都有第二设备收集和上报训练数据。
一具体示例中,可以根据候选第二设备的业务类型确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的业务类型对候选第二设备进行分组,每组内的候选第二设备的业务类型相同或相近。在筛选第二设备时,从每一组候选第二设备中选取K2个候选第二设备作为需要进行训练数据收集和上报的第二设备,K2为正整数,这样可以保证参与训练的数据的多样性,保证每一组候选第二设备都有第二设备收集和上报训练数据。
一具体示例中,可以根据候选第二设备的数据分布参数确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的数据分布参数对候选第二设备进行分组,每组内的候选第二设备的数据分布参数相同或相近。在筛选第二设备时,从每一组候选第二设备中选取K4个候选第二设备作为需要进行训练数据收集和上报的第二设备,K3为正整数,这样可以保证参与训练的数据的多样性,保证每一组候选第二设备都有第二设备收集和上报训练数据。
一具体示例中,可以根据候选第二设备的工作场景确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的工作场景对候选第二设备进行分组,每组内的候选第二设备的工作场景相同或相近。在筛选第二设备时,从每一组候选第二设备中选取A个候选第二设备作为需要进行训练数据收集和上报的第二设备,A为正整数,这样可以保证参与训练的数据的多样性,保证每一组候选第二设备都有第二设备收集和上报训练数据。
一具体示例中,可以根据候选第二设备的通信网络接入方式确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的通信网络接入方式对候选第二设备进行优先级排序,通信网络接入方式包括固网、WiFi和移动网络,移动网络包括2G,3G,4G,5G,6G等。其中,固网被筛选到的优先级大于等于WiFi被筛选到的优先级,WiFi被筛选到的优先级大于等于移动网络被筛选到的优先级。移动网络中代数越高,被筛选到的优先级越高,比如5G候选第二设备被筛选到的优先级高于4G候选第二设备被筛选到的优先级,按照优先级的从高到低从候选第二设备中选取B个候选第二设备作为需要进行训练数据收集和上报的第二设备,B为正整数。
一具体示例中,可以根据候选第二设备的信道质量确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的信道质量对候选第二设备进行优先级排序,信道质量越高的候选第二设备,被筛选到的优先级越高,按照优先级的从高到低从候选第二设备中选取C个候选第二设备作为需要进行训练数据收集和上报的第二设备,C为正整数,这样可以保证信道质量好的第二设备收集和上报训练数据,保证特定AI模型的训练质量。
一具体示例中,可以根据候选第二设备收集数据的难易程度确定需要进行训练数据收集和上报的第二设备,按照候选第二设备收集数据的难易程度对候选第二设备进行优先级排序,收集数据难度越小的候选第二设备,被筛选到的优先级越高,按照优先级的从高到低从候选第二设备中选取D个候选第二设备作为需要进行训练数据收集和上报的第二设备,D为正整数,这样可以降低数据收集的难度。
一具体示例中,可以根据候选第二设备的电量状态确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的电量状态对候选第二设备进行优先级排序,候选第二设备的电量越高,被筛选到的优先级越高,另外,处于充电状态的候选第二设备被筛选到的优先级最高,按照优先级的从高到低从候选第二设备中选取E个候选第二设备作为需要进行训练数据收集和上报的第二设备,E为正整数,这样可以保证进行训练数据收集和上报的第二设备有足够的电量。
一具体示例中,可以根据候选第二设备的存储状态确定需要进行训练数据收集和上报的第二设备,按照候选第二设备的存储状态对候选第二设备进行优先级排序,候选第二设备的可用存储空间越大,被筛选到的优先级越高,按照优先级的从高到低从候选第二设备中选取F个候选第二设备作为需要进行训练数据收集和上报的第二设备,F为正整数,这样可以保证进行训练数据收集和上报的第二设备有足够的可用存储空间来进行训练数据的存储。
一些实施例中,向所述第一设备上报所述训练数据之前,所述方法还包括:
所述第二设备向所述第一设备发送第一请求,请求进行训练数据的收集和上报。
一些实施例中,单播的所述第一指示包括以下至少一项:
所述第二设备收集的训练数据的样本数,不同第二设备收集的训练数据的样本数不同或相同;
所述第二设备收集训练数据的时间,不同第二设备收集训练数据的时间不同或相同;
所述第二设备向所述第一设备上报训练数据的时间,不同第二设备上报训练数据的时间不同或相同;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
所述第二设备向所述第一设备上报的训练数据的数据格式。
一些实施例中,广播的所述第一指示包括以下至少一项:
进行数据收集的候选第二设备的标识;
不进行数据收集的候选第二设备的标识;
进行数据收集的候选第二设备所需要收集的训练数据的样本数,不同候选第二设备收集的训练数据的样本数不同或相同;
进行数据收集的候选第二设备收集训练数据的时间,不同候选第二设备收集训练数据的时间不同或相同;
进行数据收集的候选第二设备向所述第一设备上报训练数据的时间,不同候选第二设备上报训练数据的时间不同或相同;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
进行数据收集的候选第二设备向所述第一设备上报的训练数据的数据格式;
所述第一筛选条件。
其中,进行数据收集的候选第二设备的标识和不进行数据收集的候选第二设备的标识组成所述第二筛选条件,候选第二设备可以根据自身的标识判断自身是否满足第二筛选条件。
一些实施例中,所述第二设备收集训练数据,并向所述第一设备上报所述训练数据之后,所述方法还包括:
推理设备接收所述第一设备发送的训练后的AI模型和超参数。
本实施例中,第一设备基于接收到的训练数据构建训练数据集,进行特定AI模型的训练,将训练收敛的AI模型和超参数下发给L个推理设备,推理设备是需要对AI模型进行性能验证和推理的第二设备,推理设备可以选自候选第二设备,还可以是候选第二设备之外的其他第二设备。
一些实施例中,所述AI模型为元学习模型,所述超参数可以由所述第一参数决定。
一些实施例中,所述超参数包括以下至少一项:
外迭代学习率;
不同训练任务或所述推理设备对应的内迭代学习率;
元学习率;
不同训练任务或所述推理设备对应的内迭代次数;
不同训练任务或所述推理设备对应的外迭代次数。
一些实施例中,所述推理设备接收所述第一设备发送的训练后的AI模型和超参数之后,所述方法还包括:
所述推理设备对所述AI模型进行性能验证;
若性能验证结果满足预设的第一条件,所述推理设备将所述AI模型用于推理。其中,第一条件可以是第一设备配置或预配置或协议约定的,推理设备对所述AI模型进行性能验证后,还可以将是否进行推理的结果上报给第一设备。
一些实施例中,进行性能验证的AI模型为所述第一设备下发的AI模型,或,所述第一设备下发的AI模型经过微调(fine-tuning)后的模型。
本实施例中,推理设备可以直接利用第一设备下发的AI模型进行性能验证,也可以是将第一设备下发的AI模型进行微调后再进行性能验证。对于元学习的微调,每个推理设备对应的元学习相关的特殊超参数可以不同。可以根据每个推理设备对应的第一参数(主要是根据第一参数中的数据收集难易程度、电量状态、存储状态等)来决定每个推理设备的元学习相关的特殊超参数。
本实施例中,所述第一设备可以为网络侧设备,所述第二设备可以为终端;或,所述第一设备为网络侧设备,所述第二设备为网络侧设备,如多个网络侧设备将训练数据汇聚到一个网络侧设备进行训练的场景;或,所述第一设备为终端,所述第二设备为终端,如多个终端将训练数据汇聚到一个终端进行训练的场景。
另外,候选第二设备可以是网络侧设备,也可以是终端;推理设备可以是网络侧设备,也可以是终端。
上述实施例中,特定AI模型可以为信道估计模型、移动性预测模型等。本申请实施例的技术方案可以应用于6G网络中,还可以应用于5G和5.5G网络中。
本申请实施例提供的数据收集方法,执行主体可以为数据收集装置。本申请实施例中以数据收集装置执行数据收集方法为例,说明本申请实施例提供的数据收集装置。
本申请实施例提供一种数据收集装置,包括:
发送模块,用于向第二设备发送第一指示,指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;
接收模块,用于接收所述第二设备上报的训练数据;
训练模块,用于利用所述训练数据构造数据集,对所述特定AI模型进行训练。
一些实施例中,所述发送模块具体用于按照预设的第一筛选条件从M个候选第二设备中筛选出N个所述第二设备,向所述N个所述第二设备单播所述第一指示,M,N为正整数,N小于或等于M;或
向所述M个候选第二设备广播所述第一指示,所述第一指示携带有第二筛选条件,所述第二筛选条件用于筛选上报所述训练数据的第二设备,所述第二设备满足所述第二筛选条件。
一些实施例中,所述接收模块还用于接收所述候选第二设备上报的第一训练数据和/或第一参数,所述第一参数可以是所述第一筛选条件的判断参数。
一些实施例中,所述接收模块用于仅接收所述候选第二设备上报的第一训练数据,根据所述第一训练数据确定所述第一参数。
一些实施例中,所述第一参数包括以下至少一项:
所述候选第二设备的数据类型;
所述候选第二设备的数据分布参数;
所述候选第二设备的业务类型;
所述候选第二设备的工作场景;
所述候选第二设备的通信网络接入方式;
所述候选第二设备的信道质量;
所述候选第二设备收集数据的难易程度;
所述候选第二设备的电量状态;
所述候选第二设备的存储状态。
一些实施例中,单播的所述第一指示包括以下至少一项:
所述第二设备收集的训练数据的样本数,不同第二设备收集的训练数据的样本数不同或相同;
所述第二设备收集训练数据的时间,不同第二设备收集训练数据的时间不同或相同;
所述第二设备向所述第一设备上报训练数据的时间,不同第二设备上报训练数据的时间不同或相同;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
所述第二设备向所述第一设备上报的训练数据的数据格式。
一些实施例中,广播的所述第一指示包括以下至少一项:
进行数据收集的候选第二设备的标识;
不进行数据收集的候选第二设备的标识;
进行数据收集的候选第二设备所需要收集的训练数据的样本数,不同候选第二设备收集的训练数据的样本数不同或相同;
进行数据收集的候选第二设备收集训练数据的时间,不同候选第二设备收集训练数据的时间不同或相同;
进行数据收集的候选第二设备向所述第一设备上报训练数据的时间,不同候选第二设备上报训练数据的时间不同或相同;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
进行数据收集的候选第二设备向所述第一设备上报的训练数据的数据格式;
所述第一筛选条件。
一些实施例中,所述发送模块还用于向L个推理设备发送训练后的AI模型和超参数,所述L大于M、等于M或小于M。
一些实施例中,所述AI模型为元学习模型,所述超参数由所述第一参数决定。
一些实施例中,所述超参数包括以下至少一项:
外迭代学习率;
不同训练任务或所述推理设备对应的内迭代学习率;
元学习率;
不同训练任务或所述推理设备对应的内迭代次数;
不同训练任务或所述推理设备对应的外迭代次数。
本实施例中,所述第一设备可以为网络侧设备,所述第二设备可以为终端;或,所述第一设备为网络侧设备,所述第二设备为网络侧设备,如多个网络侧设备将训练数据汇聚到一个网络侧设备进行训练的场景;或,所述第一设备为终端,所述第二设备为终端,如多个终端将训练数据汇聚到一个终端进行训练的场景。
另外,候选第二设备可以是网络侧设备,也可以是终端;推理设备可以是网络侧设备,也可以是终端。本申请实施例还提供了一种数据收集装置,包括:
接收模块,用于接收第一设备的第一指示,所述第一指示用以指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;
处理模块,用于收集训练数据,并向所述第一设备上报所述训练数据。
一些实施例中,所述接收模块用于接收所述第一设备单播的所述第一指示,所述第二设备为所述第一设备按照预设的第一筛选条件从候选第二设备中筛选出的第二设备;或
接收所述第一设备向候选第二设备广播的所述第一指示,所述第一指示携带有第二筛选条件,所述第二筛选条件用于筛选上报所述训练数据的第二设备,所述第二设备满足所述第二筛选条件。
一些实施例中,所述处理模块用于若所述第二设备接收所述第一设备单播的所述第一指示,所述第二设备收集并上报所述训练数据;或
若所述第二设备接收所述第一设备广播的所述第一指示,所述第二设备收集并上报所述训练数据。
一些实施例中,候选第二设备向所述第一设备上报第一训练数据和/或第一参数,所述第一参数可以是所述第一筛选条件的判断参数。
一些实施例中,所述候选第二设备向所述第一设备仅上报所述第一训练数据,所述第一训练数据用于确定所述第一参数。
一些实施例中,所述第一参数包括以下至少一项:
所述候选第二设备的数据类型;
所述候选第二设备的数据分布参数;
所述候选第二设备的业务类型;
所述候选第二设备的工作场景;
所述候选第二设备的通信网络接入方式;
所述候选第二设备的信道质量;
所述候选第二设备收集数据的难易程度;
所述候选第二设备的电量状态;
所述候选第二设备的存储状态。
一些实施例中,所述处理模块还用于向所述第一设备发送第一请求,请求进行训练数据的收集和上报。
一些实施例中,单播的所述第一指示包括以下至少一项:
所述第二设备收集的训练数据的样本数,不同第二设备收集的训练数据的样本数不同或相同;
所述第二设备收集训练数据的时间,不同第二设备收集训练数据的时间不同或相同;
所述第二设备向所述第一设备上报训练数据的时间,不同第二设备上报训练数据的时间不同或相同;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
所述第二设备向所述第一设备上报的训练数据的数据格式。
一些实施例中,广播的所述第一指示包括以下至少一项:
进行数据收集的候选第二设备的标识;
不进行数据收集的候选第二设备的标识;
进行数据收集的候选第二设备所需要收集的训练数据的样本数,不同候选第二设备收集的训练数据的样本数不同或相同;
进行数据收集的候选第二设备收集训练数据的时间,不同候选第二设备收集训练数据的时间不同或相同;
进行数据收集的候选第二设备向所述第一设备上报训练数据的时间,不同候选第二设备上报训练数据的时间不同或相同;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
进行数据收集的候选第二设备向所述第一设备上报的训练数据的数据格式;
所述第一筛选条件。
一些实施例中,推理设备接收所述第一设备发送的训练后的AI模型和超参数。
一些实施例中,所述AI模型为元学习模型,所述超参数由所述第一参数决定。
一些实施例中,所述超参数包括以下至少一项:
外迭代学习率;
不同训练任务或所述推理设备对应的内迭代学习率;
元学习率;
不同训练任务或所述推理设备对应的内迭代次数;
不同训练任务或所述推理设备对应的外迭代次数。
一些实施例中,所述数据收集装置还包括:
推理模块,用于对所述AI模型进行性能验证;若性能验证结果满足预设的第一条件,将所述AI模型用于推理。
一些实施例中,进行性能验证的AI模型为所述第一设备下发的AI模型,或,所述第一设备下发的AI模型经过微调后的模型。
本实施例中,所述第一设备可以为网络侧设备,所述第二设备可以为终端;或,所述第一设备为网络侧设备,所述第二设备为网络侧设备,如多个网络侧设备将训练数据汇聚到一个网络侧设备进行训练的场景;或,所述第一设备为终端,所述第二设备为终端,如多个终端将训练数据汇聚到一个终端进行训练的场景。
另外,候选第二设备可以是网络侧设备,也可以是终端;推理设备可以是网络侧设备,也可以是终端。本申请实施例中的数据收集装置可以是电子设备,例如具有操作系统的电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,终端可以包括但不限于上述所列举的终端11的类型,其他设备可以为服务器、网络附属存储器(Network Attached Storage,NAS)等,本申请实施例不作具体限定。
本申请实施例提供的数据收集装置能够实现图4至图5的方法实施例实现的各个过程,并达到相同的技术效果,为避免重复,这里不再赘述。
可选的,如图6所示,本申请实施例还提供一种通信设备600,包括处理器601和存储器602,存储器602上存储有可在所述处理器601上运行的程序或指令,例如,该通信设备600为第一设备时,该程序或指令被处理器601执行时实现上述数据收集方法实施例的各个步骤,且能达到相同的技术效果。该通信设备600为第二设备时,该程序或指令被处理器601执行时实现上述数据收集方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供了一种第一设备,该第一设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如上所述的数据收集方法的步骤。
本申请实施例还提供了一种第一设备,包括处理器及通信接口,其中,所述通信接口用于向第二设备发送第一指示,指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;接收所述第二设备上报的训练数据;所述处理器用于利用所述训练数据构造数据集,对所述特定AI模型进行训练。
本申请实施例还提供了一种第二设备,该第二设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如上所述的数据收集方法的步骤。
本申请实施例还提供了一种第二设备,包括处理器及通信接口,其中,所述通信接口用于接收第一设备的第一指示,所述第一指示用以指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;所述处理器用于收集训练数据,并向所述第一设备上报所述训练数据。
上述第一设备可以为网络侧设备或终端,第二设备可以为网络侧设备或终端。
当第一设备和/或第二设备为终端时,本申请实施例还提供一种终端,包括处理器和通信接口,该终端实施例与上述终端侧方法实施例对应,上述方法实施例的各个实施过程和实现方式均可适用于该终端实施例中,且能达到相同的技术效果。具体地,图7为实现本申请实施例的一种终端的硬件结构示意图。
该终端700包括但不限于:射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709以及处理器710等中的至少部分部件。
本领域技术人员可以理解,终端700还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器7 10逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的终端结构并不构成对终端的限定,终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
应理解的是,本申请实施例中,输入单元704可以包括图形处理单元(GraphicsProcessing Unit,GPU)7041和麦克风7042,图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071,也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
本申请实施例中,射频单元701接收来自网络侧设备的下行数据后,可以传输给处理器710进行处理;另外,射频单元701可以向网络侧设备发送上行数据。通常,射频单元701包括但不限于天线、放大器、收发信机、耦合器、低噪声放大器、双工器等。
存储器709可用于存储软件程序或指令以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器709可以包括易失性存储器或非易失性存储器,或者,存储器709可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(SynchronousDRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本申请实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。
处理器710可包括一个或多个处理单元;可选的,处理器710集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器710中。
一些实施例中,第一设备为终端,处理器710用于向第二设备发送第一指示,指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;接收所述第二设备上报的训练数据;利用所述训练数据构造数据集,对所述特定AI模型进行训练。
一些实施例中,处理器710具体用于按照预设的第一筛选条件从M个候选第二设备中筛选出N个所述第二设备,向所述N个所述第二设备单播所述第一指示,M,N为正整数,N小于或等于M;或
向所述M个候选第二设备广播所述第一指示,所述第一指示携带有第二筛选条件,所述第二筛选条件用于筛选上报所述训练数据的第二设备,所述第二设备满足所述第二筛选条件。
一些实施例中,处理器710还用于接收所述候选第二设备上报的第一训练数据和/或第一参数,所述第一参数可以是所述第一筛选条件的判断参数。
一些实施例中,处理器710用于仅接收所述候选第二设备上报的第一训练数据,根据所述第一训练数据确定所述第一参数。
一些实施例中,所述第一参数包括以下至少一项:
所述候选第二设备的数据类型;
所述候选第二设备的数据分布参数;
所述候选第二设备的业务类型;
所述候选第二设备的工作场景;
所述候选第二设备的通信网络接入方式;
所述候选第二设备的信道质量;
所述候选第二设备收集数据的难易程度;
所述候选第二设备的电量状态;
所述候选第二设备的存储状态。
一些实施例中,单播的所述第一指示包括以下至少一项:
所述第二设备收集的训练数据的样本数,不同第二设备收集的训练数据的样本数不同或相同;
所述第二设备收集训练数据的时间,不同第二设备收集训练数据的时间不同或相同;
所述第二设备向所述第一设备上报训练数据的时间,不同第二设备上报训练数据的时间不同或相同;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
所述第二设备向所述第一设备上报的训练数据的数据格式。
一些实施例中,广播的所述第一指示包括以下至少一项:
进行数据收集的候选第二设备的标识;
不进行数据收集的候选第二设备的标识;
进行数据收集的候选第二设备所需要收集的训练数据的样本数,不同候选第二设备收集的训练数据的样本数不同或相同;
进行数据收集的候选第二设备收集训练数据的时间,不同候选第二设备收集训练数据的时间不同或相同;
进行数据收集的候选第二设备向所述第一设备上报训练数据的时间,不同候选第二设备上报训练数据的时间不同或相同;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
进行数据收集的候选第二设备向所述第一设备上报的训练数据的数据格式;
所述第一筛选条件。
一些实施例中,处理器710还用于向L个推理设备发送训练后的AI模型和超参数,所述L大于M、等于M或小于M。
一些实施例中,所述AI模型为元学习模型,所述超参数由所述第一参数决定。
一些实施例中,所述超参数包括以下至少一项:
外迭代学习率;
不同训练任务或所述推理设备对应的内迭代学习率;
元学习率;
不同训练任务或所述推理设备对应的内迭代次数;
不同训练任务或所述推理设备对应的外迭代次数。
本实施例中,所述第一设备可以为网络侧设备,所述第二设备可以为终端;或,所述第一设备为网络侧设备,所述第二设备为网络侧设备,如多个网络侧设备将训练数据汇聚到一个网络侧设备进行训练的场景;或,所述第一设备为终端,所述第二设备为终端,如多个终端将训练数据汇聚到一个终端进行训练的场景。
另外,候选第二设备可以是网络侧设备,也可以是终端;推理设备可以是网络侧设备,也可以是终端。一些实施例中,第二设备为终端,处理器710用于接收第一设备的第一指示,所述第一指示用以指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;收集训练数据,并向所述第一设备上报所述训练数据。
一些实施例中,处理器710用于接收所述第一设备单播的所述第一指示,所述第二设备为所述第一设备按照预设的第一筛选条件从候选第二设备中筛选出的第二设备;或
接收所述第一设备向候选第二设备广播的所述第一指示,所述第一指示携带有第二筛选条件,所述第二筛选条件用于筛选上报所述训练数据的第二设备,所述第二设备满足所述第二筛选条件。
一些实施例中,处理器710用于若所述第二设备接收所述第一设备单播的所述第一指示,所述第二设备收集并上报所述训练数据;或
若所述第二设备接收所述第一设备广播的所述第一指示,所述第二设备收集并上报所述训练数据。
一些实施例中,候选第二设备向所述第一设备上报第一训练数据和/或第一参数,所述第一参数可以是所述第一筛选条件的判断参数。
一些实施例中,所述候选第二设备向所述第一设备仅上报所述第一训练数据,所述第一训练数据用于确定所述第一参数。
一些实施例中,所述第一参数包括以下至少一项:
所述候选第二设备的数据类型;
所述候选第二设备的数据分布参数;
所述候选第二设备的业务类型;
所述候选第二设备的工作场景;
所述候选第二设备的通信网络接入方式;
所述候选第二设备的信道质量;
所述候选第二设备收集数据的难易程度;
所述候选第二设备的电量状态;
所述候选第二设备的存储状态。
一些实施例中,处理器710还用于向所述第一设备发送第一请求,请求进行训练数据的收集和上报。
一些实施例中,单播的所述第一指示包括以下至少一项:
所述第二设备收集的训练数据的样本数,不同第二设备收集的训练数据的样本数不同或相同;
所述第二设备收集训练数据的时间,不同第二设备收集训练数据的时间不同或相同;
所述第二设备向所述第一设备上报训练数据的时间,不同第二设备上报训练数据的时间不同或相同;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
所述第二设备向所述第一设备上报的训练数据的数据格式。
一些实施例中,广播的所述第一指示包括以下至少一项:
进行数据收集的候选第二设备的标识;
不进行数据收集的候选第二设备的标识;
进行数据收集的候选第二设备所需要收集的训练数据的样本数,不同候选第二设备收集的训练数据的样本数不同或相同;
进行数据收集的候选第二设备收集训练数据的时间,不同候选第二设备收集训练数据的时间不同或相同;
进行数据收集的候选第二设备向所述第一设备上报训练数据的时间,不同候选第二设备上报训练数据的时间不同或相同;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
进行数据收集的候选第二设备向所述第一设备上报的训练数据的数据格式;
所述第一筛选条件。
一些实施例中,推理设备接收所述第一设备发送的训练后的AI模型和超参数。
一些实施例中,所述AI模型为元学习模型,所述超参数由所述第一参数决定。
一些实施例中,所述超参数包括以下至少一项:
外迭代学习率;
不同训练任务或所述推理设备对应的内迭代学习率;
元学习率;
不同训练任务或所述推理设备对应的内迭代次数;
不同训练任务或所述推理设备对应的外迭代次数。
一些实施例中,处理器710用于对所述AI模型进行性能验证;若性能验证结果满足预设的第一条件,将所述AI模型用于推理。
一些实施例中,进行性能验证的AI模型为所述第一设备下发的AI模型,或,所述第一设备下发的AI模型经过微调后的模型。
当第一设备和/或第二设备为网络侧设备时,本申请实施例还提供一种网络侧设备,包括处理器和通信接口。该网络侧设备实施例与上述网络侧设备方法实施例对应,上述方法实施例的各个实施过程和实现方式均可适用于该网络侧设备实施例中,且能达到相同的技术效果。
具体地,本申请实施例还提供了一种网络侧设备。如图8所示,该网络侧设备800包括:天线81、射频装置82、基带装置83、处理器84和存储器85。天线81与射频装置82连接。在上行方向上,射频装置82通过天线81接收信息,将接收的信息发送给基带装置83进行处理。在下行方向上,基带装置83对要发送的信息进行处理,并发送给射频装置82,射频装置82对收到的信息进行处理后经过天线81发送出去。
以上实施例中网络侧设备执行的方法可以在基带装置83中实现,该基带装置83包括基带处理器。
基带装置83例如可以包括至少一个基带板,该基带板上设置有多个芯片,如图8所示,其中一个芯片例如为基带处理器,通过总线接口与存储器85连接,以调用存储器85中的程序,执行以上方法实施例中所示的网络设备操作。
该网络侧设备还可以包括网络接口86,该接口例如为通用公共无线接口(commonpublic radio interface,CPRI)。
具体地,本发明实施例的网络侧设备800还包括:存储在存储器85上并可在处理器84上运行的指令或程序,处理器84调用存储器85中的指令或程序执行如上所述的数据收集方法,并达到相同的技术效果,为避免重复,故不在此赘述。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述数据收集方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述数据收集方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片,系统芯片,芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现上述数据收集方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供了一种数据收集系统,包括:第一设备及第二设备,所述第一设备可用于执行如上所述的数据收集方法的步骤,所述第二设备可用于执行如上所述的数据收集方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (33)
1.一种数据收集方法,其特征在于,包括:
第一设备向第二设备发送第一指示,指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;
所述第一设备接收所述第二设备上报的训练数据;
所述第一设备利用所述训练数据构造数据集,对所述特定AI模型进行训练。
2.根据权利要求1所述的数据收集方法,其特征在于,所述第一设备向第二设备发送第一指示包括:
所述第一设备按照预设的第一筛选条件从M个候选第二设备中筛选出N个所述第二设备,向所述N个所述第二设备单播所述第一指示,M,N为正整数,N小于或等于M;或
所述第一设备向所述M个候选第二设备广播所述第一指示,所述第一指示携带有第二筛选条件,所述第二筛选条件用于筛选上报所述训练数据的第二设备,所述第二设备满足所述第二筛选条件。
3.根据权利要求2所述的数据收集方法,其特征在于,所述第一设备向第二设备发送第一指示之前,所述方法还包括:
所述第一设备接收所述候选第二设备上报的第一训练数据和/或第一参数,所述第一参数是所述第一筛选条件的判断参数。
4.根据权利要求3所述的数据收集方法,其特征在于,
所述第一设备仅接收所述候选第二设备上报的第一训练数据,根据所述第一训练数据确定所述第一参数。
5.根据权利要求3或4所述的数据收集方法,其特征在于,所述第一参数包括以下至少一项:
所述候选第二设备的数据类型;
所述候选第二设备的数据分布参数;
所述候选第二设备的业务类型;
所述候选第二设备的工作场景;
所述候选第二设备的通信网络接入方式;
所述候选第二设备的信道质量;
所述候选第二设备收集数据的难易程度;
所述候选第二设备的电量状态;
所述候选第二设备的存储状态。
6.根据权利要求2所述的数据收集方法,其特征在于,单播的所述第一指示包括以下至少一项:
所述第二设备收集的训练数据的样本数;
所述第二设备收集训练数据的时间;
所述第二设备向所述第一设备上报训练数据的时间;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
所述第二设备向所述第一设备上报的训练数据的数据格式。
7.根据权利要求2所述的数据收集方法,其特征在于,广播的所述第一指示包括以下至少一项:
进行数据收集的候选第二设备的标识;
不进行数据收集的候选第二设备的标识;
进行数据收集的候选第二设备所需要收集的训练数据的样本数;
进行数据收集的候选第二设备收集训练数据的时间;
进行数据收集的候选第二设备向所述第一设备上报训练数据的时间;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
进行数据收集的候选第二设备向所述第一设备上报的训练数据的数据格式;
所述第一筛选条件。
8.根据权利要求3所述的数据收集方法,其特征在于,对特定AI模型进行训练之后,所述方法还包括:
所述第一设备向L个推理设备发送训练后的AI模型和超参数,所述L大于M、等于M或小于M。
9.根据权利要求8所述的数据收集方法,其特征在于,所述AI模型为元学习模型,所述超参数由所述第一参数决定。
10.根据权利要求8所述的数据收集方法,其特征在于,所述超参数包括以下至少一项:
外迭代学习率;
不同训练任务或所述推理设备对应的内迭代学习率;
元学习率;
不同训练任务或所述推理设备对应的内迭代次数;
不同训练任务或所述推理设备对应的外迭代次数。
11.根据权利要求1所述的数据收集方法,其特征在于,
所述第一设备为网络侧设备,所述第二设备为终端;或
所述第一设备为网络侧设备,所述第二设备为网络侧设备;或
所述第一设备为终端,所述第二设备为终端。
12.一种数据收集方法,其特征在于,包括:
第二设备接收第一设备的第一指示,所述第一指示用以指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;
所述第二设备收集训练数据,并向所述第一设备上报所述训练数据。
13.根据权利要求12所述的数据收集方法,其特征在于,所述第二设备接收第一设备的第一指示包括:
所述第二设备接收所述第一设备单播的所述第一指示,所述第二设备为所述第一设备按照预设的第一筛选条件从候选第二设备中筛选出的第二设备;或
所述第二设备接收所述第一设备向候选第二设备广播的所述第一指示,所述第一指示携带有第二筛选条件,所述第二筛选条件用于筛选上报所述训练数据的第二设备,所述第二设备满足所述第二筛选条件。
14.根据权利要求13所述的数据收集方法,其特征在于,所述第二设备收集训练数据,并向所述第一设备上报所述训练数据包括:
若所述第二设备接收所述第一设备单播的所述第一指示,所述第二设备收集并上报所述训练数据;或
若所述第二设备接收所述第一设备广播的所述第一指示,所述第二设备收集并上报所述训练数据。
15.根据权利要求13所述的数据收集方法,其特征在于,所述第二设备接收第一设备的第一指示之前,所述方法还包括:
候选第二设备向所述第一设备上报第一训练数据和/或第一参数,所述第一参数是所述第一筛选条件的判断参数。
16.根据权利要求15所述的数据收集方法,其特征在于,所述候选第二设备向所述第一设备仅上报所述第一训练数据,所述第一训练数据用于确定所述第一参数。
17.根据权利要求15所述的数据收集方法,其特征在于,所述第一参数包括以下至少一项:
所述候选第二设备的数据类型;
所述候选第二设备的数据分布参数;
所述候选第二设备的业务类型;
所述候选第二设备的工作场景;
所述候选第二设备的通信网络接入方式;
所述候选第二设备的信道质量;
所述候选第二设备收集数据的难易程度;
所述候选第二设备的电量状态;
所述候选第二设备的存储状态。
18.根据权利要求12所述的数据收集方法,其特征在于,向所述第一设备上报所述训练数据之前,所述方法还包括:
所述第二设备向所述第一设备发送第一请求,请求进行训练数据的收集和上报。
19.根据权利要求13所述的数据收集方法,其特征在于,单播的所述第一指示包括以下至少一项:
所述第二设备收集的训练数据的样本数;
所述第二设备收集训练数据的时间;
所述第二设备向所述第一设备上报训练数据的时间;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
所述第二设备向所述第一设备上报的训练数据的数据格式。
20.根据权利要求13所述的数据收集方法,其特征在于,广播的所述第一指示包括以下至少一项:
进行数据收集的候选第二设备的标识;
不进行数据收集的候选第二设备的标识;
进行数据收集的候选第二设备所需要收集的训练数据的样本数;
进行数据收集的候选第二设备收集训练数据的时间;
进行数据收集的候选第二设备向所述第一设备上报训练数据的时间;
是否需要对收集的数据进行预处理;
对收集的数据进行预处理的方式;
进行数据收集的候选第二设备向所述第一设备上报的训练数据的数据格式;
所述第一筛选条件。
21.根据权利要求15所述的数据收集方法,其特征在于,所述第二设备收集训练数据,并向所述第一设备上报所述训练数据之后,所述方法还包括:
推理设备接收所述第一设备发送的训练后的AI模型和超参数。
22.根据权利要求21所述的数据收集方法,其特征在于,所述AI模型为元学习模型,所述超参数由所述第一参数决定。
23.根据权利要求21所述的数据收集方法,其特征在于,所述超参数包括以下至少一项:
外迭代学习率;
不同训练任务或所述推理设备对应的内迭代学习率;
元学习率;
不同训练任务或所述推理设备对应的内迭代次数;
不同训练任务或所述推理设备对应的外迭代次数。
24.根据权利要求21所述的数据收集方法,其特征在于,所述推理设备接收所述第一设备发送的训练后的AI模型和超参数之后,所述方法还包括:
所述推理设备对所述AI模型进行性能验证;
若性能验证结果满足预设的第一条件,所述推理设备将所述AI模型用于推理。
25.根据权利要求24所述的数据收集方法,其特征在于,进行性能验证的AI模型为所述第一设备下发的AI模型,或,所述第一设备下发的AI模型经过微调后的模型。
26.根据权利要求12所述的数据收集方法,其特征在于,
所述第一设备为网络侧设备,所述第二设备为终端;或
所述第一设备为网络侧设备,所述第二设备为网络侧设备;或
所述第一设备为终端,所述第二设备为终端。
27.一种数据收集装置,其特征在于,包括:
发送模块,用于向第二设备发送第一指示,指示所述第二设备收集并上报用以进行特定AI模型训练的训练数据;
接收模块,用于接收所述第二设备上报的训练数据;
训练模块,用于利用所述训练数据构造数据集,对所述特定AI模型进行训练。
28.根据权利要求27所述的数据收集装置,其特征在于,
所述发送模块具体用于按照预设的第一筛选条件从M个候选第二设备中筛选出N个所述第二设备,向所述N个所述第二设备单播所述第一指示,M,N为正整数,N小于或等于M;或
向所述M个候选第二设备广播所述第一指示,所述第一指示携带有第二筛选条件,所述第二筛选条件用于筛选上报所述训练数据的第二设备,所述第二设备满足所述第二筛选条件。
29.一种数据收集装置,其特征在于,包括:
接收模块,用于接收第一设备的第一指示,所述第一指示用以指示第二设备收集并上报用以进行特定AI模型训练的训练数据;
处理模块,用于收集训练数据,并向所述第一设备上报所述训练数据。
30.根据权利要求29所述的数据收集装置,其特征在于,所述数据收集装置还包括:
推理模块,用于对所述AI模型进行性能验证;若性能验证结果满足预设的第一条件,将所述AI模型用于推理。
31.一种第一设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至11任一项所述的数据收集方法的步骤。
32.一种第二设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求12至26任一项所述的数据收集方法的步骤。
33.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-11任一项所述的数据收集方法,或者实现如权利要求12至26任一项所述的数据收集方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111540035.0A CN116264712A (zh) | 2021-12-15 | 2021-12-15 | 数据收集方法及装置、第一设备、第二设备 |
PCT/CN2022/138757 WO2023109828A1 (zh) | 2021-12-15 | 2022-12-13 | 数据收集方法及装置、第一设备、第二设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111540035.0A CN116264712A (zh) | 2021-12-15 | 2021-12-15 | 数据收集方法及装置、第一设备、第二设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116264712A true CN116264712A (zh) | 2023-06-16 |
Family
ID=86722671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111540035.0A Pending CN116264712A (zh) | 2021-12-15 | 2021-12-15 | 数据收集方法及装置、第一设备、第二设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116264712A (zh) |
WO (1) | WO2023109828A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107741899B (zh) * | 2017-10-16 | 2021-07-27 | 北京小米移动软件有限公司 | 处理终端数据的方法、装置及系统 |
CN109754105B (zh) * | 2017-11-07 | 2024-01-05 | 华为技术有限公司 | 一种预测方法及终端、服务器 |
US10576380B1 (en) * | 2018-11-05 | 2020-03-03 | Sony Interactive Entertainment LLC | Artificial intelligence (AI) model training using cloud gaming network |
CN110457476A (zh) * | 2019-08-06 | 2019-11-15 | 北京百度网讯科技有限公司 | 用于生成分类模型的方法和装置 |
CN111931876B (zh) * | 2020-10-12 | 2021-02-05 | 支付宝(杭州)信息技术有限公司 | 一种用于分布式模型训练的目标数据方筛选方法及系统 |
CN113177367B (zh) * | 2021-05-28 | 2022-08-30 | 北京邮电大学 | 高能效的联邦学习方法、装置、边缘服务器及用户设备 |
-
2021
- 2021-12-15 CN CN202111540035.0A patent/CN116264712A/zh active Pending
-
2022
- 2022-12-13 WO PCT/CN2022/138757 patent/WO2023109828A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023109828A1 (zh) | 2023-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2023109827A1 (zh) | 客户端筛选方法及装置、客户端及中心设备 | |
WO2023066288A1 (zh) | 模型请求方法、模型请求处理方法及相关设备 | |
CN116264712A (zh) | 数据收集方法及装置、第一设备、第二设备 | |
CN114071749A (zh) | 物理下行控制信道的监听方法、装置和设备 | |
WO2024012303A1 (zh) | 一种ai网络模型交互方法、装置和通信设备 | |
WO2023179651A1 (zh) | 波束处理方法、装置及设备 | |
WO2023174253A1 (zh) | Ai模型的处理方法及设备 | |
CN116963093A (zh) | 模型调整方法、信息传输方法、装置及相关设备 | |
WO2023179649A1 (zh) | 人工智能模型的输入处理方法、装置及设备 | |
WO2023036309A1 (zh) | 参考信号序列生成方法、装置、设备及介质 | |
WO2024051564A1 (zh) | 信息传输方法、ai网络模型训练方法、装置和通信设备 | |
WO2023098535A1 (zh) | 信息交互方法、装置及通信设备 | |
CN116963092A (zh) | 模型确定方法、信息传输方法、装置及相关设备 | |
CN117978650A (zh) | 数据处理方法、装置、终端及网络侧设备 | |
CN117639862A (zh) | Csi预测处理方法、装置、通信设备及可读存储介质 | |
CN116208484A (zh) | 信息交互方法、装置及通信设备 | |
CN117692955A (zh) | 信息传输方法、装置、终端及网络侧设备 | |
CN117835372A (zh) | 网络选择方法及终端 | |
CN117997457A (zh) | 参考信号确定方法、终端及网络侧设备 | |
CN116137553A (zh) | 一种信道预测方法、装置、ue及系统 | |
CN118158118A (zh) | Ai网络模型的确定方法、信息传输方法、装置和通信设备 | |
CN116744451A (zh) | 传输方法、装置、终端和存储介质 | |
CN117676668A (zh) | 信息传输方法、装置、终端及网络侧设备 | |
CN116249119A (zh) | 模型配置方法、装置及通信设备 | |
CN117858119A (zh) | 数据收集及处理方法、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |