CN116128050A - 一种模型训练方法、系统以及相关装置 - Google Patents

一种模型训练方法、系统以及相关装置 Download PDF

Info

Publication number
CN116128050A
CN116128050A CN202111662705.6A CN202111662705A CN116128050A CN 116128050 A CN116128050 A CN 116128050A CN 202111662705 A CN202111662705 A CN 202111662705A CN 116128050 A CN116128050 A CN 116128050A
Authority
CN
China
Prior art keywords
model
federal
management center
federation
devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111662705.6A
Other languages
English (en)
Inventor
王成录
宋超领
高翔宇
吴金娴
周昕宇
王翃宇
黄维
王松涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN116128050A publication Critical patent/CN116128050A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Rehabilitation Tools (AREA)

Abstract

一种模型训练方法、系统以及相关装置。在该方法中,可以将多个电子设备组成传感联邦,传感联邦中的各个电子设备分别提供训练数据给联邦管理中心,联邦管理中心可以利用训练数据训练模型。这样,可以训练出更为精准的模型。

Description

一种模型训练方法、系统以及相关装置
技术领域
本申请涉及电子设备及数据处理领域,尤其涉及一种模型训练方法、系统以及相关装置。
背景技术
人工智能技术(artificialintelligence,AI)以及人工智能物联网技术(artificialintelligence&Internetofthings,AIOT)及应用已经在多领域场景取得突破性进展,正迅速改变经济及生活方式。在AI技术和AIOT技术的基础上,多个电子设备可以互联互通。其中,一些电子设备中可以具备一些算法模型,该算法模型能够根据各种数据(例如当前用户状态(运动、静止)、用户年龄等等数据),来调整电子设备的工作状态,以便于给用户带来更好的体验。例如,具备环境光采集传感器的智能电灯,可以根据环境光数据来调整智能电灯的亮度等。
当前,电子设备中的算法模型都需要经过训练来提高算法模型的鲁棒性和准确率。但是,对于单一的电子设备能够提供的训练数据或者资源(计算资源或存储资源)有限。并且,用户不希望自己电子设备中的隐私数据被泄露或提供给其他用户的电子设备。这样,一个用户的电子设备可能获取到另一个用户中的某些类型的数据。但是一个用户的电子设备中用于训练模型的数据有限。而当电子设备中的算法模型的训练数据不足时,该算法模型的准确率会大受影响。
由此,如何利用多个电子设备中的数据来训练算法模型,以及提高算法模型的准确率,是亟待解决的问题。
发明内容
本申请提供了一种模型训练方法、系统以及相关装置,通过本申请实施例提供的模型训练方法,可以利用传感联邦中的多个设备联合执行模型训练,可以提高模型的准确率。
第一方面,本申请提供了一种模型训练方法,该模型训练方法可以应用于模型训练系统,该模型训练系统中可以包括第一联邦管理中心、以及第一联邦管理中心关联的多个设备;其中,该模型训练方法可以包括:第一联邦管理中心基于模型训练任务,以及多个设备的设备能力信息,确定执行模型训练任务的一个或多个设备;第一联邦管理中心指示一个或多个设备获取一个或多个传感数据,联合执行模型训练任务。
其中,设备能力信息包括设备的计算能力、存储能力、传感能力信息中的一项或多项;传感能力信息用于指示设备中包括的传感数据、以及传感数据的精度。
其中,第一联邦管理中心部署在一个设备或分布式地部署在模型训练系统中的多个设备中,设备包括电子设备、服务器。
其中,与第一联邦管理中心关联的多个设备可以指,与第一联邦管理中心所在的设备建立有通信连接的设备。第一联邦管理中心和、与第一关联关联中心关联的多个设备可以组成一个传感联邦。该传感联邦可以称子传感联邦。
这样,可以利用传感联邦中的多个设备联合执行模型训练,能够获取到不同设备中的训练数据,可以提高模型的准确率。
结合第一方面,在一种可能的实现方式中,一个或多个设备中包括第一设备,一个或多个传感数据中包括第一传感数据,第一联邦管理中心指示一个或多个设备获取一个或多个传感数据,联合执行模型训练任务,包括:第一联邦管理中心指示第一设备提供第一传感数据。
这样,联邦管理中心指示传感联邦中的设备提供模型训练任务中所需训练的模型的训练数据。
结合第一方面,在一种可能的实现方式中,一个或多个设备中还包括第二设备,第一联邦管理中心指示一个或多个设备获取一个或多个传感数据,联合执行所述模型训练任务,包括:第一联邦管理中心指示第一设备提供第一传感数据;第一联邦管理中心指示第二设备提供计算能力,并指示第二设备对第一传感数据进行计算。
这样,传感联邦中的计算资源充足的设备可以为计算资源不够充足的设备提供计算能力。当传感联邦中第一设备计算资源不足时,第一设备也可以参与模型训练。
结合第一方面,在一种可能的实现方式中,一个或多个设备中还包括第三设备,第一联邦管理中心指示一个或多个设备获取一个或多个传感数据,联合执行所述模型训练任务,包括:第一联邦管理中心指示第一设备提供第一传感数据;第一联邦管理中心指示第二设备提供计算能力,并指示第二设备对第一传感数据进行计算,得到第一计算结果;第一联邦管理中心指示第三设备提供存储能力,并指示第三设备存储第一计算结果、和/或第一传感数据。
这样,传感联邦中的一些设备提供训练数据,一些设备提供计算资源、一些设备提供存储资源,联合执行模型训练任务。这样,可以使得传感联邦中能够提供训练数据、但不具有计算资源和存储资源的设备也能够参与到模型训练。并且,还可以使得只能提供计算资源、和/或存储资源的设备,不能够提供训练数据的设备也能够参与到模型训练。
结合第一方面,在一种可能的实现方式中,多个设备中包括提供第二传感数据的第四设备,第一联邦管理中心基于模型训练任务,以及多个设备的设备能力信息,确定执行模型训练任务的一个或多个设备,包括:第一联邦管理中心基于模型训练任务,以及设备的设备能力信息,确定提供模型训练任务中所需的第一传感数据的第一设备,和提供模型训练任务中所需的第二传感数据的第四设备。
这样,联邦管理中心可以利用不同设备提供的多个维度的训练数据,训练出更精准的模型。
结合第一方面,在一种可能的实现方式中,第一联邦管理中心基于模型训练任务,以及设备的设备能力信息,确定提供模型训练任务中所需的第一传感数据的第一设备,和提供模型训练任务中所需的第二传感数据的第四设备,包括:第一联邦管理中心基于模型训练任务中所需的第一传感数据和第二传感数据,将模型训练任务分解为第一训练子任务和第二训练子任务;第一训练任务用于指示一个或多个设备提供第一传感数据;第二训练子任务用于指示一个或多个设备提供第二传感数据;第一联邦管理中心基于第一传感数据和第二传感数据,多个设备的设备能力信息,确定多个设备中的第一设备执行第一训练子任务、多个设备中的第四设备执行第二训练子任务。
这样,联邦管理中心可以将模型训练分解为训练子任务,可以让各个设备各自完成训练子任务。
结合第一方面,在一种可能的实现方式中,第一联邦管理中心基于模型训练任务,以及多个设备的设备能力信息,确定执行模型训练任务的一个或多个设备,包括:第一联邦管理中心解析出模型训练任务中所需训练的第一模型,确定第一模型的输入数据包括第一传感数据和第二传感数据;第一模型的输出为第三传感数据;第一联邦管理中心基于所需训练的第一模型,多个设备的设备能力信息,确定多个设备中的第一设备执行第三训练子任务、多个设备中的第四设备执行第四训练子任务;其中,第三训练子任务用于训练第一子模型,第一子模型的输入数据为第一传感数据,第一子模型的输出为第三传感数据;第四训练子任务用于训练第二子模型,第二子模型的输入数据为第二传感数据,第二子模型的输出为第三传感数据。
这样,联邦管理中心可以将所需训练的模型拆解为子模型,然后传感联邦中的各个设备分别训练子模型,得到子模型的训练结果或计算结果。
结合第一方面,在一种可能的实现方式中,第一联邦管理中心指示一个或多个设备获取一个或多个传感数据,联合执行模型训练任务,包括:第一联邦管理中心指示第一设备执行第一训练子任务,指示第四设备执行第二训练子任务。
结合第一方面,在一种可能的实现方式中,第一联邦管理中心指示第一设备执行第一训练子任务,指示第二设备执行第二训练子任务之后,该模型训练方法还可以包括:第一联邦管理中心接收到第一设备发送的第一子模型,第二设备发送的第二子模型;第一联邦管理中心基于第一子模型和第二子模型,得到第二模型,第二模型的输入数据包括第一传感数据和第二传感数据;第二模型的输出为第三传感数据;在模型训练系统中,第二模型的精度高于第一模型的精度。
这样,联邦管理中心可以训练处精度更高的模型。
结合第一方面,在一种可能的实现方式中,模型训练系统还包括模型探索中心,第一联邦管理中心基于模型训练任务,以及多个设备的设备能力信息,确定执行模型训练任务的一个或多个设备,包括:第一联邦管理中心接收模型探索中心发送的模型训练任务,模型探索中心部署在服务器。
这样,本申请中的模型训练任务可以是联邦管理中心发起的,也可以是模型探索中心发起的。
结合第一方面,在一种可能的实现方式中,该模型训练任务还可以包括:模型探索中心向第一联邦管理中心发送联邦学习任务;第一联邦管理中心基于联邦学习任务、以及一个或多个电子设备的设备能力信息,确定执行联邦学习任务的一个或多个电子设备;第一联邦管理中心指示一个或多个电子设备获取一个或多个传感数据联合执行联邦学习任务,并获取联邦学习任务的第一联邦学习结果;第一联邦管理中心将第一联邦学习结果发送给模型探索中心;模型探索中心基于第一联邦学习结果,调整联邦学习任务中所需学习的模型。
这样,传感联邦中的多个设备可以联合进行联邦学习。
结合第一方面,在一种可能的实现方式中,模型训练系统还包括第二联邦管理中心,和第二联邦管理中心关联的多个设备;该方法还可以包括:模型探索中心向第一联邦管理中心和第二联邦管理中心发送联邦学习任务;第一联邦管理中心基于联邦学习任务、以及一个或多个电子设备的设备能力信息,确定执行联邦学习任务的一个或多个电子设备,第二联邦管理中心基于联邦学习任务、以及一个或多个电子设备的设备能力信息,确定执行联邦学习任务的一个或多个电子设备;第一联邦管理中心指示一个或多个电子设备获取一个或多个传感数据联合执行联邦学习任务,并获取联邦学习任务的第一联邦学习结果,第二联邦管理中心指示一个或多个电子设备获取一个或多个传感数据联合执行联邦学习任务,并获取联邦学习任务的第二联邦学习结果;第一联邦管理中心将第一联邦学习结果发送给模型探索中心,第二联邦管理中心将第二联邦学习结果发送给模型探索中心;模型探索中心基于第一联邦学习结果和第二联邦学习结果,调整联邦学习任务中所需学习的模型。
这样,多个传感联邦可以一同参与联邦学习,这样,可以利用不同用户,不同场景下的训练数据进行联邦学习,能够提供所需学习模型的准确率,以及鲁棒性。
结合第一方面,在一种可能的实现方式中,第一联邦学习结果包括与第一联邦管理中心关联的一个或多个设备对联邦学习任务中所需学习的模型的参数进行计算得到的计算结果;第二联邦学习结果包括与第二联邦管理中心关联的一个或多个设备对联邦学习任务中所需学习的模型的参数进行计算得到的计算结果。
结合第一方面,在一种可能的实现方式中,第一联邦管理中心指示第一设备执行第一训练子任务,指示第四设备执行第二训练子任务之后,该模型训练方法还可以包括:第一设备接受或拒绝第一训练子任务;第四设备接受或拒绝第一训练子任务。
这样,传感联邦中的设备可以选择是否接受训练任务。
结合第一方面,在一种可能的实现方式中,第一设备接受或拒绝第一训练子任务,包括:第一设备基于第一设备中的剩余资源,确定接受或拒绝第一训练子任务。
结合第一方面,在一种可能的实现方式中,第一设备基于第一设备中的剩余资源,确定接受或拒绝第一训练子任务,包括:在第一设备确定第一设备中的剩余资源大于第一训练子任务所需的待使用资源的情况下,第一设备向第一联邦管理中心发送第一消息,第一消息用于指示第一设备接受第一训练子任务;第一设备中的剩余资源包括第一设备中的剩余的计算资源和存储资源;在第一设备确定第一设备中的剩余资源小于第一训练子任务所需的待使用资源的情况下,第一设备向第一联邦管理中心发送第二消息,第二消息用于指示第一设备拒绝接受第一训练子任务。
这样,传感联邦中的设备可以在不影响设备中其他任务的基础上,执行模型训练任务。
结合第一方面,在一种可能的实现方式中,第一联邦管理中心基于模型训练任务,以及多个设备的设备能力信息,确定执行模型训练任务的一个或多个设备之前;该模型训练方法还可以包括:第一联邦管理中心接收到多个设备的传感能力信息;第一联邦管理中心基于多个设备的传感能力信息和下载的第一知识图谱,推导出新的传感能力信息。
结合第一方面,在一种可能的实现方式中,第一联邦管理中心接收到多个设备的传感能力信息,包括:第一联邦管理中心接收到多个设备中第六设备加入数据采集系统的消息以及第六设备的设备型号;第一联邦管理中心基于第六设备的设备型号,从第一服务器中获取第六设备的传感能力信息;第一服务器中存储有不同的设备型号、以及设备型号对应的传感能力信息。
结合第一方面,在一种可能的实现方式中,第一联邦管理中心基于第六设备的设备型号,从第一服务器中获取所述第六设备的能力信息之后,该方法还可以包括:第一联邦管理中心基于第六设备的传感能力信息,以及第二知识图谱,推导出新的传感能力信息;第二知识图谱包括第一知识图谱,第二知识图谱中包含的传感能力信息比第一知识图谱中包含的传感能力信息多;第一联邦管理中心基于新的传感能力信息,更新联邦管理中心存储的传感能力信息。
结合第一方面,在一种可能的实现方式中,第一联邦管理中心基于第六设备的传感能力信息,以及的第二知识图谱,推导出新的传感能力信息之后,该方法还可以包括:第一联邦管理中心确定第六设备退出数据采集系统;第一联邦管理中心删除存储的第六设备的传感能力信息、以及删除基于第六设备的传感能力信息推导出的新的传感能力信息。
结合第一方面,在一种可能的实现方式中,第一联邦管理中心确定第六设备退出数据采集系统,包括:联邦管理中心在预设时长内未收到第六设备的发送的第四消息的情况下,联邦管理中心确定第六设备退出数据采集系统;第四消息用于指示第六设备在数据采集系统中。
结合第一方面,在一种可能的实现方式中,第一联邦管理中心确定第六设备退出数据采集系统,包括:第一联邦管理中心接收到第六设备发送的第五消息,第五消息用于指示第六设备退出数据采集系统中。
第二方面,提供一种模型训练方法,该模型训练方法可以应用于模型训练系统,该模型训练系统可以包括模型探索中心,一个或多个联邦管理中心,与一个或多个联邦管理中心关联的一个或多个设备;其中,该模型训练方法可以包括:模型探索中心向一个或多个联邦管理中心发送联邦学习任务;一个或多个联邦管理中心基于联邦学习任务、以及一个或多个电子设备的设备能力信息,确定执行联邦学习任务的一个或多个设备;一个或多个联邦管理中心指示一个或多个设备获取一个或多个传感数据联合执行联邦学习任务,并获取联邦学习任务的联邦学习结果;一个或多个联邦管理中心将联邦学习结果发送给模型探索中心;模型探索中心基于联邦学习结果,调整联邦学习任务中所需学习的模型。
这样,模型探索中心可以获取到多个联邦管理中对应的一个或多个设备的联邦学习结果。即可以利用多个设备中的数据进行联邦学习,又不需要获取设备中的隐私数据。这样,可以保护参与联邦学习的设备中的隐私数据。并且,模型探索中心不会去看单个设备是否能够参与联邦学习,只会看整个传感联邦是否能够参与联邦学习,这样,可以使得联邦学习中提供的学习数据的多样化,可以使得学习的模型的准确率更高。
结合第二方面,在一种可能的实现方式中,一个或多个联邦管理中心包括第一联邦管理中心和第二联邦管理中心,与第一联邦管理中心关联的一个或多个设备,与第二联邦管理中心关联的一个或多个设备,模型探索中心向一个或多个联邦管理中心发送联邦学习任务,包括:模型探索中心向所述第一联邦管理中心和所述第二联邦管理中心发送联邦学习任务。
结合第二方面,在一种可能的实现方式中,一个或多个联邦管理中心基于联邦学习任务、以及一个或多个设备的设备能力信息,确定执行联邦学习任务的一个或多个设备,包括:第一联邦管理中心基于所述联邦学习任务、以及所述一个或多个设备的设备能力信息,确定执行所述联邦学习任务的一个或多个设备,所述第二联邦管理中心基于所述联邦学习任务、以及所述一个或多个设备的设备能力信息,确定执行所述联邦学习任务的一个或多个设备。
结合第二方面,在一种可能的实现方式中,一个或多个联邦管理中心指示一个或多个设备获取一个或多个传感数据联合执行所述联邦学习任务,并获取联邦学习任务的联邦学习结果,包括:第一联邦管理中心指示一个或多个设备获取一个或多个传感数据联合执行联邦学习任务,并获取联邦学习任务的第一联邦学习结果,第二联邦管理中心指示一个或多个设备获取一个或多个传感数据联合执行联邦学习任务,并获取联邦学习任务的第二联邦学习结果;
结合第二方面,在一种可能的实现方式中,一个或多个联邦管理中心将联邦学习结果发送给模型探索中心,包括:第一联邦管理中心将第一联邦学习结果发送给模型探索中心,第二联邦管理中心将第二联邦学习结果发送给模型探索中心。
结合第二方面,在一种可能的实现方式中,模型探索中心基于联邦学习结果,调整联邦学习任务中所需学习的模型,包括:模型探索中心基于第一联邦学习结果和第二联邦学习结果,调整联邦学习任务中所需学习的模型。
结合第二方面,在一种可能的实现方式中,设备能力信息包括设备的计算能力、存储能力、传感能力信息中的一项或多项;传感能力信息用于指示设备中包括的传感数据、以及传感数据的精度。
结合第二方面,在一种可能的实现方式中,模型探索中心部署在服务器中,一个或多个联邦管理中心部署在一个设备或分布式地部署在模型训练系统中的多个设备中,设备包括电子设备、服务器。
结合第二方面,在一种可能的实现方式中,该模型训练方法还可以包括:第一联邦管理中心基于模型训练任务,以及多个设备的设备能力信息,确定执行模型训练任务的一个或多个设备;第一联邦管理中心指示一个或多个设备获取一个或多个传感数据,联合执行模型训练任务。
这样,可以利用传感联邦中的多个设备联合执行模型训练,能够获取到不同设备中的训练数据,可以提高模型的准确率。
结合第二方面,在一种可能的实现方式中,一个或多个设备中包括第一设备,一个或多个传感数据中包括第一传感数据,第一联邦管理中心指示一个或多个设备获取一个或多个传感数据,联合执行模型训练任务,包括:第一联邦管理中心指示第一设备提供第一传感数据。
这样,联邦管理中心指示传感联邦中的设备提供模型训练任务中所需训练的模型的训练数据。
结合第二方面,在一种可能的实现方式中,一个或多个设备中还包括第二设备,第一联邦管理中心指示一个或多个设备获取一个或多个传感数据,联合执行所述模型训练任务,包括:第一联邦管理中心指示第一设备提供第一传感数据;第一联邦管理中心指示第二设备提供计算能力,并指示第二设备对第一传感数据进行计算。
这样,传感联邦中的计算资源充足的设备可以为计算资源不够充足的设备提供计算能力。当传感联邦中第一设备计算资源不足时,第一设备也可以参与模型训练。
结合第二方面,在一种可能的实现方式中,一个或多个设备中还包括第三设备,第一联邦管理中心指示一个或多个设备获取一个或多个传感数据,联合执行所述模型训练任务,包括:第一联邦管理中心指示第一设备提供第一传感数据;第一联邦管理中心指示第二设备提供计算能力,并指示第二设备对第一传感数据进行计算,得到第一计算结果;第一联邦管理中心指示第三设备提供存储能力,并指示第三设备存储第一计算结果、和/或第一传感数据。
这样,传感联邦中的一些设备提供训练数据,一些设备提供计算资源、一些设备提供存储资源,联合执行模型训练任务。这样,可以使得传感联邦中能够提供训练数据、但不具有计算资源和存储资源的设备也能够参与到模型训练。并且,还可以使得只能提供计算资源、和/或存储资源的设备,不能够提供训练数据的设备也能够参与到模型训练。
结合第二方面,在一种可能的实现方式中,多个设备中包括提供第二传感数据的第四设备,第一联邦管理中心基于模型训练任务,以及多个设备的设备能力信息,确定执行模型训练任务的一个或多个设备,包括:第一联邦管理中心基于模型训练任务,以及设备的设备能力信息,确定提供模型训练任务中所需的第一传感数据的第一设备,和提供模型训练任务中所需的第二传感数据的第四设备。
这样,联邦管理中心可以利用不同设备提供的多个维度的训练数据,训练出更精准的模型。
结合第二方面,在一种可能的实现方式中,第一联邦管理中心基于模型训练任务,以及设备的设备能力信息,确定提供模型训练任务中所需的第一传感数据的第一设备,和提供模型训练任务中所需的第二传感数据的第四设备,包括:第一联邦管理中心基于模型训练任务中所需的第一传感数据和第二传感数据,将模型训练任务分解为第一训练子任务和第二训练子任务;第一训练任务用于指示一个或多个设备提供第一传感数据;第二训练子任务用于指示一个或多个设备提供第二传感数据;第一联邦管理中心基于第一传感数据和第二传感数据,多个设备的设备能力信息,确定多个设备中的第一设备执行第一训练子任务、多个设备中的第四设备执行第二训练子任务。
这样,联邦管理中心可以将模型训练分解为训练子任务,可以让各个设备各自完成训练子任务。
结合第二方面,在一种可能的实现方式中,第一联邦管理中心基于模型训练任务,以及多个设备的设备能力信息,确定执行模型训练任务的一个或多个设备,包括:第一联邦管理中心解析出模型训练任务中所需训练的第一模型,确定第一模型的输入数据包括第一传感数据和第二传感数据;第一模型的输出为第三传感数据;第一联邦管理中心基于所需训练的第一模型,多个设备的设备能力信息,确定多个设备中的第一设备执行第三训练子任务、多个设备中的第四设备执行第四训练子任务;其中,第三训练子任务用于训练第一子模型,第一子模型的输入数据为第一传感数据,第一子模型的输出为第三传感数据;第四训练子任务用于训练第二子模型,第二子模型的输入数据为第二传感数据,第二子模型的输出为第三传感数据。
这样,联邦管理中心可以将所需训练的模型拆解为子模型,然后传感联邦中的各个设备分别训练子模型,得到子模型的训练结果或计算结果。
结合第二方面,在一种可能的实现方式中,第一联邦管理中心指示一个或多个设备获取一个或多个传感数据,联合执行模型训练任务,包括:第一联邦管理中心指示第一设备执行第一训练子任务,指示第四设备执行第二训练子任务。
结合第二方面,在一种可能的实现方式中,第一联邦管理中心指示第一设备执行第一训练子任务,指示第二设备执行第二训练子任务之后,该模型训练方法还可以包括:第一联邦管理中心接收到第一设备发送的第一子模型,第二设备发送的第二子模型;第一联邦管理中心基于第一子模型和第二子模型,得到第二模型,第二模型的输入数据包括第一传感数据和第二传感数据;第二模型的输出为第三传感数据;在模型训练系统中,第二模型的精度高于第一模型的精度。
这样,联邦管理中心可以训练处精度更高的模型。
结合第二方面,在一种可能的实现方式中,模型训练系统还包括模型探索中心,第一联邦管理中心基于模型训练任务,以及多个设备的设备能力信息,确定执行模型训练任务的一个或多个设备,包括:第一联邦管理中心接收模型探索中心发送的模型训练任务,模型探索中心部署在服务器。
这样,本申请中的模型训练任务可以是联邦管理中心发起的,也可以是模型探索中心发起的。
结合第二方面,在一种可能的实现方式中,第一联邦管理中心指示第一设备执行第一训练子任务,指示第四设备执行第二训练子任务之后,该模型训练方法还可以包括:第一设备接受或拒绝第一训练子任务;第四设备接受或拒绝第一训练子任务。
这样,传感联邦中的设备可以选择是否接受训练任务。
结合第二方面,在一种可能的实现方式中,第一设备接受或拒绝第一训练子任务,包括:第一设备基于第一设备中的剩余资源,确定接受或拒绝第一训练子任务。
结合第二方面,在一种可能的实现方式中,第一设备基于第一设备中的剩余资源,确定接受或拒绝第一训练子任务,包括:在第一设备确定第一设备中的剩余资源大于第一训练子任务所需的待使用资源的情况下,第一设备向第一联邦管理中心发送第一消息,第一消息用于指示第一设备接受第一训练子任务;第一设备中的剩余资源包括第一设备中的剩余的计算资源和存储资源;在第一设备确定第一设备中的剩余资源小于第一训练子任务所需的待使用资源的情况下,第一设备向第一联邦管理中心发送第二消息,第二消息用于指示第一设备拒绝接受第一训练子任务。
这样,传感联邦中的设备可以在不影响设备中其他任务的基础上,执行模型训练任务。
结合第二方面,在一种可能的实现方式中,第一联邦管理中心基于模型训练任务,以及多个设备的设备能力信息,确定执行模型训练任务的一个或多个设备之前;该模型训练方法还可以包括:第一联邦管理中心接收到多个设备的传感能力信息;第一联邦管理中心基于多个设备的传感能力信息和下载的第一知识图谱,推导出新的传感能力信息。
结合第二方面,在一种可能的实现方式中,第一联邦管理中心接收到多个设备的传感能力信息,包括:第一联邦管理中心接收到多个设备中第六设备加入数据采集系统的消息以及第六设备的设备型号;第一联邦管理中心基于第六设备的设备型号,从第一服务器中获取第六设备的传感能力信息;第一服务器中存储有不同的设备型号、以及设备型号对应的传感能力信息。
结合第二方面,在一种可能的实现方式中,第一联邦管理中心基于第六设备的设备型号,从第一服务器中获取所述第六设备的能力信息之后,该方法还可以包括:第一联邦管理中心基于第六设备的传感能力信息,以及第二知识图谱,推导出新的传感能力信息;第二知识图谱包括第一知识图谱,第二知识图谱中包含的传感能力信息比第一知识图谱中包含的传感能力信息多;第一联邦管理中心基于新的传感能力信息,更新联邦管理中心存储的传感能力信息。
结合第二方面,在一种可能的实现方式中,第一联邦管理中心基于第六设备的传感能力信息,以及的第二知识图谱,推导出新的传感能力信息之后,该方法还可以包括:第一联邦管理中心确定第六设备退出数据采集系统;第一联邦管理中心删除存储的第六设备的传感能力信息、以及删除基于第六设备的传感能力信息推导出的新的传感能力信息。
结合第二方面,在一种可能的实现方式中,第一联邦管理中心确定第六设备退出数据采集系统,包括:联邦管理中心在预设时长内未收到第六设备的发送的第四消息的情况下,联邦管理中心确定第六设备退出数据采集系统;第四消息用于指示第六设备在数据采集系统中。
结合第二方面,在一种可能的实现方式中,第一联邦管理中心确定第六设备退出数据采集系统,包括:第一联邦管理中心接收到第六设备发送的第五消息,第五消息用于指示第六设备退出数据采集系统中。
第三方面,提供一种模型训练系统,该模型训练系统包括一个或多个联邦管理中心,与一个或多个联邦管理中心关联的多个设备,模型探索中心,该模型训练系统中的模型探索中心、一个或多个联邦管理中心,与一个或多个联邦管理中心关联的多个设备可以用于执行上述任一方面中的任一种可能的实现方式中的方法。
第四方面,提供一种电子设备,包括一个或多个处理器、一个或多个存储器、收发器;其中,收发器、一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器在执行计算机指令时,使得电子设备执行上述任一方面中的任一种可能的实现方式中的方法。
第五方面,本申请提供了一种模型训练装置,包括一个或多个处理器、一个或多个存储器和收发器。收发器、该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得模型训练装置执行上述第一方面任一项可能的实现方式中的方法。
第六方面,本申请提供了一种计算机可读存储介质,该计算机存储介质中存储有指令,当指令在计算机上运行时,使得计算机执行上述任一方面中任一项可能的实现方式中的方法。
第七方面,本申请提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述任一方面中任一项可能的实现方式中的方法。
附图说明
图1A是本申请实施例提供的模型训练系统10的架构示意图;
图1B是本申请实施例提供的模型训练系统10的架构示意图;
图1C是本申请实施例提供的模型训练系统10的架构示意图;
图1D是本申请实施例提供的模型训练系统10的架构示意图;
图2A是本申请实施例提供的模型训练系统10的一种场景示意图;
图2B是本申请实施例提供的模型训练的具体场景示意图;
图2C是本申请实施例提供的模型训练系统10的场景示意图;
图3是本申请实施例提供的模型训练系统10中模型探索中心20、联邦管理中心30、电子设备1…n的软件架构示意图;
图4是本申请实施例提供的一种语义信息的知识图谱示意图;
图5A是本申请实施例提供的一种手机104的用户界面70A示意图;
图5B是本申请实施例提供的一种手机104的用户界面70B示意图;
图5C是本申请实施例提供的一种手机104的用户界面70C示意图;
图5D是本申请实施例提供的一种手机104的用户界面70D示意图;
图5E是本申请实施例提供的一种手机104的用户界面70E示意图;
图6A是本申请实施例提供的一种手机104的用户界面80A示意图;
图6B是本申请实施例提供的一种手机104的用户界面80B示意图;
图6C是本申请实施例提供的一种手机104的用户界面80C示意图;
图6D是本申请实施例提供的一种手机104的用户界面80D示意图;
图6E是本申请实施例提供的一种手机104的用户界面80E示意图;
图6F是本申请实施例提供的一种手机104的用户界面80F示意图;
图6G是本申请实施例提供的一种平板105的用户界面80G示意图;
图6H是本申请实施例提供的一种手机104的用户界面80H示意图;
图6I是本申请实施例提供的一种手机104的用户界面80I示意图;
图7A是本申请实施例提供的一种平板105的用户界面90A示意图;
图7B是本申请实施例提供的一种平板105的用户界面90B示意图;
图7C是本申请实施例提供的一种平板105的用户界面90C示意图;
图7D是本申请实施例提供的一种手机104的用户界面90D示意图;
图7E是本申请实施例提供的一种平板105的用户界面90E示意图;
图7F是本申请实施例提供的一种平板105的用户界面90F示意图;
图7G是本申请实施例提供的一种平板105的用户界面90G示意图;
图8是本申请实施例提供的一种模型训练方法的流程示意图;
图9是本申请实施例提供的一种模型训练方法的流程示意图;
图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
首先,介绍本申请实施例提供的一种模型训练系统。
图1A示例性地示出了本申请实施例提供的一种模型训练系统10。如图1A所示,该模型训练系统10中可以包括一个或多个电子设备(即电子设备1,电子设备2,…,电子设备n),模型探索中心以及联邦管理中心。在该模型训练系统10中,模型探索中心可以在电子设备1,电子设备2,…,电子设备n中的一个电子设备中,或分布式地部署在电子设备1,电子设备2,…,电子设备n中的多个电子设备中。模型探索中心还可以在电子设备1,电子设备2,…,电子设备n之外的另一个电子设备中、或者多个电子设备中。模型探索中心还可以在云服务器或服务器中。联邦管理中心可以在电子设备1,电子设备2,…,电子设备n中的一个电子设备中,或分布式地部署在电子设备1,电子设备2,…,电子设备n中的多个电子设备中。联邦管理中心还可以在电子设备1,电子设备2,…,电子设备n之外的另一个电子设备中、或者多个电子设备中。联邦管理中心还可以在云服务器或服务器中。
该模型训练系统10中的电子设备1,电子设备2,…,电子设备n、联邦管理中心所在的电子设备或者云服务器、服务器、模型探索中心所在的电子设备或云服务器可以通过无线局域网(wirelesslocalareanetworks,WLAN)、或者蜂窝网络、蓝牙以及软总线、或者通用串行总线(universalserialbus,USB)连接线等建立通信连接。本申请实施例对该模型训练系统10中电子设备1,电子设备2,…,电子设备n、联邦管理中心所在的电子设备或者云服务器、服务器、模型探索中心所在的电子设备或云服务器建立通信连接的方式不作限定。
可以理解的是,软总线可以是手机、平板、智能穿戴、智慧屏、车机等等电子设备的通信基座,可以为设备之间的互联互通提供通信能力。
具体地,电子设备1,电子设备2,…,电子设备n可以分别与联邦管理中心所在的电子设备或云服务器、服务器建立通信连接。电子设备1,电子设备2,…,电子设备n与作为联邦管理中心的电子设备或云服务器、服务器可以通过无线局域网(wirelesslocalareanetworks,WLAN)、蜂窝网络、蓝牙或者软总线、USB连接线等等建立通信连接。本申请实施例对电子设备1,电子设备2,…,电子设备n与作为联邦管理中心的电子设备或云服务器、服务器建立通信连接的具体方式不作限定。
模型探索中心所在的电子设备或云服务器、服务器可以与联邦管理中心所在的电子设备或云服务器、服务器建立通信连接。模型探索中心所在的电子设备或云服务器、服务器与联邦管理中心所在的电子设备或云服务器、服务器可以通过WLAN、蜂窝网络、蓝牙或者软总线、USB连接线等等建立通信连接。本申请实施例对数据采集设备与联邦管理中心所在的电子设备或云服务器、服务器建立通信连接的具体方式不作限定。
电子设备1,电子设备2,…,电子设备n之间互相可以通过WLAN、蜂窝网络、蓝牙或者软总线、USB连接线等建立通信连接。例如,电子设备1可以与电子设备2,…,电子设备n中的一个或多个电子设备可以通过WLAN、蜂窝网络、蓝牙或者软总线、USB连接线等建立通信连接。本申请实施例对电子设备1,电子设备2,…,电子设备n之间具体建立通信连接的方式不作限定。
在本申请实施例中,上述模型训练系统10可以称为传感联邦,或者该模型训练系统10中的联邦管理中心和电子设备1,电子设备2,…,电子设备n可以称为传感联邦。传感联邦用于将分布在多个设备的传感器数据进行融合、调度以及管理。传感联邦由多个电子设备组成,在传感联邦内,每个电子设备可以提供该电子设备中的一个或多个传感器(具体数量、和具体传感器可由电子设备设定)的数据。传感联邦可以将传感联邦内的多个电子设备的传感器数据进行融合、调度以及管理。该传感器数据可以是原始数据或者将原始数据进行处理得到的数据。该传感器数据可以是通过软件获取或计算得到数据,或硬件传感器的数据。在本申请实施例中,能够产生数据的软件可以称为软传感器。
可以理解的是,在上述模型训练系统10中模型探索中心和联邦管理中心可以部署在同一个电子设备中、或者服务器、云服务器中。
该模型训练系统10中的模型探索中心以及联邦管理中心、电子设备1,电子设备2,…,电子设备n的具体作用可以参考图1B-图1D中的描述。
在一些场景中,该模型训练系统10中可以用于模型训练。具体地,该模型训练系统中的模型探索中心可以向联邦管理中心发送模型训练任务,联邦管理中心用于可以确定能够执行模型训练的电子设备并指示电子设备完成模型训练任务。在本申请实施例中,模型训练任务可以指联邦管理中心根据电子设备1,电子设备2,…,电子设备n提供的训练数据将模型探索中心发送的初始模型训练成准确率更高的模型。
示例性地,图1B示例性地示出了模型训练系统10执行模型训练示意图。如图1B所示,模型探索中心可以用于向联邦管理中心发送模型训练任务或者模型。在本申请实施例中,模型也可以称为算法、或者算法模型或者机器学习模型等等。模型可以接收输入数据,并根据接收的输入数据和当前模型参数生成预测输出。本申请实施例中的模型可以具体是回归模型、神经网络(artificialneuralnetwork,ANN)、深度神经网络(deepneuralnetwork,DNN)、支持向量机(supportvectormachine)或者其他的机器学习模型等等。
联邦管理中心可以用于向探索模型中心获取模型,也可以将训练好的模型上传至模型探索中心。
联邦管理中心还可以用于接收探索模型中心下发的模型训练任务,并对该模型训练任务进行解析,得到一个或多个模型训练子任务。联邦管理中心还可以将一个或多个模型训练子任务分发给电子设备1,电子设备2,…,电子设备n。
联邦管理中心还可以利用电子设备1,电子设备2,…,电子设备n上传的子模型或者数据训练模型。
电子设备1,电子设备2,…,电子设备n可以接收到联邦管理中心发送的模型训练子任务。电子设备1,电子设备2,…,电子设备n可以基于该模型训练子任务训练子模型或者采集数据。电子设备1,电子设备2,…,电子设备n可以将训练得到的子模型或者采集的数据发送给联邦管理中心。联邦管理中心基于电子设备1,电子设备2,…,电子设备n可以将训练得到的子模型或者采集的数据训练模型。
在一些场景中,模型探索中心还可以向联邦管理中心发送联邦学习任务。联邦管理中心和电子设备1,电子设备2,…,电子设备n可以进行联邦学习,并将学习的结果(例如,得到的模型参数)上传给模型探索中心。模型探索中心可以基于上传的联邦学习的结果调整模型(例如,调整模型的参数)或者,将多个子模型整合成一个模型。
示例性地,图1C示例性地示出了模型训练系统10执行联邦学习任务的场景示意图。
如图1C所示,模型探索中心可以向多个传感联邦中的联邦管理中心下发联邦学习任务。该联邦学习任务中可以携带有需要学习的模型,或者该联邦学习任务中可以指示具体要学习的模型。
联邦管理中心可以基于该联邦学习任务确定传感联邦中能够参与该联邦学习任务的一个或多个电子设备。联邦管理中心可以接收传感联邦中参与该联邦学习任务的电子设备1,电子设备2,…,电子设备n发送的模型参数1,模型参数2,…,模型参数n。联邦管理中心还可以将该模型参数1,模型参数2,…,模型参数n发送给模型探索中心。模型探索中心可以基于模型参数1,模型参数2,…,模型参数n调整模型探索中心中的模型。
电子设备1,电子设备2,…,电子设备n可以基于联邦管理中心发送的联邦学习任务进行联邦学习,并得到模型参数(模型参数1,模型参数2,…,模型参数n)。电子设备1,电子设备2,…,电子设备n还可以将得到的模型参数发送给联邦管理中心。
在一些场景中,电子设备1,电子设备2,…,电子设备n可以向联邦管理中心发送该电子设备中的可以采集的数据类型、语义信息或者语义知识图谱。联邦管理中心可以基于电子设备1,电子设备2,…,电子设备n发送的可以采集的数据类型、语义信息或者语义知识图谱更新联邦管理中心的语义知识图谱。联邦管理中心可以将更新的语义知识图谱上传至模型探索中心。模型探索中心可以基于联邦管理中心的语义知识图谱更新模型探索中心中的语义知识图谱。
模型探索中心可以基于多个传感联邦中联邦管理中心上报的联邦学习结果(学习得到的模型或模型的参数)调整模型探索中心中的模型或模型的参数。
示例性地,图1D示例性地展示了模型训练系统10中更新语义知识图谱的示意图。
如图1D所示,电子设备1可以向联邦管理中心上传电子设备1中传感器能够采集的数据类型以及语义信息、和/或语义知识图谱、和/或用于推理语义信息的语义推理模型。电子设备2可以向联邦管理中心上传电子设备2中传感器能够采集的数据类型以及语义信息、和/或语义知识图谱、和/或用于推理语义信息的语义推理模型。电子设备n可以向联邦管理中心上传电子设备n中传感器能够采集的数据类型以及语义信息、和/或语义知识图谱、和/或用于推理语义信息的语义推理模型。
联邦管理中心可以基于电子设备1,电子设备2,…,电子设备n上传的能够采集的数据类型以及语义信息或者语义知识图谱,得到语义知识图谱M1。联邦管理中心可以将语义知识图谱M1上传至模型探索中心、和/或用于推理语义信息的语义推理模型上传至模型探索中心。
模型探索中心可以基于语义知识图谱M1更新模型探索中心中存储的语义知识图谱。模型探索中心可以将联邦管理中心中缺少的语义知识图谱M3或者语义信息发送给联邦管理中心。
在一些场景中,电子设备1,电子设备2,…,电子设备n中的电子设备i(i为整数,i=1,2,…,n)可以向联邦管理中心发送数据采集任务。
联邦管理中心可以基于该数据采集任务确定电子设备1,电子设备2,…,电子设备n中可以完成该数据采集任务的电子设备j(j≠i,j为整数,j=1,2,…,n)。电子设备j可以接收到电子设备i发送的数据采集任务,并基于该数据采集任务采集数据。电子设备j可以将采集到的传感器数据发送给电子设备i。
可选地,电子设备j可以将采集到的传感器数据或者基于传感器数据得到的语义信息发送给联邦管理中心。联邦管理中心接收到传感器数据后,将该传感器数据或者基于传感器数据得到的语义信息发送给电子设备i。在本申请实施例中,可以将数据采集设备中传感器采集的到原始数据称为传感器数据。或者,数据采集设备中传感器采集的原始数据,该原始数据经传感器内部处理后得到的数据也可以称为传感器数据。在本申请实施例中,能够采集数据的硬件,或者能够获取某些类型数据的软件,均可以称为传感器。在一些例子中,能够提供一些类型数据的软件也可以称为软传感器。
在本申请实施例中,语义信息可以是将传感器采集到的原始数据或者原始数据处理后得到的数据处理得到的电子设备可识别和可处理的信息。例如,温度传感器采集的原始温度波形信号,可以被处理成为电子设备可理解和应用的语义信息(例如,26℃(摄氏度))。可以理解的是,传感器采集的原始数据可由于场景、应用需求等约束的不同被处理成为不同的语义信息。例如,温度传感器提供的测量结果可以根据该温度传感器部署位置的不同,被处理为“室内温度”或者“室外温度”。再例如,摄像头提供的图像信号可根据应用需求的不同而被处理成为“身份”或者“年龄”等不同语义信息。可以理解的是,不同型号、精度、类型的传感器数据也可能被处理成为同样的语义信息。例如,麦克风采集的语音信号可被处理为“身份”的语义信息,摄像头采集到的图像信号也可以被处理为“身份”的语义信息。
可以理解的是,在一些实施例当中,语义信息不仅包含电子设备可直接应用的信息,还可以包括用于描述语义信息的元数据,例如,元数据可以是语义信息的类型、属性、精度、约束等信息。该元数据可辅助电子设备更加有效的处理和应用传感数据。
在本申请实施例中,上述语义信息和传感器数据、传感器采集到的原始数据、原始信号等统称为传感数据。
可以理解的是,在一种可能的实现方式中,传感联邦中的一个设备获取另一个设备中用户信息或传感数据时,需要该设备的用户的授权。
下面将以一个具体的示例来介绍上述图1B示出的模型训练系统10的使用场景。
图2A示例性地示出了一种模型训练系统的具体使用场景示例。如图2A所示,该模型训练系统可以包括服务器101、摄像头102、手表103、手机104、平板105、空调106。该服务器101可以作为上述图1B中的模型探索中心。摄像头102、手表103、平板105、空调106可以作为上述图1B中的电子设备1,电子设备2,…,电子设备n中的任意电子设备。手机104可以作为上述图1B中的联邦管理中心。
服务器101可以向手机104发送一个模型训练任务,例如,训练空调智能模型1。该空调智能模型1的输入数据可以是空调前用户身份、以及用户体温。该空调智能模型1的输出数据可以是空调工作模式与工作温度。
手机104可以接收到该模型训练任务。手机104可以将该模型训练任务解析成多个训练任务。例如,发送给平板105的训练任务,发送给手表103的训练任务、发送给摄像头102的训练任务、以及发送给空调106的训练任务。其中,手机104发送给平板105的训练任务可以是训练用户身份识别子模型。该用户身份识别子模型的输入数据可以是人脸图像。该用户身份识别子模型的输出数据可以是用户身份(例如,小孩、青年、中年、老年等身份)。手机104发送给手表103的训练任务可以是手表103向手机104提供温度数据。手机104发送给摄像头102的训练任务可以是提供图像数据。手机104发送空调106的训练任务可以是提供空调工作模式和工作温度数据。
平板105可以基于手机104发送的训练任务训练用户身份识别子模型。平板105可以向手机104发送训练好的用户身份识别子模型,或者向手机104发送该用户身份识别子模型输出的用户身份数据。
手表103可以基于手机104发送的训练任务采集用户体温数据。手表103可以将采集到的用户体温数据发送给手机104。
摄像头102可以基于手机104发送的训练任务采集图像数据。摄像头102可以将采集到的图像数据发送给手机104。
空调106可以基于手机104发送的训练任务采集空调工作模式和工作温度数据。
手机104可以基于平板105发送的用户身份识别子模型、或者用户身份数据,以及手表发送的用户体温数据、摄像头102发送的图像数据、以及空调发送的空调工作模式和工作温度数据训练空调智能模型1。手机104对该空调智能模型1训练后,可对该空调智能模型1中的参数进行调整,得到空调智能模型2。该空调智能模型2的准确率可以高于该空调智能模型1。具体可以如图2B所示,平板105中可以存在用户身份识别子模型,该用户身份识别子模型的输入数据可以为人脸图像,输出数据可以是用户身份。平板105中的用户身份识别子模型的输出数据可以作为手机104中空调智能模型1的输入数据。手表103中采集的用户体温数据可以作为手机104中空调智能模型1的输入数据。摄像头102采集的图像数据可以作为手机104中空调智能模型1的输入数据。当一组用户体温数据、用户身份数据以及图像数据输入空调智能模型1后,可以输出预测空调工作模型和工作温度。联邦管理中心可以通过空调106提供的空调106真实的空调工作模式和工作温度的差值δ,来调整校正该空调智能模型1,得到空调智能模型2。
手机104还可以将训练得到的空调智能模型2发送给服务器101。可选地,手机104还可以将该空调智能模型2发送给空调106。
举例来说,用户A的手机、平板、手表以及摄像头、空调可以组成如图2A所示的模型训练系统。用户A可以下载空调智能调控模型,并该对空调智能调控模型进行训练。用户A的手机、平板、手表以及摄像头、空调可以根据用户A每次使用空调时、空调工作模式和工作温度、以及用户A的身份以及用户A的体温数据,训练出一个更符合用户A使用习惯的空调智能调控模型。训练好的空调智能调控模型可以安装在用户的空调中。这样,不需要用户去设置空调的工作模式和工作温度,空调可以根据获取到的用户身份和用户体温就可以开启适合该用户的工作模式和工作温度。
下面将以一个具体的示例来介绍上述图1C示出的模型训练系统10的使用场景。
图2C示例性地示出了一种模型训练系统的具体使用场景示例。如图2C所示,该模型训练系统可以包括服务器101、用户1的设备构建的个人传感联邦1、用户n的设备构建的个人传感联邦n。该服务器101可以作为上述图1C中的模型探索中心。用户1的设备构建的个人传感联邦1可以包括手表103a、平板105a、手机104a以及等电子设备。手机104a可以作为用户1的设备构建的个人传感联邦1、用户n的设备构建的个人传感联邦n的联邦管理中心。用户n的设备构建的个人传感联邦n可以包括手表103b、平板105b、手机104b等电子设备。手机104b可以作为用户n的设备构建的个人传感联邦n、用户n的设备构建的个人传感联邦n的联邦管理中心。
服务器101可以向用户1的设备构建的个人传感联邦1中的联邦管理中心,即手机104a发送联邦学习任务。该联邦学习任务中可以携带需要学习的模型(例如,跌倒预测模型),也可以携带需要学习的模型的标识(例如,跌倒预测模型的ID)。该跌倒预测模型的输入数据可以是图像数据、麦克风声音信号数据、加速度数据;输出数据可以是跌倒预测结果,例如,跌倒或未跌倒,或者跌倒的概率等等。本申请对该跌倒预测模型的输出数据的具体形式不作限定。
手机104a可以接收该联邦学习任务,并解析该联邦学习任务。具体地,手机104a可以将模型探索中心20发送的联邦学习任务解析为三个联邦学习子任务,分别为:学习跌倒预测模型11a、学习跌倒预测模型12a以及学习跌倒预测模型13a。其中,跌倒预测模型11a的输入数据可以是图像数据,输出数据为跌倒预测结果。跌倒预测模型12a的输入数据可以是麦克风声音信号,输出数据为跌倒预测结果。跌倒预测模型13a的输入数据可以是加速度数据,输出数据为跌倒预测结果。手机104a在用户1的设备构建的个人传感联邦1中可以确定手机104a执行学习跌倒预测模型12a的联邦学习子任务、平板105a执行学习跌倒预测模型11a的联邦学习子任务,手表103a执行学习跌倒预测模型13a的联邦学习子任务。
手机104a可以执行学习跌倒预测模型12a的联邦学习子任务。具体地,手机104a可以基于手机104a中采集麦克风声音信号,以及采集麦克风信号时用户是否跌倒的结果,计算出学习跌倒预测模型12a的模型参数12,或者训练新的跌倒预测模型12b。
平板105a可以接收该学习跌倒预测模型11a的联邦学习子任务。平板105a可以执行该联邦学习任务。具体地,平板105a可以基于平板105a中采集的图像数据,以及平板105a拍摄的图像数据对应的用户是否跌倒的结果,计算出学习跌倒预测模型11a的模型参数11,或者训练新的跌倒预测模型11b。平板105a可以将该模型参数11或者跌倒预测模型11b发送给手机104a。
手表103a可以接收该学习跌倒预测模型13a的联邦学习子任务。手表103a可以执行该联邦学习任务。具体地,手表103a可以基于手表103a中加速度传感器采集的加速度数据,以及手表103a采集的加速度数据对应的用户是否跌倒的结果,计算出学习跌倒预测模型13a的模型参数13,或者训练新的跌倒预测模型13b。手表103a可以将该模型参数13或者跌倒预测模型13b发送给手机104a。
手机104a可以将接收到的模型参数11或者跌倒预测模型11b、模型参数13或者跌倒预测模型13b以及手机104a计算或训练得到的模型参数12或者跌倒预测模型12b、发送给服务器101。
服务器101可以向用户n的设备构建的个人传感联邦n中的联邦管理中心,即手机104b发送联邦学习任务。该联邦学习任务中可以携带需要学习的模型(例如,跌倒预测模型),也可以携带需要学习的模型的标识(例如,跌倒预测模型的ID)。该跌倒预测模型的输入数据可以是图像数据、麦克风声音信号数据、加速度数据;输出数据可以是跌倒预测结果,例如,跌倒或未跌倒,或者跌倒的概率等等。本申请对该跌倒预测模型的输出数据的具体形式不作限定。
手机104b可以接收该联邦学习任务,并解析该联邦学习任务。具体地,手机104b可以将模型探索中心20发送的联邦学习任务解析为三个联邦学习子任务,分别为:学习跌倒预测模型n1a、学习跌倒预测模型n2a以及学习跌倒预测模型n3a。其中,跌倒预测模型n1a的输入数据可以是图像数据,输出数据为跌倒预测结果。跌倒预测模型n2a的输入数据可以是麦克风声音信号,输出数据为跌倒预测结果。跌倒预测模型n3a的输入数据可以是加速度数据,输出数据为跌倒预测结果。手机104b在用户n的设备构建的个人传感联邦n中可以确定手机104b执行学习跌倒预测模型n2a的联邦学习子任务、平板105b执行学习跌倒预测模型n1a的联邦学习子任务,手表103b执行学习跌倒预测模型n3a的联邦学习子任务。
手机104b可以执行学习跌倒预测模型n2a的联邦学习子任务。具体地,手机104b可以基于手机104b中采集麦克风声音信号,以及采集麦克风信号时用户是否跌倒的结果,计算出学习跌倒预测模型n2a的模型参数n2,或者训练新的跌倒预测模型n2b。
平板105b可以接收该学习跌倒预测模型n1a的联邦学习子任务。平板105b可以执行该联邦学习任务。具体地,平板105b可以基于平板105b中采集的图像数据,以及平板105b拍摄的图像数据对应的用户是否跌倒的结果,计算出学习跌倒预测模型n1a的模型参数n1,或者训练新的跌倒预测模型n1b。平板105b可以将该模型参数n1或者跌倒预测模型n1b发送给手机104b。
手表103b可以接收该学习跌倒预测模型n3a的联邦学习子任务。手表103b可以执行该联邦学习任务。具体地,手表103b可以基于手表103b中加速度传感器采集的加速度数据,以及手表103b采集的加速度数据对应的用户是否跌倒的结果,计算出学习跌倒预测模型13b的模型参数n3,或者训练新的跌倒预测模型n3b。手表103b可以将该模型参数n3或者跌倒预测模型n3b发送给手机104b。
手机104b可以将接收到的模型参数n1或者跌倒预测模型n1b、模型参数n3或者跌倒预测模型n3b以及手机104b计算或训练得到的模型参数n2或者跌倒预测模型n2b、发送给服务器101。
服务器101可以基于n个传感联邦中上传的模型参数调整服务器101中的跌倒预测模型的参数。或者服务器101可以将n个传感联邦中上传的模型整合成一个新的跌倒预测模型。此处不作限定。
在服务器101向用户1的设备构建的个人传感联邦1以及用户n的设备构建的个人传感联邦n发送联邦学习任务之前,服务器101可以选择具备联邦学习要求(例如,对计算资源以及存储资源的要求)的传感联邦的进行联邦学习。
可以理解的是,用户1的手机中的跌倒预测模型可以基于获取的麦克风语音信号推测出用户是否跌倒,若推测出用户跌倒。该用户1或与用户1的家庭成员可以反馈手机是否真的跌倒。用户1的手机可以保存该跌倒预测模型的输入的麦克风语音信号,以及该跌倒预测模型预测的结果,以及用户反馈用户是否跌倒的真实结果等数据。用户1的手机可以基于该跌倒预测模型的输入的麦克风语音信号,以及该跌倒预测模型预测的结果,以及用户反馈用户是否跌倒的真实结果来调整该跌倒预测模型,得到新的跌倒预测模型或者计算出新的跌倒预测模型的参数。
可以理解的是,用户1的传感联邦中包含的电子设备的类型可以和用户n的传感联邦中包含的电子设备的类型不同、数量。例如,用户1的传感联邦中可以包括用户1平板、手机、手表。用户n的传感联邦中可以包括n的手机和大屏。本申请实施例对此不作限定。
可以理解的是,可以进行联邦学习的联邦不限于个人设备构建的传感联邦(可以简称个人传感联邦),还可以包括家庭中设备构建的传感联邦(可以简称家庭传感联邦),或者社区中电子设备构建的传感联邦(可以简称社区传感联邦或社团传感联邦)等等,本申请实施例对此不作限定。
在本申请实施例中服务器101可以和一个或多个的个人传感联邦、或者一个或多个家庭联邦,或者一个或多个社区传感联邦构建成一个传感联邦。
示例性地,上述图1A-图1D中的模型探索中心、联邦管理中心、以及电子设备1,电子设备2,电子设备n的框架图可以如图3所示。图3示例性地示出了模型探索中心20、联邦管理中心30、以及电子设备1,电子设备2,电子设备n的软件框架示意图。
其中,模型探索中心20可以用于提供模型的开发平台,以及用于模型上架和模型探索和模型训练任务的管理。该模型探索中心20可以部署在云服务器或服务器中,也可以部署在电子设备中,或者部署在传感联邦中的一个电子设备中。
如图3所示,模型探索中心20可以包括模型开发平台301、模型市场302、以及任务管理模块303、模型聚合计算模块304以及语义知识图谱管理模块305。其中,模型开发平台301可以基于用户输入,生成初始模型。初始模型的训练数据可以来源于一些用户的电子设备,也可以来源于云服务器中对用户的电子设备上传的数据进行处理(例如,脱敏处理,匿名处理等等)后的数据。该初始模型的训练数据还可以来源于使用元数据格式随机赋值生成的伪数据。模型市场302可以保存多种模型。电子设备可以从该模型市场302中下载模型。任务管理模块303可以向联邦管理中心302下发模型训练任务、以及联邦学习任务以及计算任务等等。具体地,任务管理模块303可以基于用户(例如,研发人员,模型开发人员等等)指令,向联邦管理中心发送模型训练任务或者计算任务,或者暂停、结束模型训练任务,以及计算任务。计算任务可以包括流式计算任务(流式计算是指对数据流进行处理计算,也可以称为实时计算)或批量计算(是指先收集数据并存储数据,然后对存储的数据进行批量处理、计算)任务。模型训练任务可以由传感联邦中一个电子设备完成,也可以由多个电子设备分布式完成(即传感联邦中每个电子设备训练模型的一部分,或者为模型提供一种或多种训练数据)。联邦学习任务可以由联邦管理中心以及传感联邦中的一个或多个电子设备完成。模型聚合计算模块304可以用于整合一个或多个传感联邦中的联邦管理中心发送的联邦学习结果或者计算结果。语义知识图谱管理模块305可以用于更新语义信息或者更新语义知识图谱。
联邦管理中心30可以用于传感联邦的动态管理以及传感联邦内的语义信息管理。传感联邦的动态管理可以指电子设备加入或退出的传感联邦的管理、以及对加入传感联邦的电子设备的可信鉴权认证。联邦管理中心30还可以用于传感联邦内的数据访问授权管理、以及传感联邦内的任务分配调度管理。传感联邦内的语义信息管理可以是指传感联邦内的语义信息更新、以及语义关联关系(在一些场景中,又可以称为语义血缘关系)管理。
如图3所示,联邦管理中心30可以包括任务生成模块601、任务分配调度模块602、资源访问授权模块603、语义推理模块604、任务解析模块605、设备加入/退出管理模块606、传感能力管理模块607、语义更新模块608、以及语义融合和关联关系管理模块609。其中:
任务生成模块601用于生成数据采集任务。数据采集任务具体可以参数上文中的描述,以及下文在具体场景中对数据采集任务的具体示例的描述,此处不赘述。
任务分配调度模块602用于向一个或多个数据采集设备分配数据采集任务。
资源访问授权模块603可以用于记录各个数据采集设备中授权的资源(例如,计算资源、存储资源等)、传感器能力。资源访问授权模块603还可以用于对数据需求设备进行资源访问授权,即授权数据需求设备可以使用数据采集设备的哪些资源(例如,计算资源、存储资源等等)。
语义推理模块604可以用于基于传感器采集的原始数据推理处语义信息、或者基于多个语义信息(又可以称为低阶语义信息)推理新的语义信息(又可以称为高阶语义信息)。可以理解的是,在本申请实施例中,高阶语义信息和低阶语义信息是相对概念。本申请实施例将多个可以推理得到或者生成新的语义信息的多个语义信息称为低阶语义信息,将由多个语义信息生成的新的语义信息称为高阶语义信息。例如,语义信息A和语义信息B可以推理得到或者生成语义信息C。那么语义信息A和语义信息B可以称为低阶语义信息,语义信息C可以称为高阶语义信息。
任务解析模块605可以用于解析数据采集任务。
设备加入/退出管理模块606可以用于管理数据采集系统中的设备的加入和退出。
传感能力管理模块607可以用于管理数据采集系统中各个设备上报的传感能力。在本申请实施例,传感能力可以指设备中的传感器或者传感器设备采集数据的能力(例如,能够采集数据的精度、采集频率等等能力)。
语义更新模块608可以用于更新语义信息,并存储更新后语义信息。
语义融合和关联关系管理模块609可以用于进行语义信息的融合,以及语义信息之间关联关系的管理。在本申请实施例中,如语义信息A和语义信息B可以推出语义信息C,那么可以称语义信息A与语义信息B存在关联关系。
在一些例子中,知识融合可以指将与某个语义信息对应的多个语义知识图谱融合成一个语义知识图谱。示例性地,如图4所示,图4中的(a)图为与语义信息A对应的一个语义知识图谱,在该语义知识图谱中,语义信息A和语义信息B可以得到语义信息C。图4中的(b)图为与语义信息A对应的另一个语义知识图谱,在该语义知识图谱中,语义信息A和语义信息D可以得到语义信息E。图4中的(c)图为图4中的(a)图中的语义知识图谱和图4中的(b)图中的语义知识图谱融合得到的语义知识图谱。
在一些例子中,语义融合可以是指将多个语义信息(低阶语义信息)融合成新的语义信息(高阶语义信息)。
可以理解的是,图3中示出的联邦管理中心30的功能模块仅为示例,联邦管理中心可以包含更多或更少的模块,本申请实施例对此不作限定。图3中示出的各个模块在另一些场景中也可以是其他名称,本申请实施例对联邦管理中心30中各个模块的名称不作限定。
在一种可能的实现方式中,该联邦管理中心30可以部署在手机、平板、电脑等电子设备中,或者云服务器或者服务器中。
在一种可能的实现方式中,该联邦管理中心30可以分布式地安装在电子设备中。电子设备可以基于电子设备的计算能力和存储能力下载该联邦管理中心中的一个或多个模块。例如,在一些场景中,上述图3示出的联邦管理中心30中的所有模块可以安装在手机中。在另一些场景中,上述图3示出的联邦管理中心30中的任务生成模块601、任务分配调度模块602、资源访问授权模块603、任务解析模块605、设备加入/退出管理模块606、以及传感能力管理模块607可以安装在手机中。联邦管理中心30中的语义推理模块604、语义更新模块608、以及语义融合和关联关系管理模块609可以安装在平板中。电子设备1,电子设备2,…,电子设备n可以接收该传感联邦中的联邦管理中心下发的模型训练任务或者计算任务等等。电子设备1,电子设备2,…,电子设备n可以基于该模型训练任务训练模型或者子模型,或者提供训练数据。电子设备1,电子设备2,…,电子设备n可以执行计算任务。
如图3所示,电子设备1,电子设备2,…,电子设备n中的一个或多个电子设备可以包括传感联邦引擎模块。电子设备1,电子设备2,…,电子设备n中的传感联邦引擎模块可以用于接收联邦管理中心发送的模型训练任务或者计算任务。传感联邦引擎模块可以基于该模型训练任务训练模型或者子模型,或者提供训练数据。传感联邦引擎模块还可以执行联邦管理中心发送的计算任务。
如图3所示,传感联邦引擎模块可以包括订阅与查询模块501、模型探索模块502、数据分析模块503、管理模块504、数据存储模块505、以及数据接入模块506。其中:
订阅与查询模块501用于接收查询请求,基于查询请求发送查询信息。订阅与查询模块501还可以用于订阅事件,基于订阅事件发送针对订阅事件的通知。
模型探索模块502中可以包括任务生成模块5021、任务解析模块5022、任务管理模块5023、任务执行模块5024。其中:任务生成模块5021可以用于生成数据采集任务。数据采集任务中可以包括需要采集的数据的类型、精度、实时采集的数据或获取历史数据、以及采集算子等等信息。任务解析模块5022可以用于解析接收到的数据采集任务、以及确定数据采集任务需要用到的资源(例如计算资源、存储资源等)等等。任务管理模块5023可以用于启动数据采集任务、暂停数据采集任务、以及取消数据采集任务。任务执行模块5024可以用于执行数据采集任务。
数据分析模块503中可以包括画像分析模块5031、短期记忆模块5032、感知分析模块5033。其中,画像分析模块5031可以基于预设时间内(例如,三个月内、一个月内等等)数据存储模块505中的数据、以及数据接入模块506接收到的数据形成用户画像信息(例如,用户的年龄,用户的喜好、用户的睡眠情况等等信息)。画像分析模块5031还可以存储用户画像信息。短期记忆模块5032可以用于基于历史数据得到语义信息,并存储该语义信息;以及存储感知分析模块得到的语义信息。感知分析模块5033可以基于数据接入模块506采集的实时数据得到语义信息。
管理模块504可以包括设备发现模块5041、任务协商与决策模块5042。其中,设备发现模块5041可以用于发现设备,加入或者退出数据采集系统。任务协商与决策模块5042用于与其他设备交互采集任务信息,并且根据设备的工作状态确定是否接受另一个设备发送的数据采集任务。
数据存储模块505可以用于存储数据,还可以用于接收和存储其他设备发送的数据、以及数据接入模块506发送的数据。
数据接入模块506可以用于接收其他设备发送的数据。
可以理解的是,图3中示出的传感联邦引擎模块仅为示例,传感联邦引擎模块可以包含更多或更少的模块,本申请实施例对此不作限定。图3中示出的各个模块在另一些场景中也可以是其他名称,本申请实施例对传感联邦引擎模块中各个模块的名称不作限定。
在一种可能的实现方式中,该传感联邦引擎模块可以分布式地安装在电子设备1,电子设备2,…,电子设备n中。电子设备1,电子设备2,…,电子设备n可以基于计算能力和存储能力下载该传感联邦引擎模块中的一个或多个模块。例如,手机中可以安装上述图3示出的传感联邦引擎模块中的所有模块。空调中可以安装上述图3中示出的传感联邦引擎模块中的设备发现模块5041以及数据接入模块506。
本申请提供了一种模型训练方法,该模型训练方法可以应用于模型训练系统,该模型训练系统中可以包括第一联邦管理中心、以及第一联邦管理中心关联的多个设备;其中,该模型训练方法可以包括:第一联邦管理中心基于模型训练任务,以及多个设备的设备能力信息,确定执行模型训练任务的一个或多个设备;第一联邦管理中心指示一个或多个设备获取一个或多个传感数据,联合执行模型训练任务。其中,设备能力信息包括设备的计算能力、存储能力、传感能力信息中的一项或多项;传感能力信息用于指示设备中包括的传感数据、以及传感数据的精度。第一联邦管理中心部署在一个设备或分布式地部署在数据采集系统中的多个设备中,设备包括电子设备、服务器。与第一联邦管理中心关联的多个设备可以指,与第一联邦管理中心所在的设备建立有通信连接的设备。第一联邦管理中心和、与第一关联关联中心关联的多个设备可以组成一个传感联邦。该传感联邦可以称子传感联邦。这样,可以利用传感联邦中的多个设备联合执行模型训练,能够获取到不同设备中的训练数据,可以提高模型的准确率。
在本申请实施例中联邦管理中心30可以称为第一联邦管理中心、第二联邦管理中心。本申请实施例中的电子设备1,电子设备2,…,电子设备n可以称为多个设备、或第一设备、第二设备、第三设备等等。
下面先详细介绍多个电子设备如何组建传感联邦。
联邦管理中心可以创建传感联邦(在本申请实施例中又可以称为模型训练系统,或者传感联邦可以是指上述联邦管理中心和电子设备1,电子设备2,…,电子设备n组成的系统)。当联邦管理中心所在的电子设备或云服务器、服务器创建传感联邦后,其他设备(例如图1A中示出的电子设备1,电子设备2,…,电子设备n)可以加入到该传感联邦中。
在一些场景中,联邦管理中心所在的电子设备或云服务器、服务器可以将登录由同一个用户账户的多个电子设备组建成传感联邦。不需要用户操作,用户的电子设备可以在登录账号后自动加入到联邦管理中心为该账号创建的传感联邦中。
在一些场景中,当电子设备A和电子设备B进行连接时,电子设备A和电子设备B的一个电子设备可以创建传感联邦。电子设备A和/或电子设备B可以显示提示框,该提示框可以用于提示用户是否同意传感联邦,若用户点击用于同意创建传感联邦的控件,则可以成功传感联邦。
在一种可能的实现方式中,以联邦管理中心在服务器或云服务器中(下文以云服务器为例进行阐述)。当用户的电子设备登录用户账号时,电子设备可以将电子设备的用户账号信息发送给云服务器中的联邦管理中心,云服务器中的联邦管理中心可以确定该用户账号是否有对应的传感联邦;若没有,则云服务器中的联邦管理中心为该用户账号创建一个传感联邦;若有,则云服务器中的联邦管理中心获取将登录该用户账号的电子设备的设备信息(例如,设备ID,设备型号等等),并基于该电子设备的设备信息,将该电子设备加入该用户账号对应的传感联邦。
具体地,当一个用户账号首次在电子设备上登录时,云服务器中的联邦管理中心还未创建该用户账号对应的传感联邦。云服务器中的联邦管理中心查到不到与该用户账号对应的传感联邦,云服务器可以为该用户账号创建一个传感联邦。然后,云服务器将该电子设备加入到传感联邦。
可以理解的是,传感联邦中的多个电子设备可以来自不同的设备厂商。每个能够加入传感联邦的电子设备可以具备有用于传输供数据的标准接口。这样,传感联邦中不同厂商的电子设备之间也可以传输数据。
可以理解的是,该用户账号可以用于电子设备创建传感联邦或加入传感联邦。该用户账号可以电子设备的登录账号,例如,华为账号,鸿蒙账号等等。
下面以图2A中示出的手机104为例,具体讲述联邦管理中心如何组建手机104的用户账号对应的传感联邦,并将手机104加入到该用户账号对应的传感联邦中。
示例性地,图5A-图5E示出了云服务器或服务器端中的联邦管理中心创建传感联邦和用户的电子设备加入联邦管理中心创建的传感联邦的示意图。
如图5A所示,图5A示例性地示出了手机104登录用户账号的用户界面70A。该用户界面70A中可以包括控件7000、文本7001和文本7002、输入栏7003、输入栏7004、文本7005、文本7006、控件7007、控件7008。控件7000可以用于返回上一级界面。文本7001可以用于提示用户该用户界面用于登录用户账号。文本7001的内容可以是“用户账号”,此处对文本7001的具体内容不作限定。文本7002可以用于提示用户登录用户账号后可使用的服务。文本7002的内容可以是“登录账号以使用传感联邦服务”,此处对文本7002的具体内容不作限定。输入栏7003可用于输入用户账号,例如“131****7837”。输入栏7004用于输入密码,例如“……”。文本7005可以用于提示用户其他登录方式。文本7005可以是“短信验证码登录”,此处对文本7005的具体内容不作限定。文本7006可以用于用户找回密码。文本7006可以是“忘记密码”,此处对文本7006的具体内容不作限定。控件7007可以用于登录用户账号。控件7008可以用于注册用户账号。
当用户在输入栏7003中输入账号,和输入栏7004中输入密码后,用户可以点击控件7007,响应于该用户操作,手机104可以成功登录该用户账号“131****7837”。手机104可以向中心管理设备发送消息,该消息可以携带用户账号“131****7837”。中心管理设备可以基于该消息,查询中心管理设备中是否已经建立有该用户账号“131****7837”对应的传感联邦。若中心管理设备中没有用户账号“131****7837”对应的传感联邦,则中心管理设备创建一个用户账号“131****7837”对应的传感联邦。若中心管理设备中已经建立有该用户账号“131****7837”对应的传感联邦,则中心管理设备查询手机104是否已加入该传感联邦,如没有加入,则邀请手机104加入该用户账号“131****7837”对应的传感联邦。
在一种可能的示例中,若中心管理设备中没有用户账号“131****7837”对应的传感联邦,中心管理设备可以向手机104发送请求消息,该请求消息用于请求建立用户账号“131****7837”对应的传感联邦。手机104中可以接收到该请求消息,并显示用户界面70B。
如图5B所示,图5B示例性地示出了手机104的用户界面70B。该用户界面70B可以包括提示消息7101,以及弹框7102。其中,提示消息7101可以用于提示用户成功登录用户账号。该提示消息7101可以是“登录成功”,此处对提示消息7101的具体内容不作限定。弹框7102可以包括控件7103以及控件7104。用户可以点击控件7103,用于同意中心管理设备建立用户账号“131****7837”对应的传感联邦。用户可以点击控件7104,用于拒绝中心管理设备建立用户账号“131****7837”对应的传感联邦。
当用户点击控件7103后,手机104可以向中心管理设备发送同意建立用户账号“131****7837”对应的传感联邦的通知消息。并且,手机104还可以将手机104的设备信息(例如,设备ID,设备型号等等)发送给中心管理设备。中心管理设备可以基于该通知消息建立用户账号“131****7837”对应的传感联邦,并将手机104加入该传感联邦中。中心管理设备建立用户账号“131****7837”对应的传感联邦后,可以向手机104发送消息,该消息可以用于提示手机104已经建立好用户账号“131****7837”对应的传感联邦。手机104接收到该消息后,可以显示用户界面70C。
如图5C所示,图5C示例性地示出了手机104的用户界面70C。用户界面70C中可以包括消息提示框7301。该消息提示框7301用于提示用户中心管理设备已经成功创建用户账号“131****7837”对应的传感联邦。该消息提示框7301中的内容可以是“账号131****7837的传感联邦创建成功,您的设备可以享受传感联邦服务”,此处对该消息提示框7301的具体内容不作限定。
在另一种可能的示例中,当用户在手机104的用户界面70A中点击控件7007后,中心管理设备确定已建立有用户账号“131****7837”对应的传感联邦,但是手机104未加入到用户账号“131****7837”对应的传感联邦中。中心管理设备可以向手机104发送请求,该请求用于请求手机104加入该用户账号“131****7837”对应的传感联邦中。手机104接收到该请求后,可以显示用户界面70D。
如图5D所示,图5D示例性地示出了手机104的用户界面70D。用户界面70D中可以包括提示消息7401、弹框7402。其中,提示消息7401可以用于提示用户成功登录用户账号。该提示消息7401可以是“登录成功”,此处对提示消息7401的具体内容不作限定。弹框7402可以包括控件7403以及控件7404。用户可以点击控件7403,用于同意加入到用户账号“131****7837”对应的传感联邦。用户可以点击控件7404,用于拒绝加入到用户账号“131****7837”对应的传感联邦。
当用户点击控件7403后,手机104可以向中心管理设备发送同意加入到用户账号“131****7837”对应的传感联邦的通知消息。中心管理设备收到该通知消息后,可以将手机104加入到用户账号“131****7837”对应的传感联邦中。可选地,中心管理设备还可以向手机104发送指示已将手机104成功加入用户账号“131****7837”对应的传感联邦的通知消息。手机104收到该通知消息后,手机104可以显示用户界面70E。
如图5E所示,图5E示例性地示出了手机104的用户界面70E。用户界面70E中可以包括消息提示框7501。该消息提示框7501用于提示用户中心管理设备已经将手机104加入到用户账号“131****7837”对应的传感联邦中。该消息提示框7501中的内容可以是“你的设备已成功加入到账号131****7837的传感联邦中,可享受传感联邦服务”,此处对该消息提示框7501的具体内容不作限定。
可以理解的是,上述图5A-图5E中示出的用户界面仅为示例,上述图5A-图5B示出的用户界面中可以包含更多或更少的界面元素,或者上述用户界面的元素在用户界面中的位置可以有所变化,本申请实施例对此不作限定。
在一些可能的示例中,一些电子设备不具备用户可操作的显示屏,例如,空调,耳机,温度传感器等等。用户不能在这些不具备用户可操作的显示屏的电子设备上登录用户账号,但是空调,耳机,温度传感器等等电子设备可以通过无线局域网、蓝牙或者软总线等与另一类具有用户可操作显示屏的电子设备(例如,手机、电脑、平板等等)建立通信连接。当用户在具有可操作显示屏的电子设备A上登录账号时,电子设备A可以将与电子设备A建立通信连接的不具有可操作显示屏的电子设备B的设备信息也发送给中心管理设备。中心管理设备可以向电子设备A发送请求将电子设备A以及电子设备B加入到传感联邦的请求。用户在电子设备A上可以点击同意将电子设备A以及电子设备B加入到传感联邦的控件,响应于该用户操作,电子设备A可以向中心管理设备发送同意将电子设备A以及电子设备B加入到传感联邦的通知消息。中心管理设备收到该通知消息后,中心管理设备可以将电子设备A以及电子设备B加入到传感联邦。
举例来说,空调106与手机104建立有通信连接,当用户在手机104上登录用户账号131****7837时,手机104可以将手机104的设备信息和空调106的设备信息发送给中心管理设备。中心管理设备可以将手机104和空调106加入到用户账号131****7837对应的传感联邦中。
可以理解的是,手机104可以和空调106不是同一个厂商生产的,但是手机104和空调106都具有可以互相传输数据的接口。
在一些场景中,用户可以选择自己的一个电子设备作为联邦管理中心。用户可以在该作为联邦管理中心的电子设备中安装有联邦管理中心应用程序。用户可以在该联邦管理中心应用程序中创建传感联邦,并邀请其他电子设备加入到所创建的传感联邦中。另一些可以作为数据需求设备或者数据采集设备的电子设备中,可以安装有传感联邦引擎应用程序,用户可以在该传感联邦引擎应用程序中搜索可以加入的传感联邦,并申请加入到传感联邦中。
进一步地,在一种可能的实现方式中,用户的电子设备在加入传感联邦后,还可以进行对该电子设备中的用户数据进行权限管理。用户可以设置该电子设备中某些类型的数据不提供给传感联邦中的其他电子设备或其他用户的电子设备。用户还可以设置该电子设备中某些类型的数据可以提供给一些电子设备。例如,用户可以将用户的电子设备中与用户身份有关的数据(例如,指纹数据、人脸图像数据,声纹数据)进行权限管理。用户可以设置将人脸图像数据转化后的语义信息提供给传感联邦中的其他电子设备,但不提供人脸图像数据给传感联邦中的其他电子设备。
以用户在手机104中建立传感联邦为例,图6A-图6I示例性地展示了用户通过手机104中的联邦管理中心应用程序建立传感联邦的过程。
如图6A所示,图6A示例性地示出了手机104的用户界面80A。该用户界面80A可以是手机104的主界面。该用户界面80A中可以包括联邦管理中心应用程序的图标8001。该用户界面80A还可以包括其他应用程序的图标,例如天气应用程序的图标、邮件应用程序的图标等等,在此不赘述。用户可以在该用户界面80A中点击该联邦管理中心应用程序的图标8001。响应于该用户操作,手机104可以显示用户界面80B。
如图6B所示,图6B示例性地示出了手机104的用户界面80B。该用户界面80B中可以包括控件8101、控件8102以及控件8103。该控件8101可以用于创建新的传感联邦。该控件8102可以用于查看手机104中已建立过的传感联邦。控件8103可以用于查看并管理手机104中的语义模型。可以理解的是,手机104中可以有一个或多个语义模型。语义模型可以用于根据一个或多个传感器数据得到语义信息。一个用于分析睡眠质量的语义模型,可以根据用户的睡眠时长,得到用户睡眠质量高或睡眠质量低等语义信息。用户可以在用户界面80B中点击控件8101,响应于该用户操作,手机104可以显示用户界面80C。
如图6C所示,图6C示例性地示出了手机104的用户界面80C。该用户界面80C中可以包括控件8301、文本信息8302、输入框8303、选项框8304、控件8316和控件8317。控件8301可以用于返回上一级界面。文本信息8302可以指示当前界面用于创建传感联邦。文本信息8302的内容可以是“创建传感联邦”,此处对文本信息8302的具体内容不作限定。输入框8303可用于输入所创建的传感联邦的名称,例如“xxx”。此处对输入框8303中可以输入的内容不作限定。选项框8304中可以包括滑动栏8305、控件8306、控件8307、控件8308、控件8309。其中,滑动栏8305可以用于查看选项框8304中未显示的内容。控件8306可以用于选择“加速度”作为手机104可以提供传感器数据。控件8307可以用于选择“位置”作为手机104可以提供的传感器数据。控件8308可以用于选择“心率”作为手机104可以提供的传感器数据。控件8309可以用于选择“体温”作为手机104可以提供的传感器数据。控件8316可以用于保存用户在当前界面中输入的内容以及设置的内容。控件8317可以用于指示完成传感联邦的创建。
可以理解的是,上述用户界面80C仅为示例,用户界面80C可以包括更少或更多的界面元素,例如,用户界面80C中还可以包括用于设置手机104可以提供的语义模型的控件。或者,该用户界面80C中还可以包括用于设置手机104所需数据的选项框。此处对用于创建传感联邦的用户界面不作限定。
在一种可能的实现方式中,当用户在手机104的联邦管理中心应用程序中创建完传感联邦之后,用户可以在联邦管理中心应用程序中查看用户已创建的传感联邦。
如图6D所示,图6D示例性地示出了手机104的用户界面80D。该用户界面80D中可以包括控件8101、控件8102以及控件8103。关于控件8101、控件8102、以及控件8103可以参考上文中图6B的描述,此处不再赘述。用户可以点击控件8102查看手机104中已创建的传感联邦。响应于用于点击控件8102的操作,手机104可以显示用户界面80E。
如图6E所示,图6E示例性地示出了手机104的用户界面80E。该用户界面80E可以包括控件8501、文本信息8502、文本信息8503、控件8504、控件8505以及控件8506、文本信息8507、控件8508、控件8509、控件8510。控件8501可以用于返回上一级界面。文本信息8502可以指示当前界面可以用于查看手机104中已创建的传感联邦列表。文本信息8503用于指示手机104中已创建的一个传感联邦的名称以及创建时间。例如,文本信息8503的内容可以是“传感联邦xxx(1分钟前)”,即该文本信息8503可以表示传感联邦名称为“xxx”,该传感联邦xxx为手机104在1分钟前创建。控件8504可以用于查看传感联邦xxx中的成员(即加入到传感联邦xxx中的电子设备)。控件8505可以用于邀请其他电子设备加入传感联邦xxx。控件8506可以用于删除该传感联邦xxx。文本信息8507可以用于指示手机104中已创建的另一个传感联邦的名称以及创建时间。例如,文本信息8507具体内容可以是“传感联邦111(3天前)”,即该文本信息8507可以表示传感联邦名称为“111”,该传感联邦111为手机104在三天前创建。控件8508可以用于查看传感联邦111中的成员(即加入到传感联邦111中的电子设备)。控件8509可以用于邀请其他电子设备加入到传感联邦111。控件8510可以用于删除该传感联邦111。
可以理解的是,图6E中示出的用户界面80E仅为示例。该用户界面80E可以包含更多或更少的界面元素,例如,该用户界面80E中该可以包含更多的已创建的传感联邦。或者,该用户界面80E中还可以包括手机104加入的传感联邦(不是在手机104中创建的传感联邦)。本申请实施例对用于展示手机104创建的和加入的传感联邦列表不作限定。
用户可以点击用户界面80E中的控件8505,响应于该用户操作,手机104可以显示用户界面80F。
如图6F所示,图6F示例性地示出了手机104的用户界面80F。该用户界面80F可以包括控件8601、文本信息8602以及选项框8603、控件8610。控件8601可以用于返回上一级界面。文本信息8602可以指示当前界面用于邀请其他电子设备加入传感联邦xxx。该文本信息8602的内容可以是“传感联邦xxx.邀请”,此处对该文本信息8602的具体内容不作限定。选项框8603中可以显示可邀请的电子设备以及用于邀请电子设备的控件。例如,该选项框8603中可以空调106以及空调106对应的控件8604、摄像头102以及摄像头102对应控件8605、手表103以及手表103对应的控件8606、平板105以及平板105对应的控件8607、电视机107以及电视机107对应的控件8608、以及滑动栏8609。控件8604可以用于邀请空调106加入传感联邦xxx。控件8605可以用于邀请摄像头102加入传感联邦xxx。控件8606可以用于邀请手表103加入传感联邦xxx。控件8607可以用于邀请平板105加入传感联邦xxx。控件8608可以用于邀请电视机107加入传感联邦xxx。滑动栏8609可以用于显示可邀请设备列表中未显示的电子设备以及该电子设备对应的控件。控件8610用于确定邀请用户选定的电子设备。
用户可以在选项框8603中选定一个或多个电子设备,然后再点击控件8610来邀请用户选定的一个多个电子设备。下文以用户选择邀请平板105加入传感联邦xxx为例进行阐述说明。用户在用户界面80F中点击控件8607后,再点击控件8610。响应于用户操作,手机104可以向平板105发送邀请加入传感联邦xxx的通知消息。平板105可以接收到该通知消息,并显示用户界面80G。
如图6G所示,图6G示例性地示出了平板105的用户界面80G。该用户界面80G中可以包括消息通知框8701。消息通知框8701中可以包括文本信息以及控件8702和控件8703。消息通知框8701中的文本信息用于提示用户手机104邀请平板105加入传感联邦xxx。该文本信息的内容可以是“手机104邀请你加入传感联邦xxx”,此处对该文本信息的具体内容不作限定。控件8702可以用于同意加入传感联邦xxx。控件8703可以用于拒绝加入传感联邦xxx。
在一些可能的示例中,一些电子设备不具备用户可操作的显示屏,例如,空调,耳机,温度传感器等等。不具备用户可操作显示屏的电子设备也可以被手机104邀请加入传感联邦xxx。
在一种可能的实现方式中,手机104可以直接向该类不具备用户可操作显示屏的电子设备发送邀请加入传感联邦xxx的通知消息,该类电子设备接收到消息后,可以提示用户(例如,指示灯闪烁,或者电子设备震动,响铃等等方法提示用户),用户可以通过语音指令或者点击该类电子设备上的实体控件同意加入传感联邦xxx。
可选地,在另一种可能的实现方式中,该类不具备用户可操作显示屏的电子设备(例如,空调、耳机、温度传感器等等)可以与具有可操作显示屏的电子设备(例如,平板、手机等等)建立通信连接。当手机104邀请该类不具备可操作显示屏的电子设备时,与该类不具备可操作显示屏的电子设备建立通信连接的具备可操作显示屏的电子设备上可以显示消息提示框,用户可以在可操作显示屏的电子设备中同意或拒绝该类不具备用户可操作显示屏的电子设备加入到传感联邦xxx。
在一种可能的实现方式中,用户还可以在手机104中的可以用于查看传感联邦列表的用户界面中查看传感联邦中的成员(即加入传感联邦的电子设备)。
如图6H所示,图6H示例性地示出了手机104的用户界面80H。用户界面80H中可以包括控件8501、文本信息8502、文本信息8503、控件8504、控件8505以及控件8506、文本信息8507、控件8508、控件8509、控件8510。关于用户界面80H中控件的具体作用可以参考用户界面80E中的描述,此处不再赘述。用户可以通过点击控件8504查看传感联邦xxx中的成员。手机104响应于用户点击控件8504的操作,可以显示用户界面80I。
如图6I所示,图6I示例性地示出了手机104的用户界面80I。该用户界面80I中可以包括控件8801、文本信息8802、成员列表栏8803。控件8801可以用于返回上一级界面。文本信息8802可以指示当前界面用于查看传感联邦xxx中的成员。成员列表栏8803可以用于显示传感联邦xxx中的成员。该成员列表栏8803可以包括传感联邦xxx的成员平板105、以及该成员平板105对应的控件8804和控件8805、以及滑动栏8806。控件8804可以用于设置平板105的权限(例如,平板105可以提供的传感器数据,以及平板105需要的传感器数据)。控件8805可用于将平板105退出传感联邦xxx。滑动栏8806可以用于显示成员列表栏8803中未显示的传感联邦xxx中的其他成员。
可以理解的是,上述图6A-图6B示出的用户界面仅为示例。上述图6A-图6I示出的用户界面可以包括更少或更多的界面元素,或者上述用户界面的元素在用户界面中的位置可以有所变化,本申请实施例对此不作限定。
可以理解的是,用户可以通过手机104中的联邦管理中心应用程序调用手机104中功能模块,即联邦管理中心。关于联邦管理中心可以参考图3中对联邦管理中心30的描述,此处不再赘述。
在另一些可能的示例中,电子设备中可以安装有传感联邦引擎应用程序。用户可以通过该传感联邦引擎应用程序搜索其他电子设备创建的传感联邦,并加入其他电子设备创建的传感联邦。下面以平板105中安装有传感联邦引擎应用程序,用户通过该传感联邦引擎应用程序加入手机104创建的传感联邦xxx为例进行阐述说明。
图7A-图7G示例性地展示了用户通过平板105中的传感联邦引擎应用程序,将平板105加入到手机104创建的传感联邦xxx的具体过程。
如图7A所示,图7A示例性地示出了平板105的用户界面90A。该用户界面90A可以是平板105的主界面。该用户界面90A中可以包括传感联邦引擎应用程序的图标9101。该用户界面90A还可以包括其他应用程序的图标,例如天气应用程序的图标、邮件应用程序的图标等等,在此不赘述。用户可以在该用户界面90A中点击该传感联邦引擎应用程序的图标9101。响应于该用户操作,平板105可以显示用户界面90B。
如图7B所示,图7B示例性地示出了平板105的用户界面90B。该用户界面90B可以包括控件9201、控件9202以及控件9203。控件9201可以用于搜索附近可加入的传感联邦。控件9202可以查看平板105当前已加入的传感联邦。控件9203可以用于查看平板105加入过的历史传感联邦(之前加入过的传感联邦,但当前不在该传感联邦中)。用户可以点击用户界面90B中的控件9201,响应于该用户操作,平板105可以显示用户界面90C。
如图7C所示,图7C示例性地示出了平板105的用户界面90C。该用户界面90C可以包括控件9301、文本信息9302、传感联邦列表9303。控件9301可以用于返回上一级界面。文本信息9302可以指示当前界面用于搜索附近可以加入的传感联邦。传感联邦列表9303可以用于展示附近的传感联邦。传感联邦列表9303中可以包括传感联邦xxx以及传感联邦xxx对应的控件9304、传感联邦aaa以及传感联邦aaa对应的控件9305、传感联邦bbb以及传感联邦bbb对应的控件9306、传感联邦ccc以及传感联邦ccc对应的控件9307、传感联邦ddd以及传感联邦ddd对应的控件9308、以及滑动栏9309。控件9304可以用于申请加入传感联邦xxx。控件9305可以用于申请加入传感联邦aaa。控件9306可以用于申请加入传感联邦bbb。控件9307可以用于申请加入传感联邦ccc。控件9308可以用于申请加入传感联邦ddd。滑动栏9307可以用于显示传感联邦列表9303中未显示的传感联邦。
可以理解的是,该传感联邦列表9303中可以显示更多或更少的传感联邦。用户界面90C中可以显示更多或更少的界面元素,本申请实施例对可以用于搜索并展示附近可以加入的传感联邦的用户界面不作限定。
当用户想要加入手机104创建的传感联邦xxx时,用户可以点击用户界面90C中的控件9304。响应于该用户操作,平板105可以向手机104发送申请加入传感联邦xxx的通知消息。手机104可以接收该通知消息并显示用户界面90D。
如图7D所示,图7D示例性地示出了手机104的用户界面90D。该用户界面90D中可以包括消息通知框9401。消息通知框9401中可以包括文本信息以及控件9402和控件9403。消息通知框9401中的文本信息可以用于指示平板105申请加入传感联邦xxx。该消息通知框9401中的文本信息的内容可以是“平板105申请加入传感联邦xxx”。控件9402可以用于同意平板105加入传感联邦xxx。控件9403可以用于拒绝平板105加入传感联邦xxx。
在一种可能的实现方式中,用户点击用户界面90D中的控件9402后,手机104可以向平板105发送同意平板105加入传感联邦xxx的通知消息。平板105可以接收该通知消息并显示用户界面90E。
如图7E所示,图7E示例性地示出了平板105的用户界面90E。该用户界面90E可以包括消息通知框9501、以及控件9201、控件9202、控件9203。该消息通知框9501可以用于提示用户平板105已成功加入传感联邦xxx。该消息通知框9501的内容可以是“已成功加入传感联邦,可在已加入的传感联邦中查询,并设置权限”。本申请实施例对该消息通知框9501中的具体内容不作限定。关于控件9201、控件9202、控件9203可以参考图7B中的描述,此处不再赘述。用户可以点击控件9202,响应于该用户操作,平板105可以显示用户界面90F。
如图7F所示,图7F示例性地示出了平板105的用户界面90F。该用户界面90F中可以包括控件9601、文本信息9602、控件9603、控件9604、文本信息9605、控件9606以及控件9607。控件9601可以用于返回上一级界面。文本信息9602可以用于指示平板105加入的传感联邦xxx以及加入该传感联邦xxx的时间(例如,1分钟前)。控件9603可以用于设置平板105在传感联邦xxx中的权限。控件9604可以用于将平板105退出传感联邦xxx。文本信息9605可以用于指示平板105加入的传感联邦111以及加入该传感联邦111的时间(例如,3天前)。控件9606可以用于设置平板105在传感联邦111中的权限。控件9607可以用于将平板105退出传感联邦111。用户可以在该用户界面90F中点击控件9603,响应于该用户操作,平板105可以显示用户界面90G。
如图7G所示,图7G示例性地示出了平板105的用户界面90G。控件9701、选项框9702、以及控件9714。控件9701可以用于返回上一级界面。选项框9702可以包括控件9703、控件9704、控件9705、控件9706以及滑动栏9707。控件9703可以用于选择“加速度”作为平板105可以提供传感器数据。控件9704可以用于选择“位置”作为平板105可以提供的传感器数据。控件9705可以用于选择“心率”作为平板105可以提供的传感器数据。控件9706可以用于选择“体温”作为平板可以提供的传感器数据。滑动栏9707可以用于查看选项框9702中未显示的内容。控件9714可以用于指示完成平板105在传感联邦xxx中的权限设置。
可以理解的是,上述用户界面90G仅为示例,用户界面90G可以包括更少或更多的界面元素,例如,用户界面90G中还可以包括用于设置平板105可以提供的语义模型的控件。或者,该用户界面90G中还可以包括用于设置平板105所需数据的选项框。此处对用于设置平板105在传感联邦的权限的用户界面不作限定。
可以理解的是,用户可以通过平板105中的传感联邦引擎应用程序调用平板105中功能模块,即传感联邦引擎模块。关于联邦管理中心可以参考图3以及图4中对传感联邦引擎模块的描述,此处不再赘述。
在一些可能的示例中,一些电子设备不具备用户可操作的显示屏,例如,空调,耳机,温度传感器等等。不具备用户可操作显示屏的电子设备也可以申请加入传感联邦xxx。
可选地,在另一种可能的实现方式中,该类不具备用户可操作显示屏的电子设备(例如,空调、耳机、温度传感器等等)可以与具有可操作显示屏的电子设备(例如,平板、手机等等)建立通信连接。用户可以在与该类不具备可操作显示屏的电子设备建立通信连接的具备可操作显示屏的电子设备上申请将该类不具备可操作显示屏的电子设备加入到传感联邦xxx。具体操作过程可以参考上述图7A-图7G中的描述。
在一些场景中,一些电子设备上可以具备设备二维码,其他电子设备可以通过扫描该电子设备上的设备二维码来邀请该电子设备加入传感联邦。
在一些场景中,电子设备中的一些数据是电子设备中的一些应用程序得到的,例如,一些运动类的应用程序可以提供用户每天的行走步数和行走距离等数据。若电子设备要向传感联邦提供用户每天的行走步数和行走距离等数据,电子设备可以在传感联邦中设置允许向该类应用程序获取数据的权限。
可以理解的是,传感联邦的中心管理设备中可以存储有知识图谱,例如,上述图4中的(a)图与(b)图中示出的知识图谱。中心管理设备中存储的知识图谱可以用于表征当前该传感联邦中可以采集到的数据,以及这些数据产生的语义信息。例如,传感器1采集的数据data1(例如,时间:工作日上午10点)、传感器2采集的数据data2(例如:当前位置:xxx科技园)以及传感器采集的数据data3(例如,年龄:30岁)可以生成语义信息X(例如,用户在工作)。
进一步地,当中心管理设备中的联邦管理中心收到新的设备信息后,该联邦管理中心可以确定该设备是否提供有新类型或者新的精度的数据,如有,则获取新的知识图谱。然后,中心管理设备可以向传感联邦中需要该新类型的数据的电子设备发送通知消息。
在一些场景中,用户可以将自己私有的一些电子设备,例如用户的手机、耳机、平板电脑等等加入到传感联邦中。用户可以按照图5A-图5E或图6A-图6I以及图7A-图7G示出的步骤为用户的电子设备创建传感联邦,并将用户的电子设备加入到传感联邦中。
可以理解的是,在电子设备加入传感联邦时,电子设备可以将电子设备的设备信息(例如,电子设备的设备ID、电子设备的型号)和传感能力(例如,电子设备中能够提供数据的传感器类型以及该传感器可以提供的数据类型,可以提供数据的软件类型以及该软件可以提供的数据类型、根据传感器采集的数据或者软件产生的数据得到的低阶语义信息、高阶语义信息等等)上报给传感联邦中的中心管理设备。中心管理设备可以在中心管理设备或者云服务器中记录传感联邦中每个电子设备的设备信息。当电子设备中的设备信息有变化时,例如,新下载了应用程序,可以得到一种新类型的数据时,电子设备可以向中心管理设备上报该新类型的数据。中心管理设备可以刷新记录。
可选地,中心管理设备还可以向传感联邦中的其他电子设备获取非个人隐私数据(例如,基站数据、小区数据)用于训练更精准的模型(例如,输入位置可以得到周围小区画像的模型)。
在一些场景中,传感联邦中的电子设备可以按照上述图6I所示在中心管理设备的联邦管理中心应用程序中选择退出传感联邦。或者传感联邦中的电子设备也可以按照上述图7F所示在电子设备的传感联邦引擎应用程序中选择退出传感联邦。
在另一些场景中,当传感联邦中的电子设备在预设时长处于离线状态(例如,与中心管理设备的通信连接中断,或者电子设备未连接到互联网、或者电子设备关机等等状态)时,该电子设备退出传感联邦。
在一些场景中,传感联邦中的电子设备采集到异常数据后主动上报给中心管理设备。中心管理设备可以基于该异常数据进行相关的推荐或决策,或修改相应的判断结果。可选地,中心管理设备还可以基于异常数据向传感联邦中的其他电子设备发送相关的通知或推荐。例如,传感联邦中的手表采集到体温数据“用户体温为39°”,手表判断该体温数据为异常数据,可以向中心管理设备上报“用户体温为39°”的异常体温数据,以及基于该体温数据得到的语义信息“用户生病了”。中心管理设备接收到手表发送的异常体温数据,以及基于该体温数据得到的语义信息“用户生病了”。中心管理设备可以调整中心管理设备中存储的用户原始体温数据和健康状态数据。中心管理设备还可以将该异常体温数据和基于该体温数据得到的语义信息“用户生病了”发送给需要该类数据的电子设备。该电子设备中收到该类数据后,基于该类数据调整电子设备中模型的输出。例如,电子设备收到“用户生病了”的语义信息后,电子设备中用于智能推荐路线的模型可能会规划用户从当前位置到医院的路线,而不是规划用户从当前位置回家的路线。电子设备还可以根据“用户体温为39°”推荐合适的药物或降温方式给用户。该电子设备还可以记录根据该用户的体温数据以及语义信息得到的其他数据。
进一步地,在一种可能的实现方式中,用户可以将传感联邦中电子设备可提供的传感器数据或语义信息设置重要等级。例如,重要级(意外伤害、严重疾病、老人跌倒/小朋友位置异常等数据或语义信息),普通级(一般疾病、加班等数据或语义信息)。当传感联邦中的一个电子设备中采集到重要级的数据后,可以实时上报给传感联邦中的中心管理设备,中心管理设备可以发送通知消息给传感联邦中的其他电子设备。可选地,在一种可能的实现方式中,用户可以设置传感联邦中一个或多个电子设备可以提供的数据的种类,例如,身体健康类,异常位置类数据等等。可选地,该设置可以被分享给其他联邦用户可选地,收到提醒消息后,可以给对方发语音/通知/其他信息进行反馈,比如加班的时候提醒注意休息之类的。可选地,同一传感联邦内的成员可以互相设置提醒、日程等信息。如:原本约了晚上7点家庭聚餐,其中一个家庭成员爸爸的电子设备的日历中临时被添加了会议,则其他用户妈妈的电子设备可以收到提醒消息,并且妈妈的电子设备可以对收到的提醒进行回复,如早点儿吃饭,注意休息等。
在一些场景中,一些需要某些特定数据的社团或者单位可以在服务器中建立传感联邦kkk,服务器可以为该传感联邦的中心管理设备,并将该传感联邦生成应用程序或者网址、或者二维码发布出来,愿意提供数据的用户可以在电子设备中安装该应用程序,可以通过打开该网址。用户的电子设备可以通过该应用程序或网址向传感联邦kkk中的服务器上报数据。若该电子设备已经同时也加入到了另一个传感联邦xxx,电子设备也可以在传感联邦xxx中获取授权,将传感联邦xxx中的数据上传给传感联邦kkk中的服务器。
在一个可行的例子中,心脑血管研究社团在服务器建立了一个传感联邦kkk,并发布了用于加入该传感联邦kkk的应用程序或网址。愿意提供的用户可以下载应用程序或通过网址加入该传感联邦kkk。
在另一个可行的例子中,举办活动(例如,马拉松比赛)的主办方可以在服务器中创建一个传感联邦,该传感联邦用于监控活动参与者的身体状况(比如,是否处于失温状态、突发心梗等等)。活动开始前,所有活动参与者的电子设备可以加入传感联邦中。即所有活动参与者的电子设备和活动主办方的服务器组成了一个传感联邦。服务器确认需要收集哪些传感器数据来对发病情况进行判断。如果活动参与者的电子设备自带监测功能,则可以只上报监控结果给服务器。如果活动参与者的电子设备不带监测功能,则按照服务器的需求来上报相应的传感器数据。上报的方式可以为实时上报,或者为某个传感器数据异常时上报。服务器通过对收集到的传感器数据进行推理,判断活动参与者的身体状态,如果有异常,则上报活动主办方,对该活动参与者进行紧急救助。
在一些可行的例子中,在几个用户组团自驾游的时候,几个用户的手机(例如,用户1的手机mobile1、用户2的手机mobile2、以及用户3的手机mobile3)和车机(例如,用户1的车机vehicle1、用户2的车机vehicle2、以及用户3的车机vehicle3)可以按照上述图5A-图5E或者图6A-图6I以及图7A-图7G示出的步骤组建传感联邦。手机mobile1中有身体状态推测模型。手机mobile2和手机mobile3上没有该身体状态推测模型。用户可以设置将手机mobile2和手机mobile3中可以用于推测身体状态的传感器数据发送给手机mobile1。当手机mobile1根据手机mobile2或者手机mobile3发送的传感器数据推测出用户身体状态有异常时,可以向手机mobile2或者手机mobile3发送提醒消息。手机mobile2中有地图上加油站和车机油量的关联模型。手机mobile2中的关联模型可以根据导航数据、车机油量等,提醒加油。手机mobile1、手机mobile3、车机vehicle1、车机vehicle2、以及车机vehicle3都没有该关联模型。在传感联邦中,用户可以设置将车机vehicle1、车机vehicle2、以及车机vehicle3的汽车的型号、油耗和当前油量提供给手机mobile2。手机mobile2会根据这些综合信息,判断出合适的加油站,并给予提醒。
多个电子设备组建成传感联邦后,传感联邦中的一个电子设备可以获取到其他的一个或多个电子设备的传感器采集的数据,或者由其他的一个或多个电子设备传感器采集的数据得到的语义信息。
模型探索中心可以向联邦管理中心发送模型训练任务,联邦管理中心可以将模型训练任务发送给传感联邦中的一个或多个电子设备,传感联邦中的一个或多个电子设备可以基于该模型训练任务训练模型或者采集用于训练模型的训练数据。传感联邦中的一个或多个电子设备可以将采集到的训练数据或者执行该模型训练任务的训练结果发送给联邦管理中心,联邦管理中心可以基于一个或多个电子设备发送的训练数据训练模型。
下面将详细描述传感联邦中的电子设备如何训练模型。
图8示例性示出了本申请实施例提供的一种模型训练方法的流程示意图。如图8所示,本申请实施例提供的一种模型训练方法可以包括如下步骤:
S1001、模型探索中心20与联邦管理中心30建立通信连接;联邦管理中心30与n个电子设备建立通信连接。
模型探索中心20所在的设备可以通过WLAN、蜂窝网络或者软总线、或USB连接线等与联邦管理中心30所在的设备建立通信连接,具体可以参考图1A中的描述,此处不再赘述。
n个电子设备可以通过WLAN、蜂窝网络或者软总线、或USB连接线等与联邦管理中心30所在的设备建立通信连接,具体可以参考图1A中的描述此处不再赘述。
可以理解的是,模型探索中心20、联邦管理中心30、以及n个电子设备建立有传感联邦、或者联邦管理中心30与n个电子设备建立有传感联邦。关于模型探索中心20、联邦管理中心30以及n个电子设备如何建立传感联邦,或者联邦管理中心30与n个电子设备如何建立传感联邦可以参考上述图5A-图5E、图6A-图6I、以及图7A-图7G中的描述,此处不再赘述。
可以理解的是,模型探索中心20和联邦管理中心30可以部署在不同的设备中。例如,如图2A所示,模型探索中心20部署在服务器101中,联邦管理中心30部署在手机104中。当模型探索中心20和联邦管理中心30部署在不同的设备的情况下,模型探索中心20需要和联邦管理中心建立通信连接。
可选地,模型探索中心20和联邦管理中心30也可以部署在相同的设备中。例如,模型探索中心20和联邦管理中心30可以同时部署在电脑中。在模型探索中心20和联邦管理中心30部署在相同的设备的情况下,模型探索中心20不需要和联邦管理中心建立通信连接。
可选地,模型探索中心20和联邦管理中心也可以部署在n个电子设备的一个或多个电子设备中。可以理解的,当联邦管理中心30部署在n个电子设备中的电子设备i中时,则联邦管理中心30无需和电子设备i建立通信连接。n个电子设备中的其他电子设备分别与电子设备i建立通信连接。
S1002、模型探索中心20可以向联邦管理中心30发送模型训练任务,模型训练任务可以用于指示电子设备训练模型1。
模型探索中心中可以存在模型1,该模型1可以由初始训练数据训练得到。初始训练数据可以来自个别用户的电子设备,或者来自对上传至模型探索中心的数据进行脱敏处理后的数据,或者来自使用元数据格式随机生成的伪数据。可以理解的是,该模型1初始训练数据有限,可能针对单独用户,该模型1预测出的输出数据可能不够精准。并且,模型1也不能满足每个用户个性化的需求。为了使得模型1训练的更为精准,或者更符合用户个性化的需求,模型探索中心20可以将联邦管理中心30发送模型训练任务和待训练的模型1。
模型训练任务中可以包括任务ID、任务类型(实时、非实时)、所需传感器数据类型、精度、格式、计算资源等一项或多项。
在一种可能的实现方式中,模型探索中心20发送的联邦管理中心30模型训练任务可以是一段程序代码或者任务描述文件。示例性地,该模型训练任务的任务描述文件可以包括如下内容:
TrainingTaskID:“T697002”//训练任务ID为“T697002”
TrainingTaskType:“realtime”//训练任务类型:实时
TrainingDataCategory:“Camera,MIC,Acceleration”//训练数据种类:“相机数据、麦克风数据、加速度”
CameraDataformat:“xxx”//相机数据格式
CameraDataHeight:“xxx”//相机数据高度
CameraDataWidth:“xxx”//相机数据宽度
MICDataformat:“xxx”//麦克风数据格式
AccelerationDataformat:“xxx”//加速度数据格式
TrainingdeviceCategory:“Platform,xPU,Memory,…”//训练设备种类:平台,处理器、内存
PlatformName:“xxx”//训练平台名称
PlatformVersion:“r1.3”//训练平台版本
xPUType:“CPU、GPU”//处理器类型
xPUaccuracy:“FP32”//处理器计算精度
xPUMinPerformanceReq:“3.0Tflops”//处理器最小计算性能要求
MemoryMinSpace:“512MB”最小内存空间
上述模型训练任务可以包含训练任务的ID(例如,T697002),以及训练任务的种类(例如,实时任务)、训练任务中所需的训练数据种类(例如,相机数据、麦克风数据以及加速度数据)、训练数据的格式、精度等,以及训练设备中需要有的平台、处理种类、以及平台名称、版本、处理器的类型以及精度、计算性能、内存空间等等。
可选地,该模型训练任务可以不是由模型探索中心20发送的,可以由联邦管理中心30生成的。
S1003、联邦管理中心30基于模型训练任务,从n个电子设备中确定参与模型训练任务的一个或多个电子设备。
联邦管理中心30可以接收到该模型训练任务。联邦管理中心30可以对该模型训练任务进行解析。具体地,联邦管理中心30中的任务解析模块可以用于该模型训练任务进行解析,可以解析出该模型训练任务中包含训练任务的ID、以及训练任务的种类(例如,实时任务)、训练任务中所需的训练数据种类、训练数据的格式、精度等,以及训练设备中需要有的平台、处理种类、以及平台名称、版本、处理器的类型以及精度、计算性能、内存空间等等。
联邦管理中心30可以基于该模型训练任务中包含的训练设备中需要有的平台、处理种类、以及平台名称、版本、处理器的类型以及精度、计算性能、内存空间等等确定在传感联邦中的电子设备i训练该模型训练任务中的模型1。联邦管理中心30可以基于训练任务中所需的训练数据种类、训练数据的格式、精度可以确定传感联邦中可以提供训练数据的电子设备。
可以理解的是,联邦管理中心30中可以存储有传感联邦中各个电子设备中包含的处理器类型、以及处理器的精度、计算性能等等。
当联邦管理中心30接收到模型训练任务后,对该模型训练任务进行解析。联邦管理中心可以解析出该模型训练任务的任务类型,以及包括所需计算资源和平台能力要求(如要求部署MindSpore端侧训练框架和硬件有CPU、GPU、NPU等、计算精度支持FP32/FP16、计算性能大于3TFlops、内存资源大于512MB、存储空间大于200MB),传感数据类型和精度/格式等。联邦管理中心可以根据传感联邦内的资源能力状态和模型训练任务要求,确定出可以提供训练数据的电子设备、以及进行模型训练的电子设备。
联邦管理中心对模型训练任务进行分解,得到一个或多个训练子任务。联邦管理中心可以确定每个训练子任务的执行时间、以及执行该训练子任务需要的传感器、以及传感器的精度和格式等等。
在一种可能的实现方式中,当联邦管理中心30确定传感联邦中的电子设备的处理器类型以及计算性能、精度等不符合模型训练任务中对参与模型训练电子设备的处理器类型以及计算性能、精度要求时,联邦管理中心30可以拒绝该模型训练任务。
联邦管理中心30可以将该模型训练任务(例如,图2A中示出的用于训练空调智能模型1的模型训练任务)分解成一个或多个训练子任务(例如,图2A中示出的用于训练用户身份识别子模型的训练子任务、以及用于提供用户体温数据的训练子任务等等),联邦管理中心30确定执行训练子任务的电子设备;训练子任务可以包括提供所需训练数据、以及训练可以用于输出训练数据的子模型中。例如,模型训练任务中所需训练数据包括训练数据1和训练数据2。联邦管理中心30可以将模型训练任务分解成提供训练数据1的子任务以及提供训练数据2的子任务,以及用训练数据1和训练数据2训练模型1的子任务。
联邦管理中心30需要确定出传感联邦中可以执行每一个训练子任务的电子设备。
在一种可能的实现方式中,联邦管理中心30可以根据训练数据对应的传感能力确定提供训练数据的电子设备。
联邦管理中心30可以存储有不同传感能力信息列表,该传感能力信息列表中可以包括不同的语义信息,以及不同的语义信息的ID、以及可以提供语义信息的一个或多个设备等等。联邦管理中心30可以基于该模型训练任务中包含的训练数据种类,以及训练数据精度、格式等等确定完成模型训练任务所需训练数据的语义信息N,在传感能力信息列表中查询对应的能够提供语义信息N的电子设备。传感能力信息列表具体可以如下表1所示。
表1示例性地示出了联邦管理中心30中的传感能力信息列表。
表1传感能力信息列表
Figure BDA0003447291200000331
Figure BDA0003447291200000341
如表1所示,表1中示例性地示出多个设备的传感能力信息。每个设备的传感能力信息可以包括每个设备能够提供的语义信息、以及语义信息ID、以及所提供的语义信息的数据精度、设备所在的位置等等信息。
如表1所示,表1的可以包括环境温度数据、用户身份、用户运动步数、用户体温、用户疲劳度等等语义信息,以及环境温度数据、用户身份、用户运动步数、用户体温等等传感能力分别对应的语义信息ID、提供语义信息的电子设备、电子设备的ID、数据精度、电子设备所在位置等等。
如表1所示,语义信息“环境温度数据”对应的语义信息ID可以是“CGLB0001”。提供该语义信息“环境温度数据”的电子设备可以是温度传感器,该温度传感器的设备型号可以是“XH01”,设备ID可以是“Device 0001”。该温度传感器中提供的环境温度数据的数据精度可以是“±0.01℃”。该温度传感器所在的位置可以是“用户A的卧室”。
如表1所示,语义信息“用户身份”对应的语义信息ID可以是“CGLB0002”。提供该语义信息“用户身份”的电子设备可以是手机、平板以及电视机。手机的设备型号可以是“XH02”,设备ID可以是“Device 0002”。手机提供的语义信息“用户身份”的数据精度可以是“98%”。手机所在位置可以是空值(例如Null)。平板的设备型号可以是“XH03”,设备ID可以是“Device 0003”。平板提供的语义信息“用户身份”的数据精度可以是“99%”。平板所在位置可以是“用户A的卧室”。电视机的型号可以是“XH04”,设备ID可以是“Device0004”。电视机提供的“用户身份”的数据精度可以是“95%”。电视机所在位置可以是“用户A的客厅”。
如表1所示,语义信息“用户运动步数”对应的语义信息ID可以是“CGLB0003”。提供该语义信息“用户运动步数”的电子设备可以是手机、手表、以及手环。手机的设备型号可以是“XH02”,设备ID可以是“Device 0002”。手机提供的语义信息“用户运动步数”的数据精度可以是“0.1步”。手机所在位置可以是空值(例如Null)。手表的型号可以是“XH05”,设备ID可以是“Device 0005”。手表提供的语义信息“用户运动步数”的数据精度可以是“0.5步”。手表所在位置可以是“用户A的卧室”。手环的型号可以是“XH06”,设备ID可以是“Device0006”。手环提供的语义信息“用户运动步数”的数据精度可以是“0.8步”。手环所在位置可以是空值(例如Null)。
如表1所示,语义信息“用户体温”对应的语义信息ID可以是“CGLB0004”。提供该语义信息“用户体温”的设备可以是手表和手环。手表的型号可以是“XH05”,设备ID可以是“Device 0005”。手表提供的语义信息“用户体温”的数据精度可以是“±0.01℃”。手表所在位置可以是“用户A的卧室”。手环的型号可以是“XH06”,设备ID可以是“Device 0006”。手环提供的语义信息“用户体温”的数据精度可以是“±0.02℃”。手环所在位置可以是空值(例如Null)。
如表1所示,语义信息“用户疲劳度”的对应的语义信息ID可以是“CGLB0006”。提供该语义信息“用户疲劳度”的电子设备可以是手机、以及手环。手机的设备型号可以是“XH02”,设备ID可以是“Device 0002”。手机提供的语义信息“用户疲劳度”的数据精度可以是“95%”。手机所在位置可以是空值(例如Null)。手环的型号可以是“XH06”,设备ID可以是“Device 0006”。手环提供的语义信息“用户疲劳度”的数据精度可以是“92%”。手环所在位置可以是空值(例如Null)。
可以理解的是,上述表1仅为示例。联邦管理中心30中可以存储有更多传感能力。以及联邦管理中心30中还可以存储传感能力对应的更多的信息(例如,提供该传感能力的电子设备的资源、以及电子设备的佩戴状态,电源状态以及电子设备中包括的传感器以及传感器的ID、型号、传感器能够提供的原始数据的类型、精度等等)。本申请实施例对联邦管理中心30中存储的传感能力列表中包含的内容不作限定。
可以理解的是,当电子设备的位置是在一段时间内固定不变时(例如,电视机。空调),传感能力信息列表中可以记录该电子设备的位置信息。若电子设备的位置不是固定的(例如,手持设备和穿戴设备),该传感能力信息列表中可以不记录该电子设备的位置信息。
可选地,电子设备可以定期地向联邦管理中心上报位置信息。
可以理解的是,联邦管理中心30中传感能力信息列表中的传感能力信息可以是传感联邦中各个电子设备上报给联邦管理中心30。具体地,电子设备1,电子设备2,…,电子设备n加入联邦管理中心30组建的传感联邦的时候,电子设备1,电子设备2,…,电子设备n可以分别向联邦管理中心30上报设备中的传感能力信息。联邦管理中心30可以基于电子设备1,电子设备2,…,电子设备n的上报的传感能力信息更新联邦管理中心30中存储的传感能力信息列表。
可选地,传感联邦中的设备在加入传感联邦时,可以将该设备的设备型号上报给联邦管理中心。联邦管理中心可以基于该设备的设备型号在云服务器中获取该设备的传感能力信息。云服务器中存储有不同型号的设备分别对应的传感能力信息。
可选地,一个传感联邦中的由各个设备的传感能力信息生成的传感能力信息列表可以存储在云服务器或服务器中。联邦管理中信息可以从云服务器或服务器中获取该传感能力信息列表。
可选地,联邦管理中心也可以使用传感联邦中的另一个设备的存储资源,用于存储联邦管理中心需要存储的数据或信息(例如,传感数据或者传感能力信息列表)。
在一种可能的实现方式中,每当一个新的设备型号的设备加入传感联邦时,该联邦管理中心可以获取到该新设备型号的设备的传感能力信息。联邦管理中心可以基于云服务器中的存储的全量的知识图谱和该新设备型号的设备的传感能力信息,来更新该传感联邦中的传感能力信息列表,以及更新该传感联邦中的局部的知识图谱。
可选地,联邦管理中心该可以基于云服务器中的存储的全量的知识图谱和该新设备型号的设备的传感能力信息,推到出新类型的传感能力信息,和/或得到用于推导出新类型的传感能力信息的推导模型。
举例来说,当表1中设备型号为“XH06”的手环未加入到该传感联邦中时,该传感联邦中的传感能力信息列表中可以不包括该型号为“XH06”的手环对应的传感能力信息(例如,语义信息“用户体温”对应的提供该语义信息的设备中不包括该型号为“XH06”手环)、以及利用该为“XH06”的手环对应的传感能力信息推导出新类型的传感能力信息(例如,语义信息“用户疲劳度”)。当手环加入该传感联邦后,联邦管理中心可以获取手环的传感能力信息,根据手环提供的语义信息“用户运动步数”和语义信息“用户体温”可以推导出新的传感能力信息,例如语义信息“用户疲劳度”,以及该语义信息“用户疲劳度”的ID、能够提供该语义信息“用户疲劳度”设备、设备型号等传感能力信息。
可选地,在设备加入传感联邦时,联邦管理中心可以给该设备生成一个在该传感联邦中的设备ID。
在一种可能的实现方式中,当传感联邦中有设备退出时,联邦管理中心可以删除传感能力信息列表中该设备的传感能力信息、以及基于该设备的传感能力信息推导出的新的传感能力信息。
在一种可能的实现方式中,当该传感联邦解散时,该联邦管理中心可以删除该传感联邦中的传感能力信息列表。在一种可能的实现方式中,联邦管理中心30基于模型训练任务中所需训练数据的种类、精度、格式,确定提供训练数据的一个或多个电子设备,可以包括:联邦管理中心30确定模型训练任务所需的语义信息N,并在传感能力信息列表中确定出语义信息N对应的M1个候选电子设备,传感能力信息列表中包含多个语义信息以及多个语义信息分别对应的一个或多个电子设备。
传感能力信息列表可以参考上述表1,此处不再赘述。
可以理解的是,提供语义信息N的电子设备可以是一个,也可以是多个。例如,上述表1中提供语义信息“环境温度数据”的电子设备为温度传感器。上述表1中提供语义信息“用户身份”的电子设备可以是手机、平板以及电视机。
可以理解的是,上述模型训练任务中所需的训练数据可以是环境温度数据、用户身份、用户运动步数、用户体温等等数据中的一项或多项。本申请实施例模型训练任务具体所需的训练数据的种类、精度、以及格式等等不作限定。
可以理解的是,当模型训练任务中所需的训练数据为多种类型的数据时,该模型训练任务所需的语义信息也可以是多个。
可以理解的是,当语义信息N对应的一个电子设备,即M1为1时,联邦管理中心30可以确定将模型训练任务发送给该电子设备,当M1大于1时,表示传感能力信息列表中有多个电子设备可以提供该语义信息N,联邦管理中心30可以从多个可以提供语义信息N的候选电子设备中筛选出一个目标电子设备。
可以理解的是,M1也可以等于0,当M1等于0时,即表明该传感联邦中没有电子设备可以提供该语义信息N。可选地,该联邦管理中心30可以向模型探索中心20上报该传感联邦不能完成该模型训练任务。
可以理解的是,若模型训练任务中的所需的一种训练数据可以由多个电子设备提供时,联邦管理中心30可以直接将模型训练任务以及模型训练任务中所需训练数据的种类,精度,格式发送给多个可以提供语义信息N的电子设备。
在一种可能的实现方式中,联邦管理中心30从多个可以提供语义信息N的候选电子设备中筛选出一个目标电子设备,可以包括:联邦管理中心30从M1个候选电子设备中确定出M2个可唤醒的电子设备。
具体地,联邦管理中心30可以从M1个电子设备中确定出M2个可唤醒的电子设备。M2为整数,M2小于等于M1。在本申请实施例中,可唤醒的电子设备可以是指联邦管理中心30在预设时间内可以接收到该电子设备发送的消息,且未上报异常状态。异常状态包括电子设备中电量低于电量阈值、与电源连接断开、未处于穿戴状态、与联邦管理中心的通信连接断开等等。
在一种可能的实现方式中,M2可以大于1,也可以等于1。当M2等于1时,即表示M1个候选电子设备中只有一个可唤醒的电子设备。联邦管理中心30可以将模型训练任务以及模型训练任务中所需训练数据的种类,精度,格式发送给该可唤醒的电子设备。
在一种可能的实现方式中,M2可以等于0,即表示M1个候选电子设备中没有可唤醒的电子设备。
在一种可能的实现方式中,当M2大于1时,联邦管理中心30可以从M2个可唤醒的电子设备中筛选出M3个符合训练数据精度的电子设备。
在模型训练任务中,可以包括模型训练任务所需的训练数据的精度范围。联邦管理中心30可以从M2个可唤醒的电子设备中确定出M3个符合训练数据精度的电子设备。M3为整数,M3可以小于或等于M2。
可以理解的是,M3可以大于1,也可以等于1,也可以等于0。
在一种可能的实现方式中,当M3等于1时,联邦管理中心30可以将模型训练任务以及模型训练任务中所需训练数据的种类,精度,格式发送给该符合训练数据精度的电子设备。
在一种可能的实现方式中,当M3大于1时,联邦管理中心30可以基于M3个符合训练数据精度的电子设备的设备状态,电子设备的设备状态包括数据采集设备40的电源状态、设备类型、佩戴状态、电子设备中语义信息N的数据精度、以及是否具备有标准传感联邦数据传输接口中的一项或多项。
进一步地,在一种可能的实现方式中,联邦管理中心30根据M3个符合训练数据精度的电子设备的电源状态(有源设备和无源设备),确定出有源设备,且与电源连接的符合训练数据精度的电子设备为目标电子设备。
举例来说,以M3等于2为例进行阐述。M3个符合训练数据精度的电子设备中包括电子设备A和电子设备B。电子设备A为有源设备(例如,笔记本电脑),且该电子设备A连接有电源,电子设备B为无源设备(例如,手机),且电子设备B未连接电源。那么基于该设备状态中的电源状态,联邦管理中心30可以确定电子设备A为电子设备。
在一种可能的实现方式中,联邦管理中心30可以基于M3个符合训练数据精度的电子设备的设备类型,从M3个符合训练数据精度的电子设备中选出,计算资源最多、存储资源最多的一个符合训练数据精度的电子设备作为目标电子设备。
在一种可能的实现方式中,联邦管理中心30可以基于M3个符合训练数据精度的电子设备的电量状态,从M3个符合训练数据精度的电子设备中选择电量最多的一个符合训练数据精度的电子设备作为目标电子设备。
在一种可能的实现方式中,若M3个符合训练数据精度的电子设备为穿戴设备(手表、手环、耳机、智能眼镜等等),联邦管理中心30可以基于M3个符合训练数据精度的电子设备的设备类型(是否具有计算资源或存储资源)、电量状态、佩戴状态、电子设备中语义信息N的数据精度、以及是否具备有标准传感联邦数据传输接口,从M3个符合训练数据精度的电子设备中选择一个计算资源最多,存储资源最多,电量最多、处于佩戴状态、语义信息N的数据精度最大、具备有标准传感联邦数据传输接口的一个符合训练数据精度的电子设备作为目标电子设备。
在一种可能的实现方式中,若M3个符合训练数据精度的电子设备为非穿戴设备,联邦管理中心30可以基于M3个符合训练数据精度的电子设备的电源状态、设备类型(是否具有计算资源或存储资源)、电量状态、电子设备中语义信息N的数据精度、以及是否具备有标准传感联邦数据传输接口,从M3个符合训练数据精度的电子设备中选择一个与电源连接、计算资源最多,存储资源最多,电量最多、语义信息N的数据精度最大、且具备有标准传感联邦数据传输接口的一个符合训练数据精度的电子设备作为目标电子设备。
S1004、联邦管理中心30向目标电子设备发送模型训练任务。
联邦管理中心30可以按照上述步骤S1003中的描述将模型训练任务分解成一个或多个模型训练子任务,并确定出能够执行每个模型训练子任务的目标电子设备。
目标电子设备可以接收到模型子任务,并基于设备状态确定是否接受该模型训练子任务。具体地,目标电子设备中的传感联邦引擎模块可以接收到联邦管理中心30发送的模型训练子任务,目标电子设备部中的传感联邦引擎模块可以基于设备状态确定是否接受该模型训练子任务。关于传感联邦引擎模块可以参考上述图3中的描述,此处不再赘述。
在一种可能的实现方式中,目标电子设备中的传感联邦引擎模块可以基于模型子任务,评估出目标电子设备如果要执行该模型训练子任务需要的待使用资源(计算资源以及存储资源)。然后,目标电子设备确定目标电子设备中的剩余资源是否大于待使用资源;若剩余资源大于待使用资源,则目标电子设备可以接受该模型训练子任务。若剩余资源小于待使用资源,则目标电子设备可以不接受该模型训练子任务。
在一种可能的实现方式中,传感联邦中的一些目标电子设备可以不具备传感联邦引擎模块。该目标电子设备可以将该目标电子设备中的剩余资源上报给联邦管理中心30。联邦管理中心30可以评估出目标电子设备如果要执行该模型训练子任务需要的待使用资源,并基于待使用资源和剩余资源确定目标电子设备是否接受模型训练子任务。
在一种可能的实现方式中,联邦管理中心30可以指定目标电子设备执行训练子任务的时间。例如,在夜间执行训练模型的任务,在白天可以执行采集训练数据的任务。
S1005、目标电子设备可以基于模型训练子任务,向联邦管理中心30发送训练数据。
传感联邦中目标电子设备可以接受联邦管理中心30发送的模型训练子任务,并基于模型训练子任务采集训练数据或者训练子模型。目标电子设备可以将采集的训练数据或者训练的子模型输出的训练数据发送给联邦管理中心。这里,可以参考上述图1B以及图2A和图2B中的描述,此处不再赘述。
S1006、联邦管理中心30可以利用训练数据,将模型1训练成模型2。
联邦管理中心30可以接收到目标电子设备发送的训练数据。联邦管理中心30利用训练数据将模型1训练成模型2。具体可以参考上述图2B联邦管理中心将空调智能模型1训练成空调智能模型2的描述,此处不再赘述。
可选地,传感联邦中的目标电子设备可以基于模型训练子任务,可以向联邦管理中心发送训练得到的子模型或者计算结果。联邦管理中心可以将训练得到的子模型或者计算结果训练模型1,得到模型2。
在一种可能的实现方式中,联邦管理中心30可以将训练得到的模型2上传至模型探索中心20。传感联邦中的其他电子设备可以从模型探索中心20中下载该模型。
联邦管理中心30训练得到的模型2由于是根据传感联邦内的电子设备提供的训练数据,在该传感联邦的电子设备中,该模型2的准确率高于模型1的准确率。
可以理解的是,用于不同的用户的习惯不同,不同用户的电子设备组建的传感联邦训练得到的模型2可以不同。
通过本申请实施例提供的模型训练方法,可以将多个电子设备组成传感联邦,训练出更为精准的模型。例如,随着社会老龄化的发展,老人看护的需求越来越强烈,可利用本申请提供的模型训练方法,结合大屏的摄像头和麦克风、或音箱的麦克风阵列,手机或手表的运动传感器,把这些设备的组成一个传感联邦,综合训练一个判断老人跌倒的模型,该模型可以有效防止跌倒的误判。如老人在弯腰捡东西或手机手表滑落,仅通过手机或手表的运动传感器可能导致误判,若通过大屏的摄像头麦克风、结合摄像头看看老人是否在跌倒在地,或通过麦克风听到跌倒的声音,综合得出更加精准的结果。
在一些场景中,模型探索中心20该可以向联邦管理中心30发送联邦学习任务。联邦管理中心30可以将联邦学习任务发送给传感联邦中能够执行联邦学习任务的电子设备。具体地,可以如图9所示,图9示例地示出了本申请实施例提供的一种模型训练方法示意图。如图9,该模型训练方法可以包括如下步骤:
S2001、模型探索中心20与联邦管理中心30建立通信连接;联邦管理中心30与n个电子设备建立通信连接。
模型探索中心20所在的设备可以通过WLAN、蜂窝网络或者软总线、USB连接线等与联邦管理中心30所在的设备建立通信连接,具体可以参考图1A中的描述,此处不再赘述。
n个电子设备可以通过WLAN、蜂窝网络或者软总线、以及USB连接线等与联邦管理中心30所在的设备建立通信连接,具体可以参考图1A中的描述此处不再赘述。
可以理解的是,模型探索中心20、联邦管理中心30、以及n个电子设备建立有传感联邦、或者联邦管理中心30与n个电子设备建立有传感联邦。关于模型探索中心20、联邦管理中心30以及n个电子设备如何建立传感联邦,或者联邦管理中心30与n个电子设备如何建立传感联邦可以参考上述图5A-图5E、图6A-图6I、以及图7A-图7G中的描述,此处不再赘述。
可以理解的是,模型探索中心20和联邦管理中心30可以部署在不同的设备中。例如,如图2A所示,模型探索中心20部署在服务器101中,联邦管理中心30部署在手机104中。当模型探索中心20和联邦管理中心30部署在不同的设备的情况下,模型探索中心20需要和联邦管理中心建立通信连接。
可选地,模型探索中心20和联邦管理中心30也可以部署在相同的设备中。例如,模型探索中心20和联邦管理中心30可以同时部署在电脑中。在模型探索中心20和联邦管理中心30部署在相同的设备的情况下,模型探索中心20不需要和联邦管理中心建立通信连接。
可选地,模型探索中心20和联邦管理中心也可以部署在n个电子设备的一个或多个电子设备中。可以理解的,当联邦管理中心30部署在n个电子设备中的电子设备i中时,则联邦管理中心30无需和电子设备i建立通信连接。n个电子设备中的其他电子设备分别与电子设备i建立通信连接。
S2002、模型探索中心20向联邦管理中心30发送联邦学习任务,联邦学习任务用于指示接受该联邦学习任务的电子设备确定模型1的参数。
模型探索中心20可以向联邦管理中心30发送联邦学习任务,该联邦学习任务可以用于指示接受该联邦学习任务的电子设备确定模型1的参数。由于每个电子设备中的输入数据和输出数据不太相同,因此在不同的电子设备中,模型1的参数可能不相同。
举例来说,若模型1是一个输入法模型,可以根据用户输入的首字符,预测首字母对应的汉子或词语。对于用户A来说,输入字母“SZ”,可能希望输出的词语是“手指”。对于用户B来说,输入字母“SZ”,可能希望输出的词语是“设置”。对于用户C来说,输入字母“SZ”,可能希望输出的词语是“深圳”。对于用户D来说,输入字母“SZ”,可能希望输出的词语是“收租”。用户A的电子设备对输入法联邦学习,调整输入法模型的参数可以使得输入法模型输出的结果与用户A的习惯更相近。当用户A的电子设备对该输入法联邦学习到一定程度后,该输入法模型在用户A电子设备中的参数可以保持不变,在用户A电子设备中该输入法模型的参数为参数a。用户B的电子设备对输入法联邦学习,调整输入法模型的参数可以使得输入法模型输出的结果与用户B的习惯更相近。当用户B的电子设备对该输入法联邦学习到一定程度后,该输入法模型在用户B电子设备中的参数可以保持不变,在用户B电子设备中该输入法模型的参数为参数b。用户C的电子设备对输入法联邦学习,调整输入法模型的参数可以使得输入法模型输出的结果与用户C的习惯更相近。当用户C的电子设备对该输入法联邦学习到一定程度后,该输入法模型在用户C电子设备中的参数可以保持不变,在用户C电子设备中该输入法模型的参数为参数c。用户D的电子设备对输入法联邦学习,调整输入法模型的参数可以使得输入法模型输出的结果与用户D的习惯更相近。当用户D的电子设备对该输入法联邦学习到一定程度后,该输入法模型在用户D电子设备中的参数可以保持不变,在用户D电子设备中该输入法模型的参数为参数d。
又例如,参考上述图2C。服务器101可以向用户1的设备构建的个人传感联邦1中的联邦管理中心,即手机104a发送联邦学习任务。该联邦学习任务中可以携带需要学习的模型(例如,跌倒预测模型),也可以携带需要学习的模型的标识(例如,跌倒预测模型的ID)。该跌倒预测模型的输入数据可以是图像数据、麦克风声音信号数据、加速度数据;输出数据可以是跌倒预测结果,例如,跌倒或未跌倒,或者跌倒的概率等等。本申请对该跌倒预测模型的输出数据的具体形式不作限定。手机104a可以接收该联邦学习任务,并解析该联邦学习任务。具体地,手机104a可以将模型探索中心20发送的联邦学习任务解析为三个联邦学习子任务,分别为:学习跌倒预测模型11a、学习跌倒预测模型12a以及学习跌倒预测模型13a。其中,跌倒预测模型11a的输入数据可以是图像数据,输出数据为跌倒预测结果。跌倒预测模型12a的输入数据可以是麦克风声音信号,输出数据为跌倒预测结果。跌倒预测模型13a的输入数据可以是加速度数据,输出数据为跌倒预测结果。手机104a在用户1的设备构建的个人传感联邦1中可以确定手机104a执行学习跌倒预测模型12a的联邦学习子任务、平板105a执行学习跌倒预测模型11a的联邦学习子任务,手表103a执行学习跌倒预测模型13a的联邦学习子任务。具体地,手机104a可以基于手机104a中采集麦克风声音信号,以及采集麦克风信号时用户是否跌倒的结果,计算出学习跌倒预测模型12a的模型参数12,或者训练新的跌倒预测模型12b。平板105a可以基于平板105a中采集的图像数据,以及平板105a拍摄的图像数据对应的用户是否跌倒的结果,计算出学习跌倒预测模型11a的模型参数11,或者训练新的跌倒预测模型11b。平板105a可以将该模型参数11或者跌倒预测模型11b发送给手机104a。手表103a可以基于手表103a中加速度传感器采集的加速度数据,以及手表103a采集的加速度数据对应的用户是否跌倒的结果,计算出学习跌倒预测模型13a的模型参数13,或者训练新的跌倒预测模型13b。手表103a可以将该模型参数13或者跌倒预测模型13b发送给手机104a。
手机104a可以将接收到的模型参数11或者跌倒预测模型11b、模型参数13或者跌倒预测模型13b以及手机104a计算或训练得到的模型参数12或者跌倒预测模型12b、发送给服务器101。
可选地,模型探索中心20再向联邦管理中心30发送联邦学习任务之前,可以先向模型探索中心20发送联邦学习请求,该请求中可以包括执行联邦学习任务的传感联邦需要的投入计算资源和存储资源。联邦管理中心30可以基于该传感联邦中所能提供的计算资源和存储资源决定是否接受联邦学习任务。若接受该联邦学习任务,则模型探索中心20再向联邦管理中心发送具体的联邦学习任务。
S2003、联邦管理中心30接收联邦学习任务,并基于联邦学习任务,从n个电子设备中确定参与联邦学习任务的一个或多个电子设备。
联邦管理中心30可以基于联邦学习任务中所需模型的输入数据类型以及输出数据类型,以及对参与联邦学习任务的电子设备的计算能力、以及存储能力的需求,确定传感联邦中是否有符合该联邦学习任务的电子设备。例如,若联邦学习任务为确定输入法模型(该输入法模型的输入数据为拼音首字母,输出数据为汉子或词语)的参数,那么能够参与联邦学习任务的电子设备中存储有或者可以产生输入数据,以及存储有或者可以产生输出数据、以及计算输出法模型参数的能力、和存储输入数据和输出数据的能力。例如,若联邦学习任务为确定计算模型y=mf(x)中的参数m。那么能够参与联邦学习任务的电子设备中存储有或者可以产生输入数据x,以及输出数据y、以及能够具备计算参数m的能力、和存储输入数据、输出数据的能力。
S2004、联邦管理中心30向参与联邦学习任务的一个或多个电子设备发送联邦学习子任务。
联邦管理中心30确定出传感联邦中参与联邦学习任务的一个或多个电子设备。然后联邦管理中心30可以将联邦学习任务解析成一个或多个联邦学习子任务后发送给一个或多个电子设备。
接收到联邦学习子任务的一个或多个电子设备可以根据设备状态确定是否接收该联邦学习任务。
进一步地,在一种可能的实现方式中,若接收到联邦学习子任务的一个或多个电子设备中电子设备i的剩余资源小于参与联邦学习子任务需要的待使用资源,则电子设备i可以拒绝接受参与该联邦学习子任务。若接收到联邦学习子任务的一个或多个电子设备中电子设备i的剩余资源大于参与联邦学习子任务需要的待使用资源,则电子设备i可以接受参与该联邦学习子任务。
进一步地,在一种可能的实现方式中,若接收到联邦学习子任务的一个或多个电子设备中电子设备i正在执行优先级更高的任务(例如,正在实时为另一个电子设备采集数据),则电子设备i可以拒绝接受参与该联邦学习子任务。
S2005、参与联邦学习子任务的一个或多个电子设备基于联邦学习子任务,向联邦管理中心30发送一个或多个电子设备计算得到模型1的参数或基于模型1训练得到的模型。
参与联邦学习子任务的一个或多个电子设备中的电子设备i可以基于联邦学习子任务,进行联邦学习,并计算出模型1的参数,或者基于模型1训练得到新的模型。例如,参与对输入法模型进行联邦学习的平板105可以利用平板105中的输入法模型的训练数据,计算出输入法模型的参数data1。或者,平板105基于输入法模型,训练得到新的输入法模型。参与对输入法模型进行联邦学习的手机104可以利用手机104中的输入法模型的训练数据,计算出输入法模型的参数data2。或者,手机104基于输入法模型,训练得到新的输入法模型。
S2006、联邦管理中心30将接收到的一个或多个电子设备中的模型1的参数或基于模型1训练得到的模型,发送给模型探索中心20。
联邦管理中心30可以将接收到一个或多个电子设备中的模型I的参数或基于模型1训练得到的模型,发送给模型探索中心。
S2007、模型探索中心20接收联邦管理中心30发送的一个或多个电子设备中的模型1的参数或基于模型1训练得到的模型,基于联邦管理中心发送的一个或多个电子设备中的模型1的参数调整模型探索中心20中模型1的原始参数,或者整合一个或多个电子设备中基于模型1训练得到的模型。
在一种可能的实现方式中,模型探索中心20可以接收到联邦管理中心30发送一个或多个电子设备中的模型1的参数,并基于各个传感联邦中联邦管理中心发送的模型1的参数来调整模型探索中心20中模型1的原始参数。举例来说,模型探索中心20可以接收到联邦管理中心30可以将输入法模型的参数data1以及参数data2。模型探索中心20可以接收到其他传感联邦发送的输入法模型的参数data3,以及参数data4。模型探索中心20中的输入法模型的参数为data0。模型探索中心20可以将接收到的输入法的参数data1、参数data2、参数data3、参数data4、以及原始参数data0进行处理(例如,求平均或者加权平均等),得到新的输入法参数data0’。模型探索中心20可以基于参数data0’调整输入法模型。
可选地,在另一种可能的实现方式中,模型探索中心20可以整合一个或多个电子设备中基于模型1训练得到的模型,得到整合后的模型。整合后的模型的输入数据的类型与模型1的输入数据的类型相同。但是,整合后的模型的精度高于模型1的精度。
在一种可能的实现方式中,在模型探索中心20向联邦管理中心30发送联邦学习任务,联邦学习任务用于指示接受该联邦学习任务的电子设备确定模型1的参数,之前,模型探索中心20还可以基于各个传感联邦的计算资源和存储资源确定参与联邦学习的一个或多个传感联邦,并将该联邦学习任务发送给一个或多个传感联邦中的联邦管理中心。
在一种可能的实现方式中,模型探索中心可以基于多个传感联邦的联邦学习结果调整联邦学习任务中所需学习的模型。
这样,模型探索中心20无需获取各个电子设备中传感器采集的数据,也能够使得模型探索中心20中的模型更为精准。参与联邦学习任务的电子设备无需向模型探索中心上传传感器采集的数据,这样,不会造成用户的隐私数据泄露。例如,在一些场景中,人的精力状态可能会影响人的工作生活方方面面,探索研究人的精力状态从而给用户以更好的干预,对用户的生活工作质量效率有重要意义。人的精力状态主要受睡眠状态,一天的生活工作娱乐的历程状态及心理压力等多方面的影响,单一的传感器无法准确的判断。xx睡眠研究中心期待利用更多人的数据来一起训练更加精准的精力耗散模型,但这些数据由于分布在多设备,且数据有明显的隐私属性,不能数据上传到云,也无法采用传统的联邦学习进行训练。采用本专利提出的传感联邦参与联邦学习的方法和系统,可以解决此问题。每个用户可以把手表、手机、大屏、电脑、Pad等设备组成一个传感联邦,并通过招募更多的用户一起完成精力耗散的AI模型联邦学习训练。
并且,本申请实施例中模型探索中心基于整个传感联邦的资源来确定该传感联邦是否能够参与联邦学习任务。并不会根据单个设备的资源来决定该设备是否能够参与联邦学习任务。这样,资源不充足的某个电子设备也能够参与到联邦学习任务中,可以丰富训练数据。例如,若模型探索中心根据单个设备的资源确定手表不能加入联邦学习,那么模型探索中心就不能获取到手表中的数据来学习模型。这样,会使得学习到的模型缺少一些类型的训练数据。但是,模型探索中心基于整个传感联邦的资源来确定该传感联邦能够参与联邦学习任务时,若手表在该传感联邦中,手表可以提供该联邦学习任务所需的训练给传感联邦中另一个计算资源丰富的设备进行联合联邦学习。
在一些场景中,联邦管理中心30可以将传感联邦内当前低阶传感数据项、高阶语义项上传到模型探索中心20中。模型探索中心20中可以进行高阶语义推理依赖关系图谱的构建。当所有的传感联邦上传了语义依赖关系后,即可在模型探索中心20中创建一个全局的语义依赖关系图谱。
当一个新的传感联邦(例如由疾病研究传感联邦)把该传感联邦内的低阶传感数据项、高阶语义项、以及直接的推理依赖关系都上传到模型探索中心20后,模型探索中心20可以把上报的数据与全局的关系图谱进行比对。若模型探索中心20对比发现有新的语音依赖关系,则模型探索中心20进行关系图谱的更新。若对比发现上报的联邦管理中心中有高阶语义项的缺失,则模型探索中心把所缺失的高阶语义项的依赖关系返回给新的传感联邦的联邦管理中心。联邦管理中心可以对存储的语音血缘关系进行更新。若传感联邦中的电子设备需要该高阶语义,则可以从模型探索中心20中的模型市场下载新的语义推理模型。
模型探索中心20的模型市场中的模型下发到每个用户的传感联邦后,若传感联邦中的电子设备在使用模型时可能出现问题,和现实的情况不匹配,该电子设备可以上报该模型出现问题或bug。模型探索中心20接收到该模型出现问题或bug后,可以向电子设备下发该模型所涉及的语义相关的依赖关系和异常原因的推理关系。模型探索中心20可以开启该模型的模型监控功能。若模型指标异常,则模型探索中心20可以触发启动相关感知能力的收集。最后模型探索中心20可以对相关感知能与下发的依赖关系、异常原因进行匹配,自动推理发现模型异常bug的可能原因。研发人员可以对模型探索中心20中的推理发现模型异常bug的可能原因进行分析。
本申请实施例中,传感联邦中的电子设备的结构可以如图10所示。图10是本申请实施例提供的电子设备100的结构示意图。
下面以电子设备100为例对实施例进行具体说明。应该理解的是,电子设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
SIM接口可以被用于与SIM卡接口195通信,实现传送数据到SIM卡或读取SIM卡中数据的功能。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)。显示面板还可以采用有机发光二极管(organiclight-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED),柔性发光二极管(flexlight-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,颜色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用(比如人脸识别功能,指纹识别功能、移动支付功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如人脸信息模板数据,指纹信息模板等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universalflash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。
可以理解的是,本申请实施例中模型探索中心20所在的电子设备可以包括上述电子设备100中所示的更多的或者更少的部件。联邦管理中心30所在的电子设备可以包括上述电子设备100中所示的更多的或者更少的部件。传感联邦中的电子设备1,电子设备2,…,电子设备n可以包括上述电子设备100中所示的更多的或者更少的部件。本申请实施例对模型探索中心20所在的电子设备,联邦管理中心30所在的电子设备,传感联邦中的电子设备1,电子设备2,…,电子设备n的硬件结构,具体包含的部件不作限定。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (31)

1.一种模型训练方法,其特征在于,所述模型训练方法应用于模型训练系统,所述模型训练系统包括第一联邦管理中心以及所述第一联邦管理中心关联的多个设备;其中,所述方法包括:
所述第一联邦管理中心基于模型训练任务,以及所述多个设备的设备能力信息,确定执行所述模型训练任务的一个或多个设备;
所述第一联邦管理中心指示所述一个或多个设备获取一个或多个传感数据,联合执行所述模型训练任务。
2.根据权利要求1所述的方法,其特征在于,所述设备能力信息包括设备的计算能力、存储能力、传感能力信息中的一项或多项;所述传感能力信息用于指示设备中包括的传感数据、以及传感数据的精度。
3.根据权利要求1所述的方法,其特征在于,所述第一联邦管理中心部署在一个设备或分布式地部署在所述模型训练系统中的多个设备中,所述设备包括电子设备、服务器。
4.根据权利要求3所述的方法,其特征在于,所述一个或多个设备中包括第一设备,所述一个或多个传感数据中包括第一传感数据,所述第一联邦管理中心指示所述一个或多个设备获取一个或多个传感数据,联合执行所述模型训练任务,包括:
所述第一联邦管理中心指示所述第一设备提供所述第一传感数据。
5.根据权利要求4所述的方法,其特征在于,所述一个或多个设备中还包括第二设备,所述第一联邦管理中心指示所述一个或多个设备获取一个或多个传感数据,联合执行所述模型训练任务,包括:
所述第一联邦管理中心指示所述第一设备提供所述第一传感数据;
所述第一联邦管理中心指示所述第二设备提供计算能力,并指示所述第二设备对所述第一传感数据进行计算。
6.根据权利要求5所述的方法,其特征在于,所述一个或多个设备中还包括第三设备,所述第一联邦管理中心指示所述一个或多个设备获取一个或多个传感数据,联合执行所述模型训练任务,包括:
所述第一联邦管理中心指示所述第一设备提供所述第一传感数据;
所述第一联邦管理中心指示所述第二设备提供计算能力,并指示所述第二设备对所述第一传感数据进行计算,得到第一计算结果;
所述第一联邦管理中心指示所述第三设备提供存储能力,并指示所述第三设备存储第一计算结果和/或所述第一传感数据。
7.根据权利要求6所述的方法,其特征在于,所述多个设备中包括提供第二传感数据的第四设备,所述第一联邦管理中心基于模型训练任务,以及所述多个设备的设备能力信息,确定执行所述模型训练任务的一个或多个设备,包括:
所述第一联邦管理中心基于模型训练任务,以及所述设备的设备能力信息,确定提供所述模型训练任务中所需的第一传感数据的所述第一设备,和提供所述模型训练任务中所需的第二传感数据的所述第四设备。
8.根据权利要求7所述的方法,其特征在于,所述第一联邦管理中心基于模型训练任务,以及所述设备的设备能力信息,确定提供所述模型训练任务中所需的第一传感数据的所述第一设备,和提供所述模型训练任务中所需的第二传感数据的所述第四设备,包括:
所述第一联邦管理中心基于所述模型训练任务中所需的第一传感数据和第二传感数据,将所述模型训练任务分解为第一训练子任务和第二训练子任务;所述第一训练任务用于指示一个或多个设备提供所述第一传感数据;所述第二训练子任务用于指示一个或多个设备提供所述第二传感数据;
所述第一联邦管理中心基于所述第一传感数据和所述第二传感数据,所述多个设备的设备能力信息,确定所述多个设备中的第一设备执行第一训练子任务、所述多个设备中的第四设备执行所述第二训练子任务。
9.根据权利要求7所述的方法,其特征在于,所述第一联邦管理中心基于所述模型训练任务,以及所述多个设备的设备能力信息,确定执行所述模型训练任务的一个或多个设备,包括:
所述第一联邦管理中心解析出所述模型训练任务中所需训练的第一模型,确定所述第一模型的输入数据包括第一传感数据和第二传感数据;所述第一模型的输出为第三传感数据;
所述第一联邦管理中心基于所述所需训练的第一模型,所述多个设备的设备能力信息,确定所述多个设备中的第一设备执行第三训练子任务、所述多个设备中的第四设备执行所述第四训练子任务;其中,所述第三训练子任务用于训练第一子模型,所述第一子模型的输入数据为所述第一传感数据,所述第一子模型的输出为所述第三传感数据;所述第四训练子任务用于训练第二子模型,所述第二子模型的输入数据为所述第二传感数据,所述第二子模型的输出为所述第三传感数据。
10.根据权利要求9所述的方法,其特征在于,所述第一联邦管理中心指示所述一个或多个设备获取一个或多个传感数据,联合执行所述模型训练任务,包括:
所述第一联邦管理中心指示所述第一设备执行所述第一训练子任务,指示所述第四设备执行所述第二训练子任务。
11.根据权利要求10所述的方法,其特征在于,所述第一联邦管理中心指示所述第一设备执行所述第一训练子任务,指示所述第二设备执行所述第二训练子任务之后,所述方法还包括:
所述第一联邦管理中心接收到所述第一设备发送的第一子模型或第一子模型的参数,所述第二设备发送的第二子模型;
所述第一联邦管理中心基于所述第一子模型和所述第二子模型,得到所述第二模型,所述第二模型的输入数据包括第一传感数据和第二传感数据;所述第二模型的输出为第三传感数据;在所述模型训练系统中,所述第二模型的精度高于所述第一模型的精度。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述模型训练系统还包括模型探索中心,所述第一联邦管理中心基于模型训练任务,以及所述多个设备的设备能力信息,确定执行所述模型训练任务的一个或多个设备,包括:
所述第一联邦管理中心接收所述模型探索中心发送的所述模型训练任务,所述模型探索中心部署在服务器。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
所述模型探索中心向所述第一联邦管理中心发送联邦学习任务;
所述第一联邦管理中心基于所述联邦学习任务、以及所述一个或多个电子设备的设备能力信息,确定执行所述联邦学习任务的一个或多个电子设备;
所述第一联邦管理中心指示一个或多个电子设备获取一个或多个传感数据联合执行所述联邦学习任务,并获取所述联邦学习任务的第一联邦学习结果;
所述第一联邦管理中心将所述第一联邦学习结果发送给所述模型探索中心;
所述模型探索中心基于所述第一联邦学习结果,调整所述联邦学习任务中所需学习的模型。
14.根据权利要求12所述的方法,其特征在于,所述模型训练系统还包括第二联邦管理中心,和所述第二联邦管理中心关联的多个设备;所述方法还包括:
所述模型探索中心向所述第一联邦管理中心和所述第二联邦管理中心发送联邦学习任务;
所述第一联邦管理中心基于所述联邦学习任务、以及所述一个或多个电子设备的设备能力信息,确定执行所述联邦学习任务的一个或多个电子设备,所述第二联邦管理中心基于所述联邦学习任务、以及所述一个或多个电子设备的设备能力信息,确定执行所述联邦学习任务的一个或多个电子设备;
所述第一联邦管理中心指示一个或多个电子设备获取一个或多个传感数据联合执行所述联邦学习任务,并获取所述联邦学习任务的第一联邦学习结果,所述第二联邦管理中心指示一个或多个电子设备获取一个或多个传感数据联合执行所述联邦学习任务,并获取所述联邦学习任务的第二联邦学习结果;
所述第一联邦管理中心将所述第一联邦学习结果发送给所述模型探索中心,所述第二联邦管理中心将所述第二联邦学习结果发送给所述模型探索中心;
所述模型探索中心基于所述第一联邦学习结果和所述第二联邦学习结果,调整所述联邦学习任务中所需学习的模型。
15.根据权利要求14所述的方法,其特征在于,所述第一联邦学习结果包括与所述第一联邦管理中心关联的一个或多个设备对所述联邦学习任务中所需学习的模型的参数进行计算得到的计算结果;所述第二联邦学习结果包括与所述第二联邦管理中心关联的一个或多个设备对所述联邦学习任务中所需学习的模型的参数进行计算得到的计算结果。
16.根据权利要求10所述的方法,其特征在于,所述第一联邦管理中心指示所述第一设备执行所述第一训练子任务,指示所述第四设备执行所述第二训练子任务之后,所述方法还包括:
所述第一设备接受或拒绝所述第一训练子任务;
所述第四设备接受或拒绝所述第一训练子任务。
17.根据权利要求16所述的方法,其特征在于,所述第一设备接受或拒绝所述第一训练子任务,包括:
所述第一设备基于所述第一设备中的剩余资源,确定接受或拒绝所述第一训练子任务;
所述第一设备基于所述第一设备中的剩余资源,确定接受或拒绝所述第一训练子任务,包括:
在所述第一设备确定所述第一设备中的剩余资源大于所述第一训练子任务所需的待使用资源的情况下,所述第一设备向所述第一联邦管理中心发送第一消息,所述第一消息用于指示所述第一设备接受所述第一训练子任务;所述第一设备中的剩余资源包括所述第一设备中的剩余的计算资源和存储资源;
在所述第一设备确定所述第一设备中的剩余资源小于所述第一训练子任务所需的待使用资源的情况下,所述第一设备向所述第一联邦管理中心发送第二消息,所述第二消息用于指示所述第一设备拒绝接受所述第一训练子任务。
18.根据权利要求1-17任一项所述的方法,其特征在于,所述第一联邦管理中心基于模型训练任务,以及所述多个设备的设备能力信息,确定执行所述模型训练任务的一个或多个设备之前;所述方法还包括:
所述第一联邦管理中心接收到所述多个设备的传感能力信息;
所述第一联邦管理中心基于所述多个设备的传感能力信息和下载的第一知识图谱,推导出新的传感能力信息。
19.根据权利要求18的方法,其特征在于,所述第一联邦管理中心接收到所述多个设备的传感能力信息;包括:
所述第一联邦管理中心接收到所述多个设备中第六设备加入所述数据采集系统的消息以及所述第六设备的设备型号;
所述第一联邦管理中心基于所述第六设备的设备型号,从第一服务器中获取所述第六设备的传感能力信息;所述第一服务器中存储有不同的设备型号、以及设备型号对应的传感能力信息。
20.根据权利要求19所述的方法,其特征在于,所述第一联邦管理中心基于所述第六设备的设备型号,从第一服务器中获取所述第六设备的能力信息之后,所述方法还包括:
所述第一联邦管理中心基于所述第六设备的传感能力信息,以及第二知识图谱,推导出新的传感能力信息;所述第二知识图谱包括第一知识图谱,所述第二知识图谱中包含的传感能力信息比所述第一知识图谱中包含的传感能力信息多;
所述第一联邦管理中心基于所述新的传感能力信息,更新所述联邦管理中心存储的传感能力信息。
21.根据权利要求20所述的方法,其特征在于,所述第一联邦管理中心基于所述第六设备的传感能力信息,以及的第二知识图谱,推导出新的传感能力信息之后,所述方法还包括:
所述第一联邦管理中心确定所述第六设备退出所述数据采集系统;
所述第一联邦管理中心删除存储的所述第六设备的传感能力信息、以及删除基于所述第六设备的传感能力信息推导出的新的传感能力信息。
22.根据权利要求21所述的方法,其特征在于,所述第一联邦管理中心确定所述第六设备退出所述数据采集系统,包括:
所述联邦管理中心在预设时长内未收到所述第六设备的发送的第四消息的情况下,所述联邦管理中心确定所述第六设备退出所述数据采集系统;所述第四消息用于指示所述第六设备在所述数据采集系统中。
23.根据权利要求21所述的方法,其特征在于,所述第一联邦管理中心确定所述第六设备退出所述数据采集系统,包括:
所述第一联邦管理中心接收到所述第六设备发送的第五消息,所述第五消息用于指示所述第六设备退出所述数据采集系统中。
24.一种模型训练方法,其特征在于,所述模型训练方法应用于模型训练系统,所述模型训练系统包括模型探索中心,一个或多个联邦管理中心,与所述一个或多个联邦管理中心关联的一个或多个设备;其中,所述方法包括:
所述模型探索中心向所述一个或多个联邦管理中心发送联邦学习任务;
所述一个或多个联邦管理中心基于所述联邦学习任务、以及所述一个或多个设备的设备能力信息,确定执行所述联邦学习任务的一个或多个设备;
所述一个或多个联邦管理中心指示一个或多个设备获取一个或多个传感数据联合执行所述联邦学习任务,并获取所述联邦学习任务的联邦学习结果;
所述一个或多个联邦管理中心将所述联邦学习结果发送给所述模型探索中心;
所述模型探索中心基于所述联邦学习结果,调整所述联邦学习任务中所需学习的模型。
25.根据权利要求24所述的方法,其特征在于,所述一个或多个联邦管理中心包括第一联邦管理中心和第二联邦管理中心,与所述第一联邦管理中心关联的一个或多个设备,与所述第二联邦管理中心关联的一个或多个设备,
所述模型探索中心向所述一个或多个联邦管理中心发送联邦学习任务,包括:
所述模型探索中心向所述第一联邦管理中心和所述第二联邦管理中心发送联邦学习任务;
所述一个或多个联邦管理中心基于所述联邦学习任务、以及所述一个或多个设备的设备能力信息,确定执行所述联邦学习任务的一个或多个设备,包括:
所述第一联邦管理中心基于所述联邦学习任务、以及所述一个或多个设备的设备能力信息,确定执行所述联邦学习任务的一个或多个设备,所述第二联邦管理中心基于所述联邦学习任务、以及所述一个或多个设备的设备能力信息,确定执行所述联邦学习任务的一个或多个设备;
所述一个或多个联邦管理中心指示一个或多个设备获取一个或多个传感数据联合执行所述联邦学习任务,并获取所述联邦学习任务的联邦学习结果,包括:
所述第一联邦管理中心指示一个或多个设备获取一个或多个传感数据联合执行所述联邦学习任务,并获取所述联邦学习任务的第一联邦学习结果,所述第二联邦管理中心指示一个或多个电子设备获取一个或多个传感数据联合执行所述联邦学习任务,并获取所述联邦学习任务的第二联邦学习结果;
所述一个或多个联邦管理中心将所述联邦学习结果发送给所述模型探索中心,包括:
所述第一联邦管理中心将所述第一联邦学习结果发送给所述模型探索中心,所述第二联邦管理中心将所述第二联邦学习结果发送给所述模型探索中心;
所述模型探索中心基于所述联邦学习结果,调整所述联邦学习任务中所需学习的模型,包括:
所述模型探索中心基于所述第一联邦学习结果和所述第二联邦学习结果,调整所述联邦学习任务中所需学习的模型。
26.根据权利要求24或25任一项所述的方法,其特征在于,其特征在于,所述设备能力信息包括设备的计算能力、存储能力、传感能力信息中的一项或多项;所述传感能力信息用于指示设备中包括的传感数据、以及传感数据的精度。
27.根据权利要求24-26任一项所述的方法,其特征在于,所述模型探索中心部署在服务器中,所述一个或多个联邦管理中心部署在一个设备或分布式地部署在所述模型训练系统中的多个设备中,所述设备包括电子设备、服务器。
28.根据权利要求25所述的方法,其特征在于,所述第一联邦学习结果包括与所述第一联邦管理中心关联的一个或多个设备对所述联邦学习任务中所需学习的模型的参数进行计算得到的计算结果;所述第二联邦学习结果包括与所述第二联邦管理中心关联的一个或多个设备对所述联邦学习任务中所需学习的模型的参数进行计算得到的计算结果。
29.一种模型训练系统,其特征在于,所述模型训练系统包括联邦管理中心和多个设备和/或模型探索中心;所述联邦管理中心、所述多个设备和/或所述模型探索中心于执行如权利要求1-23任一项所述的方法。
30.一种电子设备,其特征在于,包括一个或多个处理器、一个或多个存储器、收发器;其中,所述收发器、所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当一个或多个处理器在执行所述计算机指令时,使得所述电子设备执行如权利要求1-23或24-28任一项所述的方法。
31.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1-23或24-28任一项所述的方法。
CN202111662705.6A 2021-11-12 2021-12-30 一种模型训练方法、系统以及相关装置 Pending CN116128050A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021113407849 2021-11-12
CN202111340784 2021-11-12

Publications (1)

Publication Number Publication Date
CN116128050A true CN116128050A (zh) 2023-05-16

Family

ID=86301456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111662705.6A Pending CN116128050A (zh) 2021-11-12 2021-12-30 一种模型训练方法、系统以及相关装置

Country Status (1)

Country Link
CN (1) CN116128050A (zh)

Similar Documents

Publication Publication Date Title
US11856481B2 (en) Contextual information usage in systems that include accessory devices
WO2020177619A1 (zh) 终端充电提醒方法、装置、设备及存储介质
WO2021129688A1 (zh) 显示方法及相关产品
WO2021018154A1 (zh) 信息表示方法及装置
JP7317242B2 (ja) ブルートゥース接続方法、システム、および電子デバイス
CN111742361B (zh) 一种终端更新语音助手的唤醒语音的方法及终端
CN106663362B (zh) 在移动设备为用户提供电池电量通知的方法及其移动设备
US20230021994A1 (en) Cross-Device Content Projection Method and Electronic Device
CN111371938B (zh) 一种故障检测方法及电子设备
CN110401767B (zh) 信息处理方法和设备
WO2020216098A1 (zh) 一种跨电子设备转接服务的方法、设备以及系统
WO2021233161A1 (zh) 一种家庭日程融合的方法及装置
WO2023083026A1 (zh) 一种数据采集方法、系统以及相关装置
CN112651510B (zh) 模型更新方法、工作节点及模型更新系统
CN111508609A (zh) 健康状况的风险预测方法、装置、计算机设备及存储介质
CN113892920A (zh) 可穿戴设备的佩戴检测方法、装置及电子设备
CN110544193A (zh) 捐赠信息分布式存储方法及装置
CN114493470A (zh) 日程管理的方法、电子设备和计算机可读存储介质
CN116070035A (zh) 数据处理方法和电子设备
WO2021147483A1 (zh) 数据分享的方法和装置
CN116128050A (zh) 一种模型训练方法、系统以及相关装置
CN116450259A (zh) 服务异常提醒方法、电子设备及存储介质
CN115883714B (zh) 消息回复方法及相关设备
CN116708656B (zh) 打卡方法及打卡系统
WO2022052767A1 (zh) 一种控制设备的方法、电子设备和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination