CN113723509B - 基于联邦强化学习的随访监测方法、装置及相关设备 - Google Patents

基于联邦强化学习的随访监测方法、装置及相关设备 Download PDF

Info

Publication number
CN113723509B
CN113723509B CN202111007368.7A CN202111007368A CN113723509B CN 113723509 B CN113723509 B CN 113723509B CN 202111007368 A CN202111007368 A CN 202111007368A CN 113723509 B CN113723509 B CN 113723509B
Authority
CN
China
Prior art keywords
follow
model
monitoring
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111007368.7A
Other languages
English (en)
Other versions
CN113723509A (zh
Inventor
廖希洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111007368.7A priority Critical patent/CN113723509B/zh
Publication of CN113723509A publication Critical patent/CN113723509A/zh
Application granted granted Critical
Publication of CN113723509B publication Critical patent/CN113723509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及人工智能技术，提供一种基于联邦强化学习的随访监测方法、装置、计算机设备与存储介质，包括：获取远端服务器中的初始随访监测模型以及聚类簇；根据随访数据训练初始随访监测模型，得到第一随访监测模型；加密处理第一随访监测模型的第一模型参数，得到加密第一模型参数集；将加密第一模型参数集输出至远端服务器中加权，得到第二模型参数；接收远端服务器输出的第二模型参数，加权第一模型参数与第二模型参数，得到目标模型参数；根据目标模型参数更新第一随访监测模型，得到目标随访监测模型；调用目标随访监测模型处理目标用户的随访数据，得到随访监测路径。本申请能够提高随访监测的准确性，促进智慧城市的快速发展。

Description

基于联邦强化学习的随访监测方法、装置及相关设备
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于联邦强化学习的随访监测方法、装置、计算机设备及介质。
背景技术
近来，人工智能技术在慢病管理中的应用有了长足发展。在慢病管理场景中，最大的矛盾莫过于有效的医护资源与巨量的患者随访需求之间的平衡。就目前而言，最优的策略优化方案是通过采集到的海量数据构建强化学习模型，通过强化学习模型自动分配医护资源用于需要医护资源介入干预的随访患者中。
在实现本申请的过程中，发明人发现现有技术存在如下技术问题：由于不同年龄段、不同患病程度等不同条件上的患者在随访干预方案中会有不同倾向，例如，老年人更多的是希望医护人员进行介入，而不是手机端的智能无人干预。就强化学习算法而言，要完全区分出上述问题，需要极大量的随访数据样本支持。而在随访场景下，很多患者常处于安全考虑不上传自己的个人数据，导致随访数据缺失严重，使得强化学习模型的训练缺少数据支持，无法保证随访监测的准确性。
因此，有必要提供一种基于联邦强化学习的随访监测方法，能够提高随访监测的准确性。
发明内容
鉴于以上内容，有必要提出一种基于联邦强化学习的随访监测方法、基于联邦强化学习的随访监测装置、计算机设备及介质，能够提高随访监测的准确性。
本申请实施例第一方面提供一种基于联邦强化学习的随访监测方法，应用于中心服务器，所述基于联邦强化学习的随访监测方法包括：
获取远端服务器中的初始随访监测模型以及与入组用户的随访数据对应的聚类簇；
选取任一所述聚类簇作为目标聚类簇以及采集所述目标聚类簇中的所述随访数据，并根据所述随访数据训练所述初始随访监测模型，得到所述目标聚类簇对应的第一随访监测模型；
获取并加密处理每一所述第一随访监测模型的第一模型参数，得到加密第一模型参数集；
将所述加密第一模型参数集输出至所述远端服务器中进行加权处理，得到第二模型参数；
接收所述远端服务器输出的所述第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数；
根据所述目标模型参数更新所述第一随访监测模型，得到目标随访监测模型；
选取目标用户，并调用所述目标随访监测模型处理所述目标用户的随访数据，得到所述目标用户对应的随访监测路径。
进一步地，在本申请实施例提供的上述基于联邦强化学习的随访监测方法中，所述采集所述目标聚类簇中的所述随访数据包括：
获取所述目标聚类簇中的入组用户编号；
确定与所述入组用户编号对应的目标用户端与目标公钥；
接收所述目标用户端输出的加密随访数据；
根据所述目标公钥解密处理所述加密随访数据，得到所述目标聚类簇对应的所述随访数据。
进一步地，在本申请实施例提供的上述基于联邦强化学习的随访监测方法中，所述加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数包括：
获取所述第一模型参数对应的第一权重以及所述第二模型参数对应的第二权重，其中，所述第一权重大于所述第二权重；
乘积处理所述第一权重与所述第一模型参数，得到第一参数值；
乘积处理所述第二权重与所述第二模型参数，得到第二参数值；
求和处理所述第一参数值与所述第二参数值，得到目标模型参数。
进一步地，在本申请实施例提供的上述基于联邦强化学习的随访监测方法中，所述选取目标用户包括：
获取所述目标随访监测模型对应的入组用户的目标聚类簇；
确定所述目标聚类簇对应所述随访数据的第一随访特征；
获取用户集以及所述用户集中每一用户对应的随访数据的第二随访特征，得到第二随访特征集；
检测所述第二随访特征集中是否存在目标第二随访特征与所述第一随访特征相似；
当检测结果为所述第二随访特征集中存在所述目标第二随访特征与所述第一随访特征相似时，确定所述目标第二随访特征对应的用户作为目标用户。
本申请实施例第二方面还提供一种基于联邦强化学习的随访监测方法，应用于远端服务器，所述基于联邦强化学习的随访监测方法包括：
获取入组用户的随访数据，并对所述随访数据进行聚类处理，得到若干聚类簇；
将所述聚类簇以及初始随访监测模型分配至对应的中心服务器中进行训练，得到每一所述聚类簇对应的第一随访监测模型；
接收并解密处理各个所述中心服务器输出的加密第一模型参数集中的每一加密第一模型参数，得到第一模型参数集；
加权处理所述第一模型参数集中的每一第一模型参数，得到第二模型参数；
根据所述第二模型参数更新所述初始随访监测模型，得到第二随访监测模型；
检测所述第二随访监测模型是否收敛；
当检测结果为所述第二随访监测模型收敛时，输出所述第二模型参数至各个所述中心服务器，使得所述中心服务器根据所述第二模型参数更新得到目标随访监测模型，并调用所述目标随访监测模型处理目标用户的随访数据，得到所述用户对应的随访监测路径。
进一步地，在本申请实施例提供的上述基于联邦强化学习的随访监测方法中，所述对所述随访数据进行聚类处理，得到若干聚类簇包括：
从所述随访数据中随机选取预设数量的第一随访数据，并将所述第一随访数据作为初始簇中心；
计算与所述初始簇中心的距离最近的第二随访数据，并由所述第一随访数据与所述第二随访数据组成所述初始簇中心对应的聚类簇；
获取所述聚类簇中所述第一随访数据与所述第二随访数据的随访数据均值，并将所述随访数据均值作为第一簇中心；
计算与所述第一簇中心的距离最近的第三随访数据，并更新所述随访数据均值与所述第三随访数据文本组成所述第一簇中心对应的聚类簇；
重复上述步骤，得到目标随访数据均值作为目标簇中心，计算与所述目标簇中心的距离最近的第四随访数据，并更新所述目标随访数据均值与所述第四随访数据组成所述目标簇中心对应的聚类簇。
进一步地，在本申请实施例提供的上述基于联邦强化学习的随访监测方法中，所述根据所述第二模型参数更新所述初始随访监测模型，得到第二随访监测模型包括：
获取所述初始随访监测模型的初始模型参数；
根据所述第二模型参数替换所述初始模型参数，得到第二随访监测模型。
本申请实施例第三方面还提供一种基于联邦强化学习的随访监测装置，应用于中心服务器，所述基于联邦强化学习的随访监测装置包括：
聚类簇获取模块，用于获取远端服务器中的初始随访监测模型以及与入组用户的随访数据对应的聚类簇；
数据采集模块，用于采集所述聚类簇中的所述随访数据，并根据所述随访数据训练所述初始随访监测模型，得到每一所述聚类簇对应的第一随访监测模型；
参数加密模块，用于获取并加密处理每一所述第一随访监测模型的第一模型参数，得到加密第一模型参数集；
参数输出模块，用于将所述加密第一模型参数集输出至所述远端服务器中进行加权处理，得到第二模型参数；
参数加权模块，用于接收所述远端服务器输出的所述第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数；
模型更新模块，用于根据所述目标模型参数更新所述第一随访监测模型，得到目标随访监测模型；
模型调用模块，用于调用所述目标随访监测模型处理目标用户的随访数据，得到所述用户对应的随访监测路径。
本申请实施例第四方面还提供一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任意一项所述基于联邦强化学习的随访监测方法。
本申请实施例第五方面还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述基于联邦强化学习的随访监测方法。
本申请实施例提供的上述基于联邦强化学习的随访监测方法、基于联邦强化学习的随访监测装置、计算机设备以及计算机可读存储介质，在强化学习的随访监测过程中融合联邦学习，通过加密传输数据技术加强对用户随访数据的保护，提高了数据安全性；且本申请利用中心服务器对同一聚类簇中的用户所需的随访监测模型进行训练与应用，减少了训练所需样本，且训练出的模型更适合用户自身情况，能够实现个性化随访监测，提高了随访监测的准确性。本申请可应用于智慧政务、智慧交通等智慧城市的各个功能模块中，比如智慧政务的基于联邦强化学习的随访监测模块等，能够促进智慧城市的快速发展。
附图说明
图1是本申请实施例一提供的基于联邦强化学习的随访监测方法的流程图。
图2是本申请实施例二提供的基于联邦强化学习的随访监测方法的流程图。
图3是本申请实施例三提供的基于联邦强化学习的随访监测装置的结构图。
图4是本申请实施例四提供的计算机设备的结构示意图。
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本发明实施例提供的基于联邦强化学习的随访监测方法由计算机设备执行，相应地，基于联邦强化学习的随访监测装置运行于计算机设备中。
图1是本申请第一实施方式的基于联邦强化学习的随访监测方法的流程图。所述基于联邦强化学习的随访监测方法应用于中心服务器中。如图1所示，所述基于联邦强化学习的随访监测方法可以包括如下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略：
S11，获取远端服务器中的初始随访监测模型以及与入组用户的随访数据对应的聚类簇。
在本申请的至少一实施例中，本申请提供远端服务器、用户端以及中心服务器，其中，所述远端服务器用于训练全局模型，所述中心服务器用户优化其所属聚类簇的模型，所述用户端用于执行所述中心服务器的指令，并通过所述中心服务器实现用户的个性化随访监测。
在一实施例中，所述远端服务器可以基于已有患者的随访数据训练神经网络模型，得到初始随访监测模型，所述初始随访监测模型可以为强化学习中的DQN模型，在此不做限制。所述远端服务器与若干入组用户端间加密通信连接，所述用户端存储对应用户的随访数据，所述入组用户可以是指同意参与随访流程的用户，所述随访数据可以为用户的症状信息、年龄信息、性别信息、位置信息以及随访方式等。所述远端服务器与若干所述用户端在进行数据传输时，所述远端服务器分配相应公钥给若干所述用户端，由所述用户端利用该公钥对待传输的随访数据进行加密处理，并将加密处理后的加密随访数据传输至所述远端服务器，所述远端服务器再根据该公钥对所述加密随访数据进行解密处理，得到解密后的随访数据。通过对随访数据进行加密传输，能够保证数据传输的安全性，继而大幅提升随访数据的采集质量。
在一实施例中，由于相似用户在行为方式方面具有相似性，例如，对于症状信息相同、年龄相仿的男性患者，其在后期随访过程中会有相近的表现。本申请提供的所述远端服务器在接收到若干所述用户端传输的随访数据后，还会对随访数据进行聚类分析，将随访特征相似的用户分配至同一聚类簇中。
在一实施例中，所述远端服务器与所述中心服务器间加密通信连接，所述中心服务器能够获取到所述远端服务器中预先训练的初始随访监测模型以及入组用户的随访数据对应的聚类簇，所述聚类簇的数量可以为1个或者多个。当所述聚类簇的数量为多个时，对于每一所述聚类簇，均存在与之对应的中心服务器。同一所述中心服务器用于对相似用户进行随访监测，本申请利用中心服务器对同一聚类簇中的用户所需的随访监测模型进行训练与应用，减少了训练所需样本，且训练出的模型更适合用户自身情况，能够实现个性化随访监测，提高了随访监测的准确性。
S12，选取任一所述聚类簇作为目标聚类簇以及采集所述目标聚类簇中的所述随访数据，并根据所述随访数据训练所述初始随访监测模型，得到所述目标聚类簇对应的第一随访监测模型。
在本申请的至少一实施例中，所述随访数据存储于用户端，考虑到数据存储的可靠性与隐私性，所述用户端可应用于区块链中，每个所述用户端可作为所述区块链的某一节点。所述用户端中存储各个用户的随访数据。
可选地，所述采集所述目标聚类簇中的所述随访数据包括：
获取所述目标聚类簇中的入组用户编号；
确定与所述入组用户编号对应的目标用户端与目标公钥；
接收所述目标用户端输出的加密随访数据；
根据所述目标公钥解密处理所述加密随访数据，得到所述聚类簇对应的所述随访数据。
其中，所述入组用户编号是唯一用于标识用户身份的号码，所述入组用户编号可以为数字编号或者字母编号。所述聚类簇中包含多个入组用户编号，根据每个所述入组用户编号，能够确定与所述入组用户编号对应的目标用户端与目标公钥。所述入组用户编号与所述用户端间存在一一对应的映射关系，每一所述用户端均存在相应的目标公钥。所述目标公钥可以通过随机的方式生成，在此不做限制。
其中，所述用户端与所述中心服务器间加密通信连接，所述用户端基于所述目标公钥对存储的所述随访数据进行加密处理，得到加密随访数据，再将所述加密随访数据传输至所述中心服务器中，所述中心服务器基于所述目标公钥对所述加密随访数据进行解密处理，得到解密处理后的所述随访数据。
在一实施例中，对于每一聚类簇，均存在对应的所述中心服务器，每一所述中心服务器中包含所述初始随访监测数据，根据所述随访数据训练所述初始随访监测模型，得到每一所述聚类簇对应的第一随访监测模型。其中，所述初始随访监测模型的输入数据为入组用户的症状信息、年龄信息以及性别信息，输出数据可以为随访方式(本申请也称随访监测路径)。其中，所述随访方式可以包括但限不限于医护人员人工介入随访、智能无人随访等。所述初始随访监测模型的训练过程为现有技术，在此不做赘述。
S13，获取并加密处理每一所述第一随访监测模型的第一模型参数，得到加密第一模型参数集。
在本申请的至少一实施例中，所述第一随访监测模型的数量与所述聚类簇的数量有关，在一实施例中，所述第一随访监测模型的数量与所述聚类簇的数量相同。对于每一所述随访监测模型，均存在对应的第一模型参数。本申请通过对所述第一模型参数进行加密处理，再将加密处理后的加密第一模型参数传输至所述远端服务器，能够提高数据传输的安全性。
可选地，所述获取并加密处理每一所述第一随访监测模型的第一模型参数，得到加密第一模型参数集包括：
获取所述中心服务器与所述远端服务器间的公钥信息；
根据所述公钥信息加密处理所述中心服务器对应的所述第一随访监测模型的第一模型参数，得到加密第一模型参数；
组合所述加密第一模型参数，得到加密第一模型参数集。
其中，利用公钥信息进行数据加密的过程为现有技术，在此不做赘述。所述中心服务器与所述远端服务器间加密通信连接，每个所述中心服务器与所述远端服务器间存在公钥信息，对于不同的所述中心服务器，所述公钥信息可以相同，也可以不相同，在此不做限制。
S14，将所述加密第一模型参数集输出至所述远端服务器中进行加权处理，得到第二模型参数。
在本申请的至少一实施例中，将所述加密第一模型参数集输出至所述远端服务器中，由所述远端服务器对所述加密第一模型参数集中的每一加密第一模型参数进行解密处理，得到解密处理后的第一模型参数集，并对所述第一模型参数集中的每一第一模型参数分配预设权重，并根据所述预设权重对所述第一模型参数进行加权处理，得到第二模型参数。其中，所述预设权重可以通过对所述第一模型参数集中的每一第一模型参数进行加和处理，再对加和处理的结果除以所述第一模型参数的数量得到，在此不做限制。
在一实施例中，在所述得到第二模型参数之后，所述方法还包括：
获取所述远端服务器与所述中心服务器的公钥信息；
根据所述公钥信息对所述第二模型参数进行加密处理，得到加密第二模型参数；
输出所述加密第二模型参数至所述中心服务器。
在一实施例中，在所述得到第二模型参数之后，所述方法还包括:
根据所述第二模型参数更新所述初始随访监测模型，得到第二随访监测模型；
检测所述第二随访监测模型是否收敛；
当检测结果为所述第二随访监测模型收敛时，输出所述加密第二模型参数至所述中心服务器中，此时所述中心服务器可以直接对所述加密第二模型参数进行解密处理，得到第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数，而无需再将所述目标模型参数回传至所述远端服务器中继续处理；
当检测结果为所述第二随访监测模型未收敛时，输出所述加密第二模型参数至所述中心服务器中，此时所述中心服务器可以直接对所述加密第二模型参数进行解密处理，得到第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到第三模型参数，并根据所述第三模型参数更新所述第一随访监测模型，并根据随访数据训练更新后的所述第一随访监测模型，得到第四模型参数，继而将所述第四模型参数输出至所述远端服务器中进行加权处理，得到第五模型参数，直至所述第五模型参数能够使得所述远端服务器中的模型收敛。
S15，接收所述远端服务器输出的所述第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数。
在本申请的至少一实施例中，在所述接收所述远端服务器输出的所述第二模型参数之前，所述方法还包括：
获取所述远端服务器与所述中心服务器的公钥信息；
接收所述远端服务器输出的所述加密第二模型参数；
根据所述公钥信息解密处理所述加密第二模型参数，得到解密后的所述第二模型参数。
其中，所述远端服务器与所述中心服务器间传递的模型参数均为加密的模型参数，通过对传输的模型参数进行加密处理，能够提高数据传输的保密性与安全性。
在一实施例中，所述第一模型参数为所述中心服务器根据所述随访数据在本地进行训练得到的模型参数，所述第一模型参数更加适用于所述聚类簇中的入组用户，因此在加权处理时，给所述第一模型参数分配更高的权重。可选地，所述加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数包括：
获取所述第一模型参数对应的第一权重以及所述第二模型参数对应的第二权重，其中，所述第一权重大于所述第二权重；
乘积处理所述第一权重与所述第一模型参数，得到第一参数值；
乘积处理所述第二权重与所述第二模型参数，得到第二参数值；
求和处理所述第一参数值与所述第二参数值，得到目标模型参数。
本申请通过对所述第一模型参数分配较高的权重值，使得训练出来的随访监测模型更加适用于所述聚类簇中的入组用户，提高了所述随访监测模型的准确性与适用性。
S16，根据所述目标模型参数更新所述第一随访监测模型，得到目标随访监测模型。
在本申请的至少一实施例中，所述第一随访监测模型对应第一模型参数，可选地，所述根据所述目标模型参数更新所述第一随访监测模型，得到目标随访监测模型包括：
获取所述第一随访监测模型对应的第一模型参数；
根据所述目标模型参数替换所述第一模型参数，得到目标随访监测模型。
S17，选取目标用户，并调用所述目标随访监测模型处理所述目标用户的随访数据，得到所述目标用户对应的随访监测路径。
在本申请的至少一实施例中，所述目标用户是指属于所述中心服务器中的聚类簇的用户，也即所述目标用户的随访数据与所述聚类簇中的随访数据相似。本申请通过调用所述目标随访监测模型处理目标用户的随访数据，减少了训练所需样本，且训练出的模型更适合用户自身情况，能够实现个性化随访监测，提高了随访监测的准确性。所述随访监测路径可以指所述目标用户偏好的随访方式对应的路径，所述随访方式可以为医护人员随访方式或者智能无人随访方式。
示例性地，当所述目标用户偏好的随访方式为医护人员随访方式时，通过查询所述随访监测路径，能够得到参与随访的医护人员信息，将所述目标用户的随访数据随机输出至目标医护人员，由目标医护人员根据该随访数据完成对所述目标用户的随访操作。
当所述目标用户偏好的随访方式为医护人员随访方式时，通过查询所述随访监测路径，能够得到包含随访话术的智能随访助手，将所述目标用户的随访数据输出至所述智能随访助手，由智能随访助手根据该随访数据完成对所述目标用户的随访操作。本申请利用中心服务器对同一聚类簇中的用户所需的随访监测模型进行训练与应用，使得训练出的模型更适合用户自身情况，从而为用户提供各自偏好的随访监测方式，能够实现个性化随访监测，提高了随访监测的准确性。
可选地，所述选取目标用户包括：
获取所述目标随访监测模型对应的入组用户的目标聚类簇；
确定所述目标聚类簇对应所述随访数据的第一随访特征；
获取用户集以及所述用户集中每一用户对应的随访数据的第二随访特征，得到第二随访特征集；
检测所述第二随访特征集中是否存在目标第二随访特征与所述第一随访特征相似；
当检测结果为所述第二随访特征集中存在所述目标第二随访特征与所述第一随访特征相似时，确定所述目标第二随访特征对应的用户作为目标用户。
其中，所述第一随访特征是指对所述聚类簇中的所述随访数据进行特征提取处理后得到的特征，所述第一随访特征可以为症状特征、年龄特征与性别特征，在此不做限制。所述第二随访特征是指对所述目标用户的所述随访数据进行特征提取后得到的特征，所述第一随访特征与所述第二随访特征的格式一致。在一实施例中，所述检测所述第一随访特征与所述第二随访特征是否相似可以包括：向量化处理所述第一随访特征与所述第二随访特征，得到第一随访特征向量与所述第二随访特征向量；计算所述第一随访特征向量与所述第二随访特征向量间的向量距离；检测所述向量距离是否超过预设向量距离阈值；当检测结果为所述向量距离未超过所述预设向量距离阈值时，确定所述第一随访特征与所述第二随访特征相似；当检测结果为所述向量距离超过所述预设向量距离阈值时，确定所述第一随访特征与所述第二随访特征不相似。其中，所述预设向量距离阈值为预先设置的距离值，在此不做限制。
本申请实施例提供的上述基于联邦强化学习的随访监测方法，在强化学习的随访监测过程中融合联邦学习，加强对用户随访数据的保护，提高了数据安全性；且本申请利用中心服务器对同一聚类簇中的用户所需的随访监测模型进行训练与应用，减少了训练所需样本，且训练出的模型更适合用户自身情况，能够实现个性化随访监测，提高了随访监测的准确性。本申请可应用于智慧政务、智慧交通等智慧城市的各个功能模块中，比如智慧政务的基于联邦强化学习的随访监测模块等，能够促进智慧城市的快速发展。
图2是本申请第二实施方式的基于联邦强化学习的随访监测方法的流程图。所述基于联邦强化学习的随访监测方法应用于远端服务器中。如图2所示，所述基于联邦强化学习的随访监测方法可以包括如下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略：
S21，获取入组用户的随访数据，并对所述随访数据进行聚类处理，得到若干聚类簇。
在本申请的至少一实施例中，所述远端服务器可以基于已有患者的随访数据训练神经网络模型，得到初始随访监测模型，所述初始随访监测模型可以为强化学习中的DQN模型，在此不做限制。所述远端服务器与若干入组用户端间加密通信连接，所述用户端存储对应用户的随访数据，所述入组用户可以是指同意参与随访流程的用户，所述随访数据可以为用户的症状信息、年龄信息、性别信息、随访方式等。所述远端服务器与若干所述用户端在进行数据传输时，所述远端服务器分配相应公钥给若干所述用户端，由所述用户端利用该公钥对待传输的随访数据进行加密处理，并将加密处理后的加密随访数据传输至所述远端服务器，所述远端服务器再根据该公钥对所述加密随访数据进行解密处理，得到解密后的随访数据。通过对随访数据进行加密传输，能够保证数据传输的安全性，继而大幅提升随访数据的采集质量。
可选地，所述获取入组用户的随访数据包括：
获取所述远端服务器与所述用户端的公钥信息；
根据所述公钥信息对加密后的随访数据进行解密处理，得到随访数据。
在一实施例中，由于相似用户在行为方式方面具有相似性，例如，对于症状信息相同、年龄相仿的男性患者，其在后期随访过程中会有相近的表现。本申请提供的所述远端服务器在接收到若干所述用户端传输的随访数据后，还会对随访数据进行聚类分析，将随访特征相似的用户分配至同一聚类簇中。
可选地，所述对所述随访数据进行聚类处理，得到若干聚类簇包括：
从所述随访数据中随机选取预设数量的第一随访数据，并将所述第一随访数据作为初始簇中心；
计算与所述初始簇中心的距离最近的第二随访数据，并由所述第一随访数据与所述第二随访数据组成所述初始簇中心对应的聚类簇；
获取所述聚类簇中所述第一随访数据与所述第二随访数据的随访数据均值，并将所述随访数据均值作为第一簇中心；
计算与所述第一簇中心的距离最近的第三随访数据，并更新所述随访数据均值与所述第三随访数据文本组成所述第一簇中心对应的聚类簇；
重复上述步骤，得到目标随访数据均值作为目标簇中心，计算与所述目标簇中心的距离最近的第四随访数据，并更新所述目标随访数据均值与所述第四随访数据组成所述目标簇中心对应的聚类簇。
其中，可调用K-means算法对所述随访数据进行聚类分析，得到若干聚类簇。所述预设数量为预先设置的初始簇中心的数量。
S22，将所述聚类簇以及初始随访监测模型分配至对应的中心服务器中进行训练，得到每一所述聚类簇对应的第一随访监测模型。
在本申请的至少一实施例中，所述远端服务器与所述中心服务器间加密通信连接，所述中心服务器能够获取到所述远端服务器中预先训练的初始随访监测模型以及入组用户的随访数据对应的聚类簇，所述聚类簇的数量可以为1个或者多个。当所述聚类簇的数量为多个时，对于每一所述聚类簇，均存在与之对应的中心服务器。所述中心服务器采集所述聚类簇中的所述随访数据，并根据所述随访数据训练所述初始随访监测模型，得到每一所述聚类簇对应的第一随访监测模型。
同一所述中心服务器用于对相似用户进行随访监测，本申请利用中心服务器对同一聚类簇中的用户所需的随访监测模型进行训练与应用，减少了训练所需样本，且训练出的模型更适合用户自身情况，能够实现个性化随访监测，提高了随访监测的准确性。
S23，接收并解密处理各个所述中心服务器输出的加密第一模型参数集中的每一加密第一模型参数，得到第一模型参数集。
在本申请的至少一实施例中，对于每一聚类簇，均存在对应的所述中心服务器，每一所述中心服务器中包含所述初始随访监测数据，根据所述随访数据训练所述初始随访监测模型，得到每一所述聚类簇对应的第一随访监测模型。对于每一所述随访监测模型，均存在对应的第一模型参数。本申请通过对所述第一模型参数进行加密处理，再将加密处理后的加密第一模型参数传输至所述远端服务器，能够提高数据传输的安全性。
可选地，所述接收并解密处理各个所述中心服务器输出的加密第一模型参数集中的每一加密第一模型参数，得到第一模型参数集包括：
获取所述中心服务器与所述远端服务器间的公钥信息；
根据所述公钥信息解密处理所述加密第一模型参数集中的每一加密第一模型参数，得到第一模型参数；
组合所述第一模型参数，得到第一模型参数集。
其中，利用公钥信息进行数据加密的过程为现有技术，在此不做赘述。所述中心服务器与所述远端服务器间加密通信连接，每个所述中心服务器与所述远端服务器间存在公钥信息，对于不同的所述中心服务器，所述公钥信息可以相同，也可以不相同，在此不做限制。
S24，加权处理所述第一模型参数集中的每一第一模型参数，得到第二模型参数。
在本申请的至少一实施例中，将所述加密第一模型参数集输出至所述远端服务器中，由所述远端服务器对所述加密第一模型参数集中的每一加密第一模型参数进行解密处理，得到解密处理后的第一模型参数集，并对所述第一模型参数集中的每一第一模型参数分配预设权重，并根据所述预设权重对所述第一模型参数进行加权处理，得到第二模型参数。其中，所述预设权重可以通过对所述第一模型参数集中的每一第一模型参数进行加和处理，再对加和处理的结果除以所述第一模型参数的数量得到，在此不做限制。
S25，根据所述第二模型参数更新所述初始随访监测模型，得到第二随访监测模型。
在本申请的至少一实施例中，所述初始随访监测模型中包含初始模型参数，根据所述第二模型参数更新所述初始随访监测模型也即根据所述第二模型参数替换所述初始模型参数，得到第二随访监测模型。
可选地，所述根据所述第二模型参数更新所述初始随访监测模型，得到第二随访监测模型包括：
获取所述初始随访监测模型的初始模型参数；
根据所述第二模型参数替换所述初始模型参数，得到第二随访监测模型。
S26，检测所述第二随访监测模型是否收敛，当检测结果为所述第二随访监测模型收敛时，执行步骤S27。
在本申请的至少一实施例中，当检测结果为所述第二随访监测模型收敛时，加密所述第二随访监测模型对应的第二模型参数，得到加密第二模型参数，输出所述加密第二模型参数至所述中心服务器中，此时所述中心服务器可以直接对所述加密第二模型参数进行解密处理，得到第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数，而无需再将所述目标模型参数回传至所述远端服务器中继续处理。
在一实施例中，当检测结果为所述第二随访监测模型未收敛时，输出所述加密第二模型参数至所述中心服务器中，此时所述中心服务器可以直接对所述加密第二模型参数进行解密处理，得到第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到第三模型参数，并根据所述第三模型参数更新所述第一随访监测模型，并根据随访数据训练更新后的所述第一随访监测模型，得到第四模型参数，继而将所述第四模型参数输出至所述远端服务器中进行加权处理，得到第五模型参数，直至所述第五模型参数能够使得所述远端服务器中的模型收敛。
S27，输出所述第二模型参数至各个所述中心服务器，使得所述中心服务器根据所述第二模型参数更新得到目标随访监测模型，并调用所述目标随访监测模型处理目标用户的随访数据，得到所述用户对应的随访监测路径。
在本申请的至少一实施例中，所述第一模型参数为所述中心服务器根据所述随访数据在本地进行训练得到的模型参数，所述第一模型参数更加适用于所述聚类簇中的入组用户，因此在加权处理时，给所述第一模型参数分配更高的权重。所述远端服务器在输出加密后的所述第二模型参数至各个所述中心服务器后，由所述中心服务器对加密后的第二模型参数进行解密处理，再由所述中心服务器对所述第一模型参数与所述第二模型参数进行加权处理，得到目标模型参数，根据所述目标模型参数更新所述第一随访监测模型，得到目标随访监测模型。
在一实施例中，所述中心服务器在得到所述目标随访监测模型之后，可调用所述目标随访监测模型处理目标用户的随访数据，得到所述用户对应的随访监测路径。其中，所述目标用户是指属于所述中心服务器中的聚类簇的用户，也即所述目标用户的随访数据与所述聚类簇中的随访数据相似。所述随访监测路径可以指所述目标用户偏好的随访方式，所述随访监测路径可以为医护人员随访或者智能无人随访。
本申请通过调用所述目标随访监测模型处理目标用户的随访数据，减少了训练所需样本，且训练出的模型更适合用户自身情况，能够实现个性化随访监测，提高了随访监测的准确性。
图3是本申请实施例二提供的基于联邦强化学习的随访监测装置的结构图。
在一些实施例中，所述基于联邦强化学习的随访监测装置20可以包括多个由计算机程序段所组成的功能模块。所述基于联邦强化学习的随访监测装置20中的各个程序段的计算机程序可以存储于计算机设备的存储器中，并由至少一个处理器所执行，以执行(详见图1及/或图2描述)基于联邦强化学习的随访监测的功能。
本实施例中，所述基于联邦强化学习的随访监测装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：聚类簇获取模块201、数据采集模块202、参数加密模块203、参数输出模块204、参数加权模块205、模型更新模块206以及模型调用模块207。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
所述聚类簇获取模块201可用于获取远端服务器中的初始随访监测模型以及与入组用户的随访数据对应的聚类簇。
在本申请的至少一实施例中，本申请提供远端服务器、用户端以及中心服务器，其中，所述远端服务器用于训练全局模型，所述中心服务器用户优化其所属聚类簇的模型，所述用户端用于执行所述中心服务器的指令，并通过所述中心服务器实现用户的个性化随访监测。
在一实施例中，所述远端服务器可以基于已有患者的随访数据训练神经网络模型，得到初始随访监测模型，所述初始随访监测模型可以为强化学习中的DQN模型，在此不做限制。所述远端服务器与若干入组用户端间加密通信连接，所述用户端存储对应用户的随访数据，所述入组用户可以是指同意参与随访流程的用户，所述随访数据可以为用户的症状信息、年龄信息、性别信息、随访方式等。所述远端服务器与若干所述用户端在进行数据传输时，所述远端服务器分配相应公钥给若干所述用户端，由所述用户端利用该公钥对待传输的随访数据进行加密处理，并将加密处理后的加密随访数据传输至所述远端服务器，所述远端服务器再根据该公钥对所述加密随访数据进行解密处理，得到解密后的随访数据。通过对随访数据进行加密传输，能够保证数据传输的安全性，继而大幅提升随访数据的采集质量。
在一实施例中，由于相似用户在行为方式方面具有相似性，例如，对于症状信息相同、年龄相仿的男性患者，其在后期随访过程中会有相近的表现。本申请提供的所述远端服务器在接收到若干所述用户端传输的随访数据后，还会对随访数据进行聚类分析，将随访特征相似的用户分配至同一聚类簇中。
在一实施例中，所述远端服务器与所述中心服务器间加密通信连接，所述中心服务器能够获取到所述远端服务器中预先训练的初始随访监测模型以及入组用户的随访数据对应的聚类簇，所述聚类簇的数量可以为1个或者多个。当所述聚类簇的数量为多个时，对于每一所述聚类簇，均存在与之对应的中心服务器。同一所述中心服务器用于对相似用户进行随访监测，本申请利用中心服务器对同一聚类簇中的用户所需的随访监测模型进行训练与应用，减少了训练所需样本，且训练出的模型更适合用户自身情况，能够实现个性化随访监测，提高了随访监测的准确性。
所述数据采集模块202可用于选取任一所述聚类簇作为目标聚类簇以及采集所述目标聚类簇中的所述随访数据，并根据所述随访数据训练所述初始随访监测模型，得到所述目标聚类簇对应的第一随访监测模型。
在本申请的至少一实施例中，所述随访数据存储于用户端，考虑到数据存储的可靠性与隐私性，所述用户端可应用于区块链中，每个所述用户端可作为所述区块链的某一节点。所述用户端中存储各个用户的随访数据。
可选地，所述采集所述目标聚类簇中的所述随访数据包括：
获取所述目标聚类簇中的入组用户编号；
确定与所述入组用户编号对应的目标用户端与目标公钥；
接收所述目标用户端输出的加密随访数据；
根据所述目标公钥解密处理所述加密随访数据，得到所述聚类簇对应的所述随访数据。
其中，所述入组用户编号是唯一用于标识用户身份的号码，所述入组用户编号可以为数字编号或者字母编号。所述聚类簇中包含多个入组用户编号，根据每个所述入组用户编号，能够确定与所述入组用户编号对应的目标用户端与目标公钥。所述入组用户编号与所述用户端间存在一一对应的映射关系，每一所述用户端均存在相应的目标公钥。所述目标公钥可以通过随机的方式生成，在此不做限制。
其中，所述用户端与所述中心服务器间加密通信连接，所述用户端基于所述目标公钥对存储的所述随访数据进行加密处理，得到加密随访数据，再将所述加密随访数据传输至所述中心服务器中，所述中心服务器基于所述目标公钥对所述加密随访数据进行解密处理，得到解密处理后的所述随访数据。
在一实施例中，对于每一聚类簇，均存在对应的所述中心服务器，每一所述中心服务器中包含所述初始随访监测数据，根据所述随访数据训练所述初始随访监测模型，得到每一所述聚类簇对应的第一随访监测模型。其中，所述初始随访监测模型的输入数据为入组用户的症状信息、年龄信息以及性别信息，输出数据可以为随访方式(本申请也称随访监测路径)。其中，所述随访方式可以包括但限不限于医护人员人工介入随访、智能无人随访等。所述初始随访监测模型的训练过程为现有技术，在此不做赘述。
所述参数加密模块203可用于获取并加密处理每一所述第一随访监测模型的第一模型参数，得到加密第一模型参数集。
在本申请的至少一实施例中，所述第一随访监测模型的数量与所述聚类簇的数量有关，在一实施例中，所述第一随访监测模型的数量与所述聚类簇的数量相同。对于每一所述随访监测模型，均存在对应的第一模型参数。本申请通过对所述第一模型参数进行加密处理，再将加密处理后的加密第一模型参数传输至所述远端服务器，能够提高数据传输的安全性。
可选地，所述获取并加密处理每一所述第一随访监测模型的第一模型参数，得到加密第一模型参数集包括：
获取所述中心服务器与所述远端服务器间的公钥信息；
根据所述公钥信息加密处理所述中心服务器对应的所述第一随访监测模型的第一模型参数，得到加密第一模型参数；
组合所述加密第一模型参数，得到加密第一模型参数集。
其中，利用公钥信息进行数据加密的过程为现有技术，在此不做赘述。所述中心服务器与所述远端服务器间加密通信连接，每个所述中心服务器与所述远端服务器间存在公钥信息，对于不同的所述中心服务器，所述公钥信息可以相同，也可以不相同，在此不做限制。
所述参数输出模块204可用于将所述加密第一模型参数集输出至所述远端服务器中进行加权处理，得到第二模型参数。
在本申请的至少一实施例中，将所述加密第一模型参数集输出至所述远端服务器中，由所述远端服务器对所述加密第一模型参数集中的每一加密第一模型参数进行解密处理，得到解密处理后的第一模型参数集，并对所述第一模型参数集中的每一第一模型参数分配预设权重，并根据所述预设权重对所述第一模型参数进行加权处理，得到第二模型参数。其中，所述预设权重为预先设置的权重值，对于每一所述第一模型参数，所述预设权重可以相同，也可以不相同，在此不做限制。
在一实施例中，在所述得到第二模型参数后，所述方法还包括：
获取所述远端服务器与所述中心服务器的公钥信息；
根据所述公钥信息对所述第二模型参数进行加密处理，得到加密第二模型参数；
输出所述加密第二模型参数至所述中心服务器。
在一实施例中，在所述得到第二模型参数之后，所述方法还包括:
根据所述第二模型参数更新所述初始随访监测模型，得到第二随访监测模型；
检测所述第二随访监测模型是否收敛；
当检测结果为所述第二随访监测模型收敛时，输出所述加密第二模型参数至所述中心服务器中，此时所述中心服务器可以直接对所述加密第二模型参数进行解密处理，得到第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数，而无需再将所述目标模型参数回传至所述远端服务器中继续处理；
当检测结果为所述第二随访监测模型未收敛时，输出所述加密第二模型参数至所述中心服务器中，此时所述中心服务器可以直接对所述加密第二模型参数进行解密处理，得到第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到第三模型参数，并根据所述第三模型参数更新所述第一随访监测模型，并根据随访数据训练更新后的所述第一随访监测模型，得到第四模型参数，继而将所述第四模型参数输出至所述远端服务器中进行加权处理，得到第五模型参数，直至所述第五模型参数能够使得所述远端服务器中的模型收敛。
所述参数加权模块205可用于接收所述远端服务器输出的所述第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数。
在本申请的至少一实施例中，在所述接收所述远端服务器输出的所述第二模型参数之前，所述方法还包括：
获取所述远端服务器与所述中心服务器的公钥信息；
接收所述远端服务器输出的所述加密第二模型参数；
根据所述公钥信息解密处理所述加密第二模型参数，得到解密后的所述第二模型参数。
其中，所述远端服务器与所述中心服务器间传递的模型参数均为加密的模型参数，通过对传输的模型参数进行加密处理，能够提高数据传输的保密性与安全性。
在一实施例中，所述第一模型参数为所述中心服务器根据所述随访数据在本地进行训练得到的模型参数，所述第一模型参数更加适用于所述聚类簇中的入组用户，因此在加权处理时，给所述第一模型参数分配更高的权重。可选地，所述加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数包括：
获取所述第一模型参数对应的第一权重以及所述第二模型参数对应的第二权重，其中，所述第一权重大于所述第二权重；
乘积处理所述第一权重与所述第一模型参数，得到第一参数值；
乘积处理所述第二权重与所述第二模型参数，得到第二参数值；
求和处理所述第一参数值与所述第二参数值，得到目标模型参数。
本申请通过对所述第一模型参数分配较高的权重值，使得训练出来的随访监测模型更加适用于所述聚类簇中的入组用户，提高了所述随访监测模型的准确性与适用性。
所述模型更新模块206可用于根据所述目标模型参数更新所述第一随访监测模型，得到目标随访监测模型。
在本申请的至少一实施例中，所述第一随访监测模型对应第一模型参数，可选地，所述根据所述目标模型参数更新所述第一随访监测模型，得到目标随访监测模型包括：获取所述第一随访监测模型对应的第一模型参数；
根据所述目标模型参数替换所述第一模型参数，得到目标随访监测模型。
所述模型调用模块207可用于选取目标用户，并调用所述目标随访监测模型处理所述目标用户的随访数据，得到所述目标用户对应的随访监测路径。
在本申请的至少一实施例中，所述目标用户是指属于所述中心服务器中的聚类簇的用户，也即所述目标用户的随访数据与所述聚类簇中的随访数据相似。本申请通过调用所述目标随访监测模型处理目标用户的随访数据，减少了训练所需样本，且训练出的模型更适合用户自身情况，能够实现个性化随访监测，提高了随访监测的准确性。所述随访监测路径可以指所述目标用户偏好的随访干预方式对应的路径，所述随访方式可以为医护人员干预随访方式或者智能无人干预随访方式。示例性地，当所述目标用户偏好的随访方式为医护人员随访方式时，通过查询所述随访监测路径，能够得到参与随访的医护人员信息，将所述目标用户的随访数据随机输出至目标医护人员，由目标医护人员根据该随访数据完成对所述目标用户的随访操作。当所述目标用户偏好的随访方式为医护人员随访方式时，通过查询所述随访监测路径，能够得到包含随访话术的智能随访助手，将所述目标用户的随访数据输出至所述智能随访助手，由智能随访助手根据该随访数据完成对所述目标用户的随访操作。本申请利用中心服务器对同一聚类簇中的用户所需的随访监测模型进行训练与应用，使得训练出的模型更适合用户自身情况，从而为用户提供各自偏好的随访监测方式，能够实现个性化随访监测，提高了随访监测的准确性。
可选地，所述选取目标用户包括：
获取所述目标随访监测模型对应的入组用户的目标聚类簇；
确定所述目标聚类簇对应所述随访数据的第一随访特征；
获取用户集以及所述用户集中每一用户对应的随访数据的第二随访特征，得到第二随访特征集；
检测所述第二随访特征集中是否存在目标第二随访特征与所述第一随访特征相似；
当检测结果为所述第二随访特征集中存在所述目标第二随访特征与所述第一随访特征相似时，确定所述目标第二随访特征对应的用户作为目标用户。
其中，所述第一随访特征是指对所述聚类簇中的所述随访数据进行特征提取处理后得到的特征，所述第一随访特征可以为症状特征、年龄特征与性别特征，在此不做限制。所述第二随访特征是指对所述目标用户的所述随访数据进行特征提取后得到的特征，所述第一随访特征与所述第二随访特征的格式一致。在一实施例中，所述检测所述第一随访特征与所述第二随访特征是否相似可以包括：向量化处理所述第一随访特征与所述第二随访特征，得到第一随访特征向量与所述第二随访特征向量；计算所述第一随访特征向量与所述第二随访特征向量间的向量距离；检测所述向量距离是否超过预设向量距离阈值；当检测结果为所述向量距离未超过所述预设向量距离阈值时，确定所述第一随访特征与所述第二相似；当检测结果为所述向量距离超过所述预设向量距离阈值时，确定所述第一随访特征与所述第二不相似。其中，所述预设向量距离阈值为预先设置的距离值，在此不做限制。
参阅图4所示，为本申请实施例三提供的计算机设备的结构示意图。在本申请较佳实施例中，所述计算机设备3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解，图4示出的计算机设备的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述计算机设备3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述计算机设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述计算机设备3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述计算机设备3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31中存储有计算机程序，所述计算机程序被所述至少一个处理器32执行时实现如所述的基于联邦强化学习的随访监测方法中的全部或者部分步骤。所述存储器31包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一些实施例中，所述至少一个处理器32是所述计算机设备3的控制核心(Control Unit)，利用各种接口和线路连接整个计算机设备3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行计算机设备3的各种功能和处理数据。例如，所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本申请实施例中所述的基于联邦强化学习的随访监测方法的全部或者部分步骤；或者实现基于联邦强化学习的随访监测装置的全部或者部分功能。所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(CentralProcessing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出，所述计算机设备3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，计算机设备，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。说明书中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (9)

1.一种基于联邦强化学习的随访监测方法，应用于中心服务器，其特征在于，所述基于联邦强化学习的随访监测方法包括：
获取远端服务器中的初始随访监测模型以及与入组用户的随访数据对应的聚类簇；
选取任一所述聚类簇作为目标聚类簇以及采集所述目标聚类簇中的所述随访数据，并根据所述随访数据训练所述初始随访监测模型，得到所述目标聚类簇对应的第一随访监测模型；
获取并加密处理每一所述第一随访监测模型的第一模型参数，得到加密第一模型参数集；
将所述加密第一模型参数集输出至所述远端服务器中进行加权处理，得到第二模型参数；
接收所述远端服务器输出的所述第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数；
根据所述目标模型参数更新所述第一随访监测模型，得到目标随访监测模型；
选取目标用户，包括：获取所述目标随访监测模型对应的入组用户的目标聚类簇；确定所述目标聚类簇对应所述随访数据的第一随访特征；获取用户集以及所述用户集中每一用户对应的随访数据的第二随访特征，得到第二随访特征集；检测所述第二随访特征集中是否存在目标第二随访特征与所述第一随访特征相似；当检测结果为所述第二随访特征集中存在所述目标第二随访特征与所述第一随访特征相似时，确定所述目标第二随访特征对应的用户作为目标用户；
调用所述目标随访监测模型处理所述目标用户的随访数据，得到所述目标用户对应的随访监测路径。
2.根据权利要求1所述的基于联邦强化学习的随访监测方法，其特征在于，所述采集所述目标聚类簇中的所述随访数据包括：
获取所述目标聚类簇中的入组用户编号；
确定与所述入组用户编号对应的目标用户端与目标公钥；
接收所述目标用户端输出的加密随访数据；
根据所述目标公钥解密处理所述加密随访数据，得到所述目标聚类簇对应的所述随访数据。
3.根据权利要求1所述的基于联邦强化学习的随访监测方法，其特征在于，所述加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数包括：
获取所述第一模型参数对应的第一权重以及所述第二模型参数对应的第二权重，其中，所述第一权重大于所述第二权重；
乘积处理所述第一权重与所述第一模型参数，得到第一参数值；
乘积处理所述第二权重与所述第二模型参数，得到第二参数值；
求和处理所述第一参数值与所述第二参数值，得到目标模型参数。
4.一种基于联邦强化学习的随访监测方法，应用于远端服务器，其特征在于，所述基于联邦强化学习的随访监测方法包括：
获取入组用户的随访数据，并对所述随访数据进行聚类处理，得到若干聚类簇；
将所述聚类簇以及初始随访监测模型分配至对应的中心服务器中进行训练，得到每一所述聚类簇对应的第一随访监测模型；
接收并解密处理各个所述中心服务器输出的加密第一模型参数集中的每一加密第一模型参数，得到第一模型参数集；
加权处理所述第一模型参数集中的每一第一模型参数，得到第二模型参数；
根据所述第二模型参数更新所述初始随访监测模型，得到第二随访监测模型；
检测所述第二随访监测模型是否收敛；当检测结果为所述第二随访监测模型收敛时，输出所述第二模型参数至各个所述中心服务器，使得所述中心服务器根据所述第二模型参数更新得到目标随访监测模型，并调用所述目标随访监测模型处理目标用户的随访数据，得到所述用户对应的随访监测路径；
当检测结果为所述第二随访监测模型未收敛时，加密所述第二随访监测模型对应的第二模型参数，得到加密第二模型参数；输出所述加密第二模型参数至所述中心服务器中，由所述中心服务器对所述加密第二模型参数进行解密处理，得到第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到第三模型参数，并根据所述第三模型参数更新所述第一随访监测模型，并根据随访数据训练更新后的所述第一随访监测模型，得到第四模型参数，将所述第四模型参数输出至所述远端服务器中进行加权处理，得到第五模型参数，直至所述第五模型参数能够使得所述第二随访监测模型收敛。
5.根据权利要求4所述的基于联邦强化学习的随访监测方法，其特征在于，所述对所述随访数据进行聚类处理，得到若干聚类簇包括：
从所述随访数据中随机选取预设数量的第一随访数据，并将所述第一随访数据作为初始簇中心；
计算与所述初始簇中心的距离最近的第二随访数据，并由所述第一随访数据与所述第二随访数据组成所述初始簇中心对应的聚类簇；
获取所述聚类簇中所述第一随访数据与所述第二随访数据的随访数据均值，并将所述随访数据均值作为第一簇中心；
计算与所述第一簇中心的距离最近的第三随访数据，并更新所述随访数据均值与所述第三随访数据文本组成所述第一簇中心对应的聚类簇；
重复上述步骤，得到目标随访数据均值作为目标簇中心，计算与所述目标簇中心的距离最近的第四随访数据，并更新所述目标随访数据均值与所述第四随访数据组成所述目标簇中心对应的聚类簇。
6.根据权利要求4所述的基于联邦强化学习的随访监测方法，其特征在于，所述根据所述第二模型参数更新所述初始随访监测模型，得到第二随访监测模型包括：
获取所述初始随访监测模型的初始模型参数；
根据所述第二模型参数替换所述初始模型参数，得到第二随访监测模型。
7.一种基于联邦强化学习的随访监测装置，应用于中心服务器，其特征在于，所述基于联邦强化学习的随访监测装置包括：
聚类簇获取模块，用于获取远端服务器中的初始随访监测模型以及与入组用户的随访数据对应的聚类簇；
数据采集模块，用于选取任一所述聚类簇作为目标聚类簇以及采集所述目标聚类簇中的所述随访数据，并根据所述随访数据训练所述初始随访监测模型，得到所述目标聚类簇对应的第一随访监测模型；
参数加密模块，用于获取并加密处理每一所述第一随访监测模型的第一模型参数，得到加密第一模型参数集；
参数输出模块，用于将所述加密第一模型参数集输出至所述远端服务器中进行加权处理，得到第二模型参数；
参数加权模块，用于接收所述远端服务器输出的所述第二模型参数，并加权处理所述第一模型参数与所述第二模型参数，得到目标模型参数；
模型更新模块，用于根据所述目标模型参数更新所述第一随访监测模型，得到目标随访监测模型；
模型调用模块，用于选取目标用户，包括：获取所述目标随访监测模型对应的入组用户的目标聚类簇；确定所述目标聚类簇对应所述随访数据的第一随访特征；获取用户集以及所述用户集中每一用户对应的随访数据的第二随访特征，得到第二随访特征集；检测所述第二随访特征集中是否存在目标第二随访特征与所述第一随访特征相似；当检测结果为所述第二随访特征集中存在所述目标第二随访特征与所述第一随访特征相似时，确定所述目标第二随访特征对应的用户作为目标用户；
所述模型调用模块还用于调用所述目标随访监测模型处理所述目标用户的随访数据，得到所述目标用户对应的随访监测路径。
8.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至3或4至6中任意一项所述基于联邦强化学习的随访监测方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3或4至6中任意一项所述基于联邦强化学习的随访监测方法。
CN202111007368.7A 2021-08-30 2021-08-30 基于联邦强化学习的随访监测方法、装置及相关设备 Active CN113723509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111007368.7A CN113723509B (zh) 2021-08-30 2021-08-30 基于联邦强化学习的随访监测方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111007368.7A CN113723509B (zh) 2021-08-30 2021-08-30 基于联邦强化学习的随访监测方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN113723509A CN113723509A (zh) 2021-11-30
CN113723509B true CN113723509B (zh) 2024-01-16

Family

ID=78679369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111007368.7A Active CN113723509B (zh) 2021-08-30 2021-08-30 基于联邦强化学习的随访监测方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN113723509B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112617855A (zh) * 2020-12-31 2021-04-09 平安科技（深圳）有限公司 基于联邦学习的心电图分析方法、装置及相关设备
CN112908452A (zh) * 2019-11-19 2021-06-04 凤凰合伙(利兹)有限公司 事件数据建模
CN112990276A (zh) * 2021-02-20 2021-06-18 平安科技（深圳）有限公司 基于自组织集群的联邦学习方法、装置、设备及存储介质
CN113095512A (zh) * 2021-04-23 2021-07-09 深圳前海微众银行股份有限公司 联邦学习建模优化方法、设备、介质及计算机程序产品
CN114528916A (zh) * 2022-01-14 2022-05-24 百度在线网络技术（北京）有限公司 样本聚类处理方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210005324A1 (en) * 2018-08-08 2021-01-07 Hc1.Com Inc. Methods and systems for a health monitoring command center and workforce advisor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908452A (zh) * 2019-11-19 2021-06-04 凤凰合伙(利兹)有限公司 事件数据建模
CN112617855A (zh) * 2020-12-31 2021-04-09 平安科技（深圳）有限公司 基于联邦学习的心电图分析方法、装置及相关设备
CN112990276A (zh) * 2021-02-20 2021-06-18 平安科技（深圳）有限公司 基于自组织集群的联邦学习方法、装置、设备及存储介质
CN113095512A (zh) * 2021-04-23 2021-07-09 深圳前海微众银行股份有限公司 联邦学习建模优化方法、设备、介质及计算机程序产品
CN114528916A (zh) * 2022-01-14 2022-05-24 百度在线网络技术（北京）有限公司 样本聚类处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113723509A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
Shynu et al. Blockchain-based secure healthcare application for diabetic-cardio disease prediction in fog computing
CN110084377B (zh) 用于构建决策树的方法和装置
Iranpak et al. Remote patient monitoring and classifying using the internet of things platform combined with cloud computing
CN117238458B (zh) 基于云计算的重症护理跨机构协同平台系统
CN110795477A (zh) 数据的训练方法及装置、系统
CN110457425B (zh) 一种案例存储方法、装置、设备及存储介质
Al-Rakhami et al. Cost efficient edge intelligence framework using docker containers
Ahmad et al. IoT-fog-based healthcare 4.0 system using blockchain technology
Al-Safi et al. Patient privacy in smart cities by blockchain technology and feature selection with Harris Hawks Optimization (HHO) algorithm and machine learning
CN111986794A (zh) 基于人脸识别的防冒挂号方法、装置、计算机设备及介质
Surati et al. Background and research challenges for fc for healthcare 4.0
Pradhan et al. A classification-based sensor data processing method for the internet of things assimilated wearable sensor technology
Singh et al. Retracted: A software‐based framework for the development of smart healthcare systems using fog computing
CN114201212B (zh) 配置文件处理方法、装置、计算机设备及存储介质
CN113723509B (zh) 基于联邦强化学习的随访监测方法、装置及相关设备
Sharma et al. Gerontechnology—The study of alzheimer disease using cloud computing
Maglogiannis et al. Intelligent health monitoring based on pervasive technologies and cloud computing
CN113837397B (zh) 基于联邦学习的模型训练方法、装置及相关设备
CN114121247B (zh) 一种资源调度方法、装置、计算机设备和存储介质
KR20200052449A (ko) 인공지능 서비스를 위한 연결된 데이터 아키텍처 시스템 및 이에 대한 제어방법
CN116108276A (zh) 基于人工智能的信息推荐方法、装置及相关设备
Sonal et al. Swasth: an intelligent decision support diagnostic engine for congenital heart diseases
Wang et al. Multi-Tier Computing-Enabled Digital Twin in 6G Networks
Nijhawan et al. Edge-AI tools and techniques for healthcare
Cha et al. The Detection Data Processing Mechanism for Vehicular Cyber Physical System in IoT Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant