CN112163979A - 一种基于联邦学习的城市交通出行数据分析方法 - Google Patents

一种基于联邦学习的城市交通出行数据分析方法 Download PDF

Info

Publication number
CN112163979A
CN112163979A CN202011119990.2A CN202011119990A CN112163979A CN 112163979 A CN112163979 A CN 112163979A CN 202011119990 A CN202011119990 A CN 202011119990A CN 112163979 A CN112163979 A CN 112163979A
Authority
CN
China
Prior art keywords
data
model
federal
federal learning
travel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011119990.2A
Other languages
English (en)
Inventor
陈思恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tech Valley Xiamen Information Technology Co ltd
Original Assignee
Tech Valley Xiamen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tech Valley Xiamen Information Technology Co ltd filed Critical Tech Valley Xiamen Information Technology Co ltd
Priority to CN202011119990.2A priority Critical patent/CN112163979A/zh
Publication of CN112163979A publication Critical patent/CN112163979A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于联邦学习的城市交通出行数据分析方法,包括以下步骤:城市交通出行数据源各方提供乘客数据,根据预先约定的数据规范各自完成数据加工;城市交通出行数据源各方通过机器学习或深度学习训练并构建本地自有模型,基于自有模型获得样本数据;将样本数据输入到联邦学习平台进行联合建模;利用联合模型构建乘客群体标签,根据乘客群体标签提取基于标签的特征工程,获得用户特征数据集,构建出用户画像;基于用户特征数据集和用户画像,通过联合建模制定推荐模型,利用推荐模型根据用户和产品的联系,向乘客推荐相应的产品或业务。

Description

一种基于联邦学习的城市交通出行数据分析方法
技术领域
本发明涉及数据分析技术领域,具体涉及一种基于联邦学习的城市交通出行数据分析方法。
背景技术
企业的数据融合方法是利用人工智能等技术,以智能化手段开展与第三方合作机构的联合建模过程,运用平台化的模式实现产品开发、用户引流和业务拓展的完整服务。通过多方数据的融合,丰富数据的维度和深度,挖掘产品、服务等合作空间。
数据融合驱动下的平台化业务拓展成为趋势,为新产品的研发和新渠道的拓展起到催化作用。企业在科技驱动下探索商业模式创新。企业用自身数据在的集群上训练模型,再汇总到第三方或者企业本身;第三方进行模型融合调优后,再分发给各参与方。联邦学习的重点意义就在于对终端用户隐私的保护、对各个参与方自有数据所有权的保护,以及对企业在数据和建模上合作共赢的推进。
针对城市交通出行领域,乘客信息分散在城市交通运营各方,存在乘客信息不完整,准确度低等问题,如何通过数据融合实现完整、准确的乘客信息获得,挖掘乘客信息价值,实现对乘客的精准营销投放,越来越受到人们的关注。
发明内容
为解决上述问题,本发明提供了一种基于联邦学习的城市交通出行数据分析方法。
本发明采用以下技术方案:
一种基于联邦学习的城市交通出行数据分析方法,包括以下步骤:
S1、城市交通出行数据源各方提供乘客数据,根据预先约定的数据规范各自完成数据加工,所述数据加工包括数据加密和数据对齐,所述乘客数据包括交通工具类型、站点信息、位置信息、通话信息及出行平台使用信息;
S2、城市交通出行数据源各方通过机器学习或深度学习训练并构建本地自有模型,获得特征参数,基于自有模型获得样本数据,所述样本数据包括本地自有模型的训练参数和梯度;
S3、将样本数据输入到联邦学习平台进行联合建模,对城市交通出行数据源方输入的样本数据进行加密ID匹配,输出ID交集,通过模型训练获得联合模型;
S4、利用联合模型构建乘客群体标签,根据乘客群体标签提取基于标签的特征工程,获得用户特征数据集,构建出用户画像;
S5、基于用户特征数据集和用户画像,通过联合建模制定推荐模型,利用推荐模型根据用户和产品的联系,向乘客推荐相应的产品或业务。
优选地,所述通过联合建模制定推荐模型具体为:采用联邦推荐算法进行建模融合和分析,利用推荐模型根据用户和产品的联系,向乘客推荐相应的产品或业务,所述联邦推荐算法包括横向联邦推荐算法、纵向联邦推荐算法及迁移联邦推荐算法。
优选地,所述步骤S1中的数据加密采用多方安全计算、差分隐私、同态加密中的一种或多种。
优选地,所述同态加密为非对称同态加密,采用RSA加密算法或Paillier加密算法。
优选地,所述城市交通出行数据源各方包括城市交通运营方和出行平台运营方。
优选地,所述步骤S3还包括:根据所述联合模型反馈的参数对本地自有模型的参数进行更新。
优选地,所述步骤S2中的特征参数包括全量ID、特征变量和表现数据。
优选地,所述联合模型是城市交通出行数据源各方的自有本地模型在联邦学习平台融合后的虚拟模型。
优选地,所述乘客群体标签包括交通工具、站点、位置、消费喜好程度及出行行为习惯。
优选地,所述非对称同态加密具体为:
协作者将公钥分发给发起者和参与者,用以对训练过程中需要交换的数据进行加密;
发起者和参与者以加密形式交互用于计算梯度值的中间结果;
发起者和参与者分别基于加密的梯度值进行计算,同时参与者根据其标签数据计算损失,并把汇总结果给协作者,协作者通过汇总结果计算总梯度值并利用私钥将其解密;
协作者将解密后的总梯度值分别回传给发起者和参与者,发起者和参与者根据总梯度值更新各自模型的参数。
采用上述技术方案后,本发明与背景技术相比,具有如下优点:
本发明基于联邦学习技术进行乘客群体标签确定,构建乘客画像,能够全面了解乘客对交通工具、站点、位置、消费的喜好程度以及出行行为习惯,准确的划分出乘客群体;基于乘客画像及特征数据集,制定推荐策略,能够实现针对乘客的精准营销。
附图说明
图1为本发明的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例
参考图1所示,本发明公开了一种基于联邦学习的城市交通出行数据分析方法,包括以下步骤:
S1、城市交通出行数据源各方提供乘客数据,根据预先约定的数据规范各自完成数据加工,所述数据加工包括数据加密和数据对齐。城市交通出行数据源各方包括城市交通运营方和出行平台运营方。所述乘客数据包括交通工具类型、站点信息、位置信息、通话信息及出行平台使用信息。数据加密采用多方安全计算、差分隐私、同态加密中的一种或多种。所述同态加密为非对称同态加密,采用RSA加密算法或Paillier加密算法。非对称同态加密具体为:协作者将公钥分发给发起者和参与者,用以对训练过程中需要交换的数据进行加密;发起者和参与者以加密形式交互用于计算梯度值的中间结果;发起者和参与者分别基于加密的梯度值进行计算,同时参与者根据其标签数据计算损失,并把汇总结果给协作者,协作者通过汇总结果计算总梯度值并利用私钥将其解密;协作者将解密后的总梯度值分别回传给发起者和参与者,发起者和参与者根据总梯度值更新各自模型的参数。
S2、城市交通出行数据源各方通过机器学习或深度学习训练并构建本地自有模型,获得特征参数,基于自有模型获得样本数据,所述样本数据包括本地自有模型的训练参数和梯度。在本实施例中,特征参数包括全量ID、特征变量和表现数据。
S3、将样本数据输入到联邦学习平台进行联合建模,对城市交通出行数据源方输入的样本数据进行加密ID匹配,输出ID交集,通过模型训练获得联合模型,根据所述联合模型反馈的参数对本地自有模型的参数进行更新。联合模型是城市交通出行数据源各方的自有本地模型在联邦学习平台融合后的虚拟模型。
S4、利用联合模型构建乘客群体标签,根据乘客群体标签提取基于标签的特征工程,获得用户特征数据集,构建出用户画像。在本实施例中,乘客群体标签包括交通工具、站点、位置、消费喜好程度及出行行为习惯。
S5、基于用户特征数据集和用户画像,通过联合建模制定推荐模型。通过联合建模制定推荐模型具体为:采用联邦推荐算法进行建模融合和分析,利用推荐模型根据用户和产品的联系,向乘客推荐相应的产品或业务,所述联邦推荐算法包括横向联邦推荐算法、纵向联邦推荐算法及迁移联邦推荐算法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于联邦学习的城市交通出行数据分析方法,其特征在于,包括以下步骤:
S1、城市交通出行数据源各方提供乘客数据,根据预先约定的数据规范各自完成数据加工,所述数据加工包括数据加密和数据对齐,所述乘客数据包括交通工具类型、站点信息、位置信息、通话信息及出行平台使用信息;
S2、城市交通出行数据源各方通过机器学习或深度学习训练并构建本地自有模型,获得特征参数,基于自有模型获得样本数据,所述样本数据包括本地自有模型的训练参数和梯度;
S3、将样本数据输入到联邦学习平台进行联合建模,对城市交通出行数据源方输入的样本数据进行加密ID匹配,输出ID交集,通过模型训练获得联合模型;
S4、利用联合模型构建乘客群体标签,根据乘客群体标签提取基于标签的特征工程,获得用户特征数据集,构建出用户画像;
S5、基于用户特征数据集和用户画像,通过联合建模制定推荐模型,利用推荐模型根据用户和产品的联系,向乘客推荐相应的产品或业务。
2.如权利要求1所述的一种基于联邦学习的城市交通出行数据分析方法,其特征在于,所述通过联合建模制定推荐模型具体为:采用联邦推荐算法进行建模融合和分析,利用推荐模型根据用户和产品的联系,向乘客推荐相应的产品或业务,所述联邦推荐算法包括横向联邦推荐算法、纵向联邦推荐算法及迁移联邦推荐算法。
3.如权利要求1所述的一种基于联邦学习的城市交通出行数据分析方法,其特征在于,所述步骤S1中的数据加密采用多方安全计算、差分隐私、同态加密中的一种或多种。
4.如权利要求3所述的一种基于联邦学习的城市交通出行数据分析方法,其特征在于,所述同态加密为非对称同态加密,采用RSA加密算法或Paillier加密算法。
5.如权利要求1所述的一种基于联邦学习的城市交通出行数据分析方法,其特征在于,所述城市交通出行数据源各方包括城市交通运营方和出行平台运营方。
6.如权利要求1所述的一种基于联邦学习的城市交通出行数据分析方法,其特征在于,所述步骤S3还包括:根据所述联合模型反馈的参数对本地自有模型的参数进行更新。
7.如权利要求1所述的一种基于联邦学习的城市交通出行数据分析方法,其特征在于,所述步骤S2中的特征参数包括全量ID、特征变量和表现数据。
8.如权利要求1所述的一种基于联邦学习的城市交通出行数据分析方法,其特征在于,所述联合模型是城市交通出行数据源各方的自有本地模型在联邦学习平台融合后的虚拟模型。
9.如权利要求1所述的一种基于联邦学习的城市交通出行数据分析方法,其特征在于,所述乘客群体标签包括交通工具、站点、位置、消费喜好程度及出行行为习惯。
10.如权利要求4所述的一种基于联邦学习的城市交通出行数据分析方法,其特征在于,所述非对称同态加密具体为:
协作者将公钥分发给发起者和参与者,用以对训练过程中需要交换的数据进行加密;
发起者和参与者以加密形式交互用于计算梯度值的中间结果;
发起者和参与者分别基于加密的梯度值进行计算,同时参与者根据其标签数据计算损失,并把汇总结果给协作者,协作者通过汇总结果计算总梯度值并利用私钥将其解密;
协作者将解密后的总梯度值分别回传给发起者和参与者,发起者和参与者根据总梯度值更新各自模型的参数。
CN202011119990.2A 2020-10-19 2020-10-19 一种基于联邦学习的城市交通出行数据分析方法 Pending CN112163979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011119990.2A CN112163979A (zh) 2020-10-19 2020-10-19 一种基于联邦学习的城市交通出行数据分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011119990.2A CN112163979A (zh) 2020-10-19 2020-10-19 一种基于联邦学习的城市交通出行数据分析方法

Publications (1)

Publication Number Publication Date
CN112163979A true CN112163979A (zh) 2021-01-01

Family

ID=73867433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011119990.2A Pending CN112163979A (zh) 2020-10-19 2020-10-19 一种基于联邦学习的城市交通出行数据分析方法

Country Status (1)

Country Link
CN (1) CN112163979A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785144A (zh) * 2021-01-18 2021-05-11 深圳前海微众银行股份有限公司 基于联邦学习的模型构建方法、设备及存储介质
CN112885337A (zh) * 2021-01-29 2021-06-01 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及存储介质
CN113051557A (zh) * 2021-03-15 2021-06-29 河南科技大学 基于纵向联邦学习的社交网络跨平台恶意用户检测方法
CN113191340A (zh) * 2021-07-01 2021-07-30 智广海联(天津)大数据技术有限公司 基于联邦学习模式的社区重点人员监管系统及方法
CN113344268A (zh) * 2021-06-02 2021-09-03 合肥泰瑞数创科技有限公司 一种城市交通出行数据分析方法
CN113723984A (zh) * 2021-03-03 2021-11-30 京东城市(北京)数字科技有限公司 人群消费画像信息的获取方法、装置和存储介质
CN114529336A (zh) * 2022-01-27 2022-05-24 中银金融科技有限公司 基于etc数据的客户画像构建系统及方法
CN114610994A (zh) * 2022-03-09 2022-06-10 支付宝(杭州)信息技术有限公司 基于联合预测的推送方法和系统
CN114925119A (zh) * 2022-06-13 2022-08-19 深圳致星科技有限公司 联邦学习方法、装置、系统、设备、介质和程序产品
CN114970693A (zh) * 2022-05-11 2022-08-30 国网上海市电力公司 一种基于联邦学习的充电桩用户画像方法
CN117156070A (zh) * 2023-11-01 2023-12-01 江苏惟妙纺织科技有限公司 一种刺绣机的智能化参数调控方法及系统
CN117455549A (zh) * 2023-11-08 2024-01-26 广州丰石科技有限公司 一种基于城市体征指标的消费能力评估方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109167695A (zh) * 2018-10-26 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的联盟网络构建方法、设备及可读存储介质
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
CN111340558A (zh) * 2020-02-28 2020-06-26 深圳前海微众银行股份有限公司 基于联邦学习的线上信息处理方法、装置、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
CN109167695A (zh) * 2018-10-26 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的联盟网络构建方法、设备及可读存储介质
CN111340558A (zh) * 2020-02-28 2020-06-26 深圳前海微众银行股份有限公司 基于联邦学习的线上信息处理方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王春凯 等: "联邦学习在保险行业的应用研究", 《保险职业学院学报》 *
贾延延 等: "联邦学习模型在涉密数据处理中的应用", 《中国电子科学研究院学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785144A (zh) * 2021-01-18 2021-05-11 深圳前海微众银行股份有限公司 基于联邦学习的模型构建方法、设备及存储介质
CN112885337A (zh) * 2021-01-29 2021-06-01 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及存储介质
CN113723984A (zh) * 2021-03-03 2021-11-30 京东城市(北京)数字科技有限公司 人群消费画像信息的获取方法、装置和存储介质
CN113051557A (zh) * 2021-03-15 2021-06-29 河南科技大学 基于纵向联邦学习的社交网络跨平台恶意用户检测方法
CN113344268A (zh) * 2021-06-02 2021-09-03 合肥泰瑞数创科技有限公司 一种城市交通出行数据分析方法
CN113191340A (zh) * 2021-07-01 2021-07-30 智广海联(天津)大数据技术有限公司 基于联邦学习模式的社区重点人员监管系统及方法
CN114529336A (zh) * 2022-01-27 2022-05-24 中银金融科技有限公司 基于etc数据的客户画像构建系统及方法
CN114610994A (zh) * 2022-03-09 2022-06-10 支付宝(杭州)信息技术有限公司 基于联合预测的推送方法和系统
CN114970693A (zh) * 2022-05-11 2022-08-30 国网上海市电力公司 一种基于联邦学习的充电桩用户画像方法
CN114970693B (zh) * 2022-05-11 2024-05-07 国网上海市电力公司 一种基于联邦学习的充电桩用户画像方法
CN114925119A (zh) * 2022-06-13 2022-08-19 深圳致星科技有限公司 联邦学习方法、装置、系统、设备、介质和程序产品
CN117156070A (zh) * 2023-11-01 2023-12-01 江苏惟妙纺织科技有限公司 一种刺绣机的智能化参数调控方法及系统
CN117156070B (zh) * 2023-11-01 2024-01-02 江苏惟妙纺织科技有限公司 一种刺绣机的智能化参数调控方法及系统
CN117455549A (zh) * 2023-11-08 2024-01-26 广州丰石科技有限公司 一种基于城市体征指标的消费能力评估方法

Similar Documents

Publication Publication Date Title
CN112163979A (zh) 一种基于联邦学习的城市交通出行数据分析方法
CN110189192B (zh) 一种信息推荐模型的生成方法及装置
Wu et al. A federated graph neural network framework for privacy-preserving personalization
Nguyen et al. Secure blockchain enabled Cyber–physical systems in healthcare using deep belief network with ResNet model
Shen et al. Secure SVM training over vertically-partitioned datasets using consortium blockchain for vehicular social networks
WO2022206510A1 (zh) 联邦学习的模型训练方法、装置、设备及存储介质
Aïvodji et al. Meeting points in ridesharing: A privacy-preserving approach
CN111259443A (zh) 一种基于psi技术保护联邦学习预测阶段隐私的方法
JP7095140B2 (ja) 特徴抽出に基くマルチモデルトレーニング方法及び装置、電子機器と媒体
CN111967910A (zh) 一种用户客群分类方法和装置
CN113505882B (zh) 基于联邦神经网络模型的数据处理方法、相关设备及介质
CN111666460A (zh) 基于隐私保护的用户画像生成方法、装置及存储介质
CN110969264A (zh) 模型训练方法、分布式预测方法及其系统
CN112651592B (zh) 一种基于多式联运的企业信用评估系统
CN111709051A (zh) 数据处理方法、装置、系统、计算机存储介质及电子设备
Tuama Ripples through the city: Understanding the processes set in motion through embedding a public bike sharing scheme in a city
Ying et al. PrivacySignal: Privacy-preserving traffic signal control for intelligent transportation system
Zhao et al. Application of digital twin combined with artificial intelligence and 5G technology in the art design of digital museums
CN116091826A (zh) 一种基于联邦学习和半监督学习的智能驾驶感知方法
CN112700281A (zh) 行为预测方法、装置、设备及计算机可读存储介质
Chen et al. Fed-EINI: An efficient and interpretable inference framework for decision tree ensembles in vertical federated learning
CN111914281B (zh) 基于区块链和同态加密的贝叶斯模型训练方法及装置
CN112507372B (zh) 实现隐私保护的多方协同更新模型的方法及装置
Preece Ticket to ride: an investigation into the use of blockchain technology in the rail industry
CN113240461A (zh) 基于纵向联邦学习的潜在客户的识别方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination