CN115333885B - 一种基于联邦学习的智能家居隐私保护方法及装置 - Google Patents

一种基于联邦学习的智能家居隐私保护方法及装置 Download PDF

Info

Publication number
CN115333885B
CN115333885B CN202210719272.1A CN202210719272A CN115333885B CN 115333885 B CN115333885 B CN 115333885B CN 202210719272 A CN202210719272 A CN 202210719272A CN 115333885 B CN115333885 B CN 115333885B
Authority
CN
China
Prior art keywords
gateway
type
intelligent home
intelligent
cloud server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210719272.1A
Other languages
English (en)
Other versions
CN115333885A (zh
Inventor
刘亚萍
张硕
陈兵
杨智凯
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202210719272.1A priority Critical patent/CN115333885B/zh
Publication of CN115333885A publication Critical patent/CN115333885A/zh
Application granted granted Critical
Publication of CN115333885B publication Critical patent/CN115333885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Emergency Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于联邦学习的智能家居隐私保护方法及系统，该方法包括如下步骤：S1、智能家居设备接入网关；S2、网关为智能家居设备提供远程访问服务；S3、网关向云服务器发布边缘计算服务通告；S4、云服务器管理员向网关发起联邦学习模型的FL训练计算请求；S5与S6、云服务器FL训练计算请求；S7、云服务器收到网关的联邦学习模型后，再进行联邦学习模型的FL训练，至聚合的轮次完成；S8、网关用聚合后的模型进行FL推理处理；S9、智能家居设备用聚合后的模型进行FL推理处理；S10、智能家居设备进行数据集收集处理。本发明适合在智能家居场景中部署，在本地网关处理用户的隐私数据，可有效保护用户的隐私信息。

Description

一种基于联邦学习的智能家居隐私保护方法及装置
技术领域
本发明涉及无线通信技术领域，具体涉及基于联邦学习的智能家居隐私保护方法及装置。
背景技术
随着物联网(Internet of Things,IoT)时代的到来，智能家居设备和应用越发普及，智能家居隐私泄露问题逐步凸显，愈发重要。智能家居隐私数据保护面临两方面的挑战：一方面，用户不希望自己的隐私数据被泄露，要求对自己的数据使用有知情权与控制权；另一方面，智能家居设备厂商希望尽可能多地采集用户数据，以提供更好的智能服务。因此，如何有效地保护智能家居设备中用户的隐私数据已成为当前智能家居亟需解决的重要问题。
目前在学术研究领域，众多智能家居隐私保护方法和框架都是通过尽可能地减少智能家居设备的隐私数据上传至设备的厂商，来避免用户的隐私数据泄露，其中基于联邦学习(Federated Learning,FL)的隐私保护技术不仅减少了用户隐私数据上传，还有效利用了边缘端设备的数据进行机器学习计算，为用户提供更好的智能服务。但大多数学术研究领域的基于联邦学习的隐私保护方案都只是运用联邦学习的思想模拟实验，脱离了现实场景。
在商业产品领域，微众银行和极视角公司联合开发FedVision物体检测平台，它支持基于YOLOv3的联邦视觉对象检测模型训练，然后将训练好的模型参数发送到联邦学习服务器进行聚合，同时，FedVision采用模型压缩技术，优化了传输联邦模型的效率，但FedVision主要适用于工厂生产环境中的安全检测，并且论文中没有实验数据支撑，体系结构也比较复杂，难以在智能家居场景中部署。
因此，如何将联邦学习技术运用在智能家居领域，达到保护用户隐私的目的，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于现有技术的上述缺陷，本发明提供一种基于联邦学习的智能家居隐私保护方法及装置，提供隐私保护模式匹配、远程访问智能家居设备数据、联邦学习计算、联邦学习推理(例如火焰识别报警)和在线Web标注数据集等功能，减少了用户的隐私数据流出，有效保护智能家居设备中用户的隐私信息，以解决上述问题。
为实现上述目的，本发明提供如下的技术方案：
一种基于联邦学习的智能家居隐私保护方法，其特征在于，包括以下：
S1、智能家居设备接入网关，智能家居设备向网关发送DHCP请求，同时网关对智能家居设备进行判断分类，将智能家居设备分成类型一的智能家居设备和类型二的智能家居设备；
1.1智能家居设备模式匹配模块在智能家居设备通过Wi-Fi连接网关时，会向网关发送带有厂商的云服务器地址的DHCP请求，且智能家居设备会监听网关发来的消息，云厂商的地址通过智能家居设备DHCP协议客户端的DHCP Option 224字段来指定，当网关收到厂商的云服务器地址不为空的DHCP请求后，通过OpenWrt系统自带的DHCP服务端DNSMASQ解析客户端的DHCP请求，得到OPTION 224选项的云服务器地址，并将智能家居设备归为类型一的智能家居设备，并记录云服务器的地址，当网关收到厂商服务器地址为空的DHCP请求的智能家居设备后，将其归类为类型二和类型三的智能家居设备，类型二和类型三的智能家居设备不用区分，正常转发设备的流量即可。
1.2当网关判断为类型一的智能家居设备后，会把类型一的智能家居设备发来的厂商的云服务器地址重新发送给类型一的智能家居设备，类型一的智能家居设备收到网关发来的内容后，进行比对，比对结果一致则匹配成功，进入隐私保护模式，转2.1，匹配失败则进入正常模式转2.3。
S2、网关为智能家居设备提供远程访问服务；
2.1远程访问模块为智能家居设备提供两种访问方式。
2.2当网关与智能家居家设备同时支持隐私保护模式时，智能家居设备和智能网关匹配成功，用户在网关上配置个人云服务器，远程访问智能家居设备的数据；
2.3当网关不支持隐私保护模式时，智能家居设备和智能网关匹配失败，用户通过智能家居设备厂商的云服务器远程访问智能家居设备的数据。
S3、网关向类型一的智能家居设备厂商云服务器发布边缘计算服务通告；类型二的智能家居设备向类型二的智能家居设备厂商云服务器发布边缘计算服务通告，网关正常转发类型二的智能家居设备的消息；
3.1云边通信模块用来支持网关和厂商的云服务器消息的传递，当网关收到类型一的智能家居设备的DHCP请求后，解析出设备的云服务器的地址，如果云服务器地址不为空，网关向此云服务器地址发布边缘计算服务通告，边缘计算服务通告基于WebSocket协议封装，消息内容带有设备的hostname和告知可以帮设备厂商进行FL训练计算服务；如果为空，类型二的智能家居设备会向其厂商云服务器发布边缘计算服务通告，网关给类型二的智能家居设备分配IP地址，正常转发设备的流量即可。
3.2类型一的智能家居设备厂商的云服务器收到网关的消息后，记录下新增网关WebSocket连接和设备的hostname，网关和云服务器建立通信连接。
3.3类型二的智能家居设备厂商的云服务器收到类型二的智能家居设备的消息后，记录下类型二的智能家居设备通讯地址和对应标识的id，类型二的智能家居设备和云服务器建立通信连接。
S4、如图3所示，类型一的智能家居设备厂商云服务器管理员向X个网关发起联邦学习模型的FL训练计算请求，并配置聚合的轮次K，转至步骤S5；
类型二的智能家居设备厂商云服务器管理员向X个类型二的智能家居设备发起联邦学习模型的FL训练计算请求，并配置聚合的轮次K,转至步骤S6；
S5、网关处理类型一的智能家居设备厂商的云服务器FL训练计算请求；
5.1X个网关收到云服务器请求训练的消息之后，处理类型一的智能家居设备厂商的云服务器FL训练计算请求，判断本地的CPU和内存资源是否大于训练计算请求的资源，如果大于，则返回给云服务器一个基于WebSocket协议的消息，消息内容表明满足进行训练的条件，转5.2，如果不大于，则返回给服务器一个基于WebSocket协议的消息，消息内容表明此时不满足进行训练的条件，转至步骤S4。
5.2X个网关向类型一的智能家居设备厂商云服务器通过HTTP协议GET请求下载FL训练需要的配置文件，包括网络结构、初始模型等，下载完成后，联邦学习训练模块在网关开始用容器进行联邦学习模型的FL训练，如果FL训练的过程中由于网络连接失败，网关则退出FL训练，参加联邦学习模型训练的网关数量减一，数量更新为Y个网关。
5.3Y个网关训练完成之后，把训练好的模型经过公知的隐私保护技术手段(例如差分隐私添加一定的噪声)处理后通过HTTP协议的POST请求上传处理后的结果，而不上传用户的数据，同时一定程度上防范了隐私的泄露，转至步骤S7。
S6、类型二的智能家居设备处理类型二的智能家居设备厂商的云服务器FL训练计算请求；
6.1X个类型二的智能家居设备收到服务器请求训练的消息之后，处理类型二的智能家居设备厂商的云服务器FL训练计算请求，判断本地的CPU和内存资源是否大于训练计算请求的资源，如果大于，则返回给服务器一个基于WebSocket协议的消息，消息内容表明此时满足进行训练的条件，转6.2，如果不大于，则返回给服务器一个基于WebSocket协议的消息，消息内容表明此时不满足进行训练的条件，转至步骤S4。
6.2X个类型二的智能家居设备向类型二的智能家居设备厂商云服务器通过HTTP协议GET请求下载FL训练需要的配置文件，包括网络结构、初始模型等，下载完成后，进行联邦学习模型的FL训练，如果FL训练的过程中由于网络连接失败，类型二的智能家居设备则退出FL训练，参加联邦学习模型训练的类型二的智能家居设备数量减一，数量更新为Y个类型二的智能家居设备。
6.3Y个类型二的智能家居设备训练完成之后，把训练好的模型经过公知的隐私保护技术手段(例如差分隐私添加一定的噪声)处理后通过HTTP协议的POST请求上传处理后的结果，而不上传用户的数据，同时一定程度上防范了隐私的泄露，转至步骤S7。
S7、类型一或类型二的智能家居设备厂商的云服务器FL处理；
7.1类型一的智能家居设备厂商的云服务器收到Y个网关或类型二的智能家居设备厂商的云服务器收到Y个类型二的智能家居设备的联邦学习模型后，联邦学习聚合模块就利用PyTorch将待聚合模型以网络结构加参数的形式展开并加和，再将参数平均，最后将新的参数以原有网络结构保存为新模型，聚合的轮次完成一轮后，聚合的轮次K减1，并将聚合后的模型下发至网关，转7.2，如果下发至类型二的智能家居设备，转7.3；
7.2Y个网关收到聚合后的模型后，再进行联邦学习模型的FL训练，K不为0时，转5.3；
7.3Y个类型二的智能家居设备收到聚合后的模型后，再进行联邦学习模型的FL训练，K不为0时，转6.3；
7.4当K＝0时，判断最终聚合后的模型的精度是否比初始的模型精度高，如果精度有所提升则更新模型，替代原先旧模型，转7.5；否则不更新，调整参数进行下一次FL训练，转至步骤S4；
7.5智能家居设备厂商的云服务器将聚合后的模型下发至网关，转至步骤S8；
智能家居设备厂商的云服务器将聚合后的模型下发至类型二的智能家居设备，转至步骤S9。
S8、网关用聚合后的模型进行FL推理处理；
8.1网关收到设备厂商的云服务器的更新模型后，替换旧的模型，联邦学习推理模块用聚合后的模型进行推理。
8.2网关在推理的过程中，会把识别到的数据和类别保存在网关。
S9、类型二的智能家居设备用聚合后的模型进行FL推理处理；
9.1类型二的智能家居设备收到设备厂商的云服务器的新模型后，替换旧的模型，用聚合后的模型进行推理。
9.2类型二的智能家居设备在推理的过程中，会把识别到的数据和类别保存在类型二的智能家居设备。
S10、网关和类型二的智能家居设备进行数据集收集处理；
10.1用户通过访问网关或类型二的智能家居设备的管理界面，通过筛选和调整推理过程中保存的数据和类别，调整正确之后加入到联邦学习模型FL训练的数据集中。
10.2用户通过上传本地数据，对数据进行标注，将其加入到联邦学习模型FL训练的数据集中，如图6所示。
优选的，当网关设备收到智能家居设备厂商的云服务器FL训练计算结束请求时，会关闭当前计算的服务，等待新的请求，当类型一的智能家居设备重启断开连接时，返回步骤S1；
当类型二的智能家居设备收到智能家居设备厂商的云服务器FL训练计算结束请求时，会关闭当前计算的服务，等待新的请求；当类型二的智能家居设备重启断开连接时，返回步骤S1。
一种实施上述方法的一种基于联邦学习的智能家居隐私保护系统，包括相互连接并通讯的如下模块：
智能家居设备模式匹配模块，该模块负责智能家居设备和网关匹配，如果都是具有隐私保护模式功能的设备，则匹配成功，开启隐私保护模式，向智能家居设备厂商的云服务器发布边缘计算服务通告，告诉云服务器和设备连接的网关可以进行边缘计算。如果是有隐私保护功能的智能家居设备连接到了其他网关，则匹配失败，其他网关正常转发设备的流量即可，如果是不具有隐私保护功能的智能家居连接到了有隐私保护功能的网关，正常分配设备的IP地址，转发设备的流量即可。只有都是具有隐私保护功能的设备才能有效地保护用户的隐私数据，提高了本发明的兼容性。
远程访问模块，该模块为智能家居设备提供两种访问方式：(1)当网关与智能家居设备同时支持隐私保护模式时，用户通过个人云远程访问智能家居设备的数据，比如智能摄像头的视频数据、智能音箱的语音数据等等；(2)当网关不支持隐私保护模式时，用户通过设备厂商云远程访问智能家居设备的数据。
云边通信模块，该模块用来支持网关和云服务器消息的传递，以及管理网关的实时状态。
联邦学习计算模块，该模块用于在网关上进行联邦学习的训练服务，训练完成后会把计算的结果发给云厂商。
联邦学习推理模块，该模块是在边缘端提供推理功能，为智能家居设备提供更好的智能服务，比如智能摄像头的目标检测和识别、智能音箱的语音识别等。
联邦学习模型聚合模块，该模块用于聚合网关上传的联邦学习模型，聚合的方法采用对联邦学习模型进行加权平均，聚合完成之后，测试聚合后的精度是否有提升，如果精度有所提升则更新全局模型。
数据集收集模块，该模块用于在边缘端收集联邦学习计算的数据集，主要提供两种收集方式，第一种是在联邦学习推理的过程中，会把自动保存识别到的数据和类别，由用户进行筛选和调整预标注的位置，然后加入到FL训练的数据集中，防止推理过程中保存的数据和标签不精确，第二种是供用户上传本地数据，并对上传的数据进行标注，然后保存到联邦学习训练的数据集中。
其中，类型一设备为需要智能服务但本身没有模型训练能力的设备，对于这种智能家居设备，由于其本身没有模型训练能力，因此计算的服务需要网关在边缘端进行计算服务，该种智能家居设备通过有线和无线连接智能网关设备时，使用DHCP协议的扩展字段指定云服务器的地址，即需要智能网关向智能家居设备的云厂商进行注册，也就是说，类型一的智能家居设备发送的DHCP请求中的DHCP协议的扩展字段中指定了设备厂商云服器的地址。
类型二设备为需要智能服务但本身有模型训练能力的设备，和类型一不同的地方是计算的服务可以运行在设备上，该种智能家居设备通过有线或无线接智能网关，其发送的DHCP请求中用于指定云服务器的地址的DHCP协议扩展字段为空，不需要网关向智能家居设备的云厂商进行注册。
类型三：传统不需要智能服务的设备，这类设备通过有线或无线接入智能网关后，指定云服务器的地址的DHCP协议扩展字段为空，不需要网关向智能家居设备的云厂商进行注册，其他消息正常通过网关转发。
本发明的有益效果是：
本发明将智能家居设备分为三大类别，一类是需要设备厂商提供智能服务的设备，比如智能摄像头的目标识别和行人检测、智能音箱的语音识别等等，在需要智能服务的设备中又分为设备本身没有训练能力的类型一的智能家居设备和设备本身具有训练能力的类型二的智能家居设备。另一类是传统不需要智能服务的类型三智能家居设备，本发明兼容传统智能家居设备的通信模式，对于传统智能家居设备的通信模式不提供原始数据隐私保护服务，只有采用本发明所提出的方法的智能家居设备以及对应的网关，云服务器才能提供智能家居设备原始数据隐私保护服务。
本发明提供的基于联邦学习的智能家居隐私保护方法与系统，致力于在智能家居场景中保护用户的隐私信息，提供隐私保护模式匹配、联邦学习计算、联邦学习推理、和数据集收集等功能，减少了用户的隐私数据流出，有效保护了智能家居设备中用户的隐私信息。
附图说明
图1是本发明实施例隐私保护系统模块组成结构及流程图；
图2是本发明实施例智能家居设备模式匹配结构及流程图；
图3是本发明实施例联邦学习训练处理流程图；
图4是本发明实施例关闭智能服务处理流程图；
图5是本发明一个较好实施例的远程访问处理流程图；
图6是本发明实例数据集收集处理流程图。
具体实施方式
下面结合附图对本发明的实施例作详细说明，下述的实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
参见附图1-6，对于本发明提供的基于联邦学习的智能家居隐私保护方法与系统，通过以下具体实施例进行详细描述。
实施例一：
本实施例以智能摄像头为例，采用自研摄像头、自研网关和模拟设备厂商服务器，自研摄像头使用树莓派Zero W型号，自研网关使用基于OpenWrt系统作为边缘计算网关，本发明基于YOLOv5、OpenWrt和Docker等技术，系统模块结构及流程图如图1所示。
本发明提供的基于联邦学习的智能家居隐私保护方法，其包括如下步骤：
S1：智能摄像头接入网关：
1.1、智能家居设备模式匹配模块在智能摄像头通过Wi-Fi连接网关时，会向网关发送带有厂商服务器地址的DHCP请求，且智能摄像头会监听网关发来的消息，云厂商的地址通过智能家居摄像头DHCP协议客户端的DHCP Option 224字段来指定，当网关收到厂商服务器地址不为空的DHCP请求后，通过OpenWrt系统自带的DHCP服务端DNSMASQ解析客户端的DHCP请求，得到OPTION224选项的云服务器地址，并将智能摄像头归为类型一的设备，并记录云服务器的地址，处理流程如图2所示。
1.2、当网关判断为类型一的设备后，会把智能摄像头发来的厂商服务器地址重新发送给智能摄像头，智能摄像头收到网关发来的内容后，进行比对，比对结果一致则表示匹配成功，进入隐私保护模式，转至步骤S 2.1，匹配失败则进入正常模式，转至步骤S2.3。
S2：网关为智能摄像头提供远程访问服务。
2.1、远程访问模块为智能家居摄像头提供两种访问方式，处理流程如图5所示。
2.2、当网关与智能摄像头同时支持隐私保护模式时，智能摄像头和智能网关匹配成功，用户在网关上配置个人云服务器，远程访问智能摄像头的数据。
2.3、当网关不支持隐私保护模式时，智能摄像头和智能网关匹配失败，用户通过智能家居设备厂商的云服务器远程访问智能摄像头的数据。
S3：网关向智能摄像头厂商云服务器发布边缘计算服务通告。
3.1、云边通信模块用来支持网关和云服务器消息的传递，当网关收到智能摄像头的DHCP请求后，解析出设备的云服务器的地址，云服务器地址不为空，网关向此云服务器地址发布边缘计算服务通告，边缘计算服务通告基于WebSocket协议封装，消息内容带有设备的hostname和告知可以帮设备厂商进行FL训练计算服务。
3.2、智能摄像头厂商的云服务器收到网关的消息后，记录下新增网关的WebSocket连接和设备的hostname，网关和云服务器建立通信连接。
S4：如图3所示，智能摄像头厂商云服务器管理员选择X个网关发起火焰识别模型FL训练计算请求，并配置聚合的轮次K，消息基于WebSocket协议封装，参数内容表示需要占用多少CPU和多少内存资源。
S5：网关处理类型一的智能摄像头厂商的云服务器FL训练计算请求。
5.1、当X个网关收到服务器请求训练的消息之后，处理智能摄像头厂商的云服务器FL训练计算请求，判断本地的CPU和内存资源是否大于训练计算请求的资源，如果大于，则返回给服务器一个基于WebSocket协议的消息，消息内容表明此时满足进行训练的条件，转5.2，如果不大于，则返回给服务器一个基于WebSocket协议的消息，消息内容表明此时不满足进行训练的条件，等待一段时间再进行请求，转至步骤S4。。
5.2、当X个网关向智能摄像头厂商云服务器通过HTTP协议GET请求下载FL训练需要的配置文件，包括网络结构、初始模型等，下载完成后，联邦学习训练模块在网关开始用容器进行火焰识别模型的FL训练，如果FL训练的过程中由于网络连接失败，网关则退出FL训练，参加火焰识别模型训练的网关数量减一，数量更新为Y个网关；
5.3、当Y个网关训练完成之后，把训练好的模型经过公知的隐私保护技术手段(例如差分隐私添加一定的噪声)处理后通过HTTP协议的POST请求上传处理后的结果，而不上传用户的数据，同时一定程度上防范了隐私的泄露。
S7：智能摄像头厂商的云服务器FL处理。
7.1、智能摄像头厂商的云服务器收到Y个网关的火焰识别模型后，联邦学习聚合模块就利用PyTorch将待聚合模型以网络结构加参数的形式展开并加和，再将参数平均，最后将新的参数以原有网络结构保存为新模型，聚合的轮次完成一轮后，聚合的轮次K减1，并将聚合后的模型下发至网关，转7.2；
7.2、当Y个网关收到聚合后的模型后，再进行火焰识别模型的FL训练，K不为0时，转5.3；
7.4当K＝0时，判断最终聚合后的模型的精度是否比初始的模型精度高，如果精度有所提升则更新模型，替代原先旧模型，转7.5；否则不更新，调整参数进行下一次FL训练，转至步骤S4；
7.5智能家居设备厂商的云服务器将更新之后的模型下发至网关，转至步骤S8
S8：网关用聚合后的模型进行FL推理处理
8.1、网关收到设备厂商的云服务器的更新模型后，替换旧的模型，联邦学习推理模块用新的模型进行火焰预警。
8.2、在火焰预警的过程中，会把识别到的图片和标签保存在网关。
S10：网关的数据集收集处理。
10.1用户访问网关的管理界面，利用数据集收集模块进行筛选和调整火焰预警过程中保存的图片预标注的位置，调整正确之后加入到火焰识别模型FL训练的数据集中。
10.2用户访问网关的管理界面，利用数据集收集模块上传本地的图片，并对图片进行标注，然后加入到火焰识别模型FL训练的数据集中，如图6所示。
优选的，当智能摄像头厂商的云服务器发起FL训练计算请求结束时，给Y个网关发一个基于WebSocket消息，消息内容为停止FL训练计算。
更优的，如图4所示，当网关收到智能摄像头厂商的云服务器FL训练计算结束请求时，会关闭当前计算的服务，等待新的请求。当智能摄像头重启断开连接时，转至步骤S1。
另一方面，本发明实施例还提供一种实施上述方法的基于联邦学习的智能家居隐私保护系统，其包括相互连接并通讯的如下模块：
远程访问模块，该模块为智能家居摄像头提供两种访问方式：(1)当网关与智能摄像头同时支持隐私保护模式时，用户通过个人云远程访问智能摄像头的数据；(2)当网关不支持隐私保护模式时，用户通过设备厂商云远程访问智能摄像头的数据。
云边通信模块，该模块用来支持网关和云服务器消息的传递，以及管理网关的实时状态。
联邦学习计算模块，该模块用于在网关上进行联邦学习的训练服务，训练完成后会把计算的结果发给云厂商。
联邦学习推理模块，该模块是自研摄像头用来监控家庭里面的安全，当自研摄像头接入的是自研网关后，推理模块启动，在自研网关上进行实时推理，用户通过订阅火焰报警的消息来监控家庭里面的安全。
联邦学习模型聚合模块，该模块用于聚合网关上传的联邦学习模型，聚合的方法采用对联邦学习模型进行加权平均，聚合完成之后，测试聚合后的精度是否有提升，如果精度有所提升则更新全局模型。
数据集收集模块，该模块提供本地在线Web标注功能，用于在边缘网关收集联邦学习计算的数据集，主要提供两种收集方式，第一种是在联邦学习推理的过程中，会自动保存识别到的火焰图片和标签，并通过在线Web标注调整图片的标签位置，防止推理过程中保存的图片和标签不精确；第二种是供用户上传本地的图片，并对上传的图片进行标注，然后保存到联邦学习训练的数据集中。
本实施例提供的基于联邦学习技术的智能家居隐私保护方法与系统，并结合火焰预警应用案例验证了本发明的有效性。主要技术要点为：
1.在边缘端进行联邦学习计算，使得不用上传用户的数据，只上传训练的结果，避免用户的隐私泄漏。
2.结合火焰预警应用验证了本发明的有效性。
3.提供本地在线Web标注功能，用于在边缘网关收集联邦学习计算的数据集，提供两种收集方式，第一种是在联邦学习推理的过程中，会自动保存识别到的火焰图片和标签，并通过在线Web标注调整图片的标签位置，防止推理过程中保存的图片和标签不精确；第二种是供用户上传本地的图片，并对上传的图片进行标注，然后保存到联邦学习训练的数据集中。
实施例二：
在实施例一的基础上，本发明提供的基于联邦学习的智能家居隐私保护方法，其包括如下步骤：
S1：智能终端接入网关：
智能终端通过Wi-Fi连接网关，终端发送带有厂商服务器地址为空的DHCP请求，当网关收到厂商服务器地址为空的DHCP请求后，终端为本身有模型训练能力的设备，划分为类型二的智能家居设备，网关分配IP地址，正常转发流量即可，处理流程如图2所示。
S2：网关为智能终端提供远程访问服务。
远程访问模块为智能终端提供两种访问方式，处理过程如图5所示。
S3：智能终端向智能终端厂商云服务器发布边缘计算服务通告。
3.1云边通信模块用来支持网关和云服务器消息的传递，当网关收到智能终端的DHCP请求后，网关给智能终端设备分配IP地址，正常转发设备的流量即可，智能终端向智能终端厂商云服务器发布边缘计算服务通告，边缘计算服务通告基于WebSocket协议封装，消息内容带有设备的hostname和告知可以帮设备厂商进行FL训练计算服务；
3.2智能终端设备厂商的云服务器收到智能终端的消息后，记录下智能终端通讯地址和对应标识的id，智能终端和云服务器建立通信连接。
S4：如图3所示，智能终端厂商云服务器管理员选择X个终端发起联邦学习模型的FL训练计算请求，并配置聚合的轮次K，消息基于WebSocket协议封装，参数内容表示需要占用多少CPU和多少内存资源。
S6：智能终端处理智能终端商的云服务器FL训练计算请求。
6.1X个智能终端收到服务器请求训练的消息之后，处理智能终端厂商的云服务器FL训练计算请求，判断本地的CPU和内存资源是否大于训练计算请求的资源，如果大于，则返回给服务器一个基于WebSocket协议的消息，消息内容表明此时满足进行训练的条件，转至6.2；如果不大于，则返回给服务器一个基于WebSocket协议的消息，消息内容表明此时不满足进行训练的条件，转至步骤S4。
6.2X个智能终端向智能终端厂商云服务器通过HTTP协议GET请求下载FL训练需要的配置文件，包括网络结构、初始模型等，下载完成后，智能终端进行联邦学习模型的FL训练，如果FL训练的过程中由于网络连接失败，智能终端则退出FL训练，参加联邦学习模型训练的智能终端家居设备数量减一，数量更新为Y个智能终端；
6.3Y个智能终端训练完成之后，把训练好的模型经过公知的隐私保护技术手段(例如差分隐私添加一定的噪声)处理后通过HTTP协议的POST请求上传处理后的结果，而不上传用户的数据，同时一定程度上防范了隐私的泄露，转至步骤S7。
S7：智能终端厂商的云服务器FL处理。
7.1智能终端厂商的云服务器收到Y个智能终端的联邦学习模型后，联邦学习聚合模块就利用PyTorch将待聚合模型以网络结构加参数的形式展开并加和，再将参数平均，最后将新的参数以原有网络结构保存为新模型，聚合的轮次完成一轮后，聚合的轮次K减1，并将聚合后的模型下发至智能终端。
7.3Y个类型二的智能家居设备收到聚合后的模型后，再进行联邦学习模型的FL训练，K不为0时，转6.3
7.4当K＝0时，判断最终聚合后的模型的精度是否比初始的模型精度高，如果精度有所提升则更新模型，替代原先旧模型，转7.5；否则不更新，调整参数进行下一次FL训练，转至步骤S4。
7.5智能终端厂商的云服务器将聚合后的模型下发至智能终端，转至步骤S9。
S9：智能终端用聚合后的模型进行FL推理处理；
9.1智能家居终端收到设备厂商的云服务器的更新模型后，替换旧的模型，用新的模型进行推理.
9.2在推理的过程中，会把识别到的数据和类别保存在智能终端。
S10：智能终端的数据集收集处理。
10.1用户访问智能终端的管理界面，进行筛选和调整推理过程中保存的数据和类别，调整正确之后加入到联邦学习模型FL训练的数据集中。
10.2用户访问智能终端的管理界面，上传本地的数据，并对数据进行标注，然后加入到联邦学习模型FL训练的数据集中，如图6所示。
优选的，当类型二的智能家居设备厂商的云服务器发起FL训练计算请求结束时，给Y个智能终端发送，当Y个类型二的智能家居设备收到类型二的智能家居设备厂商的云服务器FL训练计算结束请求时，会关闭当前计算的服务，等待新的请求，当智能终端重启断开连接时，转至步骤S1。
实施例三：
在实施例一及二的基础上，本发明提供的基于联邦学习的智能家居隐私保护方法，其包括如下步骤：
S1：智能开关接入网关：
智能开关通过Wi-Fi连接网关，网关发送带有厂商服务器地址为空的DHCP请求，智能开关无法监听网关发来的消息，当网关收到厂商服务器地址为空的DHCP请求后，智能开关为不需要智能服务的设备，将其归类为类型三的智能家居设备，分配IP地址，正常转发流量即可，处理流程如图2所示。
S2：网关为智能开关提供远程访问服务，处理过程如图5所示。
远程访问模块为智能开关提供两种访问方式，用户可通过远程访问模块访问智能开关，提前或定时打开或关闭家中设备。
S3：网关正常转发智能开关的消息。
本发明上述实施例提供的基于联邦学习的智能家居隐私保护方法及系统，适用于在智能家居场景中部署，结合联邦学习火焰识别模型FL训练应用案例验证。本发明可以在智能家居设备正常的工作模式下减少用户原始数据的流出，尽可能地在本地网关上处理用户的隐私数据。本发明主要包括智能家居设备匹配、联邦学习训练和推理、数据集收集和远程访问等功能，有效保护了用户的隐私信息，具有一定的应用价值和现实意义。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的试验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于联邦学习的智能家居隐私保护方法，其特征在于，其包括以下步骤：
S1、智能家居设备接入网关，智能家居设备向网关发送DHCP请求，同时网关对智能家居设备进行判断分类，将智能家居设备分成类型一的智能家居设备和类型二的智能家居设备；
其中，在类型一的智能家居和类型二的智能家居设备接入网关时，向网关发送带有智能家居设备厂商服务器地址的DHCP请求，若网关收到厂商服务器地址不为空的DHCP请求后，将该智能家居设备归为类型一的智能家居设备，若网关收到厂商服务器地址为空的DHCP请求后，将该智能家居设备归为类型二的智能家居设备；
网关将厂商服务器地址重新发送回类型一的智能家居设备，类型一的智能家居设备收到后，进行比对，若比对结果一致则匹配成功，进入隐私保护模式，若比对结果不一致则匹配失败，进入正常模式；网关正常转发类型二的智能家居设备的流量；
S2、网关为智能家居设备提供远程访问服务；
S3、网关向类型一的智能家居设备厂商云服务器发布边缘计算服务通告；类型二的智能家居设备向类型二的智能家居设备厂商的云服务器发布边缘计算服务通告，网关正常转发类型二的智能家居设备的消息；
S4、类型一的智能家居设备厂商云服务器管理员向网关发起联邦学习模型的FL训练计算请求，并配置聚合的轮次，转至步骤S5；
类型二的智能家居设备厂商云服务器管理员向类型二的智能家居设备发起联邦学习模型的FL训练计算请求，并配置聚合的轮次, 转至步骤S6；
S5、网关处理类型一的智能家居设备厂商的云服务器FL训练计算请求；
S6、类型二的智能家居设备处理类型二的智能家居设备厂商的云服务器FL训练计算请求；
S7、类型一的智能家居设备厂商的云服务器收到网关的联邦学习模型后，聚合模型并将聚合后的模型发送回网关，再进行联邦学习模型的FL训练，待聚合的轮次完成后，转至步骤S8；
类型二的智能家居设备厂商的云服务器收到类型二的智能家居设备的联邦学习模型后，聚合模型并将聚合后的模型下发至类型二的智能家居设备再进行联邦学习模型的FL训练，待聚合的轮次完成后，转至步骤S9；
S8、网关用聚合后的模型进行FL推理处理；
S9、类型二的智能家居设备用聚合后的模型进行FL推理处理；
S10、网关和类型二的智能家居设备进行数据集收集处理。
2.根据权利要求1所述的基于联邦学习的智能家居隐私保护方法，其特征在于，所述步骤S2中，当网关与智能家居设备同时支持隐私保护模式时，智能家居设备和智能网关匹配成功，用户在网关上配置个人云服务器，远程访问智能家居设备的数据；当网关不支持隐私保护模式时，智能家居设备和网关匹配失败，用户通过智能家居设备厂商的云服务器远程访问智能家居设备的数据。
3.根据权利要求1所述的基于联邦学习的智能家居隐私保护方法，其特征在于，所述步骤S3中，当网关收到类型一的智能家居设备的DHCP请求后，解析出智能家居设备厂商的云服务器的地址，如果云服务器址不为空，网关向此云服务器地址发布边缘计算服务通告，边缘计算服务通告基于WebSocket协议封装，消息内容带有设备的hostname和告知可以帮设备厂商进行FL训练计算服务；如果为空，类型二的智能家居设备会向其厂商云服务器发布边缘计算服务通告，网关给类型二的智能家居设备分配IP地址，正常转发类型二的智能家居设备的流量；
类型一的智能家居设备厂商的云服务器收到网关的消息后，记录下新增网关WebSocket连接和设备的hostname，网关和云服务器建立通信连接；
类型二的智能家居设备厂商的云服务器收到类型二的智能家居设备的消息后，记录下类型二的智能家居设备通讯地址和对应标识的id，类型二的智能家居设备和云服务器建立通信连接。
4.根据权利要求1所述的基于联邦学习的智能家居隐私保护方法，其特征在于，所述步骤S5中，网关收到类型一的智能家居设备厂商的云服务器请求训练的消息后，判断本地的CPU和内存资源是否大于训练计算请求的资源，若大于，则返回给类型一的智能家居设备厂商服务器一个基于WebSocket协议的消息，消息内容表明已满足进行训练的条件；若不大于，则返回发送给云服务器一个基于WebSocket协议的消息，消息内容表明此时资源不满足进行训练的条件，返回步骤S4。
5.根据权利要求1所述的基于联邦学习的智能家居隐私保护方法，其特征在于，所述步骤S6中，类型二的智能家居设备收到类型二的智能家居设备厂商服务器请求训练的消息后，判断本地的CPU和内存资源是否大于训练计算请求的资源，若大于，则返回给类型二的智能家居设备厂商服务器一个基于WebSocket协议的消息，消息内容表明已满足进行训练的条件，若不大于，则返回给服务器一个基于WebSocket协议的消息，消息内容表明此时不满足进行训练的条件，返回步骤S4。
6.根据权利要求1所述的基于联邦学习的智能家居隐私保护方法，其特征在于，所述步骤S8中，网关收到类型一智能家居设备厂商的云服务器发送的新模型后，替换旧的模型，用新模型进行推理，在推理的过程中，会把识别到的数据和类别保存在网关。
7.根据权利要求1所述的基于联邦学习的智能家居隐私保护方法，其特征在于，所述步骤S9中，类型二的智能家居设备收到类型二智能家居设备厂商发送的新模型后，替换旧的模型，用新模型进行推理，在推理的过程中，会把识别到的数据和类别保存在类型二的智能家居设备。
8.根据权利要求1所述的基于联邦学习的智能家居隐私保护方法，其特征在于，所述步骤S10中，用户通过访问网关或类型二的智能家居设备的管理界面，通过筛选和调整推理过程中保存的数据和类别，调整正确之后加入到联邦学习模型FL训练的数据集中；
或通过上传本地数据，对数据进行标注，将其加入到联邦学习模型FL训练的数据集中。
9.根据权利要求1所述的基于联邦学习的智能家居隐私保护方法，其特征在于，当网关设备收到智能家居设备厂商的云服务器FL训练计算结束请求时，会关闭当前计算的服务，等待新的请求，当类型一的智能家居设备重启断开连接时，返回步骤S1；
当类型二的智能家居设备收到智能家居设备厂商的云服务器FL训练计算结束请求时，会关闭当前计算的服务，等待新的请求；当类型二的智能家居设备重启断开连接时，返回步骤S1。
10.一种实施权利要求1-9任一项方法的基于联邦学习的智能家居隐私保护系统，其特征在于，包括相互连接并通讯的以下模块：
智能家居设备模式匹配模块，负责智能家居设备和网关匹配；
远程访问模块，为智能家居用户提供两种访问方式；
云边通信模块，用于支持网关和云服务器消息的传递，以及管理网关的实时状态；
联邦学习计算模块，用于在网关上进行联邦学习的训练服务，将训练完成后计算的结果发给云厂商；
联邦学习推理模块，用于在自研网关上进行实时推理；
联邦学习模型聚合模块，用于聚合网关上传的联邦学习模型；
数据集收集模块，用于在边缘网关收集联邦学习计算的数据集。
CN202210719272.1A 2022-06-23 2022-06-23 一种基于联邦学习的智能家居隐私保护方法及装置 Active CN115333885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210719272.1A CN115333885B (zh) 2022-06-23 2022-06-23 一种基于联邦学习的智能家居隐私保护方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210719272.1A CN115333885B (zh) 2022-06-23 2022-06-23 一种基于联邦学习的智能家居隐私保护方法及装置

Publications (2)

Publication Number Publication Date
CN115333885A CN115333885A (zh) 2022-11-11
CN115333885B true CN115333885B (zh) 2023-05-26

Family

ID=83916175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210719272.1A Active CN115333885B (zh) 2022-06-23 2022-06-23 一种基于联邦学习的智能家居隐私保护方法及装置

Country Status (1)

Country Link
CN (1) CN115333885B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958703A (zh) * 2017-11-16 2018-04-24 上海鸿巍企业管理咨询有限公司 一种基于mdt的远程信息同步管理和投票系统
CN110708170A (zh) * 2019-12-13 2020-01-17 腾讯科技（深圳）有限公司 一种数据处理方法、装置以及计算机可读存储介质
CN111464934A (zh) * 2019-01-21 2020-07-28 华为技术有限公司 数据传输系统、方法及其装置
CN112099405A (zh) * 2020-09-15 2020-12-18 天时地理(深圳)智能科技有限公司 一种基于物联网的智慧社区综合运营管控平台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958703A (zh) * 2017-11-16 2018-04-24 上海鸿巍企业管理咨询有限公司 一种基于mdt的远程信息同步管理和投票系统
CN111464934A (zh) * 2019-01-21 2020-07-28 华为技术有限公司 数据传输系统、方法及其装置
CN110708170A (zh) * 2019-12-13 2020-01-17 腾讯科技（深圳）有限公司 一种数据处理方法、装置以及计算机可读存储介质
CN112099405A (zh) * 2020-09-15 2020-12-18 天时地理(深圳)智能科技有限公司 一种基于物联网的智慧社区综合运营管控平台

Also Published As

Publication number Publication date
CN115333885A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
KR102298268B1 (ko) 엣지 컴퓨팅 기반 네트워크 모니터링 방법, 장치 및 시스템
CN110098948B (zh) 使用设备配置文件的终端设备的自动登入
US20230247388A1 (en) Communication system, method and device for miniature intelligent sensor
US8537709B2 (en) Network device, and multi-wide area network interface selection module and method
US20190208458A1 (en) Network provisioning
EP3905671B1 (en) Method and device for processing request
US10827415B2 (en) Network awareness of device location
CN109302434B (zh) 提示信息推送方法及装置、服务平台及存储介质
US7562167B2 (en) Managing heterogeneous data streams for remote access
CN107566429A (zh) 基站、访问请求的响应方法、装置及系统
CN107770226B (zh) 一种智能家居的控制方法、装置、家庭网关及移动终端
Ammar et al. Network-protocol-based iot device identification
CN109660593B (zh) 物联网平台接入管理方法、装置及系统
WO2017206576A1 (zh) 一种网关业务的处理方法及装置
CN109787827B (zh) 一种cdn网络监控的方法及装置
WO2022151815A1 (zh) 一种终端设备的安全状态判断方法及装置
CN108848145B (zh) 通过web代理访问设备近端网管的方法、系统及远端网管
CN108337308B (zh) Lwm2m客户端与上位机数据通信方法、装置及其系统
CN112423322A (zh) 型号信息发送方法、装置、存储介质及电子装置
CN112202795A (zh) 一种数据处理方法、网关设备及介质
CN101867583A (zh) 网络视频发布方法及系统
US20150149629A1 (en) User online state querying method and apparatus
KR101158092B1 (ko) 네트워크 장치 제어 관리 시스템 및 그 방법
CN115333885B (zh) 一种基于联邦学习的智能家居隐私保护方法及装置
KR101366622B1 (ko) 비인가 접근 제어를 위한 노드 식별을 위한 플랫폼 인식장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant