CN112948687A - 一种基于名片文件特征的节点消息推荐方法 - Google Patents

一种基于名片文件特征的节点消息推荐方法 Download PDF

Info

Publication number
CN112948687A
CN112948687A CN202110321902.5A CN202110321902A CN112948687A CN 112948687 A CN112948687 A CN 112948687A CN 202110321902 A CN202110321902 A CN 202110321902A CN 112948687 A CN112948687 A CN 112948687A
Authority
CN
China
Prior art keywords
node
business card
positive
card file
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110321902.5A
Other languages
English (en)
Other versions
CN112948687B (zh
Inventor
林孝康
张文通
唐帆
郭大兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Gaokai Qingxin Zhilian Network Technology Co ltd
Original Assignee
Chongqing Gaokai Qingxin Zhilian Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Gaokai Qingxin Zhilian Network Technology Co ltd filed Critical Chongqing Gaokai Qingxin Zhilian Network Technology Co ltd
Priority to CN202110321902.5A priority Critical patent/CN112948687B/zh
Publication of CN112948687A publication Critical patent/CN112948687A/zh
Application granted granted Critical
Publication of CN112948687B publication Critical patent/CN112948687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/355Class or cluster creation or modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种本实施例提供了一种基于名片文件特征的节点消息推荐方法,包括以下步骤:对节点名片文件的完整性进行识别,得到可识别节点名片、未识别节点名片;可识别节点名片进行设备状态信息交互;记录可识别节点名片的信息交互过程,收集未识别节点名片,构建数据集;使用数据集通过逻辑回归算法进行模型参数学习,得到节点分类模型;使用节点分类模型将节点分为正节点簇和负节点簇,得到正负节点簇表;设备根据正负节点簇表,与正节点设备进行信息交互,完成节点消息推荐。本发明可以解决当节点名片不包括设备类别信息或者设备类别信息不准确时,会影响该节点与其它节点进行数据交互,影响任务处理的实时性的技术问题。

Description

一种基于名片文件特征的节点消息推荐方法
技术领域
本发明涉及物联网技术领域,具体涉及一种基于名片文件特征的节点消息推荐方法。
背景技术
在不少物联网应用场景下,来自不同厂家或不同型号的物联网终端设备,因其软硬件接口不一致或者业务数据格式不统一,会导致这些非同源设备彼此之间共享信息困难,难以交互操作。为了解决这一问题,现有技术通常是采用为各个设备提供辅助通信模组的方式,在辅助通信模组的通信芯片协议层操作系统中实现节点交互、数据管理及通信管理策略,实现非同源节点之间的交互。较为常用的节点交互策略为:各节点的辅助通信模组通过与其它节点的辅助通信模组交换节点名片文件,获取其他节点的状态信息及功能指令编码,基于一定业务逻辑与其它节点进行交互操作,实现物联网中不同设备终端的互联互通。
但是在上述节点交互策略中,节点名片是代表节点身份的关键信息,节点名片必须包括设备类别信息,当节点名片不包括设备类别信息或者设备类别信息不准确时,会影响该节点与其它节点进行数据交互,影响任务处理的实时性。
发明内容
针对现有技术存在的不足,本发明提出一种基于名片文件特征的节点消息推荐方法,以解决现有技术中存在的当节点名片不包括设备类别信息或者设备类别信息不准确时,会影响该节点与其它节点进行数据交互,影响任务处理的实时性的技术问题。
本发明采用的技术方案是,一种基于名片文件特征的节点消息推荐方法,包括以下步骤:
对节点名片文件的完整性进行识别,得到可识别节点名片、未识别节点名片;
可识别节点名片进行设备状态信息交互;
记录可识别节点名片的信息交互过程,收集未识别节点名片,构建数据集;
使用数据集通过逻辑回归算法进行模型参数学习,得到节点分类模型;
使用节点分类模型将节点分为正节点簇和负节点簇,得到正负节点簇表;
设备根据正负节点簇表,与正节点设备进行信息交互,完成节点消息推荐。
在一种可实现方式中,未识别节点名片包括缺少设备类别信息或者设备信息不完整的节点名片。
在一种可实现方式中,对节点名片文件的完整性进行识别时,节点进行名片解析,根据各个字段解析的返回值来判断节点名片是否完整。
在一种可实现方式中,使用哈希表记录可识别节点名片的信息交互过程。
在一种可实现方式中,构建数据集具体按以下步骤进行:
边缘网关统计信息交互记录;
各节点根据自身的网络节点状态信息表掌握网络中全部节点的信息,将在信息交互记录中涉及到的目标节点作为正节点样本,未涉及到的节点作为负节点样本;
对于正节点样本、负节点样本已经推送的业务数据消息,定义各字段特征取值,构建一条样本数据;
构建多条样本数据,组成数据集。
在一种可实现方式中,逻辑回归算法使用以下公式进行计算:
Figure BDA0002993199730000021
在上式中,a0,a1,a2,…,an为节点分类模型的待学习参数,x1,x2,…,xn为各字段特征取值。
在一种可实现方式中,使用数据集通过逻辑回归算法学习模型参数,具体按以下步骤进行:
提取可识别节点名片、未识别节点名片的字段特征;
结合字段特征,根据边缘网关中收集到的各个设备之间的交互信息不断调整权重值;
当权重值收敛,得到模型参数。
在一种可实现方式中,正负节点簇表由边缘网关推送至各个节点中,同时按照正负节点簇表将未识别名片转发至全部的正节点中。
由上述技术方案可知,本发明的有益技术效果如下:
针对节点名片文件不包括设备类别信息或者类别信息不准确的情况,通过数据挖掘的方法使用逻辑回归算法,对这些节点按照业务逻辑使用其节点名片文件所包含的字段特征进行分簇。各节点根据自身所掌握的网络状态信息表,在推送消息时也将该消息内容推送至其中一个簇。当该簇中的节点需求该数据时,不需要发起数据请求,从而降低了任务处理时延,提高了任务处理的实时性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为本发明实施例1的方法流程图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限制本发明的保护范围。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例1
本实施例提供了一种基于名片文件特征的节点消息推荐方法,包括以下步骤:
对节点名片文件的完整性进行识别,得到可识别节点名片、未识别节点名片;
可识别节点名片进行设备状态信息交互;
记录可识别节点名片的信息交互过程,收集未识别节点名片,构建数据集;
使用数据集通过逻辑回归算法进行模型参数学习,得到节点分类模型;
使用节点分类模型将节点分为正节点簇和负节点簇,得到正负节点簇表;
设备根据正负节点簇表,与正节点设备进行信息交互,完成节点消息推荐。
以下对实施例1工作原理进行详细说明:
在本实施例中,节点名片是指基于协议层面向数据交换的数据结构。节点名片文件是指各个设备填充节点名片后产生的实例。如图1所示,消息推荐方法具体按以下步骤进行:
1、对节点名片文件的完整性进行识别,得到可识别节点名片、未识别节点名片
多个设备接入网络后,在整个系统启动自检的过程中,系统对节点名片文件进行识别。对节点名片文件完整的,作为可识别节点名片存入到相应的名片系统中,按照正常流程完成后续的设备状态信息交互。
如果系统发现有不能识别的节点名片(主要是指缺少设备类别信息、或者设备信息不完整的节点名片),将这些不能识别的名片作为未识别节点名片,并存入未识别节点名片链表中。在具体的实施方式中,设备类别信息可包括表1中的全部或者某些字段。节点在进行名片解析时,会根据各个字段解析的返回值来判断节点名片是否完整,比如发现返回NULL类型指针,就可将其标记为未识别节点名片,该标记可以使用1bit的标记位实现。
表1设备类别信息
Figure BDA0002993199730000041
Figure BDA0002993199730000051
2、边缘网关记录可识别节点名片的信息交互过程,收集未识别节点名片,构建数据集
边缘网关记录各个可识别节点名片的信息交互过程,记录经其(边缘网关自身)转发的可识别节点名片,设备信息以及功能信息推送到哪些设备中;记录时使用哈希表来记录各个节点的信息交互过程。
系统将存在未识别节点名片链表中的未识别节点名片推送给边缘网关,边缘网关对所有未识别名片进行收集。考虑到各个设备的计算资源以及存储资源存在一定限制,所以采用集中处理的方式,由边缘网关对这些未识别名片进行统一的存储归纳。
边缘网关使用记录的可识别节点名片的交互过程,以及收集的未识别节点名片,构建节点分类模型学习时使用的数据集。具体的,数据集构建之前,边缘网关先统计一段时间的业务消息交互记录,即向哪些节点推送了消息。
各节点根据自身的网络节点状态信息表掌握网络中全部节点的信息,将在信息交互记录中涉及到的目标节点作为正节点样本(对应y=1),未涉及到的节点作为负节点样本(y=0)。对于对于正节点样本、负节点样本已经推送的业务数据消息,定义各字段特征取值,将x1,x2,…,xn作为特征取值,将y设置为1表示消息被接收,即将(x1,x2,…,xn,1)作为一条样本,构建处一条样本数据;多条样本数据的集合即为数据集。为了保证名片分类模型的参数得到充分学习,需要统计足够多的样本。在具体的实施方式中,对于设备节点名片之间的交互信息,在交互表中通常记录上千张节点名片文件的交互信息,具体的数量大小可以由用户自定义。当样本数目充裕时,可以将数据集划分为训练集、验证集和测试集。其中训练集用于节点分类模型参数的学习,验证集用于节点分类模型参数的微调,测试集用于观察所学习到的模型分类效果。
3、使用数据集通过逻辑回归算法学习进行模型参数学习,得到节点分类模型
物联网场景下的设备功能日趋丰富,甚至不同设备产生功能交集。在这种情况下通常很难根据常识对其进行分类,强行分类很可能会造成分类结果不准确。节点名片文件作为节点的身份页,包括通信类网络状态信息以及设备功能类指令信息。对于包含温度、湿度、工作时长、交互次数以及设备类别、功能指令数等状态信息的节点名片文件,可以利用逻辑回归算法通过对特征的学习和挖掘,对待推送消息进行分类。逻辑回归算法使用如下公式进行计算:
Figure BDA0002993199730000061
在上式中,a0,a1,a2,…,an为节点分类模型待学习参数,而x1,x2,…,xn为各字段特征取值。
在对模型参数进行学习时,首先将可识别节点名片、未识别节点名片进行字段特征提取工作,对类别信息的编码使用one-hot编码进行处理。字段特征x1,x2,…,xn中每个字段特征的取值,可根据对节点名片文件中功能部分的解析得到。a0,a1,a2,…,an等参数根据边缘网关中收集到的各个设备之间的交互信息来不断的调整权重值,当权重值达到收敛之后,将最终的a0,a1,a2,…,an作为节点分类的依据。
节点分类模型的输入为各个节点名片文件包含的字段特征取值,输出y为标记值。
4、边缘网关使用节点分类模型将节点分为正节点簇和负节点簇,得到正负节点簇表
边缘网关在收到新的转发任务时,根据各个节点名片文件包含的字段特征取值,使用节点分类模型得出标记值,将网络整个划分为两类簇。在具体的实施方式中,将标记值大于0.5的节点定义为正节点簇,标记值小于等于0.5的节点定义为负节点簇。以上工作产生的分类内容,记录在一张正负节点簇表中,边缘网关将该正负节点簇表推送至各个节点中,同时按照正负节点簇表将未识别名片转发至全部的正节点中。
5、设备根据正负节点簇表,与正节点设备进行信息交互,完成节点消息推荐
根据边缘网关发来的正负节点簇表,每次节点设备自身的状态或者传感器采集到的数据信息发生更新后,可以快速的将自身的状态变化信息根据正负节点簇表推送至相应的正节点设备中;后续当这些正节点设备需要使用已推送的数据时,无需发起数据请求即可使用,降低了任务处理时延。
本实施例提供的技术方案,针对节点名片文件不包括设备类别信息或者类别信息不准确的情况,通过数据挖掘的方法使用逻辑回归算法,对这些节点按照业务逻辑使用其节点名片文件所包含的字段特征进行分簇。各节点根据自身所掌握的网络状态信息表,在推送消息时也将该消息内容推送至其中一个簇。当该簇中的节点需求该数据时,不需要发起数据请求,从而降低了任务处理时延,提高了任务处理的实时性。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种基于名片文件特征的节点消息推荐方法,其特征在于,包括以下步骤:
对节点名片文件的完整性进行识别,得到可识别节点名片、未识别节点名片;
可识别节点名片进行设备状态信息交互;
记录可识别节点名片的信息交互过程,收集未识别节点名片,构建数据集;
使用数据集通过逻辑回归算法进行模型参数学习,得到节点分类模型;
使用节点分类模型将节点分为正节点簇和负节点簇,得到正负节点簇表;
设备根据正负节点簇表,与正节点设备进行信息交互,完成节点消息推荐。
2.根据权利要求1所述的基于名片文件特征的节点消息推荐方法,其特征在于:未识别节点名片包括缺少设备类别信息或者设备信息不完整的节点名片。
3.根据权利要求1所述的基于名片文件特征的节点消息推荐方法,其特征在于:对节点名片文件的完整性进行识别时,节点进行名片解析,根据各个字段解析的返回值来判断节点名片是否完整。
4.根据权利要求1所述的基于名片文件特征的节点消息推荐方法,其特征在于:使用哈希表记录可识别节点名片的信息交互过程。
5.根据权利要求1所述的基于名片文件特征的节点消息推荐方法,其特征在于,构建数据集具体按以下步骤进行:
边缘网关统计信息交互记录;
各节点根据自身的网络节点状态信息表掌握网络中全部节点的信息,将在信息交互记录中涉及到的目标节点作为正节点样本,未涉及到的节点作为负节点样本;
对于正节点样本、负节点样本已经推送的业务数据消息,定义各字段特征取值,构建一条样本数据;
构建多条样本数据,组成数据集。
6.根据权利要求1所述的基于名片文件特征的节点消息推荐方法,其特征在于,逻辑回归算法使用以下公式进行计算:
Figure FDA0002993199720000021
在上式中,a0,a1,a2,…,an为节点分类模型的待学习参数,x1,x2,…,xn为各字段特征取值。
7.根据权利要求6所述的基于名片文件特征的节点消息推荐方法,其特征在于,使用数据集通过逻辑回归算法学习模型参数,具体按以下步骤进行:
提取可识别节点名片、未识别节点名片的字段特征;
结合字段特征,根据边缘网关中收集到的各个设备之间的交互信息不断调整权重值;
当权重值收敛,得到模型参数。
8.根据权利要求1所述的基于名片文件特征的节点消息推荐方法,其特征在于:正负节点簇表由边缘网关推送至各个节点中,同时按照正负节点簇表将未识别名片转发至全部的正节点中。
CN202110321902.5A 2021-03-25 2021-03-25 一种基于名片文件特征的节点消息推荐方法 Active CN112948687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110321902.5A CN112948687B (zh) 2021-03-25 2021-03-25 一种基于名片文件特征的节点消息推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110321902.5A CN112948687B (zh) 2021-03-25 2021-03-25 一种基于名片文件特征的节点消息推荐方法

Publications (2)

Publication Number Publication Date
CN112948687A true CN112948687A (zh) 2021-06-11
CN112948687B CN112948687B (zh) 2023-05-02

Family

ID=76226722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110321902.5A Active CN112948687B (zh) 2021-03-25 2021-03-25 一种基于名片文件特征的节点消息推荐方法

Country Status (1)

Country Link
CN (1) CN112948687B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007015459A1 (ja) * 2005-08-01 2007-02-08 Osaka University 大腸癌リンパ節転移の有無を予測するための遺伝子セット
CN107679557A (zh) * 2017-09-19 2018-02-09 平安科技(深圳)有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质
CN110148023A (zh) * 2019-05-15 2019-08-20 山大地纬软件股份有限公司 基于逻辑回归的电力积分商品推荐方法及系统
CN110990461A (zh) * 2019-12-12 2020-04-10 国家电网有限公司大数据中心 大数据分析模型算法选型方法、装置、电子设备及介质
CN111343105A (zh) * 2020-05-19 2020-06-26 上海飞旗网络技术股份有限公司 基于深度学习的断流识别方法及装置
CN111641717A (zh) * 2020-06-01 2020-09-08 重庆高开清芯智联网络科技有限公司 一种物联网系统内节点数据的管理方法
CN111967910A (zh) * 2020-08-18 2020-11-20 中国银行股份有限公司 一种用户客群分类方法和装置
CN112286703A (zh) * 2020-11-09 2021-01-29 天冕信息技术(深圳)有限公司 用户分类方法、装置、客户端设备及可读存储介质
CN112464058A (zh) * 2020-11-30 2021-03-09 上海欣方智能系统有限公司 一种基于XGBoost算法的电信互联网诈骗识别方法
CN112529114A (zh) * 2021-01-13 2021-03-19 北京云真信科技有限公司 基于gan的目标信息识别方法、电子设备和介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007015459A1 (ja) * 2005-08-01 2007-02-08 Osaka University 大腸癌リンパ節転移の有無を予測するための遺伝子セット
CN107679557A (zh) * 2017-09-19 2018-02-09 平安科技(深圳)有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质
CN110148023A (zh) * 2019-05-15 2019-08-20 山大地纬软件股份有限公司 基于逻辑回归的电力积分商品推荐方法及系统
CN110990461A (zh) * 2019-12-12 2020-04-10 国家电网有限公司大数据中心 大数据分析模型算法选型方法、装置、电子设备及介质
CN111343105A (zh) * 2020-05-19 2020-06-26 上海飞旗网络技术股份有限公司 基于深度学习的断流识别方法及装置
CN111641717A (zh) * 2020-06-01 2020-09-08 重庆高开清芯智联网络科技有限公司 一种物联网系统内节点数据的管理方法
CN111967910A (zh) * 2020-08-18 2020-11-20 中国银行股份有限公司 一种用户客群分类方法和装置
CN112286703A (zh) * 2020-11-09 2021-01-29 天冕信息技术(深圳)有限公司 用户分类方法、装置、客户端设备及可读存储介质
CN112464058A (zh) * 2020-11-30 2021-03-09 上海欣方智能系统有限公司 一种基于XGBoost算法的电信互联网诈骗识别方法
CN112529114A (zh) * 2021-01-13 2021-03-19 北京云真信科技有限公司 基于gan的目标信息识别方法、电子设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HARIKUMAR RAJAGURU ET AL.: "Expectation maximization based logistic regression for breast cancer classification", 《2017 INTERNATIONAL CONFERENCE OF ELECTRONICS, COMMUNICATION AND AEROSPACE TECHNOLOGY》 *
胡俊宇: "基于物理层信息的异构无线网络调度算法", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
郝志峰 等: "基于图编码网络的社交网络节点分类方法", 《计算机应用》 *

Also Published As

Publication number Publication date
CN112948687B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
WO2020119430A1 (zh) 协议接口测试方法、装置、计算机设备和存储介质
US9690842B2 (en) Analyzing frequently occurring data items
CN113949577A (zh) 一种应用于云服务的数据攻击分析方法及服务器
CN102420723A (zh) 一种面向多类入侵的异常检测方法
CN107769992B (zh) 一种报文解析分流方法及装置
US20200394448A1 (en) Methods for more effectively moderating one or more images and devices thereof
CN113762377A (zh) 网络流量识别方法、装置、设备及存储介质
CN113486983A (zh) 一种用于反欺诈处理的大数据办公信息分析方法及系统
CN114650229A (zh) 基于三层模型sftf-l的网络加密流量分类方法与系统
CN104933077A (zh) 基于规则的多文件信息分析方法
US20240022507A1 (en) Information flow recognition method, network chip, and network device
CN112925964A (zh) 基于云计算服务的大数据采集方法及大数据采集服务系统
CN112948687B (zh) 一种基于名片文件特征的节点消息推荐方法
CN115495498B (zh) 数据关联方法、系统、电子设备及存储介质
CN111444362A (zh) 恶意图片拦截方法、装置、设备和存储介质
CN111224890A (zh) 一种云平台的流量分类方法、系统及相关设备
CN115795368A (zh) 一种基于人工智能的企业内训数据处理方法及系统
CN109918277A (zh) 电子装置、系统日志聚类分析结果的评价方法及存储介质
CN114676420A (zh) 结合ai和大数据的云办公信息处理方法及服务器
CN112818040A (zh) 一种结合大数据的用户行为分析方法及信息处理服务器
WO2020020358A1 (zh) 一种确定驻留时长的方法、装置、设备及存储介质
CN114257526A (zh) 一种带内遥测系统、方法和装置
CN112235367A (zh) 一种实体行为关系消息订阅方法、系统、终端及存储介质
CN115396319B (zh) 数据流分片方法、装置、设备及存储介质
CN116805926B (zh) 网络业务类型识别模型训练方法、网络业务类型识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant