CN112528685A - 基于动态附加布隆过滤器的rfid数据冗余处理方法 - Google Patents

基于动态附加布隆过滤器的rfid数据冗余处理方法 Download PDF

Info

Publication number
CN112528685A
CN112528685A CN202011456582.6A CN202011456582A CN112528685A CN 112528685 A CN112528685 A CN 112528685A CN 202011456582 A CN202011456582 A CN 202011456582A CN 112528685 A CN112528685 A CN 112528685A
Authority
CN
China
Prior art keywords
trbf
data
time
tagid
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011456582.6A
Other languages
English (en)
Other versions
CN112528685B (zh
Inventor
段雯
周良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011456582.6A priority Critical patent/CN112528685B/zh
Publication of CN112528685A publication Critical patent/CN112528685A/zh
Application granted granted Critical
Publication of CN112528685B publication Critical patent/CN112528685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/0008—General problems related to the reading of electronic memory record carriers, independent of its reading method, e.g. power transfer

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种基于动态附加布隆滤波器的冗余数据处理方法，该方法可用于过滤RFID动态数据流中的冗余数据。在进行RFID冗余数据判断时，首先利用标签号、时间和阅读器因素的影响设计了基础布隆过滤器(TRBF)，然后根据定时间区间内数据量变化动态决定是否附加额外的TRBF或者调节已有的附加TRBF，通过附加TRBF扩充位数组将误判率控制在阈值内，最后结合两个过滤器对数据进行综合判断并更新相应的布隆过滤器单元，丢弃冗余数据，保存非冗余数据。实验结果表明该算法能够长时间过滤RFID动态数据流中的冗余数据，提高数据质量。它的先进性主要体现能够在数据量持续上升时保持平稳的低误判率。

Description

基于动态附加布隆过滤器的RFID数据冗余处理方法
技术领域
本发明属于数据预处理技术领域，尤其是一种基于RFID采集的实时数据的冗余过滤方法。
背景技术
随着物联网技术与制造业的深度结合，基于物联网的实时数据采集技术正在改变着智能装备、智能车间等各制造企业的生产模式。RFID技术作为下一代制造系统中关键的先进制造技术，被认为是提高可视性和提高效率最有前景的技术创新之一，它作为一种非接触式采集处理信息的自动识别技术，能够有效感知制造车间动态信息，如监测车间生产加工状态、优化物流仓储控制以及智能定位跟踪货物等。同时RFID信息采集技术具有实时性和快速性，满足车间可视化监控、实时调度、产品历史信息追溯等需求。随着物联网技术的发展，在离散制造过程中应用RFID技术成为制造业发展的必然趋势。
传感器和RFID采集的数据通常是关于车间生产环境监控、产品加工数据、运行设备状态、车间产品物流监测等相关的信息，这些数据通常有严格的实时性要求。为了保证采集的准确，传感器和RFID的采集频率非常高，且为了防止标签移动太快造成数据丢失，会在同一区域部署多个阅读器，这就导致的采集数据量规模巨大且质量低下。同时，由于RFID的工作方式，同一个标签长时间停留在某一固定读写器的范围内,会被多次读取，所以产生了大量的重复、无效的数据。
这些数据被采集后需要进行实时传输、存储并送到上层应用进行计算分析，如此，大量的冗余数据会造成存储空间的浪费，影响上层程序的分析和判断，给企业的决策造成无法预计的后果，如何对这些冗余的数据进行过滤成为了一个迫切需要研究的问题。面对这样的挑战，布隆过滤器提供了很好的解决方法，利用布隆过滤器可以快速判别数据是否曾经被采集过。然而由于传统布隆过滤器在数据量过大时误判率很高，如何改进布隆过滤器使其能够无法长时间处理RFID数据流，在数据量上升时仍保持较低的误判率是目前迫切需要解决的问题。
发明内容
发明目的：针对RFID在读取数据时产生大量的冗余重复数据和现有的处理技术随着数据量的上升误判率也会上升的问题，提出一种设计合理、快速准确且效率高的基于动态附加布隆过滤器的RFID数据冗余处理方法。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于动态附加布隆过滤器的RFID数据冗余处理方法，如图2所示，包括如下步骤：
步骤一：接收新数据x；
步骤二：判断是否存在附加TRBF，若存在则转步骤三，若不存在则转步骤五；
步骤三：将x的标签编号x.tagid经过哈希函数分别映射到附加TRBF的l个数组单元；
步骤四：附加TRBF判断x是否冗余，若是则转步骤八，若不是则转步骤五；
步骤五：将x.tagid经过哈希函数分别映射到TRBF的k个数组单元；
步骤六：TRBF判断x是否冗余，若是则转入步骤八，若不是则将x递交上层应用并转入步骤七；
步骤七：将x.tagid、x的读取时间x.time和x的阅读器编号x.readerid分别更新到TRBF的k个单元和附加TRBF的l个单元；
步骤八：丢弃x；
步骤九：判断是否达到设定的时间阈值，若未达到则转步骤一，若达到则转步骤十；
步骤十：判断本轮时间区间内的数据量是否达到阈值，若未达到则撤销已有的附加TRBF，若达到则计算附加TRBF位数组的大小，启动附加TRBF；
步骤十一：判断是否所有数据均已接收，若否则转第一步。
进一步，步骤四中附加TRBF判断x是否冗余的方法为：
若映射的附加TRBF的l个数组单元中存在一个数据y使得TRBFb[hi(x.tagid)].tagid＝x.tagid、x.time-TRBFb[hi(x.tagid)].time≤τ(x.time＞TRBFb[hi(x.tagid)].time)以及x.readerid与TRBFb[hi(x.tagid)].readerid属于同一个划分区域同时成立，则x为冗余数据；
其中，l为附加TRBF的哈希函数个数；TRBFb为附加TRBF三维数组，表示为TRBFb[tagid][time][readerid]，hi(·)表示第i个哈希函数，τ表示设定的时间阈值，TRBFb[hi(x.tagid)].tagid、TRBFb[hi(x.tagid)].time和TRBFb[hi(x.tagid)].readerid分别表示x.tagid经过hi(·)映射到TRBFb数组的相应位置的标签编号、时间和阅读器编号。
进一步，步骤六中TRBF判断数据x是否冗余的方法为：
若映射的TRBF的k个位置中存在一个数据y使得TRBFa[hi(x.tagid)].tagid＝x.tagid、x.time-TRBFa[hi(x.tagid)].time≤τ(x.time＞TRBFa[hi(x.tagid)].time)以及x.readerid与TRBFa[hi(x.tagid)].readerid属于同一个划分区域同时成立，则x为冗余数据；
其中，k为TRBF的哈希函数个数；TRBFa为TRBF的三维数组，表示为TRBFa[tagid][time][readerid]；hi(·)表示第i个哈希函数，τ表示设定的时间阈值，TRBFa[hi(x.tagid)].tagid，TRBFa[hi(x.tagid)].time和TRBFa[hi(x.tagid)].readerid分别表示x.tagid经过hi(·)映射到TRBFa数组的相应位置的标签编号、时间和阅读器编号。
进一步，步骤十中计算附加TRBF位数组的大小的方法为：
Figure BDA0002828906380000031
其中，madd为附加TRBF位数组大小，m0为最大误判率情况下的位空间大小，n′0为最大误判率容许的最大非冗余数据大小，n′1为相比上轮时间区间数据增长后的非冗余数据数量。
进一步地，步骤十中计算附加TRBF位数组的大小的方法为：
Figure BDA0002828906380000032
其中，madd为附加TRBF位数组大小，m0为系统保证最大误判率的位空间大小，n′0为系统最大误判率容许的最大非冗余数据大小，也就是非冗余数据阈值，n′1为比上轮时间区间数据增长后的非冗余数据数量。
有益效果：本发明在数据预处理领域中的应用体现了其高效准确性。在数据量持续不断到达的情况下，根据数据的唯一标签号、读取到的时间和阅读器编号对数据的影响进行冗余过滤，提高数据质量。整个数据预处理的过程利用少量的空间来处理大量的数据，无需保存所有的数据就可以进行冗余判别，使判断结果更加快速。通过监测时间阈值内的数据量动态调整布隆过滤器的位数组大小，能够将误判率控制在较低的范围内，保证冗余判断的准确性。对RFID数据的冗余过滤减小了实时传输的压力，避免存储空间的浪费，提高上层应用分析的准确性。
附图说明
图1为本发明DATRBF算法数据结构设计图；
图2为本发明DATRBF算法总体流程图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
本发明环境为Visio Studio 2017。
首先，根据图1的结构设置基础布隆过滤器(TRBF)，TRBF由k个独立的哈希函数一个三维数组构成，数组初始化为0，三个维度分别表示标签编号、读取时间和读取该数据的阅读器编号。
然后，接收一个新数据x并对x进行冗余判断，判断的内容包括：
(1)根据上一轮时间区间内统计的数据总量判断是否超过设定的阈值，若超过则计算出合适的哈希函数个数l和附加TRBF位数组的大小，设置附加TRBF；若不超过则只使用TRBF，并撤销上一轮时间区间的附加TRBF。
(2)如果不存在附加TRBF，则转入(4)直接进行TRBF判断；若存在附加TRBF，则将数据x的标签编号x.tagid进行l次独立哈希映射到附加TRBF中，转入(3)。
(3)若附加TRBF存在一个数据y得以下三个条件同时成立：TRBFb[hi(x.tagid)].tagid＝x.tagid、x.time-TRBFb[hi(x.tagid)].time≤τ(x.time＞TRBFb[hi(x.tagid)].time)以及x.readerid与TRBFb[hi(x.tagid)].readerid属于同一个划分区域，则说明数据x为冗余数据，删除该数据。更新附加TRBF数组的l个单元的标签信息、时间信息和阅读器信息，即TRBFb[tagid]＝x.tagid,TRBFb[time]＝x.time,TRBFb[readerid]＝x.readerid。
(4)根据x的标签编号x.tagid进行k次独立哈希映射到TRBF中。
(5)TRBF的判断方法与附加TRBF一致，如果TRBF判定数据x为冗余数据，则删除该数据。否则结合附加TRBF的判断结果，两个过滤器均判为非冗余数据则最终判定数据x非冗余。最后更新TRBF数组的k个单元的标签信息、时间信息和阅读器信息，即TRBFa[tagid]＝x.tagid,TRBFa[time]＝x.time,TRBFa[readerid]＝x.readerid。
(6)在这一轮时间区间结束后，根据本轮数据总量判断下一轮是增加或调节过滤器还是撤销已有的附加过滤器。
(7)最后判断是否所有的数据都已接收完毕，接收完毕则整个流程判断结束，否则重新接收新数据。

Claims (4)

1.一种基于动态附加布隆过滤器的RFID数据冗余处理方法，其特征在于，包括如下步骤：
步骤一：接收新数据x；
步骤二：判断是否存在附加TRBF，若存在则转步骤三，若不存在则转步骤五；
步骤三：将x的标签编号x.tagid经过哈希函数分别映射到附加TRBF的l个数组单元；
步骤四：附加TRBF判断x是否冗余，若是则转步骤八，若不是则转步骤五；
步骤五：将x.tagid经过哈希函数分别映射到TRBF的k个数组单元；
步骤六：TRBF判断x是否冗余，若是则转入步骤八，若不是则转入步骤七；
步骤七：将x.tagid、x的读取时间x.time和x的阅读器编号x.readerid分别更新到TRBF的k个单元和附加TRBF的l个单元；
步骤八：丢弃x；
步骤九：判断是否达到设定的时间阈值，若未达到则转步骤一，若达到则转步骤十；
步骤十：判断本轮时间区间内的数据量是否达到阈值，若未达到则撤销已有的附加TRBF，若达到则计算附加TRBF位数组的大小，启动附加TRBF；
步骤十一：判断是否所有数据均已接收，若否则转第一步。
2.根据权利要求1所述的一种基于动态附加布隆过滤器的RFID数据冗余处理方法，其特征在于，步骤四中附加TRBF判断x是否冗余的方法为：
若映射的附加TRBF的l个数组单元中存在一个数据y使得TRBFb[hi(x.tagid)].tagid＝x.tagid、x.time-TRBFb[hi(x.tagid)].time≤τ(x.time＞TRBFb[hi(x.tagid)].time)以及x.readerid与TRBFb[hi(x.tagid)].readerid属于同一个划分区域同时成立，则x为冗余数据；
其中，l为附加TRBF的哈希函数个数；TRBFb为附加TRBF三维数组，表示为TRBFb[tagid][time][readerid]，hi(·)表示第i个哈希函数，τ表示设定的时间阈值，TRBFb[hi(x.tagid)].tagid、TRBFb[hi(x.tagid)].time和TRBFb[hi(x.tagid)].readerid分别表示x.tagid经过hi(·)映射到TRBFb数组的相应位置的标签编号、时间和阅读器编号。
3.根据权利要求1所述的一种基于动态附加布隆过滤器的RFID数据冗余处理方法，其特征在于，步骤六中TRBF判断数据x是否冗余的方法为：
若映射的TRBF的k个位置中存在一个数据y使得TRBFa[hi(x.tagid)].tagid＝x.tagid、x.time-TRBFa[hi(x.tagid)].time≤τ(x.time＞TRBFa[hi(x.tagid)].time)以及x.readerid与TRBFa[hi(x.tagid)].readerid属于同一个划分区域同时成立，则x为冗余数据；
其中，k为TRBF的哈希函数个数；TRBFa为TRBF的三维数组，表示为TRBFa[tagid][time][readerid]；hi(·)表示第i个哈希函数，τ表示设定的时间阈值，TRBFa[hi(x.tagid)].tagid，TRBFa[hi(x.tagid)].time和TRBFa[hi(x.tagid)].readerid分别表示x.tagid经过hi(·)映射到TRBFa数组的相应位置的标签编号、时间和阅读器编号。
4.根据权利要求1所述的一种基于动态附加布隆过滤器的RFID数据冗余处理方法，其特征在于，步骤十中计算附加TRBF位数组的大小的方法为：
Figure FDA0002828906370000021
其中，madd为附加TRBF位数组大小，m0为最大误判率情况下的位空间大小，n′0为最大误判率容许的最大非冗余数据大小，n′1为相比上轮时间区间数据增长后的非冗余数据数量。
CN202011456582.6A 2020-12-10 2020-12-10 基于动态附加布隆过滤器的rfid数据冗余处理方法 Active CN112528685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011456582.6A CN112528685B (zh) 2020-12-10 2020-12-10 基于动态附加布隆过滤器的rfid数据冗余处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011456582.6A CN112528685B (zh) 2020-12-10 2020-12-10 基于动态附加布隆过滤器的rfid数据冗余处理方法

Publications (2)

Publication Number Publication Date
CN112528685A true CN112528685A (zh) 2021-03-19
CN112528685B CN112528685B (zh) 2022-04-08

Family

ID=74999002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011456582.6A Active CN112528685B (zh) 2020-12-10 2020-12-10 基于动态附加布隆过滤器的rfid数据冗余处理方法

Country Status (1)

Country Link
CN (1) CN112528685B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116599A (zh) * 2012-11-30 2013-05-22 浙江工商大学 一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法
CN103345472A (zh) * 2013-06-04 2013-10-09 北京航空航天大学 基于有限二叉树布隆过滤器的去冗文件系统及其构建方法
US20150363704A1 (en) * 2014-06-11 2015-12-17 Apple Inc. Dynamic Bloom Filter Operation for Service Discovery
CN105938480A (zh) * 2016-04-07 2016-09-14 重庆大学 一种基于dtbf的rfid冗余数据清洗方法及系统
CN111930923A (zh) * 2020-07-02 2020-11-13 上海微亿智造科技有限公司 布隆过滤器系统及过滤方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116599A (zh) * 2012-11-30 2013-05-22 浙江工商大学 一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法
CN103345472A (zh) * 2013-06-04 2013-10-09 北京航空航天大学 基于有限二叉树布隆过滤器的去冗文件系统及其构建方法
US20150363704A1 (en) * 2014-06-11 2015-12-17 Apple Inc. Dynamic Bloom Filter Operation for Service Discovery
CN105938480A (zh) * 2016-04-07 2016-09-14 重庆大学 一种基于dtbf的rfid冗余数据清洗方法及系统
CN111930923A (zh) * 2020-07-02 2020-11-13 上海微亿智造科技有限公司 布隆过滤器系统及过滤方法

Also Published As

Publication number Publication date
CN112528685B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
Sun et al. Multiclassification of tool wear with support vector machine by manufacturing loss consideration
CN107877262A (zh) 一种基于深度学习的数控机床刀具磨损监测方法
CN106599915B (zh) 一种车载激光点云分类方法
CN103488561B (zh) 一种在线升级主样本模型的kNN故障检测方法
CN103544499A (zh) 一种基于机器视觉的表面瑕疵检测的纹理特征降维方法
CN102855457A (zh) 一种基于智能预测的门形rfid多天线部署系统及方法
CN104009886A (zh) 基于支持向量机的入侵检测方法
CN111352113A (zh) 一种强对流天气短临预报方法及系统、存储介质和终端
CN116061006B (zh) 一种刀具监控方法、装置、设备及介质
CN115576267B (zh) 一种基于数字孪生的轮毂机加工尺寸误差修正方法
CN111050282A (zh) 一种多次模糊推理加权knn定位方法
CN112528685B (zh) 基于动态附加布隆过滤器的rfid数据冗余处理方法
CN103020689A (zh) 一种基于几何图形的物件孔形码识别方法
CN101826070A (zh) 一种基于关键点的数据序列线性拟合方法
CN117668583A (zh) 一种基于人工智能投资研究的投资优化方法
CN103336963A (zh) 一种图像特征提取的方法及装置
CN113052265A (zh) 基于特征选择的移动对象轨迹简化算法
CN110874601B (zh) 识别设备运行状态的方法、状态识别模型训练方法及装置
CN111294054B (zh) 一种服务于工业互联数据采集存储的压缩方法
CN116109668A (zh) 一种点云目标跟踪识别方法及激光雷达
CN116403204B (zh) 一种圆形指针表智能读数的方法
Li et al. Optimization of RFID reading performance based on YOLOv3 and Elman neural network
CN116450592B (zh) 一种基于工业大数据特征的工况自适应压缩方法及系统
CN116910595B (zh) 一种水工环生态修复数据的高效存储方法
CN117684243B (zh) 一种智能电镀控制系统及控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant