CN116578758B - 一种rfid数据采集数据处理方法 - Google Patents
一种rfid数据采集数据处理方法 Download PDFInfo
- Publication number
- CN116578758B CN116578758B CN202310847594.9A CN202310847594A CN116578758B CN 116578758 B CN116578758 B CN 116578758B CN 202310847594 A CN202310847594 A CN 202310847594A CN 116578758 B CN116578758 B CN 116578758B
- Authority
- CN
- China
- Prior art keywords
- data
- tag data
- stored
- target
- tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
- G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Storage Device Security (AREA)
Abstract
本发明涉及数据处理技术领域,具体涉及一种RFID数据采集数据处理方法,包括:在预设时间段内获取RFID数据的待存储标签数据和对应的身份数据;利用布隆过滤器根据待存储标签数据对应的身份数据对待存储标签数据进行过滤,判断是否对待存储标签数据进行存储;若否,则根据待存储标签数据以及布隆过滤器中与身份数据其相同的历史标签数据之间的内容差异和时间差异以及损耗差异,得到待存储标签数据的完整程度;根据待存储标签数据的完整程度判断是否对历史标签数据进行替换,并根据已经存储的标签数据对应的身份数据的哈希值,对布隆过滤器的哈希表进行更新。本发明使得整个RFID数据采集过程更加高效准确。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种RFID数据采集数据处理方法。
背景技术
射频识别(Radio Frequency Identification,RFID)技术是一种无接触的自动识别技术,已经被广泛应用于防伪识别、票务交通和定位跟踪等领域。RFID数据流具有获取速度快、信息量大和数据不稳定等特点,RFID应用系统尤其是实时监听系统要求快速获取数据和高效处理数据,因此对RFID数据中的冗余数据进行分辨筛选就显得尤为重要。
现有技术中对RFID数据进行处理是采用布隆过滤器对冗余数据进行过滤,该方法可以保证在接收过一次某身份数据下的标签数据后,不再接收来自该身份数据下的其他标签数据,从而达成对冗余信息进行过滤的目的。但是由于电信号在传播的过程中可能受到噪声的干扰,使得第一次接收到的数据信息完整性较差,进而导致需要对该身份数据下的数据信息进行重读处理,影响数据读取的效率。
发明内容
为了解决布隆过滤器受噪声干扰导致数据读取的效率较低的技术问题,本发明的目的在于提供一种RFID数据采集数据处理方法,所采用的技术方案具体如下:
在预设时间段内获取RFID数据的待存储标签数据和对应的身份数据;
利用布隆过滤器根据待存储标签数据对应的身份数据对待存储标签数据进行过滤,判断是否对待存储标签数据进行存储;
若否,则根据待存储标签数据以及布隆过滤器中与身份数据其相同的历史标签数据之间的内容差异和时间差异以及损耗差异,得到待存储标签数据的完整程度;
根据待存储标签数据的完整程度判断是否对历史标签数据进行替换,并根据已经存储的标签数据对应的身份数据的哈希值,对布隆过滤器的哈希表进行更新。
优选地,所述根据待存储标签数据以及布隆过滤器中与身份数据其相同的历史标签数据之间的内容差异和时间差异以及损耗差异,得到待存储标签数据的完整程度,具体包括:
将任意一个不需要进行存储的待存储标签数据记为目标标签数据,在布隆过滤器中将身份数据与目标标签数据的身份数据相同的历史标签数据,记为目标历史标签数据;
根据目标标签数据和目标历史标签数据之间的内容差异,得到第一权值;根据目标标签数据和目标历史标签数据之间的损耗差异,得到第二权值;根据目标标签数据和目标历史标签数据之间的时间差异,得到第三权值;
根据第一权值与第二权值、第三权值得到目标标签数据的完整程度,所述第二权值与完整程度呈正相关关系,所述第一权值和第三权值均与完整程度呈负相关关系。
优选地,所述根据目标标签数据和目标历史标签数据之间的内容差异,得到第一权值,具体包括:
获取目标标签数据和目标历史标签数据中相同的字符数量记为第一数量,将目标标签数据中与目标历史标签数据不相同的字符数量记为第二数量,将目标历史标签数据中与目标标签数据不相同的字符数量记为第三数量;
计算标签数据中的最大字符数量与第一数量的差值,将第二数量与第三数量中的最大值与最小值的比值记为第一比值,根据所述差值和第一比值得到第一权值;所述差值、第一比值均与第一权值呈正相关关系。
优选地,所述根据目标标签数据和目标历史标签数据之间的损耗差异,得到第二权值,具体包括:
分别获取目标标签数据和目标历史标签数据的信噪比,将目标标签数据的信噪比与目标历史标签数据的信噪比之间的比值的归一化值,作为第二权值。
优选地,所述根据目标标签数据和目标历史标签数据之间的时间差异,得到第三权值,具体包括:
将采集目标标签数据和目标历史标签数据时对应的时刻之间的差值绝对值作为第三权值。
优选地,所述根据待存储标签数据的完整程度判断是否对历史标签数据进行替换具体为:
若待存储标签数据的完整程度大于预设的程度阈值,则将布隆过滤器中身份数据与该待存储标签数据的身份数据相同的历史标签数据,替换为该待存储标签数据;
若待存储标签数据的完整程度小于或者等于预设的程度阈值,则不进行标签数据的替换。
优选地,所述利用布隆过滤器根据待存储标签数据对应的身份数据对待存储标签数据进行过滤,判断是否对待存储标签数据进行存储,具体包括:
将任意一个待存储标签数据记为选定标签数据,将选定标签数据对应的身份数据记为选定身份数据,对选定身份数据进行哈希运算获得对应的哈希值,利用选定身份数据对应的哈希值在布隆过滤器的哈希表中查找;
若选定身份数据的哈希值在布隆过滤器的哈希表中对应位置存在取值为0的情况,则对选定标签数据进行存储;若选定身份数据的哈希值在布隆过滤器的哈希表中对应位置不用存在取值为0的情况,则不对选定标签数据进行存储。
优选地,所述在预设时间段内获取RFID数据的待存储标签数据和对应的身份数据具体为:
在设定时间段内采集RFID数据,将RFID数据中的ID代码作为待存储标签数据,将RFID数据中的UID码作为待存储标签数据对应的身份数据。
本发明实施例至少具有如下有益效果:
本发明首先获取RFID数据的待存储标签数据和对应的身份数据,以便后续将身份数据作为对RFID数据中的待存储标签数据进行过滤时的查找数据,进而对待存储标签数据进行查找时的速率更加高效,判断是否需要对待存储标签数据进行存储时的效果更佳。在利用布隆过滤器对待存储标签数据进行冗余处理的基础上,通过对比同种身份数据下的待存储标签数据的完整程度,判断是否需要对历史标签数据进行替换操作,筛选出所有读取到的同种身份数据下的最完整的待存储标签数据,并更新布隆过滤器中的哈希表,从而在快速处理大量冗余数据的同时,保留了最完整的待存储标签数据,使得整个RFID数据采集过程更加高效准确,降低数据重读率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明一种RFID数据采集数据处理方法的方法流程图;
图2是本发明中实施例中的布隆过滤器哈希表的结构示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种RFID数据采集数据处理方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种RFID数据采集数据处理方法的具体方案。
实施例:
本发明的主要目的是:本发明在利用布隆过滤器对待存储标签数据进行冗余处理的基础上,通过对比同种身份数据下的待存储标签数据的完整性,筛选出所有读取到的同种身份数据下的最完整的待存储标签数据,并对其进行上传操作,从而在快速处理大量冗余数据的同时,保留了最完整的待存储标签数据,使得整个RFID数据采集过程更加高效准确,降低数据重读率。
本发明所针对的具体场景为:布隆过滤使用哈希表来存储已经读取后的数据,并通过哈希表中的状态和新读取数据的哈希值来判断是否已经存在新读取数据,不存在则存入且更新哈希表,存在则认定新读取数据为冗余数据,将其丢弃。虽然该过滤器在一定程度上解决了冗余数据问题,由于电信号在传播时可能受到噪声干扰,可能存入的数据为不完整数据,导致后续数据处理进展困难。本发明在布隆过滤器查找机制的基础上,引入完整性检测,对数据进行冗余处理,从而做到对冗余数据的丢弃处理,同时,对同种身份数据下的最完整的待存储标签数据进行保留上传操作,从而节省布隆过滤器内部空间且提升了收集到数据的可用性。
请参阅图1,其示出了本发明一个实施例提供的一种RFID数据采集数据处理方法的方法流程图,该方法包括以下步骤:
步骤一,在预设时间段内获取RFID数据的待存储标签数据和对应的身份数据。
本发明实施例主要是针对RFID标签的冗余数据进行处理,首先需要采集一定时间段内布隆过滤器中的读写器所读取到的所有RFID的标签信息,RFID的标签中需要写入的数据通常包括ID代码和UID码等。
ID代码标识对象身份代码,在RFID系统中,标识对象的ID代码是必须写入的基本数据。UID码是RFID标签的产品型号及序列号等标签自身属性数据,是标签身份代码。在标签出厂检验时,由标签制造商写入。UID码与标识对象无关,UID码不需要用户参与写入,但由于其代码是唯一的,用户可将其应用于系统的防伪和防盗码功能。
基于此,将具有唯一性的UID码作为RFID数据中的身份数据,将具有基础性的ID代码作为RFID数据中的标签数据,进行对每个标签数据的冗余情况进行过滤分析。具体地,在设定时间段内采集RFID数据,将RFID数据中的ID代码作为待存储标签数据,将RFID数据中的UID码作为待存储标签数据对应的身份数据。
其中,设定时间段的时间长度的取值可以是1h,实施者也可以根据具体实施场景进行设置。进而采集到的每个待存储标签数据均存在对应的时间特征,即存在对应的数据采集时刻,且每一个待存储标签数据均对应了一个身份数据。
步骤二,利用布隆过滤器根据待存储标签数据对应的身份数据对待存储标签数据进行过滤,判断是否对待存储标签数据进行存储。
利用布隆过滤器根据待存储标签数据对应的身份数据对待存储标签数据进行过滤时,首先需要对待存储标签数据对应的身份数据进行哈希计算,将计算得到的哈希值与布隆过滤器中的哈希表进行比对查找,若查找不到相应的数据,将该待存储标签数据直接存入布隆过滤器缓存,并将其对应的身份数据的记录记入哈希表。否则的话,在布隆过滤器缓存中查找到与待存储标签数据的身份数据相同的历史标签数据,对历史标签数据和待存储标签数据进行数据特征的完整性分析,将完整性较低的标签数据作为冗余数据进行丢弃处理。
基于此,将任意一个待存储标签数据记为选定标签数据,将选定标签数据对应的身份数据记为选定身份数据,对选定身份数据进行哈希运算获得对应的哈希值,利用选定身份数据对应的哈希值在布隆过滤器的哈希表中查找;若选定身份数据的哈希值在布隆过滤器的哈希表中对应位置存在取值为0的情况,则对选定标签数据进行存储;若选定身份数据的哈希值在布隆过滤器的哈希表中对应位置不用存在取值为0的情况,则不对选定标签数据进行存储。
具体地,为了最大限度降低发生哈希碰撞所导致的过滤器误判现象,在本实施例中,采用三个哈希函数对身份数据进行哈希运算,同时,采用长度为8的哈希数组作为布隆过滤器的哈希表,如图2,其示出了本实施例中布隆过滤器哈希表的结构示意图。实施者可根据具体实施场景进行设置。
图2中,S1和S2表示布隆过滤器中历史标签数据对应的身份数据,D1和D2表示待存储标签数据对应的身份数据,通过该哈希表查找布隆过滤器中是否包含待存储标签数据对应的身份数据时,通过哈希值查找指定位置,在指定位置中任意一个位置为0时,说明布隆过滤器缓存中不存在该身份数据下对应的待存储标签数据,若在指定位置中的每一个位置处的数值均不为0,则表示布隆过滤器缓存中存在该身份数据下对应的待存储标签数据。例如,图2中的D1对应的三个位置处的数值分别为1、0和1,存在一个位置为0,则说明布隆过滤器缓存中不存在身份数据D1对应的待存储标签数据。图2中的D2对应的三个位置处的数数值分别为1、1和2,均不存在为0的情况,则说明布隆过滤器缓存中存在身份数据D2对应的待存储标签数据。
进一步的,对于布隆过滤器中不存在的身份数据D1对应的待存储标签数据,将该待存储数据存入布隆过滤器缓存中,同时将身份数据D1在哈希表中对应的三个位置的数值都加一。对于布隆过滤器缓存中存在的身份数据D2对应的待存储标签数据,需要对该待存储标签数据的完整性进行分析,同时需要对在布隆过滤器中身份数据D2下的历史标签数据的完整性进行分析。
需要说明的是,当哈希表中所有位置的数值均不为0时,此时哈希表就失去了列查找功能,故在本实施例中使用的是可删除的流动式布隆过滤器,数据一直在流动中,即被送入发送窗口的历史标签数据需要将该历史标签数据对应的身份数据在哈希表中对应位置的数值进行删除操作,即若某一个历史标签数据呗发送到发送窗口,则将该历史标签数据对应的身份数据在哈希表中指定位置处的数值均减一。
步骤三,若否,则根据待存储标签数据以及布隆过滤器中与身份数据其相同的历史标签数据之间的内容差异和时间差异以及损耗差异,得到待存储标签数据的完整程度。
在布隆过滤器缓存中查找到与待存储标签数据的身份数据相同的历史标签数据,对历史标签数据和待存储标签数据进行数据特征的完整性分析,将完整性较低的标签数据作为冗余数据进行丢弃处理。基于此,本实施例通过三个方面对历史标签数据和待存储标签数据的完整性进行比对分析,即根据待存储标签数据以及布隆过滤器中与身份数据其相同的历史标签数据之间的内容差异和时间差异以及损耗差异,得到待存储标签数据的完整程度。
首先,根据不需要进行存储的待存储标签数据与历史标签数据之间的内容重复程度差异情况,对两者的数据完整性进行分析。在本实施例中,以不需要进行存储的待存储标签数据为例进行说明。即将任意一个不需要进行存储的待存储标签数据记为目标标签数据,在布隆过滤器中将身份数据与目标标签数据的身份数据相同的历史标签数据,记为目标历史标签数据。
获取目标标签数据和目标历史标签数据中相同的字符数量记为第一数量,将目标标签数据中与目标历史标签数据不相同的字符数量记为第二数量,将目标历史标签数据中与目标标签数据不相同的字符数量记为第三数量;计算标签数据中的最大字符数量与第一数量的差值,将第二数量与第三数量中的最大值与最小值的比值记为第一比值,根据所述差值和第一比值得到第一权值;所述差值、第一比值均与第一权值呈正相关关系。
在本实施例中,第一权值的计算公式可以表示为:
其中,表示第一权值,/>表示第二数量,即目标标签数据中与目标历史标签数据不相同的字符数量;/>表示第三数量,即目标历史标签数据中与目标标签数据不相同的字符数量;/>表示标签数据中的最大字符数量,/>表示第一数量,即目标标签数据和目标历史标签数据中相同的字符数量,/>表示以/>为底的对数函数,exp()表示以自然常数e为底的指数函数,max()表示求最大值的函数,min()表示求最小值的函数。
为第一比值,表示在目标标签数据中独有的字符数量,以及目标历史标签数据中独有的字符数量,两者之间的较大值与较小值的比值,第一比值反映了目标标签数据中独有的字符与目标历史标签数据中独有的字符之间的差异情况,第一比值的取值越大,说明两者之间的差异越大,对应的第一权值的取值越大。
反映了最大字符数量与两者相同的字符数量之间的差异情况,差值的取值越大,说明目标标签数据与目标历史标签数据中相同的字符的数量越小,进而说明目标历史标签数据中字符的完整性越差,对应的第一权值的取值越大。第一权值从内容性差异方面反应了目标标签数据的完整性情况,第一权值的取值越大,说明在内容性差异方面目标标签数据的完整性越差。
需要说明的是,在本实施例中,所有的标签数据均是由字符组成,故在获取两个不同的标签数据之间的内容差异情况时,可以通过统计不同的标签数据中相同的字符的数量进行表征。同时,所有标签数据中的最大字符数量表征了一个完整的标签数据所传输的内容中包含的所有字符的总数量,即在完整的标签数据中完整的表征了所有需要进行记录的数量。
然后,根据目标标签数据和目标历史标签数据之间的损耗差异,对两者的数据完整性进行分析,目标标签数据以及目标历史标签数据在传输过程中的损耗越小,其携带的信息越完整,即对应的标签数据的完整性越高。基于此,根据目标标签数据和目标历史标签数据之间的损耗差异得到第二权值。
具体地,分别获取目标标签数据和目标历史标签数据的信噪比,将目标标签数据的信噪比与目标历史标签数据的信噪比之间的比值的归一化值,作为第二权值。在本实施例中,第二权值的计算公式可以表示为:
其中,表示第二权值,/>表示目标标签数据的信噪比,/>表示目标历史标签数据的信噪比,Norm()表示归一化函数,在本实施例中可以采用最大值最小值归一化的方法进行处理,实施者可根据具体实施场景进行选择。
数据的信噪比是表征数据是否进行完整传输的重要指标,数据的信噪比越大,对应的数据在读取时的环境噪声越不明显,进而说明对应的数据的完整性越高。则的取值越大,说明目标标签数据在进行数据传输时的完整性越高,对应第二权值取值越大。第二权值从数据损耗方面表征了目标标签数据的完整性情况,第二权值的取值越大,在数据损耗方面目标标签数据的完整性越高。
进一步的,根据目标标签数据和目标历史标签数据之间的时间差异,对两者的数据完整性进行分析,在读写器读取标签数据的过程中,最先读到的一定是最显眼的也是最重要的标签数据,因此标签数据对应的数据采集时间越早,其时间权重越大。基于此,根据目标标签数据和目标历史标签数据之间的时间差异得到第三权值。
具体地,将采集目标标签数据和目标历史标签数据时对应的时刻之间的差值绝对值作为第三权值。即第三权值反映了目标标签数据与目标历史标签数据之间的时间差异情况,时间差异越大,对应的第三权值的取值越大,说明目标标签数据对应的时间权重越大。
在本实施例中,以目标标签数据为例进行说明,进而数据的信噪比的计算公式可以表示为,其中,/>表示以10为底的对数函数,Ps表示目标标签数据的功率,Pn表示接收到目标标签数据时产生的噪声数据的功率,其中,数据对应的功率可以由接收设备的信号检测装置中直接读取获得。同时,需要说明的是,数据的信噪比的计算公式为公知技术。
最后,结合三个方面的特征对目标标签数据的完整性进行表征,即根据第一权值与第二权值、第三权值得到目标标签数据的完整程度,所述第二权值与完整程度呈正相关关系,所述第一权值和第三权值均与完整程度呈负相关关系。
在本实施例中,目标标签数据的完整程度的计算公式可以表示为:
其中,Wh表示目标标签数据的完整程度,表示第一权值,/>表示第二权值,/>表示第三权值,Norm()表示归一化函数。
第二权值的取值越大,从数据损耗方面反应了目标标签数据在进行数据传输时的完整性越高,对应的完整程度取值越大。第一权值的取值越小,从内容性差异方面反应了目标标签数据的完整性越高,对应的完整程度取值越大。第三权值的取值越小,说明目标标签数据与目标历史标签数据之间的时间差异越小,对应的完整程度取值越大。
即当目标标签数据与目标历史标签数据之间对应的第一权值和第二权值的取值较为接近,第三权值取值较大时,两个标签数据之间仅存在一定的时间差异,为了节省运算资源,不对布隆过滤器中存在的历史标签数据进行替换操作,即将此时目标标签数据对应的完整程度的取值越小。
步骤四,根据待存储标签数据的完整程度判断是否对历史标签数据进行替换,并根据已经存储的标签数据对应的身份数据的哈希值,对布隆过滤器的哈希表进行更新。
待存储标签数据的完整程度从多个方面表征了待存储标签数据的完整性情况,进而可以根据待存储标签数据的完整性情况进行判断是否需要对布隆过滤器中的历史标签数据进行替换。
具体地,若待存储标签数据的完整程度大于预设的程度阈值,则将布隆过滤器中身份数据与该待存储标签数据的身份数据相同的历史标签数据,替换为该待存储标签数据。若待存储标签数据的完整程度小于或者等于预设的程度阈值,则不进行标签数据的替换。在本实施例中,程度阈值的取值与第三权值的取值相等,实施者可根据具体实施场景进行设置。
例如,若目标标签数据的完整程度大于程度阈值,说明目标标签数据的完整性较高,故需要对目标历史标签数据进行替换,即将布隆过滤器中目标历史标签数据替换为目标标签数据,将完整性较低的目标历史标签数据进行丢弃处理。
若目标标签数据的完整程度小于或等于程度阈值,说明目标标签数据的完整性较低,故不需要对目标历史标签数据进行替换,即直接将目标标签数据进行丢弃处理。
可以持续监听布隆过滤器中上传窗口的状态,当上传窗口进行上传操作后,上传窗口会存在空缺,此时为了保证应用系统正常有序的运行,需要对上传窗口进行填充,即将布隆过滤器缓存中采集时刻最早的待存储标签数据进行到待上传状态,同时锁定该待存储标签数据对应的身份数据,读取器将不再读取与其相同的身份数据对应的待存储标签数据。
同时,需要根据已经存储的标签数据对应的身份数据的哈希值,对布隆过滤器的哈希表进行更新。即需要在布隆过滤器的哈希表中删除已经存储的标签数据对应的身份数据的哈希值。
综上所述,本发明在传统的布隆过滤器查找机制的基础上,引入标签数据的完整性检测,对标签数据进行冗余处理,从而做到对冗余数据的丢弃处理和对同种身份数据下的最完整标签数据的保留上传。从而节省过滤器内部空间且提升了收集到的标签数据的可用性,提升读写系统的工作效率。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。
Claims (4)
1.一种RFID数据采集数据处理方法,其特征在于,该方法包括以下步骤:
在预设时间段内获取RFID数据的待存储标签数据和对应的身份数据;
利用布隆过滤器根据待存储标签数据对应的身份数据对待存储标签数据进行过滤,判断是否对待存储标签数据进行存储;
若否,则根据待存储标签数据以及布隆过滤器中与身份数据其相同的历史标签数据之间的内容差异和时间差异以及损耗差异,得到待存储标签数据的完整程度;
根据待存储标签数据的完整程度判断是否对历史标签数据进行替换,并根据已经存储的标签数据对应的身份数据的哈希值,对布隆过滤器的哈希表进行更新;
所述根据待存储标签数据以及布隆过滤器中与身份数据其相同的历史标签数据之间的内容差异和时间差异以及损耗差异,得到待存储标签数据的完整程度,具体包括:
将任意一个不需要进行存储的待存储标签数据记为目标标签数据,在布隆过滤器中将身份数据与目标标签数据的身份数据相同的历史标签数据,记为目标历史标签数据;
根据目标标签数据和目标历史标签数据之间的内容差异,得到第一权值;根据目标标签数据和目标历史标签数据之间的损耗差异,得到第二权值;根据目标标签数据和目标历史标签数据之间的时间差异,得到第三权值;
根据第一权值与第二权值、第三权值得到目标标签数据的完整程度,所述第二权值与完整程度呈正相关关系,所述第一权值和第三权值均与完整程度呈负相关关系;
所述根据目标标签数据和目标历史标签数据之间的内容差异,得到第一权值,具体包括:
获取目标标签数据和目标历史标签数据中相同的字符数量记为第一数量,将目标标签数据中与目标历史标签数据不相同的字符数量记为第二数量,将目标历史标签数据中与目标标签数据不相同的字符数量记为第三数量;
计算标签数据中的最大字符数量与第一数量的差值,将第二数量与第三数量中的最大值与最小值的比值记为第一比值,根据所述差值和第一比值得到第一权值;所述差值、第一比值均与第一权值呈正相关关系;
所述根据目标标签数据和目标历史标签数据之间的损耗差异,得到第二权值,具体包括:
分别获取目标标签数据和目标历史标签数据的信噪比,将目标标签数据的信噪比与目标历史标签数据的信噪比之间的比值的归一化值,作为第二权值;
所述根据目标标签数据和目标历史标签数据之间的时间差异,得到第三权值,具体包括:
将采集目标标签数据和目标历史标签数据时对应的时刻之间的差值绝对值作为第三权值。
2.根据权利要求1所述的一种RFID数据采集数据处理方法,其特征在于,所述根据待存储标签数据的完整程度判断是否对历史标签数据进行替换具体为:
若待存储标签数据的完整程度大于预设的程度阈值,则将布隆过滤器中身份数据与该待存储标签数据的身份数据相同的历史标签数据,替换为该待存储标签数据;
若待存储标签数据的完整程度小于或者等于预设的程度阈值,则不进行标签数据的替换。
3.根据权利要求1所述的一种RFID数据采集数据处理方法,其特征在于,所述利用布隆过滤器根据待存储标签数据对应的身份数据对待存储标签数据进行过滤,判断是否对待存储标签数据进行存储,具体包括:
将任意一个待存储标签数据记为选定标签数据,将选定标签数据对应的身份数据记为选定身份数据,对选定身份数据进行哈希运算获得对应的哈希值,利用选定身份数据对应的哈希值在布隆过滤器的哈希表中查找;
若选定身份数据的哈希值在布隆过滤器的哈希表中对应位置存在取值为0的情况,则对选定标签数据进行存储;若选定身份数据的哈希值在布隆过滤器的哈希表中对应位置不用存在取值为0的情况,则不对选定标签数据进行存储。
4.根据权利要求1所述的一种RFID数据采集数据处理方法,其特征在于,所述在预设时间段内获取RFID数据的待存储标签数据和对应的身份数据具体为:
在设定时间段内采集RFID数据,将RFID数据中的ID代码作为待存储标签数据,将RFID数据中的UID码作为待存储标签数据对应的身份数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310847594.9A CN116578758B (zh) | 2023-07-12 | 2023-07-12 | 一种rfid数据采集数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310847594.9A CN116578758B (zh) | 2023-07-12 | 2023-07-12 | 一种rfid数据采集数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116578758A CN116578758A (zh) | 2023-08-11 |
CN116578758B true CN116578758B (zh) | 2023-12-05 |
Family
ID=87543994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310847594.9A Active CN116578758B (zh) | 2023-07-12 | 2023-07-12 | 一种rfid数据采集数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116578758B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102662988A (zh) * | 2012-03-14 | 2012-09-12 | 中山大学 | 一种用于rfid中间件的冗余数据过滤方法 |
CN103530383A (zh) * | 2013-10-18 | 2014-01-22 | 重庆邮电大学 | 一种用于安全的rfid中间件冗余数据过滤方法 |
CN105450673A (zh) * | 2016-01-12 | 2016-03-30 | 吉林大学 | 基于移动rfid系统的安全协议认证方法 |
CN108959991A (zh) * | 2018-03-13 | 2018-12-07 | 中国科学院信息工程研究所 | Rfid标签检测方法、阅读器、rfid标签和后端服务器 |
CN112822628A (zh) * | 2021-01-05 | 2021-05-18 | 杭州恒生数字设备科技有限公司 | 一种基于双向飞行法的中心端控制的自动基站排序实现方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8446254B2 (en) * | 2008-11-03 | 2013-05-21 | Thingmagic, Inc. | Methods and apparatuses for RFID tag range determination |
CN107368488A (zh) * | 2016-05-12 | 2017-11-21 | 阿里巴巴集团控股有限公司 | 一种确定用户行为偏好的方法、推荐信息的展示方法和装置 |
US11568358B2 (en) * | 2019-11-15 | 2023-01-31 | WaveMark, Inc. | Filtering cross reads among radio frequency identification (RFID) enabled readers and systems and methods for use thereof |
-
2023
- 2023-07-12 CN CN202310847594.9A patent/CN116578758B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102662988A (zh) * | 2012-03-14 | 2012-09-12 | 中山大学 | 一种用于rfid中间件的冗余数据过滤方法 |
CN103530383A (zh) * | 2013-10-18 | 2014-01-22 | 重庆邮电大学 | 一种用于安全的rfid中间件冗余数据过滤方法 |
CN105450673A (zh) * | 2016-01-12 | 2016-03-30 | 吉林大学 | 基于移动rfid系统的安全协议认证方法 |
CN108959991A (zh) * | 2018-03-13 | 2018-12-07 | 中国科学院信息工程研究所 | Rfid标签检测方法、阅读器、rfid标签和后端服务器 |
CN112822628A (zh) * | 2021-01-05 | 2021-05-18 | 杭州恒生数字设备科技有限公司 | 一种基于双向飞行法的中心端控制的自动基站排序实现方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116578758A (zh) | 2023-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101281593B (zh) | 智能视频监控事件检索方法及系统 | |
CN107665324B (zh) | 一种图像识别方法及终端 | |
US8810369B2 (en) | Finding sensor data in an RFID network | |
EP1959579A1 (en) | Electronic tag, and electronic tag system | |
CN107958220B (zh) | 一种基于人脸识别的人脸库压缩处理方法及其智能装置 | |
CN102662988B (zh) | 一种用于rfid中间件的冗余数据过滤方法 | |
CN103295034A (zh) | 一种基于dsp的嵌入式图书乱架清点系统及方法 | |
CN110298213B (zh) | 视频分析系统和方法 | |
CN1889098A (zh) | 带有电子标签录像的物流查询系统 | |
CN116578758B (zh) | 一种rfid数据采集数据处理方法 | |
CN113283258B (zh) | 一种可自动搜索电子标签最佳工作频点的方法及读取装置 | |
CN111191748B (zh) | 一种基于rfid技术的移动盘点系统 | |
CN111123195B (zh) | 一种面向存储物品盘点的rfid盘点系统 | |
CN111860122B (zh) | 一种现实场景下的阅读综合行为的识别方法及系统 | |
CN103905789A (zh) | 动态分析数据的保存、搜索和事后分析的方法及其装置 | |
CN114898182A (zh) | 一种基于目标检测学习算法的图片数据筛选方法及系统 | |
CN115834156A (zh) | 一种基于web访问日志的异常行为检测方法 | |
CN111008294A (zh) | 交通图像处理、图像检索方法及装置 | |
CN115190311A (zh) | 一种安防监控视频压缩存储方法 | |
CN114845180A (zh) | 一种低功耗数字识别远传抄表装置及其识别方法 | |
CN114219938A (zh) | 感兴趣区域获取方法 | |
CN114092999A (zh) | 基于监控视频时序动作异常检测的监控系统 | |
KR101367821B1 (ko) | 계층적 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치 | |
CN116466883B (zh) | 一种分布式多源信息采集存储系统及其储存方法 | |
Mahdin et al. | An approach to filtering RFID data streams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |