CN104765777A - 一卡通rfid数据转化为过程事件日志的方法和系统 - Google Patents

一卡通rfid数据转化为过程事件日志的方法和系统 Download PDF

Info

Publication number
CN104765777A
CN104765777A CN201510119963.8A CN201510119963A CN104765777A CN 104765777 A CN104765777 A CN 104765777A CN 201510119963 A CN201510119963 A CN 201510119963A CN 104765777 A CN104765777 A CN 104765777A
Authority
CN
China
Prior art keywords
data
daily record
time
converted
purpose card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510119963.8A
Other languages
English (en)
Other versions
CN104765777B (zh
Inventor
冯健文
林璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Green Grape Technology Co.,Ltd.
Original Assignee
Hanshan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanshan Normal University filed Critical Hanshan Normal University
Priority to CN201510119963.8A priority Critical patent/CN104765777B/zh
Publication of CN104765777A publication Critical patent/CN104765777A/zh
Application granted granted Critical
Publication of CN104765777B publication Critical patent/CN104765777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及RFID数据分析技术领域,公开了一卡通RFID数据转化为过程事件日志的方法和系统。其通过对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;再根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。在数据预处理阶段,增加了时间参数设置,提高了处理后的数据集的多样性,同时根据业务操作特点,通过数据融合压缩了数据规模,从而提高了方法的效率和应用效果;同时,在转化日志阶段,建立了基于XTrace时间粒度的映射规则,实现了一卡通RFID数据的过程信息挖掘,填补了当前研究一卡通RFID数据处理的空白,增强了一卡通应用决策分析支持能力。

Description

一卡通RFID数据转化为过程事件日志的方法和系统
技术领域
本发明涉及RFID数据分析技术领域,特别涉及一卡通RFID数据转化为过程事件日志的方法和系统。
背景技术
RFID(Radio Frequency Identification)技术,又称无线射频识别,是一种通信技术,可通过无线电讯号识别特定目标并读写相关数据,而无需识别系统与特定目标之间建立机械或光学接触。RFID数据分析是当前技术研究的热点,一卡通应用是社会广泛使用的RFID应用。一卡通RFID数据具有无业务过程特征、海量、实时、时空等特点。当前并没有一卡通RFID数据转化为过程日志的研究。现有相关技术多采用(RFID标识、业务点、时间)三元组和三元组加上其他属性构成多元组的数据表示方式。处理的RFID数据多具有明显的业务过程特征,如面向产品溯源、供应链、物流应用。在构造业务过程模型前,RFID数据一般转化为MXML或XES格式的过程事件日志。在面向搜索引擎日志应用中,采用了基于案例划分的日志转化算法实现XES日志映射。
现有技术中缺少把一卡通RFID数据转化为过程事件日志的研究,已有技术没有解决非过程特征的问题。现有的其他RFID数据过程事件日志转化方法缺少时间范围的调控,不能产生多种主题的数据集,灵活性差。
有鉴于此,现有技术有待改进和提高。
发明内容
有鉴于此,有必要针对现有一卡通RFID数据转化中存在的问题,提供一种一卡通RFID数据转化为过程事件日志的方法和系统,增强了一卡通应用决策分析支持能力。
为了达到上述目的,本发明采取了以下技术方案:
一种一卡通RFID数据转化为过程事件日志的方法,其中,包括如下步骤:
A、对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;
B、根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。
所述的一卡通RFID数据转化为过程事件日志的方法,其中,所述步骤A包括:
A1、首先设置原始数据源的位置、表结构和抽取时间范围,再根据抽取时间范围设置,原始数据根据主题选择性地导入到RFID数据仓库中,并存在在不同时间主题的表中;
A2、对不符合预先设置要求的数据进行清洗;
A3、设置业务操作时间,然后根据所述业务操作时间,进行数据融合;
A4、根据不同的数据集划分时间,以主题和时间划分出不同的数据集,形成转化日志的数据源。
所述的一卡通RFID数据转化为过程事件日志的方法,其中,所述步骤A3中进行数据融合时压缩数据大小。
所述的一卡通RFID数据转化为过程事件日志的方法,其中,所述步骤B包括:
B1、设置XES日志的格式参数,其包括XEvent的数据属性,一卡通RFID数据采用六元组表示;
B2、设置XTrace时间粒度;
B3、建立映射规则,以XTrace时间粒度为限制条件,查找某个RFID标识在时间范围内的所有刷卡记录,一条刷卡记录映射为一个XEvent,多个符合条件的XEvent按时间戳次序加入XTrace中;
B4、当Xlog中Xtrace超出预先设定的上限时,把XLog存入XES日志文件中。
所述的一卡通RFID数据转化为过程事件日志的方法,其中,所述步骤B1中六元组包括:RFID标识、业务点、业务类型、交易时间、交易金额和经手人。
一种一卡通RFID数据转化为过程事件日志的系统,其中,包括:
预处理单元,用于对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;
转化单元,用于根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。
所述的一卡通RFID数据转化为过程事件日志的系统,其中,所述预处理单元进一步包括:
分类子单元,用于首先设置原始数据源的位置、表结构和抽取时间范围,再根据抽取时间范围设置,原始数据根据主题选择性地导入到RFID数据仓库中,并存在在不同时间主题的表中;
清洗子单元,用于对不符合预先设置要求的数据进行清洗;
融合子单元,用于设置业务操作时间,然后根据所述业务操作时间,进行数据融合;
归集子单元,用于根据不同的数据集划分时间,以主题和时间划分出不同的数据集,形成转化日志的数据源。
所述的一卡通RFID数据转化为过程事件日志的系统,其中,所述融合子单元中进行数据融合时压缩数据大小。
所述的一卡通RFID数据转化为过程事件日志的系统,其中,所述转化单元进一步包括:
属性设置子单元,用于设置XES日志的格式参数,其包括XEvent的数据属性,一卡通RFID数据采用六元组表示;
时间粒度设置子单元,用于设置XTrace时间粒度;
映射子单元,用于建立映射规则,以XTrace时间粒度为限制条件,查找某个RFID标识在时间范围内的所有刷卡记录,一条刷卡记录映射为一个XEvent,多个符合条件的XEvent按时间戳次序加入XTrace中;
存入子单元,用于当Xlog中Xtrace超出预先设定的上限时,把XLog存入XES日志文件中。
所述的一卡通RFID数据转化为过程事件日志的系统,其中,所述属性设置子单元中六元组包括:RFID标识、业务点、业务类型、交易时间、交易金额和经手人。
有益效果:本发明一卡通RFID数据转化为过程事件日志的方法和系统,在数据预处理阶段,增加了时间参数设置,提高了处理后的数据集的多样性,同时根据业务操作特点,通过数据融合压缩了数据规模,从而提高了方法的效率和应用效果;同时,在转化日志阶段,建立了基于XTrace时间粒度的映射规则,实现了一卡通RFID数据的过程信息挖掘,填补了当前研究一卡通RFID数据处理的空白,增强了一卡通应用决策分析支持能力。
附图说明
图1为本发明一卡通RFID数据转化为过程事件日志的方法的流程图。
图2为本发明一卡通RFID数据转化为过程事件日志的方法中数据预处理的过程示意图。
图3为本发明一卡通RFID数据转化为过程事件日志的方法中转化日志阶段的过程示意图。
图4为本发明一卡通RFID数据转化为过程事件日志的系统的结构框图。
具体实施方式
本发明一卡通RFID数据转化为过程事件日志的方法和系统,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明提供的一卡通RFID数据转化为过程事件日志的方法包括如下步骤:
S100、对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;
S200、根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。
下面针对上述步骤进行详细介绍。
其中,步骤S100为数据预处理过程,其是通过数据集成、清洗、融合和划分等预处理技术得到多种基于主题的数据集市,这些数据集市不仅基于某个主题,而且还属于某个时间周期。方法中提供几种时间参数:原始数据抽取时间表示抽取的原始数据范围;业务操作时间表示某个业务存在特殊的多次刷卡数据,根据该时间进行数据融合操作;数据集时间表示数据集市划分的时间粒度。
具体来说,请一并参阅图2,首先设置原始数据源的位置、表结构和抽取时间范围,再根据抽取时间范围设置,原始数据根据主题选择性地导入到RFID数据仓库中,并存在在不同时间主题的表中;然后,对不符合预先设置要求的数据进行清洗;再设置业务操作时间,然后根据所述业务操作时间,进行数据融合;最后,根据不同的数据集划分时间,以主题和时间划分出不同的数据集,形成转化日志的数据源。其在数据预处理阶段,增加了时间参数设置,提高了处理后的数据集的多样性,同时根据业务操作特点,通过数据融合压缩了数据规模,从而提高了方法的效率和应用效果。
步骤S200为转化日志阶段,其把一卡通RFID数据集转化为XES过程事件日志。XES过程事件日志是以XLog表示一个过程日志,以XTrace表示一个行为实例,以XEvent表示一个发生的事件,XTrace中的XEvent以时间戳为次序。
具体来说,请一并参阅图3,首先,设置XES日志的格式参数,主要是XEvent的数据属性,一卡通RFID数据采用(RFID标识、业务点、业务类型、交易时间、交易金额、经手人)六元组表示;然后,设置XTrace时间粒度,因为一卡通RFID数据没有明显的业务过程特征,因此以RFID标识为XTrace ID,可以设置时间粒度为天、周、月、年等任意时间周期。再建立映射规则,以XTrace时间粒度为限制条件,查找某个RFID标识在时间范围内的所有刷卡记录,一条刷卡记录映射为一个XEvent,多个符合条件的XEvent按时间戳次序加入XTrace中。最后,由于一卡通RFID数据的海量特点,为避免算法执行内存崩溃,采用了XTrace上限的方法,当超过某个上限时,把XLog存入XES日志文件中。
在转化日志阶段,建立了基于XTrace时间粒度的映射规则,实现了一卡通RFID数据的过程信息挖掘,填补了当前研究一卡通RFID数据处理的空白,增强了一卡通应用决策分析支持能力。
本发明还提供了一种一卡通RFID数据转化为过程事件日志的系统,如图4所示,包括:
预处理单元100,用于对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;
转化单元200,用于根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。
进一步地,所述的一卡通RFID数据转化为过程事件日志的系统中,所述预处理单元进一步包括:
分类子单元,用于首先设置原始数据源的位置、表结构和抽取时间范围,再根据抽取时间范围设置,原始数据根据主题选择性地导入到RFID数据仓库中,并存在在不同时间主题的表中;
清洗子单元,用于对不符合预先设置要求的数据进行清洗;
融合子单元,用于设置业务操作时间,然后根据所述业务操作时间,进行数据融合;
归集子单元,用于根据不同的数据集划分时间,以主题和时间划分出不同的数据集,形成转化日志的数据源。
进一步地,所述的一卡通RFID数据转化为过程事件日志的系统中,所述融合子单元中进行数据融合时压缩数据大小。
进一步地,所述的一卡通RFID数据转化为过程事件日志的系统中,所述转化单元进一步包括:
属性设置子单元,用于设置XES日志的格式参数,其包括XEvent的数据属性,一卡通RFID数据采用六元组表示;
时间粒度设置子单元,用于设置XTrace时间粒度;
映射子单元,用于建立映射规则,以XTrace时间粒度为限制条件,查找某个RFID标识在时间范围内的所有刷卡记录,一条刷卡记录映射为一个XEvent,多个符合条件的XEvent按时间戳次序加入XTrace中;
存入子单元,用于当Xlog中Xtrace超出预先设定的上限时,把XLog存入XES日志文件中。
进一步地,所述的一卡通RFID数据转化为过程事件日志的系统中,所述属性设置子单元中六元组包括:RFID标识、业务点、业务类型、交易时间、交易金额和经手人。
综上,本发明通过对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;再根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。在数据预处理阶段,增加了时间参数设置,提高了处理后的数据集的多样性,同时根据业务操作特点,通过数据融合压缩了数据规模,从而提高了方法的效率和应用效果;同时,在转化日志阶段,建立了基于XTrace时间粒度的映射规则,实现了一卡通RFID数据的过程信息挖掘,填补了当前研究一卡通RFID数据处理的空白,增强了一卡通应用决策分析支持能力。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种一卡通RFID数据转化为过程事件日志的方法,其特征在于:包括如下步骤:
A、对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;
B、根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。
2.根据权利要求1所述的一卡通RFID数据转化为过程事件日志的方法,其特征在于,所述步骤A包括:
A1、首先设置原始数据源的位置、表结构和抽取时间范围,再根据抽取时间范围设置,原始数据根据主题选择性地导入到RFID数据仓库中,并存在在不同时间主题的表中;
A2、对不符合预先设置要求的数据进行清洗;
A3、设置业务操作时间,然后根据所述业务操作时间,进行数据融合;
A4、根据不同的数据集划分时间,以主题和时间划分出不同的数据集,形成转化日志的数据源。
3.根据权利要求2所述的一卡通RFID数据转化为过程事件日志的方法,其特征在于,所述步骤A3中进行数据融合时压缩数据大小。
4.根据权利要求1所述的一卡通RFID数据转化为过程事件日志的方法,其特征在于:所述步骤B包括:
B1、设置XES日志的格式参数,其包括XEvent的数据属性,一卡通RFID数据采用六元组表示;
B2、设置XTrace时间粒度;
B3、建立映射规则,以XTrace时间粒度为限制条件,查找某个RFID标识在时间范围内的所有刷卡记录,一条刷卡记录映射为一个XEvent,多个符合条件的XEvent按时间戳次序加入XTrace中;
B4、当Xlog中Xtrace超出预先设定的上限时,把XLog存入XES日志文件中。
5.根据权利要求4所述的一卡通RFID数据转化为过程事件日志的方法,其特征在于:所述步骤B1中六元组包括:RFID标识、业务点、业务类型、交易时间、交易金额和经手人。
6.一种一卡通RFID数据转化为过程事件日志的系统,其特征在于:包括:
预处理单元,用于对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;
转化单元,用于根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。
7.根据权利要求6所述的一卡通RFID数据转化为过程事件日志的系统,其特征在于,所述预处理单元进一步包括:
分类子单元,用于首先设置原始数据源的位置、表结构和抽取时间范围,再根据抽取时间范围设置,原始数据根据主题选择性地导入到RFID数据仓库中,并存在在不同时间主题的表中;
清洗子单元,用于对不符合预先设置要求的数据进行清洗;
融合子单元,用于设置业务操作时间,然后根据所述业务操作时间,进行数据融合;
归集子单元,用于根据不同的数据集划分时间,以主题和时间划分出不同的数据集,形成转化日志的数据源。
8.根据权利要求7所述的一卡通RFID数据转化为过程事件日志的系统,其特征在于,所述融合子单元中进行数据融合时压缩数据大小。
9.根据权利要求6所述的一卡通RFID数据转化为过程事件日志的系统,其特征在于:所述转化单元进一步包括:
属性设置子单元,用于设置XES日志的格式参数,其包括XEvent的数据属性,一卡通RFID数据采用六元组表示;
时间粒度设置子单元,用于设置XTrace时间粒度;
映射子单元,用于建立映射规则,以XTrace时间粒度为限制条件,查找某个RFID标识在时间范围内的所有刷卡记录,一条刷卡记录映射为一个XEvent,多个符合条件的XEvent按时间戳次序加入XTrace中;
存入子单元,用于当Xlog中Xtrace超出预先设定的上限时,把XLog存入XES日志文件中。
10.根据权利要求9所述的一卡通RFID数据转化为过程事件日志的系统,其特征在于:所述属性设置子单元中六元组包括:RFID标识、业务点、业务类型、交易时间、交易金额和经手人。
CN201510119963.8A 2015-03-18 2015-03-18 一卡通rfid数据转化为过程事件日志的方法和系统 Active CN104765777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510119963.8A CN104765777B (zh) 2015-03-18 2015-03-18 一卡通rfid数据转化为过程事件日志的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510119963.8A CN104765777B (zh) 2015-03-18 2015-03-18 一卡通rfid数据转化为过程事件日志的方法和系统

Publications (2)

Publication Number Publication Date
CN104765777A true CN104765777A (zh) 2015-07-08
CN104765777B CN104765777B (zh) 2018-11-13

Family

ID=53647608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510119963.8A Active CN104765777B (zh) 2015-03-18 2015-03-18 一卡通rfid数据转化为过程事件日志的方法和系统

Country Status (1)

Country Link
CN (1) CN104765777B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797397A (zh) * 2020-06-28 2020-10-20 韩山师范学院 恶意代码可视化及变种检测方法、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1516052A (zh) * 2003-01-06 2004-07-28 李之彦 开放式功能动态集成的智能卡系统
US20120233006A1 (en) * 2010-01-08 2012-09-13 Apg Cash Drawer Wireless device operable cash drawer having biometric, database, and messaging capabilities
CN102902776A (zh) * 2012-09-28 2013-01-30 用友软件股份有限公司 用于联机分析处理系统的时间维度成员生成装置和方法
US20130332424A1 (en) * 2012-06-12 2013-12-12 Sap Ag Centralized read access logging
CN103646309A (zh) * 2013-12-04 2014-03-19 广东创能科技有限公司 一种票务清分系统及方法
CN103914471A (zh) * 2012-12-31 2014-07-09 北京启明星辰信息技术股份有限公司 一种海量事件的处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1516052A (zh) * 2003-01-06 2004-07-28 李之彦 开放式功能动态集成的智能卡系统
US20120233006A1 (en) * 2010-01-08 2012-09-13 Apg Cash Drawer Wireless device operable cash drawer having biometric, database, and messaging capabilities
US20130332424A1 (en) * 2012-06-12 2013-12-12 Sap Ag Centralized read access logging
CN102902776A (zh) * 2012-09-28 2013-01-30 用友软件股份有限公司 用于联机分析处理系统的时间维度成员生成装置和方法
CN103914471A (zh) * 2012-12-31 2014-07-09 北京启明星辰信息技术股份有限公司 一种海量事件的处理方法及装置
CN103646309A (zh) * 2013-12-04 2014-03-19 广东创能科技有限公司 一种票务清分系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GONZALEZ H: ""Mining Massive Moving Object Datasets from RFID Data Flow Analysis to Traffic Mining"", 《DISSERTATIONS & THESES - GRADWORKS》 *
窦蒙等: ""基于MapReduce的海量事件日志并行转化算法"", 《计算机集成制造系统》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797397A (zh) * 2020-06-28 2020-10-20 韩山师范学院 恶意代码可视化及变种检测方法、设备及存储介质
CN111797397B (zh) * 2020-06-28 2023-08-29 韩山师范学院 恶意代码可视化及变种检测方法、设备及存储介质

Also Published As

Publication number Publication date
CN104765777B (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
Xiang et al. Smart destinations: Foundations, analytics, and applications.
MY195917A (en) Blockchain-Based Data Processing Method And Device
CN103837770A (zh) 电力设备缺陷检测维护方法
CN104794663A (zh) 一种旅行路线的自动生成系统及方法
CN110019842A (zh) 一种建立知识图谱的方法及装置
CN105224554A (zh) 推荐搜索词进行搜索的方法、系统、服务器和智能终端
CN103150359B (zh) 微博信息显示方法和装置
CN101308571A (zh) 一种利用主动网格与人脸识别结合生成新人脸的方法
CN102521403A (zh) 精细化气象信息服务系统
CN102880709A (zh) 数据仓库管理系统和数据仓库管理方法
CN103970891A (zh) 一种基于情境的用户兴趣信息查询方法
CN104699857A (zh) 基于知识工程的大数据存储方法
CN109215126B (zh) 基于低质量三维人脸点云的重构方法、装置及处理终端
CN103440197B (zh) 一种基于对比测试自动生成差异测试报告的方法
CN106227776A (zh) 一种支撑智慧金融的数据预处理方法和装置
CN104636492A (zh) 一种基于模糊积分特征融合的动态数据分级方法
CN114218291A (zh) 基于目标对象的画像生成方法、装置、设备及存储介质
CN104765777A (zh) 一卡通rfid数据转化为过程事件日志的方法和系统
CN111240866B (zh) 一种业务数据处理方法及装置
CN104881647A (zh) 信息处理方法、信息处理系统和信息处理装置
CN101504723B (zh) 一种建立投影空间的方法和装置
CN103020189A (zh) 数据处理装置和数据处理方法
CN112596894B (zh) 一种基于边缘计算的追踪方法及装置
CN113449808B (zh) 多源图文信息分类方法及其相应的装置、设备、介质
CN107391695A (zh) 一种基于大数据的信息提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230529

Address after: Room 4032, 1-4/F, No. 20 Zhangmu Mountain, Cencun, Tianhe District, Guangzhou, Guangdong Province, 510000

Patentee after: Guangdong Green Grape Technology Co.,Ltd.

Address before: 521041 Hanshan Normal University, Qiaodong, Chaozhou City, Guangdong Province

Patentee before: HANSHAN NORMAL University