CN104765777B - 一卡通rfid数据转化为过程事件日志的方法和系统 - Google Patents

一卡通rfid数据转化为过程事件日志的方法和系统 Download PDF

Info

Publication number
CN104765777B
CN104765777B CN201510119963.8A CN201510119963A CN104765777B CN 104765777 B CN104765777 B CN 104765777B CN 201510119963 A CN201510119963 A CN 201510119963A CN 104765777 B CN104765777 B CN 104765777B
Authority
CN
China
Prior art keywords
data
time
purpose card
daily record
converted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510119963.8A
Other languages
English (en)
Other versions
CN104765777A (zh
Inventor
冯健文
林璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Green Grape Technology Co.,Ltd.
Original Assignee
Hanshan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanshan Normal University filed Critical Hanshan Normal University
Priority to CN201510119963.8A priority Critical patent/CN104765777B/zh
Publication of CN104765777A publication Critical patent/CN104765777A/zh
Application granted granted Critical
Publication of CN104765777B publication Critical patent/CN104765777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明涉及RFID数据分析技术领域,公开了一卡通RFID数据转化为过程事件日志的方法和系统。其通过对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;再根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。在数据预处理阶段,增加了时间参数设置,提高了处理后的数据集的多样性,同时根据业务操作特点,通过数据融合压缩了数据规模,从而提高了方法的效率和应用效果;同时,在转化日志阶段,建立了基于XTrace时间粒度的映射规则,实现了一卡通RFID数据的过程信息挖掘,填补了当前研究一卡通RFID数据处理的空白,增强了一卡通应用决策分析支持能力。

Description

一卡通RFID数据转化为过程事件日志的方法和系统
技术领域
本发明涉及RFID数据分析技术领域,特别涉及一卡通RFID数据转化为过程事件日志的方法和系统。
背景技术
RFID(Radio Frequency Identification)技术,又称无线射频识别,是一种通信技术,可通过无线电讯号识别特定目标并读写相关数据,而无需识别系统与特定目标之间建立机械或光学接触。RFID数据分析是当前技术研究的热点,一卡通应用是社会广泛使用的RFID应用。一卡通RFID数据具有无业务过程特征、海量、实时、时空等特点。当前并没有一卡通RFID数据转化为过程日志的研究。现有相关技术多采用(RFID标识、业务点、时间)三元组和三元组加上其他属性构成多元组的数据表示方式。处理的RFID数据多具有明显的业务过程特征,如面向产品溯源、供应链、物流应用。在构造业务过程模型前,RFID数据一般转化为MXML或XES格式的过程事件日志。在面向搜索引擎日志应用中,采用了基于案例划分的日志转化算法实现XES日志映射。
现有技术中缺少把一卡通RFID数据转化为过程事件日志的研究,已有技术没有解决非过程特征的问题。现有的其他RFID数据过程事件日志转化方法缺少时间范围的调控,不能产生多种主题的数据集,灵活性差。
有鉴于此,现有技术有待改进和提高。
发明内容
有鉴于此,有必要针对现有一卡通RFID数据转化中存在的问题,提供一种一卡通RFID数据转化为过程事件日志的方法和系统,增强了一卡通应用决策分析支持能力。
为了达到上述目的,本发明采取了以下技术方案:
一种一卡通RFID数据转化为过程事件日志的方法,其中,包括如下步骤:
A、对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;
B、根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。
所述的一卡通RFID数据转化为过程事件日志的方法,其中,所述步骤A包括:
A1、首先设置原始数据源的位置、表结构和抽取时间范围,再根据抽取时间范围设置,原始数据根据主题选择性地导入到RFID数据仓库中,并存在在不同时间主题的表中;
A2、对不符合预先设置要求的数据进行清洗;
A3、设置业务操作时间,然后根据所述业务操作时间,进行数据融合;
A4、根据不同的数据集划分时间,以主题和时间划分出不同的数据集,形成转化日志的数据源。
所述的一卡通RFID数据转化为过程事件日志的方法,其中,所述步骤A3中进行数据融合时压缩数据大小。
所述的一卡通RFID数据转化为过程事件日志的方法,其中,所述步骤B包括:
B1、设置XES日志的格式参数,其包括XEvent的数据属性,一卡通RFID数据采用六元组表示;
B2、设置XTrace时间粒度;
B3、建立映射规则,以XTrace时间粒度为限制条件,查找某个RFID标识在时间范围内的所有刷卡记录,一条刷卡记录映射为一个XEvent,多个符合条件的XEvent按时间戳次序加入XTrace中;
B4、当Xlog中Xtrace超出预先设定的上限时,把XLog存入XES日志文件中。
所述的一卡通RFID数据转化为过程事件日志的方法,其中,所述步骤B1中六元组包括:RFID标识、业务点、业务类型、交易时间、交易金额和经手人。
一种一卡通RFID数据转化为过程事件日志的系统,其中,包括:
预处理单元,用于对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;
转化单元,用于根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。
所述的一卡通RFID数据转化为过程事件日志的系统,其中,所述预处理单元进一步包括:
分类子单元,用于首先设置原始数据源的位置、表结构和抽取时间范围,再根据抽取时间范围设置,原始数据根据主题选择性地导入到RFID数据仓库中,并存在在不同时间主题的表中;
清洗子单元,用于对不符合预先设置要求的数据进行清洗;
融合子单元,用于设置业务操作时间,然后根据所述业务操作时间,进行数据融合;
归集子单元,用于根据不同的数据集划分时间,以主题和时间划分出不同的数据集,形成转化日志的数据源。
所述的一卡通RFID数据转化为过程事件日志的系统,其中,所述融合子单元中进行数据融合时压缩数据大小。
所述的一卡通RFID数据转化为过程事件日志的系统,其中,所述转化单元进一步包括:
属性设置子单元,用于设置XES日志的格式参数,其包括XEvent的数据属性,一卡通RFID数据采用六元组表示;
时间粒度设置子单元,用于设置XTrace时间粒度;
映射子单元,用于建立映射规则,以XTrace时间粒度为限制条件,查找某个RFID标识在时间范围内的所有刷卡记录,一条刷卡记录映射为一个XEvent,多个符合条件的XEvent按时间戳次序加入XTrace中;
存入子单元,用于当Xlog中Xtrace超出预先设定的上限时,把XLog存入XES日志文件中。
所述的一卡通RFID数据转化为过程事件日志的系统,其中,所述属性设置子单元中六元组包括:RFID标识、业务点、业务类型、交易时间、交易金额和经手人。
有益效果:本发明一卡通RFID数据转化为过程事件日志的方法和系统,在数据预处理阶段,增加了时间参数设置,提高了处理后的数据集的多样性,同时根据业务操作特点,通过数据融合压缩了数据规模,从而提高了方法的效率和应用效果;同时,在转化日志阶段,建立了基于XTrace时间粒度的映射规则,实现了一卡通RFID数据的过程信息挖掘,填补了当前研究一卡通RFID数据处理的空白,增强了一卡通应用决策分析支持能力。
附图说明
图1为本发明一卡通RFID数据转化为过程事件日志的方法的流程图。
图2为本发明一卡通RFID数据转化为过程事件日志的方法中数据预处理的过程示意图。
图3为本发明一卡通RFID数据转化为过程事件日志的方法中转化日志阶段的过程示意图。
图4为本发明一卡通RFID数据转化为过程事件日志的系统的结构框图。
具体实施方式
本发明一卡通RFID数据转化为过程事件日志的方法和系统,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明提供的一卡通RFID数据转化为过程事件日志的方法包括如下步骤:
S100、对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;
S200、根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。
下面针对上述步骤进行详细介绍。
其中,步骤S100为数据预处理过程,其是通过数据集成、清洗、融合和划分等预处理技术得到多种基于主题的数据集市,这些数据集市不仅基于某个主题,而且还属于某个时间周期。方法中提供几种时间参数:原始数据抽取时间表示抽取的原始数据范围;业务操作时间表示某个业务存在特殊的多次刷卡数据,根据该时间进行数据融合操作;数据集时间表示数据集市划分的时间粒度。
具体来说,请一并参阅图2,首先设置原始数据源的位置、表结构和抽取时间范围,再根据抽取时间范围设置,原始数据根据主题选择性地导入到RFID数据仓库中,并存在在不同时间主题的表中;然后,对不符合预先设置要求的数据进行清洗;再设置业务操作时间,然后根据所述业务操作时间,进行数据融合;最后,根据不同的数据集划分时间,以主题和时间划分出不同的数据集,形成转化日志的数据源。其在数据预处理阶段,增加了时间参数设置,提高了处理后的数据集的多样性,同时根据业务操作特点,通过数据融合压缩了数据规模,从而提高了方法的效率和应用效果。
步骤S200为转化日志阶段,其把一卡通RFID数据集转化为XES过程事件日志。XES过程事件日志是以XLog表示一个过程日志,以XTrace表示一个行为实例,以XEvent表示一个发生的事件,XTrace中的XEvent以时间戳为次序。
具体来说,请一并参阅图3,首先,设置XES日志的格式参数,主要是XEvent的数据属性,一卡通RFID数据采用(RFID标识、业务点、业务类型、交易时间、交易金额、经手人)六元组表示;然后,设置XTrace时间粒度,因为一卡通RFID数据没有明显的业务过程特征,因此以RFID标识为XTrace ID,可以设置时间粒度为天、周、月、年等任意时间周期。再建立映射规则,以XTrace时间粒度为限制条件,查找某个RFID标识在时间范围内的所有刷卡记录,一条刷卡记录映射为一个XEvent,多个符合条件的XEvent按时间戳次序加入XTrace中。最后,由于一卡通RFID数据的海量特点,为避免算法执行内存崩溃,采用了XTrace上限的方法,当超过某个上限时,把XLog存入XES日志文件中。
在转化日志阶段,建立了基于XTrace时间粒度的映射规则,实现了一卡通RFID数据的过程信息挖掘,填补了当前研究一卡通RFID数据处理的空白,增强了一卡通应用决策分析支持能力。
本发明还提供了一种一卡通RFID数据转化为过程事件日志的系统,如图4所示,包括:
预处理单元100,用于对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;
转化单元200,用于根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。
进一步地,所述的一卡通RFID数据转化为过程事件日志的系统中,所述预处理单元进一步包括:
分类子单元,用于首先设置原始数据源的位置、表结构和抽取时间范围,再根据抽取时间范围设置,原始数据根据主题选择性地导入到RFID数据仓库中,并存在在不同时间主题的表中;
清洗子单元,用于对不符合预先设置要求的数据进行清洗;
融合子单元,用于设置业务操作时间,然后根据所述业务操作时间,进行数据融合;
归集子单元,用于根据不同的数据集划分时间,以主题和时间划分出不同的数据集,形成转化日志的数据源。
进一步地,所述的一卡通RFID数据转化为过程事件日志的系统中,所述融合子单元中进行数据融合时压缩数据大小。
进一步地,所述的一卡通RFID数据转化为过程事件日志的系统中,所述转化单元进一步包括:
属性设置子单元,用于设置XES日志的格式参数,其包括XEvent的数据属性,一卡通RFID数据采用六元组表示;
时间粒度设置子单元,用于设置XTrace时间粒度;
映射子单元,用于建立映射规则,以XTrace时间粒度为限制条件,查找某个RFID标识在时间范围内的所有刷卡记录,一条刷卡记录映射为一个XEvent,多个符合条件的XEvent按时间戳次序加入XTrace中;
存入子单元,用于当Xlog中Xtrace超出预先设定的上限时,把XLog存入XES日志文件中。
进一步地,所述的一卡通RFID数据转化为过程事件日志的系统中,所述属性设置子单元中六元组包括:RFID标识、业务点、业务类型、交易时间、交易金额和经手人。
综上,本发明通过对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;再根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志。在数据预处理阶段,增加了时间参数设置,提高了处理后的数据集的多样性,同时根据业务操作特点,通过数据融合压缩了数据规模,从而提高了方法的效率和应用效果;同时,在转化日志阶段,建立了基于XTrace时间粒度的映射规则,实现了一卡通RFID数据的过程信息挖掘,填补了当前研究一卡通RFID数据处理的空白,增强了一卡通应用决策分析支持能力。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种一卡通RFID数据转化为过程事件日志的方法,其特征在于:包括如下步骤:
A、对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;
B、根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志;
所述步骤A包括:
A1、首先设置原始数据源的位置、表结构和抽取时间范围,再根据抽取时间范围设置,原始数据根据主题选择性地导入到RFID数据仓库中,并存在在不同时间主题的表中;
A2、对不符合预先设置要求的数据进行清洗;
A3、设置业务操作时间,然后根据所述业务操作时间,进行数据融合;
A4、根据不同的数据集划分时间,以主题和时间划分出不同的数据集,形成转化日志的数据源;
所述步骤B包括:
B1、设置XES日志的格式参数,其包括XEvent的数据属性,一卡通RFID数据采用六元组表示;
B2、设置XTrace时间粒度;
B3、建立映射规则,以XTrace时间粒度为限制条件,查找某个RFID标识在时间范围内的所有刷卡记录,一条刷卡记录映射为一个XEvent,多个符合条件的XEvent按时间戳次序加入XTrace中;
B4、当Xlog中Xtrace超出预先设定的上限时,把XLog存入XES日志文件中。
2.根据权利要求1所述的一卡通RFID数据转化为过程事件日志的方法,其特征在于,所述步骤A3中进行数据融合时压缩数据大小。
3.根据权利要求1所述的一卡通RFID数据转化为过程事件日志的方法,其特征在于:所述步骤B1中六元组包括:RFID标识、业务点、业务类型、交易时间、交易金额和经手人。
4.一种一卡通RFID数据转化为过程事件日志的系统,其特征在于:包括:
预处理单元,用于对原始数据进行预处理,得到多种基于主题和时间周期的数据集市,形成转化日志的数据源;
转化单元,用于根据预先设定的映射规则,把一卡通RFID数据集转化为XES过程事件日志;
所述预处理单元进一步包括:
分类子单元,用于首先设置原始数据源的位置、表结构和抽取时间范围,再根据抽取时间范围设置,原始数据根据主题选择性地导入到RFID数据仓库中,并存在在不同时间主题的表中;
清洗子单元,用于对不符合预先设置要求的数据进行清洗;
融合子单元,用于设置业务操作时间,然后根据所述业务操作时间,进行数据融合;
归集子单元,用于根据不同的数据集划分时间,以主题和时间划分出不同的数据集,形成转化日志的数据源;
所述转化单元进一步包括:
属性设置子单元,用于设置XES日志的格式参数,其包括XEvent的数据属性,一卡通RFID数据采用六元组表示;
时间粒度设置子单元,用于设置XTrace时间粒度;
映射子单元,用于建立映射规则,以XTrace时间粒度为限制条件,查找某个RFID标识在时间范围内的所有刷卡记录,一条刷卡记录映射为一个XEvent,多个符合条件的XEvent按时间戳次序加入XTrace中;
存入子单元,用于当Xlog中Xtrace超出预先设定的上限时,把XLog存入XES日志文件中。
5.根据权利要求4所述的一卡通RFID数据转化为过程事件日志的系统,其特征在于,所述融合子单元中进行数据融合时压缩数据大小。
6.根据权利要求4所述的一卡通RFID数据转化为过程事件日志的系统,其特征在于:所述属性设置子单元中六元组包括:RFID标识、业务点、业务类型、交易时间、交易金额和经手人。
CN201510119963.8A 2015-03-18 2015-03-18 一卡通rfid数据转化为过程事件日志的方法和系统 Active CN104765777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510119963.8A CN104765777B (zh) 2015-03-18 2015-03-18 一卡通rfid数据转化为过程事件日志的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510119963.8A CN104765777B (zh) 2015-03-18 2015-03-18 一卡通rfid数据转化为过程事件日志的方法和系统

Publications (2)

Publication Number Publication Date
CN104765777A CN104765777A (zh) 2015-07-08
CN104765777B true CN104765777B (zh) 2018-11-13

Family

ID=53647608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510119963.8A Active CN104765777B (zh) 2015-03-18 2015-03-18 一卡通rfid数据转化为过程事件日志的方法和系统

Country Status (1)

Country Link
CN (1) CN104765777B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797397B (zh) * 2020-06-28 2023-08-29 韩山师范学院 恶意代码可视化及变种检测方法、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902776A (zh) * 2012-09-28 2013-01-30 用友软件股份有限公司 用于联机分析处理系统的时间维度成员生成装置和方法
CN103914471A (zh) * 2012-12-31 2014-07-09 北京启明星辰信息技术股份有限公司 一种海量事件的处理方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1308882C (zh) * 2003-01-06 2007-04-04 李之彦 开放式功能动态集成的智能卡系统
US9129493B2 (en) * 2010-01-08 2015-09-08 Apg Cash Drawer, Llc Wireless device operable cash drawer having biometric, database, and messaging capabilities
US9116906B2 (en) * 2012-06-12 2015-08-25 Sap Se Centralized read access logging
CN103646309A (zh) * 2013-12-04 2014-03-19 广东创能科技有限公司 一种票务清分系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902776A (zh) * 2012-09-28 2013-01-30 用友软件股份有限公司 用于联机分析处理系统的时间维度成员生成装置和方法
CN103914471A (zh) * 2012-12-31 2014-07-09 北京启明星辰信息技术股份有限公司 一种海量事件的处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于MapReduce的海量事件日志并行转化算法";窦蒙等;《计算机集成制造系统》;20130815;期刊第1785-1792页,附图7、8、10 *

Also Published As

Publication number Publication date
CN104765777A (zh) 2015-07-08

Similar Documents

Publication Publication Date Title
CN107766371B (zh) 一种文本信息分类方法及其装置
CN105095211B (zh) 多媒体数据的获取方法和装置
CN107251060A (zh) 针对序列标签器的预训练和/或迁移学习
CN110751224A (zh) 视频分类模型的训练方法、视频分类方法、装置及设备
CN108021660B (zh) 一种基于迁移学习的话题自适应的微博情感分析方法
CN107239538B (zh) 具有自学习功能的平行客服机器人系统及其自学习方法
CN106293554A (zh) 一种云打印系统及云打印机
CN103150359B (zh) 微博信息显示方法和装置
CN112560468B (zh) 气象预警文本处理方法、相关装置及计算机程序产品
EP4390725A1 (en) Video retrieval method and apparatus, device, and storage medium
CN111061837A (zh) 话题识别方法、装置、设备及介质
CN103905482B (zh) 推送信息的方法、推送服务器和系统
CN103580919A (zh) 一种利用邮件服务器日志进行邮件用户标记的方法与系统
CN113312924A (zh) 一种基于nlp高精解析标签的风险规则分类方法及装置
CN110472057A (zh) 话题标签的生成方法及装置
CN105786941B (zh) 一种信息挖掘方法和装置
CN103929499A (zh) 一种物联网异构标识识别方法和系统
CN104765777B (zh) 一卡通rfid数据转化为过程事件日志的方法和系统
CN108073705B (zh) 一种分布式海量数据聚合采集方法
CN109388711A (zh) 日志流聚类的方法和装置
CN101286903B (zh) 一种网络审计领域提高会话完整性的方法
CN105893560A (zh) 一种向用户反馈有效信息的方法和装置
CN110147980A (zh) 工单处理方法及装置
CN106469086B (zh) 事件处理方法和装置
CN106909570B (zh) 一种数据转换方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230529

Address after: Room 4032, 1-4/F, No. 20 Zhangmu Mountain, Cencun, Tianhe District, Guangzhou, Guangdong Province, 510000

Patentee after: Guangdong Green Grape Technology Co.,Ltd.

Address before: 521041 Hanshan Normal University, Qiaodong, Chaozhou City, Guangdong Province

Patentee before: HANSHAN NORMAL University