CN111597180A - 一种基于存储过程的otrs系统的数据清洗方法 - Google Patents
一种基于存储过程的otrs系统的数据清洗方法 Download PDFInfo
- Publication number
- CN111597180A CN111597180A CN202010423647.0A CN202010423647A CN111597180A CN 111597180 A CN111597180 A CN 111597180A CN 202010423647 A CN202010423647 A CN 202010423647A CN 111597180 A CN111597180 A CN 111597180A
- Authority
- CN
- China
- Prior art keywords
- historical data
- data record
- previous
- record
- same
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Abstract
本发明公开一种基于存储过程的OTRS系统的数据清洗方法，涉及数据清洗技术领域；循环取出第二游标中历史数据记录，将首条历史数据记录存入统计结果中间表，判断前后条历史数据记录的队列类型是否相同，不相同则将后条历史数据记录存入到统计结果中间表中，相同则判断前后条历史数据记录的所有者是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中相同则判断前后条历史数据记录的记录负责人是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，若相同则判断前后条历史数据记录中创建时间的差值是否大于预设值，大于则存入统计结果中间表，不大于则继续从第二游标中取出历史数据返回队列类型判断过程，直至数据清洗完成。
Description
技术领域
本发明公开一种数据清洗方法，涉及数据清洗技术领域，具体地说是一种基于存储过程的OTRS系统的数据清洗方法。
背景技术
伴随着经济的快速发展，云服务在生活中的应用越来越广泛，工单处理作为云服务运维的核心组成部分，是一个开源的缺陷跟踪管理系统软件，其纯Web操作界面、良好的邮件系统集成、问题工单生成接口，及时、高效的处理工单，使OTRS在云服务运维工程中发挥着不可替代的作用。
但是在OTRS系统中每次转移队列、所有者、负责人时会产生大量重复数据，在OTRS系统中对工单进行统计分析十分复杂，所以在进行工单统计分析前需要对数据进行清洗。现有的方法，需在工单历史记录中查找每一队列的所有者、负责人、创建时间、结束时间等队列信息，然后比较前条记录与后条记录之间的差异，再进行清洗，这样的操作步骤烦琐、容易出错、效率低下，而且不能完全过滤掉重复数据。
发明内容
本发明针对现有技术的问题，提供一种基于存储过程的OTRS系统的数据清洗方法，基于存储过程的OTRS系统进行数据清洗，可将OTRS系统中转移队列、负责人、所有者时产生的重复数据全部清除，避免了手动清洗数据的繁琐步骤，提高了统计分析的效率。
本发明提出的具体方案是：
一种基于存储过程的OTRS系统的数据清洗方法：创建统计结果中间表，
将工单ID存入第一游标中，
循环第一游标中工单ID，根据工单ID获取历史数据记录，将所有历史数据记录存入第二游标中，
循环取出第二游标中历史数据记录，将首条历史数据记录存入统计结果中间表，
判断前后条历史数据记录的队列类型是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若队列类型相同，则判断前后条历史数据记录的所有者是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若所有者相同，则判断前后条历史数据记录的记录负责人是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若记录负责人相同，则判断前后条历史数据记录中创建时间的差值是否大于预设值，大于则存入统计结果中间表，不大于则继续从第二游标中取出历史数据返回队列类型判断过程，直至数据清洗完成。
所述的数据清洗方法中历史数据记录存入第二游标的过程：
循环第一游标中工单ID，根据工单ID从工单历史表中获取历史数据记录，历史数据记录的数据属性包括工单ID、工单编号、所有者、记录负责人、队列类型及创建时间，将所有历史数据存入第二游标中。
所述的数据清洗方法中取出第二游标中历史数据记录的过程：
取出第二游标中历史数据记录的工单ID、工单编号、所有者、记录负责人、队列类型及创建时间依次存入到相应的条目中，若是首条历史数据记录，则将首条历史数据存入到统计结果中间表中。
所述的数据清洗方法中判断前后条历史数据记录的队列类型是否相同：
判断后条历史数据记录的队列类型与前条历史数据记录的队列类型是否相同，
判断队列类型不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录的相应条目分别赋值给前条历史数据记录的相应条目，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
判断队列类型相同，则继续判断前后条历史数据记录的所有者是否相同。
所述的数据清洗方法中判断前后条历史数据记录的所有者是否相同：
判断后条历史数据记录的所有者与前条历史数据记录的所有者是否相同，
判断所有者不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录的相应条目分别赋值给前条历史数据记录的相应条目，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，判断所有者相同，则继续判断前后条历史数据记录的记录负责人是否相同。
所述的数据清洗方法中判断前后条历史数据记录的记录负责人是否相同：
判断后条历史数据记录的记录负责人与前条历史数据记录的记录负责人是否相同，
判断记录负责人不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录的相应条目分别赋值给前条历史数据记录的相应条目，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
判断记录负责人相同，则继续判断前后条历史数据记录中创建时间的差值是否大于预设值。
所述的数据清洗方法中判断前后条历史数据记录的创建时间的差值是否大于预设值：
利用后条历史数据记录的创建时间减去前条历史数据记录的创建时间，获得差值，
判断差值是否大于预设值，是则将前条历史数据记录存入统计结果中间表，并将后条历史数据记录的相应条目分别赋值给前条历史数据记录的相应条目，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
否则继续从第二游标中取出历史数据记录返回队列类型判断过程。
一种基于存储过程的OTRS系统的数据清洗系统，包括创建模块、存入模块、循环获取模块、循环判断模块，
创建模块创建统计结果中间表，
存入模块将工单ID存入第一游标中，
循环获取模块循环第一游标中工单ID，根据工单ID获取历史数据记录，将所有历史数据记录存入第二游标中，
循环判断模块循环取出第二游标中历史数据记录，将首条历史数据记录存入统计结果中间表，
判断前后条历史数据记录的队列类型是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若队列类型相同，则判断前后条历史数据记录的所有者是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若所有者相同，则判断前后条历史数据记录的记录负责人是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若记录负责人相同，则判断前后条历史数据记录中创建时间的差值是否大于预设值，大于则存入统计结果中间表，不大于则继续从第二游标中取出历史数据返回队列类型判断过程，直至数据清洗完成。
基于存储过程的OTRS系统的数据清洗装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述的一种基于存储过程的OTRS系统的数据清洗方法。
计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种基于存储过程的OTRS系统的数据清洗方法。
本发明的有益之处是：
本发明方法提供提供一种基于存储过程的OTRS系统的数据清洗方法，在存储过程中，利用循环游标的方式，获取历史数据记录，并按照一定顺序，针对前后条历史数据记录中数据属性的队列类型、所有者、记录负责人及创建时间进行重复数据的清洗，能够完整有效清除重复数据，出错率极低，同时避免了手动清洗数据的繁琐步骤，提高了统计分析的效率。
附图说明
图1是本发明方法流程示意图。游标A指代第一游标，游标B指代第二游标。
具体实施方式
OTRS：Open-source Ticket Request System工单管理系统。
云客服平台工单系统则可以在任何设备上使用，电脑、Ipad、手机都可以，且不用担心安全问题。
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明提供一种基于存储过程的OTRS系统的数据清洗方法：创建统计结果中间表，
将工单ID存入第一游标中，
循环第一游标中工单ID，根据工单ID获取历史数据记录，将所有历史数据记录存入第二游标中，
循环取出第二游标中历史数据记录，将首条历史数据记录存入统计结果中间表，
判断前后条历史数据记录的队列类型是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若队列类型相同，则判断前后条历史数据记录的所有者是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若所有者相同，则判断前后条历史数据记录的记录负责人是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若记录负责人相同，则判断前后条历史数据记录中创建时间的差值是否大于预设值，大于则存入统计结果中间表，不大于则继续从第二游标中取出历史数据返回队列类型判断过程，直至数据清洗完成。
利用本发明方法，对前后条历史数据记录根据其数据属性中队列类型、所有者、记录负责人及创建时间进行清洗，完整而有效地实现存储过程中数据的清洗。
在上述过程中，本发明一个实施例说明了历史数据记录存入第二游标的过程：
循环第一游标中工单ID，根据工单ID从工单历史表中获取历史数据记录，历史数据记录的数据属性包括工单ID、工单编号、所有者、记录负责人、队列类型及创建时间，将所有历史数据存入第二游标中，
同时，说明了取出第二游标中历史数据记录的过程：
取出第二游标中历史数据记录的工单ID、工单编号、所有者、记录负责人、队列类型及创建时间依次存入到相应的条目中，若是首条历史数据记录，则将首条历史数据存入到统计结果中间表中，
其中首条历史数据记录的工单ID、工单编号、所有者、记录负责人、队列类型及创建时间对应条目firstID、firstNO、firstOwner、firstResponser、firstQueue、firstCreateTime，
接下来的历史数据记录的工单ID、工单编号、所有者、记录负责人、队列类型及创建时间对应条目lastID、lastNO、lastOwner、lastResponser、lastQueue、lastCreateTime。
上述实施例具体说明了数据存入第二游标及第二游标取出数据的过程，规定了数据的对应条目，有利于更加迅速的对数据进行赋值及清洗。
在上述实施例基础上，本发明另一实施例，说明了数据清洗的过程：
判断后条历史数据的队列类型lastQueue与前条历史数据的队列类型firstQueue是否相同，如果两条数据队列类型不同，则将后条据存入到统计中间表中，并将lastID、lastNO、lastOwner、lastResponser、lastQueue、lastCreateTime赋值给firstID、firstNO、firstOwner、firstResponser、firstQueue、firstCreateTime，
继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
判断队列类型相同，则继续判断前后条历史数据记录的所有者是否相同；
判断后条数据所有者lastOwner与前条数据所有者firstOwner是否相同，如果两条数据所有者不同，则将后条数据存入到统计中间表中，并将lastID、lastNO、lastOwner、lastResponser、lastQueue、lastCreateTime赋值给firstID、firstNO、firstOwner、firstResponser、firstQueue、firstCreateTime，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
判断所有者相同，则继续判断前后条历史数据记录的记录负责人是否相同；
判断后条数据负责人lastResponser与前条数据负责人firstResponser是否相同，如果两条数据负责人不同，则将后条数据存入到中间表中，并将lastID、lastNO、lastOwner、lastResponser、lastQueue、lastCreateTime赋值给firstID、firstNO、firstOwner、firstResponser、firstQueue、firstCreateTime，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
判断记录负责人相同，则继续判断前后条历史数据记录中创建时间的差值是否大于预设值；
用后条数据创建时间lastCreateTime减去前条数据创建时间firstCreateTime，如果差值大于10秒，则将后条数据存入到统计中间表中，10秒为预设值，并将lastID、lastNO、lastOwner、lastResponser、lastQueue、lastCreateTime赋值给firstID、firstNO、firstOwner、firstResponser、firstQueue、firstCreateTime，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
如果两条数据差值小于10秒，继续从第二游标中取出历史数据记录返回队列类型判断过程，
循环第二游标至结束，
循环游标A至结束，至此，全部工单历史数据清洗完毕。
本发明提供基于存储过程的OTRS系统的数据清洗装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述的一种基于存储过程的OTRS系统的数据清洗方法。
本发明还提供计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至7任一所述的一种基于存储过程的OTRS系统的数据清洗方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
同时本发明还提供一种基于存储过程的OTRS系统的数据清洗系统，包括创建模块、存入模块、循环获取模块、循环判断模块，
创建模块创建统计结果中间表，
存入模块将工单ID存入第一游标中，
循环获取模块循环第一游标中工单ID，根据工单ID获取历史数据记录，将所有历史数据记录存入第二游标中，
循环判断模块循环取出第二游标中历史数据记录，将首条历史数据记录存入统计结果中间表，
判断前后条历史数据记录的队列类型是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若队列类型相同，则判断前后条历史数据记录的所有者是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若所有者相同，则判断前后条历史数据记录的记录负责人是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若记录负责人相同，则判断前后条历史数据记录中创建时间的差值是否大于预设值，大于则存入统计结果中间表，不大于则继续从第二游标中取出历史数据返回队列类型判断过程，直至数据清洗完成。
本发明系统一个实施例说明了历史数据记录存入第二游标的过程：
循环获取模块循环第一游标中工单ID，根据工单ID从工单历史表中获取历史数据记录，历史数据记录的数据属性包括工单ID、工单编号、所有者、记录负责人、队列类型及创建时间，将所有历史数据存入第二游标中，
同时，说明了循环判断模块取出第二游标中历史数据记录的过程：
取出第二游标中历史数据记录的工单ID、工单编号、所有者、记录负责人、队列类型及创建时间依次存入到相应的条目中，若是首条历史数据记录，则将首条历史数据存入到统计结果中间表中，
其中首条历史数据记录的工单ID、工单编号、所有者、记录负责人、队列类型及创建时间对应条目firstID、firstNO、firstOwner、firstResponser、firstQueue、firstCreateTime，
接下来的历史数据记录的工单ID、工单编号、所有者、记录负责人、队列类型及创建时间对应条目lastID、lastNO、lastOwner、lastResponser、lastQueue、lastCreateTime。
上述实施例具体说明了循环获取模块将数据存入第二游标及循环判断模块从第二游标取出数据的过程，规定了数据的对应条目，有利于更加迅速的对数据进行赋值及清洗。
在上述实施例基础上，本发明系统另一实施例，说明了循环判断模块数据清洗的过程：
循环判断模块判断后条历史数据的队列类型lastQueue与前条历史数据的队列类型firstQueue是否相同，如果两条数据队列类型不同，则将后条据存入到统计中间表中，并将lastID、lastNO、lastOwner、lastResponser、lastQueue、lastCreateTime赋值给firstID、firstNO、firstOwner、firstResponser、firstQueue、firstCreateTime，
继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
判断队列类型相同，则继续判断前后条历史数据记录的所有者是否相同；
判断后条数据所有者lastOwner与前条数据所有者firstOwner是否相同，如果两条数据所有者不同，则将后条数据存入到统计中间表中，并将lastID、lastNO、lastOwner、lastResponser、lastQueue、lastCreateTime赋值给firstID、firstNO、firstOwner、firstResponser、firstQueue、firstCreateTime，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
判断所有者相同，则继续判断前后条历史数据记录的记录负责人是否相同；
判断后条数据负责人lastResponser与前条数据负责人firstResponser是否相同，如果两条数据负责人不同，则将后条数据存入到中间表中，并将lastID、lastNO、lastOwner、lastResponser、lastQueue、lastCreateTime赋值给firstID、firstNO、firstOwner、firstResponser、firstQueue、firstCreateTime，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
判断记录负责人相同，则继续判断前后条历史数据记录中创建时间的差值是否大于预设值；
用后条数据创建时间lastCreateTime减去前条数据创建时间firstCreateTime，如果差值大于10秒，则将后条数据存入到统计中间表中，10秒为预设值，并将lastID、lastNO、lastOwner、lastResponser、lastQueue、lastCreateTime赋值给firstID、firstNO、firstOwner、firstResponser、firstQueue、firstCreateTime，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
如果两条数据差值小于10秒，继续从第二游标中取出历史数据记录返回队列类型判断过程，
循环第二游标至结束，
循环第一游标至结束，至此，全部工单历史数据清洗完毕。
需要说明的是，上述各流程和各系统结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
Claims (10)
1.一种基于存储过程的OTRS系统的数据清洗方法，其特征是创建统计结果中间表，
将工单ID存入第一游标中，
循环第一游标中工单ID，根据工单ID获取历史数据记录，将所有历史数据记录存入第二游标中，
循环取出第二游标中历史数据记录，将首条历史数据记录存入统计结果中间表，
判断前后条历史数据记录的队列类型是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若队列类型相同，则判断前后条历史数据记录的所有者是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若所有者相同，则判断前后条历史数据记录的记录负责人是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若记录负责人相同，则判断前后条历史数据记录中创建时间的差值是否大于预设值，大于则存入统计结果中间表，不大于则继续从第二游标中取出历史数据返回队列类型判断过程，直至数据清洗完成。
2.根据权利要求1所述的数据清洗方法，其特征是历史数据记录存入第二游标的过程：
循环第一游标中工单ID，根据工单ID从工单历史表中获取历史数据记录，历史数据记录的数据属性包括工单ID、工单编号、所有者、记录负责人、队列类型及创建时间，将所有历史数据存入第二游标中。
3.根据权利要求1或2所述的数据清洗方法，其特征是取出第二游标中历史数据记录的过程：
取出第二游标中历史数据记录的工单ID、工单编号、所有者、记录负责人、队列类型及创建时间依次存入到相应的条目中，若是首条历史数据记录，则将首条历史数据存入到统计结果中间表中。
4.根据权利要求3所述的数据清洗方法，其特征是判断前后条历史数据记录的队列类型是否相同：
判断后条历史数据记录的队列类型与前条历史数据记录的队列类型是否相同，
判断队列类型不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录的相应条目分别赋值给前条历史数据记录的相应条目，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
判断队列类型相同，则继续判断前后条历史数据记录的所有者是否相同。
5.根据权利要求4所述的数据清洗方法，其特征是判断前后条历史数据记录的所有者是否相同：
判断后条历史数据记录的所有者与前条历史数据记录的所有者是否相同，
判断所有者不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录的相应条目分别赋值给前条历史数据记录的相应条目，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
判断所有者相同，则继续判断前后条历史数据记录的记录负责人是否相同。
6.根据权利要求4或5所述的数据清洗方法，其特征是判断前后条历史数据记录的记录负责人是否相同：
判断后条历史数据记录的记录负责人与前条历史数据记录的记录负责人是否相同，
判断记录负责人不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录的相应条目分别赋值给前条历史数据记录的相应条目，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
判断记录负责人相同，则继续判断前后条历史数据记录中创建时间的差值是否大于预设值。
7.根据权利要求6所述的数据清洗方法，其特征是判断前后条历史数据记录的创建时间的差值是否大于预设值：
利用后条历史数据记录的创建时间减去前条历史数据记录的创建时间，获得差值，
判断差值是否大于预设值，是则将前条历史数据记录存入统计结果中间表，并将后条历史数据记录的相应条目分别赋值给前条历史数据记录的相应条目，继续取出第二游标中下一条历史数据记录，并将数据属性依次存入到相应的条目中，
否则继续从第二游标中取出历史数据记录返回队列类型判断过程。
8.一种基于存储过程的OTRS系统的数据清洗系统，其特征是包括创建模块、存入模块、循环获取模块、循环判断模块，
创建模块创建统计结果中间表，
存入模块将工单ID存入第一游标中，
循环获取模块循环第一游标中工单ID，根据工单ID获取历史数据记录，将所有历史数据记录存入第二游标中，
循环判断模块循环取出第二游标中历史数据记录，将首条历史数据记录存入统计结果中间表，
判断前后条历史数据记录的队列类型是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若队列类型相同，则判断前后条历史数据记录的所有者是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若所有者相同，则判断前后条历史数据记录的记录负责人是否相同，若不相同则将后条历史数据记录存入到统计结果中间表中，并将后条历史数据记录赋值给前条历史数据记录，
若记录负责人相同，则判断前后条历史数据记录中创建时间的差值是否大于预设值，大于则存入统计结果中间表，不大于则继续从第二游标中取出历史数据返回队列类型判断过程，直至数据清洗完成。
9.基于存储过程的OTRS系统的数据清洗装置，其特征是包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至7中任一所述的一种基于存储过程的OTRS系统的数据清洗方法。
10.计算机可读介质，其特征是所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至7任一所述的一种基于存储过程的OTRS系统的数据清洗方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010423647.0A CN111597180A (zh) | 2020-05-19 | 2020-05-19 | 一种基于存储过程的otrs系统的数据清洗方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010423647.0A CN111597180A (zh) | 2020-05-19 | 2020-05-19 | 一种基于存储过程的otrs系统的数据清洗方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111597180A true CN111597180A (zh) | 2020-08-28 |
Family
ID=72185782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010423647.0A Pending CN111597180A (zh) | 2020-05-19 | 2020-05-19 | 一种基于存储过程的otrs系统的数据清洗方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111597180A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103959259A (zh) * | 2012-11-20 | 2014-07-30 | 华为技术有限公司 | 数据存储方法、数据存储装置及数据存储系统 |
| CN105206054A (zh) * | 2015-09-22 | 2015-12-30 | 浙江久拓科技有限公司 | 基于大数据分析的浮动车轨迹重复挖掘方法 |
| CN107423220A (zh) * | 2017-08-04 | 2017-12-01 | 青岛海信宽带多媒体技术有限公司 | 内存泄露的检测方法及装置、电子设备 |
| US9846599B1 (en) * | 2016-10-31 | 2017-12-19 | International Business Machines Corporation | Adaptive query cursor management |
| CN107688592A (zh) * | 2017-04-06 | 2018-02-13 | 平安科技（深圳）有限公司 | 数据清洗的方法及终端 |
| CN107798047A (zh) * | 2017-07-26 | 2018-03-13 | 上海壹账通金融科技有限公司 | 重复工单检测方法、装置、服务器和介质 |
| CN108319694A (zh) * | 2018-02-02 | 2018-07-24 | 中国银行股份有限公司 | 一种历史数据的自动清理方法及装置 |
| CN109842628A (zh) * | 2018-12-13 | 2019-06-04 | 成都亚信网络安全产业技术研究院有限公司 | 一种异常行为检测方法及装置 |
| CN110704465A (zh) * | 2019-09-26 | 2020-01-17 | 中电万维信息技术有限责任公司 | 一种处理业务工单表的方法、装置及存储介质 |
-
2020
- 2020-05-19 CN CN202010423647.0A patent/CN111597180A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103959259A (zh) * | 2012-11-20 | 2014-07-30 | 华为技术有限公司 | 数据存储方法、数据存储装置及数据存储系统 |
| CN105206054A (zh) * | 2015-09-22 | 2015-12-30 | 浙江久拓科技有限公司 | 基于大数据分析的浮动车轨迹重复挖掘方法 |
| US9846599B1 (en) * | 2016-10-31 | 2017-12-19 | International Business Machines Corporation | Adaptive query cursor management |
| CN107688592A (zh) * | 2017-04-06 | 2018-02-13 | 平安科技（深圳）有限公司 | 数据清洗的方法及终端 |
| CN107798047A (zh) * | 2017-07-26 | 2018-03-13 | 上海壹账通金融科技有限公司 | 重复工单检测方法、装置、服务器和介质 |
| CN107423220A (zh) * | 2017-08-04 | 2017-12-01 | 青岛海信宽带多媒体技术有限公司 | 内存泄露的检测方法及装置、电子设备 |
| CN108319694A (zh) * | 2018-02-02 | 2018-07-24 | 中国银行股份有限公司 | 一种历史数据的自动清理方法及装置 |
| CN109842628A (zh) * | 2018-12-13 | 2019-06-04 | 成都亚信网络安全产业技术研究院有限公司 | 一种异常行为检测方法及装置 |
| CN110704465A (zh) * | 2019-09-26 | 2020-01-17 | 中电万维信息技术有限责任公司 | 一种处理业务工单表的方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7099728B2 (en) | Quality control system, method, and program | |
| CN112131099B (zh) | 一种版本升级测试方法及装置 | |
| CN107203464B (zh) | 业务问题的定位方法以及装置 | |
| CN112506802B (zh) | 测试数据的管理方法及系统 | |
| CN113095769A (zh) | 一种服务库存管理方法、装置、设备及可读存储介质 | |
| CN107544894B (zh) | 一种日志处理的方法、装置及服务器 | |
| CN111597180A (zh) | 一种基于存储过程的otrs系统的数据清洗方法 | |
| CN110659393B (zh) | 一种xml代码生成方法和系统 | |
| CN114598731B (zh) | 集群日志采集方法、装置、设备及存储介质 | |
| CN110620698A (zh) | 一种软件异常诊断方法、装置、设备及系统 | |
| CN114662956A (zh) | 数据中心运维信息处理方法、系统、设备及存储介质 | |
| CN115391220A (zh) | 一种测试用例生成方法、装置及设备 | |
| CN111984473B (zh) | 一种内存快照数据获取方法及相关装置 | |
| CN111262727B (zh) | 服务的扩容方法、装置、设备及存储介质 | |
| CN110287182B (zh) | 一种大数据的数据对比方法、装置、设备及终端 | |
| CN111371818B (zh) | 一种数据请求的验证方法、装置及设备 | |
| CN115297174B (zh) | 乱序数据源依序储存的方法、装置、电子设备及存储介质 | |
| CN113672674A (zh) | 一种自动编排业务流的方法、电子装置和存储介质 | |
| CN112308031A (zh) | 通用人脸识别和人脸特征信息库生成方法、装置及设备 | |
| CN111240990A (zh) | 一种ismcli命令行测试方法、系统、终端及存储介质 | |
| CN111367750A (zh) | 一种异常处理方法、装置及其设备 | |
| CN114356624B (zh) | 复合机型crc报错信息的定位方法、系统、终端及存储介质 | |
| CN109388564A (zh) | 一种测试方法、装置及电子设备 | |
| CN108804311A (zh) | 一种执行测试文件的方法及装置 | |
| CN114331154A (zh) | 一种粮食行业出入库流程环节的管理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |