CN109088705B - 数据的重传方法、重传设备及网关 - Google Patents

数据的重传方法、重传设备及网关 Download PDF

Info

Publication number
CN109088705B
CN109088705B CN201811151473.6A CN201811151473A CN109088705B CN 109088705 B CN109088705 B CN 109088705B CN 201811151473 A CN201811151473 A CN 201811151473A CN 109088705 B CN109088705 B CN 109088705B
Authority
CN
China
Prior art keywords
log file
data
uploading
type
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811151473.6A
Other languages
English (en)
Other versions
CN109088705A (zh
Inventor
李盈麒
陈蒙蒙
周艳英
付金龙
刘红华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dongtu Zhiyuan Intelligent Technology Development Co.,Ltd.
Original Assignee
Shanghai Dongtu Zhiyuan Intelligent Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dongtu Zhiyuan Intelligent Technology Development Co ltd filed Critical Shanghai Dongtu Zhiyuan Intelligent Technology Development Co ltd
Priority to CN201811151473.6A priority Critical patent/CN109088705B/zh
Publication of CN109088705A publication Critical patent/CN109088705A/zh
Application granted granted Critical
Publication of CN109088705B publication Critical patent/CN109088705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867Arrangements specially adapted for the transmitter end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Abstract

本申请公开了一种数据的重传方法、重传设备及网关。该方法通过向服务器上传采集数据;在上传采集数据过程中生成日志文件,其包括采集数据、上传时间、数据上传状态和日志文件的生成时间;重传第一类型的日志文件中数据上传状态为上传失败的采集数据,第一类型的日志文件的生成时间在第一时间段内;重传第二类型的日志文件中数据上传状态为上传失败的采集数据,第二类型的日志文件的生成时间不在第一时间段内,且与当前时间的时间差不大于预设重传时间。该技术方案降低了现有技术中因采集数据上传失败引起的数据丢失,且由于日志文件记录了上传成功和上传失败的采集数据的相关信息,保证了数据的完整性,且方便管理员查看。

Description

数据的重传方法、重传设备及网关
技术领域
本申请涉及通信技术领域,尤其涉及一种数据的重传方法、重传设备及网关。
背景技术
由于完整的数据对数据分析、形成完整的历史数据曲线等有着重要的意义,因此,目前人们对于获得完整数据的需求越来越强烈。
传统中,终端一般采用实时的数据传输方式和断点重传(或称“续传”)的数据传输方式向服务器上传数据,以保证服务器接收到完整的数据。数据断点重传的数据传输方式可以采用重传机制,即终端检测到数据传输失败后,触发重传机制对该传输失败的数据进行连续多次重传。
然而,发明人发现重传机制,虽然能保证数据的成功传输,但在重传过程中一旦传输通道出现问题,如传输通道断路、传输通道阻塞等问题,数据将无法上传,且在终端无数据记录的情况下,无法保证传输数据的完整性,也就是说,该机制限制了实时数据的及时传输。
发明内容
本申请实施例提供一种数据的重传方法、重传设备及网关,用于解决上述现有技术存在的问题。
第一方面,提供了一种数据的重传方法,该方法包括:
向服务器上传采集数据;
在向服务器上传采集数据过程中生成日志文件,日志文件包括采集数据、采集数据的上传时间、采集数据的数据上传状态和日志文件的生成时间;
重传第一类型的日志文件中数据上传状态为上传失败的采集数据,第一类型的日志文件的生成时间在第一时间段内;
重传第二类型的日志文件中数据上传状态为上传失败的采集数据,第二类型的日志文件的生成时间不在第一时间段内,且与当前时间的时间差不大于预设重传时间。
该方法先对在第一类型的日志文件中数据上传状态为上传失败的采集数据进行重传,以使在第一时间段内将采集数据能够及时上传。若经过第一次重传后,该日志文件中仍存在上传失败的采集数据,则对在超过第一时间段内,且与当前时间的时间差不大于预设重传时间的第二类日志文件中数据上传状态为上传失败的采集数据进行再次重传,降低现有技术中因采集数据上传失败引起的数据丢失。
在一个可选的实现中,重传第一类型的日志文件中数据上传状态为上传失败的采集数据,或者,重传第二类型的日志文件中数据上传状态为上传失败的采集数据之后,该方法还包括:
将第一类型的日志文件或第二类型的日志文件中,重传成功的采集数据的数据上传状态修改为上传成功。
在一个可选的实现中,重传第二类型的日志文件中数据上传状态为上传失败的采集数据,包括:
检测第二类型的日志文件是否包含第一标识,第一标识用于指示第二类型的日志文件中存在数据上传状态为上传失败的采集数据;
若第二类型的日志文件包含第一标识,重传第二类型的日志文件中数据上传状态为上传失败的采集数据。
在一个可选的实现中,第一类型的日志文件包含第一标识;
重传第一类型的日志文件中数据上传状态为上传失败的采集数据,或者,重传第二类型的日志文件中数据上传状态为上传失败的采集数据之后,该方法还包括:
若第一类型的日志文件或第二类型的日志文件中不存在数据上传状态为上传失败的采集数据,则将第一类型的日志文件或第二类型的日志文件的第一标识更新为第二标识,第二标识用于指示第一类型的日志文件或第二类型的日志文件中不存在数据上传状态为上传失败的采集数据。
在一个可选的实现中,重传第二类型的日志文件中数据上传状态为上传失败的采集数据,包括:
遍历所有日志文件,对于每个日志文件,若日志文件的生成时间不在第一时间段内,且与当前时间的时间差不大于预设重传时间,则确定该日志文件为第二类型的日志文件;
重传第二类型的日志文件中数据上传状态为上传失败的采集数据。
第二方面,提供了一种重传装置,该装置可以包括:上传单元、生成单元、第一重传单元和第二重传单元;
上传单元,用于向服务器上传采集数据;
生成单元,用于在向服务器上传采集数据过程中生成日志文件,日志文件包括采集数据、采集数据的上传时间、采集数据的数据上传状态和所述日志文件的生成时间;
第一重传单元,用于重传第一类型的日志文件中数据上传状态为上传失败的采集数据,第一类型的日志文件的生成时间在第一时间段内;
第二重传单元,用于重传第二类型的日志文件中数据上传状态为上传失败的采集数据,第二类型的日志文件的生成时间不在第一时间段内,且与当前时间的时间差不大于预设重传时间。
在一个可选的实现中,该装置还包括修改单元;
修改单元,用于在重传第一类型的日志文件中数据上传状态为上传失败的采集数据,或者,重传第二类型的日志文件中数据上传状态为上传失败的采集数据之后,将第一类型的日志文件或第二类型的日志文件中,重传成功的采集数据的数据上传状态修改为上传成功。
在一个可选的实现中,第二重传单元,具体用于检测第二类型的日志文件是否包含第一标识,第一标识用于指示第二类型的日志文件中存在数据上传状态为上传失败的采集数据;
若第二类型的日志文件包含所述第一标识,重传第二类型的日志文件中数据上传状态为上传失败的采集数据。
在一个可选的实现中,该装置还包括更新单元;
第一类型的日志文件包含第一标识;
更新单元,用于在重传第一类型的日志文件中数据上传状态为上传失败的采集数据,或者,重传第二类型的日志文件中数据上传状态为上传失败的采集数据之后,若第一类型的日志文件或第二类型的日志文件中不存在数据上传状态为上传失败的采集数据,则将第一类型的日志文件或第二类型的日志文件的第一标识更新为第二标识,第二标识用于指示第一类型的日志文件或第二类型的日志文件中不存在所述数据上传状态为上传失败的采集数据。
在一个可选的实现中,第二重传单元,具体用于遍历所有日志文件,对于每个日志文件,若日志文件的生成时间不在所述第一时间段内,且与当前时间的时间差不大于预设重传时间,则确定该日志文件为第二类型的日志文件;
重传第二类型的日志文件中数据上传状态为上传失败的采集数据。
第三方面,提供了一种网关,该网关包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面中任一所述的方法步骤。
第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一所述的方法步骤。
该方法通过向服务器上传采集数据,且在上传过程中生成日志文件,日志文件包括采集数据、采集数据的上传时间、采集数据的数据上传状态和日志文件的生成时间;重传第一类型的日志文件中数据上传状态为上传失败的采集数据,第一类型的日志文件的生成时间在第一时间段内;重传第二类型的日志文件中数据上传状态为上传失败的采集数据,第二类型的日志文件的生成时间不在第一时间段内,且与当前时间的时间差不大于预设重传时间。可见,该方法一个上传通道对在第一类型的日志文件中数据上传状态为上传失败的采集数据进行重传,以使尽可能在第一时间段内及时上传第一时间段内产生的采集数据。若经过第一次重传后,该日志文件中仍存在上传失败的采集数据,则另一个上传通道对生成时间超过第一时间段,且生成时间与当前时间的时间差不大于预设重传时间的第二类日志文件中数据上传状态为上传失败的采集数据进行再次重传。因此,本发明一方面尽可能地在第一时间段内及时上传第一时间段内产生的采集数据,另一方面又能降低现有技术中因采集数据上传失败引起的数据丢失。同时,由于日志文件记录了上传成功和上传失败的采集数据的相关信息,保证了数据的完整性,且方便管理员查看。
附图说明
图1为本发明实施例提供的数据的重传方法适用的一种系统架构;
图2为图1中一种网关的结构示意图;
图3为本发明实施例提供的一种数据的重传方法的流程示意图;
图4为本发明实施例提供的另一种数据的重传方法的流程示意图;
图5为本发明实施例提供的一种重传设备的结构示意图;
图6为本发明实施例提供的一种网关的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,并不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明实施例提供的数据的重传方法可以应用在图1所示的系统中,该系统可以包括:至少一个终端、网关和服务器。
至少一个终端与网关间通过有线或无线的方式进行通信,网关与服务器间通过无线的方式进行通信。网关接收至少一个终端上传的采集数据后,将采集数据上传至服务器,以使服务器进行数据监控,数据分析及存储等操作。也就是说,网关用于实现至少一个终端与服务器间的数据传输。
终端可以是用户设备(User Equipment,UE)、具有无线通信功能的手持设备,如移动电话、智能电话、笔记本电脑等、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(Mobile station,MS)等。服务器可以是应用服务器。
如图2所示,网关可以包括第一上传通道210、第二上传通道220和日志生成模块230。
第一上传通道210,用于对实时采集的采集数据上传至服务器,以及重传在第一时间段(如24h)内生成的日志文件(或称“第一类型的日志文件”)中数据上传状态为上传失败的采集数据。
日志生成模块230,用于在向服务器上传采集数据过程中生成日志文件,日志文件包括上传的采集数据、采集数据的上传时间、采集数据的数据上传状态和日志文件的生成时间等信息。
第二上传通道220,用于对生成时间不在第一时间段(如24h)内,且该生成时间与当前时间的时间差不大于预设重传时间(如30天)的日志文件(或称“第二类型的日志文件”)中数据上传状态为上传失败的采集数据进行重传。
可见,本申请的网关通过两种上传通道实现采集数据的重传。第一上传通道重传的是生成时间在第一时间段内的第一类型的日志文件中数据上传状态为上传失败的采集数据,以使采集数据能够在第一时间段内及时上传。第二上传通道重传的是第二类型的日志文件中数据上传状态为上传失败的采集数据,以使第一阶段未能上传的采集数据能够上传,避免采集数据的丢失。第二类型的日志文件的生成时间不在第一时间段内,且第二类型的日志文件的生成时间与当前时间的时间差不大于预设重传时间。同时,由于日志文件记录了上传成功和上传失败的采集数据的相关信息,保证了数据的完整性,且方便管理员查看。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
图3为本发明实施例提供的一种数据的重传方法的流程示意图。如图3所示,该方法可以包括:
步骤310、网关向服务器上传采集数据。
在执行该步骤之前,网关实时采集至少一个终端的数据,并基于服务器预设的上传规则对采集数据进行上传。上传规则可以包括定时上传和变化上传。定时上传为每隔预设规定时间上传一次待上传数据,如每10分钟上传一次采集数据,变化上传为检测到至少一个终端中某终端的数据有变化时,将该变化的数据作为采集数据进行上传,未有变化的数据将不被上传。
网关检测是否达到上传条件,如网关对采集的至少一个终端的数据进行检测,判断数据是否有变化,或是否达到服务器预设规定时间。若是,则向服务器上传采集数据。若否,则继续执行该步骤。
步骤320、在向服务器上传采集数据过程中生成日志文件。
日志文件包括采集数据、采集数据的上传时间、数据上传状态和日志文件的生成时间。其中,数据上传状态包括上传成功和上传失败。
根据日志文件的生成时间,可以以该生成时间对日志文件命名,如年-月-日。日志文件可以为.xml文件。
可选地,日志文件还可以包括第一标识或第二标识,第一标识用于指示日志文件中存在数据上传状态为上传失败的采集数据,如该第一标识可以是error,第二标识用于指示日志文件中不存在数据上传状态为上传失败的采集数据,如该第一标识可以是success。其中,第一时间段内生成的日志文件包括第一标识,即第一类型的日志文件包括第一标识。
第一标识和第二标识可以标识在日志文件的文件名中。当第一标识为error,第二标识为success时,日志文件的文件名可以是年-月-日-error.xml,或年-月-日-success.xml。
例如,网关分别采集到终端1、终端2、终端3的采集数据A、采集数据B和采集数据C,网关将该三个采集数据依次上传至服务器,并将三个采集数据的上传信息记录在表1所示的日志文件中。
表1
Figure BDA0001818053670000081
如表1所示,由日志文件名可知日志文件的生成时间为“年-月-日”,在T1时刻,上传采集数据A,采集数据A的数据上传状态为上传成功;在T2时刻,上传采集数据B,采集数据B的数据上传状态为上传失败;在T3时刻,上传采集数据C,采集数据C的数据上传状态为上传成功。
结合表1所示的日志文件,由于该日志文件存在数据上传状态为上传失败的采集数据,故该日志文件包含第一标识。
进一步的,在生成日志文件后,存储该日志文件,其中,存储方式可以按照日志文件的生成时间对日志文件进行存储,也可以按照日志文件的文件名进行存储,本发明实施例在此不做限定。
步骤330、重传第一类型的日志文件中数据上传状态为上传失败的采集数据。第一类型的日志文件的生成时间在第一时间段内。
在第一时间段内,网关实时检测第一类型的日志文件中是否存在数据上传状态为上传失败的采集数据。
当检测到第一类型的日志文件中不存在数据上传状态为上传失败的采集数据时,将该第一类型的日志文件的第一标识更新为第二标识。
当检测到第一类型的日志文件中存在数据上传状态为上传失败的采集数据时,保持该第一类型的日志文件的第一标识不变,并对该上传失败的采集数据进行重传。
进一步的,在检测到第一类型的日志文件中存在数据上传状态为上传失败的采集数据时,若网关检测到当前数据传输通道状态为连接状态,则在第一时间段内,对第一类型的日志文件中数据上传状态为失败的采集数据进行重传;若检测到当前数据传输通道状态为断开状态,则停止上传采集数据,或停止对第一类型的日志文件中数据上传状态为失败的采集数据进行重传。
可见,若数据传输通道出现问题,如处于断开状态,在数据传输通道处于连接状态后,从日志文件中可以查找到待上传的采集数据,从而保证了上传到服务器的采集数据的完整性。
可选地,在重传第一类型的日志文件中数据上传状态为上传失败的采集数据之后,若重传后的采集数据的数据上传状态为上传成功,则将第一类型的日志文件中该采集数据的数据上传状态修改为上传成功;若重传后的采集数据的数据上传状态仍为上传失败,则在第一类型的日志文件中保持该数据上传状态为上传失败不变。
步骤340、重传第二类型的日志文件中数据上传状态为上传失败的采集数据。第二类型的日志文件的生成时间不在第一时间段内,且与当前时间的时间差不大于预设重传时间。
网关可以按照日志文件的生成时间或预设的遍历规则,如按照文件名的遍历规则,遍历存储的所有日志文件,对每个日志文件,判断日志文件的生成时间是否不在第一时间段(如当天)内,若否,即确定该日志文件为第一类型的日志文件,则返回执行330;
若是,则判断日志文件的生成时间和当前时间的时间差是否大于预设重传时间(如30天),即查找出第二类型的日志文件。
若该时间差大于预设重传时间,则删除该时间差对应的日志文件,以扩大存储空间。此时删除的日志文件不是第一类型的日志文件,也不是第二类型的日志文件。
若该时间差不大于预设重传时间,即确定出该时间差对应的日志文件为第二类型的日志文件,则重传第二类型的日志文件中数据上传状态为上传失败的采集数据。
可选地,在确定出该时间差对应的日志文件为第二类型的日志文件后,重传第二类型的日志文件中数据上传状态为上传失败的采集数据,包括:
检测第二类型的日志文件是否包含第一标识;
若第二类型的日志文件包含第一标识,则重传第二类型的日志文件中数据上传状态为上传失败的采集数据。其中,第二类型的日志文件包含第一标识,网关确定该第二类型的日志文件包含数据上传状态为上传失败的采集数据,之后遍历该日志文件中的每个采集数据,对数据上传状态为上传失败的采集数据进行重传。
之后,若重传后的采集数据的数据上传状态为上传成功,则将第二类型的日志文件中该采集数据的数据上传状态修改为上传成功;若重传后的采集数据的数据上传状态仍为上传失败,则在第二类型的日志文件中保持该数据上传状态为上传失败不变。
当检测到第二类型的日志文件中不存在数据上传状态为上传失败的采集数据时,将该第一类型的日志文件的第一标识更新为第二标识。
进一步的,若第二类型的日志文件不包含第一标识,即包含第二标识,则继续按照日志文件的生成时间遍历下一个日志文件。
可以理解的是,步骤330的重传对象和步骤340的重传对象是不同时间段生成的日志文件,即重传的对象不同。由于两个步骤中重传的对象不同,故两个步骤可以同时进行。
具体地,网关按照日志文件的生成时间,升序或降序遍历所有日志文件,对于生成时间超过第一时间段的每个日志文件,判断该日志文件的生成时间和当前时间的时间差是否大于预设重传时间,当时间差不大于预设重传时间,根据该日志文件中的第一标识,判断该日志文件中的采集数据是否全部上传成功,如果该日志文件中采集数据没有全部上传成功,则遍历该日志文件中的采集数据,重传所述日志文件中上传失败的采集数据,并在所述日志文件中修改上传成功的采集数据的上传状态。重传所述日志文件中上传失败的采集数据后,还包括:对该日志文件中所有上传失败的采集数据都重传后,再遍历下每个采集数据的上传状态,若不存在上传失败的采集数据,则修改日志文件的第一标识为第二标识。
该方法通过向服务器上传采集数据,且在上传过程中生成日志文件,日志文件包括采集数据、采集数据的上传时间、采集数据的数据上传状态和日志文件的生成时间;重传第一类型的日志文件中数据上传状态为上传失败的采集数据,第一类型的日志文件的生成时间在第一时间段内;重传第二类型的日志文件中数据上传状态为上传失败的采集数据,第二类型的日志文件的生成时间不在第一时间段内,且与当前时间的时间差不大于预设重传时间。可见,该方法一个上传通道对在第一类型的日志文件中数据上传状态为上传失败的采集数据进行重传,以使尽可能在第一时间段内及时上传第一时间段内产生的采集数据。若经过第一次重传后,该日志文件中仍存在上传失败的采集数据,则另一上传通道对生成时间超过第一时间段,且生成时间与当前时间的时间差不大于预设重传时间的第二类日志文件中数据上传状态为上传失败的采集数据进行再次重传。因此,本发明一方面尽可能地在第一时间段内及时上传第一时间段内产生的采集数据,另一方面又能降低现有技术中因采集数据上传失败引起的数据丢失。同时,由于日志文件记录了上传成功和上传失败的采集数据的相关信息,保证了数据的完整性,且方便管理员查看。
图4为本发明实施例提供的另一种数据的重传方法的流程示意图。如图4所示,该方法可以包括:
步骤401、采集终端的采集数据。
步骤402、基于服务器的上传规则,向服务器上传采集数据。
步骤403、生成日志文件,该日志文件记录采集数据的上传时间和数据上传状态和日志文件的生成时间。
数据上传状态包括上传成功和上传失败。
步骤404、在第一时间段内,检测日志文件中是否存在数据上传状态为上传失败的采集数据,若是,则执行步骤405;若否,则执行步骤416;
步骤405、对数据上传状态为上传失败的采集数据进行重传。
步骤406、检测重传的采集数据是否重传成功,若是,则执行步骤407;若否,则执行步骤409;
步骤407、将该采集数据的数据上传状态由上传失败修改为上传成功。
步骤408、检测日志文件中的数据上传状态是否均为上传成功,若是,则执行步骤414,若否,则执行步骤409。
步骤409、检测当前数据传输通道状态是否断开,若是,则执行步骤416;若否,则返回执行步骤405;
步骤410、在该日志文件的生成时间不在第一时间段内,且与当前时间的时间差不大于预设重传时间时,检测日志文件是否包含第一标识;若是,则执行步骤411;若否,则执行步骤416;
步骤411、对该日志文件中数据上传状态为数据上传失败的采集数据进行重传。
步骤412、检测重传是否成功,若是,则执行步骤413;若否,则执行步骤415;
步骤413、将该采集数据的数据上传状态由上传失败修改为上传成功。
步骤414、将日志文件的第一标识更新为第二标识,之后执行步骤416。
步骤415、在日志文件的生成时间不在第一时间段内,且与当前时间的时间差大于预设重传时间时,删除该日志文件,之后执行步骤416。
步骤416、结束流程。
本发明上述方法实施例通过向服务器上传采集数据,且在上传过程中生成日志文件,日志文件包括采集数据、采集数据的上传时间、采集数据的数据上传状态和日志文件的生成时间;重传第一类型的日志文件中数据上传状态为上传失败的采集数据,第一类型的日志文件的生成时间在第一时间段内;重传第二类型的日志文件中数据上传状态为上传失败的采集数据,第二类型的日志文件的生成时间不在第一时间段内,且与当前时间的时间差不大于预设重传时间。可见,该方法一个上传通道对在第一类型的日志文件中数据上传状态为上传失败的采集数据进行重传,以使尽可能在第一时间段内及时上传第一时间段内产生的采集数据。若经过第一次重传后,该日志文件中仍存在上传失败的采集数据,则另一个上传通道对生成时间超过第一时间段,且生成时间与当前时间的时间差不大于预设重传时间的第二类日志文件中数据上传状态为上传失败的采集数据进行再次重传。因此,本发明一方面尽可能地在第一时间段内及时上传第一时间段内产生的采集数据,另一方面又能降低现有技术中因采集数据上传失败引起的数据丢失。同时,由于日志文件记录了上传成功和上传失败的采集数据的相关信息,保证了数据的完整性,且方便管理员查看。
与上述方法对应的,本发明实施例还提供一种重传装置,如图5所示,该重传装置包括:上传单元510、生成单元520、第一重传单元530和第二重传单元540;
上传单元510,用于向服务器上传采集数据;
生成单元520,用于在向服务器上传采集数据过程中生成日志文件,日志文件包括采集数据、采集数据的上传时间、采集数据的数据上传状态和所述日志文件的生成时间;
第一重传单元530,用于重传第一类型的日志文件中数据上传状态为上传失败的采集数据,第一类型的日志文件的生成时间在第一时间段内;
第二重传单元540,用于重传第二类型的日志文件中数据上传状态为上传失败的采集数据,第二类型的日志文件的生成时间不在第一时间段内,且与当前时间的时间差不大于预设重传时间。
在一个可选的实现中,该装置还包括修改单元550;
修改单元550,用于在重传第一类型的日志文件中数据上传状态为上传失败的采集数据,或者,重传第二类型的日志文件中数据上传状态为上传失败的采集数据之后,将第一类型的日志文件或第二类型的日志文件中,重传成功的采集数据的数据上传状态修改为上传成功。
在一个可选的实现中,第二重传单元540,具体用于检测第二类型的日志文件是否包含第一标识,第一标识用于指示第二类型的日志文件中存在数据上传状态为上传失败的采集数据;
若第二类型的日志文件包含所述第一标识,重传第二类型的日志文件中数据上传状态为上传失败的采集数据。
在一个可选的实现中,该装置还包括更新单元560;第一类型的日志文件包含第一标识;
更新单元560,用于在重传第一类型的日志文件中数据上传状态为上传失败的采集数据,或者,重传第二类型的日志文件中数据上传状态为上传失败的采集数据之后,若第一类型的日志文件或第二类型的日志文件中不存在数据上传状态为上传失败的采集数据,则将第一类型的日志文件或第二类型的日志文件的第一标识更新为第二标识,第二标识用于指示第一类型的日志文件或第二类型的日志文件中不存在所述数据上传状态为上传失败的采集数据。
在一个可选的实现中,第二重传单元540,具体用于遍历所有日志文件,对于每个日志文件,若日志文件的生成时间不在所述第一时间段内,且与当前时间的时间差不大于预设重传时间,则确定该日志文件为第二类型的日志文件;
重传第二类型的日志文件中数据上传状态为上传失败的采集数据。
本发明上述实施例提供的重传设备的各功能单元的功能,可以通过上述各方法步骤来实现,因此,本发明实施例提供的重传设备中的各个单元的具体工作过程和有益效果,在此不复赘述。
本发明实施例还提供了一种网关,如图6所示,包括处理器610、通信接口620、存储器630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。
存储器630,用于存放计算机程序;
处理器610,用于执行存储器630上所存放的程序时,实现如下步骤:
网关向服务器上传采集数据;
在向服务器上传采集数据过程中生成日志文件,日志文件包括采集数据、采集数据的上传时间、采集数据的数据上传状态和日志文件的生成时间;
重传第一类型的日志文件中数据上传状态为上传失败的采集数据,第一类型的日志文件的生成时间在第一时间段内;
重传第二类型的日志文件中数据上传状态为上传失败的采集数据,第二类型的日志文件的生成时间不在第一时间段内,且与当前时间的时间差不大于预设重传时间。
在一个可选的实现中,重传第一类型的日志文件中数据上传状态为上传失败的采集数据,或者,重传第二类型的日志文件中数据上传状态为上传失败的采集数据之后,将第一类型的日志文件或第二类型的日志文件中,重传成功的采集数据的数据上传状态修改为上传成功。
在一个可选的实现中,重传第二类型的日志文件中数据上传状态为上传失败的采集数据,包括:
检测第二类型的日志文件是否包含第一标识,第一标识用于指示第二类型的日志文件中存在数据上传状态为上传失败的采集数据;
若第二类型的日志文件包含第一标识,重传第二类型的日志文件中数据上传状态为上传失败的采集数据。
在一个可选的实现中,第一类型的日志文件包含第一标识;
重传第一类型的日志文件中数据上传状态为上传失败的采集数据,或者,重传第二类型的日志文件中数据上传状态为上传失败的采集数据之后,若第一类型的日志文件或第二类型的日志文件中不存在数据上传状态为上传失败的采集数据,则将第一类型的日志文件或第二类型的日志文件的第一标识更新为第二标识,第二标识用于指示第一类型的日志文件或第二类型的日志文件中不存在数据上传状态为上传失败的采集数据。
在一个可选的实现中,重传第二类型的日志文件中数据上传状态为上传失败的采集数据,包括:
遍历所有日志文件,对于每个日志文件,若日志文件的生成时间不在第一时间段内,且与当前时间的时间差不大于预设重传时间,则确定该日志文件为第二类型的日志文件;
重传第二类型的日志文件中数据上传状态为上传失败的采集数据。
上述提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由于上述实施例中网关的各器件解决问题的实施方式以及有益效果可以参见图3所示的实施例中的各步骤来实现,因此,本发明实施例提供的网关的具体工作过程和有益效果,在此不复赘述。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的数据的重传方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的数据的重传方法。
本领域内的技术人员应明白,本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此,本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例中的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。
显然,本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样,倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内,则本申请实施例中也意图包含这些改动和变型在内。

Claims (9)

1.一种数据的重传方法,其特征在于,所述方法包括:
网关向服务器上传采集数据;
在向所述服务器上传所述采集数据过程中生成日志文件,所述日志文件包括所述采集数据、所述采集数据的上传时间、所述采集数据的数据上传状态和所述日志文件的生成时间;所述日志文件的文件名包括第一标识或第二标识,所述第一标识用于指示所述日志文件中存在所述数据上传状态为上传失败的采集数据,所述第二标识用于指示所述日志文件中不存在所述数据上传状态为上传失败的采集数据;
重传携带所述第一标识的第一类型的日志文件中所述数据上传状态为上传失败的采集数据,所述第一类型的日志文件的生成时间在第一时间段内;
重传携带所述第一标识的第二类型的日志文件中所述数据上传状态为上传失败的采集数据,所述第二类型的日志文件的生成时间不在所述第一时间段内,且与当前时间的时间差不大于预设重传时间;
若所述第一类型的日志文件或所述第二类型的日志文件中不存在所述数据上传状态为上传失败的采集数据,则将所述第一类型的日志文件或所述第二类型的日志文件的所述第一标识更新为所述第二标识。
2.如权利要求1所述的方法,其特征在于,重传携带所述第一标识的第一类型的日志文件中所述数据上传状态为上传失败的采集数据,或者,重传携带所述第一标识的第二类型的日志文件中所述数据上传状态为上传失败的采集数据之后,所述方法还包括:
将所述第一类型的日志文件或所述第二类型的日志文件中,重传成功的采集数据的数据上传状态修改为上传成功。
3.如权利要求1所述的方法,其特征在于,重传携带所述第一标识的第二类型的日志文件中所述数据上传状态为上传失败的采集数据,包括:
检测所述第二类型的日志文件是否包含第一标识,所述第一标识用于指示所述第二类型的日志文件中存在所述数据上传状态为上传失败的采集数据;
若所述第二类型的日志文件包含所述第一标识,则重传所述第二类型的日志文件中所述数据上传状态为上传失败的采集数据。
4.如权利要求1所述的方法,其特征在于,重传携带所述第一标识的第二类型的日志文件中所述数据上传状态为上传失败的采集数据,包括:
遍历所有日志文件,对于每个日志文件,若所述日志文件的生成时间不在所述第一时间段内,且与所述当前时间的时间差不大于预设重传时间,则确定该日志文件为第二类型的日志文件;
重传携带所述第一标识的第二类型的日志文件中所述数据上传状态为上传失败的采集数据。
5.一种重传装置,其特征在于,所述装置包括:上传单元、生成单元、第一重传单元和第二重传单元;
所述上传单元,用于向服务器上传采集数据;
所述生成单元,用于在向所述服务器上传所述采集数据过程中生成日志文件,所述日志文件包括所述采集数据、所述采集数据的上传时间、所述采集数据的数据上传状态和所述日志文件的生成时间;所述日志文件还包括第一标识或第二标识,所述第一标识用于指示所述日志文件中存在所述数据上传状态为上传失败的采集数据,所述第二标识用于指示所述日志文件中不存在所述数据上传状态为上传失败的采集数据;
所述第一重传单元,用于重传携带所述第一标识的第一类型的日志文件中所述数据上传状态为上传失败的采集数据,所述第一类型的日志文件的生成时间在第一时间段内;
所述第二重传单元,用于重传携带所述第一标识的第二类型的日志文件中所述数据上传状态为上传失败的采集数据,所述第二类型的日志文件的生成时间不在所述第一时间段内,且与当前时间的时间差不大于预设重传时间;若所述第一类型的日志文件或所述第二类型的日志文件中不存在所述数据上传状态为上传失败的采集数据,则将所述第一类型的日志文件或所述第二类型的日志文件的所述第一标识更新为所述第二标识。
6.如权利要求5所述的装置,其特征在于,所述装置还包括修改单元;
所述修改单元,用于在重传携带所述第一标识的第一类型的日志文件中所述数据上传状态为上传失败的采集数据,或者,重传携带所述第一标识的第二类型的日志文件中所述数据上传状态为上传失败的采集数据之后,将所述第一类型的日志文件或所述第二类型的日志文件中,重传成功的采集数据的数据上传状态修改为上传成功。
7.如权利要求5所述的装置,其特征在于,
所述第二重传单元,具体用于检测所述第二类型的日志文件是否包含第一标识,所述第一标识用于指示所述第二类型的日志文件中存在所述数据上传状态为上传失败的采集数据;
若所述第二类型的日志文件包含所述第一标识,重传所述第二类型的日志文件中所述数据上传状态为上传失败的采集数据。
8.一种网关,其特征在于,所述网关包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存储的程序时,实现权利要求1-4任一所述的方法步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN201811151473.6A 2018-09-29 2018-09-29 数据的重传方法、重传设备及网关 Active CN109088705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811151473.6A CN109088705B (zh) 2018-09-29 2018-09-29 数据的重传方法、重传设备及网关

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811151473.6A CN109088705B (zh) 2018-09-29 2018-09-29 数据的重传方法、重传设备及网关

Publications (2)

Publication Number Publication Date
CN109088705A CN109088705A (zh) 2018-12-25
CN109088705B true CN109088705B (zh) 2021-09-10

Family

ID=64842962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811151473.6A Active CN109088705B (zh) 2018-09-29 2018-09-29 数据的重传方法、重传设备及网关

Country Status (1)

Country Link
CN (1) CN109088705B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079654B (zh) * 2022-01-05 2022-06-21 荣耀终端有限公司 数据重传方法、系统及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217562A (zh) * 2013-06-05 2014-12-17 中国石油天然气股份有限公司 基于无线传感器网络的阴极保护数据自动采集方法
CN104731912A (zh) * 2015-03-24 2015-06-24 浪潮集团有限公司 一种消息中间件mq的消息传输方法和装置
CN105743978A (zh) * 2016-01-29 2016-07-06 武汉联影医疗科技有限公司 数据传输方法
CN107979820A (zh) * 2016-10-25 2018-05-01 腾讯科技(北京)有限公司 一种测试推送消息的方法及装置、设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8209590B2 (en) * 2008-11-05 2012-06-26 Broadcom Corporation Header encoding/decoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217562A (zh) * 2013-06-05 2014-12-17 中国石油天然气股份有限公司 基于无线传感器网络的阴极保护数据自动采集方法
CN104731912A (zh) * 2015-03-24 2015-06-24 浪潮集团有限公司 一种消息中间件mq的消息传输方法和装置
CN105743978A (zh) * 2016-01-29 2016-07-06 武汉联影医疗科技有限公司 数据传输方法
CN107979820A (zh) * 2016-10-25 2018-05-01 腾讯科技(北京)有限公司 一种测试推送消息的方法及装置、设备

Also Published As

Publication number Publication date
CN109088705A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN107341098B (zh) 软件性能测试方法、平台、设备及存储介质
KR102201919B1 (ko) 랜덤 포레스트 모델의 훈련 방법, 전자장치 및 저장매체
CN111290958B (zh) 一种调试智能合约的方法及装置
CN111447248A (zh) 一种文件传输的方法及装置
CN110290166B (zh) 跨集群数据交互方法、系统、装置及可读存储介质
CN112737856B (zh) 链路追踪方法和装置、存储介质及电子装置
CN109408309B (zh) 多终端的测试方法及装置
CN114710224A (zh) 帧同步方法及装置、计算机可读介质、电子设备
CN109088705B (zh) 数据的重传方法、重传设备及网关
CN110798490A (zh) 基于数据中台接入第三方系统的方法、装置及数据中台
CN110826606B (zh) 要素匹配方法、装置、服务器及可读存储介质
US11341842B2 (en) Metering data management system and computer readable recording medium
CN112217657A (zh) 基于sd-wan系统的数据传输方法、数据处理方法、设备和介质
CN112235358A (zh) 数据的采集方法、装置、电子设备及计算机可读存储介质
CN104038364A (zh) 分布式流处理系统的容错方法、节点及系统
CN113671924B (zh) Dcs实时值置值方法和系统、设备及存储介质
CN110020166B (zh) 一种数据分析方法及相关设备
CN111159009A (zh) 一种日志服务系统的压力测试方法及装置
CN113364625B (zh) 一种数据传输方法、中间传输设备及存储介质
CN104468569A (zh) 分布式数据的完整性检测方法和装置
US8301801B2 (en) Blade system and method for establishing a shortest path to transmit packets among blade servers of the blade system
CN112506896B (zh) 一种数据删除方法、装置及电子设备
US9992034B2 (en) Component multicast protocol
CN114254757A (zh) 一种分布式深度学习方法、装置、终端设备及存储介质
CN110719604A (zh) 系统性能参数的发送方法、装置、管理设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210805

Address after: 201801 floor 20, No. 399, Yungu Road, Jiading District, Shanghai

Applicant after: Shanghai Dongtu Zhiyuan Intelligent Technology Development Co.,Ltd.

Address before: Room 802, building 5, No. 3000, Longdong Avenue, Pudong New Area, Shanghai 201203

Applicant before: SHANGHAI KYLAND YUANJING INDUSTRIAL TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant