CN111885207A - 流式数据断点续传方法及装置 - Google Patents

流式数据断点续传方法及装置 Download PDF

Info

Publication number
CN111885207A
CN111885207A CN202010781578.0A CN202010781578A CN111885207A CN 111885207 A CN111885207 A CN 111885207A CN 202010781578 A CN202010781578 A CN 202010781578A CN 111885207 A CN111885207 A CN 111885207A
Authority
CN
China
Prior art keywords
breakpoint
streaming data
position information
transmitted
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010781578.0A
Other languages
English (en)
Other versions
CN111885207B (zh
Inventor
朱阿龙
田林
王博瑞
石慧彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202010781578.0A priority Critical patent/CN111885207B/zh
Publication of CN111885207A publication Critical patent/CN111885207A/zh
Application granted granted Critical
Publication of CN111885207B publication Critical patent/CN111885207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/34Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Retry When Errors Occur (AREA)

Abstract

本发明公开了一种流式数据断点续传方法及装置,该方法包括:获取待传输流式数据的断点位置信息;删除旧版程序中待传输流式数据的断点位置信息;将获取的待传输流式数据的断点位置信息以参数的形式配置到升级程序中;在运行升级程序时根据配置的断点位置信息对待传输流式数据进行断点续传。本发明能够将断点位置信息从旧版程序中删除,同时配置到升级程序中,因此在程序升级过程中依然能够实现断点续传功能,同时也不会出现数据重复的问题。

Description

流式数据断点续传方法及装置
技术领域
本发明涉及流式数据传输技术领域,尤其涉及流式数据断点续传方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
Apache Spark是专为大数据处理而设计的快速、通用的计算引擎,目前已形成一个高速发展、应用广泛的生态系统。
Structured Streaming是一个基于Spark SQL引擎构建的,可缩放、容错的流式数据处理引擎。当处理流式计算时,可以像处理静态数据批计算一样。Spark SQL引擎负责不断地连续运行它,并随着流式数据持续到达而更新最终结果。你可以在Scala、Java、Python或者R中使用Dataset/DataFrame API来表示流集合(aggregations)、事件时间窗口(event-time windows)、流到批连接(stream-to-batch joins)等,计算在同一个优化的SparkSQL引擎上被执行。最终,该系统通过检查点(checkpoint)和预先写日志(Write AheadLogs)来确保端到端一次性执行的容错保证(ensures end-to-end exactly-onceguarantees)。简而言之,Structured Streaming提供了快速、可伸缩、容错、端到端一次性流处理,而无需用户对流进行推理。
在大数据领域的流式数据处理过程中,为了不丢失程序异常终止或人为停止期间的数据,断点续传的功能显得尤为重要。断点续传支持从文件上次中断的地方开始传送数据,而并非是从文件开头传送。当前spark的流式数据处理结构Structured Streaming,低版本中的hdfs rename方法不可用,使得断点续传功能形同虚设。高版本断点续传的文件存储在检查点目录中,鉴于检查点目录还存储了标识断点续传程序运行状态的二进制文件,断点续传程序版本的升级会因为断点续传程序的二进制文件不一致导致断点续传程序启动失败。
目前,多数程序摒弃了Structured Streaming的断点续传功能,主要通过开发人员手动记录端点位置。另外,还可以通过同时运行旧版本的断点续传程序和升级的断点续传程序一段时间以进行过渡,待过渡结束后断开旧版本的断点续传程序。然而,新旧程序同时运行会存在数据重复的问题。
因此,现有的Structured Streaming在进行断点续传程序升级时存在断点续传功能不可用的问题,还存在新旧程序同时运行导致数据重复的问题。
发明内容
本发明实施例提供一种流式数据断点续传方法,用以解决Structured Streaming在进行断点续传程序升级时存在得到断点续传功能不可用,及新旧程序同时运行导致数据重复的问题,该流式数据断点续传方法包括:
获取待传输流式数据的断点位置信息;
删除旧版程序中待传输流式数据的断点位置信息;
将获取的待传输流式数据的断点位置信息以参数的形式配置到升级程序中;
在运行升级程序时根据配置的断点位置信息对待传输流式数据进行断点续传。
本发明实施例还提供一种流式数据断点续传装置,用以解决StructuredStreaming在进行断点续传程序升级时存在得到断点续传功能不可用,及新旧程序同时运行导致数据重复的问题,该流式数据断点续传装置包括:
断点位置获取模块,用于获取待传输流式数据的断点位置信息;
断点位置删除模块,用于删除旧版程序中待传输流式数据的断点位置信息;
配置模块,用于将获取的待传输流式数据的断点位置信息以参数的形式配置到升级程序中;
断点续传模块,用于在运行升级程序时根据配置的断点位置信息对待传输流式数据进行断点续传。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述流式数据断点续传方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述流式数据断点续传方法的计算机程序。
本发明实施例中,首先获取待传输流式数据的断点位置信息,进而删除旧版程序中待传输流式数据的断点位置信息,避免升级程序调用自身的断点续传功能,然后将获取的待传输流式数据的断点位置信息以参数的形式配置到升级程序中;最后在运行升级程序时根据配置的断点位置信息对待传输流式数据进行断点续传。本发明实施例能够将断点位置信息从旧版程序中删除,同时配置到升级程序中,因此在程序升级过程中依然能够实现断点续传功能,同时也不会出现数据重复的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例提供的流式数据断点续传方法的实现流程图;
图2为本发明实施例提供的流式数据断点续传方法中步骤101的实现流程图;
图3为本发明实施例提供的流式数据断点续传方法中步骤201的实现流程图;
图4为本发明实施例提供的流式数据断点续传方法中步骤102的实现流程图;
图5为本发明实施例提供的流式数据断点续传方法中步骤102的另一实现流程图;
图6为本发明实施例提供的流式数据断点续传装置的功能模块图;
图7为本发明实施例提供的流式数据断点续传装置中断点位置获取模块601的结构框图;
图8为本发明实施例提供的流式数据断点续传装置中断点位置获取单元701的结构框图;
图9为本发明实施例提供的流式数据断点续传装置中断点位置删除模块602的结构框图;
图10为本发明实施例提供的流式数据断点续传装置中断点位置删除模块602的另一结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
图1示出了本发明实施例提供的流式数据断点续传方法的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:
如图1所示,流式数据断点续传方法,其包括:
步骤101,获取待传输流式数据的断点位置信息;
步骤102,删除旧版程序中待传输流式数据的断点位置信息;
步骤103,将获取的待传输流式数据的断点位置信息以参数的形式配置到升级程序中;
步骤104,在运行升级程序时根据配置的断点位置信息对待传输流式数据进行断点续传。
本发明实施例中,断点续传的对象可以为待传输的流式数据。本领域技术人员可以理解的是,断点续传的对象还可以是除上述流式数据之外,其他各种类型的数据,本发明实施例对此不作特别的限制。另外,为便于区分和描述,在程序升级过程中我们可以把升级前的程序称为旧版程序,升级后的程序称为升级程序。
其中,本发明实施例的应用场景为程序升级过程中断点续传功能。该程序可以为各种类型、格式的应用程序,且该程序类型或格式可以基于应用该流式数据断点续传方法的终端适应性调整。例如,当应用该流式数据断点续传方法的终端为Windows系统的计算机终端时,该应用程序可以为exe格式的应用程序;当应用该流式数据断点续传方法的终端为安卓系统的移动终端时,该应用程序可以为后缀为apk格式的安卓系统应用程序等,本发明实施例对此不作特别的限制。
在程序升级场景下进行断点续传时,首先获取待传输流式数据的断点位置信息,以确定待传输流式数据的传输进度和中断时的断点位置。其中,待传输流式数据的断点位置信息包括json结构的断点位置信息。本领域技术人员可以理解的是,该待传输流式数据的断点位置信息还可以包括除上述json结构的断点位置信息之外的其他结构的断点位置信息,本发明实施例对此不作特别的限制。
在获取到待传输流式数据的断点位置信息后,为了避免升级程序调用旧版程序的断点续传方法(即从旧版程序的断点位置信息重启),此时将旧版程序中待传输流式数据的断点位置信息进行删除。进而,将获取到的待传输流式数据的断点位置信息作为参数配置到升级程序中,以便在升级程序运行时,根据配置的断点位置信息,对待传输流式数据进行断点续传。
本发明实施例,能够将获取到的断点位置信息从旧版程序中删除,同时将断点位置信息作为参数配置到升级程序中,故在程序升级场景下依然能够实现断点续传功能,同时也不会出现数据重复的问题。
图2示出了本发明实施例提供的流式数据断点续传方法中步骤101的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,为了提高获取断点位置信息的效率,如图2所示,步骤101,获取待传输流式数据的断点位置信息,包括:
步骤201,通过读取旧版程序检查点目录下的断点位置文件获取待传输流式数据的断点位置信息。
鉴于在旧版程序中的checkpoint/检查点目录下的checkpoint/offsets断点文件存储目录存储有断点位置文件,该断点位置文件包含有待传输流式数据的断点位置信息。故在获取断点位置信息时,为了提高获取断点位置信息的效率,可以直接从检查点目录下首先获取断点位置文件,然后从断点位置文件中获取待传输流式数据的断点位置信息。
在本发明实施例中,通过读取旧版程序检查点目录下的断点位置文件获取待传输流式数据的断点位置信息,能够提高获取断点位置信息的效率。
图3示出了本发明实施例提供的流式数据断点续传方法中步骤201的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,旧版程序检查点目录下包括多个断点位置文件。为了获取最新的断点位置信息,保证获取的断点位置信息的准确性,如图3所示,步骤201,通过读取旧版程序检查点目录下的断点位置文件获取待传输流式数据的断点位置信息,包括:
步骤301,读取旧版程序检查点目录下的所有断点位置文件;
步骤302,从所有断点位置文件中最新的断点位置文件中获取待传输流式数据的断点位置信息。
待传输流式数据如果在传输过程中存在多次中断,那么此时旧版程序检查点目录下就会有多个断点位置文件,每个断点位置文件分别存储有多次中断的断点位置信息。
故在获取待传输流式数据的断点位置信息时,首先读取到旧版程序checkpoint/offsets/目录下的所有断点位置文件,然后从所有断点位置文件中确定最新的断点位置文件,该最新的断点位置文件存储的断点位置信息即为旧版程序记录的最后一次断点位置信息,即最新的断点位置信息。
在本发明实施例中,读取旧版程序检查点目录下的所有断点位置文件,从所有断点位置文件中最新的断点位置文件中获取待传输流式数据的断点位置信息,能够获取最新的断点位置信息,保证获取的断点位置信息的准确性。
图4示出了本发明实施例提供的流式数据断点续传方法中步骤102的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,为了保证彻底删除旧版程序记录的断点位置信息,如图4所示,步骤102,删除旧版程序中待传输流式数据的断点位置信息,包括:
步骤401,获取旧版程序检查点目录下包含待传输流式数据的断点位置信息的断点位置文件;
步骤402,将获取的旧版程序检查点目录下的断点位置文件删除。
在删除旧版程序记录的断点位置信息,首先从旧版程序检查点目录下获取所有的断点位置文件,该所有的断点位置文件存储了旧版程序记录的全部断点位置信息,为了保证彻底删除旧版程序记录的断点位置信息,此时直接删除包含所有断点位置信息的所有断点位置文件即可。
在本发明实施例中,获取旧版程序检查点目录下包含待传输流式数据的断点位置信息的断点位置文件,将获取的旧版程序检查点目录下的断点位置文件删除,能够保证彻底删除旧版程序记录的断点位置信息。
图5示出了本发明实施例提供的流式数据断点续传方法中步骤102的另一的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,为了提高删除旧版程序中记录的断点位置信息的效率,如图5所示,步骤102,删除旧版程序中待传输流式数据的断点位置信息,包括:
步骤401,获取旧版程序检查点目录下包含待传输流式数据的断点位置信息的断点位置文件;
步骤501,清除断点位置文件包含的待传输流式数据的断点位置信息。
在删除旧版程序记录的断点位置信息,首先从旧版程序检查点目录下获取所有的断点位置文件,该所有的断点位置文件存储了旧版程序记录的全部断点位置信息,为了提高删除旧版程序中记录的断点位置信息的效率,此时直接清除断点位置文件包含的待传输流式数据的断点位置信息即可,无需直接删除断点位置文件。
在本发明实施例中,获取旧版程序检查点目录下包含待传输流式数据的断点位置信息的断点位置文件,清除断点位置文件包含的待传输流式数据的断点位置信息,无需删除断点位置文件,能够提高删除旧版程序中记录的断点位置信息的效率。
在本发明的一实施例中,为了清楚了解待传输流式数据的传输状态,流式数据断点续传方法,在上述方法步骤的基础上,还包括:
在待传输流式数据传输成功后更新待传输流式数据的传输状态为传输成功。
对待传输流式数据进行断点续传,在传输成功后更新传输状态,能够清楚了解待传输流式数据的传输状态。
在本发明实施例中,在待传输流式数据传输成功后更新待传输流式数据的传输状态为传输成功,能够清楚了解待传输流式数据的传输状态。
本发明实施例还提供一种流式数据断点续传装置,如下面的实施例所述。由于这些装置解决问题的原理与流式数据断点续传方法相似,因此这些装置的实施可以参见方法的实施,重复之处不再赘述。
图6示出了本发明实施例提供的流式数据断点续传装置的功能模块,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:
参考图6,所述流式数据断点续传装置所包含的各个模块用于执行图1对应实施例中的各个步骤,具体请参阅图1以及图1对应实施例中的相关描述,此处不再赘述。本发明实施例中,所述流式数据断点续传装置包括断点位置获取模块601、断点位置删除模块602、配置模块603及断点续传模块604。
断点位置获取模块601,用于获取待传输流式数据的断点位置信息。
断点位置删除模块602,用于删除旧版程序中待传输流式数据的断点位置信息。
配置模块603,用于将获取的待传输流式数据的断点位置信息以参数的形式配置到升级程序中。
断点续传模块604,用于在运行升级程序时根据配置的断点位置信息对待传输流式数据进行断点续传。
其中,待传输流式数据的断点位置信息包括json结构的断点位置信息。
在本发明实施例中,断点位置删除模块602能够将获取到的断点位置信息从旧版程序中删除,同时配置模块603将断点位置信息作为参数配置到升级程序中,故在程序升级场景下依然能够实现断点续传功能,同时也不会出现数据重复的问题。
图7示出了本发明实施例提供的流式数据断点续传装置中断点位置获取模块601的结构示意,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,为了提高获取断点位置信息的效率,参考图7,所述断点位置获取模块601所包含的各个单元用于执行图2对应实施例中的各个步骤,具体请参阅图2以及图2对应实施例中的相关描述,此处不再赘述。本发明实施例中,所述断点位置获取模块601包括断点位置获取单元701。
断点位置获取单元701,用于通过读取旧版程序检查点目录下的断点位置文件获取待传输流式数据的断点位置信息。
在本发明实施例中,断点位置获取单元701通过读取旧版程序检查点目录下的断点位置文件获取待传输流式数据的断点位置信息,能够提高获取断点位置信息的效率。
图8示出了本发明实施例提供的流式数据断点续传装置中断点位置获取单元701的结构示意,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,旧版程序检查点目录下包括多个断点位置文件。为了获取最新的断点位置信息,保证获取的断点位置信息的准确性,参考图8,所述断点位置获取单元701所包含的各个子单元用于执行图3对应实施例中的各个步骤,具体请参阅图3以及图3对应实施例中的相关描述,此处不再赘述。本发明实施例中,所述断点位置获取单元701包括断点文件读取子单元801及断点位置获取子单元802。
断点文件读取子单元801,用于读取旧版程序检查点目录下的所有断点位置文件。
断点位置获取子单元802,用于从所有断点位置文件中最新的断点位置文件中获取待传输流式数据的断点位置信息。
在本发明实施例中,断点文件读取子单元801读取旧版程序检查点目录下的所有断点位置文件,断点位置获取子单元802从所有断点位置文件中最新的断点位置文件中获取待传输流式数据的断点位置信息,能够获取最新的断点位置信息,保证获取的断点位置信息的准确性。
图9示出了本发明实施例提供的流式数据断点续传装置中断点位置删除模块602的结构示意,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,为了保证彻底删除旧版程序记录的断点位置信息,参考图9,所述断点位置删除模块602所包含的各个单元用于执行图4对应实施例中的各个步骤,具体请参阅图4以及图4对应实施例中的相关描述,此处不再赘述。本发明实施例中,所述断点位置删除模块602包括断点文件获取单元901及断点文件删除单元902。
断点文件获取单元901,用于获取旧版程序检查点目录下包含待传输流式数据的断点位置信息的断点位置文件。
断点文件删除单元902,用于将获取的旧版程序检查点目录下的断点位置文件删除。
在本发明实施例中,断点文件获取单元901获取旧版程序检查点目录下包含待传输流式数据的断点位置信息的断点位置文件,断点文件删除单元902将获取的旧版程序检查点目录下的断点位置文件删除,能够保证彻底删除旧版程序记录的断点位置信息。
图10示出了本发明实施例提供的流式数据断点续传装置中断点位置删除模块602的另一结构示意,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,为了提高删除旧版程序中记录的断点位置信息的效率,参考图10,所述断点位置删除模块602所包含的各个单元用于执行图5对应实施例中的各个步骤,具体请参阅图5以及图5对应实施例中的相关描述,此处不再赘述。本发明实施例中,所述断点位置删除模块602包括断点文件获取单元901及断点信息清除单元1001。
断点文件获取单元901,用于获取旧版程序检查点目录下包含待传输流式数据的断点位置信息的断点位置文件。
断点信息清除单元1001,用于清除断点位置文件包含的待传输流式数据的断点位置信息。
在本发明实施例中,断点文件获取单元901获取旧版程序检查点目录下包含待传输流式数据的断点位置信息的断点位置文件,断点信息清除单元1001清除断点位置文件包含的待传输流式数据的断点位置信息,无需删除断点位置文件,能够提高删除旧版程序中记录的断点位置信息的效率。
在本发明的一实施例中,为了清楚了解待传输流式数据的传输状态,流式数据断点续传装置,在上述模块结构的基础上,还包括状态更新模块。
状态更新模块,用于在待传输流式数据传输成功后更新待传输流式数据的传输状态为传输成功。
在本发明实施例中,状态更新模块在待传输流式数据传输成功后更新待传输流式数据的传输状态为传输成功,能够清楚了解待传输流式数据的传输状态。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述流式数据断点续传方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述流式数据断点续传方法的计算机程序。
综上所述,本发明实施例首先获取待传输流式数据的断点位置信息,进而删除旧版程序中待传输流式数据的断点位置信息,避免升级程序调用自身的断点续传功能,然后将获取的待传输流式数据的断点位置信息以参数的形式配置到升级程序中;最后在运行升级程序时根据配置的断点位置信息对待传输流式数据进行断点续传。本发明实施例能够将断点位置信息从旧版程序中删除,同时配置到升级程序中,因此在程序升级过程中依然能够实现断点续传功能,同时也不会出现数据重复的问题。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种流式数据断点续传方法,其特征在于,包括:
获取待传输流式数据的断点位置信息;
删除旧版程序中待传输流式数据的断点位置信息;
将获取的待传输流式数据的断点位置信息以参数的形式配置到升级程序中;
在运行升级程序时根据配置的断点位置信息对待传输流式数据进行断点续传。
2.如权利要求1所述的流式数据断点续传方法,其特征在于,待传输流式数据的断点位置信息包括json结构的断点位置信息。
3.如权利要求1所述的流式数据断点续传方法,其特征在于,获取待传输流式数据的断点位置信息,包括:
通过读取旧版程序检查点目录下的断点位置文件获取待传输流式数据的断点位置信息。
4.如权利要求3所述的流式数据断点续传方法,其特征在于,旧版程序检查点目录下包括多个断点位置文件,通过读取旧版程序检查点目录下的断点位置文件获取待传输流式数据的断点位置信息,包括:
读取旧版程序检查点目录下的所有断点位置文件;
从所有断点位置文件中最新的断点位置文件中获取待传输流式数据的断点位置信息。
5.如权利要求1所述的流式数据断点续传方法,其特征在于,删除旧版程序中待传输流式数据的断点位置信息,包括:
获取旧版程序检查点目录下包含待传输流式数据的断点位置信息的断点位置文件;
将获取的旧版程序检查点目录下的断点位置文件删除。
6.如权利要求1所述的流式数据断点续传方法,其特征在于,删除旧版程序中待传输流式数据的断点位置信息,包括:
获取旧版程序检查点目录下包含待传输流式数据的断点位置信息的断点位置文件;
清除断点位置文件包含的待传输流式数据的断点位置信息。
7.如权利要求1所述的流式数据断点续传方法,其特征在于,还包括:
在待传输流式数据传输成功后更新待传输流式数据的传输状态为传输成功。
8.一种流式数据断点续传装置,其特征在于,包括:
断点位置获取模块,用于获取待传输流式数据的断点位置信息;
断点位置删除模块,用于删除旧版程序中待传输流式数据的断点位置信息;
配置模块,用于将获取的待传输流式数据的断点位置信息以参数的形式配置到升级程序中;
断点续传模块,用于在运行升级程序时根据配置的断点位置信息对待传输流式数据进行断点续传。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一所述流式数据断点续传方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至7任一所述流式数据断点续传方法的计算机程序。
CN202010781578.0A 2020-08-06 2020-08-06 流式数据断点续传方法及装置 Active CN111885207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010781578.0A CN111885207B (zh) 2020-08-06 2020-08-06 流式数据断点续传方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010781578.0A CN111885207B (zh) 2020-08-06 2020-08-06 流式数据断点续传方法及装置

Publications (2)

Publication Number Publication Date
CN111885207A true CN111885207A (zh) 2020-11-03
CN111885207B CN111885207B (zh) 2023-03-14

Family

ID=73211818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010781578.0A Active CN111885207B (zh) 2020-08-06 2020-08-06 流式数据断点续传方法及装置

Country Status (1)

Country Link
CN (1) CN111885207B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235085A (zh) * 2020-07-09 2021-01-15 青岛鼎信通讯股份有限公司 一种dlms电能表图像传输的断点续传方法
CN115002062A (zh) * 2022-05-25 2022-09-02 中国平安财产保险股份有限公司 消息处理方法、装置、设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631622A (zh) * 2013-11-29 2014-03-12 中达电通股份有限公司 软件在线升级修复方法
CN105916030A (zh) * 2016-06-12 2016-08-31 浪潮软件集团有限公司 一种记录点播视频断点信息的方法、装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631622A (zh) * 2013-11-29 2014-03-12 中达电通股份有限公司 软件在线升级修复方法
CN105916030A (zh) * 2016-06-12 2016-08-31 浪潮软件集团有限公司 一种记录点播视频断点信息的方法、装置及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235085A (zh) * 2020-07-09 2021-01-15 青岛鼎信通讯股份有限公司 一种dlms电能表图像传输的断点续传方法
CN115002062A (zh) * 2022-05-25 2022-09-02 中国平安财产保险股份有限公司 消息处理方法、装置、设备及可读存储介质
CN115002062B (zh) * 2022-05-25 2024-04-05 中国平安财产保险股份有限公司 消息处理方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN111885207B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN108830720B (zh) 智能合约运行方法、装置、系统和计算机可读存储介质
CN111885207B (zh) 流式数据断点续传方法及装置
CN1930551A (zh) 固件升级中的自动备份存储
US9699252B2 (en) Deployment of virtual machine disks from a shared network file system
CN105446772A (zh) 一种系统升级的方法和装置
US10248409B1 (en) Limiting the effects of source code patches on corresponding native-code patches
CN110377580B (zh) 一种数据迁移方法、装置及设备
CN110825563A (zh) 系统恢复方法、装置以及电子设备
CN103677870A (zh) 系统升级方法及采用该方法升级的系统
WO2017045491A1 (zh) 一种对 sqlite3 型嵌入式数据库进行升级的方法及系统
WO2019041891A1 (zh) 升级包的生成方法及装置
CN114467081A (zh) 用于个别应用程序的定制根进程
CN112953983A (zh) Sftp传输方法及装置
CN104461621A (zh) 一种更新属性信息的方法及装置
CN109274709B (zh) 一种教育操作系统上的编程作品的同步方法及系统
CN104572212A (zh) 一种终端更新系统及其更新方法
CN106293790B (zh) 基于Firefox操作系统的应用程序升级方法和装置
CN108664255B (zh) 一种软件升级方法及装置
US20180341426A1 (en) Method and device for clearing data and electronic device
CN104298618A (zh) 一种智能终端的命令处理方法及装置
CN106933604B (zh) 一种系统升级方法及装置
CN111897543A (zh) 一种软件管理方法、装置、管理设备及存储介质
CN106681761B (zh) 一种交互式升级的方法及系统
KR101461319B1 (ko) 셋탑박스의 펌웨어 업그레이드 방법 및 펌웨어 업그레이드 장치
CN113609075A (zh) 一种创建快照的方法、系统、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant