CN117743265A - 数据读取方法、装置、存储介质以及电子设备 - Google Patents

Abstract

本申请公开了一种数据读取方法、装置、存储介质以及电子设备。该方法包括：确定第一读取实例正在读取的数据所属的数据源，得到第一数据源，并获取第一数据源的结束索引；检测到在读取到第一数据源的结束索引的情况下，结束对第一数据源中的数据的读取；从数据源列表中确定第一数据源的下一个数据源，得到第二数据源，并获取第二数据源的开始索引，生成与第二数据源相关联的第二读取实例；通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据，直至读取到数据源列表中的最后一个数据源的结束索引。通过本申请，解决了相关技术中在读取多个数据源中的数据时，通过人工进行数据源切换的方法的效率低的问题。

Description

数据读取方法、装置、存储介质以及电子设备

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据读取方法、装置、存储介质以及电子设备。

背景技术

在进行计算作业或是数据获取任务的时候，需要获取的数据可能会位于多个数据源中，在执行操作的时候，需要依次从多个数据源中进行数据读取，从而保证数据的完整性。

但是，当前在进行数据源的切换的时候，在切换后无法及时确定切换后的数据源中需要读取的数据，因此，只能通过人工进行操作并选定读取位置进行数据读取，在需要切换的数据源较多的情况下，会降低数据的读取效率，并且提高人力成本。

针对相关技术中在读取多个数据源中的数据时，通过人工进行数据源切换的方法的效率低的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供一种数据读取方法、装置、存储介质以及电子设备，以解决相关技术中在读取多个数据源中的数据时，通过人工进行数据源切换的方法的效率低的问题。

根据本申请的一个方面，提供了一种数据读取方法。该方法包括：确定第一读取实例正在读取的数据所属的数据源，得到第一数据源，并获取第一数据源的结束索引，其中，第一读取实例用于读取第一数据源中的数据，第一读取实例位于数据读取器中，第一数据源包含于数据源列表中，数据源列表中包括多个数据源，每个数据源中均包括开始索引和结束索引，开始索引与结束索引位于数据源中的任意位置，每个数据源中的开始索引的位置在结束索引的位置之前；检测第一读取实例是否读取到第一数据源的结束索引，并在读取到第一数据源的结束索引的情况下，结束对第一数据源中的数据的读取；从数据源列表中确定第一数据源的下一个数据源，得到第二数据源，并获取第二数据源的开始索引，通过数据读取器生成与第二数据源相关联的数据读取实例，得到第二读取实例；通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据，直至读取到数据源列表中的最后一个数据源的结束索引。

可选地，获取第二数据源的开始索引包括：确定第二数据源的数据源类型，并且判断数据源类型是否为预设类型；在数据源类型为预设类型的情况下，从第二数据源的配置信息中获取开始索引；在数据源类型不是预设类型的情况下，根据索引间的预设映射关系确定与第一数据源的结束索引相关联的第二数据源的开始索引。

可选地，通过数据读取器生成与第二数据源相关联的数据读取实例，得到第二读取实例包括：确定开始索引在第二数据源中的存储文件；获取第二数据源的第一属性信息，以及存储文件的第二属性信息；根据第一属性信息和第二属性信息判断数据读取器中是否存在初始读取实例；在数据读取器中存在初始读取实例的情况下，将开始索引输入初始读取实例中，得到第二读取实例；在数据读取器中不存在初始读取实例的情况下，根据第一属性信息、第二属性信息和开始索引生成第二读取实例。

可选地，在从数据源列表中确定第一数据源的下一个数据源，得到第二数据源之后，该方法还包括：判断第二数据源是否为流式数据源；在第二数据源为流式数据源的情况下，检测第一读取实例读取第一数据源中的数据的读取时长；判断读取时长是否大于预设时长，并在读取时长大于预设时长的情况下，向数据读取器发送第一告警信息，并提高第一读取实例的读取速度，其中，第一告警信息用于指示需要提高第一读取实例的读取速度。

可选地，在通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据之前，该方法还包括：判断第二读取实例是否读取到开始索引；在第二读取实例未在第二数据源中读取到开始索引的情况下，向数据读取器发送第二告警信息，并暂停数据读取操作，其中，第二告警信息用于指示无法读取第二数据源中的数据。

可选地，从数据源列表中确定第一数据源的下一个数据源，得到第二数据源包括：在数据源列表中不存在第二数据源的情况下，在第一读取实例读取到第一数据源的结束索引的情况下，删除数据读取器中的全部读取实例，并根据全部读取实例读取到的数据生成数据集合。

可选地，在通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据之前，该方法还包括：获取数据读取器的读取权限信息，并确定读取权限信息是否位于第二数据源的权限信息中；在读取权限信息位于第二数据源的权限信息中的情况下，执行通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据；在读取权限信息未位于第二数据源的权限信息中的情况下，获取第二数据源所属的数据中心，并向数据中心获取第二数据源的访问权限。

根据本申请的另一方面，提供了一种数据读取装置。该装置包括：确定单元，用于确定第一读取实例正在读取的数据所属的数据源，得到第一数据源，并获取第一数据源的结束索引，其中，第一读取实例用于读取第一数据源中的数据，第一读取实例位于数据读取器中，第一数据源包含于数据源列表中，数据源列表中包括多个数据源，每个数据源中均包括开始索引和结束索引，开始索引与结束索引位于数据源中的任意位置，每个数据源中的开始索引的位置在结束索引的位置之前；第一检测单元，用于检测第一读取实例是否读取到第一数据源的结束索引，并在读取到第一数据源的结束索引的情况下，结束对第一数据源中的数据的读取；第一获取单元，用于从数据源列表中确定第一数据源的下一个数据源，得到第二数据源，并获取第二数据源的开始索引，通过数据读取器生成与第二数据源相关联的数据读取实例，得到第二读取实例；读取单元，用于通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据，直至读取到数据源列表中的最后一个数据源的结束索引。

根据本发明的另一方面，还提供了一种计算机存储介质，计算机存储介质用于存储程序，其中，程序运行时控制计算机存储介质所在的设备执行一种数据读取方法。

根据本发明的另一方面，还提供了一种电子设备，包含一个或多个处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种数据读取方法。

通过本申请，采用以下步骤：确定第一读取实例正在读取的数据所属的数据源，得到第一数据源，并获取第一数据源的结束索引，其中，第一读取实例用于读取第一数据源中的数据，第一读取实例位于数据读取器中，第一数据源包含于数据源列表中，数据源列表中包括多个数据源，每个数据源中均包括开始索引和结束索引，开始索引与结束索引位于数据源中的任意位置，每个数据源中的开始索引的位置在结束索引的位置之前；检测第一读取实例是否读取到第一数据源的结束索引，并在读取到第一数据源的结束索引的情况下，结束对第一数据源中的数据的读取；从数据源列表中确定第一数据源的下一个数据源，得到第二数据源，并获取第二数据源的开始索引，通过数据读取器生成与第二数据源相关联的数据读取实例，得到第二读取实例；通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据，直至读取到数据源列表中的最后一个数据源的结束索引，解决了相关技术中在读取多个数据源中的数据时，通过人工进行数据源切换的方法的效率低的问题。通过确定数据源列表中相邻的数据源之间的结束索引和开始索引之间的对应关系，在检测到读取到第一数据源中的结束索引的情况下，从第二数据源的开始索引继续进行数据读取，并且为了防止不同数据源之间的差异影响数据的正常读取，需要对每个数据源生成对应的读取实例，并通过读取实例对数据进行读取，进而达到了在切换数据源的情况下，提高了切换数据源的效率和准确率，从而提高从多个数据源中读取数据的读取效率的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的数据读取方法的流程图；

图2是根据本申请实施例提供的数据读取系统的示意图；

图3是根据本申请实施例提供的可选的数据读取方法的示意图；

图4是根据本申请实施例提供的数据读取装置的示意图；

图5为根据本申请实施例提供的一种电子设备的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。

需要说明的是，本公开所确定的数据读取方法、装置、存储介质以及电子设备可用于数据处理领域，也可用于除数据处理领域之外的任意领域，本公开所确定的数据读取方法、装置、存储介质以及电子设备的应用领域不做限定。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据，电子病历等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关规定和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：

数据源：包括静态数据源和流式数据源，用于存储数据。

根据本申请的实施例，提供了一种数据读取方法。

图1是根据本申请实施例提供的数据读取方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，确定第一读取实例正在读取的数据所属的数据源，得到第一数据源，并获取第一数据源的结束索引，其中，第一读取实例用于读取第一数据源中的数据，第一读取实例位于数据读取器中，第一数据源包含于数据源列表中，数据源列表中包括多个数据源，每个数据源中均包括开始索引和结束索引，开始索引与结束索引位于数据源中的任意位置，每个数据源中的开始索引的位置在结束索引的位置之前。

需要说明的是，在本实施例中，图2是根据本申请实施例提供的数据读取系统的示意图，如图2所示，以一种可选的数据读取系统为执行主体执行前述的数据读取方法，该数据读取系统至少包括：数据读取器、数据源列表、多个数据源。

其中，数据源列表中包括多个具有顺序的数据源，数据读取器中包括多个数据读取实例，每个数据读取实例分别用于读取对应的数据源中的数据，数据读取器用于按照顺序读取数据源中的数据，并指示当前时刻使用哪个数据读取实例进行数据读取，同时还可以新增数据读取实例。

具体的，在数据读取器中的第一读取实例正在读取第一数据源中的数据的时候，需要确定何时完成第一数据源中的数据的读取，此时，可以通过获取第一数据源的结束索引的方式，在读取到第一数据源的结束索引的时候，表征完成对第一数据源的读取。

例如，结束索引可以为某个字段，或是某个关键词，例如，在读取到某个时刻的时间戳的情况下，表征读取到结束索引，从而结束对第一数据源中的数据的读取操作。

需要说明的是，每个数据源中的开始索引和结束索引可以在每个数据源中的被读取数据中的任意位置，只要保证开始索引在结束索引之前即可，开始索引和结束索引的作用为告知读取实例从数据源中的哪个位置进行读取，并在哪个位置结束读取，从而防止出现只能将某个存储空间中的数据全部读取后才能读取下一数据源中的数据的现象发生。

步骤S102，检测第一读取实例是否读取到第一数据源的结束索引，并在读取到第一数据源的结束索引的情况下，结束对第一数据源中的数据的读取。

具体的，在检测到第一读取实例读取到第一数据源的结束索引的情况下，表征第一读取实例完成对第一数据源中的数据的读取操作，此时，停止对第一数据源中的数据的读取，并开始准备对第一数据源的后续数据源进行读取即可。

步骤S103，从数据源列表中确定第一数据源的下一个数据源，得到第二数据源，并获取第二数据源的开始索引，通过数据读取器生成与第二数据源相关联的数据读取实例，得到第二读取实例。

具体的，在完成对第一数据源的读取后，需要在数据源列表中按照读取顺序确定第一数据源的下一个数据源，从而确定第二数据源，此时，表征需要对第二数据源中的数据进行读取，因此，为了能够准确的读取到需要在第二数据源中的读取的数据，需要先获取第二数据源中预设的开始索引，从而根据开始索引进行数据的读取操作。

需要说明的是，在确定了开始索引后，需要在数据读取器中生成用于读取第二数据源中的数据的第二读取实例，从而避免不同的数据源之间的差异导致的数据异常读取的现象发生。

需要说明的是，在获取预设的开始索引后，需要根据开始索引的位置信息确定开始索引位于第二数据源中的哪个文件中的哪个位置，并将该位置信息添加至第二读取实例中，从而指示第二读取实例从开始索引的位置进行数据读取操作。

步骤S104，通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据，直至读取到数据源列表中的最后一个数据源的结束索引。

具体的，在完成第二读取实例的生成，并且第二数据源中的开始索引已经确定的情况下，可以控制第二读取实例从第二数据源中的开始索引的位置进行数据读取，并在读取到第二数据源中的结束索引的情况下结束对第二数据源的数据读取操作，并按照上述数据源切换流程继续进行数据源的切换，也即对第三数据源、第四数据源……直至读取到第N数据源中的数据，也即最后一个数据源的结束索引，从而完成上述数据源列表中的多个数据源中的数据的读取操作。

本申请实施例提供的数据读取方法，通过确定第一读取实例正在读取的数据所属的数据源，得到第一数据源，并获取第一数据源的结束索引，其中，第一读取实例用于读取第一数据源中的数据，第一读取实例位于数据读取器中，第一数据源包含于数据源列表中，数据源列表中包括多个数据源，每个数据源中均包括开始索引和结束索引，开始索引与结束索引位于数据源中的任意位置，每个数据源中的开始索引的位置在结束索引的位置之前；检测第一读取实例是否读取到第一数据源的结束索引，并在读取到第一数据源的结束索引的情况下，结束对第一数据源中的数据的读取；从数据源列表中确定第一数据源的下一个数据源，得到第二数据源，并获取第二数据源的开始索引，通过数据读取器生成与第二数据源相关联的数据读取实例，得到第二读取实例；通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据，直至读取到数据源列表中的最后一个数据源的结束索引，解决了相关技术中在读取多个数据源中的数据时，通过人工进行数据源切换的方法的效率低的问题。通过确定数据源列表中相邻的数据源之间的结束索引和开始索引之间的对应关系，在检测到读取到第一数据源中的结束索引的情况下，从第二数据源的开始索引继续进行数据读取，并且为了防止不同数据源之间的差异影响数据的正常读取，需要对每个数据源生成对应的读取实例，并通过读取实例对数据进行读取，进而达到了提高从多个数据源中读取数据的读取效率的效果。

为了准确的获取到索引信息，可选地，在本申请实施例提供的数据读取方法中，获取第二数据源的开始索引包括：确定第二数据源的数据源类型，并且判断数据源类型是否为预设类型；在数据源类型为预设类型的情况下，从第二数据源的配置信息中获取开始索引；在数据源类型不是预设类型的情况下，根据索引间的预设映射关系确定与第一数据源的结束索引相关联的第二数据源的开始索引。

具体的，在获取第二数据源的开始索引的时候，需要根据数据源的类型采用不同的方式进行获取。在第二数据源可以在配置信息中添加开始索引的信息的情况下，可以直接在配置信息中获取开始索引即可。在第二数据源的配置信息中无法添加开始索引的情况下，可以根据第一数据源的结束索引和第二数据源的开始索引之间的预设映射关系确定第二数据源的开始索引。

例如，在第一数据源的结束索引为字段A的情况下，可以根据预设映射关系确定第一数据源与第二数据源之间的索引对应关系为字段A对应字段B，则可以将第二数据源中的字段B确定为开始字段。

需要说明的是，在获取结束字段的时候，同样可以采用相同的方法，在数据源的配置信息中不能存储索引信息的情况下，可以设置映射关系，根据映射关系确定数据源中的开始索引和结束索引之间的关联关系，从而根据开始索引确定数据源中的结束索引。

可选地，在本申请实施例提供的数据读取方法中，通过数据读取器生成与第二数据源相关联的数据读取实例，得到第二读取实例包括：确定开始索引在第二数据源中的存储文件；获取第二数据源的第一属性信息，以及存储文件的第二属性信息；根据第一属性信息和第二属性信息判断数据读取器中是否存在初始读取实例；在数据读取器中存在初始读取实例的情况下，将开始索引输入初始读取实例中，得到第二读取实例；在数据读取器中不存在初始读取实例的情况下，根据第一属性信息、第二属性信息和开始索引生成第二读取实例。

具体的，在生成第二读取实例的时候，由于需要保证第二读取实例能够正常的读取待读取数据，因此，需要先确定开始索引在第二数据源中的存储文件，从而定位到需要读取的数据所位于的文件，并获取到文件属性信息，同时获取第二数据源的属性信息，并根据第一属性信息和第二属性信息判断数据读取器中是否存在初始读取实例，也即，初始读取实例可以读取第一属性信息和第二属性信息相叠加下的数据文件中的数据，在存在初始读取实例的情况下，表征初始读取实例符合第一属性信息和第二属性信息的要求，可以将开始索引在第二数据源中的存储文件中的数据进行读取，则可以将开始索引输入初始读取实例中，得到第二读取实例，此时，可以由第二读取实例从开始索引位置完成数据的读取操作。

进一步的，在不存在初始读取实例的情况下，则需要根据第一属性信息和第二属性信息生成初始读取实例，并将开始索引输入初始读取实例中，进而根据第一属性信息、第二属性信息和开始索引生成第二读取实例，并将初始读取实例存储在数据读取器中，使得后续再次使用初始读取实例的时候可以直接使用，无需重新创建。

为了保证数据读取操作的正常进行。可选地，在本申请实施例提供的数据读取方法中，在从数据源列表中确定第一数据源的下一个数据源，得到第二数据源之后，该方法还包括：判断第二数据源是否为流式数据源；在第二数据源为流式数据源的情况下，检测第一读取实例读取第一数据源中的数据的读取时长；判断读取时长是否大于预设时长，并在读取时长大于预设时长的情况下，向数据读取器发送第一告警信息，并提高第一读取实例的读取速度，其中，第一告警信息用于指示需要提高第一读取实例的读取速度。

需要说明的是，由于流式数据源中的数据并非一直在存储，而是在一定时间后被删除，因此，在第二数据源为流式数据源的情况下，需要保证第一数据源中的数据的读取时间不能过长，进而影响对第二数据源中的数据的读取正确率。

具体的，在第二数据源为流式数据源的情况下，需要检测第一读取实例读取第一数据源中的数据的读取时长，在读取时长过长的情况下，需要及时提高第一读取实例的读取速度，从而避免在第一数据库中读取数据的时间过长，影响第二数据库中的数据读取情况，同时可以向数据读取器发送告警信息，在提高读取速度的同时，告知运维人员对读取情况进行监控，保证读取操作的正常进行。

可选地，在本申请实施例提供的数据读取方法中，在通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据之前，该方法还包括：判断第二读取实例是否读取到开始索引；在第二读取实例未在第二数据源中读取到开始索引的情况下，向数据读取器发送第二告警信息，并暂停数据读取操作，其中，第二告警信息用于指示无法读取第二数据源中的数据。

具体的，在第二读取实例未读取到第二数据源中的开始索引的情况下，表征第二数据源中的包含开始索引的数据可能已被删除，或是开始索引设置错误，导致第二数据源中不存在预设的开始索引，此时，由于无法识别到开始索引，则无法正常的完成数据源的自动切换操作，因此，需要向数据读取器发送第二告警信息，告知运维人员出现异常，从而可以在第一数据源切换至第二数据源的操作中采用人工操作进行，保证后续数据源中数据的正常读取。

为了降低数据读取器中的实例存储量，提高数据读取器的性能，可选地，在本申请实施例提供的数据读取方法中，从数据源列表中确定第一数据源的下一个数据源，得到第二数据源包括：在数据源列表中不存在第二数据源的情况下，在第一读取实例读取到第一数据源的结束索引的情况下，删除数据读取器中的全部读取实例，并根据全部读取实例读取到的数据生成数据集合。

具体的，在检测到数据源列表中不存在第二数据源的情况下，表征当前读取的第一数据源为数据源列表中的最后一个数据源，此时，在检测到第一读取实例读取到第一数据源的结束索引的情况下，表征已经完成对第一数据源中的数据的获取操作，此时，可以将数据读取器中的全部读取实例删除，进而保证数据读取器在对下一个数据源列表中的多个数据源进行读取的时候，可以提高数据读取器中的实例的生成速度以及实例的运行效率。

可选地，在本申请实施例提供的数据读取方法中，在通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据之前，该方法还包括：获取数据读取器的读取权限信息，并确定读取权限信息是否位于第二数据源的权限信息中；在读取权限信息位于第二数据源的权限信息中的情况下，执行通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据；在读取权限信息未位于第二数据源的权限信息中的情况下，获取第二数据源所属的数据中心，并向数据中心获取第二数据源的访问权限。

具体的，在读取每个数据源中的数据之前，需要根据数据读取器的权限信息确定是否能够进行数据源中的数据的读取，具有权限信息的情况下，才能进行数据的读取操作，在不具有权限信息的情况下，无法读取数据，同时需要向数据中心获取访问权限，从而能够对数据源中的数据进行读取操作。

图3是根据本申请实施例提供的可选的数据读取方法的示意图，如图3所示，数据读取器中的第一读取实例获取第一数据源中的开始索引，并由开始索引读取第一数据源中的数据，直至读取到第一数据源中的结束索引，并由第一读取实例切换为第二读取实例，通过第一数据源的结束索引与第二数据源的开始索引之间的映射关系，确定第二数据源的开始索引，并从第二数据源的开始索引进行第二数据源的数据读取，直至读取到第二数据源的结束索引，并按照上述流程重复进行，直至数据源列表中的全部数据源的数据均被读取，从而完成多个数据源中的数据的连续读取操作。通过确定数据源列表中相邻的数据源之间的结束索引和开始索引之间的对应关系，在检测到读取到第一数据源中的结束索引的情况下，从第二数据源的开始索引继续进行数据读取，并且为了防止不同数据源之间的差异影响数据的正常读取，对每个数据源生成对应的读取实例，并通过读取实例对数据进行读取，进而达到了提高从多个数据源中读取数据的读取效率的效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种数据读取装置，需要说明的是，本申请实施例的数据读取装置可以用于执行本申请实施例所提供的用于数据读取方法。以下对本申请实施例提供的数据读取装置进行介绍。

图4是根据本申请实施例提供的数据读取装置的示意图。如图4所示，该装置包括：确定单元41，第一检测单元42，第一获取单元43，读取单元44。

确定单元41，用于确定第一读取实例正在读取的数据所属的数据源，得到第一数据源，并获取第一数据源的结束索引，其中，第一读取实例用于读取第一数据源中的数据，第一读取实例位于数据读取器中，第一数据源包含于数据源列表中，数据源列表中包括多个数据源，每个数据源中均包括开始索引和结束索引，开始索引与结束索引位于数据源中的任意位置，每个数据源中的开始索引的位置在结束索引的位置之前。

第一检测单元42，用于检测第一读取实例是否读取到第一数据源的结束索引，并在读取到第一数据源的结束索引的情况下，结束对第一数据源中的数据的读取。

第一获取单元43，用于从数据源列表中确定第一数据源的下一个数据源，得到第二数据源，并获取第二数据源的开始索引，通过数据读取器生成与第二数据源相关联的数据读取实例，得到第二读取实例。

读取单元44，用于通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据，直至读取到数据源列表中的最后一个数据源的结束索引。

本申请实施例提供的数据读取装置，通过确定单元41确定第一读取实例正在读取的数据所属的数据源，得到第一数据源，并获取第一数据源的结束索引，其中，第一读取实例用于读取第一数据源中的数据，第一读取实例位于数据读取器中，第一数据源包含于数据源列表中，数据源列表中包括多个数据源，每个数据源中均包括开始索引和结束索引，开始索引与结束索引位于数据源中的任意位置，每个数据源中的开始索引的位置在结束索引的位置之前；第一检测单元42检测第一读取实例是否读取到第一数据源的结束索引，并在读取到第一数据源的结束索引的情况下，结束对第一数据源中的数据的读取；第一获取单元43从数据源列表中确定第一数据源的下一个数据源，得到第二数据源，并获取第二数据源的开始索引，通过数据读取器生成与第二数据源相关联的数据读取实例，得到第二读取实例；读取单元44通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据，直至读取到数据源列表中的最后一个数据源的结束索引。解决了相关技术中在读取多个数据源中的数据时，通过人工进行数据源切换的方法的效率低的问题，通过确定数据源列表中相邻的数据源之间的结束索引和开始索引之间的对应关系，在检测到读取到第一数据源中的结束索引的情况下，从第二数据源的开始索引继续进行数据读取，并且为了防止不同数据源之间的差异影响数据的正常读取，需要对每个数据源生成对应的读取实例，并通过读取实例对数据进行读取，进而达到了提高从多个数据源中读取数据的读取效率的效果。

可选地，在本申请实施例提供的数据读取装置中，第一获取单元43包括：第一确定模块，用于确定第二数据源的数据源类型，并且判断数据源类型是否为预设类型；第一获取模块，用于在数据源类型为预设类型的情况下，从第二数据源的配置信息中获取开始索引；第二确定模块，用于在数据源类型不是预设类型的情况下，根据索引间的预设映射关系确定与第一数据源的结束索引相关联的第二数据源的开始索引。

可选地，在本申请实施例提供的数据读取装置中，第一获取单元43包括：第三确定模块，用于确定开始索引在第二数据源中的存储文件；第二获取模块，用于获取第二数据源的第一属性信息，以及存储文件的第二属性信息；判断模块，用于根据第一属性信息和第二属性信息判断数据读取器中是否存在初始读取实例；输入模块，用于在数据读取器中存在初始读取实例的情况下，将开始索引输入初始读取实例中，得到第二读取实例；生成模块，用于在数据读取器中不存在初始读取实例的情况下，根据第一属性信息、第二属性信息和开始索引生成第二读取实例。

可选地，在本申请实施例提供的数据读取装置中，该装置还包括：第一判断单元，用于判断第二数据源是否为流式数据源；第二检测单元，用于在第二数据源为流式数据源的情况下，检测第一读取实例读取第一数据源中的数据的读取时长；第二判断单元，用于判断读取时长是否大于预设时长，并在读取时长大于预设时长的情况下，向数据读取器发送第一告警信息，并提高第一读取实例的读取速度，其中，第一告警信息用于指示需要提高第一读取实例的读取速度。

可选地，在本申请实施例提供的数据读取装置中，该装置还包括：第三判断单元，用于判断第二读取实例是否读取到开始索引；告警单元，用于在第二读取实例未在第二数据源中读取到开始索引的情况下，向数据读取器发送第二告警信息，并暂停数据读取操作，其中，第二告警信息用于指示无法读取第二数据源中的数据。

可选地，在本申请实施例提供的数据读取装置中，第一获取单元43包括：删除模块，用于在数据源列表中不存在第二数据源的情况下，在第一读取实例读取到第一数据源的结束索引的情况下，删除数据读取器中的全部读取实例，并根据全部读取实例读取到的数据生成数据集合。

可选地，在本申请实施例提供的数据读取装置中，该装置还包括：第二获取单元，用于获取数据读取器的读取权限信息，并确定读取权限信息是否位于第二数据源的权限信息中；执行单元，用于在读取权限信息位于第二数据源的权限信息中的情况下，执行通过第二读取实例在第二数据源的开始索引位置读取第二数据源中的数据；第三获取单元，用于在读取权限信息未位于第二数据源的权限信息中的情况下，获取第二数据源所属的数据中心，并向数据中心获取第二数据源的访问权限。

上述数据读取装置包括处理器和存储器，上述确定单元41，第一检测单元42，第一获取单元43，读取单元44等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决了相关技术中在读取多个数据源中的数据时，通过人工进行数据源切换的方法的效率低的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述数据读取方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据读取方法。

图5为根据本申请实施例提供的一种电子设备的示意图，如图5所示，本发明实施例提供了一种电子设备，电子设备50包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述数据读取方法的步骤。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有上述数据读取方法的步骤的程序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据读取方法，其特征在于，包括：

确定第一读取实例正在读取的数据所属的数据源，得到第一数据源，并获取所述第一数据源的结束索引，其中，所述第一读取实例用于读取所述第一数据源中的数据，所述第一读取实例位于数据读取器中，所述第一数据源包含于数据源列表中，所述数据源列表中包括多个数据源，每个数据源中均包括开始索引和结束索引，所述开始索引与所述结束索引位于数据源中的任意位置，每个数据源中的开始索引的位置在结束索引的位置之前；

检测所述第一读取实例是否读取到所述第一数据源的结束索引，并在读取到所述第一数据源的结束索引的情况下，结束对所述第一数据源中的数据的读取；

从数据源列表中确定所述第一数据源的下一个数据源，得到第二数据源，并获取所述第二数据源的开始索引，通过所述数据读取器生成与所述第二数据源相关联的数据读取实例，得到第二读取实例；

通过所述第二读取实例在所述第二数据源的开始索引位置读取所述第二数据源中的数据，直至读取到数据源列表中的最后一个数据源的结束索引。

2.根据权利要求1所述的方法，其特征在于，获取所述第二数据源的开始索引包括：

确定所述第二数据源的数据源类型，并且判断所述数据源类型是否为预设类型；

在所述数据源类型为预设类型的情况下，从所述第二数据源的配置信息中获取所述开始索引；

在所述数据源类型不是所述预设类型的情况下，根据索引间的预设映射关系确定与所述第一数据源的结束索引相关联的第二数据源的开始索引。

3.根据权利要求1所述的方法，其特征在于，通过所述数据读取器生成与所述第二数据源相关联的数据读取实例，得到第二读取实例包括：

确定所述开始索引在所述第二数据源中的存储文件；

获取所述第二数据源的第一属性信息，以及所述存储文件的第二属性信息；

根据所述第一属性信息和所述第二属性信息判断所述数据读取器中是否存在初始读取实例；

在所述数据读取器中存在初始读取实例的情况下，将所述开始索引输入所述初始读取实例中，得到所述第二读取实例；

在所述数据读取器中不存在所述初始读取实例的情况下，根据所述第一属性信息、所述第二属性信息和所述开始索引生成所述第二读取实例。

4.根据权利要求1所述的方法，其特征在于，在从数据源列表中确定所述第一数据源的下一个数据源，得到第二数据源之后，所述方法还包括：

判断所述第二数据源是否为流式数据源；

在所述第二数据源为流式数据源的情况下，检测所述第一读取实例读取所述第一数据源中的数据的读取时长；

判断所述读取时长是否大于预设时长，并在所述读取时长大于所述预设时长的情况下，向所述数据读取器发送第一告警信息，并提高所述第一读取实例的读取速度，其中，所述第一告警信息用于指示需要提高所述第一读取实例的读取速度。

5.根据权利要求1所述的方法，其特征在于，在通过所述第二读取实例在所述第二数据源的开始索引位置读取所述第二数据源中的数据之前，所述方法还包括：

判断所述第二读取实例是否读取到所述开始索引；

在所述第二读取实例未在所述第二数据源中读取到所述开始索引的情况下，向所述数据读取器发送第二告警信息，并暂停数据读取操作，其中，所述第二告警信息用于指示无法读取所述第二数据源中的数据。

6.根据权利要求1所述的方法，其特征在于，从数据源列表中确定所述第一数据源的下一个数据源，得到第二数据源包括：

在所述数据源列表中不存在所述第二数据源的情况下，在所述第一读取实例读取到所述第一数据源的结束索引的情况下，删除所述数据读取器中的全部读取实例，并根据所述全部读取实例读取到的数据生成数据集合。

7.根据权利要求1所述的方法，其特征在于，在通过所述第二读取实例在所述第二数据源的开始索引位置读取所述第二数据源中的数据之前，所述方法还包括：

获取所述数据读取器的读取权限信息，并确定所述读取权限信息是否位于所述第二数据源的权限信息中；

在所述读取权限信息位于所述第二数据源的权限信息中的情况下，执行所述通过所述第二读取实例在所述第二数据源的开始索引位置读取所述第二数据源中的数据；

在所述读取权限信息未位于所述第二数据源的权限信息中的情况下，获取所述第二数据源所属的数据中心，并向所述数据中心获取所述第二数据源的访问权限。

8.一种数据读取装置，其特征在于，包括：

确定单元，用于确定第一读取实例正在读取的数据所属的数据源，得到第一数据源，并获取所述第一数据源的结束索引，其中，所述第一读取实例用于读取所述第一数据源中的数据，所述第一读取实例位于数据读取器中，所述第一数据源包含于数据源列表中，所述数据源列表中包括多个数据源，每个数据源中均包括开始索引和结束索引，所述开始索引与所述结束索引位于数据源中的任意位置，每个数据源中的开始索引的位置在结束索引的位置之前；

第一检测单元，用于检测所述第一读取实例是否读取到所述第一数据源的结束索引，并在读取到所述第一数据源的结束索引的情况下，结束对所述第一数据源中的数据的读取；

第一获取单元，用于从数据源列表中确定所述第一数据源的下一个数据源，得到第二数据源，并获取所述第二数据源的开始索引，通过所述数据读取器生成与所述第二数据源相关联的数据读取实例，得到第二读取实例；

读取单元，用于通过所述第二读取实例在所述第二数据源的开始索引位置读取所述第二数据源中的数据，直至读取到数据源列表中的最后一个数据源的结束索引。

9.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序，其中，所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的数据读取方法。

10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的数据读取方法。