CN109033003B - 数据流切片比对的方法、装置和异构系统 - Google Patents

数据流切片比对的方法、装置和异构系统 Download PDF

Info

Publication number
CN109033003B
CN109033003B CN201810893528.4A CN201810893528A CN109033003B CN 109033003 B CN109033003 B CN 109033003B CN 201810893528 A CN201810893528 A CN 201810893528A CN 109033003 B CN109033003 B CN 109033003B
Authority
CN
China
Prior art keywords
data
slice
stream
data stream
management table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810893528.4A
Other languages
English (en)
Other versions
CN109033003A (zh
Inventor
李丹丹
沈剑良
刘勤让
宋克
谭力波
王盼
张文建
刘冬培
朱珂
汤先拓
姜海滨
赵博
汪涟
王晓雪
董春雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Technology Innovation Center Of Tianjin Binhai New Area
China National Digital Switching System Engineering and Technological R&D Center
Original Assignee
Information Technology Innovation Center Of Tianjin Binhai New Area
China National Digital Switching System Engineering and Technological R&D Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Technology Innovation Center Of Tianjin Binhai New Area, China National Digital Switching System Engineering and Technological R&D Center filed Critical Information Technology Innovation Center Of Tianjin Binhai New Area
Priority to CN201810893528.4A priority Critical patent/CN109033003B/zh
Publication of CN109033003A publication Critical patent/CN109033003A/zh
Application granted granted Critical
Publication of CN109033003B publication Critical patent/CN109033003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10Program control for peripheral devices
    • G06F13/12Program control for peripheral devices using hardware independent of the central processor, e.g. channel or peripheral processor
    • G06F13/124Program control for peripheral devices using hardware independent of the central processor, e.g. channel or peripheral processor where hardware is a sequential transfer control unit, e.g. microprocessor, peripheral processor or state-machine

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种数据流切片比对的方法、装置和异构系统,其中,该方法包括:接收数据流,该数据流中携带有数据流的流标识和接收数据流通道的通道标识;然后判断是否存在流标识对应的切片管理表,该切片管理表中保存有流标识对应的数据流的最大切片长度;如果是,按照切片管理表对数据流进行切片操作,得到数据流对应的切片数据;最后将携带有不同通道标识、相同流标识的数据流的切片数据进行比对,得到比对结果。本发明通过切片管理表对多路数据进行切片操作,使切片操作更加灵活,避免了数据误切片操作对后续数据比对结果造成的错误,提高了多路数据间比对的正确性。

Description

数据流切片比对的方法、装置和异构系统
技术领域
本发明涉及数据流比对技术领域,尤其是涉及一种数据流切片比对的方法、装置和异构系统。
背景技术
在异构多核处理的背景下,多个处理器间的多路数据流匹配的现有方法为将多个数据流切片为固定大小,然后进行比对。在进行切片时有固定长度设置,当某一条数据流速率过慢,当前等待被切片数据小于切片长度,且当前等待时间已到,会直接将等待切片数据大小输出,但并不表示此条数据流已经结束,若后面还继续有数据到来,则整个切片步伐将与其他数据流不一致,导致到达比对模块的数据进行比对的结果产生错误。
发明内容
有鉴于此,本发明的目的在于提供一种数据流切片比对的方法、装置和异构系统,以降低数据比对结果的错误率。
第一方面,本发明实施例提供了一种数据流切片比对的方法,该方法应用于异构系统中的总线控制器,总线控制器连接有多个计算内核,计算内核与总线控制器之间设置有数据通道;该方法包括:接收数据流;数据流中携带有数据流的流标识和接收数据流通道的通道标识;判断是否存在流标识对应的切片管理表;切片管理表中保存有流标识对应的数据流的最大切片长度;如果是,按照切片管理表对数据流进行切片操作,得到数据流对应的切片数据;将携带有不同通道标识、相同流标识的数据流的切片数据进行比对,得到比对结果。
进一步,上述方法还包括:如果不存在流标识对应的切片管理表,根据数据流的长度、速度和时间周期建立切片管理表。
进一步,上述根据数据流的长度建立切片管理表的步骤,包括:开启数据流对应的第一计时器,对数据流进行切片;对数据流进行切片的过程中,如果数据流的长度大于最大切片长度,则输出数据流中最大切片长度的切片数据,并将最大切片长度保存入数据流的流标识对应的切片管理表中,第一计时器清零;如果数据流的长度小于最大切片长度,当第一计时器到达第一设定时长后,输出数据流,将数据流的长度保存入数据流的流标识对应的切片管理表中,第一计时器清零。
进一步,上述将携带有不同通道标识、相同流标识的数据流的切片数据进行比对的步骤,包括:检测流标识对应的切片管理表中,是否每个通道标识都具有对应的切片数据,如果是,从切片管理表中取出每个通道标识对应的切片数据,并进行数据比对;如果否,从切片管理表中取出具有切片数据的通道标识对应的切片数据,并进行数据比对。
进一步,上述从切片管理表中取出具有切片数据的通道标识对应的切片数据,并进行数据比对的步骤,包括:查找切片数据,并开启第二计时器;如果切片数据包含至少两个通道标识对应的切片数据,当第二计时器到达设定第二设定时长后,如果不具有切片数据的通道标识对应的切片数据依然没有到达,确定不具有切片数据的通道标识对应的通道出现错误。
进一步,上述从切片管理表中取出具有切片数据的通道标识对应的切片数据,并进行数据比对的步骤,还包括:如果切片数据仅包含一个通道标识对应的切片数据,且当第二计时器到达设定第二设定时长后,不具有切片数据的通道标识对应的切片数据依然没有到达,确定具有切片数据的通道标识对应的通道出现错误。
第二方面,本发明实施例还提供一种数据流切片比对的装置,该装置设置于异构系统中的总线控制器,该装置包括:数据流接收模块,用于接收数据流;数据流中携带有数据流的流标识和接收数据流通道的通道标识;判断模块,用于判断是否存在流标识对应的切片管理表;切片管理表中保存有流标识对应的数据流的最大切片长度;数据切片模块,用于如果存在流标识对应的切片管理表,按照切片管理表对数据流进行切片操作,得到数据流对应的切片数据;数据比对模块,用于将携带有不同通道标识、相同流标识的数据流的切片数据进行比对,得到比对结果。
进一步,上述装置还包括:切片管理表建立模块,用于如果不存在流标识对应的切片管理表,根据数据流的长度、速度和时间周期建立切片管理表。
进一步,上述切片管理表建立模块,还用于开启数据流对应的第一计时器,对数据流进行切片;对数据流进行切片的过程中,如果数据流的长度大于最大切片长度,则输出数据流中最大切片长度的切片数据,并将最大切片长度保存入数据流的流标识对应的切片管理表中,第一计时器清零;如果数据流的长度小于最大切片长度,当第一计时器到达第一设定时长后,输出数据流,将数据流的长度保存入数据流的流标识对应的切片管理表中,第一计时器清零。
第三方面,本发明实施例还提供了一种异构系统,该异构系统包括总线控制器和多个计算内核;总线控制器分别与多个计算内核连接;计算内核与总线控制器之间设置有数据通道;第三方面的装置设置于总线控制器。本发明实施例带来了以下有益效果:
本发明提供了一种数据流切片比对的方法、装置和异构系统,其中,该方法包括:接收数据流,该数据流中携带有数据流的流标识和接收数据流通道的通道标识;然后判断是否存在流标识对应的切片管理表,该切片管理表中保存有流标识对应的数据流的最大切片长度;如果是,按照切片管理表对数据流进行切片操作,得到数据流对应的切片数据;最后将携带有不同通道标识、相同流标识的数据流的切片数据进行比对,得到比对结果。本发明通过切片管理表对多路数据进行切片操作,使切片操作更加灵活,避免了数据误切片操作对后续数据比对结果造成的错误,提高了多路数据间比对的正确性。
本发明的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施方式,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的现有技术中的数据流切片比对的方法的示意图;
图2为本发明实施例提供的一种数据流切片比对的方法的流程图;
图3为本发明实施例提供的一种数据流切片比对的方法的切片管理表建立的流程图;
图4为本发明实施例提供的一种数据流切片比对的方法的切片数据比对的流程图;
图5为本发明实施例提供的另一种数据流切片比对的方法的流程图;
图6为本发明实施例提供的另一种数据流切片比对方法的示意图;
图7为本发明实施例提供的一种数据流切片比对的装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1所示为现有技术中的数据流切片比对的方法的示意图;在异构多核处理的背景下,多个处理器间的多路数据流匹配现有方法为将多个数据流切片为固定长度,然后进行比对,首先数据流将会存储到缓存区域,每个数据流进行切片后送入比对模块,在切片时有计时操作,当某一条数据流等待被切片长度小于切片长度,且当前等待时间已到,则直接将当前长度的数据输出至比对模块,比对模块也是有对应的缓存区域,以应对多个处理器处理速度不一致导致的流到达时间不一致。但是,当某一条数据流速度过慢时,将会影响整个切片步伐与其他数据流不一致,导致到达比对模块的数据进行比对的结果出现错误。
基于此,本发明实施例提供的一种数据流切片比对的方法、装置和异构系统,该技术可以应用于多核异构冗余处理器或者其他异构系统的场景中。
参见图2所示的一种数据流切片比对的方法的流程图;该数据流切片比对的方法应用于异构系统中的总线控制器,该总线控制器连接有多个计算内核,计算内核与总线控制器之间设置有数据通道;该方法的具体步骤如下:
步骤S202,接收数据流;该数据流中携带有数据流的流标识和接收数据流通道的通道标识;
多核处理器接收数据流,该数据流中带有标识自己信息的标识,如数据流N-m,N表示通道标识,即第N路通道;m表示流标识,即第m条数据流,因此,数据流N-m表示第N路通道的第m条数据流。
步骤S204,判断是否存在流标识对应的切片管理表;该切片管理表中保存有流标识对应的数据流的最大切片长度;
在对数据流进行切片前,需要判断是否已经建立对应的切片管理表,只有建立好了切片管理表,才能把每路通道中各条数据流送到对应的切片管理表中进行切片。上述切片管理表是根据数据流的速度、切片控制的时间周期来建立的,不同的切片管理表中保存着不同流标识对应的数据流的切片长度。
步骤S206,如果是,按照切片管理表对数据流进行切片操作,得到数据流对应的切片数据;
若检测到已经建立将要切片的数据流对应的切片管理表,则按照该切片管理表的切片长度和时间周期对上述数据流进行切片操作,并得到切片数据。如果不存在流标识对应的切片管理表,根据数据流的长度建立切片管理表;具体地,若检测到没有建立好将要切片的数据流对应的切片管理表,则根据当前数据流的长度和速度来建立该数据流对应的切片数据表,以对该数据流进行切片处理。
步骤S208,将携带有不同通道标识、相同流标识的数据流的切片数据进行比对,得到比对结果。
在对切片数据进行比对时,若每路通道都有待比对切片数据,则取出该切片数据进行数据比对;若有一个或者多个通道没有待比对切片数据,则取出有待比对切片数据的通道的数据进行比对。
本发明提供了一种数据流切片比对的方法,该方法包括:接收数据流,该数据流中携带有数据流的流标识和接收数据流通道的通道标识;然后判断是否存在流标识对应的切片管理表,该切片管理表中保存有流标识对应的数据流的最大切片长度;如果是,按照切片管理表对数据流进行切片操作,得到数据流对应的切片数据;最后将携带有不同通道标识、相同流标识的数据流的切片数据进行比对,得到比对结果。该方法通过切片管理表对多路数据进行切片操作,使切片操作更加灵活,避免了数据误切片操作对后续数据比对结果造成的错误,提高了多路数据间比对的正确性。
参见图3所示的一种数据流切片比对的方法的切片管理表建立的流程图;上述根据数据流的长度、速度和时间周期建立切片管理表的步骤,包括:
步骤302,开启数据流对应的第一计时器,对数据流进行切片;
根据当前待切片数据流的长度建立切片管理表,在当前数据流切片时,开启第一计时器,对切片时间周期进行计时。
步骤304,对上述数据流进行切片的过程中,如果数据流的长度大于最大切片长度,则输出数据流中最大切片长度的切片数据,并将最大切片长度保存入数据流的流标识对应的切片管理表中,上述第一计时器清零;
如果当前待切片的数据流的长度大于最大切片大小(相当于上述最大切片长度),则直接输出当前最大切片大小的切片数据,并将该切片长度存入该数据流对应的切片管理表中。
步骤S306,如果上述数据流的长度小于最大切片长度,当第一计时器到达第一设定时长后,输出数据流,将数据流的长度保存入数据流的流标识对应的切片管理表中,上述第一计时器清零。
如果当前待切片的数据流的长度小于最大切片大小,则等待第一计时器计时,第一计时器计时结束后,输出当前数据流长度的切片数据,并将该切片长度存入该数据流对应的切片管理表中。
在进行切片操作时,建立了切片管理表,对多个通路的多个数据流的切片大小进行了管理,以使整个切片步伐一致,可以降低切片数据比对的错误率。
参见图4所示的一种数据流切片比对的方法的切片数据比对的流程图;将携带有不同通道标识、相同流标识的数据流的切片数据进行比对的步骤,包括:
步骤S402,检测流标识对应的切片管理表中,是否每个通道标识都具有对应的切片数据,如果是,从上述切片管理表中取出每个通道标识对应的切片数据,并进行数据比对;
步骤S404,如果否,从切片管理表中取出具有切片数据的通道标识对应的切片数据,并进行数据比对。
上述从切片管理表中取出具有切片数据的通道标识对应的切片数据,并进行数据比对时,首先查找切片数据,并开启第二计时器;然后如果切片数据包含至少两个通道标识对应的切片数据,当第二计时器到达设定第二设定时长后,如果不具有切片数据的通道标识对应的切片数据依然没有到达,确定不具有切片数据的通道标识对应的通道出现错误。
上述从切片管理表中取出具有切片数据的通道标识对应的切片数据,并进行数据比对时,还包括如果切片数据仅包含一个通道标识对应的切片数据,且当第二计时器到达设定第二设定时长后,不具有切片数据的通道标识对应的切片数据依然没有到达,确定具有切片数据的通道标识对应的通道出现错误。
在切片数据比对的工程中,采用其中一路数据通路为基准,开始查找比对时,启动第二计时器,当某一路通路或多路通路没有数据或数据慢于其他通路时,进行等待,如计时结束之前数据到达比对模块区域则进行比对;如计时结束时数据仍没有到达,则将没有数据的通道判定为错误,将其他通道数据进行比对。
其中,对于数据速率较慢的通道进行处理的方式为:对每一个切片数据进行生存时间管理,如果某一数据长时间没有被比对,且到达了生存时间,将此数据视为无效数据,将其丢弃,释放存储空间。上述这类数据可能是由于在比对时,晚于比对数据周期到达,也可能是错误数据等。将此类数据选择生存周期管理办法,并在生存周期到达后丢弃,是为了避免比对模块空间足够存储正常待比对数据。
上述方法实现了数据比对模块空间释放,也就是使用生存周期控制数据的有效生存时间,提高了存储空间的利用率。
参见图5所示的另一种数据流切片比对的方法的流程图;该方法的具体步骤如下:
步骤S502,接收到数据流时,进行数据缓存;
多核处理器接收每个通路的数据流,并将每条数据流进行缓存,存储到第一缓存区域等待切片。
步骤S504,从切片管理表中查找,对应该当前数据流是否存在切片信息;如果是,执行步骤S506;如果否,执行步骤S508;
在切片管理表中查找对应该条流标识的数据流的切片数据,相当于检测是否已经建立了与当前数据流对应的切片管理表。
步骤S506,按照对应的切片管理表对当前数据流进行切片操作;
若已经建立了当前数据流对应的切片管理表,则待切片的数据流按照其流标识进入到对应的切片管理表中进行切片;若没有建立,则建立切片管理表,以对当前数据流进行切片操作。
步骤S508,判断当前数据流长度是否达到了最大切片长度;如果是,执行步骤S510;如果否,执行步骤S512;
步骤S510,根据数据流的速度、切片控制模块的时间周期建立切片管理表;
步骤S512,判断当前时间是否达到切片等待时间;如果是,执行步骤S510;如果否,执行步骤S504;
根据当前数据流的长度建立切片管理表;在数据流切片前开启第一计时器,首先判断当前数据流的长度是否达到了最大切片长度,若当前数据长度大于最大切片长度(相当于达到了最大切片长度),则直接输出当前最大切片长度的切片数据,将切片数据的长度保存到切片管理表中,也即是建立切片管理表,同时第一计时器清零;若当前数据长度小于最大切片长度,则等待第一计时器计时(相当于检测是否达到切片等待时间),计时结束后输出当前切片数据的长度,并将当前切片长度保存到切片管理表中,同时计时器清零。
步骤S514,把切片数据存入第二缓存区,等待进行切片数据比对;
步骤S516,对多个通路的数据流进行数据比对。
若在第二缓存区中每个通路都有待比对的切片数据,则取出待比对的切片数据到数据比对模块中进行比对;若在第二缓存区中有一个或多个通路没有待比对数据切片,依然将其他有待比对的切片数据的通道中数据送入比对模块中进行比对。
在数据比对的过程中,首先在开始时查找比对时启动的计时器,当某一路通道或多路通道中没有数据或数据速度比其他通路慢时,对该数据进行等待,如果在计时器计时结束之前,上述数据还到达了比对模块,则进行切片数据的比对;如果计时器计时结束时,上述数据仍然没有到达比对模块,则将没有数据的通道判定为错误,并将其他通道的数据进行比对。
其中,数据速度较慢的通道中的每个切片数据进行生存时间管理,如果某一个切片数据长时间没有被比对,且到达了该切片数据的生存时间,则将该切片数据丢弃,释放存储空间。
如图6所示为另一种数据流切片比对的方法的示意图;采用切片管理表的方式对数据进行切片,解决了由于数据速率过慢而进行的数据误切片操作(一定时间无数据到达则默认切片当前长度),导致后续切片步伐与其他通路不一致;而且使得多条数据流在速度不一致且计时器时间已到时,能够不打乱整个数据流的切片步伐,从而保证了切片数据比对结果的正确性。
对应于上述方法实施例,参见图7所示的一种数据流切片比对的装置,该装置设置于异构系统中的总线控制器,该装置包括:
数据流接收模块70,用于接收数据流;数据流中携带有数据流的流标识和接收数据流通道的通道标识;
判断模块71,用于判断是否存在流标识对应的切片管理表;切片管理表中保存有流标识对应的数据流的最大切片长度;
数据切片模块72,用于如果存在流标识对应的切片管理表,按照切片管理表对数据流进行切片操作,得到数据流对应的切片数据;
数据比对模块73,用于将携带有不同通道标识、相同流标识的数据流的切片数据进行比对,得到比对结果。
上述装置,还包括切片管理表建立模块,用于如果不存在流标识对应的切片管理表,根据数据流的长度、速度和时间周期建立切片管理表。
上述切片管理表建立模块,还用于开启数据流对应的第一计时器,对数据流进行切片;对数据流进行切片的过程中,如果数据流的长度大于最大切片长度,则输出数据流中最大切片长度的切片数据,并将最大切片长度保存入数据流的流标识对应的切片管理表中,第一计时器清零;如果数据流的长度小于最大切片长度,当第一计时器到达第一设定时长后,输出数据流,将数据流的长度保存入数据流的流标识对应的切片管理表中,第一计时器清零。
本发明实施例提供的数据流切片比对的装置,与上述实施例提供的数据流切片比对的方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
本实施例还提供了一种与上述方法实施例相对应的一种异构系统,该异构系统包括总线控制器和多个计算内核;总线控制器分别与多个计算内核连接;计算内核与总线控制器之间设置有数据通道;上述数据流切片比对的装置设置于总线控制器。
本发明实施例所提供的一种数据流切片比对的方法、装置和异构系统,切片操作更灵活,当前的切片管理表中没有管理信息的时候,可以根据数据流的到达情况进行更新,建立之前切片管理表的数据流;如果当前没有数据,且切片管理表为空时,当前如果有其他数据流优先到达,则根据该条数据流来继续进行切片管理表的建立,以使数据流无论何时到达,相应的切片管理表都一直存在,且当前数据流一定按照切片管理表进行切片操作,保证了数据比对结果的正确性。
本发明实施例所提供的数据流切片比对的方法、装置和异构系统的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和/或装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种数据流切片比对的方法,其特征在于,所述方法应用于异构系统中的总线控制器,所述总线控制器连接有多个计算内核,所述计算内核与所述总线控制器之间设置有数据通道;所述方法包括:
接收数据流;所述数据流中携带有所述数据流的流标识和接收所述数据流通道的通道标识;
判断是否存在所述流标识对应的切片管理表;所述切片管理表中保存有所述流标识对应的数据流的最大切片长度;
如果是,按照所述切片管理表对所述数据流进行切片操作,得到所述数据流对应的切片数据;
将携带有不同通道标识、相同流标识的数据流的切片数据进行比对,得到比对结果;
如果不存在所述流标识对应的切片管理表,根据所述数据流的长度、速度和时间周期建立切片管理表;
所述根据所述数据流的长度建立切片管理表的步骤,包括:
开启所述数据流对应的第一计时器,对所述数据流进行切片;
对所述数据流进行切片的过程中,如果所述数据流的长度大于所述最大切片长度,则输出所述数据流中所述最大切片长度的切片数据,并将所述最大切片长度保存入所述数据流的流标识对应的切片管理表中,所述第一计时器清零;
如果所述数据流的长度小于所述最大切片长度,当所述第一计时器到达第一设定时长后,输出所述数据流,将所述数据流的长度保存入所述数据流的流标识对应的切片管理表中,所述第一计时器清零。
2.根据权利要求1所述的方法,其特征在于,所述将携带有不同通道标识、相同流标识的数据流的切片数据进行比对的步骤,包括:
检测所述流标识对应的切片管理表中,是否每个所述通道标识都具有对应的切片数据,如果是,从所述切片管理表中取出每个所述通道标识对应的切片数据,并进行数据比对;
如果否,从所述切片管理表中取出具有切片数据的通道标识对应的切片数据,并进行数据比对。
3.根据权利要求2所述的方法,其特征在于,所述从所述切片管理表中取出具有切片数据的通道标识对应的切片数据,并进行数据比对的步骤,包括:
查找所述切片数据,并开启第二计时器;
如果所述切片数据包含至少两个通道标识对应的切片数据,当所述第二计时器到达设定第二设定时长后,如果不具有切片数据的通道标识对应的切片数据依然没有到达,确定不具有切片数据的通道标识对应的通道出现错误。
4.根据权利要求3所述的方法,其特征在于,所述从所述切片管理表中取出具有切片数据的通道标识对应的切片数据,并进行数据比对的步骤,还包括:
如果所述切片数据仅包含一个通道标识对应的切片数据,且当所述第二计时器到达设定第二设定时长后,不具有切片数据的通道标识对应的切片数据依然没有到达,确定具有切片数据的通道标识对应的通道出现错误。
5.一种数据流切片比对的装置,其特征在于,所述装置设置于异构系统中的总线控制器,所述装置包括:
数据流接收模块,用于接收数据流;所述数据流中携带有所述数据流的流标识和接收所述数据流通道的通道标识;
判断模块,用于判断是否存在所述流标识对应的切片管理表;所述切片管理表中保存有所述流标识对应的数据流的最大切片长度;
数据切片模块,用于如果存在所述流标识对应的切片管理表,按照所述切片管理表对所述数据流进行切片操作,得到所述数据流对应的切片数据;
数据比对模块,用于将携带有不同通道标识、相同流标识的数据流的切片数据进行比对,得到比对结果;
所述装置还包括:切片管理表建立模块,用于如果不存在所述流标识对应的切片管理表,根据所述数据流的长度、速度和时间周期建立切片管理表;
所述切片管理表建立模块,还用于:开启所述数据流对应的第一计时器,对所述数据流进行切片;对所述数据流进行切片的过程中,如果所述数据流的长度大于所述最大切片长度,则输出所述数据流中所述最大切片长度的切片数据,并将所述最大切片长度保存入所述数据流的流标识对应的切片管理表中,所述第一计时器清零;如果所述数据流的长度小于所述最大切片长度,当所述第一计时器到达第一设定时长后,输出所述数据流,将所述数据流的长度保存入所述数据流的流标识对应的切片管理表中,所述第一计时器清零。
6.一种异构系统,其特征在于,所述异构系统包括总线控制器和多个计算内核;所述总线控制器分别与多个所述计算内核连接;所述计算内核与所述总线控制器之间设置有数据通道;
权利要求5所述的装置设置于所述总线控制器。
CN201810893528.4A 2018-08-07 2018-08-07 数据流切片比对的方法、装置和异构系统 Active CN109033003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810893528.4A CN109033003B (zh) 2018-08-07 2018-08-07 数据流切片比对的方法、装置和异构系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810893528.4A CN109033003B (zh) 2018-08-07 2018-08-07 数据流切片比对的方法、装置和异构系统

Publications (2)

Publication Number Publication Date
CN109033003A CN109033003A (zh) 2018-12-18
CN109033003B true CN109033003B (zh) 2020-12-01

Family

ID=64649588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810893528.4A Active CN109033003B (zh) 2018-08-07 2018-08-07 数据流切片比对的方法、装置和异构系统

Country Status (1)

Country Link
CN (1) CN109033003B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804027B (zh) * 2019-11-14 2023-04-18 上海讯析电子科技有限公司 数据包生成方法及装置、数据读取方法及装置
CN112669148A (zh) * 2020-12-22 2021-04-16 深圳市富途网络科技有限公司 一种处理订单的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542941B1 (en) * 1999-09-30 2003-04-01 Intel Corporation Efficient command delivery and data transfer
CN102158408A (zh) * 2011-04-01 2011-08-17 华为技术有限公司 数据流处理方法和装置
CN103222237A (zh) * 2012-12-05 2013-07-24 华为技术有限公司 数据处理方法、通信单板及设备
CN107211126A (zh) * 2015-02-02 2017-09-26 英特尔公司 编码器中的无线带宽降低

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030110344A1 (en) * 1996-09-18 2003-06-12 Andre Szczepanek Communications systems, apparatus and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542941B1 (en) * 1999-09-30 2003-04-01 Intel Corporation Efficient command delivery and data transfer
CN102158408A (zh) * 2011-04-01 2011-08-17 华为技术有限公司 数据流处理方法和装置
CN103222237A (zh) * 2012-12-05 2013-07-24 华为技术有限公司 数据处理方法、通信单板及设备
CN107211126A (zh) * 2015-02-02 2017-09-26 英特尔公司 编码器中的无线带宽降低

Also Published As

Publication number Publication date
CN109033003A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
US8977681B2 (en) Pre-fetching data
WO2020177384A1 (zh) 消息推送的用户消息状态上报处理方法、装置及存储介质
US10645105B2 (en) Network attack detection method and device
CN109033003B (zh) 数据流切片比对的方法、装置和异构系统
CN113366457B (zh) 处理输入/输出存储指令
CN112597138A (zh) 数据去重方法、装置、计算机设备和计算机可读存储介质
CN109036386B (zh) 一种语音处理方法及装置
US11210127B2 (en) Method and apparatus for processing request
US8924481B2 (en) Apparatus for routing requests
CN110910249A (zh) 一种数据处理方法、装置、节点设备及存储介质
CN114238516A (zh) 数据同步方法、系统及计算机可读介质
CN111865811B (zh) 一种数据处理方法、装置、设备及介质
CN110830378A (zh) 一种地址表项更新方法及交换设备
CN112764959A (zh) 应用程序卡死问题的监测方法、装置、设备及存储介质
CN105786917A (zh) 时序数据并发入库的方法和装置
CN116761020A (zh) 视频处理方法、装置、设备和介质
CN114338477B (zh) 一种通信链路监控方法、装置、设备及存储介质
CN113806071B (zh) 一种边缘计算应用的数据同步方法与系统
CN115130112A (zh) 一种快速启停方法、装置、设备及存储介质
US20140376553A1 (en) Frame search processing apparatus and method
CN114281413A (zh) 流水线冲突处理方法、数据处理装置、电子设备和介质
US9736080B2 (en) Determination method, device and storage medium
CN111064587B (zh) 一种分布式数据系统的节点及广播传输数据管理方法
CN111159236A (zh) 数据处理方法、装置、电子设备及存储介质
CN107783911B (zh) 一种数据过滤方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant