CN112925737B - Pci异构系统数据融合方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提供了一种PCI异构系统数据融合方法、系统、设备及存储介质，该方法包括：获取用户配置文件，用户配置文件包括设备所需空间容量；根据设备所需空间容量在PC机的内存中申请设备可用内存空间；获取各个PCI设备的数据传输需求信息；根据数据传输需求信息在设备可用内存空间中为各个PCI设备分别分配第一级内存空间，并建立与PCI设备的映射关系；将分配的第一级内存空间的空间地址发送至所对应的PCI设备。通过采用本发明，充分利用PC机大内存的优势，PC机只需要进行主控调度，而无需全程参与数据传输，数据在PC机内存中进行融合，PC机可以及时获取自身所需数据。

Description

PCI异构系统数据融合方法、系统、设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种PCI异构系统数据融合方法、系统、设备及存储介质。

背景技术

异构系统一般是由PC(Personal Computer，个人计算机)机和嵌入式平台构成。PCI(Peripheral Component Interconnect，外设部件互连标准)总线是异构系统中用于PC机和嵌入式平台上的一种基本数据传输总线，支持的设备类型非常广泛。基于PCI总线，异构系统中的各个设备可以发挥各自的优势，例如GPU(Graphics Processing Unit，GPU)能发挥自己图形处理和并行处理的优势，CPU(Central Processing Unit，CPU)能发挥自己的计算优势。

异构系统已经应用于基于神经网络的视频处理中，其可以从网络摄像头采集视频数据然后直接输出识别结果。如图1所示，应用于视频处理的异构系统可以包括PC机和至少一个PCI设备(图1中示例性地示出了PCI设备1和PCI设备2)。PCI设备可以与数据源直接通信，从数据源获取源数据。在应用于视频处理场景时，PCI设备2可以与IPC(IP Camera，网络摄像机)摄像头直接通信。由于视频处理数据量非常大，且对时效性要求非常高，传统方法要么需要耗费非常多的CPU处理性能，要么时效性要求无法满足。例如，专利CN104239249A中公开了一种数据传输方法，其需要PC机全程参与整个数据传输过程，对PC机的性能消耗非常大，并且数据传输过程中利用PCI设备本身的内存，由于PCI设备本身内存都比较小，大大限制了数据传输的进程。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种PCI异构系统数据融合方法、系统、设备及存储介质，充分利用PC机大内存的优势，PC机只需要进行主控调度，而无需全程参与数据传输，数据在PC机内存中进行融合，PC机可以及时获取自身所需数据。

本发明实施例提供一种PCI异构系统数据融合方法，包括如下步骤：

获取用户配置文件，所述用户配置文件包括设备所需空间容量；

根据所述设备所需空间容量在PC机的内存中申请用于PCI设备的设备可用内存空间；

获取各个所述PCI设备的数据传输需求信息，所述数据传输需求信息包括是否有数据传输需求以及需求的空间容量；

根据所述数据传输需求信息在所述设备可用内存空间中为各个所述PCI设备分别分配第一级内存空间，并建立所述第一级内存空间与所述PCI设备的映射关系；

将分配的第一级内存空间的空间地址发送至所对应的PCI设备，所述PCI设备配置为需要上传数据时将数据上传至所对应的第一级内存空间。

在一些实施例中，根据所述设备所需空间容量在PC机的内存中申请用于PCI设备的设备可用内存空间之后，还包括如下步骤：

将所述设备可用内存空间设置为对所述PC机的操作系统不可见。

在一些实施例中，所述用户配置文件还包括数据处理功能；

所述获取用户配置文件之后，还包括：根据所述数据处理功能选择PCI设备，确定选择的PCI设备所对应的数据处理功能。

在一些实施例中，根据所述数据处理功能选择PCI设备，包括如下步骤：

查询各个所述PCI设备所对应的PCI设备空间的映射地址；

根据所述映射地址从所述PCI设备空间中读取所述PCI设备的能力级数据；

根据所述数据处理功能和所述PCI设备的能力级数据选择PCI设备。

在一些实施例中，所述用户配置文件还包括数据源信息和数据目的信息；

所述确定选择的PCI设备所对应的数据处理功能之后，还包括如下步骤：

从所述选择的PCI设备中确定处理源数据的PCI设备和输出处理结果的PCI设备；

将所述数据源信息发送至处理源数据的PCI设备，所述处理源数据的PCI设备配置为根据所述数据源信息与数据源端建立通信连接；

将所述数据目的信息发送至输出处理结果的PCI设备，所述输出处理结果的PCI设备配置为根据所述数据目的信息与数据目的端连接通信连接。

在一些实施例中，根据所述数据传输需求信息在所述设备可用内存空间中为各个所述PCI设备分别分配第一级内存空间之后，还包括如下步骤：

获取任务配置文件，所述任务配置文件包括任务配置信息；

根据所述任务配置信息确定需分配任务通道的PCI设备，并在确定的PCI设备中分配各个任务所对应的任务通道；

对于已分配任务通道的PCI设备，在其第一级内存空间中分配对应于各个任务通道的第二级内存空间，并建立各个任务与第二级内存空间的映射关系；

将各个任务所对应的第二级内存空间的地址发送至所对应的PCI设备，所述已分配任务通道的PCI设备配置为需要上传数据时，根据数据所对应的任务将数据上传至所对应的第二级内存空间。

在一些实施例中，所述任务配置文件还包括各个任务所对应的PCI设备的数据流转顺序；

所述获取任务配置文件之后，还包括如下步骤：

根据所述数据流转顺序确定需获取数据的PCI设备；

根据所述数据流转顺序确定所述需获取数据的PCI设备在数据流转过程的上游PCI设备；

将所述上游PCI设备所对应的第一级内存空间和/或第二级内存空间的地址发送至所对应的需获取数据的PCI设备，所述需获取数据的PCI设备配置为从所述上游PCI设备所对应的设备可用内存空间中获取数据。

在一些实施例中，所述数据处理功能包括视频解码功能和加速处理功能，选择的PCI设备包括视频解码设备和加速处理设备；

将所述上游PCI设备所对应的第一级内存空间和/或第二级内存空间的地址发送至所对应的需获取数据的PCI设备，包括将视频解码设备的第一级内存空间和/或第二级内存空间的地址发送至对应的加速处理设备。

在一些实施例中，所述第一级内存空间的地址包括内存空间起始地址的高42bit、表示内存空间大小的19bit和表示设备号的3bit。

在一些实施例中，所述用户配置文件还包括消息通知机制，所述消息通知机制包括数据上传成功的更新标签配置信息；

所述PCI设备还配置为于数据上传成功后，根据所述更新标签配置信息设置其所对应的设备可用内存空间的更新标签。

在一些实施例中，所述消息通知机制还包括控制指令配置信息，所述控制指令包括运行进程控制指令；

所述方法还包括如下步骤：

向所述PCI设备发送运行进程控制指令，所述PCI设备配置为根据所述运行进程控制指令控制当前执行的运行进程。

在一些实施例中，所述消息通知机制还包括控制指令配置信息，所述控制指令包括运行参数变更指令；

所述方法还包括如下步骤：

向所述PCI设备发送运行参数变更指令，所述PCI设备配置为根据所述运行参数变更指令变更当前的运行参数。

在一些实施例中，所述消息通知机制还包括各个阶段的上传数据在设备可用内存空间的中数据存储规则；

所述PCI设备还配置为需要上传数据时，根据所述数据存储规则将数据上传至所对应的设备可用内存空间。

在一些实施例中，所述将分配的第一级内存空间的空间地址发送至所对应的PCI设备之后，还包括如下步骤：

接收到数据查询请求；

分析所述数据查询请求，确定需查询的数据所对应的PCI设备、数据类别和数据时间；

根据所述数据存储规则，在所述PCI设备所对应的设备可用内存空间中查询对应于所述数据时间的上传数据。

在一些实施例中，将分配的第一级内存空间的空间地址发送至所对应的PCI设备，包括如下步骤：

查询各个所述PCI设备所对应的PCI设备空间的映射地址；

根据所述PCI设备空间的映射地址将所述第一级内存空间的空间地址发送至所述PCI设备的PCI设备空间。

本发明实施例还提供一种PCI异构系统数据融合系统，用于实现所述的PCI异构系统数据融合方法，所述系统包括：

配置文件获取模块，用于获取用户配置文件，所述用户配置文件包括设备所需空间容量；

内存空间申请模块，用于根据所述设备所需空间容量在PC机的内存中申请用于PCI设备的设备可用内存空间；

传输需求获取模块，用于获取各个所述PCI设备的数据传输需求信息，所述数据传输需求信息包括是否有数据传输需求以及需求的空间容量；

内存空间分配模块，用于根据所述数据传输需求信息在所述设备可用内存空间中为各个所述PCI设备分别分配第一级内存空间，并建立所述第一级内存空间与所述PCI设备的映射关系；

空间地址发送模块，用于将分配的第一级内存空间的空间地址发送至所对应的PCI设备，所述PCI设备配置为需要上传数据时将数据上传至所对应的第一级内存空间。

本发明实施例还提供一种PCI异构系统数据融合设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行所述的PCI异构系统数据融合方法的步骤。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的PCI异构系统数据融合方法的步骤。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

本发明的PCI异构系统数据融合方法、系统、设备及存储介质具有如下有益效果：

通过采用本发明，在PC机内存中申请用于PCI设备的设备可用内存空间，充分利用PC机大内存的优势，PCI设备根据分配得到的设备可用内存空间主动上传数据，PC机只需要进行主控调度，而无需全程参与数据传输，数据在PC机内存中进行融合，PC机需要获取所需数据时，直接在自身的内存中获取即可，从而可以及时获取自身所需数据。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明一实施例的应用于视频处理的异构系统的设备拓扑示意图；

图2是本发明一实施例的PCI异构系统数据融合方法的流程图；

图3是本发明一实施例的根据用户配置文件分配物理内存空间的示意图；

图4是本发明一实施例的第一级内存空间的地址空间示意图；

图5是本发明一实施例的进行任务配置的流程图；

图6是本发明一实施例的配置数据流流转顺序的流程图；

图7是本发明一实施例的PC机的PC地址空间的示意图；

图8是本发明一实施例的PC机和PCI设备通信方式的示意图；

图9是本发明一实施例的PCI异构系统数据融合系统的结构示意图；

图10是本发明一实施例的PCI异构系统数据融合设备的结构示意图；

图11是本发明一实施例的计算机可读存储介质的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。

如图2所示，本发明实施例提供一种PCI异构系统数据融合方法，包括如下步骤：

S100：获取用户配置文件，所述用户配置文件包括设备所需空间容量；

S200：根据所述设备所需空间容量在PC机的内存中申请用于PCI设备的设备可用内存空间；

S300：获取各个所述PCI设备的数据传输需求信息，所述数据传输需求信息包括是否有数据传输需求以及需求的空间容量；

S400：根据所述数据传输需求信息在所述设备可用内存空间中为各个所述PCI设备分别分配第一级内存空间，并建立所述第一级内存空间与所述PCI设备的映射关系，在PC机端保存第一级内存空间的地址与PCI设备的映射列表；

S500：将分配的第一级内存空间的空间地址发送至所对应的PCI设备，所述PCI设备配置为需要上传数据时将数据上传至所对应的第一级内存空间。

本发明通过采用该PCI异构系统数据融合方法，通过步骤S100和S200，在PC机内存中申请用于PCI设备的设备可用内存空间，充分利用PC机大内存的优势，通过步骤S300和步骤S400为每个PCI设备分配上传数据的内存空间，PCI设备可以根据分配得到的设备可用内存空间主动上传数据，PC机只需要进行主控调度，而无需全程参与数据传输。本发明的PCI设备可以进一步为PCIE(Peripheral Component Interconnect Express，高速串行计算机扩展总线标准)设备，但本发明不以此为限。所述PCI设备的类型可以包括图形处理单元(GPU)设备、数字信号处理器(DSP)设备、现场可编程门阵列(FPGA)设备。

由于数据上传到PC机本身的内存，数据在PC机内存中进行融合。PC机需要获取所需数据时，直接在自身的内存中获取即可，从而可以及时获取自身所需数据。由于PC机端保存第一级内存空间的地址与PCI设备的映射列表，PC机要获取哪个PCI设备的数据时，只需要根据映射列表到对应的第一级内存空间中获取数据即可。

该PCI异构系统数据融合方法可以直接以软件的形式直接部署于PC机上，也可以部署于一个硬件设备，该硬件设备与PC机相连接，与PC机进行交互，也可以部署于一计算机存储介质，PC机通过读取该计算机存储介质来执行该数据融合方法的各个步骤，均属于本发明的保护范围之内。

如图3所示，为本发明一实施例的根据用户配置文件分配物理内存空间的示意图。所述用户配置文件可以由用户预先配置，在其中配置所需要的设备所需空间容量，此处设备所需空间容量指的是所有PCI设备在执行过程中需要使用的内存空间容量的和。

如图3所示，所述步骤S200中，根据所述设备所需空间容量在PC机的内存中申请用于PCI设备的设备可用内存空间，包括预申请在Linux内核的物理内存上申请与所述设备所需空间容量相匹配的内存空间，内核根据该申请在PC机的内存中划分对应的物理内存空间，作为设备可用内存空间。并在，在本发明中，在步骤S200：申请设备可用内存空间之后，还包括将所述设备可用内存空间设置为对所述PC机的操作系统不可见。由此，PC机的内存主要被分为两部分：一部分是操作系统不可见的设备可用内存空间，这一部分是用于设备传输数据的，因此，PC机的操作系统在运行过程中不会再使用，另一部分是操作系统可见可管理的内存空间。

在该实施例中，所述用户配置文件还包括所需要的数据处理功能。例如，对于视频处理场景来说，数据处理功能主要包括视频解码功能和视频加速处理功能，视频解码功能指的是对数据源获取的视频数据进行解码，得到解码的图片数据，视频加速处理功能指的是在基于机器学习模型对解码后的图片中的有效信息进行提取和识别时对神经网络计算加速，例如采用GPU、FPGA等实现神经网络加速功能。例如，在应用于车牌识别场景时，视频解码功能对车辆视频进行解码，视频加速处理功能基于深度学习模型对解码后的图片中的车牌区域进行提取、车牌内容进行识别和/或分类(例如对车牌号的识别、对车牌颜色的分类、对车牌污损程度的分类等等)。

所述步骤S100：获取用户配置文件之后，还包括：根据所述数据处理功能选择PCI设备，确定选择的PCI设备所对应的数据处理功能。例如，根据用户配置文件中的数据处理功能可以得知需要具有视频解码功能的设备和具有视频加速处理功能的设备。并且所述数据处理功能可以进一步包括各个功能的数据处理能力需求，例如需要每个单位时间内的视频解码数据量和视频加速处理数据量，从而可以确定PCI设备的具体数量。例如，根据数据处理功能确定至少不需要三个视频解码功能的PCI设备和四个视频加速处理功能的PCI设备。

进一步地，根据所述数据处理功能选择PCI设备，还可以根据所述数据处理功能中对各个功能的数据处理能力需求和各个PCI设备本身的能力级来确定选择的PCI设备。具体地，包括如下步骤：

查询各个所述PCI设备所对应的PCI设备空间的映射地址；

根据所述映射地址从所述PCI设备空间中读取所述PCI设备的能力级数据，此处能力级数据例如包括该PCI设备能够实现的功能、该PCI设备在每单位时间内能处理的数据量等；

根据所述数据处理功能和所述PCI设备的能力级数据选择PCI设备。例如，对于视频解码功能来说，在有处理能力较强的PCI设备时，可以选择数量较少的PCI设备即可以满足数据处理功能的需求，如果PCI设备本身的数据处理能力有限，则需要增加PCI设备的数量来满足数据处理功能的需求。

进一步地，所述用户配置文件还包括数据源信息和数据目的信息。数据源信息即需要异构系统处理的数据来源方的信息，可以包括数据来源方的通信地址、通信协议等，数据目的信息即异构系统处理完成输出处理结果时指向的数据目的方的信息，可以包括数据目的方的通信地址、通信协议等。

所述确定选择的PCI设备所对应的数据处理功能之后，还包括如下步骤：

从所述选择的PCI设备中确定处理源数据的PCI设备和输出处理结果的PCI设备；

将所述数据源信息发送至处理源数据的PCI设备，所述处理源数据的PCI设备配置为根据所述数据源信息与数据源端建立通信连接；

将所述数据目的信息发送至输出处理结果的PCI设备，所述输出处理结果的PCI设备配置为根据所述数据目的信息与数据目的端连接通信连接。

所述步骤S300中获取各个所述PCI设备的数据传输需求信息，各个PCI设备的数据传输需求是各个PCI设备根据自身的数据传输需求来确定的。被选择的PCI设备接收到用户配置文件后，根据用户配置文件中的数据处理功能和数据处理功能的数据处理量需求来确定自身是否需要上传数据到PC机的内存空间中，以及需要占用多大的内存空间。例如，一个PCI设备通过用户配置文件确定需要在PC机的内存中保存的数据量的总量，根据该总量来确定自身需要的内存空间。此处被选择的PCI设备接收到用户配置文件，可以是直接发送用户配置文件给PCI设备，也可以是由PC机将接收到的用户配置文件转发给PCI设备。

所述步骤S400中，根据所述数据传输需求信息在所述设备可用内存空间中为各个所述PCI设备分别分配第一级内存空间。如图4所示，在该实施例中，所述第一级内存空间的地址包括内存空间起始地址的高42bit(bit63～22)、表示分配的该第一级内存空间大小的19bit(bit21～3)和表示设备号的3bit(bit3～0)，共64bit。

如图5所示，在该实施例中，根据所述数据传输需求信息在所述设备可用内存空间中为各个所述PCI设备分别分配第一级内存空间之后，还包括如下步骤：

S610：获取任务配置文件，所述任务配置文件包括任务配置信息，例如，以视频处理为例，在视频解码过程中，需要将视频解码成哪几种分辨率的图片，对应形成不同的视频解码任务，每一种分辨率的图片进行何种神经网络加速处理，对应形成不同的视频加速处理任务；

S620：根据所述任务配置信息确定需分配任务通道的PCI设备，并在确定的PCI设备中分配各个任务所对应的任务通道；

例如，对于一个PCI设备来说，其需要将视频数据解码为1080p和720p两种分辨率的图片，则将该PCI设备的各个通道分为两类：针对于1080p的解码任务的任务通道和针对于720p的解码任务的任务通道；

S630：对于已分配任务通道的PCI设备，在其第一级内存空间中分配对应于各个任务通道的第二级内存空间，并建立各个任务与第二级内存空间的映射关系，在PC机端保存各个任务与第二级内存空间的映射列表；

例如，对于一个PCI设备来说，其通道包括针对于1080p的解码任务的任务通道和针对于720p的解码任务的任务通道，则针对此两类任务通道，在第一级内存空间内部再进行进行划分，分别得到对应于第一类任务通道的第二级内存空间和对应于第二类任务通道的第二级内存空间；

S640：将各个任务所对应的第二级内存空间的地址发送至所对应的PCI设备，所述已分配任务通道的PCI设备配置为需要上传数据时，根据数据所对应的任务将数据上传至所对应的第二级内存空间。

例如，一个PCI设备从摄像机获取到拍摄视频后，对视频进行解码，解码得到1080p的解码数据，上传到第一类任务通道对应的第二级内存空间，解码得到720p的解码数据，上传到第二类任务通道对应的第二级内存空间。PC机需要获取某一个任务的数据时，只需要根据各个任务与第二级内存空间的映射列表来查询得到对应的第二级内存空间的地址，并从对应的第二级内存空间中获取数据即可。

此处步骤S610～S640在步骤S400之后执行，步骤S610～S630可以在步骤S500之前执行，也可以在步骤S500之后执行。步骤S640可以在步骤S500之后执行，即在将第一级内存空间的地址发送给对应的PCI设备之后，再将各个任务所对应的第二级内存空间的地址发送给对应的PCI设备，也可以与步骤S500同时执行，即在将第一级内存空间的地址发送给对应的PCI设备的同时，也将各个任务所对应的第二级内存空间的地址发送给对应的PCI设备。

在该实施例中，所述任务配置文件还包括各个任务所对应的PCI设备的数据流转顺序。例如，PCI设备A在对数据进行第一步处理后，将处理后数据上传到PC机内存，PCI设备B需要对第一步处理后的数据进行第二步处理，则需要进一步通知PCI设备B到PC机内存的哪个位置获取第一步处理后的数据。如果对数据需要进行多步处理，则所述数据流转顺序包括每一步处理的顺序以及每一步处理所对应的PCI设备。

如图6所示，所述步骤S610：获取任务配置文件之后，还包括如下步骤：

S650：根据所述数据流转顺序确定需获取数据的PCI设备，此处需获取数据的PCI设备即需要从PC机内存中获取数据的PCI设备；

S660：根据所述数据流转顺序确定所述需获取数据的PCI设备在数据流转过程的上游PCI设备，例如第二步处理的PCI设备的上游PCI设备为第一步处理的PCI设备，第三步处理的PCI设备的上游PCI设备为第二步处理的PCI设备；

S670：将所述上游PCI设备所对应的第一级内存空间和/或第二级内存空间的地址发送至所对应的需获取数据的PCI设备，所述需获取数据的PCI设备配置为从所述上游PCI设备所对应的设备可用内存空间中获取数据。

此处步骤S650～S670在步骤S640之后执行，也可以是步骤S650和步骤S660在步骤S640之前执行，在步骤S640分配了第二级内存空间之后，再执行S670，均属于本发明的保护范围之内。

此处进一步以视频处理场景为例，所述数据处理功能包括视频解码功能和加速处理功能。选择的PCI设备包括视频解码设备和加速处理设备。视频解码设备即为对应的加速处理设备的上游PCI设备。

将所述上游PCI设备所对应的第一级内存空间和/或第二级内存空间的地址发送至所对应的需获取数据的PCI设备，包括将视频解码设备的第一级内存空间和/或第二级内存空间的地址发送至对应的加速处理设备。例如，一个视频解码设备只有一个任务，即输出一个固定分辨率的解码视频数据，则将其第一级内存空间的地址发送至对应的加速处理设备即可，一个视频解码设备也可以有多个任务，1080p分辨率的解码视频数据对应加速处理设备A，则将该任务通道的第二级内存空间的地址发给加速处理设备A，720p分辨率的解码视频数据对应加速处理设备B，则将该任务通道的第二级内存空间的地址发给加速处理设备B。

因此，本发明中各个PCI设备可以主动从PC机内存中指定的空间中获取所需要的数据，并且在处理完成后，主动将处理结果上传到PC机内存中，而无需PC机全程参与，极大地减小了PC机的运行负载。数据上传、存储和获取都是在PC机内存中的，也充分利用了PC机大内存的特点。

在该实施例中，所述用户配置文件还包括消息通知机制，所述消息通知机制包括数据上传成功的更新标签配置信息。具体地，更新标签配置信息相当于在PC机和PCI设备之间对更新标签类别的一个约定配置。所述PCI设备还配置为于数据上传成功后，根据所述更新标签配置信息设置其所对应的设备可用内存空间的更新标签。PC机根据新设置的更新标签的状态可以知道该数据的上传状态。

在该实施例中，所述消息通知机制还包括控制指令配置信息，所述控制指令包括运行进程控制指令。运行进程控制指令可以包括启动进程指令、暂停进程指令、继续进程指令、停止进程指令等等。

所述PCI异构系统数据融合方法还包括如下步骤：

向所述PCI设备发送运行进程控制指令，所述PCI设备配置为根据所述运行进程控制指令控制当前执行的运行进程。例如，在所有初始配置均完成后，需要启动各个任务进程时，由PC机向各个对应的PCI设备发送运行进程控制指令。

在该实施例中，所述控制指令还可以包括运行参数变更指令。例如，可以包括解码分辨率变更指令、上游PCI设备的内存空间地址变更指令、机器学习模型的参数变更指令等等。

所述PCI异构系统数据融合方法还包括如下步骤：

向所述PCI设备发送运行参数变更指令，所述PCI设备配置为根据所述运行参数变更指令变更当前的运行参数。

在PC机没有向PCI设备发送运行参数变更指令时，PCI设备可以根据之前的运行参数持续运行，而无需PC机实时发送运行参数。

在该实施例中，所述消息通知机制还包括各个阶段的上传数据在设备可用内存空间的中数据存储规则。例如，所述数据存储规则可以包括不同类别的处理结果在不同地址存储的规则、不同时间的处理结果在不同地址存储的结果等等。

所述PCI设备还配置为需要上传数据时，根据所述数据存储规则查询到当前需要上传的数据所对应的内存空间的地址，将数据上传至所对应的设备可用内存空间。

在该实施例中，所述步骤S500：将分配的第一级内存空间的空间地址发送至所对应的PCI设备之后，还包括如下步骤：

接收到数据查询请求，此数据查询请求可以是由应用端发起的，也可以是从工作人员端发起的；

分析所述数据查询请求，确定需查询的数据所对应的PCI设备、数据类别和数据时间，数据类别例如可以包括源视频数据、解码图片数据、视频识别结果、视频分类结果等，数据时间例如可以为数据上传的时间或数据在PCI设备端生成的时间等；

根据所述数据存储规则，确定需要查询的数据所对应的设备可用内存空间的地址，在所述PCI设备所对应的设备可用内存空间中查询对应于所述数据时间的上传数据。

如图7和图8所示，分别为本发明一实施例的PC机的内存地址空间的示意图和PC机与PCI设备通信方式的示意图。如图6所示，在PC机的地址空间中建立了PCI设备空间的映射，此处PCI设备空间指的是每个PCI设备自身的存储空间，通过PC机的映射可以访问此PCI设备空间。此PCI设备空间中存储有PCI设备本身的能力级。上述选择PCI设备时访问PCI设备空间，获取PCI设备的能力级，可以通过查询各个所述PCI设备所对应的PCI设备空间的映射地址；根据所述PCI设备空间的映射地址访问PCI设备空间，获取对应的能力级。

在该实施例中，所述步骤S500中，将分配的第一级内存空间的空间地址发送至所对应的PCI设备，包括如下步骤：

查询各个所述PCI设备所对应的PCI设备空间的映射地址；

根据所述PCI设备空间的映射地址将所述第一级内存空间的空间地址发送至所述PCI设备的PCI设备空间。

进一步地，在该实施例中，数据流均是通过如图7所示的PCIE DMA(Direct MemoryAccess，直接存储器访问)在PCI设备和PC机之间传输的，而双向消息通知则是通过访问PCI设备空间的映射来实现的。此处双向消息通知不仅包括将所述第一级内存空间的空间地址发送至所述PCI设备的PCI设备空间，还包括将所述第二级内存空间的空间地址与任务的映射关系发送至所述PCI设备的PCI设备空间、PCI设备上传数据成功后更新数据标签、向PCI设备发送运行进程控制指令、运行参数控制指令等。

如图9所示，本发明实施例还提供一种PCI异构系统数据融合系统，用于实现所述的PCI异构系统数据融合方法，所述系统包括：

配置文件获取模块M100，用于获取用户配置文件，所述用户配置文件包括设备所需空间容量；

内存空间申请模块M200，用于根据所述设备所需空间容量在PC机的内存中申请用于PCI设备的设备可用内存空间；

传输需求获取模块M300，用于获取各个所述PCI设备的数据传输需求信息，所述数据传输需求信息包括是否有数据传输需求以及需求的空间容量；

内存空间分配模块M400，用于根据所述数据传输需求信息在所述设备可用内存空间中为各个所述PCI设备分别分配第一级内存空间，并建立所述第一级内存空间与所述PCI设备的映射关系；

空间地址发送模块M500，用于将分配的第一级内存空间的空间地址发送至所对应的PCI设备，所述PCI设备配置为需要上传数据时将数据上传至所对应的第一级内存空间。

本发明通过采用该PCI异构系统数据融合系统，通过配置文件获取模块M100和内存空间申请模块M200，在PC机内存中申请用于PCI设备的设备可用内存空间，充分利用PC机大内存的优势，通过传输需求获取模块M300和内存空间分配模块M400为每个PCI设备分配上传数据的内存空间，PCI设备可以根据分配得到的设备可用内存空间主动上传数据，PC机只需要进行主控调度，而无需全程参与数据传输，数据在PC机内存中进行融合，PC机需要获取所需数据时，直接在自身的内存中获取即可，从而可以及时获取自身所需数据。

该PCI异构系统数据融合系统中各个模块的功能均可以通过上述PCI异构系统数据融合方法的各个步骤的具体实施方式来实现。例如，配置文件获取模块M100可以通过步骤S100的具体实施方式来获取配置文件，内存空间申请模块M200可以通过步骤S200的具体实施方式来申请设备可用内存空间，传输需求获取模块M300可以通过步骤S300的具体实施方式来获取数据传输需求，内存空间分配模块M400可以通过步骤S400的具体实施方式来发送空间地址，此处不再赘述。

该PCI异构系统数据融合系统可以部署于PC机本身，也可以部署于一个与PC机通信连接的硬件设备或者部署于一个可以被PC机读取的计算机可读存储介质，均属于本发明的保护范围之内。

本发明实施例还提供一种PCI异构系统数据融合设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的PCI异构系统数据融合方法的步骤。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

下面参照图10来描述根据本发明的这种实施方式的电子设备600。图10显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述PCI异构系统数据融合方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图2中所示的步骤。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

所述PCI异构系统数据融合设备中，所述存储器中的程序被处理器执行时实现所述的PCI异构系统数据融合方法的步骤，因此，所述设备也可以获得上述PCI异构系统数据融合方法的技术效果。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的PCI异构系统数据融合方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上执行时，所述程序代码用于使所述终端设备执行本说明书上述PCI异构系统数据融合方法部分中描述的根据本发明各种示例性实施方式的步骤。

参考图11所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上执行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

所述计算机存储介质中的程序被处理器执行时实现所述的PCI异构系统数据融合方法的步骤，因此，所述计算机存储介质也可以获得上述PCI异构系统数据融合方法的技术效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (16)

1.一种PCI异构系统数据融合方法，其特征在于，包括如下步骤：

获取用户配置文件，所述用户配置文件包括设备所需空间容量；

根据所述设备所需空间容量在PC机的内存中申请用于PCI设备的设备可用内存空间；

获取各个所述PCI设备的数据传输需求信息，所述数据传输需求信息包括是否有数据传输需求以及需求的空间容量；

根据所述数据传输需求信息在所述设备可用内存空间中为各个所述PCI设备分别分配第一级内存空间，并建立所述第一级内存空间与所述PCI设备的映射关系；

将分配的第一级内存空间的空间地址发送至所对应的PCI设备，所述PCI设备配置为需要上传数据时将数据上传至所对应的第一级内存空间；

所述用户配置文件还包括数据处理功能；

所述获取用户配置文件之后，还包括：根据所述数据处理功能选择PCI设备，确定选择的PCI设备所对应的数据处理功能；

根据所述数据处理功能选择PCI设备，包括如下步骤：

查询各个所述PCI设备所对应的PCI设备空间的映射地址；

根据所述映射地址从所述PCI设备空间中读取所述PCI设备的能力级数据；

根据所述数据处理功能和所述PCI设备的能力级数据选择PCI设备。

2.根据权利要求1所述的PCI异构系统数据融合方法，其特征在于，根据所述设备所需空间容量在PC机的内存中申请用于PCI设备的设备可用内存空间之后，还包括如下步骤：

将所述设备可用内存空间设置为对所述PC机的操作系统不可见。

3.根据权利要求1所述的PCI异构系统数据融合方法，其特征在于，所述用户配置文件还包括数据源信息和数据目的信息；

所述确定选择的PCI设备所对应的数据处理功能之后，还包括如下步骤：

从所述选择的PCI设备中确定处理源数据的PCI设备和输出处理结果的PCI设备；

将所述数据源信息发送至处理源数据的PCI设备，所述处理源数据的PCI设备配置为根据所述数据源信息与数据源端建立通信连接；

将所述数据目的信息发送至输出处理结果的PCI设备，所述输出处理结果的PCI设备配置为根据所述数据目的信息与数据目的端连接通信连接。

4.根据权利要求1所述的PCI异构系统数据融合方法，其特征在于，根据所述数据传输需求信息在所述设备可用内存空间中为各个所述PCI设备分别分配第一级内存空间之后，还包括如下步骤：

获取任务配置文件，所述任务配置文件包括任务配置信息；

根据所述任务配置信息确定需分配任务通道的PCI设备，并在确定的PCI设备中分配各个任务所对应的任务通道；

对于已分配任务通道的PCI设备，在其第一级内存空间中分配对应于各个任务通道的第二级内存空间，并建立各个任务与第二级内存空间的映射关系；

将各个任务所对应的第二级内存空间的地址发送至所对应的PCI设备，所述已分配任务通道的PCI设备配置为需要上传数据时，根据数据所对应的任务将数据上传至所对应的第二级内存空间。

5.根据权利要求4所述的PCI异构系统数据融合方法，其特征在于，所述任务配置文件还包括各个任务所对应的PCI设备的数据流转顺序；

所述获取任务配置文件之后，还包括如下步骤：

根据所述数据流转顺序确定需获取数据的PCI设备；

根据所述数据流转顺序确定所述需获取数据的PCI设备在数据流转过程的上游PCI设备；

将所述上游PCI设备所对应的第一级内存空间和/或第二级内存空间的地址发送至所对应的需获取数据的PCI设备，所述需获取数据的PCI设备配置为从所述上游PCI设备所对应的设备可用内存空间中获取数据。

6.根据权利要求5所述的PCI异构系统数据融合方法，其特征在于，所述数据处理功能包括视频解码功能和加速处理功能，选择的PCI设备包括视频解码设备和加速处理设备；

将所述上游PCI设备所对应的第一级内存空间和/或第二级内存空间的地址发送至所对应的需获取数据的PCI设备，包括将视频解码设备的第一级内存空间和/或第二级内存空间的地址发送至对应的加速处理设备。

7.根据权利要求1所述的PCI异构系统数据融合方法，其特征在于，所述第一级内存空间的地址包括内存空间起始地址的高42bit、表示内存空间大小的19bit和表示设备号的3bit。

8.根据权利要求1所述的PCI异构系统数据融合方法，其特征在于，所述用户配置文件还包括消息通知机制，所述消息通知机制包括数据上传成功的更新标签配置信息；

所述PCI设备还配置为于数据上传成功后，根据所述更新标签配置信息设置其所对应的设备可用内存空间的更新标签。

9.根据权利要求8所述的PCI异构系统数据融合方法，其特征在于，所述消息通知机制还包括控制指令配置信息，所述控制指令包括运行进程控制指令；

所述方法还包括如下步骤：

向所述PCI设备发送运行进程控制指令，所述PCI设备配置为根据所述运行进程控制指令控制当前执行的运行进程。

10.根据权利要求8所述的PCI异构系统数据融合方法，其特征在于，所述消息通知机制还包括控制指令配置信息，所述控制指令包括运行参数变更指令；

所述方法还包括如下步骤：

向所述PCI设备发送运行参数变更指令，所述PCI设备配置为根据所述运行参数变更指令变更当前的运行参数。

11.根据权利要求8所述的PCI异构系统数据融合方法，其特征在于，所述消息通知机制还包括各个阶段的上传数据在设备可用内存空间的中数据存储规则；

所述PCI设备还配置为需要上传数据时，根据所述数据存储规则将数据上传至所对应的设备可用内存空间。

12.根据权利要求11所述的PCI异构系统数据融合方法，其特征在于，所述将分配的第一级内存空间的空间地址发送至所对应的PCI设备之后，还包括如下步骤：

接收到数据查询请求；

分析所述数据查询请求，确定需查询的数据所对应的PCI设备、数据类别和数据时间；

根据所述数据存储规则，在所述PCI设备所对应的设备可用内存空间中查询对应于所述数据时间的上传数据。

13.根据权利要求1所述的PCI异构系统数据融合方法，其特征在于，将分配的第一级内存空间的空间地址发送至所对应的PCI设备，包括如下步骤：

查询各个所述PCI设备所对应的PCI设备空间的映射地址；

根据所述PCI设备空间的映射地址将所述第一级内存空间的空间地址发送至所述PCI设备的PCI设备空间。

14.一种PCI异构系统数据融合系统，其特征在于，用于实现权利要求1至13中任一项所述的PCI异构系统数据融合方法，所述系统包括：

配置文件获取模块，用于获取用户配置文件，所述用户配置文件包括设备所需空间容量；

内存空间申请模块，用于根据所述设备所需空间容量在PC机的内存中申请用于PCI设备的设备可用内存空间；

传输需求获取模块，用于获取各个所述PCI设备的数据传输需求信息，所述数据传输需求信息包括是否有数据传输需求以及需求的空间容量；

内存空间分配模块，用于根据所述数据传输需求信息在所述设备可用内存空间中为各个所述PCI设备分别分配第一级内存空间，并建立所述第一级内存空间与所述PCI设备的映射关系；

空间地址发送模块，用于将分配的第一级内存空间的空间地址发送至所对应的PCI设备，所述PCI设备配置为需要上传数据时将数据上传至所对应的第一级内存空间。

15.一种PCI异构系统数据融合设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至13中任一项所述的PCI异构系统数据融合方法的步骤。

16.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至13中任一项所述的PCI异构系统数据融合方法的步骤。

Images