CN117573055A - 一种基于硬件加速的综合显控服务系统及方法 - Google Patents
一种基于硬件加速的综合显控服务系统及方法 Download PDFInfo
- Publication number
- CN117573055A CN117573055A CN202311600673.6A CN202311600673A CN117573055A CN 117573055 A CN117573055 A CN 117573055A CN 202311600673 A CN202311600673 A CN 202311600673A CN 117573055 A CN117573055 A CN 117573055A
- Authority
- CN
- China
- Prior art keywords
- acceleration
- service
- data
- unit
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001133 acceleration Effects 0.000 title claims abstract description 225
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 64
- 230000006870 function Effects 0.000 claims abstract description 31
- 238000013500 data storage Methods 0.000 claims abstract description 19
- 238000011161 development Methods 0.000 claims description 39
- 238000007726 management method Methods 0.000 claims description 38
- 239000013307 optical fiber Substances 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 239000003999 initiator Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241001178520 Stomatepia mongo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/382—Information transfer, e.g. on bus using universal interface adapter
- G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
- G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Digital Computer Display Output (AREA)
Abstract
本发明公开一种基于硬件加速的综合显控服务系统及方法,系统包括数据接收单元、加速阵列单元、显控终端单元以及加速服务单元,其中:所述数据接收单元用于接收数据并将数据输出至所述加速阵列单元;所述加速阵列单元配置有不同的加速板卡,根据收到的数据选择相对应的加速板卡进行处理,并将处理后的结果发送到显控终端单元进行显示;所述加速服务单元用于对所述加速阵列单元的加速板卡进行管理,并提供远程服务以及数据存储功能。本发明通过配置不同的加速板卡,实现图像、视频数据不同的处理功能和性能指标要求,并对外提供统一的综合显控服务。
Description
技术领域
本发明属于显示控制技术领域,更具体地,涉及一种基于硬件加速的综合显控服务系统及方法。
背景技术
在显示控制领域,随着新一代计算环境设备和显控设备在应用过程中积累的一些经验,同时,着眼于未来的控制和显控系统的发展,需考虑以下几个方面的问题,并给出解决方案:
1、需要克服当前显控终端和计算服务设备对于图形/图像/视频处理能力不足、资源占用过高、延时较大的难题。
2、需要解决前端传感器之间标准、接口、协议不统一和终端用户应用需求不一致带来的系统互备问题。
3、需要整合系统关键硬件资源,形成硬件资源池,提高关键资源灵活服务和共享能力,消除显控终端个体差异,以共享方式向用户提供关键硬件加速资源,实现硬件加速资源的灵活管理调度和动态扩展,提升系统生存能力。
4、需要降低系统成本、重量和功耗,提升综合效能。
5、需要解决特定用户占用资源过多,以及特异性需求带来的设备定制化要求等问题,提升系统的标准化、通用化。
鉴于此,如何克服上述现有技术所存在的技术问题是本技术领域亟待解决的难题。
发明内容
本发明的目的之一在于克服上述现有技术中存在的其中一个或多个技术问题,提供一种基于硬件加速的综合显控服务系统及方法,通过不同的加速板卡组成的加速阵列单元来实现图像、视频数据不同的处理功能和性能指标要求,在满足多个、不同类别用户对图像、视频数据的高速低延时处理和个性化应用需求的同时,对外提供统一的综合显控服务。
为实现上述目的,按照本发明的第一方面,提供了一种基于硬件加速的综合显控服务方法,包括数据接收单元、加速阵列单元、显控终端单元以及加速服务单元,其中:
所述数据接收单元用于接收数据并将数据输出至所述加速阵列单元;
所述加速阵列单元配置有不同的加速板卡,根据收到的数据选择相对应的加速板卡进行处理,并将处理后的结果发送到显控终端单元进行显示;
所述加速服务单元用于对所述加速阵列单元的加速板卡进行管理,并提供远程服务以及数据存储功能。
在一个可选的实施方式中,还包括开发环境服务单元以及远程调试单元,所述开发环境服务单元用于提供虚拟化开发环境的云服务;所述远程调试单元用于通过所述加速服务单元的远程服务功能调用所述开发环境服务单元进行远程调试。
在一个可选的实施方式中,所述远程调试单元结合加速服务单元中的远程服务功能,通过以太网口提供对外服务端口,以通过内部调试网远程调用开发环境服务单元中的应用开发软件,访问加速阵列单元中的各加速板卡,对相关可编程芯片进行数据文件配置及远程调试。
在一个可选的实施方式中,所述加速阵列单元包括数据接入模块、交换模块以及若干个加速板卡,其中,所述数据接入模块用于获取所述数据接收单元的数据并用于将加速板卡的处理结果发送到所述显控终端单元;所述交换模块用于根据获取的数据选择相对应的加速板卡进行数据处理。
在一个可选的实施方式中,所述加速阵列单元还包括远程控制模块以及访问控制服务,远程访问通过所述访问控制服务来控制所述远程控制模块,以对加速板卡进行远程控制。
在一个可选的实施方式中,所述数据接入模块通过光纤、网络接口将传感器视频转换为高速串行数据,并将高速串行数据输出至加速阵列单元中的交换模块,供加速板卡使用;所述数据接入模块将来自于加速板卡处理的图形图像及其他高速串行数据信息转换为光纤或网络数据,并通过光纤或网络接口输出至各显控终端。
在一个可选的实施方式中,所述加速服务单元包括加速管理服务、远程访问服务、远程调试服务以及数据存储服务,其中,所述加速管理服务用于提供用户权限管理、加速板卡归属设置、EDA开发环境使用设置;所述远程访问服务用于提供基于Web的远程访问EDA开发环境的服务;所述远程调试服务用于提供基于Web的远程调试远端的可编程芯片的服务;所述数据存储服务用于提供数据存储功能。
在一个可选的实施方式中,所述显控终端单元为所述加速阵列单元的处理结果可视化及加速操作处理的请求发起者,各显控终端通过显控终端单元将各自对数据的需求和处理方法及结果的需求发送到加速服务单元,并接收来自加速阵列单元的处理结果,最终将处理结果进行可视化处理并呈现到终端。
在一个可选的实施方式中,所述加速阵列单元的加速板卡包括以FPGA、SOC、AI专用芯片以及GPU加速板卡为核心组成的加速阵列,以提供图形、图像、视频算法加速、AI加速以及实时目标检测算法、跟踪算法的硬件加速功能。
第二方面,本发明还提供一种基于硬件加速的综合显控服务方法,应用于第一方面所述的基于硬件加速的综合显控服务系统,包括:
根据需求搭建异构加速处理平台,并进行异构加速资源池化管理;
初始化加速阵列单元软硬件、初始化数据接收单元软硬件;
数据接收单元接收数据后将数据发送到加速阵列单元,加速阵列单元进行数据加速处理后,输出处理结果到显控终端单元进行数据显示。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有如下有益效果:
1、本发明提供开放式(加速阵列单元的加速板卡可根据应用场景灵活配置,对用户应用是开放性的)、高性能(加速阵列单元的加速板卡采用FGPA、GPU、SOC或专用AI芯片设计,形成高性能的加速资源池)、低延时(加速阵列单元的加速板卡、数据接入单元的收发模块和交换模块采用实时处理芯片进行设计,实现低延时的数据处理和传输通道)的综合显控服务架构,通过定义统一的信息输入输出方式和数据交换方式(在数据接入模块中,不同的数据协议转换为统一的SRIO数据协议并进入数据交换模块实现数据交换),实现图像、视频数据在多个加速芯片上的多自由度互联、并行处理和多级输出,满足多个、不同类别用户对图像、视频数据的高速低延时处理和个性化应用需求的同时,对外提供统一的综合显控服务。
2、本发明提供高性能异构硬件加速,通过配置不同的加速板卡,实现图像、视频数据不同的处理功能和性能指标要求。
3、本发明通过数据接入模块的数据转换功能将各类不同协议的传感器数据输入归一化为SRIO协议规范,提供高带宽无阻塞交换能力,支持多端口、多通道,支持对分布式FPGA、DSP、处理器等芯片或设备之间的数据路由分配,实现各类传感器图像、视频数据的充分共享和利用。
4、本发明通过加速服务单元的加速管理服务实现统一管理的硬件资源池,为用户提供虚拟化的硬件资源调度服务,授权用户可根据需要调用服务系统中的硬件加速资源,实现所需功能。
5、本发明通过加速服务单元的数据存储服务实现数据存储技术实现用户信息、前端传感器信息、终端设备信息、加速板卡固件信息、加速板卡工作状态信息、系统资源利用信息、容器镜像信息、系统访问日志信息等相关数据的统一监测和管理。
附图说明
图1为本发明实施例1提供的一种基于硬件加速的综合显控服务系统架构框图;
图2为本发明实施例1提供的加速阵列单元的模块框图;
图3为本发明实施例2提供的开发环境服务单元的模块框图;
图4为本发明实施例2提供的加速服务单元的模块框图;
图5为本发明实施例2提供的一种基于硬件加速的综合显控服务方法的流程图;
图6为本发明实施例3提供的一种基于硬件加速的综合显控服务装置的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以作出若干变形和改进。这些都属于本发明的保护范围。
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互结合,均在本申请的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。
除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是用于限制本发明。此外,下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明应用于显示控制系统中,为各类传感器图像、视频等信息提供综合显控服务功能。针对现有技术的问题:需要克服当前显控终端和计算服务设备对于图形/图像/视频处理能力不足、资源占用过高、延时较大的难题;显控终端由于体积、功耗、成本的因素限制,而计算服务设备一般为通用计算设备,二者在图形/图像/视频方面处理能力较低,资源占用过高且处理延时较大。因而本发明通过加速阵列单元对图像/图像/视频进行针对性处理,解决处理能力不足、资源占用过高、延时较大的问题。针对现有技术的问题:需要解决前端传感器之间标准、接口、协议不统一和终端用户应用需求不一致带来的系统互备问题;本发明的数据接入单元可将不同格式的数据转换/归一化为SRIO协议的数据,从而达到数据自由交换,数据与用户应用解耦的目的,为系统互备提供基础条件。针对现有技术的问题:需要降低系统成本、重量和功耗,提升综合效能;本发明的加速阵列单元可根据应用需求灵活配置加速板卡,可有效降低冗余配置,因而可降低系统成本、重量和功耗。针对现有技术的问题:需要解决特定用户占用资源过多,以及特异性需求带来的设备定制化要求等问题,提升系统的标准化、通用化;通常,希望显控终端是统一设计的标准化设备,而非由于个别用户的特异性需求对个别显控终端进行定制。本发明通过统一管理的异构硬件加速资源池,满足所有用户对数据处理的需求来达到上述目的。针对现有技术的问题:需要整合系统关键硬件资源,形成硬件资源池,提高关键资源灵活服务和共享能力,消除显控终端个体差异,以共享方式向用户提供关键硬件加速资源,实现硬件加速资源的灵活管理调度和动态扩展,提升系统生存能力。本发明通过各个单元的功能配合实现了上述目的。
下面就参考附图和实施例结合来详细说明本发明。
实施例1:
如图1所示,本发明提供了一种基于硬件加速的综合显控服务系统,包括数据接收单元、加速阵列单元、显控终端单元以及加速服务单元,其中:所述数据接收单元用于接收数据并将数据输出至所述加速阵列单元;所述加速阵列单元配置有不同的加速板卡,根据收到的数据选择相对应的加速板卡进行处理,并将处理后的结果发送到显控终端单元进行显示;所述加速服务单元用于对所述加速阵列单元的加速板卡进行管理,并提供远程服务以及数据存储功能。在本优选实施例的一个可选的实施方式中,系统还包括开发环境服务单元以及远程调试单元,所述开发环境服务单元用于提供虚拟化开发环境的云服务;所述远程调试单元用于通过所述加速服务单元的远程服务功能调用所述开发环境服务单元进行远程调试。
具体的,参考图2所述,在本优选实施例的一个可选的实施方式中,所述加速阵列单元包括数据接入模块、交换模块以及若干个加速板卡,其中,所述数据接入模块用于获取所述数据接收单元的数据并用于将加速板卡的处理结果发送到所述显控终端单元;所述交换模块用于根据获取的数据选择相对应的加速板卡进行数据处理。在本优选实施例的一个可选的实施方式中,所述数据接入模块通过光纤、网络接口将传感器视频转换为高速串行数据,并将高速串行数据输出至加速阵列单元中的交换模块,供加速板卡使用;所述数据接入模块将来自于加速板卡处理的图形图像及其他高速串行数据信息转换为光纤或网络数据,并通过光纤或网络接口输出至各显控终端。在本优选实施例的一个可选的实施方式中,所述加速阵列单元还包括远程控制模块以及访问控制服务,远程访问通过所述访问控制服务来控制所述远程控制模块,以对加速板卡进行远程控制。
在本优选实施例的一个可选的实施方式中,所述加速阵列单元的加速板卡包括以现场可编程门阵列(Field Programmable Gate Array,简写为:FPGA)、系统级芯片(Systemon Chip,简写为:SOC)、人工智能(Artificial Intelligence,简写为:AI)专用芯片以及图形处理器(Graphics Processing Unit,简写为:GPU)加速板卡为核心组成的加速阵列,以提供图形、图像、视频算法加速、AI加速以及实时目标检测算法、跟踪算法等的硬件加速功能。数据接入模块可以通过光纤、网络等接口将传感器视频转换为串行高速总线(SerialRapidIO,简写为:SRIO)高速串行数据,并将其输出至SRIO加速阵列单元中的交换芯片,供加速板卡使用;同时将来自于加速板卡处理的图形图像及其他高速串行数据信息转换为光纤或网络数据,并通过光纤或网络接口输出至各显控终端。加速板卡可以为图中加速卡1、加速卡2、加速卡n等形式区分,同样的,加速阵列单元的远程控制模块也可以是远程控制模块1、远程控制模块2、远程控制模块n的形式,访问控制服务则是包括与远程控制模块相对应的多个虚拟链路。
在本优选实施例的一个可选的实施方式中,所述远程调试单元结合加速服务单元中的远程服务功能,通过以太网口提供对外服务端口,使用户可以通过内部调试网远程调用开发环境服务单元中的应用开发软件,访问加速阵列单元中的各加速板卡,对相关可编程芯片进行数据文件配置及远程调试。
在本优选实施例的一个可选的实施方式中,数据接收单元通过光纤、网络等接口将传感器视频转换为SRIO高速串行数据,并将其输出至SRIO加速阵列单元中的交换芯片,共加速板卡使用;同时将来自于加速板卡处理的图形图像及其他高速串行数据信息转换为光纤或网络数据,并通过光纤或网络接口输出至各显控终端。需说明,上述数据转换功能可以由数据接收单元实现,也可以由加速阵列单元的数据接入模块实现,在由加速阵列单元的数据接入模块实现时,数据接收单元仅作为数据接收接口使用。
在本优选实施例的一个可选的实施方式中,所述显控终端单元为所述加速阵列单元的处理结果可视化及加速操作处理的请求发起者,各显控终端通过互联网络将各自对数据的需求和处理方法及结果的需求发送到加速服务单元,并通过光纤、网络等方式接收来自加速阵列单元的处理结果,最终将处理结果进行可视化处理并呈现到终端操作人员。
参考图3所述,在本优选实施例的一个可选的实施方式中,所述开发环境服务单元包括由平台管理的容器资源池,为开发和调试用户提供虚拟化的电子设计自动化(Electronic Design Automation,简写为:EDA)开发环境的云服务。用户不需要搭建EDA开发环境,只需登录到本系统及可立即开始使用EDA工具进行Verilog编程开发及FPGA仿真调试。参考图3,开发环境服务单元包括容器实例化、应用部署工具、数据源以及系统管理;其中,容器实例化包括虚拟化EDA开发环境云服务,也即实现前述的容器资源池功能;应用部署工具包括容器编排、主机管理、监控管理;数据源包括数据库、文件、网络;系统管理包括用户管理、权限管理、角色管理、日志管理,应用部署工具部分可根据使用需求自己调整,在此不赘述。
在本优选实施例的一个可选的实施方式中,所述加速服务单元包括加速管理服务、远程访问服务、远程调试服务以及数据存储服务,其中,所述加速管理服务用于提供用户权限管理、加速板卡归属设置、EDA开发环境使用设置;所述远程访问服务用于提供基于Web的远程访问EDA开发环境的服务;所述远程调试服务用于提供基于Web的远程调试远端的可编程芯片的服务;所述数据存储服务用于提供数据存储功能。
参考图4所述,对于加速服务单元,其后台服务访问MongoDB(文档数据库)来读写远程数据库,利用Golang的Iris框架开发构建远程后台服务的Restful API(REST风格的网络接口)服务;前端服务以Web服务器的模型为用户提供远程访问功能,并作为平台的主要人机交互界面,主要包括4个核心功能模块:加速管理服务、远程访问服务、远程调试服务以及数据存储服务。以下分别说明上述四个核心功能模块。
对于加速管理服务,加速管理服务的主要功能包括:用户权限管理、加速板卡归属设置、EDA开发环境使用设置等管理功能模块。管理人员通过加速管理服务模块可以进行用户权限管理、EDA开发环境使用设置管理、加速板卡归属设置管理工作;用户可以通过加速管理服务模块进行系统登录验证、在特定的条件下访问EDA开发环境并进行加速板卡的远程操作。
对于远程访问服务,远程访问服务为用户提供基于Web的远程访问EDA开发环境的服务,它基于Guacamole远程桌面网关,通过RDP远程控制协议来实现对EDA开发环境的远程访问及控制。远程访问服务包括:访问权限控制和RDP远程控制两个主要功能功能。
对于远程调试服务,远程调试服务为用户提供基于Web的远程调试远端的可编程芯片的服务,利用基于Flutter编写的仿真控制面板界面,通过WebSocket通讯来实现对可编程电路板的远程调试及控制。远程调试服务包括:访问权限控制和仿真调试控制两个主要功能。
对于数据存储服务,考虑到系统要存储的数据既有结构化的数据也有非结构化的数据,且系统需要不断地迭代开发和扩展,故系统采用NoSQL存储解决方案,选用MongoDB文档数据库为系统提供相关数据的存储服务。数据存储服务主要用于存储开发调试用户信息、前端传感器信息、终端设备信息、加速板卡固件信息、加速板卡工作状态信息、容器镜像信息、系统访问日志信息等相关数据。
综上所述,本发明提出了一种基于硬件加速的综合显控服务系统,该系统提供开放式、高性能、低延时的综合显控服务架构,通过定义统一的信息输入输出方式和数据交换方式,实现图像、视频数据在多个加速芯片上的多自由度互联、并行处理和多级输出,满足多个、不同类别用户对图像、视频数据的高速低延时处理和个性化应用需求的同时,对外提供统一的综合显控服务。该系统提供高性能异构硬件加速,通过配置不同的加速板卡,实现图像、视频数据不同的处理功能和性能指标要求,支持用户定制板卡的插入。该系统通过将各类不同协议的传感器数据输入归一化为SRIO协议规范,提供高带宽无阻塞交换能力,支持多端口、多通道,支持对分布式FPGA、DSP、处理器等芯片或设备之间的数据路由分配,实现各类传感器图像、视频数据的充分共享和利用。该系统通过统一管理的硬件资源池,为用户提供虚拟化的硬件资源调度服务,授权用户可根据需要调用服务系统中的硬件加速资源,实现所需功能。该系统通过数据存储技术实现用户信息、前端传感器信息、终端设备信息、加速板卡固件信息、加速板卡工作状态信息、系统资源利用信息、容器镜像信息、系统访问日志信息等相关数据的统一监测和管理。
实施例2:
本发明实施例还提供一种基于硬件加速的综合显控服务方法,应用于如上实施例提供的基于硬件加速的综合显控服务系统,如图5所示,方法包括如下步骤。
步骤100:根据需求搭建异构加速处理平台,并进行异构加速资源池化管理。需说明,这里的异构加速处理平台也即对应于加速阵列单元;异构是指加速板卡可由不同处理芯片为基础设计而成,如FPGA、GPU等;加速资源池化管理,是指所有加速板卡所固有的加速能力可视作一种能力资源放入资源池中,随用随取,用后回收,有序管理。
步骤200:初始化加速阵列单元软硬件、初始化数据接收单元软硬件。加速阵列单元可以是以FPGA、SOC、AI专用芯片以及GPU加速板卡为核心组成的加速阵列。
步骤300:数据接收单元接收数据后将数据发送到加速阵列单元,加速阵列单元进行数据加速处理后,输出处理结果到显控终端单元进行数据显示。在一个具体的实施方式中,加速阵列单元可以包括数据接入模块,数据接入模块可以通过光纤、网络等接口将传感器视频转换为SRIO高速串行数据,并将其输出至SRIO加速阵列单元中的交换芯片,供加速板卡使用;同时将来自于加速板卡处理的图形图像及其他高速串行数据信息转换为光纤或网络数据,并通过光纤或网络接口输出至各显控终端。
对于上述方法,本实施例还可以提供开发环境服务,实现由平台管理的容器资源池,为开发和调试用户提供虚拟化的EDA开发环境的云服务。本实施例还可以远程调试服务,通过以太网口提供对外服务端口,使用户可以通过内部调试网远程调用开发环境服务单元中的应用开发软件,访问加速阵列单元中的各加速板卡,对相关可编程芯片进行数据文件配置及远程调试。
综上所述,本发明提出了一种基于硬件加速的综合显控服务方法,该方法提供开放式、高性能、低延时的综合显控服务架构,通过定义统一的信息输入输出方式和数据交换方式,实现图像、视频数据在多个加速芯片上的多自由度互联、并行处理和多级输出,满足多个、不同类别用户对图像、视频数据的高速低延时处理和个性化应用需求的同时,对外提供统一的综合显控服务。该方法提供高性能异构硬件加速,通过配置不同的加速板卡,实现图像、视频数据不同的处理功能和性能指标要求,支持用户定制板卡的插入。该方法通过将各类不同协议的传感器数据输入归一化为SRIO协议规范,提供高带宽无阻塞交换能力,支持多端口、多通道,支持对分布式FPGA、DSP、处理器等芯片或设备之间的数据路由分配,实现各类传感器图像、视频数据的充分共享和利用。该方法通过统一管理的硬件资源池,为用户提供虚拟化的硬件资源调度服务,授权用户可根据需要调用服务系统中的硬件加速资源,实现所需功能。该方法通过数据存储技术实现用户信息、前端传感器信息、终端设备信息、加速板卡固件信息、加速板卡工作状态信息、系统资源利用信息、容器镜像信息、系统访问日志信息等相关数据的统一监测和管理。
实施例3:
在上述实施例提供的基于硬件加速的综合显控服务方法的基础上,本发明还提供了一种可用于实现上述方法的基于硬件加速的综合显控服务装置,如图6所示,是本发明实施例的装置架构示意图。本实施例的基于硬件加速的综合显控服务装置包括一个或多个处理器21以及存储器22。其中,图6中以一个处理器21为例。
处理器21和存储器22可以通过总线或者其他方式连接,图6中以通过总线连接为例。
存储器22作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如实施例2中的基于硬件加速的综合显控服务方法。处理器21通过运行存储在存储器22中的非易失性软件程序、指令以及模块,从而执行基于硬件加速的综合显控服务装置的各种功能应用以及数据处理,即实现本发明实施例的基于硬件加速的综合显控服务方法。
存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器22可选包括相对于处理器21远程设置的存储器,这些远程存储器可以通过网络连接至处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
程序指令/模块存储在存储器22中,当被一个或者多个处理器21执行时,执行上述实施例中的基于硬件加速的综合显控服务方法,例如,执行以上描述的图5所示的各个步骤。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(Read Only Memory,简写为:ROM)、随机存取存储器(Random AccessMemory,简写为:RAM)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (10)
1.一种基于硬件加速的综合显控服务系统,其特征在于,包括数据接收单元、加速阵列单元、显控终端单元以及加速服务单元,其中:
所述数据接收单元用于接收数据并将数据输出至所述加速阵列单元;
所述加速阵列单元配置有不同的加速板卡,根据收到的数据选择相对应的加速板卡进行处理,并将处理后的结果发送到显控终端单元进行显示;
所述加速服务单元用于对所述加速阵列单元的加速板卡进行管理,并提供远程服务以及数据存储功能。
2.根据权利要求1所述的基于硬件加速的综合显控服务系统,其特征在于,还包括开发环境服务单元以及远程调试单元,所述开发环境服务单元用于提供虚拟化开发环境的云服务;所述远程调试单元用于通过所述加速服务单元的远程服务功能调用所述开发环境服务单元进行远程调试。
3.根据权利要求2所述的基于硬件加速的综合显控服务系统,其特征在于,所述远程调试单元结合加速服务单元中的远程服务功能,通过以太网口提供对外服务端口,以通过内部调试网远程调用开发环境服务单元中的应用开发软件,访问加速阵列单元中的各加速板卡,对相关可编程芯片进行数据文件配置及远程调试。
4.根据权利要求1所述的基于硬件加速的综合显控服务系统,其特征在于,所述加速阵列单元包括数据接入模块、交换模块以及若干个加速板卡,其中,所述数据接入模块用于获取所述数据接收单元的数据并用于将加速板卡的处理结果发送到所述显控终端单元;所述交换模块用于根据获取的数据选择相对应的加速板卡进行数据处理。
5.根据权利要求4所述的基于硬件加速的综合显控服务系统,其特征在于,所述加速阵列单元还包括远程控制模块以及访问控制服务,远程访问通过所述访问控制服务来控制所述远程控制模块,以对加速板卡进行远程控制。
6.根据权利要求4所述的基于硬件加速的综合显控服务系统,其特征在于,所述数据接入模块通过光纤、网络接口将传感器视频转换为高速串行数据,并将高速串行数据输出至加速阵列单元中的交换模块,供加速板卡使用;所述数据接入模块将来自于加速板卡处理的图形图像及其他高速串行数据信息转换为光纤或网络数据,并通过光纤或网络接口输出至各显控终端。
7.根据权利要求1-6任一所述的基于硬件加速的综合显控服务系统,其特征在于,所述加速服务单元包括加速管理服务、远程访问服务、远程调试服务以及数据存储服务,其中,所述加速管理服务用于提供用户权限管理、加速板卡归属设置、EDA开发环境使用设置;所述远程访问服务用于提供基于Web的远程访问EDA开发环境的服务;所述远程调试服务用于提供基于Web的远程调试远端的可编程芯片的服务;所述数据存储服务用于提供数据存储功能。
8.根据权利要求1-6任一所述的基于硬件加速的综合显控服务系统,其特征在于,所述显控终端单元为所述加速阵列单元的处理结果可视化及加速操作处理的请求发起者,各显控终端通过显控终端单元将各自对数据的需求和处理方法及结果的需求发送到加速服务单元,并接收来自加速阵列单元的处理结果,最终将处理结果进行可视化处理并呈现到终端。
9.根据权利要求1-6任一所述的基于硬件加速的综合显控服务系统,其特征在于,所述加速阵列单元的加速板卡包括以FPGA、SOC、AI专用芯片以及GPU加速板卡为核心组成的加速阵列,以提供图形、图像、视频算法加速、AI加速以及实时目标检测算法、跟踪算法的硬件加速功能。
10.一种基于硬件加速的综合显控服务方法,应用于权利要求1-9任一所述的基于硬件加速的综合显控服务系统,其特征在于,包括:
根据需求搭建异构加速处理平台,并进行异构加速资源池化管理;
初始化加速阵列单元软硬件、初始化数据接收单元软硬件;
数据接收单元接收数据后将数据发送到加速阵列单元,加速阵列单元进行数据加速处理后,输出处理结果到显控终端单元进行数据显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311600673.6A CN117573055A (zh) | 2023-11-28 | 2023-11-28 | 一种基于硬件加速的综合显控服务系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311600673.6A CN117573055A (zh) | 2023-11-28 | 2023-11-28 | 一种基于硬件加速的综合显控服务系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117573055A true CN117573055A (zh) | 2024-02-20 |
Family
ID=89891504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311600673.6A Pending CN117573055A (zh) | 2023-11-28 | 2023-11-28 | 一种基于硬件加速的综合显控服务系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117573055A (zh) |
-
2023
- 2023-11-28 CN CN202311600673.6A patent/CN117573055A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2597556C2 (ru) | Структура компьютерного кластера для выполнения вычислительных задач и способ функционирования указанного кластера | |
US8521929B2 (en) | Virtual serial port management system and method | |
CN106648896B (zh) | 一种Zynq芯片在异构称多处理模式下双核共享输出外设的方法 | |
US8417848B2 (en) | Method and apparatus for implementing multiple service processing functions | |
CN108345555B (zh) | 基于高速串行通信的接口桥接电路及其方法 | |
CN112685148B (zh) | 海量终端的异步通信方法、装置、计算机设备和存储介质 | |
US11726938B2 (en) | Communications for field programmable gate array device | |
CN105472291A (zh) | 多处理器集群的数字硬盘录像机及其实现方法 | |
CN115913937B (zh) | 一种容器多网卡网络配置方法、装置、设备及存储介质 | |
CN113572815A (zh) | 一种跨异构平台的通信技术方法、系统及介质 | |
CN106844263B (zh) | 一种基于可配置的多处理器计算机系统及实现方法 | |
CN114840339A (zh) | Gpu服务器、数据计算方法及电子设备 | |
US20230403232A1 (en) | Data Transmission System and Method, and Related Device | |
CN112631778A (zh) | 一种基于fpga云的计算优化方法、系统、存储介质及设备 | |
CN105528319B (zh) | 基于fpga的加速卡及其加速方法 | |
CN116723198A (zh) | 一种多节点服务器主机控制方法、装置、设备、存储介质 | |
Kidane et al. | NoC based virtualized FPGA as cloud Services | |
US10379918B2 (en) | System and method for MPI implementation in an embedded operating system | |
CN117573055A (zh) | 一种基于硬件加速的综合显控服务系统及方法 | |
CN114422297B (zh) | 一种多场景虚拟网络流量监控方法、系统、终端及介质 | |
CN113268031A (zh) | 一种电子设备远程调试工具的系统及方法 | |
CN111813621A (zh) | 基于Flume数据中台的数据处理方法、装置、设备及介质 | |
CN112749121A (zh) | 基于pcie总线的多芯片互联系统 | |
CN111090503B (zh) | 一种基于fpga芯片的高性价比云计算服务系统 | |
CN111177977B (zh) | 一种能源系统的数据模型构建方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |