CN117492899A - 即时传输及显示方法、装置、设备及存储介质 - Google Patents

即时传输及显示方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117492899A
CN117492899A CN202410001642.7A CN202410001642A CN117492899A CN 117492899 A CN117492899 A CN 117492899A CN 202410001642 A CN202410001642 A CN 202410001642A CN 117492899 A CN117492899 A CN 117492899A
Authority
CN
China
Prior art keywords
feature
matrix
feature matrix
data
original input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410001642.7A
Other languages
English (en)
Other versions
CN117492899B (zh
Inventor
赵万龙
杨亚军
程雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202410001642.7A priority Critical patent/CN117492899B/zh
Publication of CN117492899A publication Critical patent/CN117492899A/zh
Application granted granted Critical
Publication of CN117492899B publication Critical patent/CN117492899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Information Transfer Between Computers (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了即时传输及显示方法、装置、设备及存储介质，本发明的方法包括将读取的原始RGB图像转化为原始输入矩阵；输入至特征提取器中进行特征提取并对第一特征矩阵进行处理得到第二特征矩阵，以基于第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；基于TCP连接结果将封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；根据还原后的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。本发明可以实现基于SOL的带外即时图像转发，并为裸金属服务器提供一种图形操作系统紧急登录的方案。

Description

即时传输及显示方法、装置、设备及存储介质
技术领域
本发明涉及云计算大数据边缘计算、人工智能技术领域，特别是涉及即时传输及显示方法、装置、设备及存储介质。
背景技术
自算力网络（Compute First Networking，CFN）概念的提出与普及，云计算行业短期内发展标向已逐渐明晰。通俗来说，算力网络就是搭建可连接算力的网络，让接入网络的需求侧可以共享庞大的网络对端所提供的丰富算力（包含计算、存储等各类软硬件资源）。
算力作为算力网络的基础单元，其服务能力能够直接决定用户需求满足的上下限。在算力网络中，庞大的云计算基础设施演变出诸多形态的基础算力供给，裸金属服务器（Bare Metal Server，BMS）也是其中最具代表性的形态之一。其既具传统物理服务器特点，又顺应云计算技术的虚拟化服务，是硬件与软件优势结合的产物，尤其适合为企业提供专属的云上物理服务器，在承载关键系统应用、核心数据库、高性能计算等业务，保障其数据安全与计算性能的同时，具备灵活、按需使用的云服务特性。
如果说云计算基础设施即服务（Infrastructure as a Service，IaaS）的算力供给决定服务用户能力的上下限，那么算力设施的远程控制方式，则能在很大程度上优化用户的使用体验。以目前国内主流云计算厂商如移动云、阿里云、华为云等为例，公有云应用场景下的裸金属服务器，在Web端的用户门户中，通常能够提供依靠带内网络（以Webshell为代表）及带外网络（以局域网串行通信（Serial Over LAN，SOL）为代表）的两种远程登录方式。用户能够借此一键登录裸金属服务器，以达到监控、操作裸金属HOST上操作系统的目的。
基于带外网络的SOL技术实现，实际上是依赖于智能化平台管理接口（Intelligent Platform Management Interface，IPMI）技术的出现与发展。IPMI技术作为硬件智能化管理的通用接口标准，其实现基于一个微小的基板管理控制器（BaseboardManagement Controller，BMC）。该控制器通常用于监控裸金属服务器硬件系统的健康状况，配备独立电源，以保障其在服务器出现宕机等紧急情况时，能够保持正常工作。
SOL通过基于IP的IPMI会话来重定向系统中串口I/O，其标准实现是使用远程管理控制协议（Remote Management and Control Protocol，RMCP）作为数据的传输协议，对裸金属服务器的COM串口重定向至BMC。基于SOL的非图形操作系统终端信息传输流程如图1所示，Server端的虚拟终端接收操作系统的字符串输入，通过相应的内核态驱动将输入内容转化并封装成二进制的IPMI-Over-LAN数据包（图2），指定操作系统的串口进行传输，终端传输设备对应裸金属服务器的COM口。包含操作系统信息的二进制数据包经COM口发送，重定向至BMC串口，并从BMC输出至IPMI网络下的SOL代理。Client端只需要连通SOL代理，即可初始化SOL连接，通过网络数据包的形式接收和发送串口数据。从SOL代理接收到的二进制数据包会在Client端进行重组、解码，最终输出至用户终端进行展示。
基于上述可知，SOL可以被用于开启一个经BMC的串行虚拟远程终端，以提供用户进行远程连接并对裸金属服务器内部的操作系统进行交互。并且基于BMC能够独立于服务器保持运行的特性，通过SOL开启的虚拟远程终端，可以在服务器带内管理网络出现异常时保持连接，因此被认为是一种服务器的紧急登录方式。
现有基于SOL的裸金属服务器操作系统终端信息传输及显示流程的缺点在于：目前主流服务器串口通信所支持的最高转发速率为115200 bit/s，即每秒传输115200比特数据，约等于14.0625KB数据。受限于串口通信速率限制，基于带外SOL方式实现的操作系统串口转发仅能够支持非图形操作系统界面的文字信息传输。对于安装了图形操作系统的裸金属服务器而言，若服务器带内管理网出现故障，用户将缺乏紧急登录裸金属操作系统的方式。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明提出了一种即时传输及显示方法，在Server端的操作系统中内置了一个基于循环神经网络（Recurrent Neutron Network，RNN）Encoder及Binarizer实现的图像压缩程序。该程序运行在用户态，按照一定频率调用内核态的图形虚拟终端，读取当前操作系统的RGB图像，提取图像特征并转换为二进制矩阵。在Client端内嵌了基于相同RNN的Decoder用于根据接收到的二进制矩阵还原原有的操作系统的RGB图像矩阵并进行渲染，最终展示在用户终端，以实现基于SOL带外的操作系统图形闭环传输。RNN卷积单元在用作特征提取的同时，能够关联前一次循环中的特征参数，因此特别适用于在时序上有关联性的预测任务。本发明的使用场景下，操作系统输出图形的变化在绝大多数场景下，都在时序上存在一定的相关性，因此使用RNN模型能够显著的提升特征图像还原的准确率。
本发明的另一个目的在于提出一种即时传输及显示装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明一方面提出一种即时传输及显示方法，包括：
通过服务器端的图形虚拟终端读取操作系统的原始RGB图像，并通过图像压缩程序将所述原始RGB图像转化为原始输入矩阵；
将所述原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，并利用预设的网络模型对所述第一特征矩阵进行处理得到第二特征矩阵，以基于所述第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；
基于所述TCP连接结果将所述封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；
根据还原后的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。
本发明实施例的即时传输及显示方法还可以具有以下附加技术特征：
在本发明的一个实施例中，所述特征提取器，包括CNN卷积模块和RNN卷积模块；将所述原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，包括：
将所述原始输入矩阵输入至CNN卷积模块中进行特征提取得到第三特征矩阵；
基于门控循环单元GRU构建得到所述RNN卷积模块；其中，所述GNU，包括基于卷积神经网络单元的重置门和更新门；
将所述第三特征矩阵输入至GRU中以通过所述重置门和更新门进行特征提取得到所述第一特征矩阵。
在本发明的一个实施例中，利用预设的网络模型对所述第一特征矩阵进行处理得到第二特征矩阵，包括：
基于多通道卷积核和全连接层的神经网络构建Binarizer网络模型；
将所述第一特征矩阵输入至所述Binarizer网络模型进行卷积操作以输出得到所述第二特征矩阵。
在本发明的一个实施例中，在得到所述第二特征矩阵之后，所述方法，还包括：
通过串口驱动封装所述第二特征矩阵得到封装数据；
调用系统串口将所述封装数据传输至裸金属服务器的BIOS得到第一数据传输结果；
基于所述第一数据传输结果通过BIOS配置的COM口将所述封装数据传输至裸金属服务器BMC的转发串口得到第二数据传输结果；
基于所述第二数据传输结果将所述封装数据传输至SOL代理中以得到SOL代理信息。
在本发明的一个实施例中，基于所述TCP连接结果将所述封装数据进行数据重组以得到重组后的第二特征矩阵，包括：
基于所述TCP连接结果和SOL代理信息向客户端的数据接收和发送层转发所述封装数据；
通过客户端的数据重组层重新编排重组所述封装数据以得到重组后的第二特征矩阵。
在本发明的一个实施例中，通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵，包括：
通过客户端的图像还原层接收所述重组后的第二特征矩阵；
将所述重组后的第二特征矩阵输入至所述图像还原层中的特征解码器进行还原操作得到还原后的原始输入矩阵；其中，所述特征解码器，包括CNN转置卷积模块和RNN转置卷积模块。
在本发明的一个实施例中，将所述重组后的第二特征矩阵输入至所述图像还原层中的特征解码器进行还原操作得到还原后的原始输入矩阵，包括：
将所述重组后的第二特征矩阵输入至CNN转置卷积模块进行还原操作得到还原后的第一特征矩阵；
将还原后的第一特征矩阵输入至RNN转置卷积模块进行还原操作得到还原后的原始输入矩阵。
在本发明的一个实施例中，所述RNN转置卷积模块为多组RNN转置卷积模块，所述还原后的第一特征矩阵在经过每组RNN转置卷积模块的RNN转置卷积后，并经过Depth toSpace操作以得到所述还原后的原始输入矩阵。
在本发明的一个实施例中，所述CNN卷积模块和RNN卷积模块的所有卷积模块均采用H *W为3 *3的卷积核进行特征提取，所述卷积核在矩阵上移动的步长为2；所述Binarizer网络模型中内置一个尺寸为1 * 1的32通道卷积核；在所述神经网络后置一个tanh激活函数。
为达上述目的，本发明另一方面提出一种即时传输及显示装置，包括：
初始图像压缩模块，用于通过服务器端的图形虚拟终端读取操作系统的原始RGB图像，并通过图像压缩程序将所述原始RGB图像转化为原始输入矩阵；
图像特征提取模块，用于将所述原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，并利用预设的网络模型对所述第一特征矩阵进行处理得到第二特征矩阵，以基于所述第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；
特征矩阵还原模块，用于基于所述TCP连接结果将所述封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；
像素渲染输出模块，用于根据还原后的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。
本发明实施例的即时传输及显示方法和装置，主要解决了通过带外SOL无法实现操作系统图像即时传输的问题，并基于SOL的带外即时图像转发实现裸金属服务器的图形操作系统紧急登录，并通过使用RNN模型显著的提升特征图像还原的准确率。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现即时传输及显示方法。
为达上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的即时传输及显示方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是基于SOL的非图形操作系统终端信息传输流程图；
图2是一种典型的二进制IPMI-Over-LAN数据包格式示意图；
图3是根据本发明实施例一种即时传输及显示方法的流程图；
图4是根据本发明实施例的基于SOL的图形操作系统终端信息传输流程图；
图5是根据本发明实施例的用于图像处理的RNN模型架构图；
图6是根据本发明实施例的是RNN卷积所采用的GRU构造图；
图7是根据本发明实施例的Binarizer网络结构图；
图8是根据本发明实施例的Depth to Space处理示意图；
图9是根据本发明实施例的RNN压缩算法图像还原能力对比图；
图10是根据本发明实施例的即时传输及显示装置的结构示意图；
图11是根据本发明实施例的计算机设备。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面参照附图描述根据本发明实施例提出的即时传输及显示方法、装置、设备及存储介质。
如表1所示，首先对本发明实施例中可能出现的技术术语进行解释：
表1
图3是根据本发明实施例的即时传输及显示方法的流程图，如图3所示，该方法包括但不限于以下步骤：
S1，通过服务器端的图形虚拟终端读取操作系统的原始RGB图像，并通过图像压缩程序将原始RGB图像转化为原始输入矩阵；
S2，将原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，并利用预设的网络模型对第一特征矩阵进行处理得到第二特征矩阵，以基于第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；
S3，基于TCP连接结果将封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；
S4，根据还原后的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。
根据本发明实施例的即时传输及显示方法，在Server端的图形操作系统内部，引入了图像压缩程序，并对应地在Client端新增了图像还原及渲染层。图像压缩（Encoder&Binarizer）和还原（Decoder）基于同一个经过训练的RNN模型的不同部分构成，可以实现即时图像压缩（Real-time Image Compression，RIC）及解压，解决了通过带外SOL无法实现操作系统图像即时传输的问题，能够显著的提升特征图像还原的准确率。
图4是本发明实施例的基于SOL的图形操作系统终端信息传输流程图，如图4所示，
在本发明的一个实施例中，流程开始，运行在用户态的图像压缩程序（2）首先通过图形虚拟终端（1），读取操作系统当前RGB图像，并将其转化到RGB空间。以像素为单位，拆分原有图像为H（High） * W（Weight）相同的R矩阵、G矩阵和B矩阵，每个矩阵（即为本实施例中的原始输入矩阵）中单个元素的值使用浮点数表示，并且范围在[0,255]。
在本发明的一个实施例中，特征提取器，包括CNN卷积模块和RNN卷积模块；将原始输入矩阵输入至CNN卷积模块中进行特征提取得到第三特征矩阵；
基于门控循环单元GRU构建得到所述RNN卷积模块；其中，GNU，包括基于卷积神经网络单元的重置门和更新门；将第三特征矩阵输入至所述GRU中以通过重置门和更新门进行特征提取得到第一特征矩阵。
具体地，在上述步骤中得到的原始输入矩阵：R矩阵、G矩阵、B矩阵将作为参数输入到特征提取器Encoder，如图5所示，本发明中的Encoder位于图像压缩程序（2），由五组卷积模块构成，包含一组普通CNN卷积模块与四组RNN卷积模块。
可以理解的是，本发明中用于图像处理的RNN模型需要提前进行训练，训练数据集应该是目标图形操作系统中任何可能出现的系统图形输出范式。数据集覆盖场景越广泛，传输后图形的还原准确率就越高。由于RNN模型的训练流程大体相似，因此不再做详细赘述。
具体地，在CNN卷积模块在此处用作初次特征提取，单RNN卷积层则是基于门控循环单元（Gated Recurrent Unit，GRU）进行构建，本发明中的GNU（如图6所示）由具备卷积神经网络单元的重置门和更新门构成，重置门用于控制GNU内部神经网络上一时刻的内部状态，即神经网络的神经元需要遗忘多少信息。更新门控制当前时刻的内部状态，即有多少信息用于更新到当前神经元。上述所有卷积模块均采用H* W为3 *3的卷积核（Kernel）进行特征提取，卷积核在矩阵上移动的步长为2，因此每经过一层卷积模块，特征矩阵的H和W会缩小一半。并且最终卷积层的通道数（Channel）为512，意味着最终将会提取出一个第三维为512的特征矩阵，且每个矩阵的H和W会缩短为原有的1/32。即输入矩阵H * W *3成功被转化为了尺寸为 (H/32) * (W/32) *512的特征矩阵，即为本发明实施例的第一特征矩阵。
可以理解的是，上述步骤最终得到的第一特征矩阵相比原有输入矩阵所包含的数据已经显著减少，但仍然无法满足串口传输速率要求。
在本发明的一个实施例中，Encoder后衔接了一个Binarizer（如图7所示），Binarizer中内置一个尺寸为1 * 1的32通道卷积核，步长为1，在保持原有尺寸的同时，进一步精简特征矩阵尺寸为(H/32) * (W/32) * 32，并接入一个全连接层的神经网络。神经网络后置一个tanh激活函数，将输出矩阵中的值限制在值域[-1，1]，并将大于0的数值置1，小于0的数值置0。Binarizer最终输出一个(H/32) * (W/32) *32的二进制矩阵即为本实施例的第二特征矩阵。
进一步地，假设输入的RGB图像分辨率为1280 *1024，即原本需要传输1280 *1024 * 3（RGB通道） *8（像素值十进制转二进制） = 31457280 bits数据，约合3840 KB，转化后的图像需要传输40 * 32 * 32 = 40960 bits数据，约合5 KB，需要通过串口传输的数据相比原有缩减768倍，传输比为40960 / 115200 ≈ 0.357，可基本满足串口传输速率限制。
在本发明的一个实施例中，通过串口驱动封装第二特征矩阵得到封装数据；调用系统串口将封装数据传输至裸金属服务器的BIOS得到第一数据传输结果；基于第一数据传输结果通过BIOS配置的COM口将封装数据传输至裸金属服务器BMC的转发串口得到第二数据传输结果；基于第二数据传输结果将封装数据传输至SOL代理中以得到SOL代理信息。
具体地，图像压缩程序（2）输出一个(H/32)* (W/32) * 32的二进制特征矩阵后，通过串口驱动（3）封装二进制的IPMI-Over-LAN数据包，并调用系统串口（4）发送数据。数据经裸金属服务器BIOS（5）配置的COM口发送（6），并被重定向至BMC的转发串口（7）输出到SOL代理（8）。
在本发明的一个实施例中，基于TCP连接结果和SOL代理信息向客户端的数据接收和发送层转发封装数据；通过客户端的数据重组层重新编排重组封装数据以得到重组后的第二特征矩阵。
具体地，Client端与SOL代理建立TCP连接，Client的数据发送&接收层（9）接收自SOL代理转发的二进制数据，并通过数据重组层（10）重新编排二进制数据为原有(H/32) *(W/32) * 32特征矩阵，并输入到图像还原层（11）。
在本发明的一个实施例中，通过客户端的图像还原层接收所述重组后的第二特征矩阵；将重组后的第二特征矩阵输入至图像还原层中的特征解码器进行还原操作得到还原后的原始输入矩阵；其中，特征解码器，包括CNN转置卷积模块和RNN转置卷积模块。
具体地，本发明中的特征解码器Decoder位于Client端的图像还原层，包含两组CNN转置卷积模块和五组RNN转置卷积模块。通过首个CNN转置卷积模块时，(H/32) * (W/32) * 32的二进制特征矩阵会被还原为(H/32) * (W/32) * 512。每经过一次RNN卷积，特征矩阵会被执行一次Depth to Space（图8）操作，重组特征矩阵。特征矩阵的H及W会乘2，且Channel会减少一半。经过五组RNN转置卷积和Depth to Space操作后，特征矩阵被还原成输入Encoder时的RGB矩阵尺寸H * W *3。最后一组CNN卷积使用ReLU作为激活函数，近一步提升模型复杂度，并保障最终RGB矩阵中元素数值均为非负结果。最后对矩阵中的数值进行等比转换，以维持取值分布在值域[0,255]之内。
进一步地，图像渲染层（12）获取还原后的RGB图像矩阵，并根据矩阵中的像素值重新进行渲染，渲染完成后的图片输出到终端展示层（13）。
基于本发明实施例的即时传输及显示方法及模型，相比非图形操作系统终端信息传输流程，新增的图像压缩层及图像还原层会带来一定时间损耗，而时间损耗主要由图像压缩层及还原层的RNN模型复杂度决定。神经网络模型的时间复杂度主要体现在卷积层，全连接层、激活层、BatchNorm层、池化层等占比较少。
优选地，对于卷积层网络（conv），其浮点运算量（FLOPs）计算公式分别为：
FLOPs(conv)=2HoutWout(CinK 2 +1)Cout
其中Hout、Wout分别代表卷积层输入的高度及宽度，Cin为输入的通道数，K为卷积核尺寸，Cout为输出的通道数，+1是针对有bias的卷积。根据上述公式，假设转编码的图像尺寸仍然为1280（H） *1024（W），则本发明中涉及的图像压缩层（图5）对应的FLOPs约为16.315G，图像还原层（图5）对应的FLOPs约为6.751G。
图像压缩层单卷积层FLOPs计算过程如下：
Conv1 = 2 * 1280 * 1024（3*3 2 +1）16 ≈ 1.174 GFLOPs
Rconv1 = 2 * 640 * 512 （16*3 2 +1）32 ≈ 3.041 GFLOPs
Rconv2 = 2 * 320 * 256 （32*3 2 +1）64 ≈ 3.030 GFLOPs
Rconv3 = 2 * 160 * 128 （64*3 2 +1）128 ≈ 3.025 GFLOPs
Rconv4 = 2 * 80 * 64 （128*3 2 +1）512 ≈ 6.045 GFLOPs
图像还原层单卷积层FLOPs计算过程如下：
Conv1 = 2 * 40 * 32（512*2 2 +1）512 ≈ 2.686 GFLOPs
RConv1 = 2 * 40 * 32（512*3 2 +1）128 ≈ 1.510 GFLOPs
RConv2 = 2 * 80 * 64（128*3 2 +1）64 ≈ 0.756 GFLOPs
RConv3 = 2 * 160 * 128（64*3 2 +1）32 ≈ 0.756 GFLOPs
RConv4 = 2 * 320 * 256（32*3 2 +1）16 ≈ 0.758 GFLOPs
RConv5 = 2 * 640 * 512（16*3 2 +1）3 ≈ 0.285 GFLOPs
在本发明地一个实施例中，根据提供的标准Intel酷睿桌面端处理的每秒浮点运算次数（FLOPS）性能指标，以Intel i5 12500H处理器为参考，其GFLOPS指标达到480，计算负载与性能指标比约为0.036，这一比例远小于同图像尺寸压缩后的二进制矩阵经串口传输过程的传输比0.357 。此外，RNN训练及预测时间损耗还可以基于训练平台、模型并行度等因素进行优化，因此从性能角度来说，本发明中新增的图像压缩层及图像还原层所带来的时延并不会引起整个传输流程阻塞。
进一步地，针对于本发明Client端图像还原质量，本发明引用相关资料中基于JPEG420及GRU单元构造的RNN压缩算法所输出的部分图像压缩结果进行对比佐证。从图像还原度来看，基于GRU单元构造的RNN压缩算法至少能够达到JPEG420持平的图像还原水准，如图9所示。
根据本发明实施例的即时传输及显示方法，基于完整的基于SOL实现图形操作系统终端信息即时传输流程，并且设计具备压缩及还原图片能力的RNN模型，并拆分其编码和解码部分，分别内嵌于传输流程Server端和Client端，且新增的编码及解码部分带来的时间损耗不会造成性能瓶颈，Server端压缩编码部分对操作系统图像进行RGB分解，提取处图像的特征矩阵并进行二进制化，使其能够满足SOL传输过程中串口速率的限制，还能够根据接收的二进制特征矩阵进行RGB图像还原并输出到终端显示层，能够显著的提升特征图像还原的准确率。
为了实现上述实施例，如图10所示，本实施例中还提供了即时传输及显示装置10，该装置10包括，初始图像压缩模块100、图像特征提取模块200、特征矩阵还原模块300和像素渲染输出模块400。
初始图像压缩模块100，用于通过服务器端的图形虚拟终端读取操作系统的原始RGB图像，并通过图像压缩程序将所述原始RGB图像转化为原始输入矩阵；
图像特征提取模块200，用于将原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，并利用预设的网络模型对第一特征矩阵进行处理得到第二特征矩阵，以基于第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；
特征矩阵还原模块300，用于基于TCP连接结果将封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；
像素渲染输出模块400，用于根据还原后的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。
进一步地，特征提取器，包括CNN卷积模块和RNN卷积模块；上述图像特征提取模块200，还用于：
将原始输入矩阵输入至CNN卷积模块中进行特征提取得到第三特征矩阵；
基于门控循环单元GRU构建得到RNN卷积模块；其中，GNU，包括基于卷积神经网络单元的重置门和更新门；
将第三特征矩阵输入至GRU中以通过所述重置门和更新门进行特征提取得到第一特征矩阵。
进一步地，上述图像特征提取模块200，还用于：
基于多通道卷积核和全连接层的神经网络构建Binarizer网络模型；
将第一特征矩阵输入至Binarizer网络模型进行卷积操作以输出得到第二特征矩阵。
进一步地，在图像特征提取模块200之后，还包括，数据封装传输模块，用于：
通过串口驱动封装所述第二特征矩阵得到封装数据；
调用系统串口将封装数据传输至裸金属服务器的BIOS得到第一数据传输结果；
基于第一数据传输结果通过BIOS配置的COM口将封装数据传输至裸金属服务器BMC的转发串口得到第二数据传输结果；
基于第二数据传输结果将封装数据传输至SOL代理中以得到SOL代理信息。
进一步地，上述特征矩阵还原模块300，包括：
数据转发子单元，用于基于TCP连接结果和SOL代理信息向客户端的数据接收和发送层转发封装数据；
数据重组子单元，用于通过客户端的数据重组层重新编排重组封装数据以得到重组后的第二特征矩阵。
进一步地，上述特征矩阵还原模块300，还包括：
数据接收子单元，用于通过客户端的图像还原层接收重组后的第二特征矩阵；
特征解码子单元，用于将重组后的第二特征矩阵输入至图像还原层中的特征解码器进行还原操作得到还原后的原始输入矩阵；其中，特征解码器，包括CNN转置卷积模块和RNN转置卷积模块。
进一步地，上述特征解码子单元，还用于：
将重组后的第二特征矩阵输入至CNN转置卷积模块进行还原操作得到还原后的第一特征矩阵；
将还原后的第一特征矩阵输入至RNN转置卷积模块进行还原操作得到还原后的原始输入矩阵。
根据本发明实施例的即时传输及显示装置，基于完整的基于SOL实现图形操作系统终端信息即时传输流程，并且设计具备压缩及还原图片能力的RNN模型，并拆分其编码和解码部分，分别内嵌于传输流程Server端和Client端，且新增的编码及解码部分带来的时间损耗不会造成性能瓶颈，Server端压缩编码部分对操作系统图像进行RGB分解，提取处图像的特征矩阵并进行二进制化，使其能够满足SOL传输过程中串口速率的限制，还能够根据接收的二进制特征矩阵进行RGB图像还原并输出到终端显示层，能够显著的提升特征图像还原的准确率。
为了实现上述实施例的方法，本发明还提供了一种计算机设备，如图11所示，该计算机设备600包括存储器601、处理器602；其中，所述处理器602通过读取所述存储器601中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现上文所述方法的各个步骤。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如前述实施例所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

Claims (18)

1.一种即时传输及显示方法，其特征在于，所述方法包括：
通过服务器端的图形虚拟终端读取操作系统的原始RGB图像，并通过图像压缩程序将所述原始RGB图像转化为原始输入矩阵；
将所述原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，并利用预设的网络模型对所述第一特征矩阵进行处理得到第二特征矩阵，以基于所述第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；
基于所述TCP连接结果将所述封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；
根据还原后的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。
2.根据权利要求1所述的方法，其特征在于，所述特征提取器，包括CNN卷积模块和RNN卷积模块；将所述原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，包括：
将所述原始输入矩阵输入至CNN卷积模块中进行特征提取得到第三特征矩阵；
基于门控循环单元GRU构建得到所述RNN卷积模块；其中，所述GNU，包括基于卷积神经网络单元的重置门和更新门；
将所述第三特征矩阵输入至GRU中以通过所述重置门和更新门进行特征提取得到所述第一特征矩阵。
3.根据权利要求2所述的方法，其特征在于，利用预设的网络模型对所述第一特征矩阵进行处理得到第二特征矩阵，包括：
基于多通道卷积核和全连接层的神经网络构建Binarizer网络模型；
将所述第一特征矩阵输入至所述Binarizer网络模型进行卷积操作以输出得到所述第二特征矩阵。
4.根据权利要求3所述的方法，其特征在于，在得到所述第二特征矩阵之后，所述方法，还包括：
通过串口驱动封装所述第二特征矩阵得到封装数据；
调用系统串口将所述封装数据传输至裸金属服务器的BIOS得到第一数据传输结果；
基于所述第一数据传输结果通过BIOS配置的COM口将所述封装数据传输至裸金属服务器BMC的转发串口得到第二数据传输结果；
基于所述第二数据传输结果将所述封装数据传输至SOL代理中以得到SOL代理信息。
5.根据权利要求4所述的方法，其特征在于，基于所述TCP连接结果将所述封装数据进行数据重组以得到重组后的第二特征矩阵，包括：
基于所述TCP连接结果和SOL代理信息向客户端的数据接收和发送层转发所述封装数据；
通过客户端的数据重组层重新编排重组所述封装数据以得到重组后的第二特征矩阵。
6.根据权利要求5所述的方法，其特征在于，通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵，包括：
通过客户端的图像还原层接收所述重组后的第二特征矩阵；
将所述重组后的第二特征矩阵输入至所述图像还原层中的特征解码器进行还原操作得到还原后的原始输入矩阵；其中，所述特征解码器，包括CNN转置卷积模块和RNN转置卷积模块。
7.根据权利要求6所述的方法，其特征在于，将所述重组后的第二特征矩阵输入至所述图像还原层中的特征解码器进行还原操作得到还原后的原始输入矩阵，包括：
将所述重组后的第二特征矩阵输入至CNN转置卷积模块进行还原操作得到还原后的第一特征矩阵；
将还原后的第一特征矩阵输入至RNN转置卷积模块进行还原操作得到还原后的原始输入矩阵。
8.根据权利要求7所述的方法，其特征在于，所述RNN转置卷积模块为多组RNN转置卷积模块，所述还原后的第一特征矩阵在经过每组RNN转置卷积模块的RNN转置卷积后，并经过Depth to Space操作以得到所述还原后的原始输入矩阵。
9.根据权利要求3所述的方法，其特征在于，所述CNN卷积模块和RNN卷积模块的所有卷积模块均采用H *W为3 *3的卷积核进行特征提取，所述卷积核在矩阵上移动的步长为2；所述Binarizer网络模型中内置一个尺寸为1 * 1的32通道卷积核；在所述神经网络后置一个tanh激活函数。
10.一种即时传输及显示装置，其特征在于，包括：
初始图像压缩模块，用于通过服务器端的图形虚拟终端读取操作系统的原始RGB图像，并通过图像压缩程序将所述原始RGB图像转化为原始输入矩阵；
图像特征提取模块，用于将所述原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，并利用预设的网络模型对所述第一特征矩阵进行处理得到第二特征矩阵，以基于所述第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；
特征矩阵还原模块，用于基于所述TCP连接结果将所述封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；
像素渲染输出模块，用于根据还原后的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。
11.根据权利要求10所述的装置，其特征在于，所述特征提取器，包括CNN卷积模块和RNN卷积模块；所述图像特征提取模块，还用于：
将所述原始输入矩阵输入至CNN卷积模块中进行特征提取得到第三特征矩阵；
基于门控循环单元GRU构建得到所述RNN卷积模块；其中，所述GNU，包括基于卷积神经网络单元的重置门和更新门；
将所述第三特征矩阵输入至GRU中以通过所述重置门和更新门进行特征提取得到所述第一特征矩阵。
12.根据权利要求11所述的装置，其特征在于，所述图像特征提取模块，还用于：
基于多通道卷积核和全连接层的神经网络构建Binarizer网络模型；
将所述第一特征矩阵输入至所述Binarizer网络模型进行卷积操作以输出得到所述第二特征矩阵。
13.根据权利要求12所述的装置，其特征在于，在图像特征提取模块之后，还包括，数据封装传输模块，用于：
通过串口驱动封装所述第二特征矩阵得到封装数据；
调用系统串口将所述封装数据传输至裸金属服务器的BIOS得到第一数据传输结果；
基于所述第一数据传输结果通过BIOS配置的COM口将所述封装数据传输至裸金属服务器BMC的转发串口得到第二数据传输结果；
基于所述第二数据传输结果将所述封装数据传输至SOL代理中以得到SOL代理信息。
14.根据权利要求13所述的装置，其特征在于，所述特征矩阵还原模块，包括：
数据转发子单元，用于基于所述TCP连接结果和SOL代理信息向客户端的数据接收和发送层转发所述封装数据；
数据重组子单元，用于通过客户端的数据重组层重新编排重组所述封装数据以得到重组后的第二特征矩阵。
15.根据权利要求14所述的装置，其特征在于，所述特征矩阵还原模块，还包括：
数据接收子单元，用于通过客户端的图像还原层接收所述重组后的第二特征矩阵；
特征解码子单元，用于将所述重组后的第二特征矩阵输入至所述图像还原层中的特征解码器进行还原操作得到还原后的原始输入矩阵；其中，所述特征解码器，包括CNN转置卷积模块和RNN转置卷积模块。
16.根据权利要求15所述的装置，其特征在于，所述特征解码子单元，还用于：
将所述重组后的第二特征矩阵输入至CNN转置卷积模块进行还原操作得到还原后的第一特征矩阵；
将还原后的第一特征矩阵输入至RNN转置卷积模块进行还原操作得到还原后的原始输入矩阵。
17.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-9中任一项所述的即时传输及显示方法。
18.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一项所述的即时传输及显示方法。
CN202410001642.7A 2024-01-02 2024-01-02 即时传输及显示方法、装置、设备及存储介质 Active CN117492899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410001642.7A CN117492899B (zh) 2024-01-02 2024-01-02 即时传输及显示方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410001642.7A CN117492899B (zh) 2024-01-02 2024-01-02 即时传输及显示方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117492899A true CN117492899A (zh) 2024-02-02
CN117492899B CN117492899B (zh) 2024-04-09

Family

ID=89671251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410001642.7A Active CN117492899B (zh) 2024-01-02 2024-01-02 即时传输及显示方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117492899B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298346A (zh) * 2019-05-23 2019-10-01 平安科技（深圳）有限公司 基于可分割卷积网络的图像识别方法、装置及计算机设备
CN116405692A (zh) * 2023-03-31 2023-07-07 深圳软牛科技有限公司 一种基于云端抠图的传输方法和相关设备
CN117201693A (zh) * 2023-11-01 2023-12-08 长春汽车工业高等专科学校 一种物联网图像压缩方法、装置、终端设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298346A (zh) * 2019-05-23 2019-10-01 平安科技（深圳）有限公司 基于可分割卷积网络的图像识别方法、装置及计算机设备
CN116405692A (zh) * 2023-03-31 2023-07-07 深圳软牛科技有限公司 一种基于云端抠图的传输方法和相关设备
CN117201693A (zh) * 2023-11-01 2023-12-08 长春汽车工业高等专科学校 一种物联网图像压缩方法、装置、终端设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢小军;苏涛;: "基于矢量量化压缩密集连接层的图像压缩研究", 信息技术, no. 04, 16 April 2020 (2020-04-16) *

Also Published As

Publication number Publication date
CN117492899B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
CN102668495A (zh) 低延时传输协议的方法和系统
CN108563517A (zh) 系统接口的调用方法及装置
CN109040786B (zh) 摄像头数据的传输方法、装置、系统及存储介质
US20230118176A1 (en) Data transmission method and apparatus, computer-readable storage medium, electronic device, and computer program product
CN113489805B (zh) 一种云桌面系统的对接方法、装置、设备及存储介质
WO2024060663A1 (zh) 三维模型场景交互方法、系统、设备、装置、存储介质及计算机程序产品
EP3962091A1 (en) Methods and systems for maintaining quality of experience in real-time live video streaming
US20230023369A1 (en) Video processing method, video processing apparatus, smart device, and storage medium
CN115170711A (zh) 一种基于云渲染的高仿真数字工厂展示方法
CN115767092A (zh) 图像传输方法、云桌面及图像传输系统、设备及产品
CN110740352B (zh) 显卡透传环境下基于spice协议的差异图像显示方法
CN113973224B (zh) 媒体信息的传输方法、计算设备及存储介质
US11539919B1 (en) Dynamic cloud video composition
CN117492899B (zh) 即时传输及显示方法、装置、设备及存储介质
CN113327303A (zh) 图像处理方法、装置、计算机设备及存储介质
CN114268626A (zh) 窗口处理系统、方法以及装置
CN105025359A (zh) 一种基于spice协议的远程视频显示方法及系统
WO2011106937A1 (zh) 一种图像编码方法和装置
CN112445624A (zh) 一种面向任务的gpu资源优化配置方法及装置
CN111800455A (zh) 一种基于局域网内不同主机数据源共享卷积神经网络的方法
CN107506232A (zh) 一种图片获取方法及系统
CN114448652B (zh) 进行加密通信的方法、装置、设备和存储介质
CN114707646B (zh) 基于远程推理的分布式人工智能实践平台
CN116320536B (zh) 视频处理方法、装置、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant