CN112559099B - 基于用户行为的远程图像显示方法、装置、系统及存储介质 - Google Patents
基于用户行为的远程图像显示方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN112559099B CN112559099B CN202011398071.3A CN202011398071A CN112559099B CN 112559099 B CN112559099 B CN 112559099B CN 202011398071 A CN202011398071 A CN 202011398071A CN 112559099 B CN112559099 B CN 112559099B
- Authority
- CN
- China
- Prior art keywords
- user behavior
- remote image
- image
- user
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000005540 biological transmission Effects 0.000 claims abstract description 61
- 238000005070 sampling Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000013526 transfer learning Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000013144 data compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及远程图像传输显示领域，具体涉及一种基于用户行为的远程图像显示方法、装置、系统及存储介质；方法包括：利用数据集生成预设用户行为类别的场景采样图，标注标签训练生成预测模型；获取预设时序长度的采用图片，通过特征提取器提取所述预设时序长度的采用图片，输出特征序列；将所述特征序列输入循环神经网络进行分类，结合预测模型确定用户行为类别；根据所述用户行为类别确定远程图像传输显示配置。本发明实施例通过对用户行为分析匹配出最适合当前用户应用场景的传输显示配置，并随着用户持续的操作进行动态调整，能够有效针对每个用户提升远程图像传输显示质量。
Description
技术领域
本发明涉及远程图像传输显示领域，具体涉及一种基于用户行为的远程图像显示方法、装置、系统及存储介质。
背景技术
随着云计算时代的来临，企业员工通过客户端访问虚拟桌面或者虚拟应用完成日常办公、研发生产等工作将成为趋势，这种云端访问的方式可以给企业或组织带来设备集中管理、资源高效利用、数据统一授权等方面的优势。
远程图像显示技术将运行在远程数据中心的虚拟桌面或应用与本地终端设备相连接，通过16或32个虚拟通道分别传输各种输入输出等I/O设备的数据，运行在远程数据中心服务器上的应用运行环境的输入输出数据重新定向到远端终端设备的输入输出设备上，因此虽然应用客户端软件并没有运行在本地终端设备上，但是用户使用起来和在客户端安装运行客户端软件相比，没有感觉任何操作上的改变。为了提高终端用户的实际体验，远程图像显示技术需要包含数据交换协议、数据压缩技术、加密和连接优化等一系列技术，在不同的使用场景下合理在服务器和客户端之间进行信息的传递，这些数据被放入虚拟通道中被优先级排序打包传递，协议可以针对单独的虚拟通道进行控制，从而为用户的访问和使用带来了细粒度的控制。在用户使用远程平台进行交互操作的过程中对数据传输的内容进行采样，并通过采样对用户行为模式进行分析，智能识别用户的使用场景，可以不断优化数据交互协议、数据压缩模式选择、加密算法等技术参数，同时也可以有效控制虚拟通道的打开与关闭，进一步优化资源的利用以降低传输的时延消耗。
现有技术中一般仅仅提供了固定场景下的适应方法，比如通过检测网络带宽与时延控制调整有损压缩算法、通过策略配置来提供不同的显示质量、通过重用有限的缓存结合图像变化的增量来降低网络带宽的使用。但是上述方法为针对所有用户均采用相同或类似的策略，在服务使用场景明显不同的用户时也无法及时更新相应的参数，并且所有的调整均基于当前检测或识别的结果，无法对于用户较长期的行为有效地进行连贯性分析，导致了复杂用户场景在低带宽、高延迟广域网、不稳定的3G/4G移动网络环境下图像传输质量受损。
因此，相较于传统本地访问的模式，现有技术中远程访问显示图像技术尤其是通过广域网访问虚拟桌面时会受到网络带宽等外在环境因素的限制，往往会出现交互操作延时、图像丢帧、颜色失真等问题从而导致用户体验下降；而且，现有技术中有关与远程图像传输显示技术研究方向主要集中在图像传输技术协议本身对在不同软硬件环境与用户操作场景下的优化。
发明内容
鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种基于用户行为的远程图像显示方法、装置、系统及存储介质，能够基于用户持续的操作动态调整传输方式，有效针对每个用户提升远程图像传输质量。
作为本发明实施例的一个方面，提供了一种基于用户行为的远程图像显示方法，所述远程图像显示方法包括：
利用数据集生成与预设用户行为类别对应的采样图像，标注标签训练生成预测模型；
获取预设时序长度的用户操作图像，通过特征提取器提取所述预设时序长度的用户操作图像的图像特征，输出特征序列；
将所述特征序列输入循环神经网络进行分类，结合预测模型确定用户行为类别；
根据所述用户行为类别确定远程图像传输显示配置。
进一步地，所述方法还包括：
获取与所述用户操作图像相对应的用户操作交互信息以及多媒体音频流；
结合所述循环神经网络分类结果的置信度修正所述用户行为类别。
进一步地，所述“获取预设时序长度的用户操作图像，通过特征提取器提取所述预设时序长度的用户操作图像的图像特征，输出特征序列”的步骤包括：
按照预设采样频率获取用户操作图像，将预设时序长度的用户操作图像进行裁剪缩放，按照预设尺寸存储所述用户操作图像；
采用ResNet网络作为特征提取器提取所述用户操作图像的特征，所述ResNet网络经过激活函数的卷积层并通过最大池化层对卷积的结果进行池化，利用全连接层定义预设特征维度对应的用户行为类别；
输出预设时序长度的预设特征维度的特征序列。
进一步地，所述“将所述特征序列输入循环神经网络进行分类，结合预测模型确定用户行为类别”的步骤包括：
将所述特征序列作为LSTM网络的输入，预设隐藏层、序列长度及dropout值，将输出的隐藏层输入最后的全连接层，并以激活函数对输入的特征序列进行分类预测。
进一步地，所述“利用数据集生成与预设用户行为类别对应的采样图像，标注标签训练生成预测模型”的步骤包括：
基于ImageNet数据集进行图像分类，训练预训练模型；
在预训练模型基础上，生成与预设用户行为类别相对应的场景的采样图像，并标注标签进行迁移学习模型训练，生成预测模型；或者
基于远程图像实际显示的内容截取预设数量的采样图像进行基于卷积神经网络的迁移学习模型训练，生成预测模型。
进一步地，所述预设用户行为类别至少包括轻量级桌面应用、文字表格幻灯片处理应用、三维设计及图像渲染应用、多媒体音视频应用及混合应用或未定义应用。
进一步地，所述“根据所述用户行为类别确定远程图像传输显示配置”的步骤包括：
当用户行为类别为轻量级桌面应用时，远程图像传输显示配置调整为将客户端缓存提升至第一预设数值；
当用户行为类别为文字表格幻灯片处理应用时，远程图像传输显示配置调整为增加压缩效率，并在预设范围内降低最大图像质量参数及帧率，降低所述用户占用的平均带宽；
当用户行为类别为三维设计及图像渲染应用时，远程图像传输显示配置调整为默认开启无损图像，先发送初始图像组成到客户端，然后构建感觉上无损图像，预设时间后再逐步构建完全无损的图像；
当用户行为类别为多媒体音视频应用时，远程图像传输显示配置调整为选择UDP作为传输协议，同时设置语音通信占据的带宽在第二预设数值以下。
作为本发明实施例的又一方面，提供一种基于用户行为的远程图像显示装置，所述远程图像显示装置包括：
预测模型创建模块：用于利用数据集生成与预设用户行为类别对应的采样图像，标注标签训练生成预测模型；
特征提取模块：用于获取预设时序长度的用户操作图像，通过特征提取器提取所述预设时序长度的用户操作图像的图像特征，输出特征序列；
用户行为识别模块：用于将所述特征序列输入循环神经网络进行分类，结合预测模型确定用户行为类别；
传输显示配置模块：用于根据所述用户行为类别确定远程图像传输显示配置。
作为本发明实施例的再一方面，提供了一种基于用户行为的远程图像显示系统，所述基于用户行为的远程图像显示系统包括：存储器、处理器，通信总线以及存储在所述存储器上的基于用户行为的远程图像显示程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述基于用户行为的远程图像显示程序，以实现如上述任意实施例所述的基于用户行为的远程图像显示方法的步骤。
作为本发明实施例的另一方面，提供了一种存储介质，所述存储介质上至少存储有基于用户行为的远程图像显示程序，所述基于用户行为的远程图像显示程序被处理器执行时实现如上述任意实施例所述基于用户行为的远程图像显示方法的步骤。
本发明实施例至少实现了如下部分技术效果：
本发明实施例提供了一种基于用户行为分析的智能化远程图像传输技术，通过分析采样用户设定时间段内的操作习惯与行为模式数据，结合深度学习算法自动匹配最合适的远程图像传输协议参数，能够根据不用的用户应用场景智能配置传输显示配置，保证传输速度的同时满足显示质量的要求，提升用户体验。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所记载的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明一实施例的基于用户行为的远程图像显示方法流程图；
图2为本发明一实施例的基于用户行为的远程图像显示方法示意图；
图3为本发明一实施例基于用户行为的远程图像显示装置示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
附图和以下说明描述了本发明的可选实施方式以教导本领域技术人员如何实施和再现本发明。为了教导本发明技术方案，已简化或省略了一些常规方面。本领域技术人员应该理解源自这些实施方式的变型或替换将落在本发明的保护范围内。本领域技术人员应该理解下述特征能够以各种方式组合以形成本发明的多个变型。由此，本发明并不局限于下述可选实施方式，而仅由权利要求和它们的等同物限定。
在为用户提供远程图像应用服务时，用户往往从流畅度、响应速度、音视频清晰度以及用户密度这4个指标对服务提供商提供的服务质量进行评价，而上述指标的主要受主机配置、网络质量、远程图像传输协议的影响，其中远程图像传输协议是最为关键的因素。
本发明实施例为基于用户的行为对远程图像传输协议进行优化配置，采用基于采样信息的时序循环神经网络算法，优选地为ResNet及LSTM结合，对用户行为进行分类，并能够根据对未来一段时间场景类别预测用户的行为，充分基于采样样本的大量特征值训练出对应的特征参数，从而实现用户场景的预测。
在一个实施例中,提供一种基于用户行为的远程图像显示方法，如图1所示，所述远程图像显示方法包括：
S11利用数据集生成与预设用户行为类别对应的采样图像，标注标签训练生成预测模型；
S12获取预设时序长度的用户操作图像，通过特征提取器提取所述预设时序长度的用户操作图像的图像特征，输出特征序列；
S13将所述特征序列输入循环神经网络进行分类，结合预测模型确定用户行为类别；
S14根据所述用户行为类别确定远程图像传输显示配置。
本实施例将具体场景识别方法以及图像传输显示的动态配置方法相结合将其用于远程图像传输协议优化方法，降低传输的时延消耗，提高传输速度及显示质量，提升用户体验，并随着用户持续的操作进行动态调整，有效针对每个用户提升远程图像传输质量。
在一个实施例中，可以用ImageNet ILSVRC2012数据集中的分类数据集进行训练，还可以通过其他的数据集，优选地，所述S11包括：基于ImageNet数据集进行图像分类，训练预训练模型；在预训练模型基础上，生成与预设用户行为类别相对应的场景的采样图像，并标注标签进行迁移学习模型训练，生成预测模型；其中，ImageNet数据集为ImageNetILSVRC2012的120万张图像，用于预训练，可以通过手动生产采样图像，每类场景中的采样图像不少于100张典型的采样图，每类场景根据预设用户行为类别确定，可以根据应用场景进行人为划分，也可以根据其他方式进行划分；迁移学习模型可以是基于卷积神经网络。
其中，所述S11也可以直接基于远程图像实际显示的内容截取预设数量的采样图像进行基于卷积神经网络的迁移学习模型训练，生成预测模型；即也可以不设置预训练数据集，迁移学习的数据集前期手动截取，尽可能包含多种场景。
优选地，所述预设用户行为类别至少包括轻量级桌面应用、文字表格幻灯片处理应用、三维设计及图像渲染应用、多媒体音视频应用及混合应用或未定义应用。
在一个实施例中，所述S12包括：
按照预设采样频率获取用户操作图像，将预设时序长度的用户操作图像进行裁剪缩放，按照预设尺寸存储所述用户操作图像；
采用ResNet网络作为特征提取器提取所述用户操作图像的特征，所述ResNet网络经过激活函数的卷积层并通过最大池化层对卷积的结果进行池化，利用全连接层定义预设特征维度对应的用户行为类别；
输出预设时序长度的预设特征维度的特征序列。
在本实施例中，采样的内容为获取操作内容对应的图像，采样频率及预设尺寸根据具体需要进行设置，优选地采样频率为5秒/张，即每分钟采样12张，预设时序长度为12，采样的图片经过裁剪缩放之后优选地统一按照224*224的预设尺寸大小存储；本实施例优选地通过对1分钟内用户操作图像进行特征提取，从而实现基于时间序列分析用户应用情景，其中优选的时序长度的设置能够在保证推理速度的同时，提高提取的精度；本实施例中特征维度是根据需要分类的场景数量而定，特征维度的数量与用户行为类别相对应，其可以人为定义，可以是上述实施例中5个特征维度，也可以定义更多特征维度。
ResNet(Residual Neural Network)为残差网络，主要思想是在神经网络中增加了直连通道并提出残差学习的思想，在一定程度上解决了一般深度神经网络的梯度消失或者梯度爆炸问题，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。本实施例中，使用ResNet网络作为特征提取器进行一次性提取，激活函数可以是relu激活函数。
在一个实施例中，所述S12包括：
将所述特征序列作为LSTM网络的输入，预设隐藏层、序列长度及dropout值，将输出的隐藏层输入最后的全连接层，并以激活函数对输入的特征序列进行分类预测。
其中，LSTM(Long Short-Term Memory)为长短期记忆网络，是一种时间循环神经网络，是为了解决一般的循环神经网络存在的长期依赖问题而专门设计出来的，将所有的循环神经网络都加上一种重复神经网络模块的链式形式。
在本实施例中，基于深度神经网络算法的用户远程图像操作行为模式分类方法对采样的用户显示界面的信息进行分析，设计一种远程图像传输协议的配置方法实现了完整的一套智能远程图像显示技术；其示意图可以参考图2所示，其中T0、T1、T2表示不同的时间节点，从t0到t2，Δt表示时间的增量。根据图像采用等的输入确定用户行为类型，从而实现动态调整传输配置。
LSTM优选的初始配置值可以设定隐藏层为128层，序列长度为12，LSTM的dropout值为0.5，具体地可以根据实际情况调参；其中的激活函数可以是默认的sigmod激活函数，也可以采用其他激活函数替换。
在本实施例中，S14根据不同的用户行为类别设置不同的远程图像传输显示配置，优选地，当用户行为类别为轻量级桌面应用时，远程图像传输显示配置调整为将客户端缓存提升至第一预设数值；其中第一预设数值可以是300M，如果网络带宽或服务端资源受限，由于用户行为类别为轻量级桌面应用的情况下，页面内容较为单一，通过加大客户端缓存提升到300M以上，能够减少数据流在网络的传输量；当用户行为类别为文字表格幻灯片处理应用时，远程图像传输显示配置调整为增加压缩效率，并在预设范围内降低最大图像质量参数及帧率，降低所述用户占用的平均带宽；在大量用户均是使用文字表格等应用的场景下，可以通过选用压缩效率较高的图像压缩算法，适当降低最大图像质量参数，降低帧率，实现降低每位用户占用的平均带宽；当用户行为类别为三维设计及图像渲染应用时，远程图像传输显示配置调整为默认开启无损图像，先发送初始图像组成到客户端，然后构建感觉上无损图像，预设时间后再逐步构建完全无损的图像；当用户行为类别为多媒体音视频应用时，远程图像传输显示配置调整为选择UDP作为传输协议，同时设置语音通信占据的带宽在第二预设数值以下，其中，第二预设数值可以为100Kbps。进一步地，当用户行为类别为混合应用模式或未定义时，可以根据具体的应用进行调整。
本实施例通过识别不同用户行为类别，动态调整图像传输显示配置，从而提升远程图像传输质量。
在一个实施例中，所述方法还包括：获取与所述用户操作图像相对应的用户操作交互信息以及多媒体音频流；结合所述循环神经网络分类结果的置信度修正所述用户行为类别。具体步骤包括：
S21生成每类场景不少于100张采样图像，并标注5类标签进行迁移学习模型训练，生成预测模型；
S22设置5秒/张的采样频率，获取用户操作图像，将预设时序长度12的用户操作图像进行裁剪缩放，按照预设尺寸224*224存储；采用ResNet网络提取所述用户操作图像的特征，所述ResNet网络经过relu激活函数的卷积层并通过最大池化层对卷积的结果进行池化，利用全连接层定义5个特征维度分别对应用户的5类用户行为类别；输出时序长度为12的5维特征序列。
S23将所述特征序列作为LSTM网络的输入，设定隐藏层为128层，序列长度设置为12，LSTM的dropout值设置为0.5，将输出的隐藏层输入最后的全连接层，并以sigmoid激活函数对输入的特征序列进行分类预测。
S24在ResNet与LSTM网络分类的基础上，结合用户操作交互信息以及多媒体音频流的采样对用户行为类别与远程图像传输显示配置对应关系的规则定义，在LSTM网络分类结果的可信度低于50％时，根据用户是否接受到多媒体声音流信息判断用户的多媒体应用场景，修正输出的用户行为类型；
S25根据确定的用户行为类别动态调整远程图像传输显示配置。
在本实施例中，通过ResNet网络模型对用户操作进行特征分析，再通过LSTM神经网络及预测模型输出用户操作对应的用户行为；其中，用户操作主要包括鼠标移动、点击、键盘输入等等；神经网络算法输出层采用softmax函数分类器，可以根据给出分类结果的可信值进行置信度的判断，设置置信度阈值，例如当置信度阈值大于50％时，直接输出预测的用户行为，置信度阈值不大于50％时，根据用户是否接受到多媒体声音流信息判断用户的多媒体应用场景，从而实现对用户的行为分类进行进一步的修正”，例如，如果在网络传输中监测到连续多媒体信息，如果神经网络算法识别出的算法可信值均低于50％，或者识别为混合应用模式或未定义模式，则可以输出为用户行为类别为多媒体音视频应用。
本发明上述实施例为基于操作内容采样的进行用户行为分析，根据用户行为开发了一种基于时间序列分析的算法，能够有效地对用户的行为进行识别和归类，并且随着时间不断修正所预测的结果；并且能够基于预测的未来用户行为的智能远程图像动态显示技术及其配置方法，上述用户行为的预测结果动态选择图像压缩算法、传输协议，实现在不增加主机硬件投入的基础上，在一定的网络质量水平下，针对每个用户每次连接的个性化配置提升远程图像传输质量。
基于同一发明构思，本发明实施例还提供了一种基于用户行为的远程图像显示装置、一种基于用户行为的远程图像显示系统及存储介质，由于其所解决问题的原理与前述实施例的一种基于用户行为的远程图像显示方法相似，因此一种基于用户行为的远程图像显示装置、一种基于用户行为的远程图像显示系统及存储介质的实施可以参见前述一种基于用户行为的远程图像显示方法的实施例，重复之处不再赘述。
在一个实施例中提供一种基于用户行为的远程图像显示装置，如图3所示，所述远程图像显示装置包括：
预测模型创建模块11：用于利用数据集生成与预设用户行为类别对应的采样图像，标注标签训练生成预测模型；
特征提取模块12：用于获取预设时序长度的用户操作图像，通过特征提取器提取所述预设时序长度的用户操作图像的图像特征，输出特征序列；
用户行为识别模块13：用于将所述特征序列输入循环神经网络进行分类，结合预测模型确定用户行为类别；
传输显示配置模块14：用于根据所述用户行为类别确定远程图像传输显示配置。
在一个实施例中提供一种基于用户行为的远程图像显示系统，所述基于用户行为的远程图像显示系统包括：存储器、处理器，通信总线以及存储在所述存储器上的基于用户行为的远程图像显示程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述基于用户行为的远程图像显示程序，以实现如上述任意实施例所述的基于用户行为的远程图像显示方法的步骤。
在一个实施例中提供一种存储介质，所述存储介质上至少存储有基于用户行为的远程图像显示程序，所述基于用户行为的远程图像显示程序被处理器执行时实现如上述任意实施例所述基于用户行为的远程图像显示方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种基于用户行为的远程图像显示方法，其特征在于，所述远程图像显示方法包括：利用数据集生成与预设用户行为类别对应的采样图像，标注标签训练生成预测模型；
获取预设时序长度的用户操作图像，通过特征提取器提取所述预设时序长度的用户操作图像的图像特征，输出特征序列；
将所述特征序列输入循环神经网络进行分类，结合预测模型确定用户行为类别；
根据所述用户行为类别确定远程图像传输显示配置；
其中，所述根据所述用户行为类别确定远程图像传输显示配置的步骤包括：当用户行为类别为轻量级桌面应用时，远程图像传输显示配置调整为将客户端缓存提升至第一预设数值；
当用户行为类别为文字表格幻灯片处理应用时，远程图像传输显示配置调整为增加压缩效率，并在预设范围内降低最大图像质量参数及帧率，降低所述用户占用的平均带宽；
当用户行为类别为三维设计及图像渲染应用时，远程图像传输显示配置调整为默认开启无损图像，先发送初始图像组成到客户端，然后构建感觉上无损图像，预设时间后再逐步构建完全无损的图像；
当用户行为类别为多媒体音视频应用时，远程图像传输显示配置调整为选择UDP作为传输协议，同时设置语音通信占据的带宽在第二预设数值以下。
2.如权利要求1所述基于用户行为的远程图像显示方法，其特征在于，所述方法还包括：
获取与所述用户操作图像相对应的用户操作交互信息以及多媒体音频流；
结合所述循环神经网络分类结果的置信度修正所述用户行为类别。
3.如权利要求1所述基于用户行为的远程图像显示方法，其特征在于，所述获取预设时序长度的用户操作图像，通过特征提取器提取所述预设时序长度的用户操作图像的图像特征，输出特征序列的步骤包括：按照预设采样频率获取用户操作图像，将预设时序长度的用户操作图像进行裁剪缩放，按照预设尺寸存储所述用户操作图像；
采用ResNet网络作为特征提取器提取所述用户操作图像的特征，所述ResNet网络经过激活函数的卷积层并通过最大池化层对卷积的结果进行池化，利用全连接层定义预设特征维度对应的用户行为类别；
输出预设时序长度的预设特征维度的特征序列。
4.如权利要求1所述基于用户行为的远程图像显示方法，其特征在于，所述将所述特征序列输入循环神经网络进行分类，结合预测模型确定用户行为类别的步骤包括：将所述特征序列作为LSTM网络的输入，预设隐藏层、序列长度及dropout值，将输出的隐藏层输入最后的全连接层，并以激活函数对输入的特征序列进行分类预测。
5.如权利要求1所述基于用户行为的远程图像显示方法，其特征在于，所述利用数据集生成与预设用户行为类别对应的采样图像，标注标签训练生成预测模型的步骤包括：基于ImageNet数据集进行图像分类，训练预训练模型；
在预训练模型基础上，生成与预设用户行为类别相对应的场景的采样图像，并标注标签进行迁移学习模型训练，生成预测模型；或者基于远程图像实际显示的内容截取预设数量的采样图像进行基于卷积神经网络的迁移学习模型训练，生成预测模型。
6.如权利要求5所述基于用户行为的远程图像显示方法，其特征在于，所述预设用户行为类别至少包括轻量级桌面应用、文字表格幻灯片处理应用、三维设计及图像渲染应用、多媒体音视频应用及混合应用或未定义应用。
7.一种基于用户行为的远程图像显示装置，其特征在于，所述远程图像显示装置基于权利要求1-6任意一项所述的远程图像显示方法，所述远程图像显示装置包括：预测模型创建模块：用于利用数据集生成与预设用户行为类别对应的采样图像，标注标签训练生成预测模型；
特征提取模块：用于获取预设时序长度的用户操作图像，通过特征提取器提取所述预设时序长度的用户操作图像的图像特征，输出特征序列；
用户行为识别模块：用于将所述特征序列输入循环神经网络进行分类，结合预测模型确定用户行为类别；
传输显示配置模块：用于根据所述用户行为类别确定远程图像传输显示配置。
8.一种基于用户行为的远程图像显示系统，其特征在于，所述基于用户行为的远程图像显示系统包括：存储器、处理器，通信总线以及存储在所述存储器上的基于用户行为的远程图像显示程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述基于用户行为的远程图像显示程序，以实现如权利要求1至6中任意一项所述的基于用户行为的远程图像显示方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上至少存储有基于用户行为的远程图像显示程序，所述基于用户行为的远程图像显示程序被处理器执行时实现如权利要求1至6中任一项所述基于用户行为的远程图像显示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011398071.3A CN112559099B (zh) | 2020-12-04 | 2020-12-04 | 基于用户行为的远程图像显示方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011398071.3A CN112559099B (zh) | 2020-12-04 | 2020-12-04 | 基于用户行为的远程图像显示方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112559099A CN112559099A (zh) | 2021-03-26 |
| CN112559099B true CN112559099B (zh) | 2024-02-27 |
Family
ID=75047747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011398071.3A Active CN112559099B (zh) | 2020-12-04 | 2020-12-04 | 基于用户行为的远程图像显示方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112559099B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999026126A1 (en) * | 1997-11-17 | 1999-05-27 | British Telecommunications Public Limited Company | User interface |
| CN104978406A (zh) * | 2015-06-11 | 2015-10-14 | 中国科学院自动化研究所 | 互联网络平台的用户行为分析方法 |
| CN106535133A (zh) * | 2016-11-11 | 2017-03-22 | 天津大学 | 一种基于机器学习的蜂窝网络中室内话务精确定位方法 |
| CN107491560A (zh) * | 2017-09-20 | 2017-12-19 | 广东欧珀移动通信有限公司 | 页面图片显示方法、装置、存储介质、服务器及移动终端 |
| CN107609598A (zh) * | 2017-09-27 | 2018-01-19 | 武汉斗鱼网络科技有限公司 | 图像鉴别模型训练方法、装置及可读存储介质 |
| CN107944915A (zh) * | 2017-11-21 | 2018-04-20 | 北京深极智能科技有限公司 | 一种游戏用户行为分析方法及计算机可读存储介质 |
| CN108364028A (zh) * | 2018-03-06 | 2018-08-03 | 中国科学院信息工程研究所 | 一种基于深度学习的互联网网站自动分类方法 |
| CN108668008A (zh) * | 2018-03-30 | 2018-10-16 | 广东欧珀移动通信有限公司 | 电子装置、显示参数调整方法及相关产品 |
| CN109241711A (zh) * | 2018-08-22 | 2019-01-18 | 平安科技（深圳）有限公司 | 基于预测模型的用户行为识别方法及装置 |
| CN109741065A (zh) * | 2019-01-28 | 2019-05-10 | 广州虎牙信息科技有限公司 | 一种支付风险识别方法、装置、设备及存储介质 |
| JP2019078875A (ja) * | 2017-10-24 | 2019-05-23 | キヤノン株式会社 | 画像表示装置、その調整方法及びプログラム |
| CN110233971A (zh) * | 2019-07-05 | 2019-09-13 | Oppo广东移动通信有限公司 | 一种拍摄方法及终端、计算机可读存储介质 |
| CN110647921A (zh) * | 2019-09-02 | 2020-01-03 | 腾讯科技（深圳）有限公司 | 一种用户行为预测方法、装置、设备及存储介质 |
| CN110689166A (zh) * | 2019-09-02 | 2020-01-14 | 中国平安人寿保险股份有限公司 | 一种基于随机梯度下降算法的用户行为分析方法及装置 |
| CN110910199A (zh) * | 2019-10-16 | 2020-03-24 | 中国平安人寿保险股份有限公司 | 项目信息的排序方法、装置、计算机设备及存储介质 |
| CN111354024A (zh) * | 2020-04-10 | 2020-06-30 | 深圳市五元科技有限公司 | 关键目标的行为预测方法、ai服务器及存储介质 |
| CN111708944A (zh) * | 2020-06-17 | 2020-09-25 | 北京达佳互联信息技术有限公司 | 多媒体资源识别方法、装置、设备及存储介质 |
| CN111814977A (zh) * | 2020-08-28 | 2020-10-23 | 支付宝(杭州)信息技术有限公司 | 训练事件预测模型的方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10129211B2 (en) * | 2011-09-15 | 2018-11-13 | Stephan HEATH | Methods and/or systems for an online and/or mobile privacy and/or security encryption technologies used in cloud computing with the combination of data mining and/or encryption of user's personal data and/or location data for marketing of internet posted promotions, social messaging or offers using multiple devices, browsers, operating systems, networks, fiber optic communications, multichannel platforms |
| US10147200B2 (en) * | 2017-03-21 | 2018-12-04 | Axis Ab | Quality measurement weighting of image objects |
| US10606982B2 (en) * | 2017-09-06 | 2020-03-31 | International Business Machines Corporation | Iterative semi-automatic annotation for workload reduction in medical image labeling |
-
2020
- 2020-12-04 CN CN202011398071.3A patent/CN112559099B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999026126A1 (en) * | 1997-11-17 | 1999-05-27 | British Telecommunications Public Limited Company | User interface |
| CN104978406A (zh) * | 2015-06-11 | 2015-10-14 | 中国科学院自动化研究所 | 互联网络平台的用户行为分析方法 |
| CN106535133A (zh) * | 2016-11-11 | 2017-03-22 | 天津大学 | 一种基于机器学习的蜂窝网络中室内话务精确定位方法 |
| CN107491560A (zh) * | 2017-09-20 | 2017-12-19 | 广东欧珀移动通信有限公司 | 页面图片显示方法、装置、存储介质、服务器及移动终端 |
| CN107609598A (zh) * | 2017-09-27 | 2018-01-19 | 武汉斗鱼网络科技有限公司 | 图像鉴别模型训练方法、装置及可读存储介质 |
| JP2019078875A (ja) * | 2017-10-24 | 2019-05-23 | キヤノン株式会社 | 画像表示装置、その調整方法及びプログラム |
| CN107944915A (zh) * | 2017-11-21 | 2018-04-20 | 北京深极智能科技有限公司 | 一种游戏用户行为分析方法及计算机可读存储介质 |
| CN108364028A (zh) * | 2018-03-06 | 2018-08-03 | 中国科学院信息工程研究所 | 一种基于深度学习的互联网网站自动分类方法 |
| CN108668008A (zh) * | 2018-03-30 | 2018-10-16 | 广东欧珀移动通信有限公司 | 电子装置、显示参数调整方法及相关产品 |
| CN109241711A (zh) * | 2018-08-22 | 2019-01-18 | 平安科技（深圳）有限公司 | 基于预测模型的用户行为识别方法及装置 |
| CN109741065A (zh) * | 2019-01-28 | 2019-05-10 | 广州虎牙信息科技有限公司 | 一种支付风险识别方法、装置、设备及存储介质 |
| CN110233971A (zh) * | 2019-07-05 | 2019-09-13 | Oppo广东移动通信有限公司 | 一种拍摄方法及终端、计算机可读存储介质 |
| CN110647921A (zh) * | 2019-09-02 | 2020-01-03 | 腾讯科技（深圳）有限公司 | 一种用户行为预测方法、装置、设备及存储介质 |
| CN110689166A (zh) * | 2019-09-02 | 2020-01-14 | 中国平安人寿保险股份有限公司 | 一种基于随机梯度下降算法的用户行为分析方法及装置 |
| CN110910199A (zh) * | 2019-10-16 | 2020-03-24 | 中国平安人寿保险股份有限公司 | 项目信息的排序方法、装置、计算机设备及存储介质 |
| CN111354024A (zh) * | 2020-04-10 | 2020-06-30 | 深圳市五元科技有限公司 | 关键目标的行为预测方法、ai服务器及存储介质 |
| CN111708944A (zh) * | 2020-06-17 | 2020-09-25 | 北京达佳互联信息技术有限公司 | 多媒体资源识别方法、装置、设备及存储介质 |
| CN111814977A (zh) * | 2020-08-28 | 2020-10-23 | 支付宝(杭州)信息技术有限公司 | 训练事件预测模型的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于用户行为关系挖掘的个性化推荐模型及算法;郭慧丰;信息科技(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112559099A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020087974A1 (zh) | 生成模型的方法和装置 | |
| CN111209440A (zh) | 一种视频播放方法、装置和存储介质 | |
| Hu et al. | Mining mobile intelligence for wireless systems: a deep neural network approach | |
| Liu et al. | When wireless video streaming meets AI: A deep learning approach | |
| KR102472971B1 (ko) | 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램 | |
| CN111444357A (zh) | 内容信息确定方法、装置、计算机设备及存储介质 | |
| CN112231497A (zh) | 信息分类方法、装置、存储介质及电子设备 | |
| CN112383824A (zh) | 视频广告过滤方法、设备及存储介质 | |
| KR20070008210A (ko) | 유해 멀티미디어 정보 차단 방법 및 장치 | |
| CN112202849A (zh) | 内容分发方法、装置、电子设备和计算机可读存储介质 | |
| WO2022245504A1 (en) | Synthetic media detection and management of trust notifications thereof | |
| Nam et al. | Xatu: Richer neural network based prediction for video streaming | |
| KR20200103152A (ko) | 대화 서비스 제공을 위한 문장 의미 관계 학습 장치 | |
| CN112559099B (zh) | 基于用户行为的远程图像显示方法、装置、系统及存储介质 | |
| KR102371487B1 (ko) | 명목형 데이터를 포함하는 데이터를 기반으로 하는 학습 방법 및 장치 | |
| CN110442786A (zh) | 一种提示信息推送的方法、装置、设备及存储介质 | |
| KR20200103156A (ko) | 대화 서비스 제공을 위한 문장 의미 관계 학습 프로세스를 컴퓨터에서 실행하기 위해 매체에 저장된 프로그램 | |
| US20230007344A1 (en) | Methods, Systems, And Apparatuses For User Engagement Analysis | |
| Wang et al. | Online mobile teaching methods based on Android in the 5G environment | |
| US20200159835A1 (en) | Methods and systems for managing content storage | |
| KR102662500B1 (ko) | 추론 응답 시간을 기반으로 한 딥러닝 모델 동적 전환 시스템 | |
| KR20200098394A (ko) | 대화 서비스 제공을 위한 문장 의미 관계 학습 장치 및 그 동작 방법 | |
| KR102662498B1 (ko) | 사용자 질의에 대한 추론 응답 시간에 따라 딥러닝 모델을 동적으로 전환하는 방법 | |
| KR20200103158A (ko) | 대화 서비스 제공을 위한 문장 의미 관계 학습 방법 | |
| KR20200103159A (ko) | 대화 서비스 제공을 위한 문장 의미 관계 학습 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100176 floor 10, building 1, zone 2, yard 9, Taihe 3rd Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Beijing National New Energy Vehicle Technology Innovation Center Co.,Ltd. Address before: 100089 1705 100176, block a, building 1, No. 10, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant before: BEIJING NEW ENERGY VEHICLE TECHNOLOGY INNOVATION CENTER Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |