CN106933585B - 一种分布式云环境下的自适应多通道界面选择方法 - Google Patents

一种分布式云环境下的自适应多通道界面选择方法 Download PDF

Info

Publication number
CN106933585B
CN106933585B CN201710133558.0A CN201710133558A CN106933585B CN 106933585 B CN106933585 B CN 106933585B CN 201710133558 A CN201710133558 A CN 201710133558A CN 106933585 B CN106933585 B CN 106933585B
Authority
CN
China
Prior art keywords
interface
time
loss rate
parameters
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710133558.0A
Other languages
English (en)
Other versions
CN106933585A (zh
Inventor
孙晓颖
于海洋
于嘉鑫
陈建
吴哲
燕学智
曹德坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201710133558.0A priority Critical patent/CN106933585B/zh
Publication of CN106933585A publication Critical patent/CN106933585A/zh
Application granted granted Critical
Publication of CN106933585B publication Critical patent/CN106933585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/101—Server selection for load balancing based on network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Fuzzy Systems (AREA)
  • Computational Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种分布式云环境下的自适应多通道界面选择方法，属于人机交互领域。建立了分布式云环境体系结构，用于处理用户的交互请求，构建神经网络，并确定输入参数和输出参数，输入参数包括时延判决因子、丢包率判决因子、当前通道数目、当前操作的界面数目，输出参数为新界面的模式参数，利用极限学习机进行训练，建立了输入参数和输出参数的映射关系，通过计算当前界面的模式参数，能够判断当前交互系统是否允许弹出新的界面，并确定操作界面的显示形式。本发明充分考虑了分布式云环境下网络服务质量，通过分层设计和机器学习，解决了分布式云环境下多通道交互界面选择问题，为构建支持多感知、多任务下用户界面提供了设计方法。

Description

一种分布式云环境下的自适应多通道界面选择方法
技术领域
本发明属于人机交互领域，具体涉及一种分布式云环境下的自适应多通道界面选择方法。
背景技术
人机交互界面是人与虚拟世界沟通的重要途径，在分布式云环境中，交互界面的显示形式受到网络环境的影响，受限于网络拥塞的交互事件等待往往造成用户无故的等待。大尺度的电子白板具有更多的信息承载能力，并形成了手势、语音、笔式的多通道交互形式，带来新的交互体验。多通道报文在不同的时间判断变化剧烈，根据网络环境判断界面的交互窗口数目，自适应的匹配多通道界面，对提升用户的交互体验有重要意义。
已授权的《能够设置活动区域的触摸屏系统及其控制方法》专利(200410059721.6)提出了一种触摸屏系统及其控制方法，包括显示器、触摸面板、坐标值计算单元、坐标值存储单元，判决单元和控制单元，对于坐标值和活动区域的关系进行了判决，但是针对分布式远程交互的界面响应并没有考虑。
陈小州等《智能终端应用程序界面设计方法》专利(201510200647.3)提供一种针对不同的操作系统只经过一次开发就能兼容不同操作系统的智能终端应用程序界面设计方法，经过该方法开发的应用程序界面在各个操作系统上具有完全相同的外观及操作。白二平《界面框架构建系统和界面框架构建方法》专利(201110448558.2)提供了一种界面框架构建系统，包括配置器、界面引擎装置、UI视图组件等，解决了不同产品的界面配置问题。但是两者对于多个交互界面带来的网络性能影响，造成用户交互体验下降并没有说明。
宋亮等《智能终端界面自适应显示方法》专利(201610069445.4)提供一种智能终端界面自适应显示方法，解决所显示的内容无法根据终端的屏幕尺寸进行自动调整的问题，但是受限于终端尺寸，而且没有考虑网络环境不好时的情景。马宇尘等《即时通信中实现自适应界面的方法及系统》专利(201310360172.5)，旨在通过第三方应用界面和即时通信交互界面的情况下，采集自适应调整的触发消息，需要人工选择触发按钮，并没有考虑多通道环境下的交互范式。
针对于不同的需求，一些用户界面的设计方案被提出，例如高洁《一种用户界面的设计方法及装置》专利(201110402066.X)，查尔斯等《用于用户界面的分布式软件架构》专利(200680001581.4)，但是这些界面仅仅针对不同的业务需求，没有在多通道条件下进行设计，在云端融合的多通道交互框架下显现出一定的局限性。
因此研究一种分布式云环境下的自适应多通道界面选择方法，不仅能有效设计动态的界面，也能促进多通道信息的云端融合，具有实际应用价值。
发明内容
本发明提供一种分布式云环境下的自适应多通道界面选择方法，以解决分布式云环境下多通道交互界面选择的问题。
本发明采取的技术方案是，包括下列步骤：
(1)建立了分布式云环境体系结构，包括云存储设备、分布式服务器、负载调度器，并利用网络和多媒体终端通信，处理用户的交互请求；
(2)确定输入参数和输出参数，输入参数包括：时延判决因子、丢包率判决因子、当前通道数目、当前操作的界面数目，输出参数包括：新界面的模式参数；
(3)利用极限学习机构建神经网络，并建立了输入参数和输出参数的映射关系；
(4)计算当前界面的模式参数，判断当前交互系统是否允许弹出新的界面；
(5)若允许弹出新的界面，则根据模式参数确定操作界面的显示形式，并在多媒体终端生成对应的界面；
(6)若不允许弹出新的界面，则显示拥塞状态，并提示关闭部分已打开的交互界面。
本发明所述步骤(1)中，所述分布式云环境体系结构中：
云存储设备采用MySQL数据库，分布式服务器采用了P(P>2)个服务器池，并设置于同一个网关中；负载调度器采用Q(Q>1)个负载均衡工作站，所述分布式服务器形成硬件和网络载体，用于实现云环境下的信息交互。
本发明所述步骤(2)中所述输入参数包括：
(1)时延判决因子μD
计算初始时刻平均时延，如公式(1)所示：
Figure GDA0002243381040000021
其中，N≥10，aDT(t0)表示初始时刻之前的连续N个数据包的平均时延，t0表示初始时刻，DTi表示第i个数据包的时延，TSi表示第i个数据包的发送时间，TRi表示第i个数据包的接收时间；
统计N个数据包中的最大时延，如公式(2)所示：
DT(t0)max＝max(DTi|i＝1,...,N) (2)
第t时刻，数据包的加权平均时延可以表示为：
Figure GDA0002243381040000031
其中，aDT(t)表示第t时刻的加权平均时延，DT(t)表示第t时刻的单个数据包时延，α表示交互通道系数：
Figure GDA0002243381040000032
其中，α∈[0,1]，nk表示当前交互的通道数目，TN表示系统允许的最大的交互通道数目；
时延判决因子为：
其中，DT(t)max＝max(DTq|q≤t,q∈R)，表示前t个时间片内的最大时延；
(2)丢包率判决因子μL
计算初始时刻平均丢包率，抽样选取初始时刻之前的N个连续的数据包，并计算其平均丢包率，如公式(6)所示：
其中，N≥10，LTi表示第i个数据包的丢包率，QSi表示第i个数据包的发送长度，QRi表示第i个数据包的接收长度；
统计N个数据包中的最大丢包率，如公式(7)所示：
LT(t0)max＝max(LTi|i＝1,...,N) (7)
第t时刻，数据包的加权平均丢包率可以表示为：
其中，aDT(t)表示第t时刻的加权平均丢包率，DT(t)表示第t时刻的单个数据包丢包率，α表示交互通道系数：
Figure GDA0002243381040000041
其中，α∈[0,1]，nk表示当前交互的通道数目，TN表示系统允许的最大的交互通道数目；
丢包率判决因子为：
其中，DT(t)max＝max(DTq|q≤t,q∈R)，表示前t个时间片内的最大丢包率；
(3)当前通道数目
确定操作状态的当前通道数目TNnow，通道数目由当前交互的操作形式有关，单一的操作形式则通道数目为1，两种操作形式并存则通道数目为2，以此类推；
(4)前操作的界面数目
确定当前操作状态的界面数目GNnow，当前操作界面只包括正在操作的界面，不包括后台自动运行的界面；
本发明所述步骤(2)中输出参数：
模式参数MS用来区别所有的界面种类，如果MS值为0，则提示为拥塞状态，禁止弹出新的交互界面，如果MS值大于零，则可以弹出新的界面。
本发明所述步骤(3)中神经网络：
采用三层结构的神经网络，输入层为4个节点，隐层4个节点，输出层1个节点，其中，输入单元和隐层单元为全相关连接，隐层单元和输出单元为单相关线性连接；
所有的工况可遍历为N个样本数据
Figure GDA0002243381040000043
Figure GDA0002243381040000044
为输入层节点数目，此时
Figure GDA0002243381040000045
基本的输入输出关系定义为：
Figure GDA0002243381040000046
其中，
Figure GDA0002243381040000047
为输入层到隐层之间的权重，为隐层到输出层之间的权重，bp为输出层的权重，其中，输入层的权重和偏置任意取值，隐层和输出层关系通过线性表征得到；
Hβ＝G (15)
其中：
求解H的M-P广义逆，就可以得到参数β；
Figure GDA0002243381040000052
可以得到：
Figure GDA0002243381040000053
于是，得到输入参数与输出参数之间的关系：
Figure GDA0002243381040000054
本发明所述步骤(4)中所述，界面的模式参数：
模式参数MS用来区别所有的界面种类，取值范围离散变化，表达形式为：
MS∈[0,…,2TN-1] (18)
如果MS值为0，则提示为拥塞状态，禁止弹出新的交互界面，如果MS值为1则为笔式交互，以此类推，如果MS值为2TN-1，则为所有通道共同交互。
本发明所述步骤(5)中所述，在多媒体终端生成对应的界面：
通过判断MS的值，确定是哪种界面形式，生成对应的界面，如果是笔式交互形式，则弹出笔式交互界面，如果是手势交互形式，则弹出手势交互界面，以此类推。
本发明所述步骤(6)中所述，参数模式的拥塞状态判定说明如下：
定义时延因子隶属度函数为：
Figure GDA0002243381040000055
其中，μD为上文所述时延判决因子，
Figure GDA0002243381040000056
表示判决因子能取到的最大值，μd为时延因子隶属度函数；
定义丢包率因子隶属度函数为：
Figure GDA0002243381040000061
其中，μL为上文所述时延判决因子，表示判决因子能取到的最大值，μD为时延因子隶属度函数；
确定网络质量判决参数的计算规则：
其中VG表示质量非常好，G表示质量好，C表示质量一般，B表示质量差，VB表示质量非常差；
MS＝0,P∈(VB) (21)
P为当前网络质量判决参数，如果当前网络状态为非常差，则界面的模式参数直接定义为0；
通过分布式服务器网络服务的通信质量，确定了不同的网络状态情况下，用户界面的显示形式。
本发明分别设计了界面功能选择区域和动态显示区域，搭建了分布式服务器网络，建立云环境下的分布式服务器集群，处理用户的交互请求。设计统一界面模板，存储在云环境数据库中。在统一界面模板的基础上，根据动态界面结构特征，设计神经网络结构，结合分布式服务器网络的通信质量参数，判断是否允许弹出新的界面，并确定操作界面的显示形式。本发明充分考虑了分布式云环境下网络服务质量，通过分层设计和动态界面自适应匹配，解决了大尺度环境下多通道交互界面设计问题，为构建支持多感知、多任务下用户界面提供了设计方法。
本发明的优点是：
(1)本发明考虑了分布式云环境体系结构中的时延、丢包率、通道数、当前操作的界面数目等因素，将模糊逻辑引入到多通道用户界面判决中，得到了智能化的判决新界面的模式参数，客观指导工程实践，具有一定的普适性。
(2)利用极限学习机构建神经网络，对输入端的时延判决因子、丢包率判决因子滚动优化，得到了可适应实时交互的输入、输出参数关系。
(3)依托于大尺度的多通道的交互终端，充分考虑了网络服务质量，给出了不同网络条件下的界面选择方法。针对于当前的网络情况，能够自适应的调整界面，增强了远程交互的体验效果，给多通道下的信息融合提供了有益参考。
附图说明
图1是本发明分布式云环境体系结构；
图2是本发明模糊逻辑判决输入；
图3是本发明模糊逻辑判决输出；
图4是本发明神经网络结构图；
图5是本发明极限学习机自适应学习步骤示意图；
图6是本发明大尺度多通道电子白板示意图；
图7是本发明用户界面示意图。
具体实施方式
包括下列步骤：
(1)建立了分布式云环境体系结构，包括云存储设备、分布式服务器、负载调度器，并利用网络和多媒体终端通信，处理用户的交互请求；
(2)确定输入参数和输出参数，输入参数包括：时延判决因子、丢包率判决因子、当前通道数目、当前操作的界面数目，输出参数包括：新界面的模式参数；
(3)利用极限学习机构建神经网络，并建立了输入参数和输出参数的映射关系；
(4)计算当前界面的模式参数，判断当前交互系统是否允许弹出新的界面；
(5)若允许弹出新的界面，则根据模式参数确定操作界面的显示形式，并在多媒体终端生成对应的界面；
(6)若不允许弹出新的界面，则显示拥塞状态，并提示关闭部分已打开的交互界面。
本发明所述步骤(1)中，所述分布式云环境体系结构中：
云存储设备采用MySQL数据库，分布式服务器采用了P(P>2)个服务器池，并设置于同一个网关中；负载调度器采用Q(Q>1)个负载均衡工作站，所述分布式服务器形成硬件和网络载体，用于实现云环境下的信息交互。
本发明所述步骤(2)中所述输入参数包括：
(1)时延判决因子μD
计算初始时刻平均时延，如公式(1)所示：
Figure GDA0002243381040000081
其中，N≥10，aDT(t0)表示初始时刻之前的连续N个数据包的平均时延，t0表示初始时刻，DTi表示第i个数据包的时延，TSi表示第i个数据包的发送时间，TRi表示第i个数据包的接收时间；
统计N个数据包中的最大时延，如公式(2)所示：
DT(t0)max＝max(DTi|i＝1,...,N) (2)
第t时刻，数据包的加权平均时延可以表示为：
Figure GDA0002243381040000082
其中，aDT(t)表示第t时刻的加权平均时延，DT(t)表示第t时刻的单个数据包时延，α表示交互通道系数：
Figure GDA0002243381040000083
其中，α∈[0,1]，nk表示当前交互的通道数目，TN表示系统允许的最大的交互通道数目；
时延判决因子为：
Figure GDA0002243381040000084
其中，DT(t)max＝max(DTq|q≤t,q∈R)，表示前t个时间片内的最大时延；
(2)丢包率判决因子μL
计算初始时刻平均丢包率，抽样选取初始时刻之前的N个连续的数据包，并计算其平均丢包率，如公式(6)所示：
其中，N≥10，LTi表示第i个数据包的丢包率，QSi表示第i个数据包的发送长度，QRi表示第i个数据包的接收长度；
统计N个数据包中的最大丢包率，如公式(7)所示：
LT(t0)max＝max(LTi|i＝1,...,N) (7)
第t时刻，数据包的加权平均丢包率可以表示为：
Figure GDA0002243381040000091
其中，aDT(t)表示第t时刻的加权平均丢包率，DT(t)表示第t时刻的单个数据包丢包率，α表示交互通道系数：
Figure GDA0002243381040000092
其中，α∈[0,1]，nk表示当前交互的通道数目，TN表示系统允许的最大的交互通道数目；
丢包率判决因子为：
Figure GDA0002243381040000093
其中，DT(t)max＝max(DTq|q≤t,q∈R)，表示前t个时间片内的最大丢包率；
(3)当前通道数目
确定操作状态的当前通道数目TNnow，通道数目由当前交互的操作形式有关，单一的操作形式则通道数目为1，两种操作形式并存则通道数目为2，以此类推；
(4)前操作的界面数目
确定当前操作状态的界面数目GNnow，当前操作界面只包括正在操作的界面，不包括后台自动运行的界面；
本发明所述步骤(2)中输出参数：
模式参数MS用来区别所有的界面种类，如果MS值为0，则提示为拥塞状态，禁止弹出新的交互界面，如果MS值大于零，则可以弹出新的界面。
本发明所述步骤(3)中神经网络：
采用三层结构的神经网络，输入层为4个节点，隐层4个节点，输出层1个节点，其中，输入单元和隐层单元为全相关连接，隐层单元和输出单元为单相关线性连接；
所有的工况可遍历为N个样本数据
Figure GDA0002243381040000094
为输入层节点数目，此时
Figure GDA0002243381040000096
基本的输入输出关系定义为：
其中，
Figure GDA0002243381040000102
为输入层到隐层之间的权重，
Figure GDA0002243381040000103
为隐层到输出层之间的权重，bp为输出层的权重，其中，输入层的权重和偏置任意取值，隐层和输出层关系通过线性表征得到；
Hβ＝G (15)
其中：
Figure GDA0002243381040000104
求解H的M-P广义逆，就可以得到参数β；
Figure GDA0002243381040000105
可以得到：
Figure GDA0002243381040000106
于是，得到输入参数与输出参数之间的关系：
Figure GDA0002243381040000107
本发明所述步骤(4)中所述，界面的模式参数：
模式参数MS用来区别所有的界面种类，取值范围离散变化，表达形式为：
MS∈[0,…,2TN-1] (18)
如果MS值为0，则提示为拥塞状态，禁止弹出新的交互界面，如果MS值为1则为笔式交互，以此类推，如果MS值为2TN-1，则为所有通道共同交互。
本发明所述步骤(5)中所述，在多媒体终端生成对应的界面：
通过判断MS的值，确定是哪种界面形式，生成对应的界面，如果是笔式交互形式，则弹出笔式交互界面，如果是手势交互形式，则弹出手势交互界面，以此类推。
本发明所述步骤(6)中所述，参数模式的拥塞状态判定说明如下：
定义时延因子隶属度函数为：
Figure GDA0002243381040000111
其中，μD为上文所述时延判决因子，
Figure GDA0002243381040000112
表示判决因子能取到的最大值，μd为时延因子隶属度函数；
定义丢包率因子隶属度函数为：
Figure GDA0002243381040000113
其中，μL为上文所述时延判决因子，
Figure GDA0002243381040000114
表示判决因子能取到的最大值，μD为时延因子隶属度函数；
确定网络质量判决参数的计算规则：
Figure GDA0002243381040000115
其中VG表示质量非常好，G表示质量好，C表示质量一般，B表示质量差，VB表示质量非常差；
MS＝0,P∈(VB) (21)
P为当前网络质量判决参数，如果当前网络状态为非常差，则界面的模式参数直接定义为0；
通过分布式服务器网络服务的通信质量，确定了不同的网络状态情况下，用户界面的显示形式。
下面结合附图对本发明进行具体说明：
1、搭建分布式服务器集群，具体形式如图1所示，文件存取数据库采用MySQL数据库，采用3个服务器，2个工作站来平衡负载。数据库中存储了界面的元素、属性、事件、路径。界面表和元素表、属性表、事件表都是一对多的关系，采用“引用外键”的方式进行数据库表的维护；
2、设计模板界面，根据模板界面的要求，设计了3个交互通道的功能区域，采用JavaScript、CSS技术，实验界面的动态选择，利用超文本标记语言，设计界面的颜色、大小和事件，包括增加、删除、修改、查询、保存；
3、确定神经网络结构
采用三层结构的神经网络，具体形式如图4所示，其中输入层为4个节点，隐层4个节点，输出层1个节点；
其中，输入单元和隐层单元为全相关连接，隐层单元和输出单元为单相关线性连接；
所有的工况可遍历为N个样本数据 为输入层节点数目，此时
Figure GDA0002243381040000123
基本的输入输出关系定义为：
其中，
Figure GDA0002243381040000125
为输入层到隐层之间的权重，
Figure GDA0002243381040000126
为隐层到输出层之间的权重，ap为输入层的权重，bp为输出层的权重；
4、极限学习机自适应学习
采用了极限学习机自适应学习机制，具体步骤如图5所示，
步骤一、确定样本范围
I.时延判决因子。
计算初始时刻平均时延，抽样选取初始时刻之前的N个连续的数据包，并计算其平均时延，如公式(1)所示：
Figure GDA0002243381040000127
其中，N≥10，DTi表示第i个数据包的时延，TSi表示第i个数据包的发送时间，TRi表示第i个数据包的接收时间。
统计N个数据包中的最大时延，如公式(2)所示：
DT(t0)max＝max(DTi|i＝1,...,N) (2)
第t时刻，数据包的加权平均时延可以表示为：
Figure GDA0002243381040000131
其中，aDT(t)表示t时间片内的加权平均时延，DT(t)表示第t时刻的时延，α表示交互通道系数：
其中，α∈[0,1]，nk表示当前交互的通道数目，TN表示系统允许的最大的交互通道数目，此时TN＝3。
时延判决因子为：
Figure GDA0002243381040000133
其中，DT(t)max＝max(DTq|q≤t,q∈R)，表示前t个时间片内的最大时延。可知时延判决因子的取值范围为μD∈[0,1]
II.丢包率判决因子
计算初始时刻平均丢包率，抽样选取初始时刻之前的N个连续的数据包，并计算其平均丢包率，如公式(6)所示：
Figure GDA0002243381040000134
其中，N≥10，LTi表示第i个数据包的丢包率，QSi表示第i个数据包的发送长度，QRi表示第i个数据包的接收长度。
统计N个数据包中的最大丢包率，如公式(7)所示：
LT(t0)max＝max(LTi|i＝1,...,N) (7)
第t时刻，数据包的加权平均丢包率可以表示为：
Figure GDA0002243381040000135
其中，aDT(t)表示t时刻的平均丢包率，DT(t)表示第t时间片内的丢包率，α表示交互通道系数：
其中，α∈[0,1]，nk表示当前交互的通道数目，TN表示系统允许的最大的交互通道数目，此时TN＝3。
丢包率判决因子为：
Figure GDA0002243381040000142
其中，DT(t)max＝max(DTq|q≤t,q∈R)，表示前t个时间片内的最大丢包率。可知时延判决因子的取值范围为μL∈[0,1]
III.通道数目。由于最大的通道数目为TN＝3，可知当前操作状态的通道数目TNnow∈[0,1,2,3]。
IV.前操作的界面数目。
操作状态的界面数目为正整数，极限的取值为10，所以，当前操作状态的界面数目为GNnow∈[0,…,10]。
V.界面的模式参数。
模式参数MS的数值范围为MS∈[0,1,2,3,4,5,6,7]，对应的界面模式的关系如下：
Figure GDA0002243381040000143
如果MS值为0，则提示为拥塞状态，禁止弹出新的交互界面，如果MS值为1则为笔式交互，MS值为2则为手势交互，MS值为3则为语音交互，以此类推，如果MS值为7，则为三种通道共同交互。
步骤二、将训练数据归一化
利用最大最小归一化方法，公式如下：
Figure GDA0002243381040000144
其中x*表示归一化后的值，x代表原来的值，xmin代表原来值的最小值，xmax代表原来值的最大值。
步骤三、计算隐层输出矩阵
其中，输入层的权重和偏置任意取值，隐层和输出层关系通过线性表征得到。
Hβ＝G (15)
其中：
Figure GDA0002243381040000151
求解H的M-P广义逆，就可以得到参数β
Figure GDA0002243381040000152
步骤四、计算输出权重向量
通过广义逆求解，可以得到：
Figure GDA0002243381040000153
通过采集样本的学习，得到输入输出间的关系模型：
Figure GDA0002243381040000154
5、计算当前状态下输入参数：
(1)计算时延因子。
计算初始时刻，采用网络中的ping命令进行时延和丢包率的检测。得到一组时延和丢包率数据：
Figure GDA0002243381040000155
选取前N个数据包作为初始数据，其中N＝10，计算平均时延为：
Figure GDA0002243381040000156
计算前10个数据包的最大时延，如公式所示：
DT(t0)max＝max(DTi|i＝1,...,10)＝320ms
在t2时刻，为笔式和语音两个通道进行交互，而一共的通道数为2，时延为280ms，所以此时α＝0.67
数据包的加权平均时延可以表示为：
aDT(t2)＝(1-α)aDT(t0)+α·DT(t2)
＝(1-0.67)×166+0.67×280＝242.38
时延因子为：
Figure GDA0002243381040000161
其中，
Figure GDA0002243381040000162
表示前11个时间片内的最大时延；
(2)计算丢包率因子
计算初始时刻，前10个数据包的平均丢包率：
Figure GDA0002243381040000163
其中，LT2表示第2时刻数据包的丢包率；
计算初始时刻数据包的最大丢包率，如公式所示：
LT(t0)max＝max(LTi|i＝1,...,10)＝0.06
在t2时刻，为笔式和语音两个通道进行交互，而一共的通道数为2，丢包率为0.08，所以此时α＝0.67
aLT(t2)＝(1-α)aLT(t0)+α·LT(t2)
＝(1-0.67)×0.02+0.67×0.08＝0.0602
丢包率因子为：
Figure GDA0002243381040000164
其中，
Figure GDA0002243381040000165
表示前11个时间片内的最大丢包率；
可以计算得到延迟因子的隶属度函数为：μd＝0.76，所以延迟为High；
可以计算定义丢包率因子隶属度函数为：μl＝0.7525，所以丢包率为High；
(3)当前通道数目
当前操作状态为笔式、手势、语音三种操作状态，所以确定当前通道数目TNnow＝3；
(4)前操作的界面数目
除去后台正在运行的界面，当前操作的界面数目GNnow＝2；
6、判断当前界面显示形式
通过输入条件和网络参数，可得当前情况用户界面的显示形式参数为0，根据判决要求，提示关闭一些已经打开的窗口。

Claims (4)

1.一种分布式云环境下的自适应多通道界面选择方法，其特征在于，包括下列步骤：
(1)建立了分布式云环境体系结构，包括云存储设备、分布式服务器、负载调度器，并利用网络和多媒体终端通信，处理用户的交互请求；
(2)确定输入参数和输出参数，输入参数包括：时延判决因子、丢包率判决因子、当前通道数目、当前操作的界面数目，输出参数包括：新界面的模式参数；
(3)利用极限学习机构建神经网络，并建立了输入参数和输出参数的映射关系；其神经网络：采用三层结构的神经网络，输入层为4个节点，隐层4个节点，输出层1个节点，其中，输入单元和隐层单元为全相关连接，隐层单元和输出单元为单相关线性连接；
所有的工况可遍历为N个样本数据
Figure FDA0002243381030000011
为输入层节点数目，此时
Figure FDA0002243381030000013
基本的输入输出关系定义为：
Figure FDA0002243381030000014
其中，
Figure FDA0002243381030000015
为输入层到隐层之间的权重，
Figure FDA0002243381030000016
为隐层到输出层之间的权重，bp为输出层的权重，其中，输入层的权重和偏置任意取值，隐层和输出层关系通过线性表征得到；
Hβ＝G (15)
其中：
Figure FDA0002243381030000017
求解H的M-P广义逆，就可以得到参数β；
Figure FDA0002243381030000018
可以得到：
Figure FDA0002243381030000019
于是，得到输入参数与输出参数之间的关系：
Figure FDA00022433810300000110
(4)计算当前界面的模式参数，判断当前交互系统是否允许弹出新的界面；其中界面的模式参数：
模式参数MS用来区别所有的界面种类，取值范围离散变化，表达形式为：
MS∈[0,…,2TN-1] (18)
如果MS值为0，则提示为拥塞状态，禁止弹出新的交互界面，如果MS值为1则为笔式交互，以此类推，如果MS值为2TN-1，则为所有通道共同交互；
(5)若允许弹出新的界面，则根据模式参数确定操作界面的显示形式，并在多媒体终端生成对应的界面，通过判断MS的值，确定是哪种界面形式，生成对应的界面，如果是笔式交互形式，则弹出笔式交互界面，如果是手势交互形式，则弹出手势交互界面，以此类推；
(6)若不允许弹出新的界面，则显示拥塞状态，并提示关闭部分已打开的交互界面，其中参数模式的拥塞状态判定说明如下：
定义时延因子隶属度函数为：
其中，μD为上文所述时延判决因子，
Figure FDA0002243381030000022
表示判决因子能取到的最大值，μd为时延因子隶属度函数；
定义丢包率因子隶属度函数为：
Figure FDA0002243381030000031
其中，μL为上文所述时延判决因子，
Figure FDA0002243381030000032
表示判决因子能取到的最大值，μD为时延因子隶属度函数；
确定网络质量判决参数的计算规则：
Figure FDA0002243381030000033
其中VG表示质量非常好，G表示质量好，C表示质量一般，B表示质量差，VB表示质量非常差；
MS＝0,P∈(VB) (21)
P为当前网络质量判决参数，如果当前网络状态为非常差，则界面的模式参数直接定义为0；
通过分布式服务器网络服务的通信质量，确定了不同的网络状态情况下，用户界面的显示形式。
2.根据权利要求1所述一种分布式云环境下的自适应多通道界面选择方法，其特征在于，步骤(1)中所述分布式云环境体系结构中：
云存储设备采用MySQL数据库，分布式服务器采用了P(P>2)个服务器池，并设置于同一个网关中；负载调度器采用Q(Q>1)个负载均衡工作站，所述分布式服务器形成硬件和网络载体，用于实现云环境下的信息交互。
3.根据权利要求1所述一种分布式云环境下的自适应多通道界面选择方法，其特征在于，步骤(2)中所述输入参数包括：
(1)时延判决因子μD
计算初始时刻平均时延，如公式(1)所示：
Figure FDA0002243381030000041
其中，N≥10，aDT(t0)表示初始时刻之前的连续N个数据包的平均时延，t0表示初始时刻，DTi表示第i个数据包的时延，TSi表示第i个数据包的发送时间，TRi表示第i个数据包的接收时间；
统计N个数据包中的最大时延，如公式(2)所示：
DT(t0)max＝max(DTi|i＝1,...,N) (2)
第t时刻，数据包的加权平均时延可以表示为：
Figure FDA0002243381030000042
其中，aDT(t)表示第t时刻的加权平均时延，DT(t)表示第t时刻的单个数据包时延，α表示交互通道系数：
Figure FDA0002243381030000043
其中，α∈[0,1]，nk表示当前交互的通道数目，TN表示系统允许的最大的交互通道数目；
时延判决因子为：
Figure FDA0002243381030000044
其中，DT(t)max＝max(DTq|q≤t,q∈R)，表示前t个时间片内的最大时延；
(2)丢包率判决因子μL
计算初始时刻平均丢包率，抽样选取初始时刻之前的N个连续的数据包，并计算其平均丢包率，如公式(6)所示：
Figure FDA0002243381030000045
其中，N≥10，LTi表示第i个数据包的丢包率，QSi表示第i个数据包的发送长度，QRi表示第i个数据包的接收长度；
统计N个数据包中的最大丢包率，如公式(7)所示：
LT(t0)max＝max(LTi|i＝1,...,N) (7)
第t时刻，数据包的加权平均丢包率可以表示为：
其中，aDT(t)表示第t时刻的加权平均丢包率，DT(t)表示第t时刻的单个数据包丢包率，α表示交互通道系数：
Figure FDA0002243381030000052
其中，α∈[0,1]，nk表示当前交互的通道数目，TN表示系统允许的最大的交互通道数目；
丢包率判决因子为：
Figure FDA0002243381030000053
其中，DT(t)max＝max(DTq|q≤t,q∈R)，表示前t个时间片内的最大丢包率；
(3)当前通道数目
确定操作状态的当前通道数目TNnow，通道数目由当前交互的操作形式有关，单一的操作形式则通道数目为1，两种操作形式并存则通道数目为2，以此类推；
(4)前操作的界面数目
确定当前操作状态的界面数目GNnow，当前操作界面只包括正在操作的界面，不包括后台自动运行的界面。
4.根据权利要求1所述一种分布式云环境下的自适应多通道界面选择方法，其特征在于，步骤(2)中输出参数：
模式参数MS用来区别所有的界面种类，如果MS值为0，则提示为拥塞状态，禁止弹出新的交互界面，如果MS值大于零，则可以弹出新的界面。
CN201710133558.0A 2017-03-07 2017-03-07 一种分布式云环境下的自适应多通道界面选择方法 Active CN106933585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710133558.0A CN106933585B (zh) 2017-03-07 2017-03-07 一种分布式云环境下的自适应多通道界面选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710133558.0A CN106933585B (zh) 2017-03-07 2017-03-07 一种分布式云环境下的自适应多通道界面选择方法

Publications (2)

Publication Number Publication Date
CN106933585A CN106933585A (zh) 2017-07-07
CN106933585B true CN106933585B (zh) 2020-02-21

Family

ID=59424561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710133558.0A Active CN106933585B (zh) 2017-03-07 2017-03-07 一种分布式云环境下的自适应多通道界面选择方法

Country Status (1)

Country Link
CN (1) CN106933585B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108759920B (zh) * 2018-06-04 2021-08-27 深圳源广安智能科技有限公司 一种基于物联网的仓库安全监测系统
CN111291898B (zh) * 2020-02-17 2020-12-11 哈尔滨工业大学 一种多任务稀疏贝叶斯极限学习机回归方法
CN113657028B (zh) * 2021-08-05 2023-10-20 长春理工大学 一种基于多源信息的气溶胶光学厚度在线预测方法
CN116048708B (zh) * 2023-03-31 2024-02-23 成都齐之之知识产权运营有限公司 基于人工智能的软件窗口调整方法、系统、设备和介质
CN117640627B (zh) * 2024-01-25 2024-04-09 微网优联科技(成都)有限公司 通过云电脑实现的协同工作方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620738A (zh) * 2009-07-24 2010-01-06 中国科学院软件研究所 一种生成多媒体概念图的方法
CN102339129A (zh) * 2011-09-19 2012-02-01 北京航空航天大学 一种基于语音和手势的多通道人机交互方法
CN103888846A (zh) * 2014-03-04 2014-06-25 浙江大学 基于QoE的无线视频流业务自适应速率控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120239396A1 (en) * 2011-03-15 2012-09-20 At&T Intellectual Property I, L.P. Multimodal remote control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620738A (zh) * 2009-07-24 2010-01-06 中国科学院软件研究所 一种生成多媒体概念图的方法
CN102339129A (zh) * 2011-09-19 2012-02-01 北京航空航天大学 一种基于语音和手势的多通道人机交互方法
CN103888846A (zh) * 2014-03-04 2014-06-25 浙江大学 基于QoE的无线视频流业务自适应速率控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"数字无线定位电子白板的设计与实现";候承舜;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090815;I136-28 *
"面向老年人多通道交互技术及应用";宋玥;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315;I140-322 *

Also Published As

Publication number Publication date
CN106933585A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN106933585B (zh) 一种分布式云环境下的自适应多通道界面选择方法
JP7263442B2 (ja) モバイルアプリケーションのリアルタイム遠隔制御のためのシステムおよび方法
CN109558966B (zh) 智能判证预测事件发生的处理系统
US20180293908A1 (en) Electronic handwriting processor with derivative coordinate modeling
CN108370347A (zh) 对传入通信的预测响应
CN103379002B (zh) 电信网络的自适应监测
CN109873726B (zh) Sdn中基于深度学习的鲁棒服务质量预测与保障方法
US20150178265A1 (en) Content Recommendation System using a Neural Network Language Model
CN101127736B (zh) 一种即时通讯系统及其处理子面板的方法
CN107846295A (zh) 微服务配置装置及方法
TWI828888B (zh) 聊天執行緒的顯示方法、電腦可讀取記錄媒體及電腦裝置
CN107704169A (zh) 虚拟人的状态管理方法和系统
Torok From human-computer interaction to cognitive infocommunications: a cognitive science perspective
CN109918602B (zh) 一种Web数据预加载方法及系统
CN106020622A (zh) 用于收藏表情符号的方法和装置
CN109828820A (zh) 一种应用窗口的焦点刷新方法、装置、存储介质及终端
EP4083812A1 (en) Robot response method and apparatus, device, and storage medium
US10341163B2 (en) Method and device to assist with decision-making
CN109002498A (zh) 人机对话方法、装置、设备及存储介质
US11675492B2 (en) Determining user engagement in content based on scrolling events
Flanagan et al. Issues in measuring the benefits of multimodal interfaces
CN107967363A (zh) 一种数据处理方法、装置及电子设备
CN104268183B (zh) 基于联系人头像的功能扩展方法及其装置
Fang et al. A human-in-the-loop haptic interaction with subjective evaluation
CN110381349A (zh) 一种基于小程序控制智能设备的方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant