CN108230005A - 在线云端服务处理系统与评测方法及其计算机程序产品 - Google Patents

在线云端服务处理系统与评测方法及其计算机程序产品 Download PDF

Info

Publication number
CN108230005A
CN108230005A CN201611233365.4A CN201611233365A CN108230005A CN 108230005 A CN108230005 A CN 108230005A CN 201611233365 A CN201611233365 A CN 201611233365A CN 108230005 A CN108230005 A CN 108230005A
Authority
CN
China
Prior art keywords
service
online
application service
assessment unit
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611233365.4A
Other languages
English (en)
Other versions
CN108230005B (zh
Inventor
郭建扬
吕志轩
苏志斌
叶晋升
陈颢元
吴欣怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN108230005A publication Critical patent/CN108230005A/zh
Application granted granted Critical
Publication of CN108230005B publication Critical patent/CN108230005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/5096—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to distributed or central networked applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0645—Rental transactions; Leasing transactions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5032—Generating service level reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service

Abstract

一种在线云端服务处理系统与在线评测方法及其计算机程序产品。所述在线评测方法一实施例包括：运行所述处理系统中至少一应用服务单元；执行所述处理系统中至少一应用服务评估单元的至少一评估注册程序以响应至少一注册请求；运行所述至少一应用服务评估单元；将至少一在线服务请求分别导流至所述至少一应用服务单元与所述至少一应用服务评估单元，并产生对应所述至少一在线服务请求的至少一输出结果；根据所述至少一输出结果中所述至少一应用服务评估单元产生的输出结果计算各个所述至少一应用服务评估单元的至少一评估等级。

Description

在线云端服务处理系统与评测方法及其计算机程序产品
技术领域
本发明是有关于一种在线云端服务处理系统与在线评测方法及其计算机程序产品。
背景技术
随着计算机科技及因特网的蓬勃发展，由云端运算(cloud computing)提供应用服务也日趋普遍。目前常见的云端服务包括商品推荐服务、搜寻服务、个人化电子报寄送名单推荐服务、销量预测服务等。一般来说，服务开发者会在云端伺服器中运行服务引擎来执行其开发的应用程序以提供各种云端服务给服务租户(tenant)承租。服务租户可将其经营的网站与云端伺服器提供的云端服务链接，云端伺服器便可根据网站上的在线服务请求提供相应的服务内容。举例而言，服务租户可以向云端服务业者承租商品推荐服务，并且将其经营的在线购物网站与商品推荐服务链接，即可在消费者浏览商品时实时地提供商品推荐清单。
服务开发者在开发云端服务的应用程序时往往需要场域验证来检验应用程序的成效。针对云端服务而言，检验成效的方式包括脱机测试与在线测试。脱机测试是利用历史数据来检验成效，而在线测试则是直接于服务提供时检验成效。然而，脱机测试由于无法实时取得用户对服务的反应，可能发生一个提供服务的算法在脱机测试时具有好的成效，但是在在线测试时却无法产生相同成效的状况。因此，如何提供在线场域来检验云端服务的成效为本领域技术人员所关心的议题。
发明内容
本发明提供一种在线云端服务处理系统与在线评测方法及其计算机程序产品，其能够提供持续性的服务并且同时提供云端服务进行在线测试。
本发明的一示例实施例提供一种在线云端服务处理系统，其包括至少一伺服器。所述至少一伺服器包括至少一存储器以及至少一处理器。所述至少一处理器经配置执行储存在至少一存储器的多个指令。所述处理系统还包括至少一应用服务单元、至少一应用服务评估单元、评估管理模块、导流模块与评估模块。所述至少一应用服务单元经配置运行至少一应用服务，所述至少一应用服务评估单元，经配置评估一或多个应用服务。所述评估管理模块经配置执行所述至少一应用服务评估单元的至少一评估注册程序以响应所接收的对所述至少一应用服务评估单元的至少一注册请求。所述导流模块经配置将至少一在线服务请求的第一部分导流至所述至少一应用服务单元、所述至少一在线服务请求的第二部分则导流至所述至少一应用服务评估单元，以产生对应所述至少一在线服务请求的至少一输出结果。所述评估模块经配置根据所述至少一输出结果之中所述至少一应用服务评估单元产生的输出结果计算各个所述至少一应用服务评估单元的至少一评估等级。
本发明的另一示例实施例提供一种用于在线云端服务处理系统的在线评测方法。此方法包括：运行所述处理系统中至少一应用服务单元；执行所述处理系统中至少一应用服务评估单元的至少一评估注册程序以响应所接收的对所述至少一应用服务评估单元的至少一注册请求；运行所述至少一应用服务评估单元；将至少一在线服务请求的第一部分导流至所述至少一应用服务单元，将所述至少一在线服务请求的第二部分导流至所述至少一应用服务评估单元，并且产生对应所述至少一在线服务请求的至少一输出结果；以及根据所述至少一输出结果之中所述至少一应用服务评估单元产生的输出结果计算各个所述至少一应用服务评估单元的至少一评估等级。
本发明的另一示例实施例提供一种包括至少一指令的计算机程序产品。当在线云端服务处理系统加载指令并由所述处理系统所包括的至少一处理器执行后，可完成如上所述的在线评测方法。
基于上述，在线云端服务处理系统可运行应用服务单元以维持云端服务的稳定性，还可同时运行应用服务评估单元以链接服务开发者所开发的应用程序至服务租户端的在线环境来进行在线测试。如此一来，可提供参与应用服务评估者所开发的应用程序的评估服务。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。
附图说明
图1是根据一示例实施例所绘示的在线云端服务处理系统所包括的云端服务伺服器的示意图。
图2是根据一示例实施例所绘示的在线云端服务处理系统的示意图。
图3是根据一示例实施例所绘示的信息保密操作的示意图。
图4是根据一示例实施例所绘示的导流在线服务请求的示意图。
图5是根据一示例实施例所绘示的根据流量比例导流在线服务请求的示意图。
图6是根据一示例实施例所绘示的成效评估操作的示意图。
图7是根据一示例实施例所绘示的在线评测方法的流程图。
附图标记说明：
10：在线云端服务处理系统
20：服务租户
30：服务开发者
110：处理器
120：存储器
130(1)～130(S)：伺服器
210：云端服务伺服器
211、211(1)～211(X)：应用服务单元
212(1)～212(N)：应用服务评估单元
220：评估管理模块
221：注册子模块
222：验证子模块
223：信息保密子模块
224：管理控制台
225：评估描述子模块
226：评估结果子模块
227：评估排名子模块
230：导流模块
240：数据库
250：评估模块
user1、user2：用户
t1、t2、t3：时段
S701～S709：在线评测方法的步骤
具体实施方式
图1是根据一示例实施例所绘示的在线云端服务处理系统所包括的云端服务伺服器的示意图。
请参照图1，于一云端服务平台(未显示)上运作的在线云端服务处理系统10可经配置包括至少一伺服器130(1)～130(S)，S为大于0的正整数。各伺服器可包括至少一处理器及至少一存储器。例如，伺服器130(1)可包括至少一处理器110及至少一存储器120。然而虽然图1的实施例绘示了伺服器130(1)～130(S)，但本发明并不限制伺服器的数目。依据实际应用上的不同需求，在线云端服务处理系统10可经配置运行一个或多个伺服器。
至少一处理器110可经配置以处理伺服器130(1)的运作。至少一处理器110例如可以是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑设备(Programmable Logic Device，PLD)、多核处理器、其他类似装置或以上各装置的任意组合，本发明并不加以限制。
至少一存储器120经配置以储存信息、数据、应用程序、指令等以使处理器110能够实行伺服器130(1)的各种功能。举例来说，至少一存储器120可经配置以储存用于由至少一处理器110可经配置执行的程序指令和/或用于由至少一处理器110经配置处理的数据。例如，至少一存储器120可经配置储存执行云端服务所需加载的程序代码、从在线环境接收的项目信息与在线服务请求、执行云端服务产生的输出结果等。在此，至少一存储器120可为挥发性存储器、非易失存储器或其组合。例如，至少一存储器120可包括硬盘、随机存取存储器、高速缓冲存储器、闪存、压缩光盘只读存储器(CD-ROM)、固态存储器、数字通用光盘只读存储器(DVD-ROM)、光盘、经配置以储存信息的电路或集成电路等等。
在线云端服务处理系统10中所包括的至少一伺服器130(1)～130(S)可经配置以提供各种云端服务功能。于一实施例中，至少一伺服器130(1)～130(S)的至少一处理器110可经配置加载至少一存储器120中的各配置执行模块(及或单元)的程序代码以提供云端服务。本发明中所述及的云端服务可包括商品智能推荐服务、智能搜寻服务、个人化电子报寄送名单推荐服务、销量预测服务等，但不以此为限制。
在本示例实施例中，服务需求业者或服务租户(尔后称服务租户)20及服务开发者30可分别操作电子装置(例如，个人计算机、伺服器等)并借由因特网连接至在线云端服务处理系统10。服务开发者30可提供其开发的应用程序至在线云端服务处理系统10。透过所运行的至少一伺服器130(1)～130(S)，在线云端服务处理系统10可将服务开发者30的应用程序链接至服务租户20端的在线环境，并且根据在服务租户20的在线环境(例如服务租户20经营的购物网站)中发生的在线服务请求提供对应的云端服务内容。举例而言，终端用户在服务租户20经营的购物网站上浏览商品所执行的点击操作可触发要求提供推荐商品的在线服务请求。在线云端服务处理系统10则可根据此在线服务请求提供对应的推荐商品内容。
必须了解的是，虽然在图1中仅绘示一个服务开发者30，于一实施例中，也可以由一个以上的服务开发者30来提供云端服务的应用程序。再者，服务开发者30可以为，对提供云端服务应用程序有兴趣或有研究的群众(crowd)，例如资料科学家、程序设计者等等，本发明不设限。简单来说，在线云端服务处理系统10可运行多个服务开发者30提供的应用程序以根据在线服务请求提供服务内容，并且亦可分配部分服务请求，进行提供此种服务的各应用程序中服务算法的成效测试，以期望能持续精进云端服务质量及/或媒合服务租户与服务开发者。
图2是根据一示例实施例所绘示的在线云端服务处理系统的示意图。
请参照图2，在线云端服务处理系统10包括至少一云端服务伺服器210、评估管理模块220、导流模块230、数据库240及评估模块250。至少一处理器110可经配置运行在线云端服务处理系统10的各模块，以启动在线云端服务处理系统10的各功能。在本示例实施例中，在线云端服务处理系统10可包括一个或一个以上的云端服务伺服器210。于一实施例，所述各模块可经配置在同一伺服器中运作，例如一云端服务伺服器210。于另一实施例，所述各模块则可经配置机动性单独运作或组合运作在至少一伺服器中，各模块所被配置的伺服器可相同或不同。在本示例实施例中的云端服务伺服器210的架构可与图1中的伺服器130(1)相同或类似。
于此实施例中，云端服务伺服器210可经配置运行至少一应用服务单元211(1)～211(X)与至少一应用服务评估单元212(1)～212(N)，X与N分别为大于0的正整数。于不同实施例中，当服务租户20发出在线服务请求时，云端服务伺服器210可经配置运行至少一应用服务单元211(1)～211(X)、或至少一应用服务评估单元212(1)～212(N)、或同时运行至少一应用服务单元211(1)～211(X)与至少一应用服务评估单元212(1)～212(N)，来执行云端服务功能以产生对应在线服务请求的输出结果。至少一处理器110可经配置运行云端服务伺服器210的各单元或各模块，以启动云端服务伺服器210各单元或各模块的各对应功能。再者，至少一应用服务单元211，可经配置运行至少一应用服务，至少一应用服务评估单元212，可经配置评估一或多个应用服务。应用服务评估单元所评估的一或多个应用服务可以相同或不同于应用服务单元所运行的至少一应用服务。
图2实施例中绘示的云端服务伺服器210可经配置运行应用服务单元211(1)～211(X)与应用服务评估单元212(1)～212(N)，然而本发明并不限制应用服务单元211(1)～211(X)与应用服务评估单元212(1)～212(N)的数目。依据实际应用上的不同需求，云端服务伺服器210可经配置运行一个或多个应用服务单元211(1)～211(X)与应用服务评估单元212(1)～212(N)。此外，于不同实施例中，所述至少一应用服务单元211(1)～211(X)与至少一应用服务评估单元212(1)～212(N)可经配置单独运作或组合运作在一或多个伺服器中，各单元所被配置的伺服器可相同或不同。
评估管理模块220包括注册子模块221、验证子模块222、信息保密子模块223及管理控制面板224。
注册子模块221可经配置执行至少一应用服务评估单元212(1)～212(N)的评估注册程序。具体而言，当服务开发者30欲使其所开发的云端服务应用程序参与在线测试时，服务开发者30可提供至少一注册请求至在线云端服务处理系统10。至少一处理器110可经配置根据至少一注册请求来注册至少一应用服务评估单元212(1)～212(N)以回应此至少一注册请求。详细来说，至少一处理器110可经配置运行注册子模块221以根据至少一注册请求来设定至少一应用服务评估单元212(1)～212(N)对应的至少一服务逻辑规则与至少一服务数据模型。至少一应用服务评估单元212(1)～212(N)可经配置根据至少一服务逻辑规则与至少一服务数据模型执行云端服务功能。例如，至少一服务逻辑规则定义所指定的至少一服务数据模型的结合方式等。进一步地，至少一处理器110可经配置将设定的至少一服务逻辑规则与至少一服务数据模型储存在至少一存储器120的数据库240中。数据库240可以是关系数据库(Relational Database Management System，RDBMS)或面向对象式数据库(Object-oriented Database Management System，ODBMS)，并可以标准数据查询语言(Structured Query Language，SQL)或NoSQL等方式来实施。在此，至少一处理器110可经配置以运行一个或多个应用服务评估单元，本发明并不限制应用服务评估单元的数量。
在本示例实施例中，服务开发者30提供至在线云端服务处理系统10的至少一注册请求可以包括服务逻辑规则与服务数据模型的相关信息。例如，以服务数据模型而言，至少一注册请求可以包括符合固定格式的服务数据模型结果文件，让服务租户20端可以经由统一的应用程序编程接口(application programming interface，简称API)读取使用。此固定格式可为在线云端服务处理系统10的默认格式。再者，至少一注册请求也可以包括建立服务数据模型结果文件的训练程序代码，至少一应用服务评估单元211(1)～211(X)可执行此训练程序代码在在线环境建立服务数据模型结果文件，以提供服务租户20端所界接的应用程序编程接口读取使用。以购物网站为例，上述的服务数据模型结果文件可包括商品与商品之间的关联性记录。以服务逻辑规则而言，至少一注册请求可以包括应用程序编程接口的网址(uniform resource locator，简称URL)，其输入、输出值可为在线云端服务处理系统10的默认格式，至少一处理器110可经配置运行至少一应用服务评估单元212(1)～212(N)以连结网址来呼叫此应用程序编程接口以执行云端服务功能。再者，至少一注册请求也可以包括服务逻辑规则的源代码，其输入、输出值可为在线云端服务处理系统10的默认格式，至少一处理器110可经配置运行至少一应用服务评估单元以执行此源代码来执行应用服务功能。此外，至少一注册请求也可以包括可结合应用服务单元211(1)～211(X)所使用的服务逻辑规则的结合程序代码，以结合应用服务单元211(1)～211(X)所使用的服务数据模型结果文件来产生新的服务逻辑规则以让所注册的至少一应用服务评估单元212(1)～212(N)使用。
验证子模块222可经配置执行验证操作以评估所注册的至少一应用服务评估单元212(1)～212(N)是否符合上线条件。具体而言，至少一处理器110可经配置运行验证子模块222来验证已注册的至少一应用服务评估单元212(1)～212(N)的至少一服务逻辑规则及至少一服务数据模型。上线条件可例如为至少一应用服务评估单元212(1)～212(N)运作时所需达到的功能、效率或效能等。进一步地，至少一处理器110可经配置将符合上线条件的至少一应用服务评估单元212(1)～212(N)链接至服务租户20端的在线环境。
信息保密子模块223可经配置执行数据保护操作以保护服务租户20端提供的项目信息。具体而言，至少一处理器110可经配置运行信息保密子模块223来执行信息保密功能。以经营购物网站的服务租户20为例，项目信息可以包括商品名称、商品价格、商品描述、网站营收、产品销售量、订价策略、消费者数据或其组合等等。上述的项目信息仅为举例，实际上项目信息还可包括其它的信息，本发明的项目信息不以上述为限。
图3是根据一示例实施例所绘示的信息保密操作的示意图。
请同时参照图2及图3，至少一处理器110可经配置运行信息保密子模块223以对服务租户20提供的项目信息执行信息保密操作并产生保密项目信息。之后，至少一处理器110可将保密项目信息提供给服务开发者30。服务开发者30接收到此保密项目信息后，则可根据保密项目信息执行数据分析以建立保密服务数据模型。此外，至少一处理器110可经配置运行信息保密子模块223对所建立的保密服务数据模型执行还原操作以取得包括真实信息的服务数据模型。基此，至少一处理器110可经配置运行至少一应用服务单元211(1)～211(X)及至少一应用服务评估单元212(1)～212(N)以根据服务数据模型来执行云端服务。
信息保密子模块223经配置执行的信息保密操作例如是用以排除项目信息中的机密信息。具体而言，信息保密子模块223可经配置根据服务数据模型的建立方式来决定需排除的机密信息。例如，针对以用户行为模式(例如点击行为)的数据分析为基础所建立的服务数据模型，信息保密子模块223可经配置排除项目信息中关于商品的具体描述。此外，针对以商品本质的数据分析为基础所建立的服务数据模型，信息保密子模块223可经配置排除项目信息中的商品销售数量。基此，信息保密子模块223所产生的保密项目信息将不会包含已排除的项目信息。
再者，信息保密子模块223经配置执行的信息保密操作也可例如是将项目信息转换为映像项目信息以产生保密项目信息。在本发明的一示例实施例中，信息保密子模块223可加密项目信息来产生保密项目信息。例如，至少一处理器110可经配置运行信息保密子模块223以利用进阶加密标准(Advanced Encryption Standard，简称AES)、数据加密标准(Data Encryption Standard，简称DES)、三重数据加密算法(Triple Data EncryptionAlgorithm，简称3DES)、RC2加密算法、RSA加密算法等加密算法来加密项目信息。然而，在本发明的另一示例实施例中，信息保密子模块223也可经配置使用正规化(normalization)处理将项目信息转换为映像项目信息。基此，信息保密子模块223经配置所产生的保密项目信息可包括映像项目信息。例如，信息保密子模块223可经配置将某件商品的商品名称重新命名以转换为映像商品名称。或者，至少一处理器110可经配置将多个服务租户20对同一件商品提供的多个商品价格计算平均值以得到映像商品价格，并且将项目信息与映像项目信息之间的关联性记录在包括至少一存储器120的数据库240中。如此一来，信息保密子模块223便可经配置根据数据库240中的关联性记录对服务开发者30提供的保密服务数据模型执行还原映像操作以取得包括真实数据的服务数据模型。
请再参照图2，导流模块230可经配置执行导流操作以将服务租户20端的至少一在线服务请求导流至至少一应用服务单元211(1)～211(X)与至少一应用服务评估单元212(1)～212(N)。具体而言，至少一处理器110可经配置运行导流模块230以根据默认流量比例来分配导流至至少一应用服务单元211(1)～211(X)与至少一应用服务评估单元212(1)～212(N)的至少一在线服务请求。在本示例实施例中，为维持服务质量，至少一处理器110可经配置将大部分流量的在线服务请求导流至至少一应用服务单元211(1)～211(X)。此外，在本实施例中，在线云端服务处理系统10的至少一伺服器130(1)～130(S)(例如云端服务伺服器210)还可包括至少一主机(例如实体主机或虚拟主机)，并且导流模块230亦可以布署在一或多个主机中。
在本示例实施例中，至少一处理器110还可经配置将至少一在线服务请求的流量信息记录在至少一存储器120的数据库240中。流量信息可例如为发出至少一在线服务请求的服务租户账号、在线服务请求的发生时间、点击的网页、订单等，或是至少一处理器110经配置执行导流操作后提供的在线服务请求与应用服务单元的相关信息(例如流量等)。此外，至少一处理器110还可经配置在数据库240中记录在线服务请求是被导流至至少一应用服务单元211(1)～211(X)或至少一应用服务评估单元212(1)～212(N)。
图4是根据一示例实施例所绘示的导流在线服务请求的示意图。
请同时参照图2及图4，在本示例实施例中，在线云端服务处理系统10的至少一伺服器130(1)～130(S)所包括的至少一处理器110可经配置运行应用服务单元211及应用服务评估单元212(1)～212(3)来执行云端服务功能。至少一处理器110可经配置运行导流模块230以将至少一在线服务请求区分为要导流至应用服务单元211的在线服务请求(以下亦称为第一部分)以及要导流至应用服务评估单元212(1)～212(3)的在线服务请求(以下亦称为第二部分)。例如，导流模块230将用户user1发出的在线服务请求区分为第一部分并导流至应用服务单元211。导流模块230将用户user2在三个时段t1～t3发出的在线服务请求区分为第二部分并分别导流至应用服务评估单元212(1)～212(3)。特别的是，在本示例实施例中，导流模块230可经配置将用户user2在时段t1发出的在线服务请求导流至应用服务评估单元212(1)；在时段t2发出的在线服务请求导流至应用服务评估单元212(2)；在时段t3发出的在线服务请求导流至应用服务评估单元212(3)。以下将以图5的示例实施例来说明上述的导流功能。
图5是根据一示例实施例所绘示的根据流量比例导流在线服务请求的示意图。
请同时参照图2及图5，在本示例实施例中，在线云端服务处理系统10的至少一伺服器130(1)～130(S)(例如云端服务伺服器210)所包括的至少一处理器110可经配置运行一个应用服务单元211及N个应用服务评估单元212(1)～212(N)来执行云端服务功能。服务租户20端根据用户的操作提供多个在线服务请求至在线云端服务处理系统10。至少一处理器110可预先设定应用服务单元211对应的流量比例M％与应用服务评估单元212(1)～212(N)对应的评估流量比例m％(以下亦称为总评估流量比例)。在本示例实施例中，至少一处理器110可经配置设定主要流量比例M％大于总评估流量比例m％，并且M与m的总和等于100。举例而言于一实施例中，主要流量比例设定为80％，而总评估流量比例设定为20％。换句话说，导流模块230可经配置将80％流量的在线服务请求区分为第一部分而导流至应用服务单元211，并且将其他20％流量的在线服务请求区分为第二部分而导流至应用服务评估单元212(1)～212(N)。
在本示例实施例中，在线云端服务处理系统10上注册了N个应用服务评估单元212(1)～212(N)。因此，导流模块230还可经配置将在线服务请求的第二部分平均分配给每一个应用服务评估单元。换句话说，导流模块230可经配置设定每一个应用服务评估单元的个别评估流量比例为n％，并且总评估流量比例m％等于个别评估流量比例n％乘以应用服务评估单元的数目N。举例而言，假设总评估流量比例为20％且在线云端服务处理系统10上注册了10个应用服务评估单元，至少一处理器110可经配置设定每一个应用服务评估单元的个别评估流量比例为2％。换句话说，至少一处理器110可经配置将2％流量的在线服务请求导流至每一个应用服务评估单元。
在实际运作上，至少一处理器110可以针对每一个在线服务请求计算一个数值(以下亦称为第一分配数值)，并且根据所计算的数值来决定如何导流每一个在线服务请求。在本示例实施例中，至少一处理器110是将每一个在线服务请求的流量信息输入至哈希函数(hash function)以计算出哈希值，并且根据哈希值来产生第一分配数值。在此，可以依据实际需求来决定输入至哈希函数的流量信息，本发明并不限制流量信息的内容。以电商(亦即服务租户)购物网站的商品智能推荐服务为例，为确保顾客于浏览期间可接受同一评估应用服务，输入至哈希函数的流量信息会包含服务租户名称、浏览期间编号、发生时段。倘若至少一处理器110根据某个在线服务请求计算出第一分配数值，并且判断第一分配数值对应至主要流量比例，至少一处理器110可经配置决定此在线服务请求属于第一部分并导流至应用服务单元211。此外，至少一处理器110还可经配置将所计算出的哈希值进行正规化处理以产生第一分配数值。例如，在本示例实施例中，倘若经过正规化处理所产生的第一分配数值介于0～M之间，至少一处理器110可经配置将在线服务请求导流至应用服务单元211。另一方面，倘若经过正规化处理所产生的第一分配数值介于M～100之间，至少一处理器110可经配置将在线服务请求导流至应用服务评估单元212(1)～212(N)。上述0～M之间的范围可定义为大于或等于0并且小于M的数值范围，而上述的M～100之间的范围可定义为大于或等于M并且小于100的数值范围。至少一处理器110可经配置预先将第一分配数值与至少一应用服务单元(或主要流量比例)及至少一应用服务评估单元(或总评估流量比例)的对应关系记录在至少一存储器120的数据库240中。
类似地，倘若至少一处理器110经配置判断第一分配数值对应至总评估流量比例(例如介于M～100之间)，至少一处理器110可经配置决定此在线服务请求属于第二部分并将此在线服务请求导流至应用服务评估单元212(1)～212(N)。在本示例实施例中，至少一处理器110可经配置再针对此在线服务请求计算另一个数值(以下亦称为第二分配数值)。例如，至少一处理器110可经配置将此在线服务请求的服务租户名称、浏览期间编号、发生时段等流量信息输入至哈希函数以计算出哈希值，并且根据哈希值来产生第二分配数值。进一步地，至少一处理器110还可经配置将所计算出的哈希值进行正规化处理以产生第二分配数值。类似于第一分配数值的判断方式，在本示例实施例中，倘若经过正规化处理所产生的第二分配数值介于0～n之间，至少一处理器110可经配置将此在线服务请求导流至应用服务评估单元212(1)。倘若经过正规化处理所产生第二分配数值介于n～2n之间，至少一处理器110可经配置将此在线服务请求导流至应用服务评估单元212(2)。依此类推，导流至应用服务评估单元212(1)～212(N)的在线服务请求的流量便可符合预设的总评估流量比例，并且导流至各应用服务评估单元的流量可趋于相等。特别的是，上述用来产生第一分配数值与第二分配数值的哈希函数可以是相同或相异。此外，上述的第一分配数值与第二分配数值也可以根据随机数生成，但本发明并不限于此，亦可使用其他方式来产生第一分配数值与第二分配数值。
请再参照图2，评估模块250可经配置执行评估操作以根据至少一应用服务评估单元212所产生的输出结果计算各个至少一应用服务评估单元212的至少一评估等级。
图6是根据一示例实施例所绘示的成效评估操作的示意图。
请同时参照图2及图6，至少一处理器110可经配置运行评估模块250以计算对应至少一应用服务评估单元212(1)～212(N)的至少一评估指标，进而根据所计算的至少一评估指标得到至少一应用服务评估单元212(1)～212(N)的至少一评估等级。一实施例中，每个应用服务评估单元可包括各自的至少一评估指标，并且得到至少一评估等级。具体而言，至少一处理器110可经配置将至少一应用服务评估单元212(1)～212(N)依据至少一在线服务请求所产生的输出结果储存在数据库240中。此外，至少一处理器110可经配置预先决定计算评估等级所需使用的至少一评估指针，并且运行评估模块250以根据储存在数据库240中的流量信息与输出结果计算至少一评估指标。以购物网站的商品推荐服务为例，评估指标可例如是点击浏览率(click-through rate)、下单率(order rate)、点击下单率(click-order rate)、资源使用(resource usage)等。储存在数据库240中的流量信息可包括各购物网站的浏览记录以及至少一在线服务请求与至少一应用服务评估单元212(1)～212(N)之间的对应关系。例如，点击浏览率可根据数据库240中用户对至少一应用服务评估单元212(1)～212(N)的输出结果执行点击的次数计算而得；下单率可根据数据库240中的订单成立数目计算而得；并且点击下单率可根据数据库240中用户对至少一应用服务评估单元212(1)～212(N)的输出结果执行点击以产生订单的点击次数计算而得。
评估模块250可经配置根据上述的流量信息与至少一应用服务评估单元212(1)～212(N)的至少一输出结果计算出对应至少一应用服务评估单元(1)～212(N)的至少一评估指标。一实施例中，每个应用服务评估单元可包括各自的至少一评估指标。例如，评估模块250可直接以单一评估指标进行至少一应用服务评估单元(1)～212(N)的评估等级。除此之外，评估模块250也可根据多个评估指标和对应的权重值来计算出评估等级。举例而言，至少一处理器110可经配置根据「点击浏览率」与「下单率」来计算出评估等级。假设评估等级的主要目的是为了找出具有最高点击浏览率的云端服务的应用服务评估单元，至少一处理器110可经配置将「点击浏览率」这个评估指标设定为对应最大的权重值，并且将「点击浏览率」与「下单率」分别乘以各自对应的权重值后加总而得出评估等级。在本发明中并不限制对应各评估指标的权重值。
请再参考图2，管理控制台224包括评估描述子模块225、评估结果子模块226及评估排名子模块227。
评估描述子模块225可经配置提供至少一应用服务评估单元212(1)～212(N)的相关描述(例如应用程序简介)，或者提供在线云端服务处理系统10所提供的评估信息(例如云端服务描述、评估规则、成效评估指针与计算方式)、需符合的数据格式(例如服务数据模型结果文件的固定格式)等。
评估结果子模块226可经配置根据所计算出的评估等级提供评估结果给服务开发者30。在一示例实施例中，评估结果子模块226可根据各应用服务评估单元的评估等级执行统计检定(statistics test)，例如，T检定(Ttesting)或变异数分析(analysis ofvariance，ANOVA)来比较各应用服务评估单元的评估等级的评估结果。在另一示例实施例中，评估结果子模块226可直接比对各应用服务评估单元的评估等级以产生评估结果。
评估排名子模块227用以根据各应用服务评估单元的评估等级或评估结果产生评估排行榜。
在本示例实施例中，至少一处理器110还可经配置运行评估管理模块220的注册子模块221以根据至少一应用服务单元211(1)～211(X)注册至少一比对应用服务单元。详细来说，至少一处理器110可经配置复制至少一应用服务单元211(1)～211(X)以产生至少一比对应用服务单元，并且将至少一比对应用服务单元作为至少一应用服务评估单元212(1)～212(N)至少其中之一。换句话说，被导流至至少一应用服务评估单元212(1)～212(N)的至少一在线服务请求中，部分的在线服务请求将可经配置被导流至至少一比对应用服务单元。如此一来，至少一比对应用服务单元与至少一应用服务评估单元212(1)～212(N)将可分别地对相同比例流量的在线服务请求执行云端服务。至少一处理器110可经配置根据至少一比对应用服务单元的评估指针来计算出对应的评估等级，并且可比较至少一比对应用服务单元(亦即所复制的至少一应用服务单元211)与至少一应用服务评估单元212(1)～212(N)的评估等级，譬如效能优劣或其他评估等级。
在本示例实施例中，上述各模块是以软件型式来实作并储存在至少一存储器120中。当在线云端服务处理系统10运作时，至少一伺服器130(1)～130(S)所包括的至少一处理器110可经配置从至少一存储器120中加载上述各模块的程序代码以执行对应操作。然而，必须了解的是，本发明不限于此。在另一示例实施例，上述各模块的对应功能亦可以硬件电路型式来实作。
图7是根据一示例实施例所绘示的评测方法的流程图。此评测方法用于上述的在线云端服务处理系统。
请参照图7。在步骤S701中，至少一处理器110可经配置运行在线云端服务处理系统中至少一应用服务单元211(1)～211(X)。并且，在步骤S703中，至少一处理器110可经配置执行在线云端服务处理系统中至少一应用服务评估单元212(1)～212(N)的至少一评估注册程序以响应所接收的对至少一应用服务评估单元212(1)～212(N)的至少一注册请求。在此步骤中，至少一处理器110可经配置设定至少一应用服务评估单元212(1)～212(N)的至少一服务逻辑规则与至少一服务数据模型。
然后，在步骤S705中，至少一处理器110可经配置运行至少一应用服务评估单元212(1)～212(N)。
在步骤S707中，至少一处理器110可经配置将至少一在线服务请求的第一部分导流至至少一应用服务单元211(1)～211(X)，将至少一在线服务请求的第二部分导流至至少一应用服务评估单元212(1)～212(N)，并且产生对应至少一在线服务请求的至少一输出结果。在此步骤中，至少一处理器110可经配置计算对应至少一在线服务请求的至少一第一分配数值，并且根据至少一第一分配数值将至少一在线服务请求区分为第一部分与第二部分。进一步地，至少一处理器110还可经配置计算对应至少一在线服务请求的第二部分的至少一第二分配数值，并且根据至少一第二分配数值将至少一在线服务请求的第二部分导流至至少一应用服务评估单元212(1)～212(N)。
最后，在步骤S709中，至少一处理器110可经配置根据至少一输出结果之中至少一应用服务评估单元212(1)～212(N)的输出结果计算各个至少一应用服务评估单元的至少一评估等级。
上述图7的各步骤已于前述的示例实施例中详细说明，于此不再赘述。
本发明的另一示例实施例提出一种计算机程序产品，用以执行上述在线评测方法的各个步骤。此计算机程序产品包括多个程序指令，且在线云端服务处理系统10中的至少一伺服器130(1)～130(S)所包括的至少一处理器110加载并执行该些程序指令之后，可完成上述的在线评测方法以及实现在线云端服务处理系统10的功能。
综上所述，本发明的在线云端服务伺服器可同时运行至少一应用服务评估单元与至少一应用服务单元。透过导流机制可将大部分的在线服务请求导流至至少一应用服务单元以执行一般的云端服务功能，并将少部分的在线服务请求提供给至少一应用服务评估单元以执行测试的云端服务功能。如此一来，在线云端服务伺服器仍可以至少一应用服务单元为主来持续提供云端服务，还可提供至少一应用服务评估单元根据实时的在线服务请求来进行评估测试，并进行评估等级。
虽然本发明已以实施例披露如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，本发明的保护范围当视权利要求书的界定为准。

Claims (30)

1.一种在线云端服务处理系统，其特征在于，包括：
至少一伺服器，各伺服器包括至少一存储器以及至少一处理器，经配置以执行储存在所述至少一存储器的多个指令；
至少一应用服务单元，经配置以运行至少一应用服务；
至少一应用服务评估单元，经配置以评估一或多个应用服务；
评估管理模块，经配置执行所述至少一应用服务评估单元的至少一评估注册程序，以响应所接收的对所述至少一应用服务评估单元的至少一注册请求；
导流模块，经配置将至少一在线服务请求的第一部分导流至所述至少一应用服务单元、所述至少一在线服务请求的第二部分则导流至所述至少一应用服务评估单元，以产生对应所述至少一在线服务请求的至少一输出结果；以及
评估模块，经配置根据所述至少一输出结果之中所述至少一应用服务评估单元产生的输出结果计算各个所述至少一应用服务评估单元的至少一评估等级。
2.根据权利要求1所述的在线云端服务处理系统，其中所述评估管理模块包括注册子模块，经配置根据所述至少一注册请求设定所述至少一应用服务评估单元对应的至少一服务逻辑规则与至少一服务数据模型，以执行所述至少一应用服务评估单元的所述至少一评估注册程序。
3.根据权利要求2所述的在线云端服务处理系统，其中所述至少一注册请求包括对应所述至少一服务数据模型的至少一服务数据模型结果文件。
4.根据权利要求2所述的在线云端服务处理系统，其中所述至少一注册请求包括至少一训练程序代码，其中所述至少一应用服务评估单元经配置执行所述至少一训练程序代码以建立对应所述至少一服务数据模型的至少一服务数据模型结果文件。
5.根据权利要求2所述的在线云端服务处理系统，其中所述至少一注册请求包括至少一网址，其中所述至少一网址对应所述至少一服务逻辑规则的至少一应用程序编程接口。
6.根据权利要求2所述的在线云端服务处理系统，其中所述至少一注册请求包括对应所述至少一服务逻辑规则的至少一源代码。
7.根据权利要求2所述的在线云端服务处理系统，其中所述至少一注册请求包括至少一结合程序代码，其中所述至少一应用服务评估单元经配置执行所述至少一结合程序代码以根据所述至少一应用服务单元所使用的至少一服务数据模型结果文件来产生所述至少一服务逻辑规则。
8.根据权利要求2所述的在线云端服务处理系统，其中所述评估管理模块经配置接收多个项目信息，并且将所述多个项目信息转换为多个映像项目信息，其中所述至少一服务数据模型是根据所述多个映像项目信息所产生。
9.根据权利要求2所述的在线云端服务处理系统，其中所述评估管理模块经配置根据所述至少一服务逻辑规则与所述至少一服务数据模型来执行验证操作。
10.根据权利要求1所述的在线云端服务处理系统，其中所述导流模块经配置计算对应所述至少一在线服务请求的至少一第一分配数值，并且根据所述至少一第一分配数值将所述至少一在线服务请求区分为所述第一部分与所述第二部分。
11.根据权利要求10所述的在线云端服务处理系统，其中所述导流模块经配置计算对应所述至少一在线服务请求的所述第二部分的至少一第二分配数值，并且根据所述至少一第二分配数值将所述至少一在线服务请求的所述第二部分导流至所述至少一应用服务评估单元。
12.根据权利要求11所述的在线云端服务处理系统，其中所述导流模块经配置根据至少一哈希函数产生所述至少一第一分配数值与所述至少一第二分配数值。
13.根据权利要求1所述的在线云端服务处理系统，其中所述评估模块经配置根据所述至少一输出结果之中所述至少一应用服务评估单元产生的输出结果计算对应所述至少一应用服务评估单元的至少一评估指针，并且根据所述至少一评估指标计算各个所述至少一应用服务评估单元的所述至少一评估等级。
14.根据权利要求1所述的在线云端服务处理系统，其中所述评估管理模块经配置根据所述至少一应用服务单元建立至少一比对应用服务单元，并且以所述至少一比对应用服务单元作为所述至少一应用服务评估单元的至少其中之一。
15.根据权利要求1所述的在线云端服务处理系统，其中所述至少一伺服器的各伺服器还包括：
所述至少一应用服务单元、所述至少一应用服务评估单元、所述评估管理模块、所述导流模块以及所述评估模块，至少其中之一。
16.一种在线评测方法，适用于在线云端服务处理系统，其特征在于，所述在线评测方法包括：
运行所述处理系统中至少一应用服务单元；
执行所述处理系统中至少一应用服务评估单元的至少一评估注册程序以响应所接收的对所述至少一应用服务评估单元的至少一注册请求；
运行所述至少一应用服务评估单元；
将至少一在线服务请求的第一部分导流至所述至少一应用服务单元，将所述至少一在线服务请求的第二部分导流至所述至少一应用服务评估单元，并且产生对应所述至少一在线服务请求的至少一输出结果；以及
根据所述至少一输出结果之中所述至少一应用服务评估单元产生的输出结果计算各个所述至少一应用服务评估单元的至少一评估等级。
17.根据权利要求16所述的在线评测方法，其中执行所述评估注册程序以响应所述至少一注册请求时，还包括：
根据所述至少一注册请求设定所述至少一应用服务评估单元对应的至少一服务逻辑规则与至少一服务数据模型。
18.根据权利要求17所述的在线评测方法，其中所述至少一注册请求包括对应所述至少一服务数据模型的至少一服务数据模型结果文件。
19.根据权利要求17所述的在线评测方法，其中所述至少一注册请求包括至少一训练程序代码，其中所述至少一训练程序代码建立对应所述至少一服务数据模型的至少一服务数据模型结果文件。
20.根据权利要求17所述的在线评测方法，其中所述至少一注册请求包括至少一网址，其中所述至少一网址对应所述至少一服务逻辑规则的至少一应用程序编程接口。
21.根据权利要求17所述的在线评测方法，其中所述至少一注册请求包括对应所述至少一服务逻辑规则的至少一源代码。
22.根据权利要求17所述的在线评测方法，其中所述至少一注册请求包括至少一结合程序代码，其中所述至少一结合程序代码用以根据所述至少一应用服务单元所使用的至少一服务数据模型结果文件来产生所述至少一服务逻辑规则。
23.根据权利要求17所述的在线评测方法，还包括：
接收多个项目信息；以及
将所述多个项目信息转换为多个映像项目信息，
其中所述至少一服务数据模型是根据所述多个映像项目信息所产生。
24.根据权利要求17所述的在线评测方法，其中执行所述评估注册程序以响应所述至少一注册请求时，还包括：
根据所述至少一服务逻辑规则与所述至少一服务数据模型来执行验证操作。
25.根据权利要求16所述的在线评测方法，其中还包括：
计算对应所述至少一在线服务请求的至少一第一分配数值，并且根据所述至少一第一分配数值将所述至少一在线服务请求区分为所述第一部分与所述第二部分。
26.根据权利要求25所述的在线评测方法，其中还包括：
计算对应所述至少一在线服务请求的所述第二部分的至少一第二分配数值，并且根据所述至少一第二分配数值将所述至少一在线服务请求的所述第二部分导流至所述至少一应用服务评估单元。
27.根据权利要求26所述的在线评测方法，还包括：
根据至少一哈希函数产生所述至少一第一分配数值与所述至少一第二分配数值。
28.根据权利要求16所述的在线评测方法，其中计算所述至少一评估等级时，还包括：
根据所述至少一输出结果之中所述至少一应用服务评估单元产生的输出结果计算对应所述至少一应用服务评估单元的至少一评估指针；以及
根据所述至少一评估指标计算各个所述至少一应用服务评估单元的所述至少一评估等级。
29.根据权利要求16所述的在线评测方法，还包括：
根据所述至少一应用服务单元建立至少一比对应用服务单元，并且以所述至少一比对应用服务单元作为所述至少一应用服务评估单元的至少其中之一。
30.一种计算机程序产品，其特征在于，包括多个指令，当在线云端服务处理系统加载所述指令并由所述处理系统所包括的至少一处理器执行后，可完成权利要求16～29所述的方法。
CN201611233365.4A 2016-12-21 2016-12-28 在线云端服务处理系统与评测方法及其计算机程序产品 Active CN108230005B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105142421 2016-12-21
TW105142421A TWI606349B (zh) 2016-12-21 2016-12-21 線上雲端服務處理系統與線上評測方法及其電腦程式產品

Publications (2)

Publication Number Publication Date
CN108230005A true CN108230005A (zh) 2018-06-29
CN108230005B CN108230005B (zh) 2022-05-24

Family

ID=61023029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611233365.4A Active CN108230005B (zh) 2016-12-21 2016-12-28 在线云端服务处理系统与评测方法及其计算机程序产品

Country Status (3)

Country Link
US (1) US10791038B2 (zh)
CN (1) CN108230005B (zh)
TW (1) TWI606349B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144721A (zh) * 2018-07-18 2019-01-04 Oppo广东移动通信有限公司 资源排序方法、资源显示方法、相关装置及存储介质
CN110427983A (zh) * 2019-07-15 2019-11-08 北京智能工场科技有限公司 一种基于本地模型与云端反馈的全流程人工智能竞赛系统及其数据处理方法
WO2020173140A1 (zh) * 2019-02-26 2020-09-03 北京多点在线科技有限公司 一种兼职工作匹配方法及系统、存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415811B (zh) * 2018-03-23 2021-08-27 广发证券股份有限公司 一种监测业务逻辑的方法及装置
CN113269406A (zh) * 2021-05-06 2021-08-17 京东数字科技控股股份有限公司 线上服务的评价方法、装置、计算机设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1208389A (zh) * 1995-11-30 1999-02-17 奥蒂斯电梯公司 具有自适应限制发生器的电梯控制器
CN1756192B (zh) * 2004-09-30 2011-02-23 微软公司 管理终端服务账户和会话的方法和系统
CN102065057A (zh) * 2009-11-18 2011-05-18 华为技术有限公司 一种应用于Widget的代理服务的方法及服务器
JP2013050747A (ja) * 2011-08-30 2013-03-14 Konica Minolta Business Technologies Inc サービス評価システムおよび画像形成装置
US20130073488A1 (en) * 2010-02-24 2013-03-21 Roger N. Anderson Metrics monitoring and financial validation system (m2fvs) for tracking performance of capital, operations, and maintenance investments to an infrastructure
CN103136626A (zh) * 2011-11-29 2013-06-05 北京建龙重工集团有限公司 工程项目的在线管理方法
CN104683378A (zh) * 2013-11-27 2015-06-03 上海墨芋电子科技有限公司 新技术的一种新型云计算服务平台的计算调试系统
WO2016011061A1 (en) * 2014-07-16 2016-01-21 Oracle International Corporation Database consolidation advisor
US20160110789A1 (en) * 2014-10-20 2016-04-21 Brian Michael Gilb Cumulative Evaluation and Review System and Methods
US20160301746A1 (en) * 2015-04-12 2016-10-13 Alcatel-Lucent Usa Inc. Perfect application capacity analysis for elastic capacity management of cloud-based applications

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5714866A (en) * 1994-09-08 1998-02-03 National Semiconductor Corporation Method and apparatus for fast battery charging using neural network fuzzy logic based control
US6317722B1 (en) 1998-09-18 2001-11-13 Amazon.Com, Inc. Use of electronic shopping carts to generate personal recommendations
US7069234B1 (en) 1999-12-22 2006-06-27 Accenture Llp Initiating an agreement in an e-commerce environment
WO2002056144A2 (en) 2001-01-09 2002-07-18 Topcoder Inc Systems and methods for coding competitions
EP1704492A1 (en) * 2003-11-27 2006-09-27 Quinetiq Limited Automated anomaly detection
US9823737B2 (en) * 2008-04-07 2017-11-21 Mohammad A Mazed Augmented reality personal assistant apparatus
US8090621B1 (en) 2007-06-27 2012-01-03 Amazon Technologies, Inc. Method and system for associating feedback with recommendation rules
US8027981B2 (en) * 2008-12-10 2011-09-27 International Business Machines Corporation System, method and program product for classifying data elements into different levels of a business hierarchy
US20110208606A1 (en) 2010-02-19 2011-08-25 Computer Associates Think, Inc. Information Technology Services E-Commerce Arena for Cloud Computing Environments
US20110307304A1 (en) 2010-06-11 2011-12-15 Microsoft Corporation Crowd-sourced competition platform
US8875131B2 (en) 2010-11-18 2014-10-28 International Business Machines Corporation Specification of environment required for crowdsourcing tasks
CN102880542B (zh) * 2011-07-14 2015-03-18 易云捷讯科技（北京）有限公司 云计算服务评测系统及评测方法
CN102591778B (zh) 2012-01-09 2015-04-29 福建师范大学 一种基于服务的可扩展程序竞赛评测系统
US8738459B2 (en) 2012-05-30 2014-05-27 International Business Machines Corporation Product recommendation
US9135320B2 (en) 2012-06-13 2015-09-15 Opera Solutions, Llc System and method for data anonymization using hierarchical data clustering and perturbation
US9225621B2 (en) * 2013-06-25 2015-12-29 Netflix, Inc. Progressive deployment and termination of canary instances for software analysis
JP6273773B2 (ja) * 2013-10-30 2018-02-07 富士ゼロックス株式会社 情報処理装置、情報処理システムおよびプログラム
US9942265B2 (en) * 2014-01-06 2018-04-10 International Business Machines Corporation Preventing application-level denial-of-service in a multi-tenant system
KR20150135678A (ko) * 2014-05-23 2015-12-03 한국전자통신연구원 온라인 소프트웨어 서비스 시스템 및 그 방법
CN104331477B (zh) * 2014-11-04 2017-08-25 哈尔滨工业大学 基于联邦式检索的云平台并发性能测试方法
CN105718805A (zh) * 2016-01-25 2016-06-29 福建北卡科技有限公司 基于评价可信度的云计算信任管理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1208389A (zh) * 1995-11-30 1999-02-17 奥蒂斯电梯公司 具有自适应限制发生器的电梯控制器
CN1756192B (zh) * 2004-09-30 2011-02-23 微软公司 管理终端服务账户和会话的方法和系统
CN102065057A (zh) * 2009-11-18 2011-05-18 华为技术有限公司 一种应用于Widget的代理服务的方法及服务器
US20130073488A1 (en) * 2010-02-24 2013-03-21 Roger N. Anderson Metrics monitoring and financial validation system (m2fvs) for tracking performance of capital, operations, and maintenance investments to an infrastructure
JP2013050747A (ja) * 2011-08-30 2013-03-14 Konica Minolta Business Technologies Inc サービス評価システムおよび画像形成装置
CN103136626A (zh) * 2011-11-29 2013-06-05 北京建龙重工集团有限公司 工程项目的在线管理方法
CN104683378A (zh) * 2013-11-27 2015-06-03 上海墨芋电子科技有限公司 新技术的一种新型云计算服务平台的计算调试系统
WO2016011061A1 (en) * 2014-07-16 2016-01-21 Oracle International Corporation Database consolidation advisor
US20160110789A1 (en) * 2014-10-20 2016-04-21 Brian Michael Gilb Cumulative Evaluation and Review System and Methods
US20160301746A1 (en) * 2015-04-12 2016-10-13 Alcatel-Lucent Usa Inc. Perfect application capacity analysis for elastic capacity management of cloud-based applications

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144721A (zh) * 2018-07-18 2019-01-04 Oppo广东移动通信有限公司 资源排序方法、资源显示方法、相关装置及存储介质
WO2020173140A1 (zh) * 2019-02-26 2020-09-03 北京多点在线科技有限公司 一种兼职工作匹配方法及系统、存储介质
CN110427983A (zh) * 2019-07-15 2019-11-08 北京智能工场科技有限公司 一种基于本地模型与云端反馈的全流程人工智能竞赛系统及其数据处理方法

Also Published As

Publication number Publication date
CN108230005B (zh) 2022-05-24
TWI606349B (zh) 2017-11-21
US20180176099A1 (en) 2018-06-21
TW201824009A (zh) 2018-07-01
US10791038B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
US20230052849A1 (en) Configurable relevance service platform incorporating a relevance test driver
US9928290B2 (en) Trust framework for platform data
Kang et al. An interactive trust model for application market of the internet of things
CN108230005A (zh) 在线云端服务处理系统与评测方法及其计算机程序产品
US20220141035A1 (en) Secure multi-party computation attribution
US20190108576A1 (en) Blockchain systems and methods for procurement
CN109034795B (zh) 一种基于区块链的信用易货平台
CN105469263A (zh) 一种商品推荐方法及装置
EP2156309A2 (en) A system and device for social shopping on-line
Stahl et al. Data quality scores for pricing on data marketplaces
Chen et al. Common pitfalls in training and evaluating recommender systems
Majd et al. A trust model for recommender agent systems
CN112465627A (zh) 基于区块链和机器学习的金融借贷审核方法及系统
CN114398553A (zh) 对象推荐方法、装置、电子设备以及存储介质
US20190080360A1 (en) Technologies for propogating advertisements
JP2020064523A (ja) 提供装置、提供方法および提供プログラム
CN117094773A (zh) 基于区块链隐私计算的在线迁移学习方法及系统
US20160275535A1 (en) Centralized system for progressive price management
JPWO2019021715A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
Uver Internet of things and the future of digital marketing
Rebiazina et al. Consumer loyalty factors in the Russian e-commerce market
WO2024057389A1 (ja) 統合システム、組織サーバ、統合方法、分析方法、および記録媒体
Yu Implementation of a Comprehensive Service Platform for Cross-Border E-commerce Based on Java
Hung et al. Investigation of the Effective Use of Ensemble Learning Algorithms for Cyber Data Analytics–The Prediction of the Customer Revenue on the Google Merchandise Store (GStore)
Gutowska et al. Evaluation of Reputation Metric for the B2C e-Commerce Reputation System.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant