CN104246713B - 利用者体感品质推测装置、品质劣化主要原因判定装置、类似操作抽出装置及其方法 - Google Patents

Abstract

用于推测利用者终端中的应用的利用者的体感等待时间的利用者体感品质推测装置具有：数据接收单元，取得在所述利用者终端中在推测对象期间进行的数据取得、脚本执行、画面描绘的各处理的继续时间作为推测对象日志，并将其储存到接收日志存储单元；日志去除单元，从所述接收日志存储单元读出所述推测对象日志，输出去除了该数据的继续时间比规定的短时间处理阈值短或者比规定的长时间阈值长的日志的日志；量化单元，针对从所述日志去除单元所输出的日志，将在一定时间的时隙内进行的各处理的个数计算为复用度；以及连续区域抽出单元，从由所述量化单元所量化了的数据抽出连续区域。

Description

利用者体感品质推测装置、品质劣化主要原因判定装置、类似 操作抽出装置及其方法

技术领域

第1侧面的本发明涉及利用者体感品质推测装置以及方法，特别涉及根据利用者的体感等待时间推测服务利用者体感到的应用的品质的利用者体感品质推测装置以及方法。

另外，第2侧面的本发明涉及终端瓶颈判定装置以及方法，特别涉及用于判定应用利用时的品质劣化主要原因的终端瓶颈判定装置以及方法以及程序。

进而，第3侧面的本发明涉及应用执行时的品质劣化判定技术中的、类似操作抽出装置以及方法，特别涉及用于在应用执行时抽出与作为输入提供了的由用户实施的操作类似的操作的类似操作抽出装置以及方法以及程序。

背景技术

关于第1侧面，作为取得与应用有关的利用者的体感等待时间的方法，存在以下的方法。此处，利用者的体感等待时间意味着，直至在由利用者实施的画面的点击操作之后，对执行结果进行画面显示为止的期间的时间。

(A)取得在终端与服务器之间交换的HTTP消息的响应时间等接近利用者体感等待时间的指标而提示的方法(例如，参照非专利文献1)。

(B)根据在终端与服务器之间连续地发送接收分组的期间，推测利用者的体感等待时间的手法(例如，参照专利文献1)。

关于第2侧面，作为用于在与应用有关的服务利用时，判定产生了以利用者中的体感等待时间的长时间化为代表的品质劣化的情况的品质劣化主要原因是否处于终端这样的终端瓶颈的以往手法，有以下的手法。此处的“体感等待时间”也如上所述意味着，直至在由利用者实施的画面点击操作之后，对执行结果进行画面显示为止的期间的时间。

(A)掌握终端的CPU负荷率等资源，判定是否成为瓶颈的手法：

例如，有使用在Windows(注册商标)OS上附属的“性能监视器”等工具，确认CPU利用率、空闲存储器量是否超过事先规定了的阈值的手法(例如，参照专利文献2)。

(B)确认终端规格的手法：

有根据CPU类别、搭载存储器量等终端规格信息，判定是否适合于该服务的手法(例如，参照非专利文献2、3)。

(C)利用基准标记的事先确认手法：

有使进行接近该服务的动作的基准标记软件动作，根据其评分判定是否适合于该服务的手法(例如，参照非专利文献4)。

接下来，说明与第3侧面有关的背景技术。

近年来，经由Web应用等网络而利用的应用得到了普及。该应用的特征在于，无需在用户终端中安装应用，经由Web浏览器、专用的客户端软件等，访问服务器，从而能够利用在服务器侧管理的软件、数据。

但是，存在用户的体感品质易于被服务器、网络的延迟而左右，难以保证一定的体感品质这样的问题。因此，常时监视用户的体感品质，在有品质劣化的情况下，需要适合地处置。例如，有常时监视客户端.服务器之间的响应时间，在响应时间比通常时长的情况下，判别为品质劣化的手法(例如，参照非专利文献5)。

另外，最近，包括动态的内容的应用也增加。在这样的应用中，用户终端中的处理量变多，所以除了服务器、网络以外，用户终端的处理性能也成为左右用户体感品质的大的主要原因。因此，在非专利文献6中，叙述了加入了用户终端主要原因的品质监视、即监视体感 等待时间的必要性。

专利文献1：日本特开2011-142473号公报

专利文献2：日本特开2003-298655号公报

非专利文献1：CA Application Performance Management.http：//www.ca.com/jp/products/detail/CA-Application-Performance-Management/overview.aspx

非专利文献2：金融厅EDINET文件阅览用终端要求条件http：//www.fsa.go.jp/singi/edinet/20070427/09.pdf

非专利文献3：Windows7终端要求条件http：//windows.microsoft.com/ja-JP/windows7/products/system-requirements

非专利文献4：游戏软件 最终幻想 基准标记http：//www.finalfantasyxiv.com/media/benchmark/jp/

非专利文献5：Fluke APA http：//www.toyo.co.jp/flukenetworks/apa.html

非专利文献6：山本浩司、中村天真、本多泰理、池上大介、高桥玲、″基于浏览器应用的品质主要原因考察″、信息学报、2012-7.

非专利文献7：CA APM http：//systemwalker.fujitsu.com/jp/caapm/

发明内容

(与第1侧面有关的课题)

在与第1侧面有关的以往的技术中，存在以下那样的课题。

(1)未考虑终端处理时间的影响：

图1是使进行了利用者的操作时的动作单纯化了的图。在该例子中，从利用者的操作开始至画面显示完成的时刻的时间(t4-t0)由“从终端发出请求”“来自服务器的应答”“终端中的画面生成处理”构成。在以往技术中，检测请求发出至响应接收的时间(t3-t0)，所以终端处理时间(t4-t3)成为误差。

另外，在动态的内容中存在终端处理时间变长的倾向，以往技术 的误差变大。

(2)对应于不伴随通信的处理：

在以往的技术中，如图2所示，在利用者的操作时对服务器发出了请求，但在构成要素中包括动态的内容的应用中，处理在浏览器、专用的客户端软件内，不发生向服务器的请求的情况也多，在以往技术下，无法探测进行了利用者的操作。

(3)与利用者体感相关的信号配对的抽出：

在构成要素中包括动态的内容的应用中，如图3所示，利用者操作为起因的信号、和浏览器、专用的客户端软件等利用者操作以外成为起因的信号混合存在。为了确定利用者操作成为起因的信号，需要确认与各应用的操作对应的信号图案。应用的数量、以及、各应用内操作的数量庞大，确认每个操作的信号图案是极其困难的。

如上所述，在以往技术中，存在未考虑终端侧的处理时间的影响、在浏览器或者专用的客户端软件内封闭而无法从外部探测不伴随与服务器的通信的利用者操作、并且难以从外部分类是否为对利用者体感品质影响的由利用者实施的操作为起因的通信等问题，在推测应用的利用者体感品质时，妨碍进行高精度的推测。

(与第2侧面有关的课题)

在与第2侧面有关的以往的技术中，有以下的2个课题。

(1)与第2侧面有关的上述以往的(A)、(B)的技术存在与该应用的相关低这样的问题。CPU利用率等资源并非表示终端的负荷状态的一个尺度，除了终端负荷极端高的状态以外，与该指标，应用动作速度的相关弱。例如，如果适当的时间间隔的CPU利用率始终是100％，则怀疑终端瓶颈，但在80％、60％等的情况下，没法判定。另外，即使CPU利用率是100％，根据进程优先级的关系，应用动作速度也有可能没有问题。

终端规格规定也同样，难以取得终端规格这样的极其粗略的概略、和各种应用类别、操作类别的动作速度的相关。

(2)上述以往的(B)、(C)的技术存在在产生了品质劣化时 无法反映终端状态这样的问题。在利用者操作的终端中，不应仅成为对象的应用动作。例如，在同时进行利用病毒探索软件的检查时，即使动作规格、基准标记评分满足规定，也有可能引起终端瓶颈所致的服务品质降低。

(与第3侧面有关的课题)

在与第3侧面有关的以往的技术中，有以下的课题。

用户体感等待时间根据用户在应用执行时实施了的操作内容而不同。其原因为，通过在应用执行时用户实施了的操作内容，伴随操作而产生的处理量、处理的复杂度不同，其导致处理时间的差异、甚至用户体感等待时间的差异。因此，在体感等待时间比通常长的情况下判别为品质劣化的手法中，实施了与通常不同的操作、特别是应用的处理量多且复杂的操作的情况下，处理成为长时间化，用户体感等待时间比通常更长，所以尽管在服务器、网络、用户终端中的任意一个中都未产生品质劣化，但也有可能错误地判别为产生了品质劣化。因此，为了正确地判别体感品质的劣化，需要与过去实施了类似的操作时的体感等待时间比较。

例如，在非专利文献7(CA APM http：//systemwalker.fujitsu.com/jp/caapm/)中，提示了以应用的手段单位监视服务器处理时间的手法，能够与过去执行了相同的手段时的处理时间比较。但是，如上所述，在用户的体感等待时间中，网络、用户终端中的处理时间也产生影响，所以仅监视服务器处理时间不充分。另外，为了还监视手段内容，用户实施了的操作内容不确定，鉴于用户的个人信息保护的观点，该方法不优选。

本发明鉴于与第1～第3侧面有关的上述课题。

本发明的第1目的在于，提供一种根据从Web浏览器等应用取得了的抽象化了的处理类别(Network：数据取得、Scripting：脚本执行、Rendering：画面描绘)和需要的时间数据，作为利用者体感品质，第三人能够推测应用的利用者的体感等待时间的技术。

本发明的第2目的在于，提供一种根据从Web浏览器等应用取 得了的抽象化了的处理类别(Network、Scripting、Rendering)和该处理所需的时间数据，第三人能够判定终端是否为利用者体感品质的品质劣化主要原因的技术。

本发明的第3目的在于，提供一种为了提高应用执行时的品质劣化判定精度，无需监视手段内容，利用者能够判别与在应用执行时实施了的操作类似的过去实施了的操作的技术。

为了实现上述第1目的，根据本发明的一个实施方式，提供一种利用者体感品质推测装置，用于推测利用者终端中的应用的利用者的体感等待时间，其特征在于包括：数据接收单元，取得在所述利用者终端中在推测对象期间进行的数据取得、脚本执行、画面描绘的各处理的继续时间作为推测对象日志，并将其储存到接收日志存储单元；日志去除单元，从所述接收日志存储单元读出所述推测对象日志，输出去除了该数据的继续时间比规定的短时间处理阈值短或者比规定的长时间阈值长的日志的日志；量化单元，针对从所述日志去除单元所输出的日志，将在一定时间的时隙内进行的各处理的个数计算为复用度；以及连续区域抽出单元，从由所述量化单元所量化了的数据抽出连续区域，所述连续区域抽出单元包括：第1连续区域抽出单元，不区分所述数据取得、所述脚本执行、所述画面描绘的各处理而抽出连续区域；或者第2连续区域抽出单元，区分所述数据取得、所述脚本执行、所述画面描绘的各处理而抽出连续区域。

为了实现上述第2目的，根据本发明的一个实施方式，提供一种品质劣化主要原因判定装置，用于在利用从应用服务器提供的应用的服务时，判定品质劣化主要原因是否在于利用者终端，其特征在于包括：数据接收单元，取得在所述利用者终端中在推测对象期间进行的数据取得、脚本执行、画面描绘的各处理的继续时间作为判定对象日志，并将其储存到接收日志存储单元；以及瓶颈判定单元，比较进行了与针对在所述利用者终端中进行的应用的操作同样的操作时的参考日志、或者、脚本执行、画面描绘的处理的连续区域长的经验累积分布的数据、和所述判定对象日志，来求出评价值，根据该评价值的 总计值和预先所设定的阈值的比较结果，判定品质劣化主要原因是否在于该利用者终端。

为了实现上述第3目的，根据本发明的一个实施方式，提供一种类似操作抽出装置，在执行应用时，抽出与作为输入所提供的操作即输入操作类似的操作，其特征在于包括：特征量计算单元，根据与从应用日志和网络日志中的仅某一方、或者两方的组合所切出的用户体感等待时间对应的日志，计算特征量；以及类似度计算单元，根据计算出的所述特征量和过去在存储单元中保存的特征量、以及预定的类似度函数，计算所述特征量和所述过去保存的特征量的类似度。

根据与第1目的对应的本发明的一个实施方式，通过活用作为终端上的Web浏览器等应用的数据取得(Network)、脚本执行(Scripting)、画面描绘(Rendering)的开始/结束时间的时系列信息的日志数据来进行体感等待时间推测，能够推测直至对还包括终端处理时间的应用的针对利用者操作的执行结果进行画面显示为止的利用者体感等待时间。另外，在构成要素中包括动态的内容的终端处理时间的比例高的应用中，通过本发明，利用者体感品质(利用者体感等待时间)的推测精度提高。

另外，将抽象化了的处理类别(Network、Scripting、Rendering)作为输入，不利用应用固有的信息，所以能够针对各种各样的应用，进行考虑了来自利用者终端以外(利用者体感品质推测装置)的终端侧处理时间的影响的利用者体感等待时间的常时推测，能够实现由第三人实施的基于利用者体感等待时间的利用者体感品质的常时监视。

根据与第2目的对应的本发明的一个实施方式，构筑了还加入了终端主要原因的品质劣化的原因特定操纵。在本发明中，能够通过还能够确定终端原因的外部(第三人)推测(监视)利用者的体感品质，从而能够实现切分操纵的构筑，所以能够实现反映了实际的应用的执行的影响、和障碍发生时的终端状态的瓶颈判定，能够比以往实现瓶颈判定的高精度化。

根据与第3目的对应的本发明的一个实施方式，通过利用者判别 并抽出与在应用执行时实施了的操作类似的过去实施了的操作，能够取得针对类似的过去的操作的用户体感等待时间。然后，通过比较成为品质劣化判定对象的应用执行时的用户体感等待时间、和所述抽出了的针对类似的过去的操作的用户体感等待时间，不会受到操作内容的影响，能够仅探测End-to-End的品质劣化所引起的体感等待时间的长时间化，品质劣化判定的精度提高。

附图说明

图1是将从操作至显示进行了单纯化的模型。

图2是不伴随通信的处理的事例。

图3是非同步通信的事例。

图4是本发明的第1实施方式中的系统结构的一个例子。

图5是本发明的实施方式1-1中的品质推测装置的结构的一个例子。

图6是本发明的实施方式1-1中的接收日志存储部中储存的数据例。

图7是本发明的实施方式1-1中的品质推测装置的动作的流程图。

图8是本发明的实施方式1-1中的各种阈值评价的采样数据。

图9是本发明的实施方式1-1中的量化的例子。

图10是本发明的实施方式1-1中的连续区域抽出处理的流程图(其1)。

图11是本发明的实施方式1-1中的连续区域抽出的例子(其1)。

图12是本发明的实施方式1-1中的连续区域抽出处理的流程图(其2)。

图13是本发明的实施方式1-1中的连续区域抽出的例子(其2)。

图14是本发明的实施方式1-1中的连续区域的整形例。

图15是本发明的实施方式1-2中的连续区域抽出处理的流程图(其1)。

图16是本发明的实施方式1-2中的各要素的连续区域判定后的并集处理的例子。

图17是本发明的实施方式1-2中的连续区域抽出处理的流程图(其2)。

图18是本发明的实施方式1-2中的由 的流程构成的连续区域抽出的例子。

图19是本发明的实施方式1-2中的连续区域抽出处理的流程图(其3)。

图20是本发明的实施方式1-2中的由 的流程构成的连续区域抽出的例子。

图21是本发明的第2实施方式中的系统结构的一个例子。

图22是本发明的实施方式2-1中的终端瓶颈判定装置的结构例。

图23是本发明的实施方式2-1中的输入到瓶颈判定部的数据的例子。

图24是用于说明本发明的实施方式2-1中的参考判定的图。

图25是本发明的实施方式2-1中的参考判定处理的流程图。

图26是本发明的实施方式2-1中的各种阈值评价的采样数据。

图27是本发明的实施方式2-1中的量化的例子。

图28是本发明的实施方式2-1中的连续区域抽出处理的流程图。

图29是示出本发明的实施方式2-1中的连续区域判定方法的图。

图30是本发明的实施方式2-1中的瓶颈判定的例子。

图31是本发明的实施方式2-2中的终端瓶颈判定装置的结构例。

图32是用于说明本发明的实施方式2-2中的非参考判定的图。

图33A是本发明的实施方式2-2中的连续区域长的经验累积分布。

图33B是本发明的实施方式2-2中的连续区域长的经验累积分布。

图34是本发明的实施方式2-2中的非参考判定的流程图。

图35是本发明的实施方式2-2中的非参考判定手法的具体例。

图36是本发明的实施方式2-2中的非参考判定的流程图。

图37是本发明的实施方式2-2中的评价的例子。

图38是本发明的实施方式2-2中的利用安德森·达林检定的评价法(其1)。

图39是本发明的实施方式2-2中的利用安德森·达林检定的评价法(其2)。

图40是本发明的实施方式2-2中的利用安德森·达林检定的评价法(其3)。

图41是本发明的实施方式2-2中的瓶颈判定的例子。

图42是本发明的第3实施方式中的系统结构例。

图43是本发明的第3实施方式中的其他系统结构例。

图44是本发明的第3实施方式中的日志取得至类似操作抽出的处理的流程图。

图45是示出本发明的第3实施方式中的峰值的求出方法、以及峰值高、峰值宽的定义的图。

图46是示出本发明的第3实施方式中的处理的活性化区间的求出方法的图。

图47A是示出本发明的第3实施方式中的峰值位置的分类的图。

图47B是示出本发明的第3实施方式中的峰值位置的分类的图。

图48A是示出本发明的第3实施方式中的峰值位置的分类的图。

图48B是示出本发明的第3实施方式中的峰值位置的分类的图。

图48C是示出本发明的第3实施方式中的峰值位置的分类的图。

图49是第3实施方式中的一个实施例的从用户终端取得了的应用日志的例子。

图50是第3实施方式中的一个实施例的从用户终端取得了的网络日志的例子。

图51是第3实施方式中的一个实施例的推测体感等待时间的例子。

图52是第3实施方式中的一个实施例的切出了的应用日志的例 子。

图53是第3实施方式中的一个实施例的切出了的网络日志的例子。

图54是第3实施方式中的一个实施例的每个处理类别的处理复用度(时隙＝体感等待时间的长度÷50)。

图55是第3实施方式中的一个实施例的每个处理类别的处理复用度(时隙＝体感等待时间的长度÷10)。

图56是第3实施方式中的一个实施例的保存了的特征量、推测体感等待时间的数据例。

图57是第3实施方式中的一个实施例的类似度的计算结果。

图58是第3实施方式中的评价对象。

图59是第3实施方式中的评价结果。

(符号说明)

1100：品质推测装置；1101：接收日志存储部；1110：接收部；1120：等待时间推测部；1130：推测结果储存·显示部；1200：利用者终端；1210：Web浏览器；1220：浏览器日志取得部；1230：发送部；1300：浏览器应用服务器；1310：HTTP服务器；1320：内容；2100：终端瓶颈判定装置；2101：接收日志存储部；2102：参考日志存储部；2103：连续区域长经验累积分布DB；2110：接收部；2120：瓶颈判定部；2130：判定结果储存.显示部；2140：连续区域长经验累积分布DB生成部；2200：利用者终端；2210：Web浏览器；2220：浏览器日志取得部；2230：发送部；2300：浏览器应用服务器；2310：HTTP服务器；2320：内容；3100：类似操作抽出装置；3110：体感等待时间推测部；3120：日志切出部；3130：特征量计算部；3140：类似度计算部；3150：类似操作抽出部；3160：保存部；3170：存储部；3200：用户终端；3210：发送部；3220：日志取得部；3230：Web浏览器；3300：AP服务器；3310：HTTP服务器；3320：内容。

具体实施方式

以下，参照附图，说明本发明的第1～第3实施方式。在本实施方式中，以在终端中执行的应用是Web浏览器的情况为例子进行了说明，但本发明不限于该例子，能够应用于各种应用。

(第1实施方式)

首先，说明第1实施方式。第1实施方式是与第1目的对应的实施方式。

在本实施方式中，从利用者终端的Web浏览器，时系列地取得抽象化了的处理类别(Network、Scripting、Rendering)和需要的时间数据，根据该数据，针对浏览器应用，作为针对直至在由利用者实施操作之后(画面点击后等)，接收浏览器应用的响应而对执行结果进行画面显示为止的期间的时间的利用者体感品质，推测利用者的体感等待时间。

图4示出本实施方式的系统结构的一个例子。

在该图中，系统由品质推测装置1100、利用者终端1200、浏览器应用服务器1300构成。

利用者终端1200具有Web浏览器1210、浏览器日志取得部1220、发送部1230，在Web浏览器1210上执行应用服务器1300的内容1310(应用)。浏览器日志取得部1220取得浏览器的处理信息日志，发送部1230向品质推测装置1100进行数据发送。

品质推测装置1100具有接收部1110、等待时间推测部1120、推测结果储存·显示部1130，用接收部1110接收从利用者终端1200发送了的日志，通过等待时间推测部1120进行体感等待时间推测，在推测结果储存·显示部1130中储存·显示其结果。

浏览器应用服务器1300具有HTTP服务器1310，在存储单元中储存了内容1320。另外，在以下的实施方式的例子中，作为浏览器应用，设想了与包括动态的内容等的业务有关的应用。另外，也可以将“浏览器应用”称为“Web应用”。

[实施方式1-1]

第1实施方式包括实施方式1-1、以及实施方式1-2。首先，说 明实施方式1-1。图5示出本发明的实施方式1-1中的品质推测装置的结构的一个例子。

该图所示的品质推测装置1100如果通过接收部1110从利用者终端1200接收到日志，则储存到接收日志存储部1101。关于接收日志存储部1101中储存的数据，在推测对象期间，将利用者终端1200的Web浏览器1210中进行了的数据取得(Network)、脚本执行(Scripting)、画面描绘(Rendering)的全部处理作为对象，取得以下那样的时间。

Network时间：数据取得会话的开始结束时间

Scripting时间：Javascript(注册商标)等脚本执行时间

Rendering时间：画面描绘时间的开始-结束时间

图6示出接收日志存储部1101中储存的数据的例子。

以下，示出品质推测装置1100的动作。

图7是本发明的实施方式1-1中的品质推测装置的动作的流程图。

步骤1110)品质推测装置1100的等待时间推测部1120从接收日志存储部1101读出日志数据。关于Network、Scripting、Rendering的各处理的继续时间极其短的处理，与利用者的体感等待时间的相关低，所以关于比预先设定了的阈值L短的时间的处理，从读出了的日志数据去除。

此处，关于设定的阈值L，针对推测对象的每个应用，能够设定Network、Scripting、Rendering的各处理的阈值。关于阈值L，例如，输入图8所示那样的各种阈值的评价的采样数据，根据使继续时间变化而得到的品质推测结果和实际的利用者的体感品质结果的关系，将利用者的体感品质的最近似的继续时间的值的组合选定为阈值。例如，输入5、10、20、30...ms等值，选择进行品质推测而得到的结果与利用者体感等待时间最符合的值。具体而言，还包括之后输出的参数来设定100万程度的组合，试行100万的品质推测，利用与利用者体感等待时间最接近的值的组合。

例如，作为用于针对应用A的短时间处理的阈值L，设定以下的阈值。另外，关于阈值L，预先决定而储存到等待时时间推测部1120内的存储器(未图示)。

Network阈值10ms

Scripting阈值5ms

Rendering阈值3ms

此时，在进行应用A的体感等待时间推测时，针对Network、Scripting、Rendering，去除上述各阈值以下的处理时间的日志。

步骤1120)接下来，在上述步骤1110的处理中，在阈值L以下的日志数据被去除了的日志数据中，Network、Scripting、Rendering的继续时间极其长的处理与利用者的体感等待时间的相关低，所以去除成为比预先设定了的阈值H长的时间的处理。另外，能够针对推测对象的每个应用，设定Network、Scripting、Rendering的各处理的阈值H。关于阈值的设定方法，与步骤1110相同。

例如，作为用于针对应用A的长时间处理的阈值，设定以下的阈值H。另外，关于阈值H，预先决定而储存到等待时间推测部1120的存储器(未图示)。

Network阈值10000ms

Scripting阈值30000ms

Rendering阈值100000ms

步骤1130)接下来，针对经由上述步骤1110、1120的处理的数据以一定时间间隔进行量化。在量化的方法中，以一定时间的时隙划分，将在该时隙内进行了的Network、Scripting、Rendering的各处理的个数计算为复用度。另外，能够根据应用设定时隙的长度。

图9示出量化的例子。在该图中，针对应用B，设定时隙0.1秒。针对应用B的日志，在步骤1110、1120的处理之后，针对每0.1设定时隙，对各时间隙内的处理数进行计数，针对每个时隙计算复用度。

步骤1140)从在步骤1130中量化了的数据，抽出连续区域。作为连续区域的抽出方法，在本实施方式中，不区分Network、Scripting、 Rendering而评价。另外，关于区分Network、Scripting、Rendering而评价的方法，在实施方式1-2中后述。

作为不区分Network、Scripting、Rendering而评价的方法，有以下的2个方法。

(1)仅用滑动窗口继续了的时间评价的方法(A-1)：

(2)用滑动窗口继续了的时间和复用度评价的方法(A-2)：

首先，说明上述(1)的方法。

图10是本发明的实施方式1-1中的连续区域抽出处理的流程图(其1)。

步骤1141)将所输入的探测阈值设定于存储器(未图示)内。

步骤1142)将所输入的滑动窗口长设定于存储器(未图示)。

步骤1143)从开头时隙开始分析。

步骤1144)从该时隙延长滑动窗口，如果在滑动窗口内的时隙中的至少1个时隙中，有超过探测阈值的处理(例子：在Network、Scripting、Rendering中的某一个中超过探测阈值的情况下)，则判定为该始点的时隙是连续区域内。在时间经过的方向上使该时隙逐个移动来进行该判定处理。

步骤1145)直至最终时隙进行处理。

步骤1146)将具有判定为连续区域内的时隙的滑动窗口连续的区间判定为连续区域。

图11示出上述步骤1146中的判定方法的例子。例如，在滑动窗口长是3且探测阈值是3的情况下，只要在从该时隙在时间经过方向上3个时间隙内存在一个包括超过探测阈值的处理的时隙，则将该时隙判定为连续区域内。

接下来，说明上述“(2)用滑动窗口继续了的时间和复用度评价的方法”。

图12是本发明的实施方式1-1中的连续区域抽出处理的流程图(其2)。

步骤1151)将所输入的探测阈值x设定于存储器(未图示)。

步骤1152)将所输入的滑动窗口长y设定于存储器(未图示)。

步骤1153)将所输入的连续判定阈值z设定于存储器(未图示)。

步骤1154)向时间经过的方向，使时隙Ti前进+1。

步骤1155)在以该时隙Ti为始点而延长了滑动窗口时，超过探测阈值x的时隙数(ts)的存在比例(ts/y)超过了连续判定阈值z的情况下，转移到步骤1156，在未超过的情况下，返回到步骤1154。

例如，在图13所示的例子中，在滑动窗口长是3且连续判定阈值是0.5的情况下，如果从该时隙在时间经过方向在3个时间隙内超过探测阈值(3)的时隙(时隙的数量是整数)是2个以上，则该时隙被判定为连续区域内，在超过探测阈值的时隙是1个以下的情况下，判定为并非连续区域内。

步骤1156)在以超过连续判定阈值的时隙Ti为始点的滑动窗口长的区间中，将始点Ti连续的区域判定为连续区域。

此处，返回到图7的流程的说明。

步骤1150)在上述步骤1140中抽出了的连续区域中依照以下的规则进行整形处理。图14示出整形例。

(1)在抽出了的连续区域的最终时间隙、和接下来的连续区域的开头时间隙连续的情况下，设定为一个连续区域。

(2)在上述(1)的处理后的连续区域长是阈值Tmin以下的情况下删除。

(3)在上述(1)的处理后的连续区域长是阈值Tmax以上的情况下删除。

上述阈值Tmin是以去除利用者无法体感那样的等待时间(0.5～2秒)的目的而设定的。Tmax以去除系统的应答停止的状况(冻结)为目的。

在进行了上述整形处理之后，将连续区域作为推测等待时间储存到存储单元、或者、显示于显示单元。另外，关于连续区域，将连续区域(推测等待时间)输出利用者操作的数量。具体而言，在将应用操作了10次的情况下，连续区域出现10个。

[实施方式1-2]

在实施方式1-2中，说明在实施方式1-1的图7的步骤1140中，区分Network、Scripting、Rendering而评价的3个方法。

关于品质推测装置的结构、以及、步骤1140以外的处理，与实施方式1-1相同，所以省略其说明。

在实施方式1-2的步骤1140中，在区分Network、Scripting、Rendering而评价的方法中，能够在Network、Scripting、Rendering的各处理中变更探测阈值等，能够期待利用者体感等待时间抽出的精度提高。但是，需要设定的参数数比实施方式1-1的“(2)用滑动窗口继续了的时间和复用度评价的方法(A-2)”多。

说明本实施方式的第1方法(B-1)。

图15是本发明的实施方式1-2中的连续区域抽出处理的流程图(其1)。

步骤1201)针对Network、Scripting、Rendering的各要素，进行实施方式1-1的利用A-2的连续区域判定，抽出各要素的连续区域。为了进行与A-2同样的处理，需要滑动窗口长、探测阈值、连续判定阈值这3个参数，但能够针对Network、Scripting、Rendering的各要素设定不同的值。

步骤1202)针对Network、Scripting、Rendering的各要素，如图16所示，将连续区域的并集判定为连续区域。

接下来，说明着眼按照的流程处理与利用者的操作对应的处理，在步骤1110～1130的处理之后，抽出该序列的组合，从而抽出与利用者的体感等待时间相关性高的区间的第2处理(B-2)。

图17是本发明的实施方式1-2中的连续区域抽出处理的流程图(其2)。在图18中，将在该流程图的处理中抽出的区域记载为(B-2)。

步骤1211)针对Network、Scripting、Rendering的各要素，进行实施方式1-1的A-2的连续区域判定处理，抽出各要素的连续区域。在该处理中，与图15的步骤1201同样地，需要滑动窗口长、探测阈 值、连续判定阈值这3个参数，但能够针对Network、Scripting、Rendering的各要素设定不同的值。

步骤1212)抽出判定为Network处理的连续区域的时隙范围内、或者、与判定为Network处理的连续区域的时隙范围邻接的时隙成为开始位置的Scripting连续区域(图18的a)。

步骤1213)抽出在步骤1212中抽出了的Scripting时隙范围内(图18的b)、或者、与该Scripting时隙范围邻接的时隙成为开始位置的Rendering连续区域(图18的b)。

步骤1214)将在步骤1213中抽出了的Rendering连续区域和成为其源的Scripting、Network区域的逻辑和判定为区域(图18的c)。另外，在多个区域重复了时，将其逻辑和设定为连续区域。

接下来，除了上述第2方法以外，还说明抽出仅用 进行的处理、仅用进行的处理的第3方法(B-3)。

图19示出本发明的实施方式中的连续区域抽出处理的流程图(其3)。在图20中，将图17的处理中抽出了的区域记载为(B-2)，将在该流程图的处理中抽出的区域记载为(B-3)。

步骤1221)执行图17所示的B-2的处理，抽出按照 的顺序构成的连续区域。

步骤1222)在上述步骤1221中未抽出的Network连续区域(图20的a)中，抽出该时隙内、或者、与Network连续区域的终点的时隙邻接地开始的Rendering连续区域(图20的b)。

步骤1223)将在步骤1222中抽出了的Rendering连续区域、和成为其源的Network连续区域的逻辑和判定为连续区域(图20的c)。

步骤1224)在步骤1223以及B-2的处理中未抽出的Scripting连续区域中，抽出与Scripting连续区域的终点的时隙邻接地开始的Rendering连续区域(图20的d)。

步骤1225)将在步骤1224中抽出了的Rendering连续区域、和成为其源的Scripting连续区域的逻辑和判定为连续区域(图20的e)。

能够通过上述实施方式1-1、1-2所示的利用者体感品质推测装置，针对各种各样的应用，实现利用者体感等待时间的常时推测，并且，能够实现利用利用者体感品质推测装置的利用者体感品质的常时监视。

另外，能够将上述图5所示的利用者体感品质推测装置的各构成要素的动作构筑为程序，安装到被用作利用者体感品质推测装置的计算机、或者、经由网络流通。

更详细而言，图5所示的利用者体感品质推测装置能够通过使计算机执行记述了在本实施方式中说明的处理内容的程序来实现。更详细而言，利用者体感品质推测装置的各部具有的功能能够通过使用在构成该利用者体感品质推测装置的计算机中内置的CPU、存储器、硬盘等硬件资源，执行与在各部中实施的处理对应的程序来实现。该程序能够记录到计算机可读取的记录介质(可移动存储器等)而保存或者分发。另外，还能够通过因特网、电子邮件等网络提供该程序。

在本实施方式中，例如，提供一种利用者体感品质推测程序，使计算机作为用于推测利用者终端中的应用的利用者的体感等待时间的利用者体感品质推测装置而发挥功能，其中，使计算机作为如下单元发挥功能：

数据接收单元，将在所述利用者终端中在推测对象期间进行了的数据取得、脚本执行、画面描绘的各处理的继续时间作为推测对象日志取得而储存到接收日志存储单元；

日志去除单元，从所述接收日志存储单元读出所述推测对象日志，输出将该数据的继续时间比规定的短时间处理阈值短或者比规定的长时间阈值长的日志去除了的日志；

量化单元，针对从所述日志去除单元输出了的日志，将在一定时间的时隙内进行了的各处理的个数计算为复用度；以及

连续区域抽出单元，从由所述量化单元量化了的数据抽出连续区域，其中，

所述连续区域抽出单元包括：

第1连续区域抽出单元，不区分所述数据取得、所述脚本执行、所述画面描绘的各处理而抽出连续区域；或者

第2连续区域抽出单元，区分所述数据取得、所述脚本执行、所述画面描绘的各处理而抽出连续区域。

(第2实施方式)

接下来，说明第2实施方式。第2实施方式是与第2目的对应的实施方式。

图21示出本实施方式的系统结构的一个例子。

该图所示的系统由终端瓶颈判定装置2100、利用者终端2200、浏览器应用服务器2300构成。

利用者终端2200具有Web浏览器2210、浏览器日志取得部2220、发送部2230，在Web浏览器2210上执行应用服务器2300的内容2310(应用)。浏览器日志取得部2220取得浏览器的处理信息日志，发送部2230向终端瓶颈判定装置2100进行数据发送。

终端瓶颈判定装置2100具有接收部2110、瓶颈判定部2120、判定结果储存·显示部2130，通过接收部2110接收从利用者终端2200发送了的日志，通过瓶颈判定部2120进行终端瓶颈的判定，在判定结果储存·显示部2130中储存·显示其结果。

浏览器应用服务器2300具有HTTP服务器2310，在存储单元中储存了内容2320。在该内容2320中还包括包含动态的内容等的内容。

在利用者终端2200中，从Web浏览器取得抽象化了的处理类别(Network、Scripting、Rendering)和需要的时间数据，将该数据送出到终端瓶颈判定装置2100。

终端瓶颈判定装置2100根据该数据进行终端瓶颈判定。有在进行终端瓶颈判定时每次提供成为比较对象的输入数据来进行瓶颈判定的参考判定法、和预先积蓄成为比较对象的数据并比较积蓄了的结果的非参考判定法这2种。

以下，将参考日志判定法的例子说明为实施方式2-1，将非参考判定法的例子说明为实施方式2-2。

[实施方式2-11

图22示出本发明的实施方式中的终端瓶颈判定装置的结构例。该图所示的终端瓶颈判定装置2100由接收日志存储部2101、参考日志存储部2102、接收部2110、瓶颈判定部2120、判定结果储存-显示部2130构成。

接收日志存储部2101临时地储存通过利用者终端2200的浏览器日志取得部2220取得，通过接收部2110接收了的以下的信息。

·Network时间：数据取得会话开始·结束时间

·Scripting时间：Javascript(注册商标)等脚本执行时间

·Rendering时间：画面描绘时间的开始结束时间

图23示出储存的数据例。该图所示的数据是操作开始0秒后～15秒后的浏览器日志的例子，该浏览器日志由开始时间(秒)、继续时间(毫秒)、处理类别构成。此处，继续时间是指：在网络中会话继续时间，Rendering表示描绘时间。在通常处理中这些处理继续了几ms～几十ms程度的日志被大量输出。例如，在将浏览器操作了3分程度时，上述日志被输出一万行程度。

在参考日志存储部2102中，在利用者终端2200中临时地储存完全无扰乱主要原因的状态的日志(参考日志)。在参考日志判定中，如图24所示，以参考日志和接收日志(判定对象日志)完全相同的处理为前提，所以需要与接收日志相同的操作的日志。在无相同的操作的日志的情况下，操作员等进行相同的操作来积蓄日志，与判定对象日志进行比较。在实际的应用利用环境中，事先准备完全相同的操作的日志是非现实的，所以有在接收到要求等报告时操作员进行与客户相同的操作而将可比较的日志准备为参考日志、或者、规定标准操作场景而对客户委托进行了标准操作时的日志的提供等方法。

以下，说明瓶颈判定部2120的参考判定处理。

图25是本发明的实施方式2-1中的参考判定的流程图。

另外，在接收部2110中，取得判定对象日志，储存到接收日志存储部2101，并且，通过上述中的某一个方法，收集参考日志而储存 到参考日志存储部2102。

步骤2110)瓶颈判定部2120从接收日志存储部2101和参考日志存储部2102分别读出日志，Network、Scripting、Rendering的继续时间极其短的处理与利用者的体感等待时间的相关低，所以将成为比预先设定了的阈值短的时间的处理在该步骤中从日志去除。另外，该阈值是根据图26所示那样的采样数据经验性地计算出的。关于该阈值，例如，选择输入任意的值并进行品质推测而得到的结果与利用者体感等待时间最符合的值。另外，能够针对推测对象的每个应用，设定Network、Scripting、Rendering的各处理的阈值。作为例子，以下示出针对应用A的短时间处理阈值的例子。

Network阈值：10ms

Scripting阈值：5ms

Rendering阈值：3ms

在进行应用A的体感等待时间推测时，关于Network、Scripting、Rendering，将上述各阈值以下的处理时间的日志在该步骤中去除。

步骤2120)接下来，Network、Scripting、Rendering的继续时间极其长的处理去除。Network、Scripting、Rendering的继续时间极其长的处理与利用者的体感等待时间的相关低，所以成为比预先设定了的阈值长的时间。另外，能够针对判定对象的每个应用，设定Network、Scripting、Rendering的各处理的阈值。例如，

Network阈值：10000ms

Scripting阈值：30000ms

Rendering阈值：100000ms

关于Network、Scripting、Rendering，将上述各阈值以上的处理时间的日志在该步骤中去除。

步骤2130)接下来，针对短时间处理、长时间处理被去除了的(步骤2110、2120)参考日志以及判定对象日志这两方，通过统计值进行评价。该评价处理在利用者终端2200成为瓶颈的情况下，存在Scripting和Rendering的处理继续时间变长的倾向，所以进行以下的 评价。

a)利用Scripting处理继续时间的评价：

针对参考日志、判定对象日志的各个的对应的各Scripting处理，比较相对继续时间的以下中的某一个的统计值，如果判定对象日志的一方更长，则作为利用Scripting处理继续时间的判定对象日志的评价而加点。另外，各统计值的每一个的追加值能够个别地设定。例如，如以下那样设定。

·99％如果值X％以上长，则追加1点，如果Y％(Y＞X)以上，则追加2点

·90％如果值X％以下长，则0点

·平均值如果Z％以上短，则-1点，如果W％(W＞Z)以上短，则-2点

另外，此处，提出了代表性的统计值，但也可以使用其他统计值。

b)利用Rendering处理继续时间的评价：

针对参考日志、判定对象日志的各个的对应的各Rendering处理，比较与相对继续时间的上述Scripting处理同样的统计值，如果判定对象日志的一方更长，则作为利用Rendering处理继续时间的判定对象日志的评价而加点。另外，各统计值的每一个的追加值能够个别地设定。另外，不限于该例子，能够与上述a)同样地设定任意的统计值。

在步骤2170中，在基于评价点的瓶颈判定中，利用在该步骤中求出了的加点的总计值。

步骤2140)接下来，针对参考日志以及判定对象日志这两方进行量化。针对在上述步骤2110中短时间处理被去除，在步骤2120中长时间处理被去除的数据，以一定时间间隔进行量化。作为量化的方法，以一定时间的时隙进行划分，将在该时隙内进行了的Network、Scripting、Rendering的各处理个数计算为复用度。图27示出量化的例子。在该图中，针对应用B设定时隙0.1秒。对应用B的日志，针对每0.1秒设定时隙，对各时间隙内的处理数进行计数，针对每个时 隙计算复用度。

步骤2150)针对参考日志、判定对象日志这两方，进行Scripting、Rendering各自的连续区域抽出。以下示出连续区域抽出处理的一个例子。

图28是本发明的实施方式2-1中的连续区域抽出处理的流程图。

步骤2151)将所输入的探测阈值x设定于存储器(未图示)内。

步骤2152)将所输入的滑动窗口长y设定于存储器(未图示)。

步骤2153)将所输入的连续判定阈值z设定于存储器(未图示)。

步骤2154)向时间经过的方向，使时隙Ti前进+1。

步骤2155)在以该时隙Ti为始点而延长了滑动窗口时，超过探测阈值x的时隙数(ts)的存在比例(ts/y)超过了连续判定阈值z的情况下，转移到步骤2156，在未超过的情况下，返回到步骤2154。

步骤2156)该时隙判定为是连续区域的范围内。

图29示出上述步骤2155中的判定方法。在从该时隙延长了滑动窗口时，以超过探测阈值的时隙的存在比例进行判定。例如，在滑动窗口长是3且连续判定阈值是0.5的情况下，如果从该时隙在时间经过方向上3个时间隙内超过探测阈值的时隙是2个以上，则该时隙被判定为连续区域内，在时隙是1个以下的情况下，判断为不连续。

步骤2160)接下来，进行利用参考日志、判定对象日志中的Scripting以及Rendering的连续区域长的统计值的评价。在利用者终端200成为瓶颈的情况下，存在Scripting和Rendering的连续区域长变长的倾向，所以进行以下的评价。

a)利用Scripting处理连续区域长的评价：

比较针对参考日志、判定对象日志的各个的对应的各Scripting连续区域长的以下的统计值，如果判定对象日志的一方更长，则作为利用Scripting连续区域长的判定对象日志的评价而加点。另外，各统计值的每一个的追加值能够个别地设定。

以下，示出例子。

·最大值如果X％以上长，则加上1点，如果成为Y％(Y＞X) 以上，则加上2点

·90％如果值X％以下，则0点

·平均值如果Z％以上，则-1点，如果W％(W＞Z)以上，则-2点

此处，示出了代表性的统计值，但不限于该例子，也可以是其他统计值。另外，上述例子的X也能够设定各种值。

b)利用Rendering处理连续区域长的评价：

比较参考日志、与针对判定对象日志的各个的对应的各Rendering处理连续区域的上述Scripting处理同样的统计值，如果判定对象日志的一方更长，则作为利用Rendering处理继续时间的判定对象日志的评价而加点。另外，各统计值的每一个的追加值能够个别地设定。

在步骤2170的瓶颈判定中利用上述追加值的总计值。

步骤2170)最后，根据直至步骤2130、2160的评价结果，进行利用终端2200的瓶颈判定。

对基于上述步骤2130的利用针对判定对象日志的输入信息的统计值的评价以及步骤2160的利用连续区域长的统计值的评价值进行合计，判定是否为预先设定了的阈值以上，如果是阈值以上，则判定为终端瓶颈。能够用在步骤2130、步骤2160中加法的值，调整步骤2130中的利用输入信息的统计值的评价、和步骤2160的连续区域长的统计值的加权。

另外，评价点越大，终端瓶颈的可能性越高，所以还能够使用2个阈值，进行终端瓶颈的可能性非常高的怀疑终端瓶颈等2个阶段的判断。图30示出其判定例。

在图30的判定例1中，设定1个瓶颈判定阈值“5”，在步骤2130和步骤2160的评价值的合计是“7”的情况下，5＜7，所以评价结果被判定为“终端瓶颈”。在该图的判定例2中，在设定了强烈怀疑终端瓶颈的阈值“10”和怀疑终端瓶颈的阈值“5”时，如果评价值是“12”，则10＜12，所以关于评价结果，得到“强烈怀疑终端瓶颈”，从判定结果 储存·显示部2130输出。该评价结果被输出到硬盘等存储介质、显示器等显示单元。

[实施方式2-2]

在本实施方式中，说明通过非参考判定实施瓶颈判定的情况的例子。

在实施方式2-1中，说明了判定对象的日志和无终端扰乱主要原因的日志(参考日志)需要进行相同的操作的参考判定，但在本实施方式中，说明判定对象日志和无终端扰乱主要原因的日志无需进行相同的操作的非参考判定。

图31示出本发明的实施方式2-2中的终端瓶颈判定装置的结构例。

该图所示的终端瓶颈判定装置在代替图22所示的参考日志DB2102而使用连续区域长经验累积分布DB2103的点中，与图22所示的终端瓶颈判定装置不同。关于连续区域长经验累积分布DB2103，预先由连续区域长经验累积分布DB生成部2140生成，在连续区域长经验累积分布DB2103中，储存在无终端的扰乱主要原因的状态下，操作了应用时的Scripting、Rendering继续时间。连续区域长经验累积分布DB生成部2140从在可取得Scripting、Rendering的日志的状态下进行了的应用操作中的日志(终端的无扰乱主要原因的状态的操作日志)，抽出Scripting、Rendering处理的连续长，求出这些经验累积分布，登记到连续区域长经验累积分布DB2103。关于该应用操作，并非用户反复完全相同的操作，而反复进行通常想要利用的各种操作。

在本实施方式中，通过如图32所示，进行在连续区域长经验累积分布DB2103中储存了的终端中完全无扰乱主要原因的状态下操作了应用时的、Scripting连续区域长、Rendering连续区域长的经验累积分布的数据、以及在接收日志存储部2101中储存了的判定对象日志的Scripting、Rendering连续区域长的比较，来进行判定对象数据是否成为终端瓶颈的判定。另外，关于在接收日志存储部2101中储 存的判定对象日志，与实施方式2-1同样地，在利用者终端200中储存通过利用者的操作输入的日志数据。

在本实施方式中，着眼于每个应用的Scripting连续区域长、和Rendering连续区域长表示一定的分布的特征，检定判定对象的日志位于分布的上方还是位于下方，判定终端瓶颈。

首先，说明连续区域长经验累积分布DB2103。

关于连续区域长经验累积分布DB2103的信息，在进行终端瓶颈判定之前，预先通过连续区域长经验累积分布DB生成部2140准备。在该DB2103中储存的数据是操作了该应用时的Scripting连续区域长和Rendering连续区域长的经验累积分布，数据数越多，能够使判定精度越高。图33A、B示出连续区域长的经验累积分布。图33A是Scripting连续区域长的经验累积分布，图33B是Rendering连续区域长的经验累积分布。设为在处理之前预先准备这样的分布。

以下，说明本实施方式中的瓶颈判定部2120的处理。另外，接收部2110以及判定结果储存·显示部2130的处理与实施方式2-1相同。

瓶颈判定部2120进行以下那样的处理。

图34是本发明的实施方式2-2中的非参考判定的流程图。

步骤2210)事先，在连续区域长经验累积分布DB生成部2140中，制作图33A、B所示那样的连续区域长的经验累积分布，储存到连续区域长经验累积分布DB2103。

步骤2220)进行与实施方式2-1的步骤2110同样的处理。

步骤2230)进行与实施方式2-1的步骤2120同样的处理。

步骤2240)进行与实施方式2-1的步骤2130同样的处理。

步骤2250)进行与实施方式2-1的步骤2140同样的处理。

步骤2260)瓶颈判定部2120进行在直至上述步骤2250的处理中得到了的连续区域长、和在连续区域长经验累积分布DB2103中储存了的经验累积分布的上下判定，判定结果保持于存储器(未图示)。其判定方法有以下的2个手法。

(1)判定在直至步骤2250的处理中得到了的判定对象数据中包含的各个连续区域长处于连续区域长经验累积分布DB2103的经验累积分布的上下的哪一个的手法。

(2)使用安德森·达林检定的手法来判断的手法。

另外，上述(1)、(2)是一个例子，除了这些以外，只要是能够实施与经验累积分布的上下判定的方法既可。

图35示出上述(1)的判定的手法的一个例子。在非参考判定中，判定在判定对象日志中包含的各个几十个的连续区域长位于累积概率分布的上下中的哪一个。

图36是本发明的实施方式2-2中的非参考判定的流程图。

步骤2261)对判定对象日志中包含的连续区域长数据数进行累积比例化。即，判定各个数据处于连续区域长经验累积分布DB2103的累积概率分布的上下中的哪一个，判定数据整体处于分布的上下中的哪一侧。

步骤2262)如果各个数据比累积比例分布位于上部，则赋予+1的评价值，如果处于下部，则赋予-1的评价值。具体而言，考虑如图37所示，根据同一比例值下的距经验累积分布a的距离求出评价值、或者、将同一秒数中的与经验累积分布a的比例差作为评价值的方法。另外，除了距离以外，还有在使纵轴的累积比例对齐来评价秒数差的情况下，在比经验累积分布a处于右侧的情况下，成为负，在处于左侧的情况下，成为正这样的评价。

步骤2263)合计针对判定对象日志的Scripting区域长全部的数据的上下判定评价值。

步骤2264)如果总计值是正的数量，则判定为比经验累积分布处于上部，如果是负的值，则判定为处于下部。

接下来，说明根据上述(2)的安德森-达林检定进行上下判定的手法。在利用安德森-达林检定的评价方法中，有以下的4个方法。

第1方法是使用假设检验的例子。

图38示出本发明的实施方式中的利用安德森-达林检定的评价法 (其1)。

(1)输入通常时的日志，推测基于通常时的经验分布的通常时的分布函数。

(2)输入试验时的日志，将试验时的日志(少数)作为经验累积分布输出。

(3)根据上述(1)、(2)的各输出以及有意水准，实施假设检验，判定试验时的正常性。

第2方法是使用通常时的日志的经验累积分布的例子。

如图39所示，还能够根据经由上述步骤2220～2250的处理的通常时的日志的经验累积分布，作为平滑的函数推测累积分布函数(关于推测的累积分布，针对处理时间的各值，能够计算正值)。在该推测方法中，将日志数据作为初始值，推测为以边界条件(非负)课题的热方程式的解，从而如图39(b)所示得到平滑的函数。

第3方法是将试验时的日志(从利用者终端取得了的日志以外的日志)作为经验累积分布的例子。

如图40所示，是小数，但取得试验时的日志而将其作为经验分析分布输出。

第4方法是通过零假设评价的方法。

在该方法中，使用“使用第1方法的(2)的试验实施时的日志而得到的标本无法说相对根据(1)的通常时的经验分布求出了的分布函数有意地大/小”这样的零假设。针对该零假设，根据第1方法的(1)、(2)的各输出(通常时的分布函数、试验时的经验分布)，实施假设检验，判定试验时的正常性。例如，通过安德森·达林检定，以有意水准5％实施。另外，在第1方法的(2)中，标本尺寸小，所以应用引导。应用以下的安德森·达林统计量A来求出引导p值。

[式1]

在求出了的引导p值小于0.05的情况下，舍弃零假设(有有意差)，判定为比通常时大/小。

在求出了的引导p值是0.05以上的情况下，无法舍弃零假设(无法说有有意差)，判定为通常的范围。

此处，返回到图34的流程的说明。

步骤2270)最后，根据在存储器(未图示)中保存了的与经验累积分布的上下判定结果，进行图41所示那样的瓶颈判定。在步骤2260中，采用了上下判定评价的情况下，对Scripting处理、Rendering处理的各处理中的评价值的合计设定阈值，在是一定值以下的情况下，判定为是终端瓶颈。例如，在瓶颈判定阈值是“-5”，评价值是“2”的情况下，判定为『并非终端瓶颈』，在强烈怀疑终端瓶颈的阈值是“-10”，怀疑终端瓶颈的阈值是“-5”，求出了的评价值是“-12”的情况下，判定为『强烈地怀疑终端瓶颈』。

另一方面，在步骤2260中采用了安德森·达林检定的情况下，在Scripting处理、Rendering处理的各处理中，判定为比经验累积分布处于下部时，判定为『终端瓶颈』，在其以外的情形下判定为『并非终端瓶颈』。或者，在Scripting处理、Rendering处理中的某一方的处理中，判定为比经验累积分布处于下部时，判定为『终端瓶颈』。

将如上所述得到的判定结果，与实施方式2-1同样地，经由判定结果储存·显示部2130输出到存储单元或者显示单元。

另外，能够将上述图22、图31所示的终端瓶颈判定装置的各构成要素的动作构筑为程序，安装到被用作终端瓶颈判定装置的计算机而执行、或者经由网络流通。

更详细而言，图22所示的终端瓶颈判定装置、以及图31所示的终端瓶颈判定装置能够分别使计算机执行记述了在本实施方式中说明的处理内容的程序来实现。更详细而言，终端瓶颈判定装置的各部具有的功能能够通过使用内置于构成该终端瓶颈判定装置的计算机的CPU、存储器、硬盘等硬件资源，执行与在各部中实施的处理对应的程序来实现。该程序能够记录到计算机可读取的记录介质(可移动 存储器等)而保存或者分发。另外，还能够通过因特网、电子邮件等网络提供该程序。

例如，在本实施方式中，提供一种品质劣化主要原因判定程序，使计算机作为用于在从应用服务器提供的应用的服务利用时，判定品质劣化主要原因是否处于利用者终端的品质劣化主要原因判定装置发挥功能，其中，用于使计算机作为如下单元发挥功能；

数据接收单元，将在所述利用者终端中在推测对象期间进行了的数据取得、脚本执行、画面描绘的各处理的继续时间作为判定对象日志取得而储存到接收日志存储单元；以及

瓶颈判定单元，比较进行了与针对在所述利用者终端中进行的应用的操作同样的操作的情况的参考日志、或者、脚本执行、画面描绘的处理的连续区域长的经验累积分布的数据、和所述判定对象日志，来求出评价值，根据该评价值的总计值和预先设定了的阈值的比较结果，判定品质劣化主要原因是否处于该利用者终端。

(第3实施方式)

接下来，说明第3实施方式。第3实施方式是与第3目的对应的实施方式。

在本实施方式中，不按照手段单位监视应用，在应用执行时，为了进行用户执行了的操作的类似判定，针对作为输入提供了的由用户实施的操作(以下记载为“用户输入操作”)，使用根据与用户输入操作时的实施期间对应的日志求出的特征量，抽出类似的操作。此处“用户输入操作”是指：向Web站点的登录、链接的点击等经由外部输入输出接口由用户对应用实施了的操作，成为与由用户过去实施了的操作的类似判定的对象的操作，将用户执行了的操作作为对象，应用在后台进行的处理并非对象。此处“处理”是指：伴随上述用户输入操作而在用户终端中执行的处理，针对通常的1次的用户输入操作，并行地执行多个处理。

图42示出本实施方式中的系统结构例。

该图所示的系统由类似操作抽出装置3100、用户终端3200、AP (应用)服务器3300构成。

类似操作抽出装置3100具有体感等待时间推测部3110、日志切出部3120、特征量计算部3130、类似度计算部3140、类似操作抽出部3150、保存部3160、存储部3170。

用户终端3200具有发送部3210、日志取得部3220、Web浏览器3230。

AP服务器3300具有HTTP服务器3310、内容3320。

另外，图42的结构是使类似操作抽出装置3100和用户终端3200独立了的结构，但不限于该例子，也可以如图43所示，成为在用户终端3200内嵌入类似操作抽出装置3100的结构。

图44是本实施方式中的日志取得至类似操作抽出的处理的流程图。以下，根据图42的结构说明。

步骤3100)通过用户终端3200的日志取得部3220取得日志，经由发送部3210发送到类似操作抽出装置3100。另外，此处的“日志”是指：应用日志和网络日志中的仅一方、或者两方的组合。以下，设为利用应用日志和网络日志这双方而进行说明。

步骤3200)类似操作抽出装置3100的体感等待时间推测部3110根据从用户终端3200取得了的应用日志推测用户的体感等待时间，储存到存储部3170。

步骤3300)日志切出部3120切出与由体感等待时间推测部3110推测了的体感等待时间对应的部分的应用日志和网络日志。

步骤3400)特征量计算部3130取得根据切出了的应用日志计算了的处理复用度标志和根据网络日志计算了的接收数据量的至少某一方来计算特征量。

步骤3500)类似度计算部3140根据由特征量计算部3130计算了的特征量、和在存储部3170中储存了的过去的特征量、以及规定的类似度函数，计算计算了的特征量和过去的特征量的类似度。

步骤3600)类似操作抽出部3150根据由类似度计算部3140计算了的类似度，抽出与用户输入操作类似的操作。保存部3160对特 征量赋予识别编号，将该识别编号和特征量的组储存到存储部3170。

以下，说明上述各处理。

类似操作抽出装置3100的体感等待时间推测部3110也可以将在应用执行时在Web浏览器、客户端专用应用等中进行了的处理的复用度超过阈值的同步处理执行区间推测为“体感等待时间”，能够使用通过在用户终端3200中另外测定实际的体感等待时间，并将其发送到类似操作抽出装置3100来代替等单元。以下，说明体感等待时间的推测方法的具体的例子。

在用户终端3200的日志取得部3220中，取得成为品质劣化判定对象的用户体感等待时间前后的日志。另外，日志取得部3220使用一般的分析工具。作为应用分析工具，例如，有Dynatrace(注册商标)、GooleDevelopertool(注册商标)、SpeedTracer(注册商标)，作为网络分析工具，例如，有WireShark(注册商标)等。

用户终端3200的发送部3210将取得了的日志发送到类似操作抽出装置3100。另外，用户终端3200的发送部3210能够用一般的装置、程序等来代替。

类似操作抽出装置3100从用户终端3200的发送部3210取得日志。

体感等待时间推测部3110根据取得了的日志推测用户的体感等待时间的开始时刻以及结束时刻。在本实施方式中，设为用从某个时刻起的经过秒数来表现开始时刻和结束时刻。具体而言，例如如第1实施方式说明，将在Web浏览器等应用中进行了的处理的复用度超过阈值的同步处理执行区间推测为体感等待时间。另外，除此以外，作为体感等待时间的推测方法，能够使用取得并提示在用户终端3200与AP服务器3300之间交换的HTTP消息的响应时间等接近利用者体感等待时间的指标的方法(例如CA Application PerformanceManagement http：//www.ca.com/jp/products/detail/CA-Application-Performance-Management/overview.aspx)、根据在用户终端3200与AP服务器3300之间连续地发送接收分组的期间推测利用者的体感 等待时间的方法等(例如专利文献1)的既存的技术。

日志切出部3120从取得了的日志中，切出与利用输入操作的体感等待时间的开始至结束的体感等待时间相应的部分的日志。具体而言，按照以下的阶段切出输入操作的体感等待部分的日志。

(1)日志切出部3120取得由体感等待时间推测部3110推测了的用户输入操作的体感等待时间的开始时刻以及结束时刻。

(2)在从用户终端3200的发送部3210取得了的日志中，切出在体感等待时间的开始时刻以后开始，在结束时刻以前结束的日志。

特征量计算部3130根据由日志切出部3120切出了的日志，计算特征量。关于特征量，例如，用户终端3200中的接收数据量、针对每个处理类别计算了的处理复用度的峰值的数量、高度、位置相应，作为特征量，包括至少1个以上即可，也可以包括这些全部。另外，也可以将来自用户终端3200的发送数据量、每个处理类别的处理数、处理时间的统计值等作为特征量。

上述特征量计算部3130中的求出处理复用度的峰值的数量、高度、宽度、位置的具体的阶段如以下所述。

(1)以一定时间间隔对应用日志进行量化。与第1、第2实施方式同样地，在量化中，使用按照时系列以一定时间的时隙划分应用日志，针对在该时隙内进行了的Network(数据取得)、Scripting(脚本执行)、Rendering(画面描绘)的各处理，将各处理的实施总数(复用度)计算为量化的值的方法。另外，关于时隙，例如，既可以按照“体感等待时间的长度÷50”等相对时间决定，也可以按照“0.1秒”等绝对时间决定。另外，也可以决定多个时隙，分别针对每个时隙，将Network、Scripting、Rendering的各处理的复用度量化为值。

(2)根据通过上述(1)量化了的结果，例如如图45所示，求出Network、Scripting、Rendering的各处理的复用度的峰值。但是，在峰值结束时刻至接下来的峰值开始时刻的间隔是S_inter以下的情况下，后者的峰值不包含于峰值数。

另外，将在峰值未开始的状态下处理复用度最初成为P_min1以上 的时刻决定为峰值开始时刻，将在峰值开始之后处理复用度最初成为P_min2以下的时刻决定为峰值结束时刻。另外，关于峰值高是P_max以下的时刻，不作为峰值计数。此处，峰值高是指：峰值开始时刻至峰值结束时刻的期间中的、处理的最大复用度。另外，关于峰值的开始、结束时刻的考虑方法，除此以外还有几个。例如，有在量化标志的斜率成为某个角度以上的情况下设为峰值开始、在成为某个角度以下的情况下设为峰值结束的方法、将标志从减少转到增加的点考虑为峰值开始以及结束的方法等。

另外，上述P_min1、P_min2、P_max、S_inter的值预先登记于存储部3170，能够根据需要适宜修正。

(3)作为在上述(2)中求出了的Network、Scripting、Rendering的各处理的复用度的峰值的发生次数的峰值数、高度、宽度、位置如下所述。

(3-1)数量：计算峰值的数量。

(3-2)高度：按照(第1个峰值高、第2个峰值高、...)的形式计算峰值高。

(3-3)宽度：按照(第1个峰值宽、第2个峰值宽、...)的形式计算峰值宽。另外，通过各峰值中的(峰值的结束时刻)-(峰值的开始时刻)决定峰值宽。

(3-4)位置：按照(第1个峰值位置、第2个峰值位置、...)的形式计算峰值的位置。在本实施方式中，作为一个例子，定义为用与Network处理的活性化区间进行了比较的相对位置表示各峰值的峰值位置，但也可以定义为用峰值开始时刻和结束时刻的组、在从峰值开始时刻至结束时刻的期间处理复用度成为最大的时刻等绝对位置来表示。

以下示出将峰值位置表示为与Network处理的活性化区间进行了比较的相对位置的情况下的、相对位置的决定阶段。

在本实施方式中，关于表示各峰值的峰值位置的所述相对位置，相比于Network处理的活性化区间的位置，决定为“活性化区间之前” “活性化区间的前半”“活性化区间的中间”“活性化区间的后半”“活性化区间整体”“活性化区间之后”中的某一个。此处“活性化区间”是指：进行一定数以上的处理的时间带，在本实施方式中，作为一个例子，定义为所述活性化开始时刻和所述活性化结束时刻之间的区间。

具体而言，示出在以下的阶段中作为与Network处理的活性化区间进行了比较的相对位置，决定各峰值位置的例子。

(1)如图46所示，求出Network处理的活性化区间。此处，将在未活性化的状态下处理复用度最初成为A_min1以上的时刻决定为活性化开始时刻，在活性化开始之后处理复用度最初成为A_min2以下，之后处理复用度以S_continue以上的时间低于A_min2时，将该时刻决定为活性化结束时刻。另外，A_min1、A_min2、S_continue的值预先登记于存储部17，能够根据需要适宜修正。

(2)针对各峰值，将与Network处理的活性化区间的位置关系分类为图47A～图48C所示的5个图案。

(a’)“活性化区间之前”：峰值结束时刻是比Network处理的活性化开始时刻之前时；(图47A)

(b’)“活性化区间之后”：峰值开始时刻是比Network处理的活性化结束时刻之后时；(图47B)

(c’)“活性化区间的前半”：在(a’)(b’)以外，峰值结束时刻是比Network处理的活性化区间的前半1/3之前时；(图48A)

(d’)“活性化区间的后半”：在(a’)(b’)以外，峰值开始时刻是比Network处理的活性化区间的后半1/3之后时；(图48B)

(e’)“活性化区间的中间”：(a’)～(d’)以外时；(图48C)

(3)按照(第1个峰值的位置关系、第2个峰值的位置关系、...)的形式计算在所述(2)中求出了的、各峰值和Network处理的活性化区间的位置关系。其中，在与接下来的(a)～(c)相应的情况下，如以下那样输出。

(a)在对(c’)～(e’)恰当的峰值分别有1个以上时、或者对(c’)～(e’)恰当的峰值的宽度的合计超过Network处理的活性化区 间宽的8成时；

→将与上述相应的峰值的位置关系集中输出为“Network处理的活性化区间整体”。

(b)除了(a)以外，对(c’)(e’)恰当的峰值分别有1个以上时：

→将与上述相应的峰值的位置关系集中输出为“活性化区间的前半”。

(c)除了(a)以外，对(d’)(e’)恰当的峰值分别有1个以上时：

→将与上述相应的峰值的位置关系集中输出为“活性化区间的后半”。例如，在上述(2)中第1个峰值被分类为“活性化区间之前”、第2个峰值被分类为“活性化区间的中间”、第3个峰值被分类为“活性化区间的后半”的情况下，与(b)(c)相应，所以输出成为(“活性化区间之前”、“活性化区间的后半”)。

如上所述，在特征量计算部3130中，仅将根据用户终端处理的复用度标志、接收数据量计算了的值作为特征量，所以能够应用于各种应用，也不涉及顾客的个人信息。

在类似度计算部3140中，使用由特征量计算部3130计算了的特征量、和在存储部3170中保存了的过去的特征量、预定的类似度函数，计算与保存了的过去针对全部特征量计算了的特征量的类似度。具体而言，将将计算了的特征量S、和保存了的过去的特征量R代入到类似度函数SM(S、R)而得到了的值计算为类似度。此处，“类似度函数”由表示各特征量之间的类似度的函数、和对它们进行加权的函数构成。例如，在通信处理量的峰值高的情况下，对通信处理量的峰值的类似度增大加权，在峰值低的情况下，对其他特征量的类似度增大加权。

如上所述，在类似度计算部3140中，根据标志计算几个特征量，求出各特征量之间的类似度，并加权相加，从而计算特征量整体的类似度，从而无需保持标志本体的信息，所以能够对保存数据量的削减 作出贡献。另外，并非在各时刻比较标志，而仅比较特征量即可，所以能够削减类似度计算时的计算量。

在类似操作抽出部3150中，在过去的特征量中，抽出与类似度超过抽出阈值的特征量成组地保存了的识别编号。另外，关于抽出阈值，既可以如″包含于保存了类似度的过去的特征量整体的上位2％的情况″、″包含于上位100的情况″那样用相对值决定，也可以如″类似度超过80的情况″那样用绝对值决定。

保存部3160针对计算了的在存储部3170中未保存的特征量，提供识别编号，将该编号和特征量保存于存储部3170。识别编号既可以用总计的特征量数决定，也可以用操作实施时的体感等待时间的开始时刻等决定。

另外，也可以不仅是识别编号和特征量，而且关于切出了的日志、根据该日志求出了的平均吞吐量、平均处理时间等统计值、体感等待时间，也与相应的识别编号对应起来保存到存储部3170，并将它们与识别编号同时抽出。

此处，识别编号是唯一的值，即使在过去保存了的特征量和计算了的未保存的特征量是同一值的情况下，对新保存的特征量赋予完全新的唯一的识别编号。

另外，针对日志，计算的特征量的种类是1种以上，都用实数来表示。该计算了的1个以上的特征量的值是构成与作为计算源的数据的日志对应起来的特征量的矢量的各构成要素的值，在存储部3170中保存的特征量意味着由该全部构成要素构成了的特征量的矢量整体，也可以针对由该特征量的值构成的特征量的矢量整体唯一地赋予识别编号。

实施例

在本实施例中，以Web浏览器为例子，说明执行的应用。根据上述图44的流程图，说明以下的动作。以下，说明步骤3300以后。

步骤3300)日志切出：

在日志切出部3120中，将从用户终端3200取得了的日志和在体 感等待时间推测部3110中推测了的体感等待时间作为输入。例如，设为输入图49所示的应用日志、图50所示的网络日志、和图51所示的推测体感等待时间。在日志切出部3120中，切出图52所示的应用日志、和图53所示的网络日志。关于此处切出的日志，是通过体感等待时间，开始时刻为13.7秒以后并且结束时刻为15.8秒以前的日志。

步骤3400)特征量计算：

设为对特征量计算部3130输入了在步骤3300中切出了的日志(图52、图53)。

A.接收数据量S_thr

根据网络日志，关于用户终端3200所接到的数据量，如下式那样提供。

507.97+304.45＝812.42(Kbit)＝101.55(KB)

B.特征量计算：每个处理类别的处理复用度的峰值的数量、高度、宽度、位置

在本实施例中，作为时隙，针对“体感等待时间的长度÷50”的情况和“体感等待时间的长度÷10”的情况的各个，用每个处理类别的处理复用度的值进行量化，关于前者，计算Network处理的峰值数S_{nw_n}和Rendering处理的峰值数S_{ren_n}、Network处理的峰值高S_{nw_h}、S′_{nw_h}、Network处理的峰值宽S_{nw_w}、Scripting处理的峰值位置S_{scr_p}这6个，关于后者，仅计算Network处理的峰值高S_{nw_h_10}。在上述中，有仅通过以“体感等待时间÷50”的时隙求出了的复用度标志难以判定的操作，所以将以“体感等待时间÷10”的时隙求出了的复用度标志的信息用作补充。另外，在“体感等待时间÷10”的情况下，不计算全部的特征量，而仅求出最支配的网络处理的峰值高。

在本实施例中，关于后者以“体感等待时间÷10”的时隙求出了的复用度标志的信息，在利用以“体感等待时间÷50”的时隙求出了的复用度标志的判定中，被用作附加的信息。因此，关于后者，并非全部特征量，而仅计算最支配(影响大)的Network处理的峰值高，作为 附加的信息。

图54示出使时隙成为“体感等待时间的长度÷50”的情况的量化结果，图55示出使时隙成为“体感等待时间的长度÷10”的情况的量化结果。

B-1：Network处理S_{nw_n}和Rendering处理的峰值数S_{ren_n}

如果在Network处理中成为S_inter＝5、P_min1＝2、P_min2＝2、P_max＝2、在Rendering处理中成为S_inter＝5、P_min1＝0、P_min2＝0、P_max＝1，则在图54的情况下，Network处理的峰值数S_{nw_n}成为2、Rendering处理的峰值数S_{ren_n}成为0而提供。

B-2：Network处理的峰值高S_{nw_h}、S′_{nw_h}、S_{nw_h_10}

在图54的情况下，如果成为S_inter＝5、P_min1＝2、P_min2＝2、P_max＝2，则Network处理的峰值高S_{nw_h}是(5、14)，如果成为S_inter＝5、P_min1＝0、P_min2＝0、P_max＝1，则Network处理的峰值高S′_{nw_h}是(14)。在该例子中，成为P_min1＝P_min2＝0，所以在复用度最初成为0以上时，峰值开始，在峰值开始之后最初成为0以下时，成为峰值结束。另外，由于是P_max＝1，所以峰值高小于1的峰值忽略。因此，在图54中计数为峰值的仅为从时刻13开始并在时刻45结束的峰值，该峰值的高度成为″14″。在图55的情况下，如果成为S_inter＝5、P_min1＝2、P_min2＝2、P_max＝2，则峰值高S_{nw_h_10}成为(15)而提供。

B-3：Network处理的峰值宽S_{nw_w}

在图54的情况下，峰值宽的组S_{nw_w}成为(4、15)而提供。

B-4：Scripting处理的峰值位置S_{scr_p}

(0)Scripting处理的峰值：

如果成为S_inter＝5、P_min1＝1、P_min2＝0、P_max＝0，则图54中的Scripting处理的峰值成为1个，开始时刻成为21，结束时刻成为47而提供。

(1)Network处理的活性化区间：

如果成为S_continue＝5、A_min1＝1、A_min2＝0，则图54中的Network处理的活性化开始时刻成为14，活性化结束时刻成为45而提供。

(2)Scripting处理的各峰值、和Network处理的活性化区间的 位置关系

在(0)中求出了的Scripting处理的各峰值、和在(1)中求出了的Network处理的活性化区间的位置关系成为(e’)“活性化区间的中间”而提供。

(3)Scripting处理的峰值位置S_{scr_p}：

根据(2)，S_{scr_p}成为(“活性化区间的中间”)而提供。

步骤3500)类似度计算

设为对类似度计算部3140，提供在步骤3400中求出了的特征量的组S＝(S_thr、S_{nw_}n、S_{ren_n}、S_{nw_h}、S′_{nw_h}、S_{nw_h_10}、S_{nw_w}、S_{scr_p})、和如图56所示在存储部3170中保存了的特征量的组R＝(R_thr、R_{nw_n}、R_{ren_n}、R_{nw_h}、R′_{nw_h}、R_{nw_h_10}、R_{nw_w}、R_{scr_p})、下述所示的类似度函数。

类似度函数SM(S、R)＝A(S_{nw_h}、R_{nw_h}、S′_{nw_h}、R′_{nw_h})*

{b(S_{nw_h})*B(S_{nw_n}、R_{nw_n}、S_{nw_h}、R_{nw_h})+

c(S_{nw_h})*C(S_thr、R_thr)+

d(S_{nw_h})*D(S_{ren_n}、R_{ren_n})+

e(S_{nw_h})*E(S_{scr_p}、R_{scr_p})+

f(S_{nw_h})*F(S_{nw_h_10}、R_{nw_h_10})+

g(S_{nw_h})*G(S_{nw_w}、R_{nw_w}、S_{nw_h}、R_{nw_h})}

其中，各特征量的类似度函数A～G、和加权函数b～g如下述那样决定。

A(S_{nw_h}、R_{nw_h}、S′_{nw_h}、R′_{nw_h})＝

(i)1(0＜s_{nw_h}＜5并且r_nw__h*0.8≤s_nw__h≤r_nw__h*1.2或者r_nw__h-1≤s_nw__h

≤r_nw__h+1的

(ii)1(s_{nw_h}＝0、s′_{nw_h}＞0并且r_{nw_h}＝0、r′_{nw_h}＞0时)

1(s_{nw_h}＝s′_{nw_h}＝0并且r′_{nw_h}＝r_{nw_h}＝0时)

(iii)0(其以外)

此处，s_{nw_h}、s′_{nw_h}、r_{nw_h}、r′_{nw_h}分别是S_{nw_h}、S′_{nw_h}、R_{nw_h}、R′_{nw_h}的最大值

B(S_{nw_n}、R_{nw_n}、S_{nw_h}、R_{nw_h})＝

(i)1(S_{nw_n}＝R_{nw_n}＝1时)

(ii)1(S_{nw_n}、R_{nw_n}＞1、并且s_{nw_h2}*0.9≤r_{nw_h2}≤s_{nw_h2}*1.1或者s_{nw_h2}-1≤r_{nw_h2}≤s_{nw_h2}+1时)

(iii)0(其以外)

此处，s_{nw_h2}、r_{nw_h2}分别是S_{nw_h}、R_{nw_h}的第2大的值

C(S_thr、R_thr)＝

(i)1(S_thr*0.8≤R_thr≤S_thr*1.2时)

(ii)0(其以外)

D(S_{ren_n}、R_{ren_n})＝

(i)1(S_{ren_n}、R_{ren_n}≥1或者S_{ren_n}＝R_{ren_n}＝0时)

(ii)0(其以外)

E(S_{scr_p}、R_{scr_p})＝

(i)1(S_{scr_p}＝R_{scr_p}时)

(ii)1(S_{scr_p}、R_{scr_p}都包括“活性化区间之前”时、或者、都包括“活性化区间之后”时)

(iii)0.3((i)以外且S_{scr_p}、R_{scr_p}都不包括“活性化区间之前”和“活性化区间之后”时)

(iv)0(其以外)

F(S_{nw_h_10}、R_{nw_h_10})＝

(i)1(s_{nw_h_10}*0.9≤r_{nw_h_10}≤s_{nw_h_10}*1.1或者s_{nw_h_10}-1≤r_{nw_h_10}≤s_{nw_h_10}+1时)

(ii)0(其以外)

此处，s_{nw_h_10}、r_{nw_h_10}分别是S_{nw_h_10}、R_{nw_h_10}的最大值

G(S_{nw_w}、R_{nw_w}、S_{nw_h}、R_{nw_h})＝

(i)1(s_{nw_w}*0.7≤r_{nw_w}≤s_{nw_w}*1.3或者s_{nw_w}-1≤r_{nw_w}≤s_{nw_w}+1时)

(ii)0(其以外)

此处，s_{nw_w}、r_{nw_w}分别是S_{nw_w}、R_{nw_w}中的峰值高成为最大时的峰值宽

b(S_{nw_h})＝

(i)30(s_{nw_h}≥5时)

(ii)20(0＜s_{nw_h}＜5时)

(iii)0(s_{nw_h}＝0时)

c(S_{nw_h})＝

(i)20(s_{nw_h}≥5时)

(ii)20(0＜s_{nw_h}＜5时)

(iii)40(s_{nw_h}＝0时)

d(S_{nw_h})＝

(i)10(s_{nw_h}≥5时)

(ii)10(0＜s_{nw_h}＜5时)

(iii)30(s_{nw_h}＝0时)

e(S_{nw_h})＝

(i)10(s_{nw_h}≥5时)

(ii)20(0＜s_{nw_h}＜5时)

(iii)30(s_{nw_h}＝0时)

f(S_{nw_h})＝

(i)20(s_{nw_h}≥5时)

(ii)20(0＜s_{nw_h}＜5时)

(iii)0(s_{nw_h}＝0时)

g(S_{nw_h})＝

(i)10(s_{nw_h}≥5时)

(ii)10(0＜s_{nw_h}＜5时)

(iii)0(s_{nw_h}＝0时)

此时，例如，在步骤3400中求出了的特征量、和图56的No.1的特征量的类似度成为1*{30*1+20＊1+10*1+10*0+20*1+10*1}＝90而提供。

步骤3600)类似操作抽出

类似操作抽出部3150针对在存储部3170中保存了的全部特征 量，按照从高到低的顺序排列与在步骤3400中求出了的特征量的类似度。图57示出其结果。在图57中，在存储部3170中保存了的特征量是275个，所以类似度包含于上位2％的特征量是No.1、148、264、164、56这5个。因此，将该5个作为类似操作抽出。

<本实施方式的评价>

针对使用了本实施方式的技术的类似操作的确定结果的妥当性的评价结果如下所述。

将类似操作的确定结果的妥当性的评价对象作为在图58所示的条件下实施了的合计276个操作和其特征量。针对从成为所述276件的评价对象的操作中选择了的任意的2个操作，使用本实施方式的技术来确定是否为类似操作，将针对全部的操作的组合(₂₇₆C₂＝37950)，得到了正确的类似操作确定结果的比值，针对每个阈值，计算为正答率。此处，任意的2个操作是指：从276个操作中，不依赖于操作的种类、测定条件，无作为地选择了的2个操作。例如，有选择“操作的种类：A、网络负荷：无、终端负荷：无、测定次数：第1次”这样的操作和“操作种类：B、网络负荷：有、终端负荷：有、测定次数：第3次”这样的操作的情况、选择“操作的种类：A、网络负荷：无、终端负荷：无、测定次数：第1次”这样的操作和“操作种类：A、网络负荷：有、终端负荷：有、测定次数：第3次”这样的操作的情况等。关于前者，如果导出了由于操作的种类不同而并非类似操作这样的结果则成为正解。关于后者，如果导出了虽然测定条件不同但操作的种类相同而成为类似操作这样的结果则成为正解。另外，关于类似度的阈值，以20步幅设定了50～150的期间。

针对成为评价对象的操作整体，抽出任意的2个操作，通过本实施方式的技术，判定该2个操作是否为类似操作，针对每个阈值确认由此得到的结果是正解的概率，由此得到的结果如图59所示。如图59所示能够确定在类似操作和全部的阈值中，正答率超过80％，通过本实施方式的技术能够高精度地确定类似操作。

另外，能够将图42或者图43所示的类似操作抽出装置的各构成 要素的动作构筑为程序，安装到被用作类似操作抽出装置的计算机而执行、或者、经由网络流通。

更详细而言，图42或者图43所示的类似操作抽出装置能够通过使计算机执行记述了在本实施方式中说明的处理内容的程序来实现。更详细而言，类似操作抽出装置的各部具有的功能能够通过使用在构成该类似操作抽出装置的计算机中内置的CPU、存储器、硬盘等硬件资源，执行与在各部中实施的处理对应的程序来实现。该程序能够记录到计算机可读取的记录介质(可移动存储器等)而保存或者分发。另外，还能够通过因特网、电子邮件等网络提供该程序。

例如，在本实施方式中，提供一种类似操作抽出程序，用于使计算机作为用于在应用执行时，抽出与作为作为输入提供了的操作的输入操作类似的操作的类似操作抽出装置发挥功能，其中，用于使计算机作为如下单元发挥功能：

特征量计算单元，根据与从应用日志和网络日志中的仅一方、或者两方的组合切出了的用户体感等待时间对应的日志，计算特征量；以及

类似度计算单元，根据计算了的所述特征量和过去在存储单元中保存了的特征量、以及预定的类似度函数，计算所述特征量和所述过去保存了的特征量的类似度。

另外，本发明不限于上述第1～第3实施方式，能够在权利要求的范围内实现各种变更·应用。

本国际申请主张基于在2012年3月30日申请的日本专利申请2012-82802号、在2012年3月30日申请的日本专利申请2012-82803号、以及在2012年10月24日申请的日本专利申请2012-234727号的优先权，将日本专利申请2012-82802号、日本专利申请2012-82803号、以及日本专利申请2012-234727号的全部内容引用于本国际申请。

Claims (23)

1.一种利用者体感品质推测装置，用于推测利用者终端中的应用的利用者的体感等待时间，其特征在于包括：

数据接收单元，取得在所述利用者终端中在推测对象期间进行的数据取得、脚本执行、画面描绘的各处理的继续时间作为推测对象日志，并将其储存到接收日志存储单元；

日志去除单元，从所述接收日志存储单元读出所述推测对象日志，输出去除了所述继续时间比规定的短时间处理阈值短或者比规定的长时间阈值长的日志的日志；

量化单元，针对从所述日志去除单元所输出的日志，将在一定时间的时隙内进行的各处理的个数计算为复用度；以及

连续区域抽出单元，从由所述量化单元所量化了的数据抽出连续区域，

所述连续区域抽出单元包括：

第1连续区域抽出单元，不区分作为所述数据取得、所述脚本执行、所述画面描绘的各个处理而抽出连续区域；或者

第2连续区域抽出单元，区分作为所述数据取得、所述脚本执行、所述画面描绘的各个处理而抽出连续区域。

2.根据权利要求1所述的利用者体感品质推测装置，其特征在于：

所述第1连续区域抽出单元包括：

第1评价A单元，如果在滑动窗口内的时隙中的至少1个时隙中，有探测阈值以上的处理，则进行判定为连续区域内的处理，将判定为连续区域内的滑动窗口连续的区间作为连续区域；或者

第2评价A单元，在以某个时隙为始点的滑动窗口长的区间内的、超过探测阈值的时隙数的存在比例超过规定的连续判定阈值的情况下，以各时隙为始点进行将该时隙判定为是连续区域内的处理，将判定为是连续区域内的始点的时隙连续的区域作为连续区域。

3.根据权利要求1所述的利用者体感品质推测装置，其特征在于：

所述第2连续区域抽出单元包括：

第1评价B单元，针对所述数据取得、所述脚本执行、所述画面描绘的各处理，抽出连续区域，将各处理的连续区域的并集作为连续区域；或者

第2评价B单元，针对所述数据取得、所述脚本执行、所述画面描绘的各处理，抽出连续区域，抽出所述数据取得处理的连续区域、与该数据取得处理的连续区域邻接的所述脚本执行处理的连续区域、以及与该脚本执行处理的连续区域邻接的所述画面描绘处理的连续区域；或者

第3评价B单元，针对所述数据取得、所述脚本执行、所述画面描绘的各处理，抽出连续区域，抽出所述数据取得处理的连续区域、以及与该数据取得处理的连续区域邻接的所述画面描绘处理的连续区域，进而，抽出所述脚本执行处理的连续区域以及与该脚本执行处理的连续区域邻接的所述画面描绘处理的连续区域。

4.根据权利要求1所述的利用者体感品质推测装置，其特征在于还包括：

连续区域整形单元，关于由所述连续区域抽出单元抽出了的连续区域，在由所述连续区域抽出单元所抽出的所述连续区域的最终时间隙、和接下来的连续区域的开头时间隙连续的情况下，作为一个连续区域，在所述一个连续区域是第1规定的阈值以下的情况下，删除该一个连续区域，并且在所述一个连续区域是第2规定的阈值以上的情况下，删除该一个连续区域，从而对连续区域进行整形。

5.一种利用者体感品质推测方法，用于推测利用者终端中的应用的利用者的体感等待时间，其特征在于进行如下步骤：

数据接收步骤，数据接收单元取得在所述利用者终端中在推测对象期间进行的数据取得、脚本执行、画面描绘的各处理的继续时间作为推测对象日志，并将其储存到接收日志存储单元；

日志去除步骤，日志去除单元从所述接收日志存储单元读出所述推测对象日志，输出去除了所述继续时间比规定的短时间处理阈值短或者比规定的长时间阈值长的日志的日志；

量化步骤，量化单元针对在所述日志去除步骤中所输出的日志，将在一定时间的时隙内进行的各处理的个数计算为复用度；以及

连续区域抽出步骤，连续区域抽出单元从在所述量化步骤中所量化了的数据抽出连续区域，

在所述连续区域抽出步骤中，包括：

第1连续区域抽出步骤，不区分所作为述数据取得、所述脚本执行、所述画面描绘的各个处理而抽出连续区域；或者

第2连续区域抽出步骤，区分作为所述数据取得、所述脚本执行、所述画面描绘的各个处理而抽出连续区域。

6.根据权利要求5所述的利用者体感品质推测方法，其特征在于：

在所述第1连续区域抽出步骤中，进行如下步骤：

第1评价A步骤，如果在滑动窗口内的时隙中的至少1个时隙中，有探测阈值以上的处理，则进行判定为连续区域内的处理，将判定为连续区域内的滑动窗口连续的区间作为连续区域；或者

第2评价A步骤，在以某个时隙为始点的滑动窗口长的区间内的、超过探测阈值的时隙数的存在比例超过规定的连续判定阈值的情况下，以各时隙为始点进行将该时隙判定为是连续区域内的处理，将判定为是连续区域内的始点的时隙连续的区域作为连续区域。

7.根据权利要求5所述的利用者体感品质推测方法，其特征在于：

在所述第2连续区域抽出步骤中，进行如下步骤：

第1评价B步骤，针对所述数据取得、所述脚本执行、所述画面描绘的各处理，抽出连续区域，将各处理的连续区域的并集作为连续区域；或者

第2评价B步骤，针对所述数据取得、所述脚本执行、所述画面描绘的各处理，抽出连续区域，抽出所述数据取得处理的连续区域、与该数据取得处理的连续区域邻接的所述脚本执行处理的连续区域、以及与该脚本执行处理的连续区域邻接的所述画面描绘处理的连续区域；或者

第3评价B步骤，针对所述数据取得、所述脚本执行、所述画面描绘的各处理，抽出连续区域，抽出所述数据取得处理的连续区域、以及与该数据取得处理的连续区域邻接的所述画面描绘处理的连续区域，进而，抽出所述脚本执行处理的连续区域、以及与该脚本执行处理的连续区域邻接的所述画面描绘处理的连续区域。

8.根据权利要求5所述的利用者体感品质推测方法，其特征在于还进行如下步骤：

连续区域整形步骤，关于在所述连续区域抽出步骤中抽出了的连续区域，在所述连续区域抽出步骤中抽出的所述连续区域的最终时间隙、和接下来的连续区域的开头时间隙连续的情况下，作为一个连续区域，在所述一个连续区域是第1规定的阈值以下的情况下，删除该一个连续区域，并且在所述一个连续区域是第2规定的阈值以上的情况下，删除该一个连续区域，从而对连续区域进行整形而输出。

9.一种品质劣化主要原因判定装置，用于在利用从应用服务器提供的应用的服务时，判定品质劣化主要原因是否存在于利用者终端，其特征在于包括：

数据接收单元，取得在所述利用者终端中在推测对象期间进行的数据取得、脚本执行、画面描绘的各处理的继续时间作为判定对象日志，并将其储存到接收日志存储单元；以及

瓶颈判定单元，比较进行了与针对在所述利用者终端中进行的应用的操作同样的操作时的参考日志或者脚本执行、画面描绘的处理的连续区域长度的经验累积分布的数据、和所述判定对象日志，来求出评价值，根据该评价值的总计值和预先所设定的阈值的比较结果，判定品质劣化主要原因是否存在于该利用者终端。

10.根据权利要求9所述的品质劣化主要原因判定装置，其特征在于：

所述瓶颈判定单元包括如下单元：

比较与所述参考日志和所述判定对象日志的各个对应的处理的统计值，根据比较结果赋予点数，求出该点数的总计值，在该总计值超过意味着在利用终端中存在瓶颈的至少1个阈值的情况下，判定为在利用终端中有瓶颈。

11.根据权利要求9所述的品质劣化主要原因判定装置，其特征在于还包括：

连续区域长度数据库生成单元，从反复了想要利用的各种操作的脚本执行或者画面描绘的处理的日志，抽出该脚本执行或者画面描绘的处理的连续区域长度，求其经验累积分布并将其登记到连续区域长度存储单元，

所述瓶颈判定单元包括如下单元：

对所述判定对象日志中包含的连续区域长度数据数进行累积比例化，针对该累积比例化了的判定对象日志的数据，判定相对所述连续区域长度存储单元的连续区域长度的经验累积分布的上下关系，从而判定利用者终端中的瓶颈。

12.根据权利要求9所述的品质劣化主要原因判定装置，其特征在于还包括：

连续区域长度数据库生成单元，从反复了通常想要利用的各种操作的脚本执行或者画面描绘的处理的日志，将该脚本执行或者画面描绘的处理的连续区域长度的经验累积分布登记到连续区域长度存储单元，

所述瓶颈判定单元包括如下单元：

对所述判定对象日志中包含的连续区域长度数据数进行累积比例化，针对该累积比例化了的判定对象日志的数据，参照所述连续区域长度存储单元的连续区域长度的经验累积分布，进行假设检验，从而判定瓶颈。

13.一种品质劣化主要原因判定方法，用于在利用从应用服务器提供的应用的服务时，判定品质劣化主要原因是否存在于利用者终端，其特征在于进行如下步骤：

数据接收步骤，数据接收单元取得在所述利用者终端中在推测对象期间进行的数据取得、脚本执行、画面描绘的各处理的继续时间作为判定对象日志，并将其储存到接收日志存储单元；以及

瓶颈判定步骤，瓶颈判定单元比较进行了与针对在所述利用者终端中进行的应用的操作同样的操作时的参考日志或者脚本执行、画面描绘的处理的连续区域长度的经验累积分布的数据、和所述判定对象日志，来求出评价值，根据该评价值的总计值和预先设定的阈值的比较结果，判定品质劣化主要原因是否存在于该利用者终端。

14.根据权利要求13所述的品质劣化主要原因判定方法，其特征在于：

在所述瓶颈判定步骤中，比较与所述参考日志和所述判定对象日志的各个对应的处理的统计值，根据比较结果赋予点数，求出该点数的总计值，在该总计值超过意味着在利用终端中存在瓶颈的至少1个阈值的情况下，判定为在利用终端中有瓶颈。

15.根据权利要求13所述的品质劣化主要原因判定方法，其特征在于还进行如下步骤：

连续区域长度数据库生成步骤，从反复了通常想要利用的各种操作的脚本执行或者画面描绘的处理的日志，将该脚本执行或者画面描绘的处理的连续区域长度的经验累积分布登记到连续区域长度存储单元，

在所述瓶颈判定步骤中，对所述判定对象日志中包含的连续区域长度数据数进行累积比例化，针对该累积比例化了的判定对象日志的数据，判定相对所述连续区域长度存储单元的连续区域长度的经验累积分布的上下关系，从而判定利用者终端中的瓶颈。

16.根据权利要求13所述的品质劣化主要原因判定方法，其特征在于还进行如下步骤：

连续区域长度数据库生成步骤，从反复了通常想要利用的各种操作的脚本执行或者画面描绘的处理的日志，将该脚本执行或者画面描绘的处理的连续区域长度的经验累积分布登记到连续区域长度存储单元，

在所述瓶颈判定步骤中，对所述判定对象日志中包含的连续区域长度数据数进行累积比例化，针对该累积比例化了的判定对象日志的数据，参照所述连续区域长度存储单元的连续区域长度的经验累积分布，进行假设检验，从而判定瓶颈。

17.一种类似操作抽出装置，在执行应用时，抽出与作为输入所提供的操作即输入操作类似的操作，其特征在于包括：

特征量计算单元，根据与从应用日志和网络日志中的仅某一方、或者两方的组合所切出的用户体感等待时间对应的日志，计算特征量；以及

类似度计算单元，根据计算出的所述特征量和过去在存储单元中保存的特征量以及预定的类似度函数，计算所述特征量和所述过去保存的特征量的类似度。

18.根据权利要求17所述的类似操作抽出装置，其特征在于还包括：

类似操作抽出单元，从由所述类似度计算单元计算出的类似度，抽出与输入操作类似的操作。

19.根据权利要求17或者18所述的类似操作抽出装置，其特征在于还包括如下单元：

对所述特征量提供识别编号，将所述识别编号和所述特征量保存到所述存储单元。

20.根据权利要求17所述的类似操作抽出装置，其特征在于：所述特征量计算单元将根据所述应用日志计算出的值、或者根据所述网络日志计算出的值、或者其双方作为所述特征量。

21.根据权利要求17所述的类似操作抽出装置，其特征在于：

所述类似度计算单元包括：

求出由所述特征量计算单元得到的所述特征量和所述过去保存的特征量之间的类似度，将对其进行了加权相加而得到的值作为所述类似度的单元。

22.一种类似操作抽出方法，在执行应用时，抽出与作为输入所提供的操作即输入操作类似的操作，其特征在于：

在具有特征量计算单元、类似度计算单元、存储单元的装置中进行如下步骤：

特征量计算步骤，所述特征量计算单元根据与从应用日志和网络日志中的仅某一方、或者两方的组合所切出的用户体感等待时间对应的日志，计算特征量；以及

类似度计算步骤，所述类似度计算单元根据在所述特征量计算步骤中计算出的所述特征量和过去在所述存储单元中保存的特征量以及预定的类似度函数，计算所述特征量和所述过去保存的特征量的类似度。

23.根据权利要求22所述的类似操作抽出方法，其特征在于：

在还具有类似操作抽出单元的装置中，还进行如下步骤：

所述类似操作抽出单元从通过所述类似度计算步骤计算出的类似度，抽出与输入操作类似的操作的步骤。