CN101460995B - 监测设备、评估数据选择设备、代理评估设备、代理评估系统 - Google Patents

Abstract

在确保评估结果有效的同时可以有效地评估会话。选择单元4通过参照评估观察点管理单元3的评估观察点管理表2，应用与评估观察点信息对应的选择操作，从由语音识别单元6基于发言的语音数据生成的识别数据中，从存储单元7中选择在代理评估中使用的识别数据。评估单元5通过评估观察点管理单元3参照评估观察点管理表2，应用与评估观察点信息对应的数据输出操作，显示识别数据并且再现所述语音数据。

Description

监测设备、评估数据选择设备、代理评估设备、代理评估系统

技术领域

本发明涉及一种用于评估发言的技术，例如一个工作人员在回答用户期间，回答会话的评估技术。 

背景技术

过去，被称为联络中心或者呼叫中心的中心，从用户那里接收电话询问并且回答所述电话询问。 

在所述联络中心，例如，一些管理员监测几百个操作员的回答方式，并且定期地评估他们的技能。评估的方法包括在会话录音设备上对用户和操作员之间的电话会话进行录音，并且播放所述电话会话的语音以听取所述语音。 

同时，对操作员的评估，已经提出了下面的技术。一种对回答某一预定企业的用户或者所述预定企业的电话的操作员进行问卷调查的技术，包括在预定的选择条件下从多个操作员中选择作为问卷调查对象的操作员；并且在用户与操作员的会话结束后通过使用问答机器对与选定的操作员进行会话的客户进行一个问卷调查。相应地，就能以较小的努力和较低的成本对在联络中心回答用户电话的操作员的印象进行一个问卷调查。因此，就能获得高质量的调查结果(例如，参见日本专利申请早期公开2004-229014号)。 

发明内容

本发明所要解决的问题 

然而，上述现有技术的技术具有下列问题。 

在日本专利申请早期公开2004-229014号中揭示的技术能从第三人的用户角度评估一个操作员，但是对是企业经理的管理者评估操作 员来说就没有用了。 

通常，为了公平地评估一个操作员或类似的情况，在再现并聆听所述操作员每一次回答的整个会话后进行评估。然而，在会话记录装置中累积了大量被记录的语音数据。由于这个原因，管理员从大量被记录的语音数据中适当抽取抽样数据用于评估，根据与有限回答时间对应的对话来评估操作员。因此，在有效评估后对于保证评估结果的有效性就存在限制。 

考虑到上述的情况构建了本发明，并且本发明的目的是允许负责代理监督的人员，例如，管理员，有效地评估例如代理会话的发言，同时确保评估结果的有效性。 

解决问题的方式 

为了达到上述目的，本发明提供了一种监测设备。所述监测设备包括选择装置和评估装置。通过应用与在评估观察点存储装置中存储的评估观察点信息对应的选择操作，所述选择装置从多条呼叫日志数据中选择被包括在呼叫日志数据中、用作待评估对象的语音数据和/或识别结果数据，所述多条呼叫日志数据至少包括通过监测发言而获得的语音数据、通过语音识别从所述语音数据中生成的识别结果数据、以及所述语音数据及所述识别结果数据间的对应关系数据。通过应用与在评估观察点存储装置中存储的评估观察点信息对应的输出操作，所述评估装置播放所述语音数据和/或显示所述识别结果数据，所述语音数据和/或所述识别结果数据由所述选择装置选择并且作待评估对象。 

进一步，本发明提供一种评估数据选择设备。通过应用与在评估观察点存储装置中存储的评估观察点信息对应的选择操作，所述评估数据选择设备从多条呼叫日志数据中选择被包括在呼叫日志数据中、用作待评估对象的语音数据和/或其识别结果数据，所述多条呼叫日志数据至少包括通过监测发言而获得的语音数据、通过语音识别从所述语音数据中生成的识别结果数据、以及所述语音数据及所述识别结果数据间的对应关系数据。 

此外，本发明提供一种代理评估设备。通过应用与在评估观察点存储装置中存储的评估观察点信息对应的输出操作，所述代理评估设备从多条呼叫日志数据中播放语音数据和/或显示识别结果数据，所述语音数据和/或识别结果数据被用作待评估对象，所述多条呼叫日志数据至少包括通过监测发言而获得的语音数据、通过语音识别从语音数据中生成的所述识别结果数据、以及所述语音数据及所述识别结果数据间的对应关系数据。 

另外，本发明提供一种代理评估系统，包括用于选择评估数据的服务器和一个或多个客户终端。通过应用与在用于评估观察点存储装置中存储的评估观察点信息对应的选择操作，所述服务器从多条呼叫日志数据中选择被包括在呼叫日志数据中、用作待评估对象的语音数据和/或其识别结果数据，所述多条呼叫日志数据至少包括通过监测发言而获得的语音数据、通过语音识别从语音数据中生成的所述识别结果数据、以及存储了所述语音数据和所述识别结果数据间的对应关系数据。通过应用与在评估观察点存储装置中存储的评估观察点信息对应的输出操作，所述客户终端播放语音数据和/或显示识别结果数据，所述语音数据和/或所述识别结果数据被用作待评估对象。 

进一步，本发明提供一种代理评估系统，包括客户电话、操作员电话、操作员设备、文件服务器、评估数据选择设备、评估观察点管理设备、以及代理评估设备。所述操作员设备发送多条呼叫日志数据至所述文件服务器，所述多条呼叫日志数据至少包括通过监测在客户和操作员之间使用客户电话和操作员电话进行的会话而获得的联络中心的语音数据、通过语音识别从所述语音数据中生成的识别结果数据、以及所述语音数据和所述识别结果数据间的对应关系数据。通过应用与在评估观察点管理设备的评估观察点存储装置中存储的评估观察点信息对应的选择操作，所述评估数据选择设备从存储在文件服务器中的呼叫日志数据中选择被包括在呼叫日志数据中、用作待评估对象的语音数据和/或识别结果数据。通过应用与在评估观察点管理设备的评估观察点存储装置中存储的评估观察点信息对应的输出操作，所述代理评估设备播放所述语音数据和/或显示所述识别结果数据，所述语音 数据和/或识别数据被用作待评估对象。 

发明的效果 

根据本发明，能够在有效评估发言的同时确保评估结果的有效性。 

具体实施方式

本发明的第一示例性实施例将参照附图如下详述。同时，相同的附图标记被赋予多个附图的共同部分。 

参照图1，根据本实施例的监测设备1是一个信息处理设备，该设备由对在联络中心的操作员回答技能进行评估的管理员使用。所述监测设备1包括选择单元4、评估观察点管理单元3、评估观察点管理表2、以及评估单元5。 

所述监测设备1是信息处理设备，例如由管理员使用的个人计算机或工作站。所述监测设备包括已知的其它组成部分，例如操作-输入单元、ROM(只读存储器)、RAM(随机访问存储器)、通信接口、HD(硬盘)、以及CPU(中央处理单元)。 

同时，操作-输入单元包括键盘、鼠标、和类似物，并且向CPU输出对应于键盘或鼠标操作的操作信号。一个程序，负责对设备中各组成部分的基本控制，被存储在ROM中。进一步，RAM被用作CPU的工作区域，并且临时存储由CPU执行的程序或各种数据。通信接口被连接至一网络，并且控制在所述监测设备和其它设备之间执行的数据通信。 

HD存储各种用于控制其自身设备的软件，例如操作系统。进一步，预定的数据库，例如评估观察点管理表2和用户数据库，可以被存储在HD中。 

在评估观察点管理表2中，例如，图2中所示的数据被存储，并且“评估观察点”、“选择单元4的操作”、和“评估单元5的操作”相互关联。同时，评估观察点管理表2与评估观察点存储装置相对应。然而，评估观察点存储装置不必一定以表的形式，它可以以已知的硬件或软件实现。 

评估观察点管理单元3具备基于“评估观察点”信息搜索评估观察 点管理表2、以获得与“评估观察点”相对应的“选择单元4的操作”或“评估单元5的操作”，并且将所述操作传送给选择单元4和/或者评估单元5的功能。进一步，所述评估观察点管理单元具备执行维护和管理的功能，例如增加、更新、以及删除存储在评估观察点管理表2中的数据。同时，管理员执行一个操作，例如按下与在预先确定的显示器上显示的列表中期望的“评估观察点”相对应的按钮，使得所述评估观察点管理单元3获得所述“评估观察点”信息。 

监测设备1的选择单元4具有读出是语音数据或它的识别结果的识别结果数据、并且为执行对操作员的评估而选择被评估对象的功能。选择单元4从位于监测设备1外部的数据存储单元7获得该识别结果数据。所述识别结果数据由语音识别单元6从存储在数据存储单元7中的操作员语音数据中生成。同时，语音数据和识别结果数据被存储在所述数据存储单元7中。 

在这种情况下，作为语音识别的结果，识别结果数据由文本数据组成，所述文本数据从具有第一候选处获得，所述第一候选每一个词都具有最高可靠性以及连接词最真实。同时，识别结果数据可以包括由公知的语音识别时的技术获得的语音识别的多个识别结果候选、基于代表所述识别结果的可能性的可靠性或可靠性成为其它候选的多个识别结果候选。进一步，语音数据可以包括静默时间和客户的发言以及操作员的发言。 

进一步，例如，如图3所示，由语音识别单元6产生的所述识别结果数据可以对应于作为来源的语音数据，并且可以与用于识别客户或回答的日期和时间的数据一起被存储。在这种情况下，所述识别结果数据可以对应于由句子单元、字单元、或字母单元以及例如在客户和代理之间的整个会话的较大识别单元的语音数据。因此，例如可能明白在若干秒之间的所述语音数据对应于某特定词。 

所述选择单元4通过应用与通过评估观察点管理单元3参考所述评估观察点管理表格2而获得的“选择单元4的操作”来选择识别结果数据，并且对应于所述“评估观察点”。所述“选择单元4的操作”被主要分为用于检测特定关键字的模式(类型1)、用于检测非特定短语的 模式(类型2)、用于检测时间-序列模式的模式(类型3)、以及用于检测在一预定时间段内相同短语增加和减少变化的模式(类型4)。 

所述评估单元5具备播放作为识别结果数据来源的语音数据的语音的功能，并且以文本的形式显示所述识别结果数据。评估单元5获得由选择单元4选择的识别结果数据和作为识别结果数据来源的语音数据，并且通过应用通过评估观察点管理单元3参考所述评估观察点管理表格2而获得的“评估单元5的操作”来输出数据，以及对应于选择时的所述“评估观察点”。当视觉上确认在显示单元(例如图4中所示的液晶屏)上显示的文本内容时，管理员通过从一特定的被关注部分播放电话语音和听觉确认所述语音来执行评估。同时，所述文本在短期内大略地了解所述会话内容时是有用的，并且所述语音在所述会话期间确定发言的语调或适当性时也是有用的。然而，所述文本和语音无需一起使用，而仅它们其中之一就可以被用来执行所述评估。 

将在下面描述本实施例的代理评估处理的流程。在下面描述中，所述代理评估处理被划分为被执行直到电话语音被存为识别结果数据为止的处理，用于选择评估文件的处理，以及用于执行评估的处理。同时，假定在联系中心多个操作员回答来自客户查询的电话，并且至少一个管理员考虑呼叫记录来评估所述操作员。 

开始时，将参照图5描述被执行直到电话语音被存为识别结果数据为止的处理流程。 

首先，打算向联系中心查询的客户，从客户电话打一个电话到操作员电话(S501)。 

然后，操作员通过操作员的电话收到电话，并且作出回答，例如同客户进行一次必需的会话(S502)。 

语音记录器将在步骤S502回答时在操作员和客户之间作出的会话存储在数据存储单元7中作为语音数据(S503)。被用于识别客户或回答日期和时间的数据，可以被加入到所述语音数据中。 

语音识别单元6执行在步骤S503保存的语音数据的语音识别，并且产生该语音数据的识别结果数据(S504)。如上所述，识别结果数据可以包括由公知的语音识别时的技术获得的语音识别的多个识别结 果候选、基于代表所述识别结果的可能性的可靠性或可靠性成为其它候选的多个识别结果候选。因此，作为语音识别的结果，识别结果数据可以包括多个已经变成其它候选的数据、以及从第一候选处获得的文本数据，所述第一候选大体上每一个词都具有最高可靠性以及连接词最真实。 

由语音识别单元6产生的识别结果数据被存储在数据存储单元7，这样相应于所述作为识别结果数据来源的语音数据。在这种情况下，图3显示了存储在数据存储单元7中的数据结构的例子。 

参照图3，数据存储单元7中存有语音数据表、识别结果数据表、和附加信息表。ID是用于唯一地识别语音数据的识别信息，并且语音数据的名字被存储在语音数据表中。进一步地，代表语音数据的每个词的开始位置的“偏移量”信息、代表所述词长度的“长度”信息、和基于所述词的识别结果的可靠性的候选顺序的“顺序”信息被存储在识别结果数据表中，使得其与ID相关联，这些ID对应于作为用于产生所述识别结果数据的来源的语音数据的ID。例如，在图3中，针对根据语音数据的识别结果数据的词：例如“Kyo(意指今天)”，“wa  (意指是)”，“tenki(意指天气)”，“ga(在下面的句子中没有相应的字)”，并且“yoi(意指好)”，“Kyo wa tenki ga yoi(意指今天是好天气)”，当考虑到“Kyo”时，“Kyo(意指今天)”在所述语音数据的3秒的时间里存在了2秒，以及“Kyo(意指今天)”的候选顺序作为识别结果具有第一优先级的信息被存储在一个识别结果数据表中。同时，如果“Kyo(意指强壮)”，其是“Kyo(意指今天)”的同音词，那么它就是“Kyo”的下一个候选，同音词“Kyo(意指强壮)”被存储为第二候选。 

与数据有关的操作员识别信息、与客户名有关的信息、回答开始日期和时间信息、回答结束日期和时间信息、以及类似物被存储在所述附加信息表中，以使其与语音数据的ID和其识别结果数据相对应。同时，与客户名有关的信息可以与上述客户数据库相连接。 

接下来，将描述为每个“观察点”选择识别结果数据的处理和执行评估的处理。首先，将描述主要被分类为“选择单元4的操作”的每一模式的处理流程。然后，将大略地描述“评估单元5的操作”。最后， 将详细描述为每个“观察点”选择识别结果数据的处理和执行评估的处理。 

如上所述，“选择单元4的操作”包括用于检测特定关键词的模式(类型1)、用于检测非特定短语的模式(类型2)、用于检测时间-序列模式的模式(类型3)、以及用于检测在一预定时间段相同短语增加和减少变化的模式(类型4)。 

更详细地，所述用于检测特定关键词的模式(类型1)包括用于检测特定关键词没有出现的模式(类型1-1-1)、用于检测特定关键词出现的模式(类型1-1-2)、以及用于检测特定关键词经常出现的模式(类型1-1-3)。所述用于检测特定关键词的模式进一步包括用于检验多个特定关键词的组合和检测仅有一个关键词出现的模式(类型1-2-1)、以及用于检测两个关键词都出现的模式(类型1-2-2)。所述用于检测特定关键词的模式更进一步包括用于在一特定操作后检测特定关键词是否出现的模式(类型1-3)。 

进一步地，用于检测非特定短语的模式(类型2)是为了检测重复出现的相同短语。 

用于检测时间-序列模式的模式(类型3)包括用于从每单位时间字母数目中检测会话速度的模式(类型3-1)、用于检测长会话的模式(类型3-2)、以及用于检测在特定关键词之后的静默时间的模式(类型3-3)。 

所述用于检测在一预定时间段内相同短语增加和减少变化的模式(类型4)包括用于检测在一预定时间段内特定操作员使用的特定关键词的增加和减少的模式(类型4-1)。所述用于检测在一预定时间段内相同短语增加和减少变化的模式进一步包括用于检测在一预定时间段内出现频率显著地增加和减少的短语的模式(类型4-2-1)、以及用于检测在一预定时间段内与特定关键字一起出现并且出现频率显著地增加和减少的短语的模式(类型4-2-2)。 

以下将描述主要被分类为“选择单元4的操作”的每一模式的处理流程。同时，如上所述，识别结果数据可以包括由公知的语音识别技术获得的语音识别的多个识别结果候选，或者代表所述识别结果可能 性的可靠性。因此，识别结果数据可以包括多个已经成为下一候选的数据，以及从第一候选处获得的文本文件，所述第一候选每一个词都具有最高可靠性以及在语音数据中连接词最真实。接下来的选择处理包括选择和比较多个数据的情况。 

在开始阶段，将描述用于检测特定关键词模式(类型1)的用于检测特定关键词没有出现的模式(类型1-1-1)。参照图6，首先，选择单元4读取存储在数据存储单元7的识别结果数据表中的一行(S601)。 

然后，确定一特定的关键词是否被包括在每个识别结果数据中(S602)。在这种情况下，无论何时执行所述评估，都可以由管理员输入所述关键词，并且可以参考事先登记的保存有一系列关键词集合数据的关键词表。关键词的输入没有特别地限制。进一步，所述关键词可以在评估观察点管理表中被直接描述，以及也可以与另一个关键词表链接。 

如果所述特定关键词没有被包括在每个识别结果数据中(S602/是)，则确定从识别结果数据表中读取的数据是否是最后一行(S603)。 

如果读取的数据不是最后一行(S603/否)，预定计数器的值加1，处理返回到步骤S601，读取位置移到下一行，并且重复所述处理。 

同时，如果读取的数据是最后一行(S603/是)，则所述识别结果数据被确定作为将要被评估的对象的识别结果数据(S604)。 

除了在图6中特别示出，省略了对不满足情况时处理的说明。 

接下来，将描述用于检测特定关键词模式(类型1)中的用于检测特定关键字出现的模式(类型1-1-2)和用于检测特定关键词经常出现的模式(类型1-1-3)。参照图7，首先，选择单元4读取存储在数据存储单元7的识别结果数据表中的一行(S701)。 

然后，确定一特定的关键词是否被包括在每个识别结果数据中(S702)。在这种情况下，无论何时执行所述评估，都可以由管理员输入所述关键词，并且可以参考事先登记的保存有一系列关键词集合数据的关键词表。关键词的输入没有特别地限制。进一步，所述关键词可以在评估观察点管理表中被直接描述，也可以与另一个关键词表 链接。 

如果在每个识别结果数据中都包括所述特定关键词(S702/是)，则确定所述关键词是否出现n次或更多次(n是一个任意的正整数并且被设置一个上限)(S703)。在这种情况下，在评估观察点管理表2中直接描述的值可以被用作所述上限，或者由管理员设置的一个值也可以被用作所述上限。进一步，不同的上限可以用于不同的关键词。 

如果所述关键词少于n次(n是一个任意的正整数并且被设置一个上限)(S703/否)，那么预定计数器的值加1，处理返回到步骤S701，读取位置移到下一行，并且重复所述处理。 

同时，如果所述关键字出现了n或更多次(n是一个任意的正整数并且被设置一个上限)(S703/是)，则所述识别结果数据被确定作为所述将要被评估的对象的识别结果数据(S704)。 

此外，在搜索关键词直到最后一个识别结果数据之后，如果所述关键词出现少于n次(n是一个任意的正整数并且被设置一个上限)，则所述识别结果数据被确定作为将要被评估对象的识别结果数据。 

同时，除了在图7中特别示出，省略了对不满足情况时的处理的说明。 

进一步，将在如下所述的特定例子中描述用于检验特定关键词的组合和检测仅有一个关键词出现的模式(类型1-2-1)、用于检测两个关键词都出现的模式(类型1-2-2)、以及用于检测在一特定操作之后是否出现特定关键词的模式(类型1-3)。 

在用于检测非特定短语的模式(类型2)的用于检测重复出现的相同短语的模式中，所述“短语”与作为事先登记的短语的“关键词”不同，并且包括事前没登记的短语。然而，由于由公知的各种技术可以容易地判断相同“短语”是否被包含在每个识别结果数据中，因而可以应用图7中示出的流程，所述流程以相同方式涉及上述关于“关键词”的处理。为此，不再重复所述说明。 

接下来，将描述用于检测时间-序列模式(类型3)中的用于从每单位时间字母数目中检测会话速度的模式(类型3-1)、用于检测长会话的模式(类型3-2)、以及用于检测在特定关键词之后的静默时间的 模式(类型3-3)。然而，可以利用附加信息表的“回答开始日期和时间信息”和“回答结束日期和时间信息”、或者识别结果数据表的“偏移量”信息和“长度”信息来检测相对应的识别结果数据。将在如下所述的特定例子中描述其细节。 

在那之后，将描述用于检测在一预定时间段内相同短语增加和减少变化的模式(类型4)。然而，可以利用附加信息表的“回答开始日期和时间信息”和“回答结束日期与时间信息”以及上述“类型1”处理来检测对应的识别结果数据。将在如下所述的特定例子中描述其细节。 

然后，在下面一般性地描述所述“评估单元5的操作”。首先，作为假定，评估单元5从所述数据存储单元7中获得识别结果数据，所述识别结果由选择单元4选择并且被确定为用作将要被评估对象的识别结果数据，并且语音数据对应于所述识别结果数据。进一步，评估单元从评估观察点管理单元3中获得“评估观察点”信息、以及关于与“评估观察点”信息相关联的“评估单元5的操作”的信息。 

在例如液晶屏的显示器单元上，评估单元5通过以文本形式显示识别结果数据的功能，以文本形式显示所述识别结果数据。一部分预定的关键词可以被标记或者高亮显示以吸引管理员的注意力。进一步的，例如“Uh”之类的填充物由于其使读取所述文本变困难而可以被省略，或者也不显示语音识别的可靠性比较低的一部分文本。此外，如上所述，在所述语音识别期间识别结果数据可以包括由公知的技术获得的语音识别的多个识别结果候选、基于代表所述识别结果的可能性的可靠性或者可靠性成为其它候选的多个识别结果候选。因此，作为语音识别的结果，当识别结果数据包括多个已经成为其它候选的数据和从大体上具有最高可靠性的每一个词以及最真实的连接词的第一候选处获得的文本数据时(例如，被高亮显示的短语是另一个候选时)，可以利用括号显示所述短语。 

通过播放作为识别结果数据来源的语音数据的语音的功能，所述评估单元5基于一特定起点的语音数据播放电话语音，其中从所述特定起点来播放根据文本指定的电话语音。当通过选择单元4进行选择的时候，光标自动地放置在对应于“评估观察点”的关键词的前端部分， 使得所述起点可以被指定。可选地，当视觉确认在显示单元上显示的文本内容时，管理员能够理解所述操作员的会话内容，然后在回答时将光标移动到与所希望的会话部分对应的显示文本上，这样可以指定播放电话语音的起点。这可能是由于识别结果数据表的“偏移量”信息与语音数据的对应部分链接。同时，语音数据的再现速度可以被更好地改变也是很自然。在这种情况下，在显示单元上显示的文字被播放部分与语音数据的被播放的部分同步高亮显示，或者可以与播放部分同步滚动屏幕。 

以这种方式，当读取文本的时候可以听到指定部分的语音。因此，通过读取文本可以容易地理解大意，并且通过指定对应的文本部分可以迅速地听到一个特定的部分。同时，文本和语音在评估的时候无需一起使用，而仅仅它们其中之一就可以被用来执行所述评估。

接下来，将为图2中示出的每个详述的“评估观察点”详细描述选择单个识别结果数据的处理和执行评估的处理。 

作为与检测特定关键词模式(类型1)中的检测特定关键词没有出现的模式(类型1-1-1)对应的“评估观察点”，可能有“基本回答(介绍部分)”、“基本回答(为公司)”、和“基本回答(结束部分)”。 

首先，根据图7的流程，当“评估观察点”是“基本回答(介绍部分)”时，选择单元4的操作检测一操作员没有说像介绍性的问候的关键词，例如“感谢您的等待”以及操作员的联络方式或姓名。同时，也可以引用附加信息表中的操作员识别信息。进一步，为了播放所述会话的前端部分，评估单元5的操作使得光标位于所显示文本的前端部分。 

接下来，根据图7的流程，当“评估观察点”是“基本回答(为公司)”时，选择单元4的操作从客户的语音中检测公司的名称以及如果公司是一个客户时检测操作员的语音中没有包括例如“我们始终感谢您的公司”的关键词。进一步的，为了在包括公司名称的发言之后播放客户语音部分，评估单元5的操作使得光标位于显示文本的发言的前端部分。 

接下来，根据上述图7的流程，当“评估观察点”是“基本回答(结束部分)”时，选择单元4的操作检测操作员的语音没有包括例如“XX 负责人在说话”的关键词。同时，也可以引用附加信息表中的操作员识别信息。进一步的，为了播放会话的最后30秒，参照附加信息表的回答结束日期和时间信息、识别结果数据表的“偏移量”和“长度”信息、等等类似物，评估单元5的操作使得光标位于所显示的文本中的对应于从会话结尾起的最后30秒的位置。根据这些“评估观察点”选择识别结果数据，该识别结果数据是操作员的呼叫日志，其中在回答过程中没有说预定的短语或者预先在手册中规定的重要问题等。因此，管理员可以有效地评估具有看起来包括一些种类问题的呼叫记录的操作员。 

作为与检测特定关键词模式(类型1)中的检测特定关键词出现的模式(类型1-1-2)对应的“评估观察点”，可能有“出现困难”、“粗鲁的词”、“转移到其它部分”、以及“客户满意”。 

首先，根据图7的流程，当“评估观察点”是“出现困难”时，选择单元4的操作检测关键词的出现，例如“对不起”以及“请挂断电话”。进一步的，评估单元5的操作通过黑体、下划线、高亮、闪烁、更改颜色、等等类似方式，高亮显示所述关键词，例如“对不起”以及“请挂断电话。可选地，为了以语音形式播放对应的关键词，评估单元的操作使得光标位于所显示文本的关键词的前端部分。 

接下来，根据图7的流程，当“评估观察点”是“粗鲁的词”时，选择单元4的操作检测关键词的出现，例如“傻瓜”以及“索赔人”。进一步的，评估单元5的操作通过黑体、下划线、高亮、闪烁、更改颜色、等等类似方式，高亮显示所述关键词，例如“傻瓜”以及“索赔人”。可选地，为了以语音形式播放对应的关键词，评估单元的操作使得光标位于所显示文本的关键词的前端部分。 

接下来，根据图7的流程，当“评估观察点”是“转移到其它部分”时，选择单元4的操作检测关键词的出现，例如，“免除”以及“转移”，或者从一系列保证中免除的条款名称的出现、等等类似情况。进一步的，通过黑体、下划线、高亮、闪烁、更改颜色、等等手段，评估单元5的操作将容易引起误会的关键词例如“免除”、或者从一系列保证中免除的条款名称或类似情况高亮显示。可选地，为了以语音形式播 放对应的关键词，评估单元5的操作使得光标位于所显示文本的关键词的前端部分，或者将正式的词高亮以引导其它部分。根据这种“评估观察点”选择包括可能引起某种麻烦的关键词的标识结果数据。因此，管理员可以有效地评估具有看起来包括一些种类问题的呼叫记录的操作员。 

接下来，根据图7的流程，当“评估观察点”是“客户满意”时，选择单元4的操作检测当操作员接电话时，客户说像“谢谢”的感谢词。进一步的，评估单元5的操作通过黑体、下划线、高亮、闪烁、更改颜色、等等类似方式，高亮显示所述关键词，例如“谢谢”。可选地，为了以语音形式播放对应的关键词，评估单元的操作使得光标位于所显示文本的关键词的前端部分，或者计数并显示谢谢这样的词的数目。 

作为与检测特定关键词模式(类型1)中的检测特定关键词经常出现的模型(类型1-1-3)对应的“评估观察点”，可能有“可听性”。在这种情况下，根据图7的流程，选择单元4的操作检测关键词的出现，例如“Uh”和“Um”。进一步的，评估单元5的操作通过黑体、下划线、高亮、闪烁、更改颜色、等等类似方式，高亮显示所述关键词，例如“Uh”以及“Um”。可选地，为了以语音形式播放对应的关键词，评估单元的操作使得光标位于所显示文本的关键词的前端部分。 

作为与检测特定关键词模式(类型1)中的检验特定关键词的组合和检测仅有一个关键词出现的模式(类型1-2-1)对应的“评估观察点”，可能有“操作步骤向导”。在这种情况下，选择单元4的操作确定一个词和另一个词是否同时出现。例如，当操作员指导客户执行重新设置时，必定存储和保存数据。因此，“重新设置”和“备份”被定义为同时出现的词，并且根据图8的流程，仅检测前一个关键词的出现。同时，当执行“重新设置”时，“备份”处理必然被执行。然而，甚至当执行“备份”处理时，也不一定必须执行“重新设置”。由于这个原因，仅检测前一个关键词“重新设置”的出现。 

参照图8，首先，选择单元4读取存储在数据存储单元7的识别结果数据表中的一行(S801)。 

然后，确定在每个识别结果数据中是否都包括用作前一个关键词 的“重新设置”(S802)。在这种情况下，无论何时执行所述评估，都可以由管理员输入所述关键词，并且可以参考事先登记的保存有一系列关键词集合数据的关键词表。关键词的输入没有特别地限制。进一步，可以在评估观察点管理表中直接描述所述关键词，也可以将所述关键词与另一个关键词表链接。 

如果用作前一个关键词的“重新设置”被包括在每个识别结果数据中(S802/是)，则确定用作后一个关键词的“备份”是否被包括(S803)。 

如果所述用作后一个关键词的“备份”没有被包括(S803/是)，则确定从识别结果数据中读取的数据是否是最后一行(S804)。 

如果读取的数据不是最后一行(S804/否)，预定计数器的值加1，处理返回到步骤S801，读取位置移到下一行，并且重复所述处理。 

同时，如果读取的数据是最后一行(S804/是)，则所述识别结果数据被确定作为将要被评估的对象的识别结果数据(S805)。 

除了在图8中特别示出，省略了对不满足情况时的处理的说明。 

进一步的，评估单元5的操作通过黑体、下划线、高亮、闪烁、更改颜色、等等类似方式，高亮显示所述已经出现的前一个关键词。此外，为了表明后一个关键词没有出现，评估单元的操作利用括号显示后一个关键词。此外，为了以语音形式播放对应的关键词，光标位于所显示文本的关键词的前端部分。 

作为与检测特定关键词的模式(类型1)中的检测两个关键词都出现的模式(类型1-2-2)对应的“评估观察点”，可能有“响应紧急事件”。在这种情况下，选择单元4的操作确定一个词和另一个词是否同时出现。例如，即使电话响起也不要紧。然而，如果气体警报响起，则极有可能出现了紧急状况。由于这个原因，操作员必须向客户发出一个指令。相应地，当“气体警报”和“响起”同时出现时，将设定发出一个预定的指令，并且根据图7的流程检测到出现了两个关键词。进一步的，评估单元5的操作通过黑体、下划线、高亮、闪烁、更改颜色、等等类似方式，高亮显示出现的两个关键词。此外，为了以语音形式播放对应的关键词，评估单元的操作使得光标位于所显示文本的关键词的前端部分。根据这种“评估观察点”，选择识别结果数据，其 包括一些种类紧急事件出现的高可能性的关键词。因此，管理员可以有效地评估一个操作员是否发出了应对紧急状况的合适指令。 

作为与检测特定关键词模式(typel)中的检测在特定操作之后特定关键词是否出现的模式(类型1-3)对应的“评估观察点”，可能是“使客户等待后”。在这种情况下，根据图7的流程，选择单元4的操作检测在通话保持之后出现一个关键词例如“感谢您的等待”。同时，可以通过按下BGM按钮或者一预定的按钮检测所述保持。进一步的，评估单元5的操作通过黑体、下划线、高亮、闪烁、更改颜色、等等类似方式，高亮显示所述关键词，例如“谢谢您的等待”。可选地，为了以语音形式播放对应的关键词，评估单元的操作使得光标位于所显示文本的关键词的前端部分。进一步的，如果没有出现所述关键词，评估单元的操作利用括号显示所述关键词或者在保持电话之后让光标位于会谈部分的前端部分。 

作为与检测一个非特定短语模式(类型2)中的检测相同短语重复出现的模式对应的“评估观察点”，可能有“出现麻烦”。在这种情况下，根据图7的流程，选择单元4的操作检测在电话通话期间重复相同的词。例如，这相当于这样一种情况，即在没有发觉客户不理解词例如“接入点”的意思而操作员重复地解释若干次。同时，参照排除了在日常会话中经常被使用的单词的列表可以执行搜索，使得在这种情况下不对这些单词进行检测。进一步的，评估单元5的操作通过黑体、下划线、高亮、闪烁、更改颜色、等等类似方式，高亮显示所述相应的单词。可选地，为了以语音形式播放对应的关键词，评估单元的操作使得光标位于所显示文本的关键词的前端部分。进一步的，也可以额外地将相应的词登记在一预定的关键词集合中。 

作为与检测时间-序列模式(类型3)中的从每单位时间字母数目中检测会话速度的模式(类型3-1)对应的“评估观察点”，可能有“快速的发言”。在这种情况下，选择单元4的操作提取较大的值，该值是通过将包括在识别结果数据的文本中的字母数目除以会话时间获得的，并且根据识别结果数据与例如识别结果数据表的“规格”和“长度”之类的信息的大小计算每单位时间的字母数目。进一步的，为了在检 测到快速发言之后播放语音，评估单元5的操作使光标位于文本的相应位置上。 

作为与检测时间-系列模式(类型3)中的检测长会话的模式(类型3-2)对应的“评估观察点”，可能有“出现麻烦”。在这种情况下，选择单元4的操作计算在识别结果数据的文本中所包括的字母的数目，并且提取一会话作为长会话，所述会话的字母数目大于一预定的字母数目。进一步的，选择单元的操作通过利用附加信息表的呼叫开始时间和呼叫结束时间来计算会话时间，并且提取长会话。此外，选择单元的操作提取一会话作为长会话，所述会话具备大量的语音数据。此外，为了以语音形式播放整个会话，评估单元5的操作使得光标位于文本的开始部分。根据这个“评估观察点”选择识别结果数据，该识别结果数据是与一长时间回答相对应的呼叫日志，其中一些种类的麻烦出现的可能性比较高。因此，管理员可以有效地评估具有看起来包括一些种类问题的呼叫记录的操作员。 

作为与检测时间-序列模式(类型3)中的检测在特定关键词之后的静默时间的模式(类型3-3)对应的“评估观察点”，可能有“让客户等待的时间”。在这种情况下，根据图7的流程，选择单元4的操作检测关键词的出现，例如“请等待一分钟”和“可以等待1到2分钟么？”。进一步的，评估单元5的操作通过黑体、下划线、高亮、闪烁、更改颜色、等等类似方式，高亮显示像“请等待一分钟”和“可以等待1到2分钟么？”的关键词。可选地，为了以语音形式播放对应的关键词，评估单元的操作使得光标位于所显示文本的关键词的前端部分。进一步的，通过测定静默时间，显示例如在“请等待一分钟”的情况下是否在30秒内给出答案，以及在“可以等待1到2分钟么？”的情况下是否在5分钟内给出答案。 

作为与检测在预定的时间段中相同短语增加和减少变化的模式(类型4)中的检验在预定的时间段中特定操作员使用的特定关键词的增加和减少的模式(类型4-1)对应的“评估观察点”，可能具有“可听性”。 

在这种情况下，参照图9，在选择单元4的操作中，首先，选择 单元4参照附加信息表中的操作员识别信息，确定数据是否是一特定操作员的识别结果数据(S901)。 

如果数据是特定操作员的识别结果数据(S901/是)，参照附加信息表的“回答开始日期和时间信息”确定识别结果数据是否在预定的时间段之内(S902)。 

如果所述数据是特定操作员的识别结果数据，并且所述识别结果数据在一预定的时间段内(S902/是)，根据ID读取存储在识别结果数据表中的相应识别结果数据(S903)。 

进一步的，确定一特定的关键词是否被包括在识别结果数据中(S904)。在这种情况下，无论何时在执行所述评估，都可以由管理员或类似人员输入所述关键词，并且可以参考事先登记的保存有一系列关键词集合数据的关键词表。关键词的输入没有特别地限制。用作关键词的词是，例如“Uh”和“Urn”，它们在回答时是不适当的并且妨碍了会话的可听性。 

如果在识别结果数据中包括了所述特定关键词(S904/是)，则确定在一预定的时间段内所述特定关键词是否增加或减少(S905)。 

如果在一预定的时间段内所述特定关键词有增加或减少(S905/是)，则所述识别结果数据被确定作为将要被评估的对象的识别结果数据(S906)。 

进一步的，评估单元5的操作显示预定的时间段以及显示增加和减少的统计图。可选地，评估单元的操作通过黑体、下划线、高亮、闪烁、更改颜色、等等类似方式，高亮显示增加或减少的关键词，或者为了以语音形式播放对应的关键词使得光标位于所显示文本的所述关键词的前端部分。根据这种“评估观察点”，被用作关键词的词是那些妨碍可听性以及在回答的时候被认为是不适当的词。在回答时使用不适当言词的操作员之中选择对应于连续并重复使用所述词的操作员的呼叫记录的识别结果数据，而不是偶然使用所述词的操作员。因此，管理员可以有效地评估呼叫记录包括似乎出现使用言词的某种问题的操作员。进一步的，可以确认引导所述操作员的效果。 

作为与检测在预定的时间段中相同短语增加和减少变化的模式 (类型4)中的检验在预定的时间段中出现频率显著增加或减少的短语的模式(类型4-2-1)对应的“评估观察点”，可能有“询问的倾向”。在这种情况下，根据图9步骤S902之后的流程，参照附加信息表中的“回答开始日期和时间信息”，选择单元4的操作检测一个短语的出现，所述短语在预定的时间段内(最近的)被增加。进一步的，评估单元5的操作显示一个预定的时间段。另外，评估单元的操作通过黑体、下划线、高亮、闪烁、改变颜色、等等类似方式高亮显示正被增加的短语，或者使得光标位于所显示文本的所述关键词的前端部分，以便以语音形式播放对应的关键词。根据这种“评估观察点”，选择对应于包括最近趋向于增加的词的呼叫记录的识别结果数据。因此，管理员可以有效地评估一个操作员面对一个新的情况是否适当地做出了反应。 

作为与检测预定的时间段中相同短语增加和减少变化的模式(类型4)中的检验预定的时间段中与特定关键词一起出现并且出现频率显著增加或减少的模式(类型4-2-2)对应的“评估观察点”，可能有“质量控制”。在这种情况下，根据图7的流程，参照附加信息表中的“回答开始日期和时间信息”，选择单元4的操作检测一个短语的出现，所述出现伴随一个特定关键词并且正在增加。例如，如果存在正在增加的货物的名称及关键词(例如“返回货物”)，则可以猜测在所述货物中出现了问题。进一步的，评估单元5的操作显示一个预定的时间段。此外，评估单元的操作通过黑体、下划线、高亮、闪烁、改变颜色、等等类似方式高亮显示正被增加的短语，或者为了以语音形式播放对应的关键词使得光标位于所显示文本的所述关键词的前端部分。 

如上所述，根据本实施例，选择单元4根据存储在评估观察点管理表2中的“评估观察点”信息适当选择识别数据，并且评估单元5还可以根据存储在评估观察点管理表2中的“评估观察点”信息输出数据，而不考虑所述评估单元是否与选择单元4互锁。 

同时，作为语音识别的结果，当识别结果数据包括多个成为其它候选的数据，以及从第一候选获得的文本数据，所述第一候选具有最高可靠性的每一个词和最真实连接词，所述评估单元5可以根据预定 的标准给出识别结果数据的优先级顺序，例如每一个词的可靠性和连接词的真实性都高的顺序，以便以优先级顺序显示识别结果数据，其被选中并且被判定作为将要被评估的对象的识别结果数据。 

例如，当与检测两个关键词都出现的模式(类型1-2-2)相对应的上述“评估观察点”是“响应紧急事件”时，“气体警报响起”情况是情况实际发生的紧急状况。因此，假定在一个比正常情况更宽的范围内搜索至少一个例如“气体警报”和“响起”的关键词。在这种情况下，从次于第一候选的候选中获得的数据中，以及从第一候选中获得的文本数据选择识别结果数据作为语音识别的结果，其中所述第一候选每个词都具有最高可靠性和连接词最真实。识别结果数据被确定作为被评估的对象的识别结果数据。当获取大量的用作被评估对象的识别结果数据时，如果所述评估单元5显示整个识别结果数据，则可能难以浏览识别结果数据。根据预定的标准，例如每一词的可靠性和连接词的真实性都高的顺序，评估单元5可以给出被用作为一个评估对象的所述识别结果数据的优先级顺序，例如，可以仅显示对应于第一到第三候选的识别结果数据。 

进一步的，当高亮的短语是其它候选时，使用括号显示所述短语。在这种情况下，当被用作评估的单个对象的识别结果数据包括大量词时，例如“砰(bang)”和“经过(pass)”，与“响起(sound)”相似，则如果评估单元5使用括号显示整个识别结果数据也可能难以浏览所述识别结果数据。根据预定的标准，例如每一词的可靠性和连接词的真实性都高的顺序，评估单元5可以为被用作为评估对象的识别结果数据的每个词给出一个优先级顺序，例如，可以使用括号仅显示对应于第二到第四候选的词。 

进一步的，所述评估单元5可以通过检验语法评估发言的质量，或者可以通过使用电话语音设备的识别率评估发言的可听性质量。此外，作为在进行高质量发言情况下回答样本的回答示例的语音数据及其识别结果数据可以被分发到由所有操作员或回答须提高的操作员使用的设备中。 

进一步的，所述评估单元5具备为显示文本的任意部分提供“标 记”的功能。相应地，管理员之后可以通过使用所述“标记”再播放和听取对应部分的所述语音数据，或者可以为第三者显示带有所述“标记”的文本。 

此外，所述评估单元5可以具备在与显示文本的任意部分对应的文本中检索字母或者词的功能。相应地，可以检索具有类似内容的识别结果数据。 

进一步的，所述评估单元5也具有一个步骤，该步骤将实际语音与显示在预定设备的屏幕上的“评估检查表”或者“报告”相链接。例如，当需要修复并且检测到了所述“评估检查表”或者所述“报告”的“修复”项目时，在操作员和客户之间的所述会话的语音数据可以被链接，以便通过操作例如点击预定的图标而被播放。 

此外，所述监测设备1还可以进一步包括操作员识别单元，其通过使用说话者的声谱仪和类似物来指定操作员，目的是识别操作员。这样做的理由是当多个操作员因为换班工作使用相同的座位时需要识别某一个操作员。同时，操作员可以通过使用一个特定ID登录而被识别。 

本发明的第二示例性实施例将在下面描述。参照图10，第二示例性实施例与第一示例性实施例不同处在于，依照本实施例的代理评估设备除了根据第一示例性实施例的检测设备1的结构之外，包括数据存储器单元8和用于获取存储在数据存储单元7中的所述操作员语音数据以及从作为识别结果的语音数据中生成识别结果数据的语音识别单元6。同时，语音数据存储在数据存储单元7中。 

所述数据存储器单元8存储语音数据和所述识别结果数据之间的对应关系数据，其中所述语音数据作为由语音识别单元6生成的识别结果数据和存储在数据存储单元7中的识别结果数据的来源。 

进一步的，所述监测设备1的选择单元4读取来自用于存储由所述话音识别器6生成的识别结果数据的所述数据存储器单元8的识别结果数据，并且选择作为待评估的对象的识别结果数据。管理员使用所述待评估的对象，通过视觉确认所显示的文本或者播放所述电话语音来评估操作员。 

本发明的第三示例性实施例将在下面描述。所述第三示例性实施例与第一示例性实施例的不同处在于，根据本实施例的评估数据选择设备包括根据第一示例性实施例的监测设备1的选择单元4、评估观察点管理单元3和评估观察点管理表2，但不包括评估单元5。 

根据本实施例，所述处理被执行一直到所述第一示例性实施例中的识别数据的选择，并且在一个独立的信息处理设备中实现用于评估的选择数据的输出。然而，根据存储在所述评估观察点管理表2中的“评估观察点”信息也可以适当地选择数据。 

本发明的第四示例性实施例将在下面描述。第四示例性实施例与第一示例性实施例的不同在于，代理评估设备包括根据第一示例性实施例的监测设备1的评估观察点管理单元3、评估观察点管理表2、和评估单元5，但不包括选择单元4。 

根据本实施例，只有涉及输出在第一示例性实施例中用作评估的识别结果数据的处理被执行，并且在单个信息处理设备中实现识别结果数据的选择。然而，根据存储在所述评估观察点管理表2中的所述“评估观察点”信息可以适当地输出数据。 

本发明的第五示例性实施例将在下面描述。根据本实施例的代理评估系统使用根据第三示例性实施例的评估数据选择设备作为服务器，以及使用根据第四示例性实施例的代理评估设备作为访问所述服务器的客户终端。 

根据本实施例，由多个管理员的每一个使用的客户终端访问服务器，所述服务器执行第一示例性实施例中直到选择识别数据的处理。因此，在客户端输出合适的数据是可能的，其中合适的数据是根据所述“评估观察点”信息被选择的，其被集中存储在服务器端的评估观察点管理表2中。 

本发明的第六示例性实施例将参照附图在下面详细描述。参照图11和12，根据本实施例的代理评估系统包括客户电话10、操作员电话20、操作员设备30、管理服务器40、文件服务器50、评估数据选择设备60、包括评估观察点管理表的评估观察点管理设备70、以及代理评估设备80。所述操作员设备30、管理服务器40、文件服务器50、 评估数据选择设备60、评估观察点管理设备70、和代理评估设备80由程序控制操作，并且它们通过网络100彼此相连。网络100可以是任意网络，并且可以是，例如光纤、因特网、公共线路、LAN(局域网)、ADSL(非对称数字用户线路)、等等类似物。同时，有线通信方法或者无线通信方法可以被用作通信方法。 

客户电话10和操作员电话20是通过公共网络彼此相连的已知电话。同时，所述电话不局限于固定电话，并且可以是移动电话。 

所述操作员设备30、管理服务器40、文件服务器50、评估数据选择设备60、评估观察点管理设备70、以及代理评估设备80通常由一个信息处理设备实现，例如个人计算机和工作站，并包括，例如操作-输入单元、ROM(只读存储器)、RAM(随机访问存储器)、通信接口、HD(硬盘)、以及CPU(中央处理单元)。它们彼此通过一个总线相互连接。 

所述操作-输入单元包括键盘、鼠标、和类似物，以及向CPU输出对应于键盘或者鼠标操作的操作信号。一个程序被存储在ROM中，其负责对所述设备中的各组成部件的基本控制。进一步的，RAM被用作CPU的工作区域，并且暂时存储由CPU执行的程序或者各种数据。 

通信接口被连接至网络100，并且控制在其它设备和监测设备之间执行的数据通信。 

HD存储各种用于控制其自身设备的软件，例如操作系统。 

此外，这些设备的特征将被描述。首先，所述操作员设备30是在联络中心被操作员使用的信息处理设备，同时连接至语音记录器，所述语音记录器是语音获取单元31的一个示例性实施例。在操作员和客户会话期间，回答被记录在所述语音记录器中，并且识别结果数据从所述语音识别单元32的语音数据中产生。数据传送单元33构造所述识别结果数据，其在所述语音识别单元32中生成，对应于作为来源的语音数据。进一步的，所述数据传送单元将数据加入到所述语音数据中，并发送所述语音数据到所述文件服务器50，其中所述数据被用于识别客户或者回答的日期和时间。同时，用于分配输入呼叫的分配设 备可以与所述操作员设备30相连。 

其次，管理服务器40是一个信息处理设备，其在联系中心负责管理系统，并可以包括客户数据库和类似物。 

所述文件服务器50是一个信息处理设备其存储和管理各种数据。所述文件服务器从操作员设备30的数据传送单元33接收在所述操作员设备30的语音识别单元32中生成的识别结果数据、对应于所述识别结果数据并在操作员回答电话时生成的语音数据、以及用于识别客户或者回答的日期和时间的数据。 

所述评估数据选择设备60是一个信息处理设备，其读取存储在文件服务器50中的识别结果数据并且选择是待评估的对象的识别结果数据。管理员使用待评估的对象，通过视觉地确认在代理评估设备80上的文本或者播放所述电话语音来评估操作员。所述选择通过应用“评估数据选择设备的操作”而被执行，其对应于观察点管理设备70的评估观察点管理表中的“评估观察点”。 

所述评估观察点管理设备70是一个信息处理设备，其包括所述评估观察点管理表。所述评估观察点管理设备具备基于“评估观察点”信息、搜索评估观察点管理表、以获得与所述“评估观察点”对应的“评估数据选择设备的操作”或者“代理评估设备的操作”、以及将所述操作传送给评估数据选择设备60和/或代理评估设备80的功能。进一步的，所述评估观察点管理设备具备执行维护和管理的功能，例如增加、更新、以及删除存储在评估观察点管理表中的数据。同时，管理员执行一个操作，例如按下一个对应于在预先确定的显示器上显示的列表中期望的“评估观察点”的按钮，使得所述评估观察点管理设备70获得所述“评估观察点”信息。在这种情况下，所述“评估观察点”、所述“评估数据选择设备的操作”、以及所述“代理评估设备的操作”彼此相关联并被存储在所述评估观察点管理表中。 

所述代理评估设备80是一个由管理员在联络中心使用的信息处理设备。代理评估设备包括一个功能是播放语音的代理再现单元81，和一个文本显示单元82其功能是显示所述识别结果数据的文本。根据“代理评估设备的操作”执行用于评估的所述识别结果数据的输出，其 中所述“代理评估设备的操作”对应于评估观察点管理设备70的评估观察点管理表中的“评估观察点”。当视觉上确认在显示单元例如一个液晶屏上显示的识别结果数据的内容时，管理员通过从期望部分播放电话语音和听觉确认所述语音来执行评估。同时，所述文本在短期内大略地了解会话内容时是有用的，并且所述语音在会话期间确定发言的语调或适当性时也是有用的。然而，所述文本和语音无需一起使用，而仅仅它们其中之一就可以被用来执行所述评估。 

接下来，根据本实施例的所述代理评估处理的流程将被描述。然而，因为所述流程基本上与在第一示例性实施例中的相同，所述说明将不再重复。 

然后，本发明的第七示例性实施例将参照附图在下面详细描述。 

参照图13，根据本实施例的代理评估系统包括对人设备90、管理服务器40、文件服务器50、评估数据选择设备60、评估观察点管理设备70、以及代理评估设备80。 

第七示例性实施例与第六示例性实施例的不同在于所述代理评估系统不包括客户电话10和操作员电话20，并且操作员设备30被对人设备90代替。然而，由于其它组成部分的基本功能与在第六示例性实施例中的相同，所述说明将不再重复。 

所述操作员设备30是一个在联络中心被操作员使用的信息处理设备，并与语音记录器相连，也就是说是语音获取单元31的一个示例性实施例。与此相反，对人设备90是一个信息处理设备，其记录从事与客户会面人员的面对面回答的会话。所述操作员和客户之间的会话在回答的时候由语音获取单元91记录，并且识别结果数据从在语音识别器92的语音数据中生成。数据传送单元93构造所述识别结果数据，其在所述识别单元92中生成，对应于作为来源的语音数据。进一步的，所述数据传送单元将数据加入到所述语音数据中，并将所述语音数据发送到文件服务器50，其中所述数据被用来识别客户或者回答的日期和时间。同时，从事当面回答客户问题的人员是，例如，一个在快餐餐厅、便利商店、超市、或类似地方的收银台工作的和客户会话的店员，或者是一个在银行、邮局窗口或类似地方窗口工作负责办公室柜 台的人。然而，其不限制在只是面对客户会话的人。 

另外，所述对人设备90还可以进一步包括一个说话者识别单元94，其通过使用说话者的声谱仪和类似物来指定说话者，为了识别当面回答客户问题工作的人员。这样做的原因是所述对人设备90需要识别从事当面回答客户问题工作的人员，因为从事当面回答客户问题工作的人员不一定有保留座位。同时，所述说话者识别单元94可以通过使用一个特定ID登录而识别人员。 

所述代理使用由对人设备90的说话者识别单元94识别所述人员的会话语音的语音数据并根据所述语音数据的识别结果数据进行评估处理的流程将通过应用第一示例性实施例的每个步骤来实现。 

本实施例能够在以下情况中应用：在快餐餐厅、便利商店、超市或类似地方的收银台工作的店员，或者在银行、邮局窗口或类似地方窗口工作负责办公室柜台的人，其与客户谈话，或者为了执行预定的义务给出解释。 

进一步的，可以应用语音数据到上述第一到第六示例性实施例中，该语音数据在本实施例对人设备90通过记录从事与客户会面人员面对面回答时候的会话中获得。 

本发明的第八示例性实施例将在下面描述。本实施例的基本结构和处理与在第一到第七示例性实施例中的相同，但是本实施例不同之处在于语音数据不局限于“在客户和代理之间的会话”。例如，在飞行员和控制器之间的回答或者会话成为一个对象。所述对象不局限于在两个人之间的会话，并且还可以是在若干人员间的会话。因此，所述对象可以包括一个人的发言以及对话和交谈。 

同时，上述的每个实施例是本发明的优选实施例，并且可以对其做各种修改而不脱离本发明的范围和精神。例如，用于实现所述设备功能的处理可以通过使设备读取并运行程序而被执行，所述程序用来实现根据每个示例性实施例的监测装置1、评估数据选择设备、代理评估设备、服务器、客户终端、操作员设备30、管理服务器40、文件服务器50、评估数据选择设备60、评估观察点管理设备70、代理评估设备80以及对人设备90的功能。另外，所述程序可以通过计算机 可读记录介质被发送到另一个计算机系统，例如CD-ROM或者一个磁盘，或者通过一个传输介质的波，例如Internet或者电话线。 

所述系统的结构，其中评估观察点管理单元3、选择单元4、评估单元5、服务器、客户终端、操作员设备30、管理服务器40、文件服务器50、评估数据选择设备60、代理评估设备80、评估观察点管理设备70、以及对人设备90已经在上述的每个实施例中被分别地连贯描述。然而，很自然本发明可以被应用于每个功能被实现为一个计算机系统的结构或者其中为每个功能增加若干设备的结构。 

附图说明

图1是一个示出根据本发明第一示例性实施例的监测设备的配置的示意图。 

图2是一个示出本发明第一示例性实施例的评估观察点管理表的数据结构的视图。 

图3是一个示出本发明第一示例性实施例的数据存储单元的数据结构的视图。 

图4是一个示出本发明第一示例性实施例的显示在显示单元上的文本示例的视图。 

图5是一个阐述一直到电话语音被存储为识别结果数据的处理流程图。 

图6是一个阐述检测特定关键词没有出现的处理流程图。 

图7是一个阐述检测特定关键词出现一次或多次的处理流程图。 

图8是一个阐述在一个预定时间段内检测一个特定关键词是否存在或不存在的处理流程图。 

图9是一个阐述检验特定关键词组合和检测仅仅出现一个关键词的处理流程图。 

图10是一个示出根据本发明第二示例性实施例的监测设备的配置的示意图。 

图11是一个示出根据本发明第六示例性实施例的代理评估系统的配置的示意图。 

图12是一个示出根据本发明第六示例性实施例的代理评估系统的部分功能的框图。 

图13是一个出示根据本发明第七示例性实施例的代理评估系统的配置的示意图。 

参考标记的说明 

1监测设备 

2评估观察点管理表 

3评估观察点管理单元 

4选择单元 

5评估单元 

6语音识别单元 

7数据存储单元 

Claims (20)

1.一种监测设备，包括：

选择单元，通过应用与在评估观察点存储单元中存储的评估观察点信息对应的选择模式，从多条呼叫日志数据中选择被包括在呼叫日志数据中、用作待评估对象的语音数据和/或其识别结果数据，所述多条呼叫日志数据至少包括通过监测发言而获得的语音数据、通过语音识别从所述语音数据中生成的识别结果数据、以及所述语音数据与所述识别结果数据间的对应关系数据；以及

评估单元，通过应用与在评估观察点存储单元中存储的评估观察点信息对应的输出模式，播放语音数据和/或显示所述识别结果数据，所述语音数据和/或所述识别结果数据由所述选择单元选择并且用作待评估对象。

2.如权利要求1所述的监测设备，

其中，由选择单元所进行的、并且对应于所述评估观察点信息的所述选择模式是至少下面模式之一：检测特定关键词的模式，检测非特定短语的模式，检测利用有时间轴的模式的模式，以及检测相同短语在预定时间段内增加和减少变化的模式。

3.如权利要求1所述的监测设备，

其中所述选择单元所进行的、并且对应于所述评估观察点信息的所述选择模式是至少下面模式之一：检测特定关键词没有出现的模式，检测特定关键词出现的模式，检测特定关键词经常出现的模式，检验特定关键词组合并且检测仅一个关键词出现的模式，检测两个关键词都出现的模式，检测特定关键词是否在特定操作之后出现的模式，检测重复出现的短语的模式，检测根据每单位时间内字母数目的发言速度的模式，检测长发言的模式，检测在特定关键词之后的静默时间的模式，检测在预定时间段内特定说话人的发言中特定关键词是否增加的模式，检测在预定时间段内出现频率显著增加或减少的短语的模式，以及检测在预定时间段内和特定关键词一起出现而且出现频率显著增加或减少的短语的模式。

4.如权利要求1所述的监测设备，

其中所述语音数据是在联系中心的语音数据。

5.如权利要求1所述的监测设备，

其中所述语音数据是面对面的对话中的语音数据。

6.一种评估数据选择设备，通过应用与在评估观察点存储单元中存储的评估观察点信息对应的选择操作，从多条呼叫日志数据中选择被包括在呼叫日志数据中、用作待评估对象的语音数据和/或其识别结果数据，所述多条呼叫日志数据至少包括通过监测发言而获得的语音数据、通过语音识别从所述语音数据中生成的识别结果数据、以及所述语音数据及所述识别结果数据间的对应关系数据，

其中，对应于所述评估观察点信息的所述选择操作是至少下面模式之一：检测非特定短语的模式，检测利用有时间轴的模式的模式，以及检测相同短语在预定时间段内增加和减少变化的模式。

7.如权利要求6所述的评估数据选择设备，

其中，由对应于所述评估观察点信息的所述选择操作是至少下面模式之一：检测特定关键词没有出现的模式，检验特定关键词组合并且检测仅一个关键词出现的模式，检测两个关键词都出现的模式，检测特定关键词是否在特定操作之后出现的模式，检测重复出现的短语的模式，检测根据每单位时间内字母数目的发言速度的模式，检测长会话的模式，检测在特定关键词之后的静默时间的模式，检测在预定时间段内特定说话人的发言中特定关键词是否增加的模式，检测在预定时间段内出现频率显著增加或减少的短语的模式，以及检测在预定时间段内和特定关键词一起出现而且出现频率显著增加或减少的短语的模式。

8.如权利要求6所述的评估数据选择设备，

其中所述语音数据是在联系中心的语音数据。

9.如权利要求6所述的评估数据选择设备，

其中所述语音数据是面对面的对话中的语音数据。

10.一种代理评估设备，通过应用与在评估观察点存储单元中存储的评估观察点信息对应的输出模式，从多条呼叫日志数据中播放语音数据和/或显示识别结果数据，所述语音数据和/或识别结果数据被用作待评估对象，所述多条呼叫日志数据至少包括通过监测发言而获得的语音数据、通过语音识别从语音数据中生成的所述识别结果数据、以及所述语音数据及所述识别结果数据间的对应关系数据。

11.如权利要求10所述的代理评估设备，

其中所述语音数据是在联系中心的语音数据。

12.如权利要求10所述的代理评估设备，

其中所述语音数据是面对面对话中的语音数据。

13.一种代理评估系统包括：

用于选择评估数据的服务器；以及

一个或多个客户终端，

其中所述服务器通过应用与在评估观察点存储单元中存储的评估观察点信息对应的选择操作，从多条呼叫日志数据中选择被包括在呼叫日志数据中、用作待评估对象的语音数据和/或其识别结果数据，所述多条呼叫日志数据至少包括通过监测发言而获得的语音数据、通过语音识别从语音数据中生成的所述识别结果数据、以及所述语音数据及所述识别结果数据间的对应关系数据，以及

所述客户终端通过应用与在评估观察点存储单元中存储的评估观察点信息对应的输出操作，播放语音数据和/或显示识别结果数据，所述语音数据和/或所述识别结果数据被用作待评估对象。

14.如权利要求13所述的代理评估系统，

其中对应于所述评估观察点信息的所述选择操作是至少下面模式之一：检测特定关键词的模式，检测非特定短语的模式，检测时间-序列模式的模式，以及检测相同短语在预定时间段内增加和减少变化的模式。

15.如权利要求13所述的代理评估系统，

其中对应于所述评估观察点信息的所述选择操作是至少下面模式之一：检测特定关键词没有出现的模式，检测特定关键词出现的模式，检测特定关键词经常出现的模式，检验特定关键词组合并且检测仅一个关键词出现的模式，检测两个关键词都出现的模式，检测特定关键词是否在特定操作之后出现的模式，检测重复出现的短语的模式，检测根据每单位时间内字母数目的发言速度的模式，检测长发言的模式，检测在特定关键词之后的静默时间的模式，检测在预定时间段内特定说话人的发言中特定关键词是否增加的模式，检测在预定时间段内出现频率显著增加或减少的短语的模式，以及检测在预定时间段内和特定关键词一起而且出现频率显著增加或减少的短语的模式。

16.如权利要求13所述的代理评估系统，

其中所述语音数据是在联系中心的语音数据。

17.如权利要求13所述的代理评估系统，

其中所述语音数据是面对面的对话中的语音数据。

18.一种代理评估系统，包括：

客户电话；

操作员电话；

操作员设备；

文件服务器；

评估数据选择设备；

评估观察点管理设备；以及

代理评估设备，

其中所述操作员设备发送多条呼叫日志数据至所述文件服务器，所述呼叫日志数据至少包括通过监测在客户和操作员之间使用客户电话和操作员电话进行的会话而获得的联络中心的语音数据、通过语音识别从所述语音数据中生成的识别结果数据、以及所述语音数据及所述识别结果数据间的对应关系数据，

所述评估数据选择设备，通过应用与在评估观察点管理设备的评估观察点存储单元中存储的评估观察点信息对应的选择操作，从存储在文件服务器中的呼叫日志数据中选择被包括在呼叫日志数据中、用作待评估对象的语音数据和/或识别结果数据，以及

所述代理评估设备，通过应用与在评估观察点管理设备的评估观察点存储单元中存储的评估观察点信息对应的输出操作，播放所述语音数据和/或显示所述识别结果数据，所述语音数据和/或所述识别结果数据由所述评估数据选择设备选择并用作待评估对象。

19.如权利要求18所述的代理评估系统，

其中由评估数据选择装置所进行的、并且对应于所述评估观察点信息的所述选择操作是至少下面模式之一：检测特定关键词的模式，检测非特定短语的模式，检测利用有时间轴的模式的模式，以及检测相同短语在一预定的时间段内增加和减少变化的模式。

20.如权利要求18所述的代理评估系统，

其中由评估数据选择装置所进行的、并且对应于所述评估观察点信息的所述选择操作是至少下面模式之一：检测特定关键词没有出现的模式，检测特定关键词出现的模式，检测特定关键词经常出现的模式，检验特定关键词组合并且检测仅一个关键词出现的模式，检测两个关键词都出现的模式，检测特定关键词是否在特定操作之后出现的模式，检测重复出现的短语的模式，检测根据每单位时间的字母数目的发言速度的模式，检测长会话的模式，检测在特定关键词之后的静默时间的模式，检测在预定时间段内在特定操作员的特定关键词是否增加的模式，检测在预定时间段内出现频率显著增加或减少的短语的模式，以及检测在预定时间段内和特定关键词一起出现而且出现频率显著增加或减少的短语的模式。

Images