CN1158621C - 信息处理装置、信息处理方法 - Google Patents

Abstract

从单词集合输出部分将一个单词连同用于代表该单词指示的事物的概念符号函数输入到最优单词串输出部分。最优单词串输出部分根据各个概念符号函数计算来自单词集合输出部分的单词和登记在词典中的登记单词之间的相似性。在输入没有登记在词典中的单词的情况下，最优单词串输出部分也计算该单词和登记在词典中的单词之间的相似性。

Description

信息处理装置、信息处理方法

                          技术领域

本发明涉及信息处理装置、信息处理方法及其记录介质，更具体地说，涉及这样的信息处理装置、信息处理方法及记录介质，使得即使没有提供大容量词典也能够比如针对许多单词计算单词之间的相似性，以及即使没有提供复杂的语法规则等也能够将单词的集合转换成构成适当含义的单词排列(单词串)。

                          背景技术

从含义上考虑单词间的相似性(类似性)在自然语言处理技术中用于各种使用目的。

也就是说，比如，作为一种翻译处理的技术，其方法是事先准备大量双语对照例句，从这些双语对照例句中搜索与输入的句子最相似的例句并修正所搜索的双语对照例句，生成将输入的句子翻译后的翻译句子。在该种方法中，根据构成输入句子的各个单词和构成对应于这些单词的双语对照例句的单词之间的相似性(单词相似性)，计算输入句子与双语对照例句的相似性。

作为计算单词相似性的方法，公知的方法是使用树状或网络状词库的方法，和/或使用单词在句子中的共同出现信息的方法。

在使用词库的方法中，比如，在词库中确定构成连接各节点的最短路径的弧线的数目，这些节点分别对应于计算其间单词相似性的相应的两个单词。该弧线数目的倒数导致单词相似性。另外，在使用共同出现信息的方法中，针对大量的句子，登记在这些句子中显现的单词的共同出现信息。因此，根据从该共同出现信息中获得的统计数量(关于尝试计算其间单词相似性的两个单词的容易共同出现的单词的统计数量)确定单词相似性。

应该指出的是，有关使用词库计算单词相似性的方法，其详细描述比如见D-II，Vol.J77-D-II，No.3，pp.557-565，1994，饭田仁“消除英语介词词组修正目标的初始使用的模糊性”(D-II，Vol.J77-D-II，No.3，pp.557-565，1994，Jin Iida“Cancellation of use initiative ambiguity of modification destinationof English prepositional phase”)Bulletin of Electronic Information Society，而有关使用共同出现信息计算单词相似性的方法，其详细描述比如见DonaldHindle的“根据谓语变数结构对名词分类”，计算语言学联合会年会论文集，pp.268-275，1990(Donald Hindle，“Noun classification from predicate-argumentstructure”，Proceedings of Annual meeting of the Association for ComputationalLinguistics，pp.268-275，1990)等。

同时，在使用词库或共同出现信息的方法中，对于在词库中没有登记的单词或在共同出现信息中没有登记的单词(下文中在需要时称作未登记的单词)，不能计算单词的相似性。因此，在使用词库或共同出现信息执行语言处理的语言处理系统中试图实现丰富的语言能力时，必须使用大量的学习样本进行学习，以生成其中登记了词库或共同出现信息的词典。

但是，在语言处理系统中，希望只通过少量的用于学习的样本进行灵活地和高效地学习，以便实现丰富的语言能力。为了实现此目的，对于未登记的单词，也需要计算那些未登记的单词和学习的单词之间的单词相似性，并且还必须计算包括未登记的单词的单词串和从学习的语法规则中获得的单词串之间的相似性(单词串相似性)。

另一方面，比如1998年岩波书店出版的岩波讲座、语言科学6、语法生成、第4章中福井直树的“以说明性的语言理论为目标的最小模型的改进”(Naoki Fukui，“Development of minimum model-oriented to explanatorytheory of language”Iwanami lecture，Science of language 6 generation grammar，Chapter 4，Iwanami bookstore，1998)等，描述了人类将多个单词的集合以符合语法的适当顺序排列的活动是人类的语言能力中的思维或心理活动的根本，并且阐明该心理功能的机理在理论语言学中被作为重要的研究课题对待。

另外，实现能生成与人类进行的单词排列相似的单词排列的功能，也是在开发实现(仿真)(整个或部分)人类语言功能的系统时所期望的。

但是，在目前的情况下，在语言处理系统中学习的初期阶段，即语法规则学习不充分或欲处理的单词没有作为学习样本给出的阶段，不可能计算单词相似性和单词串相似性。因此，很难获得合适的单词排列(单词串)。此外，在利用不充分语法规则获得的单词串只能输出的情况下，系统的语言表现能力将受到限制。

鉴于以上事实，需要这样一种技术，即对于没有在通过学习获得的词典中登记的单词，也能够计算未登记的单词和在词典中登记的单词(下文中需要时称作登记的单词)之间的单词相似性，并且根据该单词相似性能使单词成串(clustering)以使学习的语法更具有通用性。

                          发明内容

考虑到上述现状，本发明已经进行并且试图在即使没有提供大容量词典时也能够针对许多单词计算单词之间的相似性，以及即使没有提供复杂的语法规则等时也能够将单词的集合转换成具有适当含义的单词串。

根据本发明的信息处理装置包括：输入部分，用于输入单词连同表示单词表达的事物(matter)的概念符号函数(concept notation function)，以及单词相似性计算部分，用于计算单词和登记的单词之间的单词相似性。

在词典中，可以存储登记的单词连同关于该登记的单词的概念符号函数。

在根据本发明的信息处理装置中，可以进一步包括存储词典的词典存储器部分。

概念符号函数可以是表示从单词表达的事物中获得的信息的函数。

另外，概念符号函数可以是表示从用于感受由单词表达的事物给出的刺激的传感器部分的输出中获得的信息的函数。

传感器部分可以是将光或声信号转换为电信号的器件、触觉传感器、温度传感器或加速度传感器。在这种情况下，概念符号函数可以是通过传感器部分表示通过探测单词表达的事物而获得的参数的函数。

概念符号函数可以是概率密度函数或离散概率分布函数。

单词相似性计算部分根据单词和登记的单词的概念符号函数之间的巴特查理亚(Bhattacharyya)距离或库勒班克(Kullback)散度(divergence)计算该单词和登记的单词之间的单词相似性。

在输入部分中，将作为一组单词的单词集合连同有关各单词的概念符号函数输入。词典存储登记的单词串集合连同关于各个登记的单词的概念符号函数，在该集合中排列多个登记的单词。在这种情况下，信息处理装置可以进一步包括：单词串生成部分，用于生成其中排列构成单词集合的单词的单词串；单词串相似性计算部分，用于从构成单词串的各单词和相应于这些单词的构成登记的单词串的登记单词之间的单词相似性、计算单词串和登记的单词串之间的单词串相似性；以及输出部分，用于根据单词串相似性输出其中将构成单词集合的单词按预定顺序排列的单词串。

根据本发明的一种信息处理方法包括：输入步骤，将单词连同作为用于表示单词表达的事物的函数的概念符号函数输入，以及单词相似性计算步骤，根据概念符号函数计算单词和登记的单词之间的单词相似性，其中概念符号函数是表示从单词表达的事物中获得的信息的函数。

根据本发明的一种记录介质，其记录的程序包括：输入步骤，将单词连同作为用于表示单词表达的事物的函数的概念符号函数输入，以及单词相似性计算步骤，根据概念符号函数计算单词和登记的单词之间的单词相似性。

在根据本发明的信息处理装置、信息处理方法、以及记录介质中，单词连同作为用于表示单词表达的事物的函数的概念符号函数输入。因此，可以根据概念符号函数计算单词和登记的单词之间的单词相似性。

另外，根据本发明的一种信息处理装置，包括：函数生成部分，用于生成表示作为登记到词典中的单词的登记单词表达的事物的概念符号函数；以及对应提供部分，用于使登记的单词与关于该登记的单词的概念符号函数相互对应。

概念符号函数可以是表示从单词表达的事物中获得的信息的函数。

另外，概念符号函数可以是表示从用于感受单词表达的事物给出的刺激的传感器部分的输出中获得的信息的函数。

传感器部分可以是将光或声信号转换为电信号的器件、触觉传感器、温度传感器或加速度传感器。在这种情况下，概念符号函数可以是通过传感器部分表示通过探测单词表达的事物而获得的参数的函数。

概念符号函数可以是概率密度函数或离散概率分布函数。

根据本发明的一种信息处理方法，包括：函数生成步骤，生成表示作为登记到词典中的登记单词表达的事物的函数的概念符号函数；以及对应提供步骤，使登记的单词与关于该登记的单词的概念符号函数相互对应，其中概念符号函数是表示从单词表达的事物中获得的信息的函数。

根据本发明的一种记录介质，其记录的程序，包括：函数生成步骤，生成作为表示登记到词典中的登记单词表达的事物的函数的概念符号函数；以及对应提供步骤，使登记的单词与关于该登记的单词的概念符号函数相互对应。

在根据本发明的信息处理装置、信息处理方法、以及记录介质中，生成作为表示登记到词典中的单词的登记单词表达的事物的概念符号函数。因此，可以提供登记的单词与关于该登记的单词的概念符号函数之间的对应。

                          附图说明

图1为表示根据本发明的最优单词串输出装置的实施例的结构示例的方框图；

图2为表示图1的最优单词串输出部分4的结构示例的方框图；

图3A和3B示出存储在图2的登记单词串数据库23中的单词词典和单词串词典；

图4为说明图2的最优单词串搜索部分22执行的最优单词串搜索过程的流程图；

图5示出用两维方向表示的特征参数空间中的高斯分布；

图6示出由概念符号函数表示的高斯分布的轮廓；

图7为表示根据本发明的学习装置的实施例的结构示例的方框图；

图8为说明图7的学习装置的学习过程的流程图；

图9A至9C为说明根据本发明的记录介质的图；和

图10为表示图9的计算机101的结构示例的方框图。

                          具体实施方式

图1为表示根据本发明的最优单词串输出装置的实施例的结构示例的方框图。

在该最优单词串输出装置中，适合于代表的事物的单词串从构成表达该事物的单词串的一组单词(单词集合)中输出。

即，传感器部分1感受按照作为对象的更实际的事物、来自该事物(下文中需要时称作标记事物)的刺激，将感受的结果输出给预处理部分2。在图1的实施例中，传感器部分1包括：作为将光转换为电信号的器件的摄像机、作为将声信号转换为电信号的器件的麦克风、触觉传感器、温度传感器、以及加速度传感器等。因此，在传感器部分1中感受标记事物的颜色、形状、大小、位置、方向和速度(速率)等。

在预处理部分2中，处理传感器部分1的输出并从该输出中提取特征参数(特征向量)。即，在预处理部分2中，确定通过传感器部分1探测标记事物所获得的信息的特征参数(因此，确定诸如标记事物的颜色、形状、大小、位置、方向和速度(速率)等之类的指示标记事物的特征的参数)。这些特征参数传递给单词集合输出部分3。

单词集合输出部分3包括N个鉴别器11₁至11_N和选择器12，并用于输出由代表传感器部分1所探测到的标记事物的单词串构成的一组单词。

即，鉴别器11_N根据从该标记事物中获得的特征参数，通过模式识别鉴别其标记事物，输出其鉴别结果。具体地说，鉴别器11_N存储用于鉴别由特定单词#N代表的事物的鉴别函数f_N(模型)，通过使用来自预处理部分2的特征参数计算其鉴别函数f_N。另外，鉴别器11_N将鉴别函数f_N的计算结果(下文中需要时称作函数值)、指示由鉴别函数f_N鉴别的事物的单词#N的文字符号和声音符号、以及鉴别函数输出给选择器12，作为单词#N代表的事物的鉴别结果。

当选择器12收到各个鉴别器11₁至11_N的鉴别结果时，从这些鉴别结果中选择比如其中鉴别函数f₁至f_N的函数值为预定值的鉴别结果。即，在此鉴别函数f_N的函数值变得越大，标记事物由单词#N代表的确实性变得越大。因此，选择器12选择函数值为预定值或更大的一个鉴别结果或多个鉴别结果作为适宜代表标记事物的鉴别结果。

这里，考虑标记事物比如为大红球的情况，在鉴别函数f₁至f_N中，用于鉴别分别代表三种事物“大”、“红”、“球”的单词的鉴别函数的函数值为预定值或更大。因此，在这种情况下，在选择器12选择这种鉴别结果。在本实施例中，假定在选择器12中基本上是以这种方式选择多个鉴别结果。

当选择器12如上所述选择了相应于代表标记事物的各个单词的多个鉴别结果时，它将选择的多个鉴别结果输入到最优单词串输出部分4。

这里，在鉴别器11_N中用于鉴别单词#N所代表的事物的鉴别函数f_N，是通过使用探测单词#N所代表的各个的实际事物获得的特征参数进行学习来获得的。因此，由单词#N代表的各个的实际事物构成的特征参数是分别表达的。

另一方面，当假定代表事物的函数为概念符号函数时，鉴别函数f_N分别表达根据如上所述由单词#N代表的各个实际事物所获得的特征参数。因此可以将鉴别函数f_N作为一种概念符号函数来领会。应该指出的是，也仅能将鉴别函数f_N作为概念符号函数来领会。因此，除了鉴别函数f_N之外，其他函数也可以用作概念符号函数。

另外，在下面的描述中，当需要时假定使用由下式定义的单词w。

W＝(L，P，C)                     ............(1)

在上式中，L表示代表单词的字符串(文字符号)，P表示代表单词声音的符号(声音符号)，C表示代表单词所表达的事物的符号(概念符号)。

对于声音符号P，可以使用比如使用当拼读单词时取得的声音特征的声音模式通过进行学习所获得的概率模型，比如HMM(隐马尔可夫模型)等。另外，对于概念符号C，可以使用是概念符号函数的鉴别函数f_N。

应该指出的是，对于使用如声音符号P生成概率模型的学习方法，其详细描述见比如Keinosuke Fukunaga的“统计模式识别(Statistical PatternRecognition)”科学出版社(Academic Press)1990年；以及Lawence Rabiner，Biing-Hwang Juang(由Ken Furui翻译)的“声音识别基础(第一和第二卷)”，NTTAdvance Technologe Kabashiki Kaisha，1995年等。

选择器12将有关标记事物的多个鉴别结果的每一个以公式(1)所定义的单词的形式的集合提供给最优单词串输出部分4。

即，当现在假定将适合于代表标记事物的多个单词表示为w₁、w₂、...，选择器12将这些多个单词w₁、w₂、...的集合提供给最优单词串输出部分4。

这里，多个单词w₁、w₂、...的集合W由下式(2)定义。

W＝{w₁，w₂，...}               ............(2)

另外，多个单词w₁、w₂、...的排列(单词串)s由下式(3)定义。

s＝[w₁，w₂，...]               ............(3)

此外，多个单词串的s₁、s₂、...集合(单词串集合)S由下式(4)定义。

S＝{s₁，s₂，...}               ............(4)

应注意单词集合W是多个单词w₁、w₂、...的集合，与这些多个单词w₁、w₂、...的排列意义不同(由相同单词构成的单词集合被认为是同一集合，即使这些单词的排列可能不同)。另一方面，单词串是多个单词w₁、w₂、...的一个排列，与这些单词w₁、w₂、...的排列意义相同(尽管如果这些单词的排列不同时认为由相同单词构成的单词串是不同的单词串)。

当最优单词串输出部分4从单词集合输出部分3(选择器12)接收适于代表标记事物的多个单词w₁、w₂、...的集合W时，它从构成单词集合的那些单词中构建单词串(或句子)作为适于代表标记事物的单词的排列(下文中需要时称作最优单词串)，并输出。

图2为表示图1的最优单词串输出部分4的结构示例的方框图。

来自单词集合输出部分3(图1)的单词集合W(下文中需要时称作输入单词集合)输入到单词串生成部分21。单词串生成部分21生成通过使用构成输入单词集合W的多个单词w₁、w₂、...(下文中需要时称作输入单词)构成的、单词的所有重新排列s₁、s₂、...(下文中需要时称作输入单词串)，以输出所有单词串的集合S(下文中需要时称作输入单词串集合)到最优单词串搜索部分22。这里，在单词集合输出部分3输出的包括M个单词的单词集合的情况下，在单词串生成部分21生成M！种单词串(！表示阶乘)。

最优单词串搜索部分22参照登记的单词串数据库23，从来自单词串生成部分21的、构成输入单词串集合S的输入单词串s₁、s₂、...中搜索最优单词串，并输出搜索的最优单词串。

即，最优单词串搜索部分22由单词相似性计算部分31、单词串相似性计算部分32和选择部分33构成，并用于计算有关构成输入单词串集合S的输入单词串s₁、s₂、...，对于登记在登记的单词串数据库23中的各单词串(登记的单词串)的单词串相似性，以从输入单词串s₁、s₂、...中选择得到最大单词串相似性(其值越大，单词串之间的相似性越高)的输入单词串，并输出所选择的输入单词串作为最优单词串。

具体地说，单词相似性计算部分31根据概念符号函数，计算构成输入单词串s_i的每一个输入单词w_ij与相应于构成登记的单词串的输入单词w_ij的单词(按相同次序与输入单词w_ij同一位置的单词)之间的单词相似性，并输出所计算的单词相似性到单词串相似性计算部分32。

在这种情况下，单词w_ij意指位于从单词串s_i的开头部分的第j个位置的单词。

单词串相似性计算部分32根据构成输入单词串s_i的每一个单词与构成相应于该单词的登记单词串的单词之间的单词相似性，计算输入单词串s_i与登记的单词串之间的相似性，并输出计算的单词串相似性到选择部分33。

选择部分33选择其中使关于登记的单词串的单词串相似性是构成输入单词串集合S的输入单词串s₁、s₂、...中最大值的一个输入单词串，并输出所选择的输入单词串。

登记的单词串数据库23存储例如如图3所示的单词词典和单词串词典。即，在单词词典中，如图3A所示，以这样一种方式登记需登记的单词，即，使文字符号、声音符号、和概念符号相应于在公式(1)中所定义的。在单词串词典中，登记使多个登记的单词以能够给出一定含义的排列的方式排列的单词串(登记的单词串)。

应指出的是，不一定必须在登记的单词串数据库23中存储其中登记了登记的单词串的单词串词典。即，如果在登记的单词串数据库23中登记了语法规则等，则可以根据相应的规则通过排列登记在单词词典中的登记单词准备登记的单词串。

下面描述图2的最优单词串输出部分4的处理过程。

当单词串生成部分21从单词集合输出部分3(图1)收到输入单词集合W时，它生成由构成输入单词集合W的多个单词w₁、w₂、...构成的输入单词串s₁、s₂、...，并输出所选择的单词串的集合(输入单词串集合)S到最优单词串搜索部分22。

当最优单词串搜索部分22收到来自单词串生成部分21的输入单词串集合S时，执行最优单词串搜索处理，参照登记的单词串数据库23，从构成输入单词串集合S的输入单词串s₁、s₂、...中搜索最优单词串，以输出搜索的最优单词串。

即，如图4的流程图所示，在最优单词串搜索处理过程中，首先，在步骤S1，单词相似性计算部分31从输入单词串集合S中选择某一个单词串s_i作为标记的单词串。处理过程前进到步骤S2。在步骤S2，单词相似性计算部分31从登记的单词串数据库23的词典中选择某一个登记的单词串作为标记的登记单词串，并根据概念符号函数，计算构成标记的单词串s_i的各个单词与在相应于各个单词的标记的登记单词串中的单词之间的单词相似性。

即，当使得经历过单词相似性计算的标记的单词串和登记的单词串的单词分别用w_1和w_2表示时，可以从公式(1)得出由下式表示的这些单词w_1和w_2。

w_1＝(L_1，P_1，C_1)

w_2＝(L_2，P_2，C_2)               ............(5)

在上式中，L_1、P_1、C_1分别表示单词w_1的文字符号、声音符号和概念符号。类似地，L_2、P_2、C_2分别表示单词w_2的文字符号、声音符号和概念符号。

作为概念符号的概念符号函数比如可以使用高斯概率分布函数。当均值向量为x、协方差矩阵为∑的高斯概率分布函数表示为N(x，∑)时，公式(5)的概念符号C_1和C_2可以用下式表示。

C_1＝N(x₁，∑₁)

C_2＝N(x₂，∑₂)                  ............(6)

在上式中，x₁和∑₁分别表示从单词w_1所代表的单个实际的事物中获得的特征参数的均值和协方差矩阵。类似地，x₂和∑₂分别表示从单词w_2所代表的单个实际的事物中获得的特征参数的均值和协方差矩阵。

应该指出的是，在本实施例中，如上所述，输入单词的概念符号函数等于鉴别输入单词的鉴别函数，并且图1的鉴别器11_N具有的鉴别函数f_N因此用高斯概率分布函数代表。

这里，通过使用从单词w_1所代表的单个实际的事物中获得的特征参数进行学习，确定作为用于鉴别标记的单词串的单词w_1所代表的事物的鉴别函数的、高斯概率分布函数N(x₁，∑₁)的均值x₁和协方差矩阵∑₁。另外，通过使用从单词w_2所代表的单个实际的事物中获得的特征参数进行学习，确定作为用于鉴别标记的单词串的单词w_2所代表的事物的鉴别函数的、高斯概率分布函数的均值x₂和协方差矩阵∑₂。

在将高斯概率分布函数用作概念符号函数的情况下，两个单词w_1和w_2之间的单词相似性R_w(w_1，w_2)比如可以使用高斯分布的Bhattacharyya距离作为各自的概念符号函数，按下式(7)计算。

$R_w(w\_1,w\_2)=\frac{1}{2}\ln \frac{\left|\frac{{\mathrm{\Σ}}_1+{\mathrm{\Σ}}_2}{2}\right|}{\sqrt{\left|{\mathrm{\Σ}}_1\right|\left|{\mathrm{\Σ}}_2\right|}}.......\left(7\right)$

在上式中，ln(x)表示x的自然对数。

这里，在计算高斯分布的Bhattacharyya距离时，一般也考虑均值向量。在本示例中，由于注意力放在关于两个单词的高斯分布的相对外形之间的差异上(在不考虑两个高斯分布的相对位置的状态下进行对比的情况下，即在仅允许两个高斯分布平行移动的状态下进行对比的情况下(因此，旋转、压缩、和扩展不包括在内)，两个高斯分布的外形是否相似)，所以公式(7)只使用协方差矩阵。

即，根据公式(7)，依靠从每一个单词w_1和w_2分别代表的事物中所获得的特征参数的高斯分布的相对外形是否彼此相似，确定两个单词w_1和w_2之间的单词相似性R_w(w_1，w_2)。

应该指出的是，当关于各个单词w_1和w_2的高斯分布的相对外形相似时，由式(7)确定的单词相似性R_w(w_1，w_2)的值变大，也就是说，从单词w_1和w_2的含义来看，相似性变高。

在步骤S2，计算构成标记的单词串的各个单词与相应于该单词的标记的登记单词串中的单词之间的单词相似性。然后，处理过程前进到步骤S3。单词相似性计算部分31判断在步骤S2中单词相似性的计算是否在将所有的登记单词串作为标记的登记单词串时执行。在其在步骤S3中判断在步骤S2中单词相似性的计算没有将所有的登记单词串作为标记的登记单词串执行的情况下，处理过程返回到步骤S2。然后，重复类似的处理，将还没有使其成为标记的登记单词串的登记单词串作为新的标记的登记单词串。

另外，在其在步骤S3中判断在步骤S2中单词相似性的计算已经将所有的登记单词串作为标记的登记单词串执行的情况下，处理过程前进到步骤S4，判断是否存在还没有使其成为输入单词串集合的标记的单词串的输入单词串。在其在步骤S4中判断存在还没有使其成为输入单词串集合的标记的单词串的输入单词串的情况下，处理过程返回步骤S1，重复步骤S2和随后一直到此的步骤的处理，使还没有使其成为标记的单词串的输入单词串作为新的标记的单词串。

另一方面，在其在步骤S4中判断不存在还没有使其成为输入单词串集合的标记的单词串的输入单词串的情况下，即在构成输入单词串集合的所有输入单词串与构成登记在登记的单词串数据库23中的各个登记的单词串的单词之间的单词相似性的计算已经执行的情况下，处理过程前进到步骤S5。在单词串相似性计算部分32中，存有计算的、构成输入单词串集合的各个单词串与各个登记的单词串之间的单词串相似性。

即，在单词相似性计算部分31中确定的单词相似性被传递到单词串相似性计算部分32。在步骤S5，在单词串相似性计算部分32中，存有通过利用来自单词相似性计算部分31的单词相似性计算的构成输入单词串集合的各个单词串与各个登记的单词串之间的单词串相似性。

即，将构成输入单词串集合的某一个输入单词串假定为s₁，并将某一个登记的单词串假定为s₂。此外，当将构成单词串s₁和s₂的单词数目分别表示为L(s₁)和L(s₂)时，在单词串相似性计算部分32中根据比如下式(8)计算两个单词串s₁和s₂之间的单词串相似性R_s(s₁，s₂)。

在L(s₁)＝L(s₂)时， $R_s(s_1,s_2)=\underset{i=1}{\overset{L\left(s_i\right)}{\mathrm{\Σ}}}{R}_W(W_{1i},W_{2i})$

在L(s₁)≠L(s₂)时，R_s(s₁，s₂)＝0                ............(8)

在上式中，单词w_ij意指如上所述的从单词串s_i的开头部分开始的第j个单词。

因此，在输入单词串s₁和登记的单词串s₂是由相同数量的单词构成的情况下，将两个单词串之间的单词串相似性R_s(s₁，s₂)确定为构成输入单词串s₁的各个单词与构成相应于各个单词的登记单词串s₂之间的单词相似性的总和。另外，在输入单词串s₁和登记的单词串s₂是由不同数量的单词构成的情况下，使该单词串相似性R_s(s₁，s₂)为0。

应该指出的是，当随从含义来看单词串s₁和s₂之间的相似性越大时，由公式(8)确定的单词串s₁和s₂之间的单词串相似性R_s(s₁，s₂)的数值变大，这与由公式(7)确定的单词相似性R_w(w_1，w_2)类似。

当在步骤S5中，单词串相似性计算部分32计算构成输入单词串集合的各个单词串与各个登记的单词串之间的单词串相似性后，将单词串相似性传递给选择部分33。

在步骤S6，在选择部分33中，确定来自单词串相似性计算部分32的那些单词串相似性的最大值。因此选择获得最大单词串相似性的输入单词串与登记的单词串的组合。此外，处理过程前进到步骤S7，并且选择部分33输出在步骤S6中选择的输入单词串作为最优单词串。因此完成最优单词串搜索处理过程。

即，将登记在输入单词串集合和登记的单词串数据库23中的输入单词串集合和登记的单词串集合分别假定为S和S’，并假定各集合用下式表示。

S＝{s₁，s₂，...}

S＝{s₁’，s₂’，...}                       ............(9)在上式中，s₁、s₂、...分别表示输入单词串，s₁’、s₂’、...分别表示登记的单词串。

在这种情况下，在选择部分33中，根据下面的公式(10)从输入单词串集合S中确定最优单词串s_suitable。

$s_{\mathrm{suitable}}=\arg \underset{s_i\∈S}{\max }\left\{\underset{{s^{\′}}_j{\∈S}^{\′}}{\max }\right\{R(s_i,{s^{\′}}_j)\left\}\right\}.........\left(10\right)$

在上式中，max{x}表示x的最大值，argmax{x}表示提供x的最大值的自变量。

如上所述，将一个单词连同代表该单词所指的事物的概念符号函数输入到最优单词串输出部分4，并在最优单词串输出部分4中根据该概念符号函数计算输入单词和登记在登记的单词串数据库23中的登记单词之间的单词相似性。因此，即使与输入单词相同的登记单词没有在登记的单词串数据库23中登记，也能够计算输入单词与登记的单词之间的单词相似性，也能够计算输入单词串与登记的单词串之间的单词串相似性。结果，即使没有提供大容量的词典，也能够针对许多单词进行单词之间的相似性计算。此外，即使没有提供复杂的语法规则等，也可以将单词集合转换为具有合适含义的单词串。

即认为，在用两维方向表示的特征参数空间中，作为比如单词“上”、“下”、“左”、“右”的概念符号函数的高斯分布是这样的，如果随位置在上、下、左、右方向上移动，则发生概率分别变大，如图5所示。在本示例中，在图5中，垂直于图纸的方向表示概率的大小，并使用记号的是这样的，概率相同的部分用线相连。

现在假定在登记的单词串数据库23中，将“左”和“上”登记为登记的单词、以及将“左上”登记为登记的单词串，并进一步假定将没有在登记的单词串数据库23中登记的单词“下”和“右”的集合输入到单词串生成部分21(图2)作为单词集合。

在这种情况下，在单词串生成部分21中，将生成“下右”和“右下”作为输入单词串。这些单词串传递给最优单词串搜索部分22。

在最优单词串搜索部分22中，在单词相似性计算部分31，计算构成输入单词串“下右”的各个单词和相应于这些单词构成登记的单词串“左上”的各个单词之间的单词相似性，并计算构成输入单词串“右下”的各个单词和相应于这些单词构成登记的单词串“左上”的各个单词之间的单词相似性。

即，对于输入单词串“下右”，计算单词“下”和单词“左”之间的单词相似性、以及单词“右”和单词“上”之间的单词相似性。另外，对于输入单词串“右下”，计算单词“右”和单词“左”之间的单词相似性、以及单词“下”和单词“上”之间的单词相似性。

此外，在单词串相似性计算部分32，计算单词“下”和单词“左”之间的单词相似性、以及单词“右”和单词“上”之间的单词相似性的总和作为输入单词串“下右”和登记的单词串“左上”之间的单词串相似性，并且计算单词“右”和单词“左”之间的单词相似性、以及单词“下”和单词“上”之间的单词相似性的总和作为输入单词串“右下”和登记的单词串“左上”之间的单词串相似性。

现在，示于图5的作为单词“上”、“下”、“左”、“右”的概念符号函数的高斯分布，各自示意性的外形如图6所示。从图6中可以清楚地看出，单词“上”和“下”的高斯分布的外形相互相似，而单词“左”和“右”的高斯分布的外形相互相似。但是，单词“上”和“右”或“左”的高斯分布的外形相互不相似，以及单词“下”和“右”或“左”的高斯分布的外形相互不相似。

因此，单词“右”和单词“左”之间的单词相似性、以及单词“下”和单词“上”之间的单词相似性均为较大的值，但是单词“下”和单词“左”之间的单词相似性、以及单词“右”和单词“上”之间的单词相似性均为较小的值。

结果，作为单词“右”和单词“左”之间的单词相似性以及单词“下”和单词“上”之间的单词相似性的总和的输入单词串“右下”和登记的单词串“左上”之间的单词串相似性变为较大的值，并且作为单词“下”和单词“左”之间的单词相似性以及单词“右”和单词“上”之间的单词相似性的总和的输入单词串“下右”和登记的单词串“左上”之间的单词串相似性变为较小的值。

因此，在选择部分33，选择具有较大单词相似性的输入单词串“右下”和登记的单词串“左上”的组合。因此，将输入单词串“右下”输出作为最优单词串。即，作为输入单词串，获得了“下右”和“右下”。在这种情况下，将其中更为合适的单词排列“右下”输出作为最优单词串。

此外，现在假定在登记的单词串数据库23中，比如将“红”和“鞋”登记为登记的单词、以及将“红鞋”登记为登记的单词串。即使在将没有在登记的单词串数据库23中登记的单词“白”和在登记的单词串数据库23中登记的单词“鞋”的集合输入到单词串生成部分21作为单词集合的情况下，也可以与上述类似的方式输出单词串“白鞋”作为最优单词串。

如上所述，对于没有在登记的单词串数据库23中登记的输入单词，能够计算单词相似性。此外，对于包括这些输入单词的输入单词串，也能够计算单词串相似性。因此，即使没有提供大容量的词典，也能够针对许多单词进行单词之间相似性的计算。此外，即使没有将复杂的语法规则和/或包括与输入单词串相同的单词的单词串登记作为登记的单词串，也可以将单词集合转换为具有合适含义的单词串(最优单词串)。

图7示出执行用于准备存储在图2的登记单词串数据库23中的单词词典和单词串词典的学习处理过程的学习装置的实施例的结构的一个示例。

传感器部分41的构成与图2的传感器部分1相似，并且适于感受由将要所学习的实际事物(下文中需要时称作所学习的事物)给出的刺激，输出感受的结果到预处理部分42。

预处理部分42的构成与图2的预处理部分2相似，并用于处理来自传感器部分41的输出，以从该输出中提取特征参数。即，预处理部分42确定有关作为所学习的事物由传感器部分41探测的这一事实的结果所获得的信息的特征参数，以输出它们到学习部分43。

将来自预处理部分42的有关所学习的事物的特征参数、以及来自文本输入部分44和声音输入部分45的代表构成代表所学习的事物的单词串的各个单词的字符串和声音提供给学习部分43。另外，学习部分43通过使用有关构成代表所学习的事物的单词串的各个单词的特征参数进行学习，因此生成代表由各个单词表示的事物的概念符号函数、并根据自文本输入部分44和声音输入部分45传递的字符串和声音分别生成文字符号和声音符号，以便以使有关各个单词的文字符号、声音符号和概念符号函数与此相对应的方式准备图3A所示的单词词典。此外，学习部分43还用于准备图3B所示的其中登记了代表所学习的事物的单词串的单词串词典。

文本输入部分44由比如键盘等构成，并且当输入代表构成代表所学习的事物的单词串的各个单词的字符串时，文本输入部分44工作。声音输入部分45由比如麦克风等构成。对于声音输入部分45，输入构成代表所学习的事物的单词串的各个单词的发音。

下面将参照图8的流程图说明图7的学习装置的学习处理过程。

开始在步骤S11，在传感器部分41中，感受来自所学习的事物给出的刺激。从文本输入部分44和声音输入部分45分别输入代表构成代表所学习的事物的单词串的各个单词的字符串和声音。此外，将传感器部分41感受的结果传递给预处理部分42，并将分别来自文本输入部分44和声音输入部分45的字符串和声音传递给学习部分43。

在步骤S12，当预处理部分42收到传感器部分41感受的结果时，它从感受的结果中提取特征参数，以传递给特征参数给学习部分43。

在本示例中，在传感器部分41中，感受由使其经历学习的单词串代表的、不同的所学习的事物(比如，如果所学习的单词串是兰色球，则将各种兰色球(比如兰色棒球、兰色足球等)作为相应于这里提到的不同的所学习的事物的各种实际的单个事物)给出的刺激，并传递给预处理部分42。因此，在预处理部分42中，提取有关这些不同的所学习的事物给出的各种刺激的特征参数，并传递给学习部分43。因此，当关注一个构成使之经历学习的单词串的单词时，在预处理部分42中提取从由该单词代表的不同的事物给出的刺激中获得的多个特征参数。由此获得的特征参数传递给学习部分43。

在步骤S13，当学习部分43收到有关由关于构成使之经历学习的单词串的各个单词代表的不同的事物的特征参数时，通过利用有关构成使之经历学习的单词串的各个单词的获得的多个特征参数进行学习，以确定代表其分布的函数、比如高斯概率分布函数等作为关于各个单词的概念符号函数。此外，在步骤S14，学习部分43从来自文本输入部分44的字符串和来自声音输入部分45的声音，生成关于构成使之经历学习的单词串的各个单词的文字符号和声音符号，以使得各个单词的概念符号函数与其相对应，因此生成单词词典，并准备其中将代表所学习的事物的单词串登记的单词串词典、以完成对于经当前学习的单词串的学习处理过程。

应该指出的是，作为利用关于由特定单词代表的各个不同的事物的特征参数、即多个特征参数进行学习的方法，可以使用在比如上述的“统计模式识别”和“声音识别基础(第一和第二卷)”等中描述的方法。

上述的处理序列可以用硬件实现，也可以用软件实现。在一系列处理过程由软件实现的情况下，将构成该软件的程序安装到配置在最优单词串输出装置或学习装置作为专用硬件或通用计算机等的计算机中。

下面将参照图9与适于记录相应程序的记录介质结合进行解释，用于描述将执行上述一系列处理过程的程序安装到计算机，以便该程序能够由该计算机执行。

可以将程序事先记录在硬盘102或半导体存储器103中，它们用作为包括在图9A所示的计算机101之内的记录介质。

或者，也可以将该程序临时或永久地存储(记录)在诸如软盘111、CD-ROM(只读存储器致密盘)112、MO(磁光)盘113、DVD(数字通用盘)114、磁盘115、或半导体存储器116等之类的记录介质中。可以以所谓的数据包软件的形式提供该记录介质。

应该指出的是，除了从上述的记录介质中将该程序安装到计算机之外，也可以使用如图9C所示的、通过用于数字卫星广播的人造卫星122从下载站点121将程序通过无线电传输给计算机101、或通过如LAN(局域网)或因特网的网络131将程序通过有线线路传输给计算机123、由此安装到包括在其中的硬盘102等的办法。

另外，在本说明书中，不一定必须按照沿着流程图描述的顺序的时间序列方式处理描述用于使计算机执行该处理过程的步骤，而是将以并行或单独方式执行的处理(比如，并行处理或由对象进行的处理)也包括在内。

图10示出图9的计算机101的结构的一个示例。

计算机101包括一个CPU(中央处理单元)142，如图10所示。输入/输出接口145通过总线141连接到CPU 142。当用户对由键盘或鼠标等构成的输入部分147的操作将命令通过输入/输出接口145输入到CPU 142时，CPU142按照该命令执行存储在相应于图9A的半导体存储器103的ROM(只读存储器)143中的程序。CPU 142还将存储在硬盘102的程序、从人造卫星122或网络131传输的、在通信部分148接收并安装到硬盘102的程序、或从每一个均配备有各自的驱动器149的软盘111、CD-ROM 112、MO盘112、DVD 114或磁盘115中读出并安装到硬盘102的程序、加载到RAM(随机存取存储器)144中，以便执行该程序。此外，当需要时CPU 142通过输入/输出接口145输出其处理的结果到比如由LCD(液晶显示器)等构成的显示部分146。

应该指出的是，尽管在本实施例中将传感器部分1或41感受的事物的刺激用于确定代表该事物的概念符号函数，但是该概念符号函数可以通过比如使用代表该事物的单词的声音等替代来自该事物的刺激来确定。在使用来自该事物的刺激确定代表该事物的概念符号函数的情况下，使在现实世界中存在的实际事物和代表事物的单词彼此相对应关系。结果，有可能实现，比如能够通过各种传感器感受特定事物给出的刺激、以从感受的结果输出适于代表该事物的单词串的机器人(robot)，或者在与用户或周围真实世界有相关性的同时执行语言处理的其它系统。

此外，尽管在本实施例中将高斯概率分布函数用作概念符号函数，但是也可以将除了高斯概率分布函数以外的概率密度函数以及用HMM代表的离散概率分布函数等用作概念符号函数。

另外，尽管在本实施例中通过使用概念符号函数的Bhattacharyya距离确定两个单词之间的单词相似性，但是也可以根据概念符号函数的Kullback散度等确定单词相似性。即，可以根据两个单词各自的概念符号函数所代表的分布等的外形的相似性反映的物理量确定单词相似性。

此外，尽管在本实施例中没有具体给出最优单词串输出部分4输出最优单词串的方法，但是，最优单词串可以比如以构成最优单词串的单词按照顺序排列的各个单词表示，或者可以通过语音声音(合成声音)输出。最优单词串的表示可以通过使用各个单词的文字符号实现。另外，通过最优单词串的语音声音的输出可以通过利用各个单词的声音符号生成合成声音来实现。

                         工业应用

根据本发明的第一信息处理装置、第一信息处理方法、以及第一记录介质，单词连同用于表示这些单词表达的事物的概念符号函数输入，并根据该概念符号函数计算单词和登记的单词之间的相似性的单词相似性。因此，即使没有将同一单词作为输入的声音登记为登记的单词，也可以计算输入的单词和登记的单词之间的单词相似性。

根据本发明的第二信息处理装置、第二信息处理方法、以及第二记录介质，生成作为表示登记到词典中的登记单词表达的事物的函数的概念符号函数，并使登记的单词与关于该登记的单词的概念符号函数之间相对应关系。因此，利用该概念符号函数，可以计算单词之间的相似性。

Claims (14)

1.一种信息处理装置，用于确定输入的单词和在词典中登记的单词之间的相似性，该信息处理装置包括：

输入装置，用于将单词连同表示该单词表达的事物的概念符号函数输入；以及

单词相似性计算装置，用于根据概念符号函数计算单词和登记的单词之间的单词相似性，

其中概念符号函数是表示从单词表达的事物中获得的信息的函数。

2.如权利要求1所述的信息处理装置，其中该词典存储登记的单词连同用于该登记的单词的概念符号函数。

3.如权利要求2所述的信息处理装置，进一步包括其中存储词典的词典存储装置。

4.如权利要求1所述的信息处理装置，其中概念符号函数是表示从用于感受单词表达的事物给出的刺激的传感器装置的输出中获得的信息的函数。

5.如权利要求4所述的信息处理装置，其中传感器装置是将光或声信号转换为电信号的器件、触觉传感器、温度传感器或加速度传感器，并且

其中概念符号函数是利用传感器装置通过探测单词表达的事物而获得的参数的函数。

6.如权利要求1所述的信息处理装置，其中概念符号函数是概率密度函数或离散概率分布函数。

7.如权利要求1所述的信息处理装置，其中单词相似性计算装置根据单词和登记的单词的概念符号函数之间的巴特查理亚距离或库勒班克散度计算该单词和登记的单词之间的单词相似性。

8.如权利要求1所述的信息处理装置，其中输入装置输入作为一组单词的单词集合连同有关各单词的概念符号函数，并且

其中该词典存储登记的单词串集合连同关于各个登记的单词的概念符号函数，在该集合中排列多个登记的单词，

信息处理装置进一步包括：

单词串生成装置，用于生成其中排列构成单词集合的单词的单词串；

单词串相似性计算装置，用于从构成单词串的各单词和相应于这些单词的构成登记的单词串的登记单词之间的单词相似性，计算单词串和登记的单词串之间的单词串相似性；以及

输出装置，用于输出根据单词串相似性构成单词集合的单词按预定顺序排列的单词串。

9.一种信息处理方法，用于确定输入的单词和在词典中登记的单词之间的相似性，该信息处理方法包括下列步骤：

将单词连同用于表示单词表达的事物的概念符号函数输入；以及

根据概念符号函数计算单词和登记的单词之间的单词相似性，

其中概念符号函数是表示从单词表达的事物中获得的信息的函数。

10.一种信息处理装置，适用于准备用于计算关于输入的单词的相似性的词典，该信息处理装置包括：

函数生成装置，用于生成表示登记到词典中的登记单词表达的事物的概念符号函数；以及

对应形成装置，用于使登记的单词与关于该登记的单词的概念符号函数相互对应，

其中概念符号函数是表示从单词表达的事物中获得的信息的函数。

11.如权利要求10所述的信息处理装置，其中概念符号函数是表示从用于感受单词表达的事物给出的刺激的传感器装置的输出中获得的信息的函数。

12.如权利要求11所述的信息处理装置，其中传感器装置是将光或声信号转换为电信号的器件、触觉传感器、温度传感器或加速度传感器，并且

其中概念符号函数是通过传感器装置表示通过探测单词表达的事物而获得的参数的函数。

13.如权利要求10所述的信息处理装置，其中概念符号函数是概率密度函数或离散概率分布函数。

14.一种准备用于计算关于输入的单词的相似性的词典的信息处理方法，该信息处理方法包括下列步骤：

生成表示登记到词典中的登记单词表达的事物的概念符号函数；以及

使登记的单词与关于该登记的单词的概念符号函数相互对应，

其中概念符号函数是表示从单词表达的事物中获得的信息的函数。

Images