CN1521953A - 以手持通讯设备计算处理自然语言的装置及方法 - Google Patents

Abstract

一种以手持通讯设备计算处理自然语言的装置，用以于手持通讯设备中接收自然语音输入，并将自然语音输入于手持通讯设备中，经过计算处理后传出结果响应，包括语音自动辨识单元、自然语言理解单元以及行动与响应单元。语音自动辨识单元接收自然语音输入，进行特征撷取及辨识而产生语音自动辨识结果。自然语言理解单元接收语音自动辨识结果，经过理解及分析而产生自然语言理解结果。行动与响应单元接收自然语言理解结果，经过适当处理，而后合成产生结果响应。

Description

以手持通讯设备计算处理自然语言的装置及方法

技术领域

本发明是有关于一种手持通讯设备处理语言的装置，特别是有关一种以手持通讯设备计算处理自然语言的装置及方法。

背景技术

随着通讯技术的进步，手持通讯设备(handheld communication device)的使用亦随之不断普及。目前手持通讯设备的发展有两大趋势，其一是手持通讯设备的尺寸越来越小，其二是手持通讯设备的计算能力(computingpower)与通讯能力(communication capability)越来越强。在可预见的未来，各项计算功能及通讯功能整合于单一手持通讯设备中，为必然的发展方向。因此，以语音(speech)来进行控制的声控功能便成为手持通讯设备技术中重要的一环。

现行手持通讯设备的声控功能，是以命令(command)控制为主，意即使用者输入命令用以操控手持通讯设备中特定的功能。例如，使用者可输入拨号、传送简讯、关机等语音以进行手持通讯设备中拨号、传送简讯及关机等功能。此等可声控的手持通讯设备，无论是手机或个人数字助理(PDA)，其语音辨识技术大致是将输入的命令语音数据先经过前置处理(pre-processing)，撷取出特征参数，然后再与预先训练完成的声学模型或语音模板(template)进行比对，最后得到的最佳比对结果即为辨识结果。

如前所述的语音辨识技术并未涉及语意理解(understanding)的技术，若输入的语音不为固定的控制命令时，则以现行的技术并无较佳的处理方法。然一般使用者惯常使用的语言方式并不是命令控制的语言，而是自然语言(natural language)。再者，由于个人数字助理应用程序的功能愈见复杂，如行程表、通讯簿、记事本等，仅使用命令控制来操控此等应用程序稍嫌不足，且无法完全配合其人机接口的设计。因此，手持通讯设备当具有计算处理自然语言的能力，才能因应未来实际的技术发展与使用需求。

相关的技术可见于“JUPITER：A Telephone-Based ConversationInterface for Weather Information，”IEEE Trans.Speech and Audio Proc，8(1)，85-96，2000.以及美国专利第US005749072号，“Communicationsdevice responsive to spoken commands and methods of using same.”

发明内容

有鉴于此，本发明的一目的是以手持通讯设备计算处理自然语言，使用者可直接使用自然语言的表达方式，告知手持通讯设备使用者的意图，而手持通讯设备可借由其计算及处理能力将使用者所输入的自然语言，经过理解与分析，得知使用者的意图，再根据所得知的使用者意图，利用其通讯能力加以执行或完成。例如，使用者可能输入“今晚八点提醒我到机场接机”、“告诉我中山高头份路段是否塞车”、“台北明天会下雨吗”等自然语言表达方式的输入，手持通讯设备则将语音输入经过理解与分析，执行提醒或查询等工作。

本发明的另一目的是将自然语言处理单元整合于手持通讯设备中。换言之，于单一手持通讯设备中便可进行语音接收、语音辨识等功能，并透过无线通讯及网络执行所需的查询及沟通功能。有别于目前以手持通讯设备接收语音，传送至远程服务器进行语音辨识，再将辨识结果回传至手持通讯设备的运作方式，同时避免因传输特征参数等数据而浪费频宽。

为达成上述诸目的，本发明提出一种以手持通讯设备计算处理自然语言的装置，用以于一手持通讯设备中接收自然语音输入，并将自然语音输入于手持通讯设备中，经过计算处理后传出结果响应，包括语音自动辨识单元、自然语言理解单元以及行动与响应单元。自然语音输入是指一般使用者以自然语言表达方式所输入的语音。

语音自动辨识单元，其置于手持通讯设备中，用以接收自然语音输入，并将自然语音输入进行特征撷取及辨识，产生语音自动辨识结果。语音自动辨识单元包括自然语音输入器、语音特征撷取器以及语音辨识器。自然语音输入器为使用者接口，用以接收自然语音输入。语音特征撷取器，耦接于自然语音输入器，用以撷取来自自然语音输入器的自然语音输入的语音特征。语音辨识器，耦接于语音特征撷取器，用以参考语言结构数据库以及语音模型数据库，辨识语音特征撷取器所撷取的自然语音输入的语音特征，并产生语音自动辨识结果。

自然语言理解单元，其置于手持通讯设备中，并耦接于语音自动辨识单元，用以接收语音自动辨识结果，并将语音自动辨识结果经过理解及分析，产生自然语言理解结果。自然语言理解单元包括文法分析器、关键词分析器以及语意结构管理器。文法分析器，用以接收语音自动辨识结果，参考文法数据库并对语音自动辨识结果的文法进行分析。关键词分析器，耦接于文法分析器，用以接收语音自动辨识结果，并对语音自动辨识结果的关键词进行分析。语意结构管理器，耦接于文法分析器及关键词分析器，用以同时参考文法分析器以及关键词分析器对于语音自动辨识结果的分析，产生自然语言理解结果。

行动与响应单元，其置于手持通讯设备中，并耦接于自然语言理解单元，用以接收自然语言理解结果，并将自然语言理解结果进行适当处理，产生结果响应。行动与响应单元包括信息管理器、自然语言产生器以及声波合成器。信息管理器，用以接收自然语言理解结果，并根据自然语言理解结果，找出所需的语意结构，语意结构可以语意框架(semantic frame)的方式表达。自然语言产生器，耦接于信息管理器，用以根据信息管理器所找出的语意结构，组成自然语言的形态。声波合成器，耦接于自然语言产生器，用以将自然语言产生器所组成的自然语言，合成声波，并产生结果响应。

再者，本发明提出一种以手持通讯设备计算处理自然语言的方法，用以于手持通讯设备中接收自然语音输入，并将自然语音输入于手持通讯设备中，经过计算处理后传出结果响应。自然语音输入是指一般使用者以自然语言表达方式所输入的语音。

首先，手持通讯设备接收自然语音输入，撷取自然语音输入的语音特征，参考语言结构数据库以及语音模型数据库，辨识所撷取的自然语音输入的语音特征，并产生语音自动辨识结果。

然后，手持通讯设备参考文法数据库对语音自动辨识结果的文法进行分析，及对语音自动辨识结果的关键词进行分析，根据语音自动辨识结果的分析，产生自然语言理解结果。

最后，手持通讯设备根据自然语言理解结果，找出所需的语意结构，并根据所找出的语意结构，组成自然语言的形态，以及将自然语言合成声波，产生结果响应。

附图说明

图1是显示本发明所揭示的实施例中手持通讯设备及网络的架构图；

图2是显示本发明所揭示的实施例中手持通讯设备的功能示意图；

图3是显示本发明的功能方块图；

图4是显示本发明的执行流程图；

图5是显示本发明所揭示的实施例的自然语言辨识文法的示意图；

图6是显示本发明所揭示的实施例的文法分析的示意图；

图7是显示本发明所揭示的实施例的自然语言理解结果的示意图；

图8是显示本发明所揭示的实施例的自然语言形态的语意结构的示意图；

图9是显示本发明所揭示的实施例的文法分析的示意图；

图10是显示本发明所揭示的实施例的自然语言形态的语意结构的示意图。

图号说明：

100、102-手持通讯设备；     104、106、108-网络服务器；

110-因特网；                200-手持通讯设备；

202-显示装置；              204-中央处理单元；

206-存储装置；              208-输出入装置；

209-无线网络接口；          210-无线网络；

30-自然语音输入；           40-语音自动辨识单元；

50-自然语言理解单元；       60-行动与响应单元；

70-远程数据库；             80-图形及文字显示接口；

90-语音输出接口；           402-自然语音输入器；

404-语音特征撷取器；        406-语音辨识器；

408-语言结构数据库；        410-语音模型数据库；

502-文法分析器；            504-关键词分析器；

506-语意结构管理器；        508-文法数据库；

602-信息管理器；            604-自然语言产生器；

606-声波合成器。

具体实施方式

请参照图1，图1是显示本发明所揭示的实施例中手持通讯设备及网络的架构图。如图所示，手持通讯设备100、102具有无线网络通讯能力，透过无线网络与因特网110相连结，因特网110上具有功能各异的服务器104、106、108，服务器104、106、108各具有不同的网络资源。因此，手持通讯设备100、102可透过无线网络查询或使用服务器104、106、108上的各项资源。

请参照图2，图2是显示本发明所揭示的实施例中手持通讯设备的功能示意图。如图所示，手持通讯设备200需透过无线网络接口209与无线网络210进行通讯，或者透过无线网络接口209取得无线网络210上的各项资源。手持通讯设备200包括显示装置202、中央处理单元204、存储装置206及输出入装置208。显示装置202用以显示文字内容或提供文字选项供使用者选择。中央处理单元204用以计算处理语音数据，并控制显示装置202、存储装置206及输出入装置208。存储装置206用以储存语音处理数据或数据库，若所需的数据库为大型数据库时，则由中央处理单元204透过无线网络210与其连接。输出入装置208是为使用者的语音输出入接口，使用者可由输出入装置208输入语音，而手持通讯设备200亦由输出入装置208输出语音。

请参照图3，图3是显示本发明的功能方块图。如图所示，一种以手持通讯设备计算处理自然语言的装置，用以接收自然语音输入，并将自然语音输入经过计算处理后传出结果响应，包括语音自动辨识单元40、自然语言理解单元50以及行动与响应单元60。

语音自动辨识单元40，用以接收自然语音输入30，并将自然语音输入30进行特征撷取及辨识，产生语音自动辨识结果。语音自动辨识单元40还包括自然语音输入器402、语音特征撷取器404及语音辨识器406。自然语音输入30可泛指一般使用者以自然语言表达方式所输入的语音。

自然语音输入器402，是为使用者接口，用以接收自然语音输入30。语音特征撷取器404，耦接于自然语音输入器402，用以撷取来自自然语音输入器402的自然语音输入的语音特征。语音辨识器406，耦接于语音特征撷取器404，用以是参考语言结构数据库408以及语音模型数据库410，辨识语音特征撷取器404所撷取的自然语音输入的语音特征，并产生语音自动辨识结果。

自然语言理解单元50，耦接于语音自动辨识单元40，用以接收语音自动辨识结果，并将语音自动辨识结果经过理解及分析，产生自然语言理解结果。自然语言理解单元50还包括文法分析器502、关键词分析器504及语意结构管理器506。

文法分析器502，用以接收语音自动辨识结果，参考文法数据库508，并对语音自动辨识结果的文法进行分析。关键词分析器504，耦接于文法分析器502，用以接收语音自动辨识结果，并对语音自动辨识结果的关键词进行分析。语意结构管理器506，耦接于文法分析器502以及关键词分析器504，用以同时参考文法分析器502以及关键词分析器504对于语音自动辨识结果的分析，产生自然语言理解结果。

行动与响应单元60，耦接于自然语言理解单元50，用以接收自然语言理解结果，并将自然语言理解结果进行适当处理，产生结果响应。行动与响应单元60还包括信息管理器602、自然语言产生器604及声波合成器606。

信息管理器602，用以接收自然语言理解结果，并根据自然语言理解结果，找出所需的语意结构。自然语言产生器604，耦接于信息管理器602，用以根据信息管理器602所找出的语意结构，组成自然语言的形态。声波合成器606，耦接于自然语言产生器604，用以将自然语言产生器604所组成的自然语言合成声波，并产生结果响应。

行动与响应单元60还与远程数据库70、图形及文字显示接口80及语音输出接口90进行连结，行动与响应单元60中的信息管理器602于处理数据期间，当找出所需的语意结构为需要查询远程数据库时，便可与远程数据库70进行连结，以取得所需的数据。信息管理器602找出所需的语意结构后，若不需转换为语音输出，而是以文字、图形或音乐等其它方式显示结果，则可透过图形及文字显示接口80显示内容。

若信息管理器602根据自然语言理解结果，所找出的语意结构需要转换为语音输出，则传送至自然语言产生器604，以产生自然语言形态的语意结构，再透过声波合成器606将自然语言产生器604所组成的自然语言，合成声波，产生结果响应。声波合成器606与语音输出接口90相连结，声波合成器606可利用语音输出接口90输出所产生的结果响应。自然语言产生器604所产生的自然语言亦可文字化，直接由图形及文字显示接口80输出。

再者，本发明提出一种以手持通讯设备计算处理自然语言的方法，用以接收自然语音输入，并将自然语音输入经过计算处理后传出结果响应。首先，接收自然语音输入(步骤S400)，自然语音输入泛指一般使用者以自然语言表达方式所输入的语音。接着，参考语言结构数据库以及语音模型数据库对自然语音输入进行特征撷取及辨识，并产生语音自动辨识结果(步骤S402)。

然后，将语音自动辨识结果经过理解及分析，即对语音自动辨识结果的文法及关键词进行分析，文法分析是参考文法数据库，根据分析产生自然语言理解结果(步骤S404)。

最后，将自然语言理解结果进行处理(步骤S406)，找出所需的语意结构，根据所找出的语意结构，组成自然语言的形态，再将自然语言合成声波以产生结果响应(步骤S408)。

举例而言，请再参照图3，如使用者输入的自然语音为“今晚八点提醒我到机场接机”，声波经过自然语音输入器402，例如麦克风模块后，输入的声波被转换为数字样本(samples)，一定数量的数字样本构成框架(frame)，将此等部份重迭的框架逐一地经过语音特征撷取器404，以撷取出声波的特征参数，然后经由语音辨识器406参考语言结构数据库408以及语音模型数据库410进行比对，找出最具可能性的文句即为语音自动辨识结果。

语音自动辨识结果接着进入自然语言理解单元50以进行理解及分析。首先，文法分析器502根据文法数据库508对语音自动辨识结果的文法进行分析。文法数据库508中的文法可事先撰写定义完成，如图5所示。文法分析器502将文句剖析成结构化的剖析树(parsing tree)，如图6所示。若文法分析器502可将文句成功地剖析成结构化的剖析树，则语意结构管理器506可利用结构化的剖析树，将此结构化的剖析树表示为结构化的语意框架(semantic frame)。若文法分析器502无法将文句成功地剖析成结构化的剖析树，则利用关键词分析器504将文句中的关键词找出，再由语意结构管理器506利用所找出的关键词表示为语意框架，如图7所示。如前所述的语意框架即为自然语言理解单元50经过理解及分析后，所产生的自然语言理解结果。

自然语言理解结果随即进入行动与响应单元60，首先送至信息管理器602，信息管理器602会认定如图7所示的自然语言理解结果属于提醒(remind)，信息管理器602便会记录需要进行提醒的时间及内容，如图8所示。当所需提醒的时间到达时，信息管理器602可于图形及文字显示接口80显示提醒的内容，或将提醒的内容送至自然语言产生器604及声波合成器606，以合成结果响应，此合成结果响应应为“今晚八点我要到机场接机”，最后透过语音输出接口90播放结果响应。

若信息管理器602所认定的自然语言理解结果属于查询，举例而言，若使用者输入的自然语音为“台北明天下雨吗”，声波经过自然语音输入器402转换为数字样本，再经过语音特征撷取器404，以撷取出声波的特征参数，然后经由语音辨识器406参考语言结构数据库408以及语音模型数据库410进行比对，找出最具可能性的文句即为语音自动辨识结果。

语音自动辨识结果接着进入自然语言理解单元50以进行理解及分析。文法分析器502根据文法数据库508对语音自动辨识结果的文法进行分析，产生如图9所示的结构化的剖析树。再由语意结构管理器506利用结构化的剖析树，产生语意框架，即自然语言理解结果如图10所示。

信息管理器602会认定所接收的自然语言理解结果属于查询(query)，便根据图10的内容产生查询远程数据库的查询指令，例如SQL指令，然后信息管理器602便会与远程数据库70进行连结及查询，以得到查询结果。查询结果可以文字方式显示于图形及文字显示接口80，或将查询结果送至自然语言产生器604及声波合成器606，以合成结果响应，此合成结果响应应为查询远程数据库70后所得到的“明天台北的降雨状况”，最后透过语音输出接口90播放结果响应。

综言之，本发明所揭示的装置及方法，透过语音自动辨识单元、自然语言理解单元以及行动与响应单元，接收一般使用者以自然语言表达方式所输入的语音，并将自然语音输入经过计算处理后传出结果响应，达到本发明所欲达到的目的。其中，尤以将自然语言理解单元整合于单一手持通讯设备中，在现行手持通讯设备的语音处理技术中，实为特出的整合方式，并在自然语言处理上具有相当卓著的改善成效。

Claims (16)

1.一种以手持通讯设备计算处理自然语言的装置，用以于一手持通讯设备中接收一自然语音输入，并将上述自然语音输入于上述手持通讯设备中经过计算处理后传出一结果响应，包括：

一语音自动辨识单元，其置于上述手持通讯设备中，用以接收上述自然语音输入，并将上述自然语音输入进行特征撷取及辨识，产生一语音自动辨识结果；

一自然语言理解单元，其置于上述手持通讯设备中，并耦接于上述语音自动辨识单元，用以接收上述语音自动辨识结果，并将上述语音自动辨识结果经过理解及分析，产生一自然语言理解结果；以及

一行动与响应单元，其置于上述手持通讯设备中，并耦接于上述自然语言理解单元，用以接收上述自然语言理解结果，并将上述自然语言理解结果进行处理，产生上述结果响应。

2.根据权利要求1所述的以手持通讯设备计算处理自然语言的装置，其特征在于：还包括一无线网络接口，其置于上述手持通讯设备中，用以与无线网络连结通讯。

3.根据权利要求1所述的以手持通讯设备计算处理自然语言的装置，其特征在于：上述语音自动辨识单元还包括：

一自然语音输入器，是为一使用者接口，用以接收上述自然语音输入；

一语音特征撷取器，其耦接于上述自然语音输入器，用以撷取来自上述自然语音输入器的上述自然语音输入的语音特征；以及

一语音辨识器，其耦接于上述语音特征撷取器，用以辨识上述语音特征撷取器所撷取的上述自然语音输入的语音特征，并产生上述语音自动辨识结果。

4.根据权利要求3所述的以手持通讯设备计算处理自然语言的装置，其特征在于：上述语音辨识器于辨识上述语音特征撷取器所撷取的上述自然语音输入的语音特征，并产生上述语音自动辨识结果时，是参考一语言结构数据库以及一语音模型数据库。

5.根据权利要求1所述的以手持通讯设备计算处理自然语言的装置，其特征在于：上述自然语言理解单元还包括：

一文法分析器，用以接收上述语音自动辨识结果，并对上述语音自动辨识结果的文法进行分析；

一关键词分析器，其耦接于上述文法分析器，用以接收上述语音自动辨识结果，并对上述语音自动辨识结果的关键词进行分析；以及

一语意结构管理器，其耦接于上述文法分析器以及上述关键词分析器，用以同时参考上述文法分析器以及上述关键词分析器对于上述语音自动辨识结果的分析，产生上述自然语言理解结果。

6.根据权利要求5所述的以手持通讯设备计算处理自然语言的装置，其特征在于：上述文法分析器对上述语音自动辨识结果的文法进行分析时，是参考一文法数据库。

7.根据权利要求1所述的以手持通讯设备计算处理自然语言的装置，其特征在于：上述行动与响应单元还包括：

一信息管理器，用以接收上述自然语言理解结果，并根据上述自然语言理解结果，找出所需的语意结构；

一自然语言产生器，其耦接于上述信息管理器，用以根据上述信息管理器所找出的语意结构，组成自然语言的形态；以及

一声波合成器，其耦接于上述自然语言产生器，用以将上述自然语言产生器所组成的自然语言，合成声波，并产生上述结果响应。

8.根据权利要求1所述的以手持通讯设备计算处理自然语言的方法，其中上述自然语音输入是指一般使用者以自然语言表达方式所输入的语音。

9.一种以手持通讯设备计算处理自然语言的方法，用以于一手持通讯设备中接收一自然语音输入，并将上述自然语音输入于上述手持通讯设备中经过计算处理后传出一结果响应，包括以下步骤：

上述手持通讯设备接收上述自然语音输入，并对上述自然语音输入进行特征撷取及辨识，产生一语音自动辨识结果；

上述手持通讯设备将上述语音自动辨识结果经过理解及分析，产生一自然语言理解结果；以及

上述手持通讯设备将上述自然语言理解结果进行处理，产生上述结果响应。

10.根据权利要求9所述的以手持通讯设备计算处理自然语言的方法，上述手持通讯设备还包括一无线网络接口，上述无线网络接口用以与无线网络连结通讯。

11.根据权利要求9所述的以手持通讯设备计算处理自然语言的方法，其中，上述产生上述语音自动辨识结果的步骤，还包括以下步骤：

接收上述自然语音输入；

撷取上述自然语音输入的语音特征；以及

辨识所撷取的上述自然语音输入的语音特征，并产生上述语音自动辨识结果。

12.根据权利要求11所述的以手持通讯设备计算处理自然语言的方法，其中，上述辨识所撷取的上述自然语音输入的语音特征的步骤中，上述辨识是参考一语言结构数据库以及一语音模型数据库。

13.根据权利要求9所述的以手持通讯设备计算处理自然语言的方法，其中，上述产生上述自然语言理解结果的步骤，还包括以下步骤：

对上述语音自动辨识结果的文法进行分析；

对上述语音自动辨识结果的关键词进行分析；以及

根据上述语音自动辨识结果的分析，产生上述自然语言理解结果。

14.根据权利要求13所述的以手持通讯设备计算处理自然语言的方法，其中，上述对上述语音自动辨识结果的文法进行分析的步骤中，上述分析是参考一文法数据库。

15.根据权利要求9所述的以手持通讯设备计算处理自然语言的方法，其中，上述产生上述结果回应的步骤还包括以下步骤：

根据上述自然语言理解结果，找出所需的语意结构；

根据上述所找出的语意结构，组成自然语言的形态；以及

将上述所组成的自然语言，合成声波，并产生上述结果响应。

16.根据权利要求9所述的以手持通讯设备计算处理自然语言的方法，其中上述自然语音输入是指一般使用者以自然语言表达方式所输入的语音。

Images