JP2005134819A - 移動体通信端末 - Google Patents

Abstract

【課題】 音認識処理のための情報処理能力を高めることなく、複数種類の音情報について認識処理が可能になる移動体通信端末を提供する。
【解決手段】 音情報を取得するマイク等の音情報取得手段２１３と、音情報取得手段で取得した音情報について認識処理を実行する認識処理手段２１２と、携帯電話通信網１０を介して通信を行うための通信手段２１５とを備えた携帯電話機２０において、認識処理手段２１２は、互いに異なる複数種類の音認識機能（音声認識エンジン１，２、鳴き声認識エンジン）を有し、これらの複数の音認識機能（認識エンジン）を切り換えて認識処理を実行するように認識処理手段２１２を制御する主制御部２１０を設ける。
【選択図】 図１

Description

本発明は、マイク等の音情報取得手段で取得した人の音声や動物の鳴き声等の音情報について認識処理を実行することができる携帯電話機等の移動体通信端末に関するものである。

従来、この種の移動体通信端末として、人が話す音声をマイクで受けて音声情報を取得し、その音声情報について認識処理を実行することができる携帯電話機が知られている。この認識処理結果は、実行中のゲーム等のアプリケーションプログラムで使用したり、ディスプレイ上に文字情報やイラスト等の画像情報として表示したりすることができる。特に携帯電話機の場合は、その携帯性を確保するために操作性が犠牲になっているキー入力に代わって、文字情報の入力を行うユーザインターフェースとして利用することも可能である。

ところが、上記従来の携帯電話機のような移動体通信端末では、その携帯性を確保したり低コスト化を実現するために、情報処理能力の高いＣＰＵ等のハードウェアを組み込むことが難しかった。したがって、比較的処理能力が低いハードウェア構成で利用者が発する言葉のすべてについて認識処理可能に構成すると、認識処理の負荷が増加し、迅速な認識処理を行うことができないという不具合があった。そこで、認識処理結果の用途に応じて、特定の言葉のみを認識できるような認識処理機能を有するように構成することが考えられる。しかしながら、このように認識処理機能に制約を設けると、様々な音声情報について認識処理することができなくなってしまうという問題点がある。
また、上記従来の音声認識機能を有する携帯電話機では、特定の言語の音声情報だけでなく、複数の言語の音声情報について認識処理したい場合がある。この場合、音声認識対象の言語が変わると、その音声認識処理の内容が変わってくるため、１種類の音認識機能を備えているだけでは、複数の言語の音声情報について正確に認識処理できないおそれがあるという問題点がある。
また、人の音声情報以外の音情報について認識処理し、その認識処理結果を利用したい場合もある。例えば、犬等の動物の鳴き声情報をマイクで受けて取得し、その鳴き声情報について認識処理を実行し、そのときの動物の喜怒哀楽の感情を判別したい場合がある。ところが、上記従来の携帯電話機では１種類の音認識機能しか有していないため、人の音声と動物の鳴き声の両方について認識処理をすることができないという問題点がある。

本発明は以上の問題点に鑑みなされたものであり、その目的は、音認識処理のための情報処理能力を高めることなく、複数種類の音情報について認識処理が可能になる移動体通信端末を提供することである。

上記目的を達成するために、請求項１の発明は、音情報を取得する音情報取得手段と、該音情報取得手段で取得した音情報について認識処理を実行する認識処理手段と、移動体通信ネットワークを介して通信を行うための通信手段とを備えた移動体通信端末であって、該認識処理手段は、互いに異なる複数種類の音認識機能を有し、該複数種類の音認識機能を切り換えて認識処理を実行するように該認識処理手段を制御する制御手段を備えたことを特徴とするものである。
請求項２の発明は、請求項１の移動体通信端末において、上記制御手段との間で制御指令情報の送受信が可能に構成された、アプリケーションプログラムの実行環境を管理するアプリケーションプログラム実行環境管理手段を備え、上記制御手段は、該アプリケーションプログラム実行環境管理手段から受けた音認識機能指定用の制御指令情報に基づいて上記複数種類の音認識機能のいずれかを選択して認識処理を実行するように上記認識処理手段を制御することを特徴とするものである。
請求項３の発明は、請求項１の移動体通信端末において、上記複数種類の音認識機能のいずれかを利用者が指定するための指定操作手段を備え、上記制御手段は、該指定操作手段の操作によって生成された音認識機能指定用の制御指令情報に基づいて上記複数種類の音認識機能のいずれかを選択して認識処理を実行するように上記認識処理手段を制御することを特徴とするものである。
請求項４の発明は、請求項１乃至３のいずれかの移動体通信端末において、上記認識処理手段は、上記複数の音認識機能のそれぞれについて所定の認識処理用の辞書データと所定の認識処理アルゴリズムとを用いて認識処理を実行し、該辞書データを切り換えることによって上記音認識機能の切り換えを行うことを特徴とするものである。
請求項５の発明は、請求項４の移動体通信端末において、上記認識処理手段は、上記辞書データとともに上記認識処理アルゴリズムを切り換えることによって上記音認識機能の切り換えを行うことを特徴とするものである。
請求項６の発明は、請求項４又は５の移動体通信端末において、上記辞書データ及び上記認識処理アルゴリズムのプログラムの少なくとも一方を記憶したメモリーカードを装着するためのカード装着手段と、上記制御手段は、上記辞書データ及び上記認識処理アルゴリズムのプログラムの少なくとも一方を記憶したメモリーカードが該カード装着手段に装着されたとき、該メモリカードに記憶されている該辞書データ及び該認識処理アルゴリズムのプログラムの少なくとも一方を用いて上記認識処理を実行するように、上記認識処理手段を制御することを特徴とするものである。
請求項７の発明は、請求項１乃至６のいずれかの移動体通信端末において、上記認識処理手段の認識処理結果の情報又は該認識処理結果に関連する情報を、文字情報、音声情報及び画像情報の少なくとも一つとして出力する情報出力手段を備えたことを特徴とするものである。
請求項８の発明は、請求項１乃至７のいずれかの移動体通信端末において、上記制御手段は、上記認識処理手段の認識処理結果の情報又は該認識処理結果に関連する情報を所定の送信先に上記通信ネットワークを介して送信するように上記通信手段を制御することを特徴とするものである。

請求項１の移動体通信端末では、認識対象の音情報の種類が変わった場合は、その音情報に応じて適切な音認識機能に切り換えられ、音情報の認識処理が実行される。
請求項２の移動体通信端末では、アプリケーションプログラム実行環境管理手段で管理する実行環境上で実行するアプリケーションプログラムが、音情報の認識処理を必要とする場合は、制御手段に音認識機能指定用の制御指令情報が送られる。この制御指令情報を受けた制御手段により、アプリケーションプログラム実行環境管理手段から受けた制御指令情報に基づいて適切な音認識機能が選択され、音情報の認識処理が実行される。
請求項３の移動体通信端末では、利用者が指定操作手段を操作することにより、複数種類の音認識機能のいずれかを指定すると、音認識機能指定用の制御指令情報が生成される。この制御指令情報に基づいて、複数種類の音認識機能のいずれかが選択され、音情報の認識処理が実行される。
請求項４の移動体通信端末では、認識処理アルゴリズムと組み合わせて用いる辞書データを切り換えることにより、上記音情報について認識処理を実行する音認識機能を切り換える。
請求項５の移動体通信端末では、認識処理アルゴリズムと辞書データの両方を切り換えることにより、上記音情報について認識処理を実行する音認識機能を切り換える。
請求項６の移動体通信端末では、辞書データ及び認識処理アルゴリズムのプログラムの少なくとも一方を記憶したメモリーカードをカード装着手段に装着する。このカード装着手段に装着したメモリーカードに記憶されている辞書データ及び認識処理アルゴリズムのプログラムの少なくとも一方を制御手段に読み出し、上記音情報について認識処理を実行する。
請求項７の移動体通信端末では、上記認識処理手段の認識処理結果の情報又は認識処理結果に関連する情報を、文字情報、音声情報及び画像情報の少なくとも一つとして出力する。これにより、認識処理結果の情報又は認識処理結果に関連する情報を、利用者が文字や画像として見たり、音声として聞いたりすることができるようにする。
請求項８の移動体通信端末では、上記認識処理手段の認識処理結果の情報又は認識処理結果に関連する情報を、所定の送信先に通信ネットワークを介して送信することにより、遠隔地で利用できるようにする。

なお、上記「移動体通信端末」には、ＰＤＣ（Personal Digital Cellular）方式、ＧＳＭ（Global System for Mobile Communication）方式、ＴＩＡ（Telecommunications Industry Association）方式等の携帯電話機、ＩＭＴ（International Mobile Telecommunications）−２０００で標準化された携帯電話機が含まれる。また、「移動体通信端末」には、ＰＨＳ（Personal Handyphone Service）、自動車電話等の電話機のほか、携帯電話モジュールを付加した情報通信端末や、固定電話機も含まれる。
また、上記認識処理対象の「音情報」には、人の音声の情報のほか、動物の鳴き声の情報や、生物以外の物体から発せられる音の情報も含まれる。
また、上記「認識結果に関する情報」は、上記認識処理で得られた認識結果の情報そのものではなく、例えばその認識結果に予め対応させて設定しておいた情報である。例えば、移動体通信端末でゲームのアプリケーションプログラムを実行しているときに利用者が音声でゲームの進行内容を指示した場合、その指示の内容のそのものではなく、ゲームのアプリケーションプログラム側が上記指示の内容に応答する応答内容の情報も含まれる。
また、上記移動体通信端末における制御や認識処理は、その移動体通信端末内に設けられたコンピュータで所定のプログラムを実行することによって実現することもできる。このコンピュータで用いる制御プログラム、認識処理アルゴリズムのプログラム、アプリケーションプログラム等のプログラムの受け渡しは、デジタル情報としてプログラムを記録したＦＤ，ＣＤ−ＲＯＭ等の記録媒体を用いて行なってもいいし、コンピュータネットワーク等の通信ネットワークを用いて行なってもよい。

請求項１乃至８の発明によれば、複数種類の認識対象の音情報ごとに、適切な音認識機能に切り換えて認識処理を実行することができるので、音認識処理のための情報処理能力を高めることなく、複数種類の認識対象の音情報について認識処理して各認識処理の結果を利用できるようになるという効果がある。
特に、請求項２の発明によれば、アプリケーションプログラムの実行内容に応じて適切な音認識機能に切り換えて認識処理を実行できるようになるという効果がある。
特に、請求項３の発明によれば、利用者の指定内容に応じて適切な音認識機能に切り換えて認識処理を実行できるようになるという効果がある。
特に、請求項４の発明によれば、認識処理アルゴリズムを固定したまま、その認識処理アルゴリズムと組み合わせて用いる辞書データのみを切り換えることにより、音認識機能の切り換え処理が簡易になるという効果がある。
特に、請求項５の発明によれば、認識処理アルゴリズムと辞書データの両方を切り換えることにより、切り換え可能な音認識機能の種類の自由度が高まるという効果がある。
特に、請求項６の発明によれば、カード装着手段に装着するメモリーカードを変えることにより、音認識機能に切り換えることができるという効果がある。
特に、請求項７の発明によれば、音情報の認識処理結果の情報又はその認識処理結果に関連する情報を、利用者が文字、画像あるいは音声の情報として利用できるという効果がある。
特に、請求項８の発明によれば、音情報の認識処理結果の情報又はその認識処理結果に関連する情報を、遠隔地で利用できるという効果がある。

以下、本発明を移動体通信端末としての携帯電話機に適用した実施形態について説明する。
図２は、本実施形態に係る携帯電話機２０を用いる移動体通信システムの主要部を示す説明図である。この移動体通信システムにおいて、利用者１が使用する携帯電話機２０は、プラットフォームに依存しないオブジェクト指向プログラミングによって開発されたアプリケーションプログラムを実行可能な構成を有している。このアプリケーションプログラムとしては、ＪＡＶＡ（登録商標）、Ｃ、Ｃ＋＋等のプログラム言語で記述されたアプリケーションプログラムなどが挙げられる。また、これらのアプリケーションプログラムの実行環境は、ＪＡＶＡ（登録商標）のＶＭやＢＲＥＷ（登録商標）等のミドルウェアによって構築される。
本実施形態の携帯電話機２０は、後述するように、人の音声や動物の鳴き声等の音情報について認識処理を実行するための互いに異なる複数種類の音認識機能を有している。また、携帯電話機２０は、上記アプリケーションプログラムの実行内容に応じて複数種類の音認識機能を切り換えて認識処理を実行できるように構成されている。

携帯電話機２０は、通信ネットワークとしての携帯電話通信網１０に接続可能である。この携帯電話通信網１０には、プログラム提供用サーバとしてのアプリケーションプログラムダウンロードサーバ（以下、「ダウンロードサーバ」という。）１１が接続されている。また、携帯電話通信網１０には、ダウンロードサーバ１１のほか、図示しない情報提供サーバ、位置登録サーバ、メールサーバ等も接続されている。なお、これらサーバは単一のサーバで構成してもよい。また、これらのサーバは、互いに異なる構成を有する専用の制御装置として構成してもいいし、汎用のコンピュータシステムを用いて構成してもよい。また、各サーバは、１台のコンピュータで構成してもいいし、複数の機能をそれぞれ受け持つ複数台のコンピュータをネットワークで結んで構成してもよい。

ダウンロードサーバ１１は、携帯電話機２０からのダウンロード要求を受け付けると、その要求に係るアプリケーションプログラムを携帯電話機２０に対して送信する。また、Ｗｅｂサーバ１２は、携帯電話機２０からの閲覧要求を受け付けると、その要求に係る閲覧画面であるＷｅｂページ画面を携帯電話機２０に対して送信する。
ダウンロードサーバ１１から提供されるアプリケーションプログラムは、アプリケーションプログラムの開発元２から提供される。具体的には、例えば、アプリケーションプログラム開発元２側のパーソナルコンピュータ等から、専用回線や公衆回線を介してダウンロードサーバ１１にアップロードして提供する。なお、開発したアプリケーションプログラムを記録した光ディスクや磁気ディスク等の記録媒体を、アプリケーションプログラム開発元２からダウンロードサーバ１１を管理・運営する通信事業者に送り、その記録媒体内のアプリケーションプログラムをダウンロードサーバ１１で読み取るようにして、提供してもよい。このようにして提供されたアプリケーションプログラムは、携帯電話機２０から携帯電話通信網１０を介してダウンロード可能な状態でダウンロードサーバ１１に登録される。

上記位置登録サーバは、各携帯電話機２０の位置している現在位置の情報すなわち各携帯電話機１０が位置している位置登録管理エリアの位置情報を登録して管理するサーバである。この位置登録管理エリアは、各携帯電話機２０と無線通信する基地局が管轄する一つのセルからなるエリアであっていいし、隣接する複数のセルを一つのグループとして管理されるエリアであってもよい。一つの位置登録管理エリアの典型的なサイズは数ｋｍ〜数百ｍである。上記位置登録サーバに対する各携帯電話機２０の位置登録は、電源ＯＮ時に、定期的に、及び携帯電話機２０が位置するセルが変わるたびに行われる。

上記情報提供サーバは、各位置登録管理エリアの基地局を介して、所定の通信チャンネルによって地域情報、該当する位置登録管理エリアの位置情報（緯度、経度、住所）、コンテンツ情報等の各種情報を配信する。このように各種情報が送信されている通信チャンネルについて、携帯電話機１０が所定のタイミングで受信動作を実行することにより、その通信チャンネルで送信されている情報を取得し情報記憶手段としての内部メモリーに保存することができる。各通信チャンネルに対する受信動作は、予め初期設定で設定されているタイミングや、利用者が設定したタイミングで実行することができる。この受信動作は定期的に実行してもいいし、不定期に実行してもよい。

上記メールサーバは、各携帯電話機２０から送信されたメールのデータを次のメールサーバに転送したり、各携帯電話機２０宛に送られてきたメールを受信して保存・管理し、各携帯電話機２０からのメール取得要求に応じて受信メールのデータを各携帯電話機に送信したりする。

図３は、携帯電話機２０の外観図であり、図４は、その携帯電話機２０のハードウェア構成を示す概略構成図である。この携帯電話機２０は、システムバス２００、ＣＰＵ２０１、ＲＡＭ２０２やＲＯＭ２０３等からなるデータ記憶手段、入力装置２０４、出力装置２０５及び携帯電話通信網用通信装置２０６を備えている。ＣＰＵ２０１やＲＡＭ２０２等の構成要素は、システムバス２００を介して、互いに各種データや後述のプログラムの命令等のやり取りを行っている。

上記入力装置２０４は、データ入力キー（テンキー、＊キー、＃キー）２１、通話開始キー２２、終話キー２３、スクロールキー２４、多機能キー２５、ソフトキー２６，２７、マイク２８等から構成されている。ソフトキー２６，２７は、携帯電話機で実行されるプログラムによって操作時の機能が定義されるキーである。
この入力装置２０４の各種キーは、利用者が操作可能な操作部として用いられる。この各種キーを操作することにより、利用者は、携帯電話機２０に対してＵＲＬ等のデータを入力したり、電話着信の際に通話の開始及び終了を行ったり、アプリケーションプログラムの選択、起動及び停止を行ったりすることができる。また、利用者は各種キーを操作することにより、上記ダウンロードサーバ１１からアプリケーションプログラムをダウンロードして登録したり、登録したアプリケーションプログラムを選択して実行したりすることができる。また、利用者は各種キーを操作することにより、携帯電話通信網１０の情報提供サーバから受信した情報を表示することもできる。
また、入力装置２０４の各種キーは、複数種類の音認識機能のいずれかを利用者が指定するための指定操作手段としても用いられる。利用者は各種キーを操作することにより、携帯電話機内に予め組み込まれている人の音声認識機能や動物の鳴き声認識機能などの複数種類の音認識機能から、実際に使用する一つ又は二つ以上の音認識機能を指定することができる。
さらに、入力装置２０４のマイク２８は、通話中の音声入力のほか、音認識対象の人の音声や動物の鳴き声等の音情報を取得する取得手段としても用いられる。

上記出力装置２０５は、画像表示手段としての液晶ディスプレイ（ＬＣＤ）からなるディスプレイ２９、スピーカ３０等から構成されている。
この出力装置２０５により、携帯電話通信網１０を介して受信したＷｅｂページ画面をディスプレイ２９に表示したり、携帯電話通信網１０から情報を着信した旨を利用者に報知したりすることができる。具体的には、その情報を着信すると、ディスプレイ２９に着信報知画像を表示したり、スピーカ３０から着信音を出力させたりする。また、出力装置２０５は、上記ゲーム等のアプリケーションプログラムの実行中に、そのプログラム実行に関連した画像の表示や音の出力に用いたり、情報提供サーバから受信した情報を表示したりするときにも用いられる。
さらに、出力装置２０５は、人の音声や動物の鳴き声などの音情報について認識処理したときの認識処理結果の情報又はその認識処理結果に関連する情報を出力する情報出力手段としても用いられる。すなわち、この出力装置２０５により、認識処理結果の情報又はその認識処理結果に関連する情報を、文字情報やイラストなどの画像情報としてディスプレイ２９上に表示したり、利用者が認識可能な音声情報としてスピーカ３０から出力したりすることができる。

上記携帯電話通信網用通信装置２０６は、携帯電話通信網１０の基地局との間で所定の手順による無線通信のための信号処理を行う無線通信回路等で構成され、携帯電話通信網１０を介して他の携帯電話機や上述したサーバ１１等と通信するためのものである。この携帯電話通信網用通信装置２０６により、携帯電話機通信網１０を介して他の携帯電話機とメールのやり取りを行ったり、携帯電話機通信網１０からゲートウェイサーバを介してインターネット等の外部の通信ネットワークに接続し、インターネット上での電子メールのやり取り等を行ったりすることができる。更に、この携帯電話通信網用通信装置２０６は、携帯電話通信網１０を介して、ダウンロードサーバ１１が提供するアプリケーションプログラムをダウンロードしたり、現在位置の位置情報を含む配信情報を受信したりする情報受信手段としても用いられる。
また、携帯電話通信網用通信装置２０６は、音情報の認識処理結果の情報又はその認識処理結果に関連する情報を、外出先にある携帯電話機やパソコンあるいは友人の携帯電話機やパソコン等の送信先に携帯電話通信網１０を介して送信する手段としても用いられる。

図５は、本発明の特徴部に係る携帯電話機２０の主要な機能を抽出して示した機能ブロック図である。また、図６は、その携帯電話機２０におけるソフトウェア構造の説明図である。この携帯電話機２０は、制御手段としての主制御部２１０と、アプリケーションプログラム実行管理手段２１１と、音情報取得手段２１３と、通信手段２１４とを備えている。
主制御部２１０は、上述のシステムバス２００、ＣＰＵ２０１やＲＡＭ２０２等で構成され、基本ソフト（ＯＳ）や所定のミドルウェアにより携帯電話機本来の通話やデータ通信等を行う電話機プラットフォームを主に制御するいわゆるネイテブ側の制御手段として用いられる。また、この主制御部２１０は、人の音声や動物の鳴き声などの音情報について認識処理を実行する認識処理手段２１２としても用いられる。

上記アプリケーションプログラム実行管理手段２１１は、上述のシステムバス２００、ＣＰＵ２０１やＲＡＭ２０２等で構成されている。このアプリケーションプログラム実行手段２１１は、図６のソフトウェア構造上において中央の「プログラム実行環境」に対応しており、オブジェクト指向プログラミングで開発されたアプリケーションプログラムに利用されるクラスライブラリ、実行環境管理ライブラリ、アプリケーション管理等のソフトウェアを提供し、アプリケーションプログラムの実行環境を管理する。
ここで、アプリケーションプログラムは、クラスライブラリＡＰＩ（アプリケーションインターフェース）を介して上記プログラム実行環境内にある関数等のクラスライブラリを呼び出して使用できるようになっている。この関数等のクラスライブラリの呼び出しの履歴は、アプリケーションプログラムの仮想的な実行環境（仮想マシン：ＶＭ）が終了するまで保持される。
また、プログラム実行環境内の実行環境管理ライブラリは、電話機プラットフォームＡＰＩを介して後述の電話機プラットフォーム内の電話機プラットフォームライブラリを呼び出して使用できるようになっている。

上記音情報取得手段２１３は、上記入力装置２０４のマイク２８等で構成され、主制御部２１０からの制御指令に基づいて、音認識対象の人の音声や動物の鳴き声等の音情報を取得する。

上記情報出力手段は、上記出力装置２０５のディスプレイ２９、スピーカ３０等で構成されている。この情報出力手段は、人の音声や動物の鳴き声などの音情報について認識処理したときの認識処理結果の情報又はその認識処理結果に関連する情報を、文字情報、イラストなどの画像情報、又は利用者が認識可能な音声情報として出力する。

上記通信手段２１５は、上記携帯電話通信網用通信装置２０６等で構成され、主制御部２１０からの制御指令に基づいて、音情報の認識処理結果の情報又はその認識処理結果に関連する情報を、外出先にある携帯電話機やパソコンあるいは友人の携帯電話機やパソコン等の送信先に携帯電話通信網１０を介して送信する。

上記主制御部２１０は、アプリケーションプログラム実行管理手段２１１、音情報取得手段２１３、情報出力手段２１４、通信手段２１４等との間で制御命令や各種データのやりとりを行い、これらと協働して制御を行う。また、主制御部２１０は、図６のソフトウェア構造上において最下部の「電話機プラットフォーム」にあり、上記電話通信等を制御するための制御用プログラムやユーザインターフェースを実行したり、電話機プラットフォームライブラリを提供したりする。この電話機プラットフォームは、上記プログラム実行環境内の実行環境管理ライブラリに対してイベントを送ることによりアプリケーションプログラムにおける各種処理を実行したり、アプリケーション管理ＡＰＩを介して上記プログラム実行環境内のアプリケーション管理のソフトウェアを呼び出して使用したりできるようになっている。

また、上記主制御部２１０は、前述のように人の音声や動物の鳴き声などの音情報について認識処理を実行する認識処理手段２１２としても用いられる。この認識処理手段２１２は、互いに異なる複数種類の音認識機能を有している。本実施形態では、３種類の音認識機能を有している。第１の音認識機能（以下、「音声認識エンジン１」という）は、利用者が発する「ミギ」という言葉の音声情報を認識する機能である。第２の音認識機能（以下、「音声認識エンジン２」という）は、利用者が発する「ヒダリ」という言葉の音声情報を認識する機能である。また、第３の音認識機能（以下、「鳴き声認識エンジン」という）は、犬等の動物の鳴き声の音声情報を認識し、その動物の喜怒哀楽などの感情を分析する機能である。これらの音認識機能（認識エンジン）はそれぞれ、認識処理用の辞書データと認識処理アルゴリズムとを組み合わせて実現することができる。辞書データは、認識対象の音情報について予め測定及び分析を行うことにより作成しておく。音認識機能（認識エンジン）の切り換えは、辞書データ及び認識処理アルゴリズムの切り換えによって行うことができる。この場合、辞書データ及び認識処理アルゴリズムの両方を切り換えてもいいし、辞書データ及び認識処理アルゴリズムのいずれか一方を切り換えてもよい。

携帯電話機２０を所定の手順に従って動作させる電話機プラットフォームを構築するための制御用プログラムは、ＲＡＭ２０２やＲＯＭ２０３に記憶されている。また、基本ＯＳ（オペレーティングシステム）やミドルウェアのプログラムや、上記プログラム実行環境を構築するためのプログラム、アプリケーションプログラム及びエンジンのも、ＲＡＭ２０２やＲＯＭ２０３に記憶されている。そして、これらのプログラムやデータは、必要に応じてＣＰＵ２０１やＲＡＭ２０２中の作業エリアに呼び出されて実行される。

上記構成の携帯電話機２０において、ダウンロードサーバ１１からアプリケーションプログラムをダウンロードするときは、利用者１は、入力装置２０４のキーを操作して、ダウンロードサーバ１１にアクセスする。これにより、ダウンロード可能なアプリケーションプログラムを選択するためのダウンロード選択画面がディスプレイ２９上に表示される。そして、そのダウンロード選択画面において、利用者が希望するアプリケーションプログラムをスクロールキー２４を用いて選択し、多機能キー２５を押下すると、主制御部２１０が携帯電話通信網用通信装置２０６を制御して、そのアプリケーションプログラムをダウンロードサーバ１１からダウンロードする。

このようにしてダウンロードしたアプリケーションプログラムを実行する場合、利用者１は、操作部のキーを操作して、実行するアプリケーションプログラムを選択するためのアプリケーション選択画面をディスプレイ２９上に表示させる。そして、そのアプリケーション選択画面において、利用者が希望するアプリケーションプログラムをスクロールキー２４を用いて選択し、多機能キー２５を押下すると、上記アプリケーションプログラム実行管理手段２１１はアプリケーションプログラムを起動する。このとき、必要に応じて設定データを参照し、その設定データに従った処理動作を行う環境を設定する。また、アプリケーションプログラム実行中に特定の処理動作を行う際、その処理動作に関する設定データを参照し、そのアプリケーションプログラムに適した処理動作を行うようにする。
アプリケーションプログラムとしては、各種キーを操作してゲーム等を楽しむアプリケーションプログラムのほか、ディスプレイ２９上に３次元動画からなる待ち受け画面を表示させたりする常駐型のアプリケーションプログラムなど、あらゆるアプリケーションプログラムが含まれる。

次に、本発明の特徴部分である、アプリケーションプログラムの実行中における音声や鳴き声の認識処理について説明する。
図１は、アプリケーションプログラムの実行中に利用者が発した音声（「ミギ」又は「ヒダリ」）を認識するときの処理を示すシーケンス図である。また、図７は、主制御部２１０における音認識機能（認識エンジン）の切り換え制御のフローチャートである。
まず、利用者は、携帯電話機２０のメインディスプレイ２９に表示したアプリケーションプログラムのリストから希望のアプリケーションプログラムを選択して実行することができる。このアプリケーションプログラムの実行中に、そのアプリケーションプログラムで定義されているソフトキー２６、２７を操作すると、そのキー操作の情報がアプリケーション側に送られる。アプリケーション側では、受け取ったキー操作の情報を用いてゲームを進行したり、再生音楽の曲目を選択したりすることができる。

次に、上記アプリケーションプログラムの実行中に、そのアプリケーションプログラムが音声認識処理又は鳴き声認識処理を要求する場合は、認識エンジン指定用の画面がディスプレイ２９に表示される。利用者はキーを操作し、上記３つの認識エンジン（音声認識エンジン１、音声認識エンジン２、鳴き声認識エンジン）の中からいずれか一つの認識エンジンを指定し、画面上の確定用アイコン（例えば「ＯＫ」）をクリックする。これにより、アプリケーションプログラム実行管理手段によるプログラム実行環境（ＶＭ）上で、利用者が指定した認識エンジンの識別子（１、２又は３）が付加された音認識開始要求の関数が呼び出される。この関数が呼び出されたプログラム実行環境（ＶＭ）は、上記識別子の情報とともに音認識開始要求の制御指令情報を電話機プラットフォームの主制御部２１０に送る。
電話機プラットフォームの主制御部２１０では、プログラム実行環境（ＶＭ）から受けた認識エンジン指定情報である識別子を解釈し、３つの認識エンジン（音声認識エンジン１、音声認識エンジン２、鳴き声認識エンジン）の中からいずれか一つの認識エンジンを選択する。そして、その選択した音認識処理が可能な待ち状態にする。この状態で、利用者は上記指定した認識エンジンに応じて、自分の音声（「ミギ」又は「ヒダリ」）や、犬などの動物の鳴き声等の音情報を入力する。この音情報が入力されると、上記指定された認識エンジンを用いた音認識処理（音声認識処理又は鳴き声認識処理）が実行される。この認識処理の結果の情報を生成し、プログラム実行環境（ＶＭ）に送る。図１は、鳴き声認識エンジンに切り換えて犬などの動物の鳴き声を認識する場合を示している。
プログラム実行環境（ＶＭ）は、主制御部２１０から受けた認識結果情報を用いて、ゲームなどのアプリケーションプログラムを進行させるように処理する。例えば、認識処理結果の情報が、人の音声の「ミギ」である場合は、アプリケーションプログラムの実行画面を右側にスクロールしたり、ゲームの実行画面上のキャラクターを右側に移動させたりする。また、認識処理結果の情報が、犬などの動物の鳴き声を認識して得られた喜怒哀楽の感情等を表す事柄（例えば「寂しい」、「うれしい」、「楽しい」、「お腹がすいた」）である場合は、その事柄を表す言葉を待受け画面上に表示したり、メールで遠隔地に送信したりする。また、これらの感情等の事柄を表す情報に基づいて、ゲームの進行を切り換えたりすることもできる。

なお、上記図１の例では、音声認識エンジン１及び音声認識エンジン２が日本語の複数の言葉（「ミギ」、「ヒダリ」）それぞれに対する音声認識エンジンである場合について示したが、複数の言語について音声認識エンジンを切り換えて使用できるようにしてもよい。
例えば、図８のように音声認識エンジン１が日本語の音声認識エンジンであり、音声認識エンジン２が英語の音声認識エンジンであり、これらの音声認識エンジン１及び音声認識エンジン２を切り換えて使用できるようにしてもよい。そして、日本語を話す利用者から英語を話す利用者に変わったときは、認識エンジン指定用の画面上で音声認識エンジン２を指定し、画面上の確定用アイコン（例えば「ＯＫ」）をクリックする。これにより、アプリケーションプログラム実行管理手段によるプログラム実行環境（ＶＭ）上で、利用者が指定した認識エンジンの識別子「２」が付加された音認識開始要求の関数が呼び出される。この関数が呼び出されたプログラム実行環境（ＶＭ）は、上記識別子の情報とともに音認識開始要求の制御指令情報を電話機プラットフォームの主制御部２１０に送る。
電話機プラットフォームの主制御部２１０では、プログラム実行環境（ＶＭ）から受けた認識エンジン指定情報である識別子を解釈し、音声認識エンジン２を選択し、その選択した音認識処理が可能な待ち状態にする。この状態で、利用者が英語で音声を入力すると、英語用の音声認識エンジン２を用いた音声認識処理が実行され、認識処理の結果の情報を生成してプログラム実行環境（ＶＭ）に送る。

以上、本実施形態によれば、３種類の認識対象の音情報（音声情報、鳴き声情報）ごとに、適切な音声認識エンジン又は鳴き声認識エンジンに切り換えて認識処理を実行することができる。したがって、音認識処理のための情報処理能力を高めることなく、３種類の認識対象の音情報について認識処理し、各認識処理の結果を利用できるようになる。
また、本実施形態によれば、アプリケーションプログラムの実行内容に応じて適切な音認識機能に切り換えて認識処理を実行できる。
また、本実施形態によれば、利用者の指定内容に応じて適切な音認識機能に切り換えて認識処理を実行できる。

なお、上記実施形態において、上記認識エンジンの切換えは、認識処理アルゴリズムを固定したまま、その認識処理アルゴリズムと組み合わせて用いる辞書データのみを切り換えることで行うことができる。この場合は、音認識機能の切り換え処理が簡易になる。
また、上記実施形態において、上記認識エンジンの切換えは、認識処理アルゴリズムと辞書データの両方を切り換えるようにしてもよい。この場合は、切り換え可能な音認識機能の種類の自由度が高まる。

また、上記実施形態において、上記辞書データをメモリカードに記憶させておき、このメモリーカードを携帯電話機２０のカード装着手段に装着して音認識処理を実行するようにしてもよい。メモリーカードに記憶されている辞書データは、主制御部２１０に読み出して音認識処理に使用される。この場合は、メモリーカードを変えることにより音認識機能に切り換えることができる。なお、メモリーカードには、上記辞書データだけでなく、その辞書データと組み合わせて用いる認識処理アルゴリズムのプログラムを記憶させておいてもよい。

また、上記実施形態において、音声情報や鳴き声情報の認識処理結果の情報を、利用者が認識可能な文字情報や、音声情報、イラスト等の画像情報として出力してもよい。この場合は、認識処理結果の情報又は認識処理結果に関連する情報を、利用者が文字や画像として見たり、音声として聞いたりすることができ、利用者が文字、画像あるいは音声の情報として利用できる。
また、上記実施形態において、音声情報や鳴き声情報の認識処理結果の情報を、携帯電話通信網１０を介して他の携帯電話機やパーソナルコンピュータに送信してもよい。この場合は、音情報の認識処理結果の情報又はその認識処理結果に関連する情報を、遠隔地で利用できる。
また、上記出力したり送信したりする情報は、認識処理結果の情報そのものだけでなく、その認識処理結果に関連する情報であってもよい。この認識処理結果に関連する情報は、認識結果に予め対応させて設定しておいた情報である。例えば、上記ゲームのアプリケーションプログラムを実行しているときに利用者が音声でゲームの進行内容を指示した場合、その指示の内容のそのものではなく、ゲームのアプリケーションプログラム側が上記指示の内容に応答する応答内容の情報であってもよい。
また、上記実施形態では、人の音声や犬などの動物の鳴き声をマイクで入力することによって音情報を取得しているが、音情報の取得の形態はこれに限定されるものではない。例えば、電子データになっている音情報のファイルを携帯電話通信網などの通信ネットワークを介してダウンロードしたり、上記音情報のファイルが添付されたメールを受信したりすることによって取得してもよい。また、上記音情報のファイルが保存されているメモリーカードを装着し、そのメモリーカードから音情報のファイルを読み出して取得するようにしてもよい。

また、上記実施形態では、ＪＡＶＡ（登録商標）等のプログラム言語を用いたプラットフォームに依存しないオブジェクト指向のプログラミングで開発されたアプリケーションプログラムを実行できる携帯電話機について説明したが、本発明は、携帯電話機で実行するアプリケーションプログラムの種類に限定されることなく適用でき、同様な効果が得られるものである。
また、本発明は、アプリケーションプログラムを実行可能で、かつ、通信ネットワーク上で配信されている閲覧画面を閲覧可能なものであれば、ＰＨＳ、自動車電話機等の電話機のほか、携帯型のＰＤＡの場合についても適用でき、同様な効果が得られるものである。

本発明の実施形態に係る携帯電話機におけるアプリケーションプログラムの実行中に利用者が発した音声を認識するときの処理を示すシーケンス図。 同携帯電話機を用いる移動体通信システムの主要部を示す説明図。 同携帯電話機の外観図。 同携帯電話機のハードウェア構成を示す概略構成図。 同携帯電話機の主要部を抽出して示した機能ブロック図。 同携帯電話機におけるソフトウェア構造の説明図。 主制御部における音認識機能（認識エンジン）の切り換え制御のフローチャート。 アプリケーションプログラムの実行中に利用者が発した音声を認識するときの変形例に係る処理を示すシーケンス図。

符号の説明

１０ 携帯電話通信網
２０ 携帯電話機
２１０ 主制御部
２１１ アプリケーションプログラム実行管理手段
２１２ 認識処理手段
２１３ 音情報取得手段
２１４ 情報出力手段
２１５ 通信手段

Claims (8)

1. 音情報を取得する音情報取得手段と、該音情報取得手段で取得した音情報について認識処理を実行する認識処理手段と、移動体通信ネットワークを介して通信を行うための通信手段とを備えた移動体通信端末であって、
   該認識処理手段は、互いに異なる複数種類の音認識機能を有し、
   該複数種類の音認識機能を切り換えて認識処理を実行するように該認識処理手段を制御する制御手段を備えたことを特徴とする移動体通信端末。
2. 請求項１の移動体通信端末において、
   上記制御手段との間で制御指令情報の送受信が可能に構成された、アプリケーションプログラムの実行環境を管理するアプリケーションプログラム実行環境管理手段を備え、
   上記制御手段は、該アプリケーションプログラム実行環境管理手段から受けた音認識機能指定用の制御指令情報に基づいて上記複数種類の音認識機能のいずれかを選択して認識処理を実行するように上記認識処理手段を制御することを特徴とする移動体通信端末。
3. 請求項１の移動体通信端末において、
   上記複数種類の音認識機能のいずれかを利用者が指定するための指定操作手段を備え、
   上記制御手段は、該指定操作手段の操作によって生成された音認識機能指定用の制御指令情報に基づいて上記複数種類の音認識機能のいずれかを選択して認識処理を実行するように上記認識処理手段を制御することを特徴とする移動体通信端末。
4. 請求項１乃至３のいずれかの移動体通信端末において、
   上記認識処理手段は、上記複数の音認識機能のそれぞれについて所定の認識処理用の辞書データと所定の認識処理アルゴリズムとを用いて認識処理を実行し、該辞書データを切り換えることによって上記音認識機能の切り換えを行うことを特徴とする移動体通信端末。
5. 請求項４の移動体通信端末において、
   上記認識処理手段は、上記辞書データとともに上記認識処理アルゴリズムを切り換えることによって上記音認識機能の切り換えを行うことを特徴とする移動体通信端末。
6. 請求項４又は５の移動体通信端末において、
   上記辞書データ及び上記認識処理アルゴリズムのプログラムの少なくとも一方を記憶したメモリーカードを装着するためのカード装着手段と、
   上記制御手段は、上記辞書データ及び上記認識処理アルゴリズムのプログラムの少なくとも一方を記憶したメモリーカードが該カード装着手段に装着されたとき、該メモリカードに記憶されている該辞書データ及び該認識処理アルゴリズムのプログラムの少なくとも一方を用いて上記認識処理を実行するように、上記認識処理手段を制御することを特徴とする移動体通信端末。
7. 請求項１乃至６のいずれかの移動体通信端末において、
   上記認識処理手段の認識処理結果の情報又は該認識処理結果に関連する情報を、文字情報、音声情報及び画像情報の少なくとも一つとして出力する情報出力手段を備えたことを特徴とする移動体通信端末。
8. 請求項１乃至７のいずれかの移動体通信端末において、
   上記制御手段は、上記認識処理手段の認識処理結果の情報又は該認識処理結果に関連する情報を所定の送信先に上記通信ネットワークを介して送信するように上記通信手段を制御することを特徴とする移動体通信端末。

Images