JP2013157959A

JP2013157959A - 携帯端末機器、携帯端末機器の音声認識処理方法、およびプログラム

Info

Publication number: JP2013157959A
Application number: JP2012019325A
Authority: JP
Inventors: Motomasa Sugiura; 元將杉浦
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2012-01-31
Filing date: 2012-01-31
Publication date: 2013-08-15
Also published as: US20130197916A1

Abstract

【課題】音声入力の代替として加速度センサの入力により確認応答を行なう携帯端末機器を提供する。
【解決手段】実施形態によれば、機器本体と、音声を入力し、デジタル信号に変換し出力する音声入力部と、加速度センサを備え、機器本体の動きまたは状態、もしくはその両方を検出して出力する状態検出部と、音声入力部から出力されたデジタル信号に対応する予め定められた複数の音声認識処理を記憶する第１記憶部と、予め定められた機器本体の動きまたは状態もしくはそれらの組み合せの動き・状態パターンを記憶する第２記憶部と、音声入力部から出力されたデジタル信号に基づいて記憶部から出力された音声認識処理と、状態検出部が検出した機器本体の動きまたは状態もしくはそれらの組合わせの動き・状態パターンとに応じて、出力された音声認識処理を実行する実行部とを具備する。
【選択図】図３

Description

本発明の実施形態は、音声認識結果に対する応答を制御する携帯端末機器、携帯端末機器の制御方法、およびプログラムに関する。

近年、スマートフォンや携帯電話機、スレート（又はタブレット）ＰＣ（パーソナルコンピューター）等のような携帯端末機器が開発され普及してきている。この携帯端末機器は、複数の機能、通話及び通信手段を有しており、その複数の機能には、音声認識技術を用いて、音声を音声コマンドとして入力し各種アプリケーションの動作などを制御する機能を備えたものがある（例えば、特許文献１参照）。

特開２００３−２２３３１４号公報

しかし、従来の音声認識技術では、マイクロフォンに音声を入力する際の外部の雑音により誤認識が発生する場合があった。そのため、電子機器による認識結果であるコマンドがユーザの認識しているコマンドと一致しているかを、ユーザに確認する必要があった。

この確認の際に、音声入力がされるのを待つ待機時間が設定されている場合、確認応答の音声入力が間に合わず、タイムアウトしてしまうことがある。これは、長い音声入力が必要となるコマンドであるほど入力に時間がかかるからである。また、異なる課題として、確認の際に、再度音声認識によりコマンドの正否を確認すると、外部の雑音により再度誤認識が生じてしまう可能性がある。

本発明の目的は、音声入力の代替として加速度センサの入力により確認応答を行なう携帯端末機器、携帯端末機器の制御方法、およびプログラムを提供することにある。

実施形態によれば、携帯端末機器は、機器本体と、音声を入力し、デジタル信号に変換し出力する音声入力部と、加速度センサを備え、前記機器本体の動きまたは状態、もしくはその両方を検出して出力する状態検出部と、前記音声入力部から出力されたデジタル信号に対応する予め定められた複数の音声認識処理を記憶する第１記憶部と、予め定められた機器本体の動きまたは状態もしくはそれらの組み合せの動き・状態パターンを記憶する第２記憶部と、前記音声入力部から出力されたデジタル信号に基づいて記憶部から出力された音声認識処理と、前記状態検出部が検出した前記機器本体の動きまたは状態もしくはそれらの組合わせの動き・状態パターンとに応じて、前記出力された音声認識処理を実行する実行部とを具備する。

実施形態の携帯端末機器を示す外観斜視図である。実施形態の携帯端末機器の主な機能構成を示す概略的な機能ブロック図である。実施形態の携帯端末機器による音声認識結果の確認応答制御の手順を示すフローチャートである。実施形態の携帯端末機器の音声認識結果の確認画面である。

以下、本発明の実施の形態の携帯端末ききを添付図面に基づいて説明する。本発明を適用する携帯端末機器として、カード型に形成され、ユーザがディスプレイを指で触れることで操作指示を入力することができる携帯端末機器を例に挙げて説明する。

図１は、本発明に係る携帯端末機器を示す外観斜視図である。

携帯端末機器１は、矩形の板状の筐体１１を備える。この筐体１１の一方の表面には、タッチパネル１４が構成される。

このタッチパネル１４は、表示部と入力部との双方の機能を備える。タッチパネル１４は、ディスプレイ（図２のディスプレイ１７）と、上面に複数配置された接触動作を検出するための素子およびさらにその上に積層された透明な操作面（図２のタッチセンサ１８）で構成される。

ディスプレイ（表示部）としてのタッチパネル１４は、文字や画像などからなる表示画面を表示する領域を備える。このディスプレイは、例えばＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、無機ＥＬディスプレイで構成される。

タッチセンサ（入力部）としてのタッチパネル１４は、操作面に対して接触する接触物の動作を検出することにより指示を受け付ける。

筐体１１の長手方向における対向位置には、音声を出力するためのスピーカ１５と、音声を入力するためのマイクロフォン１６とがそれぞれ配置される。

図２は、本実施形態における携帯端末機器１の主な機能構成を示す概略的な機能ブロック図である。携帯端末機器１は、主制御部３０、電源回路部３１、入力制御部３２、表示制御部３３、音声入力部３４、通信制御部３５、記憶部３６、状態検出部３７がバスによって相互に通信可能に接続されて構成されている。

主制御部３０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を具備する。主制御部３０は、記憶部３６に記憶された各種プログラムに基づき動作して、携帯端末機器１の総括的な制御を行う。

電源回路部３１は、電力供給源（図示せず）を備える。電源回路部３１は、電源をＯＮする操作に基づいて携帯端末機器１の電源のＯＮ／ＯＦＦ状態を切り替える。電源回路部３１は、電源がＯＮ状態の場合に電力供給源から各部に対して電力を供給して、携帯端末機器１を動作可能にする。

入力制御部３２はタッチセンサ１８に対する入力インタフェースを備える。入力制御部３２は、所定時間毎にタッチセンサ１８からの検知信号を入力位置の座標を示す情報として受け取り、その入力を示す信号を生成して主制御部３０に伝送する。

表示制御部３３はディスプレイ１７に対する表示インタフェースを備える。表示制御部３３は、主制御部３０の制御に基づいて、文書データや画像信号に基づいた画像をディスプレイ１７に表示させる。

音声入力部３４は、主制御部３０の制御に基づいて、マイクロフォン１６で集音された音声からアナログ音声信号を生成し、このアナログ音声信号をデジタル音声信号に変換する。また音声入力部３４は、デジタル音声信号を取得すると、主制御部３０の制御に基づいて、このデジタル音声信号をアナログ音声信号に変換し、スピーカ１５から音声として出力する。

通信制御部３５は、主制御部３０の制御に基づいて、基地局からアンテナ３８を介して受信した受信信号をスペクトラム逆拡散処理してデータを復元する。このデータは、主制御部３０の指示により、音声入力部３４に伝送されてスピーカ１５から出力されたり、表示制御部３３に伝送されてディスプレイ１７に表示されたり、または記憶部３６に記録されたりする。また通信制御部３５は、主制御部３０の制御に基づいて、マイクロフォン１６で集音された音声データやタッチパネル１４を介して入力されたデータや記憶部３６に記憶されたデータを取得すると、これらのデータに対してスペクトラム拡散処理を行い、基地局に対してアンテナ３８を介して送信する。

記憶部３６は、主制御部３０が行う処理についての処理プログラムや処理に必要なデータなどを格納するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やハードディスク、不揮発性メモリ、データベース、主制御部３０が処理を行う際に使用されるデータを一時的に記憶するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などから構成される。特に、記憶部３６は、本実施形態において主制御部３０により実行される各種処理の処理プログラムを格納する。

状態検出部３７は、加速度センサ３９を備え、携帯端末機器本体の動きまたは状態、もしくはその両方を検出し出力する。動きまたは状態、もしくはその両方とは、携帯端末機器本体に動きがあった時、または、例えば水平状態にあるか或いは水平からある程度以上傾いているかの状態、もしくは動きの有無と傾きの有無の両方を勘案(考慮)した状態をいう。

加速度センサ３９は、例えば、３軸加速度センサである。３軸加速度センサは、ｘ軸、ｙ軸、ｚ軸の各検出軸を互いに直交させた形の３つのセンサを用いることによって、３次元空間内における加速度の大きさと向きを得、それらをベクトル成分として合成して加速度がかかっている向きと大きさを検出できる。

記憶部３６は、音声入力部３４から出力されたデジタル信号に対応する予め定められた複数の音声認識処理を記憶する。複数の音声認識処理とは、例えば、音声をコマンドとして受付けそのコマンドにより予め定められたアプリケーションを操作する処理とを少なくとも含むものである。例えば、文書作成ソフトにおいて、使用者がマイクロフォン１６に発声した「保存」という音声に対するデジタル信号に対しては、作成中の文書を保存する処理が音声認識処理にあたる。

また、記憶部３６は、複数の音声認識処理に対して、予め定められた携帯端末機器本体の動きまたは状態の動き・状態パターンモデルに応じてどのように処理するかの処理パターンを記憶する。

音声認識処理実行部４０は、音声入力部３４から出力されたデジタル信号に基づいて記憶部３６から出力された音声認識処理に従い、音声認識処理（音声コマンド）を実行する。

また、音声入力部３４から出力されたデジタル信号に基づいて記憶部３６から出力された音声認識処理に対して、状態検出部３７が検出した携帯端末機器本体の動きまたは状態の動き・状態パターンモデルに応じて決定された処理パターンを実行する。

次に、図３のフローチャートを参照して実施形態の携帯端末機器の動作を説明する。

以下の動作では、下記ステップによる動作に先立ち、機器本体の電源は投入されているものとする。
まず、ステップＳ１で、音声入力部３４が、マイクロフォン１６から音声が入力されたかを検出し出力する。そして、音声認識処理実行部４０は、音声入力部３４から出力されたデジタル信号が記憶部３６に記憶されている複数の音声コマンドのいずれかとマッチングするかを検出する。

マッチングした場合は、入力された音声コマンドが正しいかを確認するメッセージを表示する（ステップＳ２）。ここで、音声コマンドが正しいかを確認するメッセージの表示の一例として、図４を示す。図４は、音声コマンドが「保存」である場合の確認メッセージの画面である。

次に、ステップＳ３で、状態検出部３７が、加速度センサ３９から機器本体の動き又は傾き状態、もしくはその両方の状態を入力があったかを検出する。そして、状態検出部３７が加速度センサ３９から機器本体の動き又は傾き状態、もしくはその両方の状態の入力があったことを検出した場合は、ステップＳ４で、音声認識処理実行部４０は、音声入力部３４から出力されたデジタル信号とマッチした音声コマンドを実行する。

一方、ステップＳ３で、状態検出部３７が加速度センサ３９から機器本体の動き又は傾き状態、もしくはその両方の状態を入力があったことを検出しなかった場合は、ステップＳ５で、音声認識処理実行部４０は、音声入力部３４から再度デジタル信号が入力されたか否かを判定する。ここで、ユーザによってマイクロフォン１６から「Ｙｅｓ」の音声が入力された場合は、ステップＳ４で、音声認識処理実行部４０は、音声入力部３４から出力されたデジタル信号とマッチした音声コマンドを実行する。一方、ユーザによってマイクロフォン１６から「Ｎｏ」の音声が入力された場合は、ステップＳ６に進む。

ステップＳ６で、音声認識処理実行部４０は、音声入力部３４からのデジタル信号の入力を所定時間（例えば、３秒）受けなかった場合、音声コマンドの処理をキャンセルし、処理を終了する（ステップＳ７）。

この実施形態によれば、使用者は機器を動かす又は／及び傾けるという動作のみによって、音声認識による音声コマンドを実行することが可能となる。つまり、簡易な動作で音声コマンドの確認応答が可能となる。また、外部の雑音に影響されずに、音声コマンドの正否に対して、より確実に確認応答することが可能となる。

なお、携帯端末機器は、ポータブルテレビ、ポータブルＤＶＤレコーダー、ポータブルＢｒｕ−ｒａｙレコーダーとして実現されていても良い。

また、上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行しても良い。

さらに、本発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。

上記実施形態で説明された各モジュールの機能を実現するためには、プロセッサによって実行されるソフトウェアアプリケーションによって実現しても良いし、ハードウェアによる処理回路によって実現しても良いし、ハードウェアによって実現しても良いし、ソフトウェアアプリケーション、ハードウェア、およびソフトウェアモジュールを組み合わせて実現しても良い。

本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

３０…主制御部、３４…音声入力部、３６…記憶部、３７…状態検出部３７、４０…音声認識処理実行部。

Claims

機器本体と、
音声を入力し、デジタル信号に変換し出力する音声入力部と、
加速度センサを備え、前記機器本体の動きまたは状態、もしくはその両方を検出して出力する状態検出部と、
前記音声入力部から出力されたデジタル信号に対応する予め定められた複数の音声認識処理を記憶する第１記憶部と、
予め定められた機器本体の動きまたは状態もしくはそれらの組み合せの動き・状態パターンを記憶する第２記憶部と、
前記音声入力部から出力されたデジタル信号に基づいて記憶部から出力された音声認識処理と、前記状態検出部が検出した前記機器本体の動きまたは状態もしくはそれらの組合わせの動き・状態パターンとに応じて、前記出力された音声認識処理を実行する実行部と
を具備する携帯端末機器。
前記状態検出部が前記機器本体の動きまたは状態、もしくはその両方を検出しない状態が所定時間経過した場合は、前記記憶部から出力された音声認識処理を中止する請求項１に記載の携帯端末機器。
前記加速度センサは、３軸加速度センサである請求項１又は２に記載の携帯端末機器。
音声を入力し、デジタル信号に変換し出力し、
加速度センサによって前記機器本体の動きまたは状態、もしくはその両方を検出して出力し、
前記出力されたデジタル信号に基づいて出力された音声認識処理と、前記加速度センサによって検出して出力された前記機器本体の動きまたは状態もしくはそれらの組合わせの動き・状態パターンとに応じて、前記出力された音声認識処理を実行する音声認識処理方法。
音声を入力し、デジタル信号に変換し出力する手順と、
加速度センサによって前記機器本体の動きまたは状態、もしくはその両方を検出して出力する手順と、
前記出力されたデジタル信号に基づいて出力された音声認識処理と、前記加速度センサによって検出して出力された前記機器本体の動きまたは状態もしくはそれらの組合わせの動き・状態パターンとに応じて、前記出力された音声認識処理を実行する手順と
をコンピュータに実行させるプログラム。