JP2015012301A - 携帯電話機、携帯端末、音声操作プログラムおよび音声操作方法 - Google Patents

Abstract

【課題】発呼を指示すると発呼することが出来、音声認識機能による誤動作を軽減させることが出来る携帯電話機、音声操作プログラムおよび音声操作方法を提供する。【解決手段】携帯電話機１０のハウジング１２には、ディスプレイ１４および近接センサ２４などが設けられている。たとえば、所定画面としてロック画面が表示されている状態でユーザが携帯電話機１０を自身の顔に近づけると顔の近接が検出され、音声認識機能が実行される。この状態で、登録されているアドレスデータを指定し、かつ発呼を指示する音声が入力されると、実行する機能として電話機能が特定され、認識結果から任意のアドレスデータが選択される。そして、そのアドレスデータに含まれる電話番号に基づいて、発呼処理が実行される。【選択図】図１

Description

この発明は、携帯電話機、携帯端末、音声操作プログラムおよび音声操作方法に関し、特に音声を認識する携帯電話機、携帯端末、音声操作プログラムおよび音声操作方法に関する。

背景技術の一例が特許文献１に開示されている。特許文献１の電話機では、操作者がハンドセットを口の近くに持っていきハンドセット内に設置された近接スイッチによって近接が検出されると、音声を認識する認識モードが実行される。このとき、予め登録した音声と類似する音声が入力されれば、登録された音声と対応付けられている電話番号に基づいてダイヤル信号が送出される。つまり、音声認識による自動ダイヤリング操作が行われる。
特公平6-18395［H04M 1/27, G10L 3/00］

ところが、特許文献１の技術が携帯電話機に適用された場合、携帯電話機をカバンの中に入れた状態では、近接スイッチが誤動作して音声認識モードが実行されてしまう場合がある。この状態では、操作者の意図に反して自動ダイヤリング操作が行われてしまう可能性がある。

それゆえに、この発明の主たる目的は、新規な、携帯電話機、携帯端末、音声操作プログラムおよび音声操作方法を提供することである。

この発明の他の目的は、発呼を指示すると発呼することが出来る携帯電話機、音声操作プログラムおよび音声操作方法を提供することである。

この発明のその他の目的は、音声認識機能による誤動作を軽減させることが出来る、携帯端末を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、表示部を有する、携帯電話機であって、対象物の近接を検出する検出部、表示部に所定画面が表示されているときに検出部が対象物の近接を検出したかを判断する判断部、判断部によって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識部、および音声認識部の認識結果によって発呼が指示された場合には、当該認識結果に基づき発呼する発呼部を備える、携帯電話機である。

第１の発明では、携帯電話機（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）は、ＬＣＤまたは有機ＥＬなどの表示部（１４）を有する。検出部（２４）は、たとえば赤外線を利用して、ユーザの顔などの対象部の近接を検出する。所定画面が表示されているときに、判断部（３０，Ｓ７）は対象物の近接が検出されたかを判断する。所定画面が表示されている状態で対象物の近接が検出されると、音声認識部（３０，Ｓ１３）は対象物の近接が検出されている間に入力された音声を認識する。所定画面が表示されている状態で対象物の近接が検出されているときに発呼を指示する認識結果が得られたとき、発呼部（３０，Ｓ３３）はその認識結果に基づいて発呼する。

第１の発明によれば、ユーザは所定画面が表示部に表示されている状態で顔を近づけて発呼を指示すると発呼することが出来る。

第２の発明は、第１の発明に従属し、発呼部は、音声認識部の認識結果に数字が含まれるとき、その数字を電話番号として発呼する。

第２の発明では、たとえば電話番号入力画面が表示されている状態で音声が入力されると、音声認識部は入力された音声を認識する。そして、発呼部は認識結果に数字が含まれている場合、その数字を電話番号として発呼する。

第３の発明は、第１の発明または第２の発明に従属し、電話番号を含むアドレスデータを記憶する記憶部をさらに備え、発呼部は、音声認識部の認識結果がアドレスデータを示すとき、そのアドレスデータに基づいて発呼する。

第３の発明では、記憶部（４４）はたとえばフラッシュメモリであり、複数のアドレスデータを含むアドレス帳データを記憶する。各アドレスデータには相手の電話番号などが含まれる。所定画面が表示されているときに音声が入力されると、音声認識部は入力された音声を認識する。そして、認識結果が記憶されているアドレスデータを指定しているとき、発呼部はそのアドレスデータに含まれる電話番号に対して発呼する。

第２の発明または第３の発明によれば、ユーザは、登録済みのアドレスデータを指定する単語または電話番号を音声入力するだけで発呼することが出来る。

第４の発明は、第１の発明ないし第３の発明のいずれかに従属し、所定画面は、電話機能に関連する画面を含む。

第４の発明では、電話機能に関連する画面には、たとえば電話番号入力画面や、上述のアドレス帳データを表示するアドレス画面などが含まれる。

第４の発明によれば、電話機能に関連する画面が表示されていれば、ユーザは容易に発呼することが出来る。

第５の発明は、第１の発明ないし第４の発明のいずれかに従属し、所定画面は、ロック画面を含む。

第５の発明では、ロック画面が表示されているときに音声が入力されると、音声認識部はその音声を認識する。このとき、記憶されているアドレスデータが指定された場合、発呼部はそのアドレスデータに基づいて発呼する。

第５の発明によれば、ユーザはロック状態を解除することなく発呼することが出来る。

第６の発明は、第１の発明ないし第５の発明のいずれかに従属し、表示部に設けられるタッチパネル、および判断部によって対象物の近接を検出したと判断されたとき、タッチパネルに基づく操作を無効にする無効部をさらに備える。

第６の発明では、タッチパネル（１６）はポインティングデバイスとも呼ばれ、表示部の上に設けられる。タッチパネルの周囲に検出部は設けられる。そのため、対象物の近接が検出されたとき、無効部（３０，Ｓ１１）は、タッチパネルに基づく操作を無効化する。

第６の発明によれば、顔などがタッチパネルに近接することによって生じる誤操作が発生しないようにすることができる。

第７の発明は、表示部（１４）および対象物の近接を検出する検出部（２４）を有する、携帯電話機（１０）のプロセッサ（３０）を、表示部に所定画面が表示されているときに検出部が対象物の近接を検出したかを判断する判断部（Ｓ７）、判断部によって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識部（Ｓ１３）、および音声認識部の認識結果によって発呼が指示された場合には、当該認識結果に基づき発呼する発呼部（Ｓ３３）として機能させる、音声操作プログラムである。

第７の発明でも、第１の発明と同様、ユーザは所定画面が表示部に表示されている状態で顔を近づけて発呼を指示すると発呼することが出来る。

第８の発明は、表示部（１４）および対象物の近接を検出する検出部（２４）を有する、携帯電話機（１０）における音声操作方法であって、携帯電話機のプロセッサ（３０）が、表示部に所定画面が表示されているときに検出部が対象物の近接を検出したかを判断する判断ステップ（Ｓ７）、判断ステップによって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識ステップ（Ｓ１３）、および音声認識ステップの認識結果によって発呼が指示された場合には、当該認識結果に基づき発呼する発呼ステップ（Ｓ３３）、を実行する、音声操作方法である。

第８の発明でも、第１の発明と同様、ユーザは所定画面が表示部に表示されている状態で顔を近づけて発呼を指示すると発呼することが出来る。

第９の発明は、表示部を有する、携帯端末であって、対象物の近接を検出する検出部、表示部に所定画面が表示されているときに検出部が対象物の近接を検出したかを判断する判断部、判断部によって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識部、および音声認識部の認識結果が有効な場合には、当該認識結果に基づき機能を実行する実行部を備える、携帯端末である。

第９の発明では、表示部（１４）を有する携帯端末（１０）は、第１の発明と同様、検出部（２４）、判断部（３０，Ｓ７）および音声認識部（３０，Ｓ１３）を備える。そして、携帯端末の実行部（３０，Ｓ３３）は、所定画面が表示されている状態で対象物の近接が検出されているときに有効な認識結果が得られると、その認識結果に基づいて機能を実行する。

第９の発明によれば、ユーザは音声操作を適切に利用することが出来る。

第１０の発明は、第９の発明に従属し、所定画面に対応する機能を示す機能情報を記憶する記憶部、および記憶部によって記憶された機能情報に基づいて機能を特定する第１特定部をさらに備え、実行部は、音声認識部の認識結果に基づいて第１特定部によって特定された機能を実行する。

第１０の発明では、所定画面には機能情報が対応付けられており、このことが記憶部（４６）に記憶されている。第１特定部（３０，Ｓ２７）は、機能情報にもとづいて、所定画面と対応する機能を特定する。たとえば、特定された機能が地図機能であり、認識結果がルート検索を指示する内容であれば、実行部は、ルート検索を行うように地図機能を実行する。

第１０の発明によれば、任意の機能が実行されている状態であっても、ユーザは音声操作によってその機能を操作することが出来る。

第１１の発明は、第９の発明または第１０の発明に従属し、所定画面は、ロック画面を含み、ロック画面が表示されているときに対象物の近接が検出されているとき、音声認識部の認識結果から機能を示す情報を抽出する抽出部、および抽出部によって抽出された情報に基づいて機能を特定する第２特定部をさらに備え、実行部は、音声認識部の認識結果に基づいて第２特定部によって特定された機能を実行する。

第１１の発明では、ロック画面が表示されているときに音声が入力されると、音声認識部は入力された音声を認識する。抽出部（３０，Ｓ２９）は、このようにして得られた認識結果から機能を示す情報（「ルート」など）を抽出する。第２特定部（３０，Ｓ３１）は、抽出された情報に基づいて実行する機能を特定する。たとえば、地図機能が特定され、ルート検索が指示されている場合、実行部はルート検索を行うように地図機能を実行する。

第１１の発明によれば、ユーザはロック画面の解除操作を行うことなく、任意の機能を音声操作によって実行することが出来る。

この発明によれば、発呼を指示すると発呼することが出来る。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の携帯電話機を示す外観図であり、図１（Ａ）は携帯電話機の主面を示し、図１（Ｂ）は携帯電話機の他面を示す。 図２は図１に示す携帯電話機の電気的な構成を示す図解図である。 図３は図１に示すディスプレイに表示されるロック画面の一例を示す図解図である。 図４は図１に示す携帯電話機に設定されているロック状態を解除するときの操作の一例を示す図解図であり、図４（Ａ）は図３に示すロック画面に円周がさらに表示された状態の一例を示し、図４（Ｂ）は図３に示すロックオブジェクトに対して行われるタッチ操作の方向の一例を示し、図４（Ｃ）はホーム画面の一例を示す。 図５は図１に示す携帯電話機に設定されているロック状態を解除するときの操作の他の一例を示す図解図であり、図５（Ａ）は図４（Ａ）に示すロックオブジェクトに対して行われるタッチ操作の方向の他の一例を示し、図５（Ｃ）はロック状態が解除された後にカメラ機能が実行された状態の一例を示す。 図６は図１に示すディスプレイに電話機能に関連する画面が表示されている状態の一例を示す図解図であり、図６（Ａ）は電話番号入力画面の一例を示し、図６（Ｂ）はアドレス画面の一例を示す。 図７は図１に示すディスプレイに発呼中画面が表示されている状態の一例を示す図解図である。 図８は図１に示すディスプレイに電話機能に関連する画面が表示されている状態の他の一例を示す図解図であり、図８（Ａ）は電話番号入力画面の他の一例を示し、図８（Ｂ）はアドレス画面の他の一例を示す。 図９は図１に示すディスプレイに表示されるロック画面の他の一例を示す図解図である。 図１０は図１に示すディスプレイに地図機能画面が表示されている状態の一例を示す図解図であり、図１０（Ａ）はルート検索によって得られた地図の一例を示し、図１０（Ｂ）は或る施設の周辺地図を示す。 図１１は図１に示すディスプレイにカレンダー機能画面が表示されている状態の一例を示す図解図であり、図１１（Ａ）は或る月のカレンダーの一例を示し、図１１（Ｂ）はスケジュールが登録されている状態の一例を示す。 図１２は図１に示すディスプレイにメモ帳機能画面が表示されている状態の一例を示す図解図である。 図１３は図１に示すディスプレイにメール機能画面が表示されている状態の一例を示す図解図である。 図１４は図１に示すディスプレイにブラウザ機能画面が表示されている状態の一例を示す図解図である。 図１５は図１に示すディスプレイに時計機能画面が表示されている状態の一例を示す図解図であり、図１５（Ａ）は或る時刻が表示されている状態を示し、図１５（Ｂ）はアラームが設定されている状態一例を示す。 図１６は図１に示すディスプレイにミニブログ機能画面が表示されている状態の一例を示す図解図である。 図１７は図２に示すＲＡＭに記憶される画面ＩＤテーブルの構成の一例を示す図解図である。 図１８は図２に示すＲＡＭのメモリマップの一例を示す図解図である。 図１９は図２に示すプロセッサの音声操作処理の一部の一例を示すフロー図である。 図２０は図２に示すプロセッサの音声操作処理の他の一部の一例であって、図１９に後続するフロー図である。 図２１は図２に示すプロセッサの近接検出処理の一例を示すフロー図である。

図１（Ａ），（Ｂ）を参照して、この発明の一実施例の携帯電話機１０は、一例としてスマートフォン（smart phone）であり、縦長の扁平矩形のハウジング１２を含む。ただし、この発明は、タブレット端末、ＰＤＡなど任意の携帯端末に適用可能であることを予め指摘しておく。

ハウジング１２の一方主面（表面）には、表示部として機能する、たとえば液晶や有機ＥＬなどのディスプレイ１４が設けられる。ディスプレイ１４の上には、タッチパネル１６が設けられる。

ハウジング１２の縦方向一端の主面側にスピーカ１８が内蔵され、縦方向他端の主面側にマイク２０が内蔵される。

ハウジング１２の一方主面には、タッチパネル１６と共に入力操作手段を構成するハードキーとして、この実施例では、通話キー２２ａ、終話キー２２ｂおよびメニューキー２２ｃが設けられる。

また、ハウジング１２の一方主面においてスピーカ１８の近くには、近接センサ２４が設けられている。ハウジング１２の他面（裏面）の縦方向一端には、カメラモジュール５０（図２参照）に通じるレンズ開口２６が設けられている。ただし、近接センサ２４のセンサ面と、カメラモジュール５０に含まれるイメージセンサのセンサ面とはハウジング１２から露出するように設けられ、その他の部分はハウジング１２に内蔵される。

たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルキーに対して、タッチパネル１６によってタッチ操作を行うことで電話番号を入力でき、通話キー２２ａを操作して音声通話を開始することができる。終話キー２２ｂを操作すれば、音声通話を終了することができる。なお、ユーザは終話キー２２ｂを長押しすることによって、携帯電話機１０の電源をオン／オフすることができる。

また、メニューキー２２ｃを操作すれば、ディスプレイ１４にメニュー画面が表示され、その状態でディスプレイ１４に表示されているソフトキーやメニューアイコンなどに対して、タッチパネル１６によるタッチ操作を行うことによってメニューを選択し、その選択を確定させることができる。

さらに、詳細な説明は後述するが、カメラ機能が実行されると、カメラモジュール５０が起動し、ディスプレイ１４に被写界と対応するプレビュー画像（スルー画像）が表示される。そして、ユーザは、レンズ開口２６が設けられている他面を被写体に向けて撮影操作を行うことで、被写体を撮影することが出来る。

図２を参照して、図１に示す実施例の携帯電話機１０は、コンピュータまたはＣＰＵと呼ばれるプロセッサ３０などを含む。プロセッサ３０には、近接センサ２４、無線通信回路３２、Ａ／Ｄ変換器３６、Ｄ／Ａ変換器３８、入力装置４０、表示ドライバ４２、フラッシュメモリ４４、ＲＡＭ４６、タッチパネル制御回路４８およびカメラモジュール５０などが接続される。

プロセッサ３０は、携帯電話機１０の全体制御を司る。ＲＡＭ４６には、フラッシュメモリ４４に予め設定されているプログラムの全部または一部が使用に際して展開され、プロセッサ３０はこのＲＡＭ４６上のプログラムに従って動作する。なお、ＲＡＭ４６はさらに、プロセッサ３０のワーキング領域ないしバッファ領域として用いられる。また、フラッシュメモリ４４またはＲＡＭ４６は記憶部と呼ばれることもある。

入力装置４０は、図１に示すハードキー２２を含むものである。そのため、ハードキー２２に対するユーザからのキー操作を受け付ける操作受付部を構成する。ユーザが操作したハードキーの情報（キーデータ）はプロセッサ３０に入力される。

無線通信回路３２は、アンテナ３４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路３２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、ユーザが入力装置４０を操作して音声発信（発呼）を指示すると、無線通信回路３２は、プロセッサ３０の指示の下、音声発信処理を実行し、アンテナ３４を介して音声発信信号を出力する。音声発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ３０は通話処理を実行する。

Ａ／Ｄ変換器３６には図１に示すマイク２０が接続され、マイク２０からの音声信号はＡ／Ｄ変換器３６を通してディジタルの音声データとしてプロセッサ３０に入力される。Ｄ／Ａ変換器３８にはスピーカ１８が接続される。Ｄ／Ａ変換器３８は、ディジタルの音声データを音声信号に変換して、アンプを介してスピーカ１８に与える。したがって、音声データに基づく音声がスピーカ１８から出力される。

表示ドライバ４２には図１に示すディスプレイ１４が接続され、したがって、ディスプレイ１４はプロセッサ３０から出力される映像または画像データに従って映像または画像を表示する。つまり、表示ドライバ４２は、プロセッサ３０の指示の下、当該表示ドライバ４２に接続されたディスプレイ１４の表示を制御する。また、表示ドライバ４２は表示する画像データを一時的に記憶するビデオメモリを含む。ディスプレイ１４には、たとえばＬＥＤなどを光源とするバックライトが設けられており、表示ドライバ４２はプロセッサ３０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。

タッチパネル制御回路４８には、図１に示すタッチパネル１６が接続される。タッチパネル制御回路４８は、タッチパネル１６に必要な電圧などを付与するとともに、タッチパネル１６に対するユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびユーザがタッチしたタッチ位置を示す座標データをプロセッサ３０に入力する。したがって、プロセッサ３０はこの座標データに基づいて、ユーザがディスプレイ１４に表示されるどのアイコンやキーにタッチしたかを判断することができる。

実施例では、タッチパネル１６は、その表面と表面に接近した指などの対象物との間に生じる静電容量の変化を検出する静電容量方式のタッチパネルである。タッチパネル１６は、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。そのため、タッチパネル１６はポインティングデバイスとも呼ばれる。タッチパネル制御回路４８はタッチ検出部として機能し、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データをプロセッサ３０に出力する。つまり、ユーザは、タッチパネル１６の表面に対してタッチ操作を行うことによって、操作位置や、操作方向などを携帯電話機１０に入力する。

本実施例のタッチ操作には、タップ操作、ロングタップ操作、フリック操作、スライド操作などが含まれる。

タップ操作は、タッチパネル１６の表面に指を接触（タッチ）させた後、短時間のうちにタッチパネル１６の表面から指を離す（リリースする）操作である。ロングタップ操作は、所定時間以上、指をタッチパネル１６の表面に接触させ続けた後、指をタッチパネル１６の表面から離す操作である。フリック操作は、タッチパネル１６の表面に指を接触させ、任意の方向へ所定速度以上で指を弾く操作である。スライド操作は、タッチパネル１６の表面に指を接触させたまま任意の方向へ移動させた後、タッチパネル１６の表面から指を離す操作である。

また、上記のスライド操作には、ディスプレイ１４の表面に表示されたオブジェクトに指を触れ、オブジェクトを移動させるスライド操作、いわゆるドラッグ操作も含まれる。

なお、以下の説明では、ドラッグ操作の後、タッチパネル１６の表面から指を離す操作をドロップ操作と呼ぶ。また、タッチ操作、ロングタップ操作、フリック操作、スライド操作、ドラッグ操作およびドロップ操作は、それぞれ「操作」を省略して記述することがある。また、本実施例のオブジェクトには、機能を実行するためのアイコン、ショートカットアイコン、ファイル、フォルダなどが含まれる。また、タッチパネル１６の検出方式には、上述した静電容量方式に代えて、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などが採用されてもよい。また、タッチ操作はユーザの指だけに限らず、スタイラスペンなどによって行われてもよい。

近接センサ２４は、図示は省略するが、発光素子（たとえば、赤外線ＬＥＤ）と受光素子（たとえば、フォトダイオード）とを含む。プロセッサ３０は、フォトダイオードの出力の変化から、近接センサ２４（携帯電話機１０）に近接する対象物（たとえば、ユーザの顔）の距離を算出する。具体的には、発光素子は赤外線を発光し、受光素子は、顔などで反射した赤外線を受光する。たとえば、受光素子がユーザの顔から遠い場合は、発光素子から発せられた赤外線は受光素子によってほとんど受光されない。一方、近接センサ２４にユーザの顔が近接すると、発光素子が発光した赤外線は顔に反射して受光素子によって受光される。このように、受光素子は近接センサ２４がユーザの顔に近接している場合とそうでない場合とで赤外線の受光量が変化する。たとえば、近接センサ２４がユーザの顔に近接している場合は赤外線の受光量が大きくなり、近接センサ２４がユーザの顔に近接していない場合は赤外線の受光量が小さくなる。なお、近接センサ２４は検出部と呼ばれることもある。

カメラモジュール５０は制御回路、レンズおよびイメージセンサなどを含む。プロセッサ３０は、カメラ機能を実行する操作がされると、制御回路およびイメージセンサを起動する。そして、イメージセンサから出力された信号に基づく画像データがプロセッサ３０に入力されると、被写体に対応するプレビュー画像がディスプレイ１４に表示される。

本実施例の携帯電話機１０は、タッチパネル１６に対するユーザの意図しない入力による誤操作を防止するために、タッチ操作に基づく所定の処理の実行を制限するロック状態を設定することができる。たとえば、終話キー２２ｂが操作されると、ディスプレイ１４およびタッチパネル１６の電源がオフにされると共にロック状態が設定される。この状態で、メニューキー２２ｃなどが操作されると、ディスプレイ１４およびタッチパネル１６の電源がオンとなり、図３に示すロック画面が表示され、ロック状態の解除操作が受け付けられるようになる。ただし、ディスプレイ１４の表示が一定時間変化しなくても、ディスプレイ１４は自動的にオフにされ、ロック状態が設定される。

なお、本実施例のロック状態では、ロック画面が表示されるまでは、ディスプレイ１４およびタッチパネル１６の電源がオフにされているため、携帯電話機１０の消費電力が抑えられる。ただし、他の実施例では、タッチパネル１６の電源をオフにすることなく、プロセッサ３０が入力されたタッチ操作を処理しないことで、タッチ操作を無効にしてもよい。

図３を参照して、ロック画面を表示するディスプレイ１４の表示範囲は、状態表示領域６０および機能表示領域６２を含む。状態表示領域６０には、アンテナ３４による電波受信状態を示すアイコン（ピクト）、二次電池の残電池容量を示すアイコンおよび日時が表示される。また、機能表示領域６２には、現在日時６０が表示され、下側にはロックオブジェクトＲＯ、解除オブジェクトＤＯおよびカメラオブジェクトＣＯが表示される。

図４（Ａ）を参照して、ロックオブジェクトＲＯに対してタッチされると、解除オブジェクトＤＯおよびカメラオブジェクトＣＯが軌道上に配置されるように、円周Ｃが表示される。また、ロックオブジェクトＲＯに対してドラッグが行われると、その表示位置がユーザの指の位置、つまり現在のタッチ位置に合わせて変化する。

図４（Ｂ）を参照して、ロックオブジェクトＲＯに対してドラッグが行われ、ロックオブジェクトＲＯが解除オブジェクトＤＯと重なった状態で、ロックオブジェクトＲＯがドロップされると、ロック状態が解除される。ロック状態が解除されると、図４（Ｃ）に示すようにロック画面に代えてホーム画面が表示される。つまり、ユーザは、ロックオブジェクトＲＯをドラッグして、解除オブジェクトＤＯにドロップすることで、ロック状態を解除することが出来る。

このように、ロックオブジェクトＲＯおよび解除オブジェクトＤＯがディスプレイ１４の下側に表示されるため、ユーザはロックオブジェクトＲＯを利用するロック状態の解除操作を片手で容易に行うことができる。また、ユーザは、左右の手のどちらでも、ロック状態の解除操作を行うことができる。

なお、ロックオブジェクトＲＯを解除オブジェクトＤＯにドロップする際は、ロックオブジェクトＲＯが解除オブジェクトＤＯの一部と重なった状態であってもよいし、全部と重なった状態であってもよい。つまり、どちらの状態でドロップされたとしても、ロック状態は解除される。

図５（Ａ）を参照して、ロックオブジェクトＲＯがドラッグされ、ディスプレイ１４に表示されたカメラオブジェクトＣＯ上でドロップされると、ロック状態が解除されると共に、カメラ機能が実行される。カメラ機能が実行されると、図５（Ｂ）に示すように、ディスプレイ１４には、ロック画面に代えて、カメラ機能によって得らえるスルー画像が表示される。つまり、ユーザは、ロック状態を解除すると共にカメラ機能を実行することが出来る。

また、上述したホーム画面（図４（Ｃ））には、電話機能、メール機能、ブラウザ機能、カレンダー機能、時計機能、カメラ機能、地図機能、ミニブログ機能およびメモ帳機能と対応する複数の機能オブジェクトが配置されている。ユーザは、これらの機能オブジェクトのうち任意の機能オブジェクトに対してタッチ操作を行うことで、任意の機能を実行することが出来る。

図６（Ａ）は電話機能に関連する画面として表示される電話番号入力画面の一例を示す。たとえば、電話機能に対応する機能オブジェクト（電話オブジェクト）にタッチされたときに、電話番号入力画面は表示される。この画面には、アドレス帳に含まれるアドレスデータおよび複数のタブが表示されると共に、発呼を行うためのダイヤルパッドが表示される。

アドレスデータはユーザによって登録された氏名および電話番号などを含み、電話番号入力画面では複数のアドレスデータが「アドレス帳」として表示される。複数のタブには、アドレス帳を文字順（アルファベット順など）からユーザによって設定されたグループ順に切り替えるグループ切替タブ、発呼／着呼履歴を表示するための履歴タブ、アドレス帳を表示するためのアドレス帳タブおよび電話番号を直接入力して発呼するためのダイヤルタブが含まれる。なお、図６（Ａ）に示す状態では、ダイヤルタブが選択されている状態となり、ダイヤルタブの色が反転している状態となる。

ダイヤルパッドには、電話番号を入力するためのダイヤルキー群および入力した電話番号を修正するための修正キーなどが含まれる。

図６（Ｂ）は電話機能に関連する画面として表示されるアドレス画面の一例を示す。たとえば、アドレス画面はアドレス帳タブが操作されるか、アドレス帳を表示するための機能オブジェクト（アドレス帳オブジェクト）にタッチされたときに表示される。そして、このアドレス画面では、アドレスデータが選択可能に表示される。また、機能表示領域６２の右側には検索バーが表示される。たとえば、ユーザが検索バーにタッチすると、タッチ位置と対応する文字（たとえば、Ａ，Ｂ，Ｃ…）に基づいてアドレスデータが表示される。そして、ユーザが検索バー上で指を上下にスライドすると、タッチ位置と対応するする文字が変化するため表示されるアドレスデータも変化する。つまり、ユーザは、検索バーを利用することで、アドレス帳から必要なアドレスデータを効率よく検索することが出来る。ユーザは任意のアドレスデータを選択することで、そのアドレスデータと対応する相手の電話機に発呼することが出来る。

図７は音声発呼中画面の一例を示す図解図である。たとえば、ダイヤルパッドによって電話番号が入力された後に通話キー２２ａが操作されると、発呼中画面が機能表示領域６２に表示される。発呼中画面には、発呼中であることを示すメッセージおよび画像が表示される。ユーザは、相手との通話状態が確立される前に終話キー２２ｂを操作することで音声発信処理を中断することが出来る。音声発信処理が中断されると前の画面、たとえば図６（Ａ）に示す電話番号入力画面が表示される。

ここで、携帯電話機１０は音声認識機能を有しており、認識結果に基づいて携帯電話機１０の機能が実行される。つまり、ユーザは携帯電話機１０を音声によって操作（音声操作）することが出来る。ところが、音声認識機能が常に実行されていると、周囲の雑音によってユーザの意図に反して何らかの機能が実行されてしまう可能性がある。また、音声認識機能を常に実行されている状態では消費電力が高くなってしまうという問題もある。そこで、本実施例では、音声認識機能が実行される状態を限定することで、音声操作による誤動作を軽減すると共に、消費電力を抑える。

本実施例では、ディスプレイ１０に所定画面が表示され、かつユーザの顔の近接が検出されたときに音声認識機能が実行される。図８（Ａ）を参照して、電話番号入力画面が表示されている状態で近接センサ２４によってユーザの顔の近接が検出されると、音声認識機能が実行される。音声認識機能が実行されるのと略同時に、音声認識アイコンＳＲが状態表示領域６０に表示される。この状態で、ユーザが数字を示す音声（たとえば１，２，３…）を発話するとその音声が認識される。そして、認識結果が示す番号が電話番号として入力され、その電話番号に発呼される。

また、図８（Ｂ）を参照して、アドレス画面が表示されている場合もユーザの顔の近接によって音声認識機能が実行されると、音声認識アイコンＳＲが表示される。このとき、アドレスデータを示す音声が発話されるとその音声が認識され、認識結果によって示されるアドレスデータに基づいて発呼される。このように、ユーザは、電話機能に関連する画面が表示されていれば、ユーザは容易に発呼することが出来る。

なお、アドレス画面で電話番号が音声入力されてもよいし、電話番号入力画面でアドレスデータを指定する単語が音声入力されてもよい。

図９を参照して、ロック画面が表示されている状態でユーザの顔が近づけられた場合も、音声認識アイコンＳＲが表示されると共に、音声認識機能が実行される。この状態で、アドレスデータを指定する単語または電話番号と、電話機能を示す単語（たとえば、「発呼」など）とを音声入力することで、ユーザは任意の相手に発呼することが出来る。つまり、ユーザはロック状態を解除することなく発呼することが出来る。

このように、本実施例では電話機能に関連するアドレス画面または電話番号入力画面およびロック画面などが所定画面とされ、ユーザは、これらの所定画面がディスプレイ１４に表示されている状態で顔を近づけて発呼を指示すると発呼することが出来る。特に、ユーザの顔が接近した状態で発呼の指示が行われるため、ユーザは自然な流れで通話を開始することが出来る。

また、音声認識機能が実行される状態が限定されるため、携帯電話機１０の消費電力が抑えられる。

また、ユーザは登録済みのアドレスデータを指定する単語または電話番号を発話するだけで発呼することが出来る。

また、近接センサ２４によってユーザの顔などの近接が検出されると、タッチパネル１６に対するタッチ操作は無効にされる。つまり、顔などがタッチパネル１６に触れることによって生じる誤操作が発生しないようにされている。

ここで、音声認識機能が実行されているロック画面では、機能を特定する単語および動作の内容を音声入力することで、電話機能以外の機能も音声操作によって実行することが出来る。

図１０（Ａ）を参照して、ロック画面で「ＸＸ駅までのルート」と音声入力が行われた場合、認識結果に含まれる「ルート」は地図機能を示すと共に、地図機能のルート検索の利用も示す。そのため、このような音声入力が行われると地図機能が実行され、現在位置から「ＸＸ駅」までのルート検索が行われる。そして、検索結果のルートおよびルート周辺の地図がディスプレイ１４に表示される。

また、図１０（Ｂ）を参照して、ロック画面で「ＸＸ駅の周辺地図」と音声入力が行われた場合、認識結果に含まれる「周辺地図」は地図機能を示すと共に、施設検索の利用も示す。そのため、このような音声入力が行われると地図機能が実行され、「ＸＸ駅」の地図上の位置が検索される。そして、検索結果として「ＸＸ駅」の周辺地図がディスプレイ１４に表示される。

さらに、地図機能の地図機能画面も所定画面に含まれるため、地図機能画面で「ＸＸ駅までのルート」と音声入力が行われれば目的地までのルートが表示され、「ＸＸ駅」と音声入力が行われれば周辺地図が表示される。

図１１（Ａ）を参照して、たとえばロック画面で「カレンダー」と音声入力が行われた場合、認識結果に含まれる「カレンダー」はカレンダー機能を示す。そのため、カレンダー機能が実行され、操作されている時点の日付を含むカレンダーがディスプレイに表示される。

また、図１１（Ｂ）を参照して、ロック画面で「天体観測を７月７日にスケジュール登録」と音声入力が行われた場合、認識結果に含まれる「スケジュール登録」はカレンダー機能を示すと共に、スケジュールの登録も示す。また、認識結果に含まれる「７月７日」はスケジュール登録を行う日付を示す。従って、「７月７日」において「天体観測」がスケジュールの内容として登録される。

さらに、カレンダー機能のカレンダー画面を所定画面とし、「７月７日に天体観測」と音声入力が行われれば、「７月７日」のスケジュールに「天体観測」が追加される。

図１２を参照して、ロック画面で「telescopeをメモ帳に登録」と音声入力が行われた場合、認識結果に含まれる「メモ帳」はメモ帳機能を示す。そのため、メモ帳機能が実行されたうえで、認識結果に含まれる「telescope」が入力された状態となる。また、メモ帳機能が実行されている状態で「telescope」と音声入力が行われた場合、音声入力で文字を入力することが出来る。

図１３を参照して、ロック画面で「ＡＡＡにメール」と音声入力が行われた場合、認識結果に含まれる「メール」はメール機能を示すと共に、新規メールの作成も示す。また、認識結果に含まれる「ＡＡＡ」はアドレスデータを示す単語である。そのため、メール機能が実行され、ＡＡＡを宛先とする新規メールの編集画面がディスプレイ１４に表示される。また、メール機能が実行されているときに、「ＡＡＡにメール」と音声入力が行われても、ＡＡＡを宛先とする新規メールの編集が表示される。

図１４を参照して、ロック画面で「Milky Wayをネットで検索」と音声入力が行われた場合、認識結果に含まれる「ネットで検索」はブラウザ機能を示すと共に、検索サイトなどで検索を行うことを示す。そのため、ブラウザ機能が実行されたうえで、「Milky Way」が検索サイトなどを利用して検索される。また、ブラウザ機能が実行されている状態で、「Milky Way」と音声入力が行われれば、認識結果の文字列が検索サイトで検索される。

図１５（Ａ）を参照して、ロック画面で「現在時刻」と音声入力が行われた場合、認識結果に含まれる「現在時刻」は時計機能を示す。そのため、時計機能が実行され現在時刻がディスプレイ１４に表示される。

また、図１５（Ｂ）を参照して、ロック画面で「１０時にアラーム」と音声入力が行われた場合、認識結果に含まれる「アラーム」は時計機能を示すと共に、アラームの登録を示す。そのため、時計機能が実行されたうえで「１０時」にアラームが登録され、アラーム画面がディスプレイ１４に表示される。

さらに、時計機能の時計画面を所定画面として、「１０時にアラーム」と音声入力がされても、「１０時」にアラームが登録される。

図１６を参照して、ロック画面で「I began twitとつぶやき」と音声入力が行われた場合、認識結果に含まれる「つぶやき」はミニブログ機能を示すと共に、新規記事の投稿を示す。そのため、ミニブログ機能が実行され、「I began twit」の文字列がミニブログに投稿される。また、ミニブログ機能によってミニブログのサイトが表示さている状態で「I began twit」と音声入力が行われても、「I began twit」の文字列がミニブログに投稿される。

これらの例から分かるように、ユーザはロック画面の解除操作を行うことなく、任意の機能を音声操作によって実行することが出来る。

また、ロック画面で顔を近接させたときに音声認識機能が実行されるようにしたため、音声認識機能による誤動作を軽減させることが出来る。

図１７は画面ＩＤテーブルの構成の一例を示す。ディスプレイ１４に表示される各画面には、それぞれを識別するための画面ＩＤが割り付けられている。そして、画面ＩＤテーブルは、画面ＩＤ、名称、および機能の列を含む。画面ＩＤの列には画面ＩＤ（たとえば、0X00008844など）がそれぞれ記憶される。名称の列には画面ＩＤに対応して画面の名称（たとえば、電話番号入力画面など）が記憶される。機能の列には画面ＩＤに対応付けて機能（たとえば、電話機能など）が記憶される。なお、画面ＩＤテーブルの各行は機能情報と呼ばれることもある。

そして、本実施例では、所定画面の画面ＩＤに対して実行する機能を対応付けている。そのため、ロック画面以外の所定画面が表示されている場合は、機能を指定する単語が入力されていなくても、所定画面に対応する機能を実行することが出来る。

このように、任意の機能が実行されている状態であっても、ユーザは音声操作によってその機能を操作することが出来る。

なお、各機能を示す単語は、「ルート」、「カレンダー」などに限らず、他の単語が用いられてもよいことは言うまでもない。

また、ロック画面で「カメラ撮影」と音声入力が行われた場合は、カメラ機能が実行されディスプレイ１４には、図５（Ｂ）に示すようなスルー画像が表示される。

また、他の実施例では、認識結果をディスプレイ１４に表示し、ユーザの確認操作がされなければ、次の動作が実行されないようにしてもよい。

上述では実施例の特徴を概説した。以下では、図１８に示すメモリマップおよび図１９−図２１に示すフロー図を用いて詳細に説明する。

図１８を参照して、図２に示すＲＡＭ４６には、プログラム記憶領域３０２とデータ記憶領域３０４とが形成される。プログラム記憶領域３０２は、先に説明したように、フラッシュメモリ４４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。

プログラム記憶領域３０２には、音声を認識するための音声認識プログラム３１０、音声操作を行うための音声操作プログラム３１２および近接センサ２４によって対象物の近接を検出するための近接検出プログラム３１４などが記憶される。なお、プログラム記憶領域３０２には、電話機能およびメール機能などを実行するためのプログラムも含まれる。

続いて、ＲＡＭ４６のデータ記憶領域３０４には、タッチバッファ３３０、近接バッファ３３２、画面ＩＤバッファ３３４、入力音声バッファ３３６および認識結果バッファ３３８などが設けられると共に、タッチ座標マップ３４０および画面ＩＤテーブル３４２などが記憶される。また、データ記憶領域３０４には、タッチフラグ３４４、タッチ無効フラグ３４６および近接フラグ３４８なども設けられる。

タッチバッファ３３０には、タッチパネル制御回路４８が出力するタッチ座標のデータが一時的に記憶される。近接バッファ３３２には、近接センサ２４の出力が一時的に記憶される。画面ＩＤバッファ３３４には、表示されている画面の画面ＩＤが一時的に記憶される。入力音声バッファ３３６には、ユーザが入力した音声の音声データが一時的に記憶される。認識結果バッファ３３８には、音声認識処理によって得られた認識結果（文字列）が一時的に記憶される。

タッチ座標マップ３４０は、タッチ操作におけるタッチ座標とディスプレイ１４の表示座標とを対応付けるためのデータである。つまり、タッチ座標マップ３４０に基づいて、タッチパネル１６に対して行われたタッチ操作の結果が、ディスプレイ１４の表示に反映される。画面ＩＤテーブル３４２は、たとえば図１７に示すように機能が画面ＩＤに対応付けて記憶されているテーブルである。

タッチフラグ３４４は、タッチパネル１６に対してタッチされているか否かを判断するためのフラグである。たとえば、タッチフラグ３４４は、１ビットのレジスタで構成される。タッチフラグ３４４がオン（成立）されると、レジスタにはデータ値「１」が設定される。一方、タッチフラグ３４４がオフ（不成立）されると、レジスタにはデータ値「０」が設定される。なお、タッチフラグ３４４は、タッチパネル制御回路４８が出力する信号に基づいてオン／オフが切り換えられる。

タッチ無効フラグ３４６は、タッチパネル１６に対するタッチ操作が無効にされているかを示すフラグである。たとえば、タッチ無効フラグ３４６がオフであればタッチ操作が有効にされており、タッチ無効フラグ３４６がオンであればタッチ操作が無効にされている。近接フラグ３４８は近接センサ２４によって対象物の近接が検出されているかを示すフラグである。たとえば、近接フラグ３４８がオンであれば近接センサ２４によって対象物の近接が検出されており、近接フラグ３４８がオフであれば近接センサ２４によって対象物の近接は検出されていない。

なお、データ記憶領域３０４には、待機状態で表示される画像データや、文字列のデータなどが記憶されると共に、携帯電話機１０の動作に必要なカウンタや、フラグも設けられる。

また、機能を示す単語と機能とを対応付けるテーブル、アドレスデータおよび音声認識用の辞書データはフラッシュメモリ４４に記憶されている。

プロセッサ３０は、Ａｎｄｒｏｉｄ（登録商標）およびＲＥＸなどのＬｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図１９、図２０に示す音声操作処理および図２１に示す近接検出処理などを含む複数のタスクを並列的に処理する。

音声操作処理は、たとえば携帯電話機１０の電源がオンにされると実行される。ステップＳ１でプロセッサ３０は、所定画面が表示されたか否かを判断する。つまり、プロセッサ３０は、画面ＩＤバッファ３３４に記憶されている表示されている画面の画面ＩＤを読み出し、画面ＩＤテーブル３４２においてその画面ＩＤと対応する機能の列に機能が記憶されているかを判断する。ステップＳ１で“ＮＯ”であれば、つまり所定画面が表示されていなければ、ステップＳ１の処理が繰り返して実行される。

一方、ステップＳ１で“ＹＥＳ”であれば、たとえば所定画面として設定されているロック画面が表示されていれば、ステップＳ３でプロセッサ３０は、近接センサ２４をオンにする。つまり、所定画面が表示されている状態で対象物の近接を検出するために、近接センサ２４の電源がオンにされる。続いて、ステップＳ５でプロセッサ３０は、近接検出処理を実行する。なお、近接検出処理については、図２１のフロー図を用いて詳細に説明するため、ここでの説明は省略する。続いて、ステップＳ７でプロセッサ３０は、近接を検出したか否かを判断する。つまり、近接フラグ３４８がオンであるかが判断される。なお、ステップＳ７の処理を実行するプロセッサ３０は判断部として機能する。

ステップＳ７で“ＮＯ”であれば、つまり対象物の近接が検出されていなければ、プロセッサ３０はステップＳ５の処理に戻る。また、ステップＳ７で“ＹＥＳ”であれば、たとえばユーザの顔の近接が検出され近接フラグ３４８がオンであれば、ステップＳ９でプロセッサ３０は、音声認識アイコンＳＲを表示する。たとえば、図９に示すように状態表示領域６０に音声認識アイコンＳＲが表示される。続いて、ステップＳ１１でプロセッサ３０は、タッチ操作を無効にする。つまり、タッチ無効フラグ３４６がオンにされる。続いて、ステップＳ１３でプロセッサ３０は、音声認識処理を実行する。つまり、音声認識機能が実行された状態となる。なお、ステップＳ１１の処理を実行するプロセッサ３０は無効部として機能する。また、ステップＳ１３の処理を実行するプロセッサ３０は音声認識部として機能する。

続いて、ステップＳ１５でプロセッサ３０は、有効な音声が入力されたか否かを判断する。たとえば、プロセッサ３０は、認識結果バッファ３３８に記憶される音声認識の認識結果が、数字または機能を示しているかを判断する。ステップＳ１５で“ＮＯ”であれば、たとえば音声が入力されていなかったり、入力された音声が有効でなかったりすれば、ステップＳ１７でプロセッサ３０は、近接検出処理を実行する。続いて、ステップＳ１９でプロセッサ３０は、近接が検出されなくなったか否かを判断する。つまり、近接フラグ３４８がオフであるかが判断される。

ステップＳ１９で“ＹＥＳ”であれば、たとえばユーザの顔が検出されなくなり、近接フラグ３４８がオフに切り替わっていれば、ステップＳ２１でプロセッサ３０は、タッチ操作を有効にする。つまり、タッチ無効フラグ３４６がオフにされる。続いて、ステップＳ２３でプロセッサ３０は、音声認識処理を終了する。つまり音声認識機能を終了する。そして、ステップＳ２３の処理が終了すれば、プロセッサ３０はステップＳ１の処理に戻る。

一方、ステップＳ１９で“ＮＯ”であれば、たとえばユーザの顔が検出され続けていれば、プロセッサ３０はステップＳ１５の処理に戻る。また、ステップＳ１５で“ＹＥＳ”であれば、たとえば「ＡＡＡに発呼」と音声入力されて認識結果バッファ３３８にこのような認識結果が記憶されていれば、ステップＳ２５でプロセッサ３０は、ロック画面か否かを判断する。つまり、画面ＩＤバッファ３３４に記憶されている画面ＩＤがロック画面の画面ＩＤと一致するかが判断される。

ステップＳ２５で“ＮＯ”であれば、たとえば表示されている画面がアドレス画面であれば、ステップＳ２７でプロセッサ３０は、画面ＩＤテーブル３４２に基づいて機能を特定する。たとえば、電話番号入力画面が表示されている場合、画面ＩＤテーブル３４２において電話番号入力画面と対応する機能の欄に基づいて電話機能が特定される。そして、ステップＳ２７の処理が終了すれば、プロセッサ３０はステップＳ３３の処理に進む。

一方、ステップＳ２５で“ＹＥＳ”であれば、たとえば表示されている画面がロック画面であれば、ステップＳ２９でプロセッサ３０は、認識結果から機能を示す情報を抽出する。たとえば、認識結果バッファ３３８に「ＡＡＡに発呼」と記憶されている場合、「発呼」が機能を示す情報として抽出される。続いて、ステップＳ３１でプロセッサ３０は、抽出された情報から機能を特定する。たとえば、「発呼」が抽出されていれば、電話機能が特定される。そして、ステップＳ３１の処理が終了すれば、プロセッサ３０はステップＳ３３に進む。

続いて、ステップＳ３３でプロセッサ３０は、認識結果に基づいて特定された機能を実行する。たとえば、電話機能が特定されている場合、認識結果に含まれる文字列が数字であれば、その数字を電話番号として発呼処理を実行する。また、認識結果に含まれる文字列が数字でなければ、その文字列がアドレスデータの名称として登録されているかを検索し、該当するアドレスデータが発見されればそのアドレスデータに含まれる電話番号に基づいて発呼処理が実行される。そして、このように電話機能が実行される場合、ステップＳ３３を実行するプロセッサ３０は発呼部として機能する。

また、認識結果バッファ３３８に「ＸＸ駅までのルート」と記憶されており、地図機能画面が表示されていれば、ステップＳ２５では“ＮＯ”と判断される。このとき、ステップＳ２７では、画面ＩＤバッファ３３４に記憶されている画面ＩＤと画面ＩＤテーブル３４２とに基づいて「地図機能」が特定される。なお、ステップＳ２７の処理を実行するプロセッサ３０は第１特定部として機能する。

さらに、認識結果バッファ３３８に「ＸＸ駅までのルート」と記憶されており、ロック画面が表示されていれば、ステップＳ２５では“ＹＥＳ”と判断される。このとき、ステップＳ２９では認識結果うち、「ルート」が機能を示す情報として抽出され、ステップＳ３１で「ルート」に基づいて「地図機能」が特定される。なお、ステップＳ２９の処理を実行するプロセッサ３０は抽出部として機能し、ステップＳ３１の処理を実行するプロセッサ３０は第２特定部として機能する。

そして、ステップＳ２７またはステップＳ３１で機能が特定されるとステップＳ３３では、認識結果に含まれる「ルート」および「ＸＸ駅」に基づいて、地図機能が実行されたうえで現在地から「ＸＸ駅」までのルート検索が行われる。その結果、図１０（Ａ）に示すような画面がディスプレイ１４に表示される。なお、ステップＳ３３では電話機能以外も実行されることから、ステップＳ３３の処理を実行するプロセッサ３０は実行部と呼ばれることもある。

特定された機能がステップＳ３３で実行されると、プロセッサ３０は、ステップＳ３５で近接処理を実行し、ステップＳ３７で近接が検出されなくなったか否かを判断する。ステップＳ３７で“ＮＯ”であれば、たとえば通話を行うユーザの顔が検出され、近接フラグ３４８がオンであれば、プロセッサ３０はステップＳ３５の処理に戻る。一方、ステップＳ３７で“ＹＥＳ”であれば、たとえば通話が終了してユーザが顔を携帯電話機１０から離し、近接フラグ３４８がオフであれば、ステップＳ３０は、ステップＳ３９でタッチ操作を有効にし、ステップＳ４１で音声認識処理を終了する。そして、ステップＳ４１の処理が終了すれば、プロセッサ３０は音声操作処理を終了する。

なお、所定画面で実行される機能が電話機能だけであれば、機能を特定するステップＳ２７−Ｓ３１の処理は省略されてもよい。

図２１は近接検出処理のフロー図である。たとえば、図１９に示す音声操作処理でステップＳ５の処理が実行されると、プロセッサ３０はステップＳ６１で、近接センサ２４の出力を取得する。つまり、近接バッファ３３２から近接センサ２４の値が読み出される。
続いて、ステップＳ６３でプロセッサ３０は、近接センサ２４の値が閾値より大きいか否かを判断する。つまり、近接センサ２４によって検出された対象物が携帯電話機１０に近接している状態であるかが判断される。ステップＳ６３で“ＹＥＳ”であれば、つまり近接センサ２４と対象物との距離が近く、近接センサ２４の値が閾値よりも大きければ、ステップＳ６７でプロセッサ３０は、近接フラグ３４８をオンにする。つまり、対象物の近接が検出されている状態と判断される。一方、ステップＳ６３で“ＮＯ”であれば、たとえば近接センサ２４と対象物との距離が離れており、近接センサ２４の値が閾値よりも小さければ、ステップＳ６９でプロセッサ３０は、近接フラグ３４８をオフにする。つまり、対象物の近接が検出されていない状態と判断される。

そして、近接フラグ３４８のオン／オフが設定されれば、プロセッサ３０は近接検出処理を終了する。

なお、ロック画面から音声操作によって実行可能な機能には、ＳＭＳ機能などが含まれていてもよい。

また、電話機能の発呼には、「skype（登録商標）」および「LINE（登録商標）」などのインターネット電話機能による発呼や、ＩＰ電話機能による発呼も含まれる。

また、上述の実施例では、所定回数などの閾値に対して「より大きい」の言葉を用いたが「閾値より大きい」とは「閾値以上」の意味も含まれる。また、「閾値よりも小さい」とは「閾値以下」および「閾値未満」の意味も含まれる。

また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blue-Ray Disk）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の携帯端末にインストールされた場合、本実施例と同等の効果が得られる。

そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。

１０ … 携帯電話機
１４ … ディスプレイ
１６ … タッチパネル
２４ … 近接センサ
３０ … プロセッサ
４０ … 入力装置
４４ … フラッシュメモリ
４６ … ＲＡＭ

Claims (11)

1. 表示部を有する、携帯電話機であって、
   対象物の近接を検出する検出部、
   前記表示部に所定画面が表示されているときに前記検出部が対象物の近接を検出したかを判断する判断部、
   前記判断部によって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識部、および
   前記音声認識部の認識結果によって発呼が指示された場合には、当該認識結果に基づき発呼する発呼部を備える、携帯電話機。
2. 前記発呼部は、前記音声認識部の認識結果に数字が含まれるとき、その数字を電話番号として発呼する、請求項１記載の携帯電話機。
3. 電話番号を含むアドレスデータを記憶する記憶部をさらに備え、
   前記発呼部は、前記音声認識部の認識結果がアドレスデータを示すとき、そのアドレスデータに基づいて発呼する、請求項１または２記載の携帯電話機。
4. 前記所定画面は、電話機能に関連する画面を含む、請求項１ないし３のいずれかに記載の携帯電話機。
5. 前記所定画面は、ロック画面を含む、請求項１ないし４のいずれかに記載の携帯電話機。
6. 前記表示部に設けられるタッチパネル、および
   前記判断部によって対象物の近接を検出したと判断されたとき、前記タッチパネルに基づく操作を無効にする無効部をさらに備える、請求項１ないし５のいずれかに記載の携帯電話機。
7. 表示部および対象物の近接を検出する検出部を有する、携帯電話機のプロセッサを、
   前記表示部に所定画面が表示されているときに前記検出部が対象物の近接を検出したかを判断する判断部、
   前記判断部によって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識部、および
   前記音声認識部の認識結果によって発呼が指示された場合には、当該認識結果に基づき発呼する発呼部として機能させる、音声操作プログラム。
8. 表示部および対象物の近接を検出する検出部を有する、携帯電話機における音声操作方法であって、前記携帯電話機のプロセッサが、
   前記表示部に所定画面が表示されているときに前記検出部が対象物の近接を検出したかを判断する判断ステップ、
   前記判断ステップによって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識ステップ、および
   前記音声認識ステップの認識結果によって発呼が指示された場合には、当該認識結果に基づき発呼する発呼ステップを実行する、音声操作方法。
9. 表示部を有する、携帯端末であって、
   対象物の近接を検出する検出部、
   前記表示部に所定画面が表示されているときに前記検出部が対象物の近接を検出したかを判断する判断部、
   前記判断部によって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識部、および
   前記音声認識部の認識結果が有効な場合には、当該認識結果に基づき機能を実行する実行部を備える、携帯端末。
10. 前記所定画面に対応する機能を示す機能情報を記憶する記憶部、および
    前記記憶部によって記憶された機能情報に基づいて機能を特定する第１特定部をさらに備え、
    前記実行部は、前記音声認識部の認識結果に基づいて前記第１特定部によって特定された機能を実行する、請求項９記載の携帯端末。
11. 前記所定画面は、ロック画面を含み、
    前記ロック画面が表示されているときに対象物の近接が検出されているとき、前記音声認識部の認識結果から機能を示す情報を抽出する抽出部、および
    前記抽出部によって抽出された情報に基づいて機能を特定する第２特定部をさらに備え、
    前記実行部は、前記音声認識部の認識結果に基づいて前記第２特定部によって特定された機能を実行する、請求項９または１０記載の携帯端末。

Images