JP2014045449A - 電子機器、制御方法、及び制御プログラム - Google Patents

電子機器、制御方法、及び制御プログラム Download PDF

Info

Publication number
JP2014045449A
JP2014045449A JP2012187915A JP2012187915A JP2014045449A JP 2014045449 A JP2014045449 A JP 2014045449A JP 2012187915 A JP2012187915 A JP 2012187915A JP 2012187915 A JP2012187915 A JP 2012187915A JP 2014045449 A JP2014045449 A JP 2014045449A
Authority
JP
Japan
Prior art keywords
voice
smartphone
input
user
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012187915A
Other languages
English (en)
Other versions
JP6393021B2 (ja
Inventor
Atsuo Chiba
敦夫 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2012187915A priority Critical patent/JP6393021B2/ja
Priority to US14/424,693 priority patent/US9620126B2/en
Priority to PCT/JP2013/073040 priority patent/WO2014034733A1/ja
Publication of JP2014045449A publication Critical patent/JP2014045449A/ja
Application granted granted Critical
Publication of JP6393021B2 publication Critical patent/JP6393021B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Abstract

【課題】各種イベントに応じた操作を実行する際のユーザの利便性を向上させること。
【解決手段】１つの態様において、電子機器（例えば、スマートフォン１）は、マイクと、ユーザに対する通知が行われるイベントの発生を検知した際に、前記マイクによる音声の入力を有効な状態に制御するコントローラとを有する。例えば、スマートフォン１は、不在着信があった場合、マイク８によるユーザの音声入力を有効な状態にする。スマートフォン１は、マイク８によりユーザの音声が入力されると、入力される音声の認識処理を実行し、認識処理の結果に応じた処理を実行する。
【選択図】図１

Description

本出願は、電子機器、制御方法、及び制御プログラムに関する。
携帯電話やスマートフォンなどの電子機器には、着信やメール受信などのイベントをユーザに通知する機能を有するものが存在する。例えば、特許文献１には、不在着信があった場合に、ＬＥＤを周期的に点滅させる携帯電話が開示されている。
特開２０１１−２５０１５２号公報
ところで、例えば、不在着信やメール受信など、携帯電話やスマートフォンで発生したイベントに関する操作を行う場合、ユーザは、ボタンに対する操作やタッチジェスチャによる操作などの手動の操作を行うのが一般的である。
上記のことから、各種イベントに応じた操作を実行する際のユーザの利便性を向上させることができる電子機器、制御方法、及び制御プログラムに対する必要性がある。
１つの態様に係る電子機器は、マイクと、ユーザに対する通知が行われるイベントの発生を検知した際に、前記マイクによる音声の入力を有効な状態に制御するコントローラとを有する。
１つの態様に係る制御方法は、マイクを有する電子機器を制御する制御方法であって、ユーザに対する通知が行われるイベントの発生を検知するステップと、前記イベントの発生を検知した際に、前記マイクによる音声の入力を有効な状態に制御するステップとを含む。
１つの態様に係る制御プログラムは、マイクを有する電子機器に、ユーザに対する通知が行われるイベントの発生を検知するステップと、前記イベントの発生を検知した際に、前記マイクによる音声の入力を有効な状態に制御するステップとを実行させる。
図１は、実施形態１に係るスマートフォンのブロック図である。 図２は、電話の不在着信があった際にスマートフォンにより実行される制御の一例を示す図である。 図３は、メールの受信があった際にスマートフォンにより実行される制御の一例を示す図である。 図４は、アラームの鳴動があった際にスマートフォンにより実行される制御の一例を示す図である。 図５は、実施形態１に係る制御プログラムが提供する機能に基づく制御を実現するための処理手順の一例を示す図である。 図６は、実施形態２に係る制御プログラムが提供する機能に基づく制御を実現するための処理手順の一例を示す図である。 図７は、メールの受信直後に不在着信があった際にスマートフォンにより実行される制御の一例を示す図である。
本出願に係る電子機器、制御方法、及び制御プログラムを実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、電子機器の一例として、スマートフォンを取り上げて説明する。
（実施形態１）
図１を参照しながら、実施形態１に係るスマートフォン１の機能的な構成について説明する。図１は、実施形態１に係るスマートフォンのブロック図である。図１に示すように、スマートフォン１は、ディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、レシーバ７と、マイク８と、ストレージ９と、コントローラ１０と、スピーカ１１と、カメラ１２と、姿勢検出ユニット１５と、バイブレータ１８と、タッチスクリーン２１とを備える。
ディスプレイ２は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示デバイスを備える。ディスプレイ２は、文字、画像、記号、及び図形等を表示する。
ボタン３は、利用者からの操作入力を受け付ける。ボタン３の数は、単数であっても、複数であってもよい。
照度センサ４は、スマートフォン１の周囲光の照度を検出する。照度は、光の強さ、明るさ、又は輝度を示す。照度センサ４は、例えば、ディスプレイ２の輝度の調整に用いられる。
近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ５は、例えば、ディスプレイ２が顔に近づけられたことを検出する。照度センサ４及び近接センサ５は、一つのセンサとして構成されていてもよい。照度センサ４は、近接センサとして用いられてもよい。
通信ユニット６は、無線により通信する。通信ユニット６によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。
通信ユニット６は、ＧＰＳ衛星からの所定の周波数帯の電波信号を受信し、受信した電波信号の復調処理を行って、処理後の信号をコントローラ１０に送出する。スマートフォン１は、ＧＰＳ衛星との通信機能を通信ユニット６から分散させて、通信ユニット６から独立した個別の通信部を設けてもよい。
レシーバ７は、音出力部である。レシーバ７は、コントローラ１０から送信される音信号を音として出力する。レシーバ７は、例えば、通話時に相手の声を出力するために用いられる。マイク８は、音入力部である。マイク８は、利用者の音声等を音信号へ変換してコントローラ１０へ送信する。
ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、例えば、ＣＤ（登録商標）、ＤＶＤ（登録商標）、Ｂｌｕ−ｒａｙ（登録商標）等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、及びソリッドステート記憶媒体を少なくとも１つ含むが、これらに限定されない。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。フォアグランドで実行されるアプリケーションは、例えば、ディスプレイ２に画面が表示される。制御プログラムには、例えば、ＯＳが含まれる。アプリケーション及び制御プログラムは、通信ユニット６による無線通信又は非一過的な記憶媒体を介してストレージ９にインストールされてもよい。
ストレージ９は、例えば、制御プログラム９Ａ、通話アプリケーション９Ｂ、メールアプリケーション９Ｃ、スケジュールアプリケーション９Ｄ、天気アプリケーション９Ｅ、音声読み上げアプリケーション９Ｆ、及び設定データ９Ｚなどを記憶する。
制御プログラム９Ａは、スマートフォン１を稼働させるための各種制御に関する機能を提供する。制御プログラム９Ａは、例えば、アラームを鳴動させる時刻に到達した場合に、スピーカ１１からアラーム音を出力させる機能を提供する。制御プログラム９Ａは、例えば、アラームが鳴動中であることを示す画面をディスプレイ２に表示させる機能を提供する。制御プログラム９Ａは、例えば、電池残量をモニタし、電池残量が所定値に到達した際にユーザに通知する機能を提供する。制御プログラム９Ａは、充電の開始および終了をユーザに通知する機能を提供する。制御プログラム９Ａは、無線ＬＡＮのアクセスポイントを検知した旨をユーザに通知する機能を提供する。制御プログラム９Ａは、ＧＰＳ衛星からの電波信号に基づいて、エリア検知を行う機能を提供する。
さらに、制御プログラム９Ａには、ユーザに対する通知が行われるイベントの発生を検知した際に、音入力部であるマイク８によるユーザの音声入力を有効な状態に制御する処理をコントローラ１０に実行させるための機能が含まれる。ユーザに対する通知が行われるイベントには、例えば、電話の不在着信、メールの受信、アラームの鳴動、電池残量の所定値への到達、充電の開始または終了、無線ＬＡＮのアクセスポイントの検知、エリア検知が含まれてよい。
さらに、制御プログラム９Ａには、マイク８により入力されるユーザの音声の認識処理を実行し、認識結果に応じた処理をコントローラ１０に実行させるための機能が含まれる。
制御プログラム９Ａには、例えば、着信があった旨、メールを受信した旨、電池残量がわずかである旨、充電を開始または終了した旨、無線ＬＡＮのアクセスポイントを検知した旨、エリアを検知した旨をユーザに伝えるための機能が含まれていてもよい。ユーザに伝える方法は、ＬＥＤなどの発行部を点灯させる方法、音を出力させる方法、ユーザに伝える内容を記載した吹き出しなどの画像をディスプレイ２に表示する方法、ユーザに伝える内容に対応する音声を読み上げアプリケーション９Ｆにより出力させる方法などがある。
制御プログラム９Ａには、ユーザの音声入力を有効な状態であることを示す画面を表示する機能、認識処理の結果に応じて実行する処理の内容に対応する画像を表示する機能、及び認識処理の結果に応じて実行する処理の内容に対応する音声を出力させる機能が含まれていてもよい。
制御プログラム９Ａは、ストレージ９に記憶される他のプログラムが提供する機能と組み合わせて利用されることがある。
通話アプリケーション９Ｂは、無線通信による通話のための通話機能を提供する。メールアプリケーション９Ｃは、電子メールの作成、送信、受信、及び表示等のための電子メール機能を提供する。スケジュールアプリケーション９Ｄは、スケジュールの登録、管理等のための機能を提供する。天気アプリケーション９Ｅは、天気に関する情報などをユーザに提供するための機能を提供する。音声読み上げアプリケーション９Ｆは、音声を読み上げる機能を提供する。音声読み上げアプリケーション９Ｆは、例えば、読み上げ対象となる情報に対応する音声データを生成し、生成した音声をスピーカ１１から出力する。
メールアプリケーション９Ｃは、スケジュールアプリケーション９Ｄ、及び天気アプリケーション９Ｅは、それぞれの機能を実現するために、対応するサーバとの間で同期し、最新の情報を含む各種情報をやり取りする機能を有する。スマートフォン１は、メールアプリケーション９Ｃは、スケジュールアプリケーション９Ｄ、及び天気アプリケーション９Ｅの変わりに、メールデータ、スケジュールデータ、天気データをストレージ９に記憶してもよい。この場合、制御プログラム９Ａは、メールデータ、スケジュールデータ、天気データを管理するサーバとの間で同期して、最新のデータを取得し、ストレージ９に格納する機能を提供する。
設定データ９Ｚは、スマートフォン１の動作に関連する各種の設定及び処理に関する情報を含む。設定データ９Ｚには、例えば、ユーザに対する通知が行われるイベントの発生を検知した際に、マイク８によるユーザの音声入力を有効の状態から無効な状態へ切替えるタイムアウト時間の設定が含まれる。設定データ９Ｚには、例えば、音声読み上げアプリケーション９Ｆによる読み上げ音声に関する設定が含まれる。例えば、着信があった旨、メールを受信した旨、電池残量がわずかである旨、充電を開始または終了した旨、無線ＬＡＮのアクセスポイントを検知した旨、エリアを検知した旨を読み上げ音声として出力するかどうかの設定などが含まれる。設定データ９Ｚには、アラーム音、ポップアップ表示音、着信音、メール受信音などに対応する音声ファイルが含まれていてよい。設定データ９Ｚには、電番番号、氏名、メールアドレスなどを含む電話帳のデータが含まれていてよい。
図１は、ストレージ９に記憶されるアプリケーションの一例を示すものに過ぎない。例えば、ブラウザアプリケーション、ナビゲートアプリケーション、音楽プレイヤーアプリケーション、動画再生アプリケーション、計算機アプリケーションなどがストレージ９にさらに記憶されていてもよい。
コントローラ１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含むが、これらに限定されない。コントローラ１０は、スマートフォン１の動作を統括的に制御して各種の機能を実現する。
具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２、通信ユニット６、マイク８、及びスピーカ１１を含むが、これらに限定されない。コントローラ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、ボタン３、照度センサ４、近接センサ５、レシーバ７、カメラ１２、姿勢検出ユニット１５、及びタッチスクリーン２１を含むが、これらに限定されない。
コントローラ１０は、例えば、制御プログラム９Ａを実行することにより、ユーザに対する通知が行われるイベントの発生を検知した際に、音入力部であるマイク８によるユーザの音声入力を有効な状態に制御する処理を実現する。さらに、コントローラ１０は、制御プログラム９Ａを実行することにより、マイク８により入力されるユーザの音声の認識処理を実行し、認識処理の結果に応じた処理を実行する。コントローラ１０は、例えば、電話の不在着信があると、マイク８によるユーザの音声入力を有効な状態にする。続いて、コントローラ１０は、マイク８により入力された音声の認識処理を実行する。例えば、音声の認識処理の結果、不在着信の発信者の問合せであると認識した場合、コントローラ１０は、不在着信に対応する発信者の氏名の情報を取得する。そして、コントローラ１０は、音声読み上げアプリケーション９Ｆを実行することにより、不在着信に対応する発信者の氏名に対応する読み上げ音声を、スピーカ１１から出力させる。
スピーカ１１は、音出力部である。スピーカ１１は、コントローラ１０から送信される音信号を音として出力する。スピーカ１１は、例えば、アラーム音、ポップアップ表示音、着信音、メール受信音、及び音楽を出力するために用いられる。レシーバ７及びスピーカ１１の一方が、他方の機能を兼ねてもよい。
カメラ１２は、撮影した画像を電気信号へ変換する。カメラ１２には、例えば、ディスプレイ２に面している物体を撮影するインカメラ、ディスプレイ２の反対側の面に面している物体を撮影するアウトカメラが含まれる。
姿勢検出ユニット１５は、スマートフォン１の姿勢を検出する。姿勢検出ユニット１５は、姿勢を検出するために、加速度センサ、方位センサ、及びジャイロスコープの少なくとも１つを備える。
バイブレータ１８は、スマートフォン１の一部又は全体を振動させる。バイブレータ１８は、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。バイブレータ１８による振動は、着信等の各種のイベントを利用者に報知するために用いられる。
タッチスクリーン２１は、タッチスクリーン２１に対する接触を検出する。コントローラ１０（スマートフォン１）は、タッチスクリーン２１によって検出される接触に基づいて、指、スタイラス、ペン等（以下、単に「指」という）を用いてタッチスクリーン２１に対して行われる各種操作（ジェスチャ）を検出する。例えば、タッチスクリーン２１は、タッチセンサを有する。タッチセンサは、タッチスクリーン２１への指の接触を、接触された場所のタッチスクリーン２１上での位置とともに検出し、コントローラ１０に通知する。コントローラ１０が、タッチスクリーン２１を介して検出する各種操作（ジェスチャ）には、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるがこれらに限定されない。タッチスクリーン２１の検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。図１に示すように、ディスプレイ２と、タッチスクリーン２１とは機能的には分離したものであるが、物理的にはタッチスクリーンディスプレイとして統合されていてよい。
図１に示したスマートフォン１の機能構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。例えば、ストレージ９に音声読み上げアプリケーション９Ｆが記憶されていなくてもよい。
図２〜図４を用いて、実施形態１において、スマートフォン１により実行される制御について説明する。
図２は、電話の不在着信があった際にスマートフォン１により実行される制御の一例を示す図である。図２に示すように、スマートフォン１は、着信があると、着信をユーザに知らせる画面４０ａをディスプレイ２に表示する（ステップＳ１１）。そして、着信に応答せず、不在着信となった場合（ステップＳ１１）、マイク８によるユーザの音声入力を有効な状態にする（ステップＳ１２）。ユーザの音声入力を有効な状態にする際、スマートフォン１は、音声入力が有効な状態であることを示す画面５０ａをディスプレイ２に表示してもよい。スマートフォン１は、画面５０ａに、着信があった旨を示す吹き出しの画像ＭＯ１−１を表示してもよい。スマートフォン１は、着信があった旨を示す吹き出しの画像ＭＯ１−１を表示する際に、着信があった旨の読み上げ音声を生成してスピーカ１１から出力してもよい。
続いて、スマートフォン１は、マイク８によりユーザの音声が入力されると（ステップＳ１３）、入力される音声の認識処理を実行し、認識処理の結果に応じた処理を実行する（ステップＳ１４〜ステップＳ１７）。
例えば、スマートフォン１は、入力される音声の認識処理の結果、音声の内容が不在着信の発信者の問合せであると認識した場合には（ステップＳ１３）、不在着信に対応する発信者の氏名の情報を取得する。スマートフォン１は、ステップＳ１３〜ステップＳ１６に示すように、入力された音声の内容（例えば、「誰から？」）に対応する吹き出しの画像ＵＩ１−１を画面５０ａに表示してもよい。
続いて、スマートフォン１は、不在着信に対応する発信者の氏名に対応する読み上げ音声を生成してスピーカ１１から出力する（ステップＳ１４）。スマートフォン１は、ステップＳ１４〜ステップＳ１６に示すように、生成した読み上げ音声（例えば、「特許太朗さんです。」）に対応する吹き出しの画像ＭＯ１−２を画面５０ａに表示してもよい。
音声入力を有効な状態にした後、スマートフォン１は、例えば、音声の入力がない状態が一定時間継続している場合、音声入力を有効な状態から無効な状態へ切替えて、音声入力をタイムアウトさせる。一方、音声の入力がない状態が一定時間継続していない場合、スマートフォン１は、音声入力をタイムアウトさせることなく、入力される音声の認識処理を継続する。
スマートフォン１は、ステップＳ１３に続いて入力される音声の認識処理の結果、音声の内容が不在着信に対応する電話番号への折り返し発信の指示であると認識した場合には（ステップＳ１５）、折り返し発信を行う旨の読み上げ音声を生成してスピーカ１１から出力する（ステップＳ１６）。続いて、スマートフォン１は、不在着信に対応する電話番号への発信処理を実行する（ステップＳ１７）。スマートフォン１は、ステップＳ１５及びステップＳ１６に示すように、例えば、入力された音声の内容（例えば、「かけ直して。」）に対応する吹き出しの画像ＵＩ１−２を画面５０ａに表示してもよい。スマートフォン１は、ステップＳ１６に示すように、例えば、折り返し発信を行う旨の読み上げ音声（例えば、「特許太朗さんにかけ直します。」）に対応する吹き出しの画像ＭＯ１−３を画面５０ａに表示してもよい。
図２に示す制御の例において、スマートフォン１は、照度センサ４または近接センサ５を介して、スマートフォン１がユーザのポケットなどに挿入されている状態であるものと判定する場合、吹き出しを表示しないようにしてもよい。つまり、吹き出しを表示しても、ユーザが確認できる状態にないことを考慮する趣旨である。
図２に示す制御の例において、スマートフォン１は、照度センサ４または近接センサ５を介して、スマートフォン１がユーザのポケットなどに挿入されている状態であるものと判定する場合、音声入力を有効な状態にしないようにしてもよい。つまり、音声入力を有効な状態にしても、マイク８によりユーザの音声を精度よく入力できる状態にないことを考慮する趣旨である。
図２に示す制御の例において、スマートフォン１は、照度センサ４または近接センサ５を介して、スマートフォン１がユーザのポケットなどに挿入されている状態であるものと判定する場合であっても、音声入力が可能なヘッドセットの接続を検出している場合、音声入力を有効な状態にしてもよい。つまり、マイク８によりユーザの音声を精度よく入力できなくても、ヘッドセットからユーザからの音声を入力できる状態にあることを考慮する趣旨である。
図２に示す制御の例において、スマートフォン１は、入力される音声の内容が、ユーザから問合せ又は指示である場合に、その都度、ユーザからの問合せ又は指示に応じた応答を読み上げ音声として出力してもよい。スマートフォン１は、入力される音声の内容が、ユーザからの問合せ又は指示である場合であっても、その都度、応答を読み上げ音声として出力せずに、入力される音声の内容に応じて応答を出力するか否かを決定してもよい。例えば、図２のステップＳ１６に示すように、スマートフォン１は、ユーザからの折り返し発信の指示に対して、「特許太朗さんにかけ直します。」という読み上げ音声を出力してから、不在着信に対応する電話番号への発信処理を実行してもよい。一方、スマートフォン１は、ユーザからの折り返し発信の指示を認識できたら、折り返し発信の指示に応答する読み上げ音声を出力することなく、そのまま不在着信に対応する電話番号への発信処理を実行してもよい。スマートフォン１は、少なくとも、ユーザとのやり取りを円滑に進めることができる限り、ユーザとの音声のやり取りを任意に実行してよい。
図３は、メールの受信があった際にスマートフォン１により実行される制御の一例を示す図である。図３に示すように、スマートフォン１は、メールを受信すると、メールの受信をユーザに知らせる画面４０ｂをディスプレイに表示させる（ステップＳ２１）。スマートフォン１は、メールを受信すると、マイク８によるユーザの音声入力を有効な状態にする（ステップＳ２２）。ユーザの音声入力を有効な状態にする際、スマートフォン１は、音声入力が有効な状態であることを示す画面５０ａをディスプレイ２に表示してもよい。スマートフォン１は、画面５０ａに、メールの受信があった旨を示す吹き出しの画像ＭＯ２−１を表示してもよい。スマートフォン１は、着信があった旨を示す吹き出しの画像ＭＯ２−１を表示する際に、メールを受信した旨の読み上げ音声を生成してスピーカ１１から出力してもよい。
続いて、スマートフォン１は、マイク８によりユーザの音声が入力されると（ステップＳ２３）、入力された音声の認識処理を実行し、認識処理の結果に応じた処理を実行する（ステップＳ２４〜ステップＳ２６）。
例えば、スマートフォン１は、入力される音声の認識処理の結果、受信メールの差出人（送信者）の問合せであると認識した場合には（ステップＳ２３）、受信メールの差出人の氏名の情報を取得する。スマートフォン１は、ステップＳ２３〜ステップＳ２６に示すように、入力された音声の内容（例えば、「誰から？」）という吹き出しの画像ＵＩ２−１を画面５０ａに表示してもよい。
続いて、スマートフォン１は、受信メールの差出人の氏名に対応する読み上げ音声を生成してスピーカ１１から出力する（ステップＳ２４）。スマートフォン１は、ステップＳ２４〜ステップＳ２６に示すように、生成した読み上げ音声（例えば、「特許太朗さんです。」）に対応する吹き出しの画像ＭＯ２−２を画面５０ａに表示してもよい。
音声入力を有効な状態にした後、スマートフォン１は、例えば、音声の入力がない状態が一定時間継続している場合、音声入力を有効な状態から無効な状態へ切替えて、音声入力をタイムアウトさせる。一方、音声の入力がない状態が一定時間継続していない場合、スマートフォン１は、音声入力をタイムアウトさせることなく、入力される音声の認識処理を継続する。
スマートフォン１は、ステップＳ２３に続いて入力される音声の認識処理の結果、音声の内容が受信メールのタイトル（件名）の問合せであると認識した場合には（ステップＳ２５）、受信メールのタイトルに対応する読み上げ音声を生成してスピーカ１１から出力する（ステップＳ２６）。スマートフォン１は、ステップＳ２５及びステップＳ２６に示すように、入力された音声の内容（例えば、「タイトルを読み上げて。」）という吹き出しの画像ＵＩ２−２を画面５０ａに表示してもよい。スマートフォン１は、ステップＳ２６に示すように、受信メールのタイトルに対応する読み上げ音声（例えば、「タイトルは花火大会の開催日時の連絡です。」）に対応する吹き出しの画像ＭＯ２−３を画面５０ａに表示してもよい。
図４は、アラームの鳴動があった際にスマートフォン１により実行される制御の一例を示す図である。図４に示すように、スマートフォン１は、アラームの鳴動時刻への到達を検出すると、アラームを鳴動させ、アラームが鳴動中であることをユーザに知らせる画面４０ｃをディスプレイ２に表示する（ステップＳ３１）。スマートフォン１は、アラームの鳴動があった場合、マイク８によるユーザの音声入力を有効な状態にする（ステップＳ３２）。ユーザの音声入力を有効な状態にする際、スマートフォン１は、音声入力が有効な状態であることを示す画面５０ａをディスプレイ２に表示してもよい。スマートフォン１は、画面５０ａに、アラームの鳴動があった旨を示す吹き出しの画像ＭＯ３−１を表示してもよい。
続いて、スマートフォン１は、マイク８によりユーザの音声が入力されると（ステップＳ３２）、入力された音声の認識処理を実行し、認識処理の結果に応じた処理を実行する（ステップＳ３３〜ステップＳ３６）。
例えば、スマートフォン１は、入力される音声の認識処理の結果、音声の内容が今日のスケジュールの問合せであると認識した場合には（ステップＳ３２）、その問合せに応答する読み上げ音声を生成してスピーカ１１から出力する（ステップＳ３３）。スマートフォン１は、ステップＳ３２〜ステップＳ３６に示すように、入力された音声の内容（例えば、「今日の予定は？」）に対応する吹き出しの画像ＵＩ３−１を画面５０ａに表示してもよい。スマートフォン１は、ステップＳ３３〜ステップＳ３６に示すように、スケジュールの問合せに応答する読み上げ音声（例えば、「スケジュールを確認します。」）に対応する吹き出しの画像ＭＯ３−１を画面５０ａに表示してもよい。ユーザに応答した後、スマートフォン１は、今日のスケジュールに関する情報を取得する。
続いて、スマートフォン１は、今日のスケジュールに対応する読み上げ音声を生成してスピーカ１１から出力する（ステップＳ３４）。スマートフォン１は、ステップＳ３４〜ステップＳ３６に示すように、生成した読み上げ音声（例えば、「今日は１０時に新宿で打合せです。」）に対応する吹き出しの画像ＭＯ３−２を画面５０ａに表示してもよい。
音声入力を有効な状態にした後、スマートフォン１は、例えば、音声の入力がない状態が一定時間継続している場合、音声入力を有効な状態から無効な状態へ切替えて、音声入力をタイムアウトさせる。一方、音声の入力がない状態が一定時間継続していない場合、スマートフォン１は、音声入力をタイムアウトさせることなく、入力される音声の認識処理を継続する。
スマートフォン１は、ステップＳ３２に続いて入力される音声の認識処理の結果、音声の内容が今日の天気の問合せであると認識した場合には（ステップＳ３５）、今日の天気に関する情報を取得する。続いて、スマートフォン１は、取得した今日の天気に関する情報に対応する読み上げ音声を生成してスピーカ１１から出力する（ステップＳ３６）。スマートフォン１は、ステップＳ３５及びステップＳ３６に示すように、入力された音声の内容（例えば、「今日の天気は？」）に対応する吹き出しの画像ＵＩ３−２を画面５０ａに表示してもよい。スマートフォン１は、ステップＳ３６に示すように、生成した読み上げ音声（例えば、「東京の今日の天気は晴れ、降水確率は１０％です。」）に対応する吹き出しの画像ＭＯ３−３を画面５０ａに表示してもよい。
図５は、実施形態１に係る制御プログラム９Ａが提供する機能に基づく制御を実現するための処理手順の一例を示す図である。図５に示す処理手順は、コントローラ１０が、制御プログラム９Ａを実行することにより実現される。図５に示す処理手順は、スマートフォン１の起動中、繰り返し実行される。
図５に示すように、コントローラ１０は、例えば、ステップＳ１０１として、ユーザに対する通知が行われるイベントが発生したかどうかを判定する。イベントには、例えば、電話の不在着信、メールの受信、アラームの鳴動などが含まれる。判定の結果、ユーザに対する通知が行われるイベントが発生していない場合には（ステップＳ１０１、Ｎｏ）、コントローラ１０は、図５に示す処理手順を終了する。
判定の結果、ユーザに対する通知が行われるイベントが発生した場合には（ステップＳ１０１、Ｙｅｓ）、コントローラ１０は、マイク８による音声入力を無効な状態から有効な状態へ切替える（ステップＳ１０２）。続いて、コントローラ１０は、マイク８により入力される音声の認識処理を実行し、認識結果に応じた処理を実行する（ステップＳ１０３）。例えば、コントローラ１０は、音声認識の結果、入力される音声の内容が不在着信の発信者の問合せである場合、不在着信の発信者の名前に対応する読み上げ音声を出力する。例えば、コントローラ１０は、音声認識の結果、入力される音声の内容が不在着信に対応する電話番号への折り返し発信の指示である場合、不在着信に対応する電話番号へ発信する。例えば、コントローラ１０は、音声認識の結果、入力される音声の内容が受信メールの差出人の問合せである場合、受信メールの差出人の名前に対応する読み上げ音声を出力する。例えば、コントローラ１０は、音声認識の結果、入力される音声の内容が受信メールのタイトル（件名）の問合せである場合、受信メールのタイトルに対応する読み上げ音声を出力する。例えば、コントローラ１０は、音声認識の結果、入力される音声の内容が今日のスケジュールの問合せである場合には、スケジュールの問合せに応答する読み上げ音声を出力する。例えば、コントローラ１０は、音声認識の結果、入力される音声の内容が今日の天気の問合せである場合、天気に関する情報に対応する読み上げ音声を出力する。
続いて、コントローラ１０は、音声入力のない状態が一定時間継続しているかどうかを判定する（ステップＳ１０４）。判定の結果、音声入力のない状態が一定時間継続していない場合には（ステップＳ１０４、Ｎｏ）、コントローラ１０は、ステップＳ１０３の処理手順に戻り、入力される音声の認識処理を継続する。
一方、判定の結果、音声入力のない状態が一定時間継続している場合には（ステップＳ１０４、Ｙｅｓ）、コントローラ１０は、音声入力を有効な状態から無効な状態に切替えて（ステップＳ１０５）、図５に示す処理手順を終了する。
上述してきたように、実施形態１では、スマートフォン１は、ユーザに対する通知が行われるイベントの発生を検知した際に、マイク８によるユーザの音声入力を有効な状態に制御する。このため、実施形態１では、ユーザは、イベントに対する問合せ、イベントに応じた操作入力を音声入力により実行することができ、各種イベントに応じた操作を実行する際のユーザの利便性を向上させることができる。
実施形態１では、上記イベントとして、例えば、電話の不在着信、メールの受信、アラームの鳴動を例に挙げたが、これら以外にも、電池残量の所定値への到達、充電の開始または終了、無線ＬＡＮのアクセスポイントの検知、エリア検知などが含まれてよい。上記イベントは、音声入力を有効にするための契機であり、任意に設定できる。スマートフォン１は、電池残量が所定値に到達した際に、音声入力を有効な状態に制御する。スマートフォン１は、充電の開始された際に、音声入力を有効な状態に制御する。スマートフォン１は、充電が終了した際に、音声入力を有効な状態に制御する。スマートフォン１は、無線ＬＡＮのアクセスポイントを検知した際に、音声入力を有効な状態に制御する。スマートフォン１は、ＧＰＳ衛星からの電波信号に基づいて、特定のエリア検知した際に、音声入力を有効な状態に制御する。
実施形態１において、スマートフォン１は、入力音声の認識処理を実行することで、不在着信および受信メールの件数をユーザに通知する処理、留守番電話サービスへの発信処理、会議への出席承認処理、マナーモードの設定処理及び解除処理などを実行してもよい。すなわち、スマートフォン１は、ユーザが手動操作で実行することができる処理の全てを、音声入力により実現してよい。
実施形態１では、スマートフォン１は、音声の入力がない状態が一定時間継続した場合には、音声入力を有効な状態から無効な状態に切替えて、音声入力をタイムアウトさせる。このため、実施形態１によれば、特定のイベントが発生していない時に、音声入力による誤操作が発生することを防止できる。
実施形態１では、スマートフォン１は、マイク８により入力されるユーザの音声の認識処理を実行し、認識結果に応じた処理を実行する。このため、実施形態１によれば、各種イベントに応じた処理を実行する際の操作入力をユーザに手動で行わせる必要がなく、ユーザの利便性を向上させることができる。
実施形態１では、スマートフォン１は、音声の認識結果に応じて実行する処理の内容を、読み上げ音声または吹き出しの画像によりユーザに通知する。このため、実施形態１によれば、音声により入力がスマートフォン１に正しく受入れられているかどうかをユーザに知らせることができる。
（実施形態２）
実施形態１において、スマートフォン１は、セキュリティロック状態にあるときに、上記イベントが発生した場合には、音声入力を有効な状態にしないように制御してもよい。図６は、実施形態２に係る制御プログラム９Ａが提供する機能に基づく制御を実現するための処理手順の一例を示す図である。図６に示す処理手順は、コントローラ１０が、制御プログラム９Ａを実行することにより実現される。図６に示す処理手順は、スマートフォン１の起動中、繰り返し実行される。図６に示す処理手順は、ステップＳ２０２の処理手順が、図５に示す処理手順と異なる。
制御プログラム９Ａには、セキュリティロック状態にあるときに、上記イベントが発生した場合には、音声入力を有効な状態にしないようにコントローラ１０に制御させるための機能が含まれる。
コントローラ１０は、制御プログラム９Ａを実行することにより、セキュリティロック状態にあるときに、上記イベントが発生した場合には、音声入力を有効な状態にしないように制御する処理を実現する。
図６に示すように、コントローラ１０は、例えば、ステップＳ２０１として、ユーザに対する通知が行われるイベントが発生したかどうかを判定する。イベントには、例えば、電話の不在着信、メールの受信、アラームの鳴動などが含まれる。判定の結果、上記イベントが発生していない場合には（ステップＳ２０１、Ｎｏ）、コントローラ１０は、図６に示す処理手順を終了する。
判定の結果、ユーザに対する通知が行われるイベントが発生した場合には（ステップＳ２０１、Ｙｅｓ）、コントローラ１０は、セキュリティロック状態であるかどうかを判定する（ステップＳ２０２）。セキュリティロック状態は、スマートフォン１に対する操作が無効な状態である。ユーザは、所定のパスワードなど入力することにより、セキュリティロック状態を解除できる。
判定の結果、セキュリティロック状態である場合には（ステップＳ２０２、Ｙｅｓ）、コントローラ１０は、図６に示す処理手順を終了する。つまり、セキュリティロック状態である場合には、ユーザがスマートフォン１を利用しない状況にあることが想定されるので、音声入力を有効にする必要性が低いことを考慮するものである。
一方、判定の結果、セキュリティロック状態ではない場合には（ステップＳ２０２、Ｎｏ）、コントローラ１０は、マイク８による音声入力を無効な状態から有効な状態へ切替える（ステップＳ２０３）。続いて、コントローラ１０は、マイク８により入力される音声の認識処理を実行し、認識結果に応じた処理を実行する（ステップＳ２０４）。例えば、コントローラ１０は、音声認識の結果、入力される音声の内容が不在着信の発信者の問合せである場合、不在着信の発信者の名前に対応する読み上げ音声を出力する。例えば、コントローラ１０は、音声認識の結果、入力される音声の内容が不在着信に対応する電話番号への折り返し発信の指示である場合、不在着信に対応する電話番号へ発信する。例えば、コントローラ１０は、音声認識の結果、入力される音声の内容が受信メールの差出人の問合せである場合、受信メールの差出人の名前に対応する読み上げ音声を出力する。例えば、コントローラ１０は、音声認識の結果、入力される音声の内容が受信メールのタイトル（件名）の問合せである場合、受信メールのタイトルに対応する読み上げ音声を出力する。例えば、コントローラ１０は、音声認識の結果、入力される音声の内容が今日のスケジュールの問合せである場合には、スケジュールの問合せに応答する読み上げ音声を出力する。例えば、コントローラ１０は、音声認識の結果、入力される音声の内容が今日の天気の問合せである場合、天気に関する情報に対応する読み上げ音声を出力する。
続いて、コントローラ１０は、音声入力のない状態が一定時間継続しているかどうかを判定する（ステップＳ２０５）。判定の結果、音声入力のない状態が一定時間継続していない場合には（ステップＳ２０５、Ｎｏ）、コントローラ１０は、ステップＳ２０４の処理手順に戻り、入力される音声の認識処理を継続する。
一方、判定の結果、音声入力のない状態が一定時間継続している場合には（ステップＳ２０５、Ｙｅｓ）、コントローラ１０は、音声入力を有効な状態から無効な状態に切替えて（ステップＳ２０６）、図６に示す処理手順を終了する。
（その他の実施形態）
例えば、あるイベントの発生に応じて音声入力を有効な状態にした後に、別のイベントが発生した場合、あるいは複数のイベントがほぼ同時に発生した場合には、それぞれのイベントに対応する処理を実行してもよい。
図７は、メールの受信直後に不在着信があった際にスマートフォン１により実行される制御の一例を示す図である。
図７に示すように、スマートフォン１は、例えば、メールの受信直後の着信が不在着信となった場合（ステップＳ４１）、不在着信の前のメールの受信によって、マイク８によるユーザの音声入力を有効な状態にする（ステップＳ４２）。ユーザの音声入力を有効な状態にする際、スマートフォン１は、音声入力が有効な状態であることを示す画面５０ａをディスプレイ２に表示してもよい。スマートフォン１は、画面５０ａに、着信があった旨を示す吹き出しの画像ＭＯ４−１、及びメールの受信があった旨を示す吹き出しの画像ＭＯ４−２を表示してもよい。スマートフォン１は、着信があった旨を示す吹き出しの画像ＭＯ４−１、及びメールの受信があった旨を示す吹き出しの画像ＭＯ４−２を表示する際に、それぞれの吹き出しに対応する読み上げ音声を生成してスピーカ１１から出力してもよい。
続いて、スマートフォン１は、マイク８によりユーザの音声が入力されると（ステップＳ４３）、入力された音声の認識処理を実行し、認識処理の結果に応じた処理を実行する（ステップＳ４４〜ステップＳ４８）。
例えば、スマートフォン１は、入力される音声の認識処理の結果、音声の内容が不在着信の発信者の問合せであると認識した場合には（ステップＳ４３）、不在着信に対応する発信者の氏名の情報を取得する。スマートフォン１は、ステップＳ４３〜ステップＳ４６に示すように、入力された音声の内容（例えば、「着信は誰から？」）に対応する吹き出しの画像ＵＩ４−１を画面５０ａに表示してもよい。
続いて、スマートフォン１は、不在着信に対応する発信者の氏名に対応する読み上げ音声を生成してスピーカ１１から出力する（ステップＳ４４）。スマートフォン１は、ステップＳ４４〜ステップＳ４６に示すように、生成した読み上げ音声（例えば、「着信は特許太朗さんからです。」）に対応する吹き出しの画像ＭＯ４−３を画面５０ａに表示してもよい。
音声入力を有効な状態にした後、スマートフォン１は、例えば、音声の入力がない状態が一定時間継続している場合、音声入力を有効な状態から無効な状態へ切替えて、音声入力をタイムアウトさせる。一方、音声の入力がない状態が一定時間継続していない場合、スマートフォン１は、音声入力をタイムアウトさせることなく、入力される音声の認識処理を継続する。
スマートフォン１は、ステップＳ４３に続いて入力される音声の認識処理の結果、受信メールの差出人（送信者）の問合せであると認識した場合には（ステップＳ４５）、受信メールの差出人の氏名の情報を取得する。スマートフォン１は、ステップＳ４５及びステップＳ４６に示すように、入力された音声の内容（例えば、「メールは誰から？」）という吹き出しの画像ＵＩ４−２を画面５０ａに表示してもよい。
続いて、スマートフォン１は、受信メールの差出人の氏名に対応する読み上げ音声を生成してスピーカ１１から出力する（ステップＳ４６）。スマートフォン１は、ステップＳ４６に示すように、生成した読み上げ音声（例えば、「メールは特許花子さんからです。」）に対応する吹き出しの画像ＭＯ４−４を画面５０ａに表示してもよい。
スマートフォン１は、ステップＳ４５に続いて入力される音声の認識処理の結果、音声の内容が不在着信に対応する電話番号への折り返し発信の指示であると認識した場合には（ステップＳ４７）、折り返し発信を行う旨の読み上げ音声を生成してスピーカ１１から出力する（ステップＳ４８）。続いて、スマートフォン１は、不在着信に対応する電話番号への発信処理を実行する（ステップＳ４９）。スマートフォン１は、ステップＳ４７及びステップＳ４８に示すように、例えば、入力された音声の内容（例えば、「かけ直して。」）に対応する吹き出しの画像ＵＩ４−３を画面５０ａに表示してもよい。このとき、スマートフォン１は、画面５０ａに、吹き出しの画像ＵＩ４−３を表示するスペースがない場合には、例えば、ステップＳ４７に示すように、現在表示中の吹き出しの画像を消去して、画像ＵＩ４−３を表示してもよい。スマートフォン１は、ステップＳ４８に示すように、例えば、折り返し発信を行う旨の読み上げ音声（例えば、「特許太朗さんにかけ直します。」）に対応する吹き出しの画像ＭＯ４−４を画面５０ａに表示してもよい。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。
例えば、図１に示した各プログラムは、複数のモジュールに分割されていてもよい。あるいは、図１に示した各プログラムは、他のプログラムと結合されていてもよい。
上記の実施形態では、本出願に係る電子機器の一例として、スマートフォンについて説明したが、添付の請求項に係る装置は、スマートフォンに限定されない。添付の請求項に係る装置は、スマートフォン以外の電子機器であってもよい。電子機器は、例えば、モバイルフォン、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、及びゲーム機である。あるいは、添付の請求項に係る装置は、据え置き型の電子機器であってもよい。据え置き型の電子機器は、例えば、デスクトップパソコン、及びテレビ受像器である。
１ スマートフォン
２ ディスプレイ
３ ボタン
４ 照度センサ
５ 近接センサ
６ 通信ユニット
７ レシーバ
８ マイク
９ ストレージ
９Ａ 制御プログラム
９Ｂ 通話アプリケーション
９Ｃ メールアプリケーション
９Ｄ スケジュールアプリケーション
９Ｅ 天気アプリケーション
９Ｆ 音声読み上げアプリケーション
９Ｚ 設定データ
１０ コントローラ
１１ スピーカ
１２ カメラ
１５ 姿勢検出ユニット
１８ バイブレータ
２１ タッチスクリーン

Claims (7)

  1. マイクと、
    ユーザに対する通知が行われるイベントの発生を検知した際に、前記マイクによる音声の入力を有効な状態に制御するコントローラと
    を有する電子機器。
  2. 前記コントローラは、前記マイクへの音声の入力がない状態が一定時間継続した場合には、前記マイクによる音声の入力を有効な状態から無効な状態に戻す請求項１に記載の電子機器。
  3. 前記コントローラは、セキュリティロック状態で、前記イベントの発生を検知した場合には、前記マイクによる音声の入力を無効な状態を維持する請求項１又は２に記載の電子機器。
  4. 前記コントローラは、前記マイクにより入力される音声の認識処理を実行し、認処理の結果に応じた処理を実行する請求項１〜３のいずれか一つに記載の電子機器。
  5. 前記コントローラは、音声の認識結果に応じて実行する処理の内容をユーザに通知する請求項４に記載の電子機器。
  6. マイクを有する電子機器を制御する制御方法であって、
    ユーザに対する通知が行われるイベントの発生を検知するステップと、
    前記イベントの発生を検知した際に、前記マイクによる音声の入力を有効な状態に制御するステップと
    を含む制御方法。
  7. マイクを有する電子機器に、
    ユーザに対する通知が行われるイベントの発生を検知するステップと、
    前記イベントの発生を検知した際に、前記マイクによる音声の入力を有効な状態に制御するステップと
    を実行させる制御プログラム。
JP2012187915A 2012-08-28 2012-08-28 電子機器、制御方法、及び制御プログラム Expired - Fee Related JP6393021B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012187915A JP6393021B2 (ja) 2012-08-28 2012-08-28 電子機器、制御方法、及び制御プログラム
US14/424,693 US9620126B2 (en) 2012-08-28 2013-08-28 Electronic device, control method, and control program
PCT/JP2013/073040 WO2014034733A1 (ja) 2012-08-28 2013-08-28 電子機器、制御方法、及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012187915A JP6393021B2 (ja) 2012-08-28 2012-08-28 電子機器、制御方法、及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2014045449A true JP2014045449A (ja) 2014-03-13
JP6393021B2 JP6393021B2 (ja) 2018-09-19

Family

ID=50183539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012187915A Expired - Fee Related JP6393021B2 (ja) 2012-08-28 2012-08-28 電子機器、制御方法、及び制御プログラム

Country Status (3)

Country Link
US (1) US9620126B2 (ja)
JP (1) JP6393021B2 (ja)
WO (1) WO2014034733A1 (ja)

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015205289A (ja) * 2014-04-17 2015-11-19 新日鐵住金株式会社 ロール成形方法
JP2019091472A (ja) * 2014-09-12 2019-06-13 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 発語トリガを常時リッスンするための動的閾値
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10469556B2 (en) 2007-05-31 2019-11-05 Ooma, Inc. System and method for providing audio cues in operation of a VoIP service
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR101500130B1 (ko) * 2013-09-02 2015-03-06 현대자동차주식회사 스티어링 휠에 설치된 차량용 제어장치
US9386148B2 (en) 2013-09-23 2016-07-05 Ooma, Inc. Identifying and filtering incoming telephone calls to enhance privacy
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10553098B2 (en) 2014-05-20 2020-02-04 Ooma, Inc. Appliance device integration with alarm systems
US9633547B2 (en) 2014-05-20 2017-04-25 Ooma, Inc. Security monitoring and control
US10769931B2 (en) 2014-05-20 2020-09-08 Ooma, Inc. Network jamming detection and remediation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US11330100B2 (en) * 2014-07-09 2022-05-10 Ooma, Inc. Server based intelligent personal assistant services
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US11171875B2 (en) 2015-05-08 2021-11-09 Ooma, Inc. Systems and methods of communications network failure detection and remediation utilizing link probes
US10009286B2 (en) 2015-05-08 2018-06-26 Ooma, Inc. Communications hub
US10771396B2 (en) 2015-05-08 2020-09-08 Ooma, Inc. Communications network failure detection and remediation
US10911368B2 (en) 2015-05-08 2021-02-02 Ooma, Inc. Gateway address spoofing for alternate network utilization
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10116796B2 (en) 2015-10-09 2018-10-30 Ooma, Inc. Real-time communications-based internet advertising
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) * 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10621992B2 (en) * 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10664533B2 (en) 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10367540B1 (en) 2018-02-20 2019-07-30 Cypress Semiconductor Corporation System and methods for low power consumption by a wireless sensor device
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US10657968B1 (en) * 2018-11-19 2020-05-19 Google Llc Controlling device output according to a determined condition of a user
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
CN110262767B (zh) * 2019-06-03 2022-03-11 交互未来(北京)科技有限公司 基于靠近嘴部检测的语音输入唤醒装置、方法和介质
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134289A (ja) * 1998-10-27 2000-05-12 Sanyo Electric Co Ltd 電話装置
JP2000201205A (ja) * 1999-01-08 2000-07-18 Nec Corp 携帯電話の誤動作防止方式及び誤動作防止回路
JP2002125013A (ja) * 2000-10-12 2002-04-26 Nissan Motor Co Ltd 自動車用電話装置
JP2008244690A (ja) * 2007-03-27 2008-10-09 Nec Saitama Ltd 情報処理端末、情報処理端末の制御方法、およびプログラム
JP2010507870A (ja) * 2006-10-24 2010-03-11 アップル インコーポレイテッド ポータブル・デバイスにおけるユーザ動作に対する自動応答およびユーザ動作の感知
JP2011087230A (ja) * 2009-10-19 2011-04-28 Nec Corp 照度センサを搭載した携帯端末、携帯端末の省電力制御方法及び携帯端末の省電力制御プログラム
JP2011133976A (ja) * 2009-12-22 2011-07-07 Sharp Corp 情報端末
JP2011526099A (ja) * 2008-06-05 2011-09-29 アップル インコーポレイテッド 近接に基づく高周波電力制御を備えた電子デバイス
JP2012175625A (ja) * 2011-02-24 2012-09-10 Nec Casio Mobile Communications Ltd 携帯端末装置及びその操作方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6339706B1 (en) * 1999-11-12 2002-01-15 Telefonaktiebolaget L M Ericsson (Publ) Wireless voice-activated remote control device
US7010332B1 (en) * 2000-02-21 2006-03-07 Telefonaktiebolaget Lm Ericsson(Publ) Wireless headset with automatic power control
US7899500B2 (en) * 2002-09-24 2011-03-01 At&T Intellectual Property I, L. P. Apparatus and method for providing hands-free operation of a device
US8731146B2 (en) * 2007-01-04 2014-05-20 At&T Intellectual Property I, L.P. Call re-directed based on voice command
US8131267B2 (en) * 2008-05-19 2012-03-06 Tbm, Llc Interactive voice access and retrieval of information
KR101611302B1 (ko) * 2009-08-10 2016-04-11 엘지전자 주식회사 제스쳐 입력이 가능한 휴대 단말기 및 그 제어방법
KR101612788B1 (ko) * 2009-11-05 2016-04-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP5416035B2 (ja) 2010-05-27 2014-02-12 京セラ株式会社 携帯通信端末、点滅周期制御プログラムおよび点滅周期制御方法
KR101873415B1 (ko) * 2011-09-08 2018-07-02 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US20130072251A1 (en) * 2011-09-20 2013-03-21 Lg Electronics Inc. Mobile terminal, method for controlling of the mobile terminal and system
KR20130032966A (ko) * 2011-09-26 2013-04-03 엘지전자 주식회사 사용자 인터페이스 방법 및 장치
US8468022B2 (en) * 2011-09-30 2013-06-18 Google Inc. Voice control for asynchronous notifications
KR101853856B1 (ko) * 2011-10-04 2018-05-04 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US8767035B2 (en) * 2011-12-06 2014-07-01 At&T Intellectual Property I, L.P. In-call command control
EP2610862B1 (en) * 2011-12-30 2015-07-08 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling electronic apparatus
TW201335744A (zh) * 2012-02-21 2013-09-01 Quanta Comp Inc 可攜式電子裝置及其控制方法
US8731912B1 (en) * 2013-01-16 2014-05-20 Google Inc. Delaying audio notifications

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134289A (ja) * 1998-10-27 2000-05-12 Sanyo Electric Co Ltd 電話装置
JP2000201205A (ja) * 1999-01-08 2000-07-18 Nec Corp 携帯電話の誤動作防止方式及び誤動作防止回路
JP2002125013A (ja) * 2000-10-12 2002-04-26 Nissan Motor Co Ltd 自動車用電話装置
JP2010507870A (ja) * 2006-10-24 2010-03-11 アップル インコーポレイテッド ポータブル・デバイスにおけるユーザ動作に対する自動応答およびユーザ動作の感知
JP2008244690A (ja) * 2007-03-27 2008-10-09 Nec Saitama Ltd 情報処理端末、情報処理端末の制御方法、およびプログラム
JP2011526099A (ja) * 2008-06-05 2011-09-29 アップル インコーポレイテッド 近接に基づく高周波電力制御を備えた電子デバイス
JP2011087230A (ja) * 2009-10-19 2011-04-28 Nec Corp 照度センサを搭載した携帯端末、携帯端末の省電力制御方法及び携帯端末の省電力制御プログラム
JP2011133976A (ja) * 2009-12-22 2011-07-07 Sharp Corp 情報端末
JP2012175625A (ja) * 2011-02-24 2012-09-10 Nec Casio Mobile Communications Ltd 携帯端末装置及びその操作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
橋本佳幸, あなたの声で操作できる IPHONE SIRI かんたんガイド, vol. 第１版第１刷, JPN6016017576, 5 July 2012 (2012-07-05), JP, pages 43 - 70, ISSN: 0003315413 *

Cited By (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
JP2015205289A (ja) * 2014-04-17 2015-11-19 新日鐵住金株式会社 ロール成形方法
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
JP2019091472A (ja) * 2014-09-12 2019-06-13 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 発語トリガを常時リッスンするための動的閾値
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
US9620126B2 (en) 2017-04-11
WO2014034733A1 (ja) 2014-03-06
US20150255071A1 (en) 2015-09-10
JP6393021B2 (ja) 2018-09-19

Similar Documents

Publication Publication Date Title
JP6393021B2 (ja) 電子機器、制御方法、及び制御プログラム
US9609108B2 (en) Electronic device, control method, and control program
JP6125811B2 (ja) 電子機器、制御方法、及び制御プログラム
US10241601B2 (en) Mobile electronic device, control method, and non-transitory storage medium that stores control program
JP6215128B2 (ja) 携帯電子機器、制御方法及び制御プログラム
JP6133564B2 (ja) 電子機器、制御方法、及び制御プログラム
JP6199142B2 (ja) 携帯電子機器、制御方法、及び制御プログラム
US10791214B2 (en) Electronic device, control method, and medium
JP2014072756A (ja) 電子機器、制御方法及び制御プログラム
JP2015142321A (ja) 携帯電子機器、表示制御方法及び表示制御プログラム
JP6139912B2 (ja) 携帯電子機器、制御方法及び制御プログラム
US20150229802A1 (en) Electronic device, control method, and control program
JP2014068240A (ja) 電子機器、制御方法、及び制御プログラム
JP2014225798A (ja) 電子機器、制御方法、及び制御プログラム
JP2014225796A (ja) 電子機器、制御方法、及び制御プログラム
JP6816318B2 (ja) 電子機器、制御方法、及びプログラム
JP2019009657A (ja) 電話機、電話機の制御方法及び電話機のプログラム
JP6399944B2 (ja) 電子機器、制御方法及び制御プログラム
US9819791B2 (en) Mobile electronic device, control method, and control program
JP6152334B2 (ja) 電子機器、制御方法、及び制御プログラム
JP6016563B2 (ja) 電子機器、制御方法及び制御プログラム
WO2014185503A1 (ja) 電子機器、制御方法、及び記録媒体
JP2016197441A (ja) 電子機器、制御方法、及び制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160713

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170201

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170210

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180824

R150 Certificate of patent or registration of utility model

Ref document number: 6393021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees