JP2017199057A - 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラムおよび電子機器システム - Google Patents

電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラムおよび電子機器システム Download PDF

Info

Publication number
JP2017199057A
JP2017199057A JP2016086851A JP2016086851A JP2017199057A JP 2017199057 A JP2017199057 A JP 2017199057A JP 2016086851 A JP2016086851 A JP 2016086851A JP 2016086851 A JP2016086851 A JP 2016086851A JP 2017199057 A JP2017199057 A JP 2017199057A
Authority
JP
Japan
Prior art keywords
input
electronic device
unit
voice
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016086851A
Other languages
English (en)
Inventor
明 水本
Akira Mizumoto
明 水本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2016086851A priority Critical patent/JP2017199057A/ja
Priority to US15/493,553 priority patent/US20170309270A1/en
Publication of JP2017199057A publication Critical patent/JP2017199057A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】コピー範囲を入力しやすい電子機器を提供する。【解決手段】電子機器は、入力部と、音声出力部と、コピー処理を行う制御部とを備える。制御部は、コピー処理において、音声出力部に第1文章情報を音声で出力させ、音声の出力中に、ユーザによる入力部への第1入力が行われたか否かを判断し、第1入力が行われたと判断したときに、第1入力の第1タイミングに基づいて、第1文章情報のうちのコピー範囲を決定する。【選択図】図8

Description

本開示は、電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラムおよび電子機器システムに関する。
例えば特許文献1には、表示画面に表示された文章を音声で出力することができる電子機器が提案されている。これにより、ユーザは視覚に頼らずに、電子機器の表示画面の内容を了知することができる。
また特許文献2には、ユーザの入力に応答して、情報のコピーおよびペーストを行うことができる電子機器が提案されている。この電子機器はタッチパネルを有している。このタッチパネルは、ユーザが電子機器の表示画面に対して行う操作を検出する。ユーザは、表示画面を操作することにより、その表示画面に表示された情報の中からコピーの対象を指定することができる。
特開2003−051867号公報 特開2014−523586号公報
視力の弱いユーザはコピーの対象範囲(以下、コピー範囲と呼ぶ)を電子機器に入力しにくい。
そこで本開示は、コピー範囲を入力しやすい電子機器を提供することを目的とする。
電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラムおよび電子機器システムが開示される。一実施の形態において、電子機器は、入力部と、音声出力部と、コピー処理を行う制御部とを備える。制御部は、コピー処理において、音声出力部に第1文章情報を音声で出力させ、音声の出力中に、ユーザによる入力部への第1入力が行われたか否かを判断し、第1入力が行われたと判断したときに、第1入力の第1タイミングに基づいて、第1文章情報のうちのコピー範囲を決定する。
他の一実施の形態において、電子機器の制御方法は第1工程から第3工程を備える。第1工程において、音声出力部に第1文章情報を音声で出力させる。第2工程において、音声の出力中に、ユーザによる入力部への第1入力が行われたか否かを判断する。第3工程において、第1入力が行われたと判断したときに、第1入力の第1タイミングに基づいて、第1文章情報のうちのコピー範囲を決定する。
他の一実施の形態において、電子機器は、入力部と、音声出力部とを備える。電子機器の制御装置は、音声出力部に第1文章情報を音声で出力させ、記音声の出力中に、ユーザによる入力部への第1入力が行われたか否かを判断し、第1入力が行われたと判断したときに、第1入力の第1タイミングに基づいて、第1文章情報のうちのコピー範囲を決定する。
他の一実施の形態において、電子機器は、入力部と、音声出力部とを備える。制御プログラムは、電子機器に、音声出力部に第1文章情報を音声で出力させ、音声の出力中に、ユーザによる入力部への第1入力が行われたか否かを判断し、第1入力が行われたと判断したときに、第1入力の第1タイミングに基づいて、第1文章情報のうちのコピー範囲を決定する処理を実行させる。
他の一実施の形態において、電子機器システムは、入力部と音声出力部と制御部とを含む。制御部は、コピー処理において、音声出力部に第1文章情報を音声で出力させ、音声の出力中に、ユーザによる前記入力部への第1入力が行われたか否かを判断し、第1入力が行われたと判断したときに、第1入力の第1タイミングに基づいて、第1文章情報のうちのコピー範囲を決定する。
コピー範囲を入力しやすい。
電子機器の外観の一例を概略的に示す斜視図である。 電子機器の外観の一例を概略的に示す背面図である。 電子機器の電気的構成の一例を概略的に示す機能ブロック図である。 制御部の内部構成の一例を概略的に示す機能ブロック図である。 受信メールの一覧が表示された表示画面の一例を概略的に示す図である。 受信メールの詳細な内容が表示された表示画面の一例を概略的に示す図である。 メニューが表示された表示画面の一例を概略的に示す図である。 文章情報の一例を概略的に示す図である。 コピー処理の一例を示すフローチャートである。 電子機器の動作の一例を示すフローチャートである。 電子機器の動作の一例を示すフローチャートである。 ステップS9の動作の一例を示すフローチャートである。 文章情報の一例を概略的に示す図である。 電子機器の動作の一例を示すフローチャートである。 電子機器の動作の一例を示すフローチャートである。 ステップS9’の動作の一例を示すフローチャートである。 電子機器の動作の一例を示すフローチャートである。 タイミングチャートの一例を示す図である。 電子機器の動作の一例を示すフローチャートである。 電子機器の動作の一例を示すフローチャートである。 電子機器の動作の一例を示すフローチャートである。 電子機器の電気的な構成の一部を概略的に例示する図である。 タイミングチャートの一例を示す図である。
第1の実施の形態.
以下、実施形態の各例ならびに各種変形例を図面に基づいて説明する。なお、図面においては同様な構成及び機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における各種構造のサイズ及び位置関係などは適宜変更され得る。
<1.電子機器の外観の一例>
図1は、電子機器1の外観の一例を概略的に示す斜視図である。図2は、電子機器1の外観の一例を概略的に示す背面図である。電子機器1は、例えば、タブレット、PDA(Personal Digital Assistant)、スマートフォンなどの携帯電話機、または、パーソナルコンピュータなどである。例えば電子機器1は、基地局及びサーバなどを通じて他の通信装置と通信することが可能であってよい。
図1及び図2に示されるように、電子機器1は外装(ハウジング)4を備えている。例えば外装4は、電子機器1の前面1aに配置されるカバーパネル2と、当該カバーパネル2が取り付けられる機器ケース3とを備えている。電子機器1の外装4の形状は、例えば、平面視において略長方形の板状となっている。
カバーパネル2の裏面側には、後述の表示パネル121およびタッチパネル130が配置されている。カバーパネル2、表示パネル121およびタッチパネル130は互いに略平行に重ね合って配置される。例えば、カバーパネル2の裏面にタッチパネル130が取り付けられ、タッチパネル130の裏面に表示パネル121が取り付けられる。
カバーパネル2には、表示パネル121が表示する、文字、記号および図形などの各種情報が表示される表示画面2aが設けられる。カバーパネル2における、表示画面2aを取り囲む周縁部2bの大部分は、例えば、フィルムなどが貼られることによって黒色となっている。これにより、カバーパネル2の周縁部2bの大部分は、表示パネル121が表示する各種情報が表示されない非表示領域となっている。
タッチパネル130は、表示画面2aに対する操作子(例えばユーザの指など)の接触または近接を検出することができる。ユーザは、表示画面2aを操作子で操作することによって、電子機器1に対して各種指示を与えることができる。
図1の例示では、カバーパネル2の例えば上側端部には、後述する第2撮像部190が有するレンズが電子機器1の外部から視認できるための第2レンズ用透明部材19が設けられている。また、カバーパネル2の例えば上側端部には、レシーバ穴16が形成されている。また、カバーパネル2の例えば下側端部には、スピーカ穴17が形成されている。そして、電子機器1の例えば底面1c、つまり機器ケース3の底面(下側の側面)には、マイク穴15が形成されている。
図2に示されるように、電子機器1の外装4の背面1b、つまり、機器ケース3の背面の例えば上側端部には、後述する第1撮像部180が有するレンズが、電子機器1の外部から視認できるための第1レンズ用透明部材18が設けられている。
電子機器1には、複数の操作ボタン14を含む操作ボタン群140が配置されている。各操作ボタン14は、押しボタンなどのハードウェアボタンである。操作ボタンは、「操作キー」あるいは「キー」と呼ばれることがある。各操作ボタン14は、例えば、カバーパネル2の下側端部から露出している。ユーザは、各操作ボタン14を指などで操作することによって、電子機器1に対して各種指示を与えることができる。
複数の操作ボタン14には、例えば、ホームボタン、バックボタン及び履歴ボタンが含まれている。ホームボタンは、表示画面2aにホーム画面(初期画面)を表示させるための操作ボタンである。バックボタンは、表示画面2aの表示を一つ前の画面に切り替えるための操作ボタンである。履歴ボタンは、電子機器1で実行されたアプリケーションの一覧を表示画面2aに表示させるための操作ボタンである。また、操作ボタン14には、例えばメニューボタンが含まれていてもよい。メニューボタンは、メニューを表示画面2aに表示させるための操作ボタンである。このメニューには、入力ボタンとして機能する複数の要素(後述)が含まれている。
<2.電子機器の電気的構成の一例>
図3は、電子機器1の電気的構成の一例を概略的に示す機能ブロック図である。図3に示されるように、電子機器1には、制御部100、無線通信部110、表示部120、タッチパネル130、操作ボタン群140および音声入力部150が設けられている。さらに電子機器1には、第1音声出力部170、第2音声出力部160、第1撮像部180、第2撮像部190および電池200が設けられている。上述の構成要素は電子機器1の外装4の内部に収められている。
制御部100は、例えば一種の演算処理装置であって、例えば、電気回路であるCPU(Central Processing Unit)101、DSP(Digital Signal Processor)102及び記憶媒体103などを備えている。制御部100は、電子機器1の他の構成要素を制御することによって、電子機器1の動作を統括的に管理することが可能である。電子機器1は、例えば、SoC(System-on-a-Chip)、MCU(Micro Control Unit)及びFPGA(Field-Programmable Gate Array)等の副処理装置(co-processor)をさらに含んでもよい。また、電子機器1は、CPU(Central Processing Unit)および副処理装置の双方を協働させるか、或いは双方のうちの一方を選択的に用いて、各種の制御をおこなってもよい。
記憶媒体103は、CPU101及びDSP102が読み取り可能な記憶媒体であり、例えば揮発性メモリ103aおよび不揮発性メモリ103bを含んでもよい。揮発性メモリ103aは例えばRAM(Random Access Memory)であり、不揮発性メモリ103bは例えばROM(Read Only Memory)である。記憶媒体103が有するROMは、例えば、不揮発性メモリであるフラッシュROM(フラッシュメモリ)である。この記憶媒体103には、電子機器1を制御するためのメインプログラム及び複数のアプリケーションプログラム(以降、単に「アプリケーション」と呼ぶことがある)などが記憶されている。制御部100の各種機能は、CPU101及びDSP102が記憶媒体103内の各種プログラムを実行することによって実現される。記憶媒体103には、例えば、通話を行うための通話アプリケーション、第1撮像部180あるいは第2撮像部190を用いて、静止画像あるいは動画像を撮像するための撮像アプリケーションが記憶されている。また、記憶媒体103に記憶されるアプリケーションには、例えば、電子機器1を制御するための制御プログラムPg1が含まれる。
なお、記憶媒体103は、ROM及びRAM以外の、コンピュータが読み取り可能な非一時的な記憶媒体を備えていてもよい。記憶媒体103は、例えば、小型のハードディスクドライブ及びSSD(Solid State Drive)などを備えていてもよい。また、記憶媒体103とは別の記憶媒体が設けられてもよい。この記憶媒体は制御部100の外部に設けられてもよい。後述する情報の記憶先は、記憶媒体103であってもよく、他の記憶媒体であってもよい。また、制御部100の全ての機能あるいは制御部100の一部の機能は、その機能の実現にソフトウェアが不要なハードウェアによって実現されても構わない。要するに制御部100は回路によって形成されていればよい。
無線通信部(通信回路)110は、いわゆる通信インターフェースであって、アンテナ110aを有している。無線通信部110は、例えば、電子機器1とは別の通信機器からの信号、あるいはインターネットに接続されたウェブサーバなどの通信装置からの信号を、例えば基地局を介してアンテナ110aで受信することが可能である。無線通信部110は、アンテナ110aでの受信信号に対して増幅処理及びダウンコンバートを行って制御部100に出力することが可能である。制御部100は、入力される受信信号に対して復調処理などを行って、当該受信信号に含まれる各種の情報(例えば音声や音楽などを示す情報、または、電子メールを示す情報など)を取得することが可能である。
また無線通信部110は、制御部100で生成された送信信号に対して、アップコンバート及び増幅処理を行って、当該処理後の送信信号をアンテナ110aから無線送信することが可能である。アンテナ110aからの送信信号は、例えば、基地局を通じて、電子機器1以外の携帯電話機あるいはインターネットに接続されたウェブサーバなどの通信装置で受信される。
表示部120は、表示パネル121及び表示画面2aを備えている。表示パネル121は、例えば、液晶パネルあるいは有機EL(Electro Luminescence)パネルである。表示パネル121は、制御部100の制御により、文字、記号および図形などの各種情報を表示することが可能である。表示パネル121が表示する各種情報は、表示画面2aに表示される。
タッチパネル130は、例えば、投影型静電容量方式のタッチパネルである。タッチパネル130は、表示画面2aに対する指などの操作子による操作を検出することが可能である。ユーザが指などの操作子によって表示画面2aに対して操作を行うと、その操作に応じた電気信号がタッチパネル130から制御部100に入力される。これにより、制御部100は、タッチパネル130からの電気信号に基づいて、表示画面2aに対して行われた操作の内容を特定して、その内容に応じた処理を行うことが可能である。なお、ユーザは、指以外の操作子、例えば、スタイラスペンなどの静電式タッチパネル用ペンで表示画面2aを操作することによっても、電子機器1に対して各種指示を与えることができる。
操作ボタン群140の各操作ボタン14は、ユーザによって操作されると、操作されたことを示す操作信号を制御部100に出力する。これにより、制御部100は、各操作ボタン14からの操作信号に基づいて、当該操作ボタン14が操作されたか否かを判断することができる。制御部100は、操作された操作ボタン14に応じた処理を行うことが可能である。なお、各操作ボタン14は、押しボタンなどのハードウェアボタンではなく、表示画面2aに表示されるソフトウェアボタンであってもよい。この場合には、ソフトウェアボタンへの操作がタッチパネル130によって検出されて、制御部100は、操作されたソフトウェアボタンに応じた処理を行うことが可能である。
音声入力部150は例えばマイクであって、電子機器1の外部から入力される音を電気的な音信号に変換して、その音信号を制御部100に出力することが可能である。電子機器1の外部からの音は、例えば、機器ケース3の底面(下側の側面)1cに設けられたマイク穴15から電子機器1の内部に取り込まれて音声入力部150に入力される。
タッチパネル130および操作ボタン群140は、電子機器1への入力を受け付ける入力部210の一例である。また電子機器1が音声認識機能を有している場合には、音声入力部150も入力部210の一例と把握してもよい。この場合、ユーザは音声によって電子機器1に各種の指示を入力することができる。また電子機器1がジェスチャー認識機能を有している場合には、例えば、後述の第1撮像部180および第2撮像部190を入力部210の一例と把握してもよい。この場合、ユーザは例えば体の空間的な動きによって電子機器1に各種の指示を入力することができる。
第1音声出力部170は、例えば、ダイナミックスピーカである。第1音声出力部170は、制御部100からの電気的な音信号を音に変換して、その音を出力することが可能である。第1音声出力部170から出力される音は、例えば、カバーパネル2の下側端部に形成されたスピーカ穴17から電子機器1の外部に出力される。スピーカ穴17から出力される音の音量は、電子機器1から離れた場所でも聞こえるような音量となっている。
第2音声出力部160は、例えば、レシーバである。第2音声出力部160は、制御部100からの電気的な音信号を音に変換して、その音を出力することが可能である。第2音声出力部160は、例えば、受話音を出力する。第2音声出力部160から出力される音は、例えば、カバーパネル2の上側端部に形成されたレシーバ穴16から外部に出力される。レシーバ穴16から出力される音の音量は、例えば、第1音声出力部170からスピーカ穴17を介して出力される音の音量よりも小さくなっている。
なお第2音声出力部160は圧電振動素子を有していてもよい。圧電振動素子は、制御部100からの音声信号に基づいて振動することが可能である。圧電振動素子は、例えばカバーパネル2の裏面に設けられており、音声信号に基づく自身の振動によってカバーパネル2を振動させることが可能である。そして、ユーザが自身の耳をカバーパネル2に近づけることにより、カバーパネル2の振動が音声としてユーザに伝達される。圧電振動素子が設けられる場合には、レシーバ穴16は不要である。
第1撮像部180及び第2撮像部190のそれぞれは、レンズ及び撮像素子などを備えている。第1撮像部180は制御部100によって制御される。第1撮像部180は第1レンズ用透明部材18およびレンズを介して撮像素子で光を受光して、撮像画像を生成し、この撮像画像を制御部100へと出力することができる。第2撮像部190は制御部100によって制御される。第2撮像部190は第2レンズ用透明部材19およびレンズを介して撮像素子で光を受光して、撮像画像を生成し、この撮像画像を制御部100に出力することができる。これらの撮像画像は静止画像であってもよい。あるいは第1撮像部180及び第2撮像部190は撮像画像を繰り返し(例えば周期的に)生成して動画像を生成してもよい。
第1撮像部180が有するレンズは、電子機器1の背面1bに設けられた第1レンズ用透明部材18から視認可能である。したがって、第1撮像部180は、電子機器1の背面1b側に存在する物体を撮像することが可能である。このような第1撮像部180は、「アウトカメラ」と呼ばれることがある。
第2撮像部190が有するレンズは、電子機器1の前面1aに設けられた第2レンズ用透明部材19から視認可能である。したがって、第2撮像部190は、電子機器1の前面1a側に存在する物体を撮像することが可能である。このような第2撮像部190は、「インカメラ」と呼ばれることがある。
電池200は、電子機器1の電源を出力することが可能である。電池200は、例えば、リチウムイオン二次電池などの充電式の電池である。電池200は、電子機器1が備える制御部100及び無線通信部110などの各種電子部品に対して電源を供給することが可能である。
<3.制御部の一例>
図4は、制御部100の内部構成の一例を概略的に示す機能ブロック図である。制御部100は、機能部111と、文章出力部112と、音声読上部113と、コピー範囲決定部114と、音声認識部115とを備えている。図4の例示では、制御部100は音声認識部115を備えているものの、これは必ずしも必要ではない。音声認識部115については後に詳述する。
<3−1.機能部>
機能部111は電子機器1の種々の機能を実行することができる。例えば機能部111は通話機能、電子メール機能、SNS(Social Networking Service)機能およびウェブブラウザ機能などの機能を実行することができる。この機能部111は上記機能の実行結果として、種々の情報を表示部120に表示させることができる。例えば機能部111は、文字、画像、または、入力ボタンとして機能する要素(例えばアイコンなど)などの表示情報を、表示部120に表示させることができる。
ここでは、一例として、電子メール機能について説明する。機能部111は無線通信部110を介して、他の機器と電子メールを送受信することができる。また機能部111はこの電子メールを記憶媒体に記憶することができる。具体的には、機能部111は、他の機器から受信した電子メールを受信メールとして記憶媒体に記憶し、他の機器へ送信した電子メールを送信メールとして記憶媒体に記憶する。
機能部111は、ユーザの入力に応答して、電子メールの一覧を表示部120に表示させることができる。図5は、受信メールの一覧が表示された表示画面2aの一例を概略的に示す図である。図5の例示では、送信者を示す送信者情報N1(例えば名前)、および、件名を示す件名情報SB1が、受信メールごとに表示されている。
ユーザはこの一覧から一つの受信メールを選択する選択入力を、入力部210を用いて行うことができる。例えば、表示された送信者情報N1および件名情報SB1は、受信メールを選択する入力ボタンとして機能してもよい。この場合、ユーザは、送信者情報N1または件名情報SB1が表示された部分に対して、操作子を用いて操作を行う。機能部111はこの選択入力に応答して、選択された受信メールの詳細な内容情報(送信者情報N1、件名情報SB1および本文情報などを含む)を表示部120に表示させる。本文情報は、電子メールに含まれる本文を示している。図6は、受信メールの詳細な内容情報が表示された表示画面2aの一例を概略的に示す図である。図6の例示では、受信メールの送信者情報N1、件名情報SB1および本文情報C1が表示されている。
また機能部111は、入力ボタンとして機能する複数の要素を含むメニュー(後述)を、ユーザの入力に応じて表示部120に表示させることができる。例えばユーザは、メニューボタンとして機能する操作ボタン14を操作してもよい。そして機能部111はこの操作に応答して、メニューを表示部120に表示させてもよい。あるいは、制御部100はメニューボタンとして機能する要素を表示部120に表示させ、この要素に対する操作に応答して、メニューを表示部120に表示させてもよい。
図7は、メニューが表示された表示画面2aの一例を概略的に示す図である。図7の例示では、表示画面2aには、メニューM1が表示されており、そのメニューM1には、入力ボタンとして機能する要素E1〜E4が表示されている。例えば要素E1は、受信メールに対して送信者のみに返信を行うときに操作される要素であり、要素E2は、送信者および他の受信者の全員に対して返信を行うときに操作される要素であり、要素E3は受信メールを転送するときに操作される要素であり、要素E4は、情報をコピーするときに操作される要素である。
機能部111は、ユーザによる要素E1〜E3の各々への操作に応じて、電子メールの作成画面(不図示)を表示部120に表示させる。そして、ユーザは入力部210を用いて、電子メールの本文を入力し、その後、送信の指示を入力する。機能部111は、作成した電子メールを、当該指示に応答して送信する。
ユーザが要素E4に対する操作を行ったときには、制御部100は後述のコピー処理を実行することができる。詳細は後述するものの、制御部100はこのコピー処理の結果として、情報をコピーする。そして、ユーザが入力部210を用いて、ペースト位置およびペーストの指示を入力すると、制御部100は、コピーした情報をそのペースト位置にペーストする。
<3−2.音声読上部>
音声読上部113には、文章出力部112から文章情報が入力される。この文章情報は文字コードを含むデータであり、例えばテキスト形式のデータであってもよい。音声読上部113はこの文章情報の読みを示す音信号を生成する。このような音信号の生成は、いわゆる音声合成の技術を用いて行うことができる。音声合成としては任意のアルゴリズムを用いればよいものの、例えば波形接続型音声合成またはフォルマント合成などのアルゴリズムを用いることができる。音声読上部113はこの音信号を例えば第1音声出力部170へと出力する。第1音声出力部170はこの音信号を音に変換して、当該音を出力する。これにより、第1音声出力部170から文章情報が音声出力される。以下では、文章情報の音声出力を文章情報の読み上げとも説明する。なお、音声読上部113は音信号を第2音声出力部160へ出力し、第2音声出力部160が文章情報を音声で出力してもよい。以下では代表的に、音声読上部113が第1音声出力部170に文章情報を音声出力させる場合について説明する。
<3−3.文章出力部>
文章出力部112は上述のように、文章情報を音声読上部113へと出力することができる。このような文章情報の一例としては、例えば、表示画面2aに表示されて入力ボタンとして機能する要素(例えば要素E1〜E4)の説明文を挙げることができる。例えばユーザは当該要素に対する第1操作を行う。第1操作としては、操作子を表示画面2aに近づけ、または、接触させる操作を採用できる。文章出力部112はこの第1操作に応答して、当該要素を説明する文章情報を音声読上部113へと出力してもよい。このような文章情報は、例えば要素に対応づけて記憶媒体に記憶されていてもよい。音声読上部113はこの文章情報の読みを示す音信号を例えば第1音声出力部170に出力し、第1音声出力部170は音信号を音に変換して、当該音を外部に出力する。これにより、ユーザは、当該要素がどのような入力ボタンとして機能するのかを、音声により了知することができる。
そして、ユーザは当該要素に対して、第1操作とは異なる第2操作を行うと、制御部100は当該要素に応じた処理を実行する。この第2操作としては、例えば、操作子を表示画面2aに近づけ、または、接触させた上で、遠ざける操作(いわゆるタップ操作)を、所定期間内に2回行う操作(いわゆるダブルタップ操作)を、採用できる。
文章情報の他の一例として、表示画面2aの表示内容を挙げることができる。例えば、制御部100が受信メールの詳細内容を表示部120に表示させる(図6参照)ときに、文章出力部112は、その詳細内容を示す文章情報を例えば音声読上部113へと出力してもよい。このような文章情報は、受信メールの送信者情報N1、件名情報SB1および本文情報C1に基づいて、文章出力部112によって生成されればよい。選択した受信メールの詳細内容が例えば第1音声出力部170から出力される。したがって、ユーザは受信メールの詳細内容を音声で了知することができる。
<3−4.コピー範囲決定部>
コピー範囲決定部114は文章出力部112から文章情報を受け取ることができる。この文章情報は例えばテキスト形式である。またコピー範囲決定部114は、文章情報のうち、現在、どの部分を読み上げているのかを示す情報を、文章出力部112または音声読上部113から受け取ることができる。この情報の具体的な一例は別の実施の形態で述べる。
コピー範囲決定部114は、文章情報の読み上げ中にユーザによる入力部210への入力が行われたか否かを判断できる。またコピー範囲決定部114は、当該入力が行われたと判断したときに、当該入力のタイミングに基づいて、当該文章情報のうちのコピー範囲を決定することができる。この入力は特に限定されないものの、例えば、ユーザによる操作ボタン14への操作を当該入力として採用してもよい。あるいは、制御部100は、入力ボタンとして機能する要素を表示画面2aに表示させてもよい。この場合、当該要素に対する操作を当該入力として採用することができる。
例えばコピー範囲決定部114は、文書情報のうち、当該入力のタイミングで読み上げられる部分に基づいて、文章情報のうちのコピー範囲を決定する。より具体的には、コピー範囲決定部114は、文章情報のうち、ユーザが入力を行ったタイミングで読み上げられた部分に基づいて、コピー範囲の開始位置または終了位置たる境界位置を決定する。以下、コピー範囲の決定方法についてより詳細に説明する。
例えばコピー範囲決定部114は入力のタイミングに基づいて、コピー開始位置を決定してもよい。例えば、コピー範囲決定部114はユーザが入力を行ったタイミングで読み上げられる部分を、開始位置に決定してもよい。以下では、この入力を開始入力と呼ぶ。
図8は、文章情報TX1の一例を示す図である。図8の例示では、文章情報TX1の一部を構成する部分A1〜A5が例示されている。部分A1〜A5の各々は例えば一つの文字とみなしてもよい。部分A1〜A5は文章情報TX1において、この順で隣り合って並んでいる。よって、部分A1〜A5はこの順で読み上げられる。図8の例示では、部分A4を読み上げるタイミングで開始入力が行われている。この場合、コピー範囲決定部114は部分A4をコピー範囲の開始位置に決定してもよい。
具体的な一例として、図6に示す受信メールの内容を読み上げている場合を想定する。例えば本文情報C1に含まれる「どちらのグランドがいいですか。」の「ど」を読み上げるタイミングでユーザが開始入力を行った場合、コピー範囲決定部114はこの文字「ど」をコピー範囲の開始位置に決定してもよい。
またコピー範囲決定部114は、文章情報の読み上げ中であって開始入力よりも後に、ユーザによる入力部210への入力(以下、終了入力と呼ぶ)が行われたか否かを判断してもよい。そしてコピー範囲決定部114は、終了入力が行われたと判断したときに、終了入力のタイミングに基づいて、コピー範囲の終了位置を決定してもよい。終了入力は特に限定されないものの、例えば開始入力と同じ入力であってもよい。例えば本文情報C1に含まれる「どちらのグランドがいいですか。」の「か」を読み上げるタイミングでユーザが終了入力を行った場合、コピー範囲決定部114はこの文字「か」をコピー範囲の終了位置に決定してもよい。あるいは、この文字の次が句点であるので、コピー範囲決定部114はこの句点をコピー範囲の終了位置に決定してもよい。
<3−5.具体的な動作の一例>
図9は、コピー処理の一例を示すフローチャートである。このコピー処理を開始する条件は特に限定されないものの、例えば制御部100は、ユーザによる要素E4に対する第2操作に応答して、コピー処理を開始しても構わない。つまり、情報のコピーを行うための入力(要素E4に対する操作)をユーザが行ったときに、制御部100はコピー処理を開始してもよい。
まずステップS1にて、例えば第1音声出力部170は文章情報の読み上げを開始する。具体的な一例として、文章出力部112は、電子メールの詳細内容を含む文章情報を音声読上部113へと出力し、音声読上部113がこの文章情報の読みを示す音信号を生成して、この信号を例えば第1音声出力部170へと出力する。第1音声出力部170はこの音信号を音に変換して、当該音を出力する。これにより、文章情報が読み上げられる。
次にステップS2にて、コピー範囲決定部114は、ユーザが入力部210へ入力を行ったか否かを判断する。つまり、コピー範囲決定部114は、文章情報の読み上げ中に入力が行われたか否かを判断する。入力が行われていないと判断したときには、ステップS6にて、制御部100は、文章情報の読み上げが終了したか否かを判断する。例えば制御部100は、音声読上部113が音信号の出力を完了していたときに、文章情報の読み上げが終了していると判断してもよい。文章情報の読み上げが終了したと判断したときには、制御部100は処理を終了する。文章情報の読み上げが終了していないと判断したときには、コピー範囲決定部114はステップS2を再び実行する。
ステップS2において入力が行われたと判断したときには、ステップS3にて、コピー範囲決定部114は、コピー範囲の開始位置が既に決定されているか否かを判断する。コピーの開始位置が未決定であると判断したときには、ステップS4にて、コピー範囲決定部114は、文章情報のうち、入力のタイミングで読み上げられた部分に基づいて、開始位置を決定する。つまり、開始位置が未決定である場合には、ステップS2の入力は開始入力として機能する。
ステップS4の次には、制御部100はステップS6の処理を実行する。
またステップS3において、開始位置が決定済みであると判断したときには、ステップS5にて、コピー範囲決定部114は文章情報のうち入力のタイミングで読み上げられた部分に基づいて、コピーの終了位置を決定する。つまり、開始位置が決定済みである場合には、ステップS2の入力は終了入力として機能する。制御部100は終了位置を決定した後に、処理を終了する。
本電子機器1によれば、ユーザは、例えば所望の文字が読み上げられるタイミングで開始入力を行うことで、その文字をコピー範囲の開始位置に決定することができる。終了位置も同様である。以上のように、制御部100は、文章情報の読み上げ中に行われる入力のタイミングに基づいて、コピー範囲を決定する。これによれば、視力の弱いユーザであっても、容易にコピー範囲を入力することができる。
制御部100は、文章情報のうち、そのコピー範囲に含まれる情報(コピー情報)をコピーする。このコピー情報は例えばテキスト形式のデータである。
制御部100は、このコピー情報を、例えば第1音声出力部170から出力させてもよい。具体的には、文章出力部112はこのコピー情報を音声読上部113へと出力する。音声読上部113はこのコピー情報の読みを示す音信号を生成し、この音信号を例えば第1音声出力部170へと出力する。第1音声出力部170は、この音信号を音に変換して当該音を出力する。これにより、コピー情報が読み上げられる。よって、ユーザはどの範囲がコピーされたのかを確認することができる。
ところで、文字および読みが一対一で対応しない場合も想定される。例えば漢字またはアルファベットなどの文字を含む単語は、必ずしもその文字と読みとが一対一で対応しない。例えば日本語において「昨日」の読みは「キノウ」であり、「作」、「日」という2つの文字と「キノウ」という読みとは一対一で対応しない。また例えば、英語において"yesterday"の各文字と、その読みも一対一で対応しない。そこで、入力が行われたタイミングが、単語の読み上げ中であるときには、コピー範囲決定部114はその単語の例えば先頭を開始位置に決定してもよい。例えば"yesterday"の読み上げ中に開始入力が行われたときには、コピー範囲決定部114は、例えば最初の"y"を開始位置に決定してもよい。なお、必ずしも単語の先頭を開始位置に採用する必要はないものの、ユーザは単語の先頭をコピー範囲の開始位置として採用することが多い。よって、コピー範囲決定部114が単語の先頭を開始位置に決定する場合であれば、実態に即したコピー範囲を決定することができる。
また、読み上げにおける文字と文字との間のタイミングで開始入力が行われることもある。この場合、コピー範囲決定部114は、第1タイミングの直前又は直後の文字を開始位置に決定してもよい。また、単語と単語の間のタイミングで開始入力が行われるときには、コピー範囲決定部114は、その直前または直後の単語の例えば先頭を開始位置に決定してもよい。
また、終了入力が行われたタイミングが、単語の読み上げ中であるときには、コピー範囲決定部114はその単語の例えば末尾を終了位置に決定してもよい。なお、必ずしも単語の先頭を開始位置に採用する必要はない。また、この単語の次の文字が句読点、感嘆符または疑問符などの約物である場合には、コピー範囲決定部114はこの単語の次の文字をコピー範囲の終了位置に決定してもよい。これによれば、実態に即したコピー範囲を決定することができる。
また読み上げにおける文字と文字との間のタイミングで終了入力が行われる場合には、コピー範囲決定部114は、例えば第2タイミングの直前の文字を終了位置に決定してもよい。また、単語と単語の間のタイミングで終了入力が行われるときには、コピー範囲決定部114は、その直前の単語の例えば末尾を終了位置に決定してもよい。
<4.コピー範囲の決定方法の例>
<4−1.終了位置の決定方法の例>
図9の例示では、文章情報の読み上げにおいて開始入力しか行われない場合、コピー範囲の開始位置は決定されるものの、終了位置は決定されない。そこで、開始位置を決定するための開始入力が行われた後に、終了位置を決定するための終了入力が行われないまま、文章情報の読み上げが終了したときには、コピー範囲決定部114は文章情報の末尾を終了位置に決定してもよい。
図10は、電子機器1の上記動作の一例を示す図である。図9と比較して、制御部100はステップS7を更に実行する。コピー範囲決定部114は、ステップS6において文章情報の読み上げが終了したと判断したときに、ステップS7を実行する。ステップS7にて、コピー範囲決定部114は文章情報の末尾をコピー範囲の終了位置に決定する。
<4−2.入力に基づく開始位置および終了位置の決定>
<4−2−1.ユーザによる調整>
ユーザは所望のタイミングで入力を行うことができない場合もある。例えばユーザが文章情報における所望の文字を聞いてから入力を行うと、所望のタイミングから遅れて入力が行われ得る。例えばユーザは所望の単語の後の単語の読み上げ中に開始入力を行うこともある。そこで、開始入力または終了入力の後に、コピーの開始位置または終了位置を変更する技術を提案する。
電子機器1の構成の一例は図1〜図4と同様である。ただし、コピー範囲決定部114は、上述の手法によって決定されるコピー範囲を、コピー範囲の候補として決定する。言い換えれば、コピー範囲決定部114は、文章情報の読み上げ中に行われた入力に基づいて、コピー範囲を仮決定する。
図11は、電子機器1の動作の一例を示すフローチャートである。制御部100は、図10と比較して、ステップS3〜S5,S7の替わりに、それぞれステップS3’〜S5’,S7’を実行し、またステップS8〜S11を更に実行する。ステップS3’〜S5’,S7’はそれぞれステップS3〜S5,S7と同じ条件で実行される。例えば制御部100は、ステップS2において入力が行われたと判断したときに、ステップS3’を実行する。
ステップS3’においては、コピー範囲決定部114は、コピー範囲の開始位置の候補が既に決定されているか否かを判断する。開始位置の候補が未決定であると判断したときには、ステップS4’にて、コピー範囲決定部114は、文章情報のうちステップS2の入力のタイミングに基づいて、開始位置の候補を決定する。この開始位置の候補は、例えば上述と同様にして、入力が行われたタイミングで読み上げられた部分に決定される。次に制御部100はステップS6を実行する。
ステップS3’において開始位置の候補が決定済であると判断したときには、ステップS5’にて、コピー範囲決定部114は、文章情報のうち、ステップS2の入力のタイミングに基づいて、終了位置の候補を決定する。この終了位置の候補は、例えば開始位置の決定方法と同様にして、入力が行われたタイミングで読み上げられた部分に決定される。
ステップS7’においては、コピー範囲決定部114は文章情報の末尾を終了位置の候補に決定する。
以上のようにして、コピー範囲の開始位置の候補および終了位置の候補が決定される。そして、コピー範囲決定部114は、以下に詳述するように、この開始位置の候補と、更なるユーザの入力とに基づいて、コピー範囲の開始位置を決定し、終了位置の候補と、更なるユーザの入力とに基づいて、コピー範囲の終了位置を決定する。
<4−2−1−1.選択肢>
制御部100は、開始位置の候補に基づいて、N(Nは2以上の整数)個の選択肢を設定する。これらの選択肢の各々はコピー範囲の開始位置を示している。なお以下では、この選択肢を開始選択肢とも呼ぶ。
ところで、ユーザはコピーの開始位置として、単語の先頭を採用することが多い。よって以下では、一例として、単語単位で開始位置を決定する場合について説明する。
例えば第1の開始選択肢は、開始位置の候補を含む第1単語の先頭を示している。つまり、この第1単語は、ユーザによる開始入力が行われたタイミングで読み上げられた単語とみなすことができる。第K(Kは2以上かつN以下の整数)の開始選択肢は、例えば、第1単語よりも(K−1)個前の第K単語の先頭を示している。
例えば図8も参照して、第1〜第3の開始選択肢が設定される場合について説明する。またここでは、部分A1〜A5の各々は単語を示していると仮定する。例えば第1の開始選択肢は、開始入力が行われたタイミングで読み上げられた単語A4の先頭を示す。換言すれば、第1の開始選択肢は、開始入力に基づいて決定された開始位置の候補を含む単語A4の先頭を示す。第2の開始選択肢は、単語A4よりも一つ前の単語A3の先頭を示し、第3の開始選択肢は、単語A4よりも二つ前の単語A2の先頭を示す。
図11を参照して、ステップS5’またはステップS7’の次のステップS8にて、コピー範囲決定部114は、N個の開始選択肢の一つを選択する第1選択入力がユーザによって行われたか否かを判断する。この第1選択入力は入力部210を用いて行われる。
第1選択入力が行われていないと判断したときには、コピー範囲決定部114は再びステップS8を実行する。第1選択入力が行われたと判断したときには、ステップS9にて、コピー範囲決定部114は、選択された開始選択肢に基づいて開始位置を決定する。具体的には、コピー範囲決定部114は、その選択肢で示される単語の先頭を開始位置に決定する。例えばユーザが第2の開始選択肢を選択した場合には、コピー範囲決定部114は開始位置を単語A3の先頭に決定する。
図12は、ステップS9の具体的な処理の一例を示すフローチャートである。このフローチャートは、上述のように第1から第3の開始選択肢が設定されたときのコピー範囲決定部114の動作の一例を示している。まずステップS91にて、コピー範囲決定部114は、第1の開始選択肢が選択されたか否かを判断する。第1の開始選択肢が選択されたと判断したときには、ステップS92にて、コピー範囲決定部114は、開始入力に基づいて決定された開始位置の候補を含む単語A4の先頭を開始位置に決定する。
第1の開始選択肢が選択されていないと判断したときには、ステップS93にて、コピー範囲決定部114は、第2の開始選択肢が選択されたか否かを判断する。第2の開始選択肢が選択されたと判断したときには、ステップS94にて、コピー範囲決定部114は、単語A4の一つ前の単語A3の先頭を開始位置に決定する。第2の開始選択肢が選択されていない、つまり第3の開始選択肢が選択されたと判断したときには、ステップS95にて、コピー範囲決定部114は、単語A4の二つ前の単語A2の先頭を開始位置に決定する。
以上のように、ユーザが開始入力を所望の単語の読み上げタイミングから遅れて行ったとしても、その所望の単語の先頭をコピー範囲の開始位置に決定することができる。しかも開始位置の候補に基づいて開始選択肢を設定するので、この候補に近い単語を、開始選択肢に設定することができる。したがって、少ない開始選択肢であっても、その開始選択肢に所望の単語を含ませやすい。開始選択肢が少なければ、ユーザは開始選択肢を選択しやすい。
なお上述の例では、開始入力のタイミングで読み上げられた単語(つまり開始位置の候補を含む単語)A4以前の単語A2〜A4を、開始選択肢として採用した。換言すれば、N個の開始選択肢は開始位置の候補以前の文字を示している。これは、ユーザが単語を聞いてから開始入力を行う場合に特に有効である。なぜなら、この場合、ユーザが所望の単語の読み上げタイミングから遅れて開始入力を行うことが多く、この所望の単語は開始位置の候補よりも前の単語となるからである。したがって、開始位置の候補よりも前の単語を開始選択肢に設定することによって、所望の単語をより確実に開始選択肢に含めることができる。
その一方で、例えば、ユーザが前もって文章情報を了知している場合には、ユーザは次に読み上げられる単語を認識しながら、文章情報を聞き取る。この場合、ユーザは所望の単語の読み上げの直前に開始入力を入力し得る。したがって、開始位置の候補の単語A4よりも後の単語(例えば単語A5)を示す開始選択肢が設定されても構わない。これによれば、ユーザが所望の単語の読み上げ直前に開始入力を行っても、その所望の単語を開始選択肢に含めることができる。
また、開始位置の候補を含む単語A4よりも前の単語を示す開始選択肢の数は、単語A4よりも後の単語を示す開始選択肢の数よりも多くてもよい。ユーザは単語を聞いてから開始入力を行うことが多いと考えられるからである。
次に終了位置について述べる。この終了位置も、開始位置と同様に選択肢によって選択される。また、終了位置を選択するためのN個の選択肢も、終了位置の候補に基づいて設定される。以下では、この選択肢を終了選択肢と呼ぶ。
第1の終了選択肢は、例えば、終了入力に基づいて決定される終了位置の候補を含む第1単語の末尾を示している。つまり、この第1単語は、ユーザによる終了入力が行われたタイミングで読み上げられる単語である。第Kの終了選択肢は、例えば、その第1単語よりも(K―1)個前の第K単語の末尾を示している。
例えば第1〜第3の終了選択肢が設定される場合には、第1の終了選択肢は、終了入力が行われたタイミングで読み上げられた第1単語の末尾を示し、第2の終了選択肢は、第1単語よりも一つ前の第2単語の末尾を示し、第3の終了選択肢は、第1単語よりも二つ前の第3単語の末尾を示す。
図11の例示では、ステップS9の次のステップS10にて、コピー範囲決定部114は、N個の終了選択肢から一つを選択する第2選択入力がユーザによって行われたか否かを判断する。第2選択入力は入力部210を用いて行われる。第2選択入力が行われていないと判断すると、コピー範囲決定部114は、ステップS10を再び実行する。第2選択入力が行われたと判断したときには、ステップS11にて、コピー範囲決定部114は、選択された終了選択肢に基づいて終了位置を決定する。具体的には、コピー範囲決定部114は、その終了選択肢で示される単語の末尾を終了位置に決定する。例えば、ユーザが第2の終了選択肢を選択する入力を行うと、コピー範囲決定部114は第1単語よりも一つ前の第2単語の末尾を、コピー範囲の終了位置に決定する。
以上のように、ユーザが終了入力を所望の単語の読み上げタイミングから遅れて行ったとしても、その所望の単語の末尾をコピー範囲の終了位置に決定することができる。しかも終了位置の候補に近い単語を、終了選択肢に設定することができる。
またN個の終了選択肢として、終了位置の候補以前の文字を採用してもよい。これによれば、ユーザが単語を聞いてから終了入力を行う態様に即している。
また、終了位置の候補よりも後の単語を終了選択肢に設定してもよく、終了位置の候補よりも前の終了選択肢の数を、終了位置の候補よりも後の終了選択肢の数よりも多くしてもよい。また、終了選択肢の数は開始選択肢の数と一致している必要はなく、異なっていてもよい。
また上述の処理は終了入力が所望のタイミングからずれることを想定した処理である。一方で、ステップS7’による終了位置の候補の決定は終了入力に基づかない。よって、コピー範囲決定部114は、ステップS7’によって決定される終了位置の候補を、そのまま終了位置として決定してもよい。つまり、コピー範囲決定部114は、終了入力なしに文章情報の読み上げが終了したときには、ステップS10,S11を行わずに、文章情報の末尾を終了位置に決定してもよい。
なお図11において、ステップS8,S9の一組と、ステップS10,S11の一組の実行順序は反対でも構わない。
<4−2−1−2.条件>
コピー範囲決定部114は、ユーザが開始入力を所望のタイミングで行うことができたと推測できるときには、この開始入力に基づいて開始位置を決定してもよく、ユーザが開始入力を所望のタイミングで行うことができなかったと推測できるときには、選択肢に基づいて開始位置を決定してもよい。
さて、コピー範囲の開始位置は単語の先頭であることが多い。つまり、その単語の読みの先頭を読み上げるタイミングで開始入力が行われた場合には、その単語の先頭を開始位置に決定すべく、開始入力が行われたと考えることができる。あるいは、単語と単語との間のタイミングで開始入力が行われたときには、後者の単語の先頭を開始位置に決定すべく、開始入力が行われたと考えることができる。その一方で、単語の読みの途中を読み上げるタイミングで開始入力が行われたときには、所望のタイミングからずれたタイミングで開始入力が行われたと考えることができる。
そこで、コピー範囲決定部114は、単語の読みの途中を読み上げるタイミングで開始入力が行われたか否かを判断してもよい。そしてコピー範囲決定部114は、肯定的な判断をしたときに、開始選択肢に基づいて開始位置を決定し、否定的な判断をしたときに、開始入力に基づいて開始位置を決定してもよい。同様にコピー範囲決定部114は、終了入力が単語の途中の読みを読み上げるタイミングで行われたか否かを判断してもよい。そしてコピー範囲決定部114は、肯定的な判断がなされたときに、終了選択肢に基づいて終了位置を決定し、否定的な判断がなされたときに、文章情報のうち、ユーザが終了入力を行ったタイミングで読み上げられた部分を、終了位置に決定してもよい。
図13は、電子機器1の上記動作の一例を示すフローチャートである。図11と比較して、制御部100はステップS81,S82,S101,S102を更に実行する。ステップS81はステップS8の直前に行われる。ステップS81においては、コピー範囲決定部114は、単語の読みの途中を読み上げるタイミングで開始入力が行われたか否かを判断する。肯定的な判断がなされたときに、コピー範囲決定部114はステップS8を実行する。否定的な判断がなされたときには、ステップS82にて、コピー範囲決定部114は、開始位置の候補を開始位置に決定する。つまり、コピー範囲決定部114は、単語の読みの途中で開始入力が行われていないときには、ユーザによる開始選択肢の選択に基づいて開始位置を決定し(ステップS8,S9)、単語の読みの途中で開始入力が行われたときには、ステップS4’において決定した開始位置の候補を、そのまま開始位置とする(ステップS82)。
ステップS9またはステップS82の次のステップS101にて、コピー範囲決定部114は、単語の読みの途中を読み上げるタイミングで終了入力が行われたか否かを判断する。肯定的な判断がなされたときに、コピー範囲決定部114はステップS10を実行する。否定的な判断がなされたときには、ステップS102にて、コピー範囲決定部114は終了位置の候補を終了位置に決定する。つまり、コピー範囲決定部114は、単語の読みの途中で終了入力が行われていないときには、ユーザによる終了選択肢の選択に基づいて終了位置を決定し(ステップS10,S11)、単語の読みの途中で終了入力が行われたときには、ステップS5’において決定した終了位置の候補を、そのまま終了位置とする(ステップS102)。
なお、ステップS8,S9,S81,S82の一組と、ステップS10,S11,S101,S102の一組との実行順序は逆であってもよい。
<4−2−1−3.コピー処理のやり直し>
複数の選択肢の中に、所望の単語がない場合も想定される。例えば所望の単語の読み上げタイミングから大幅にずれたタイミングで開始入力または終了入力が行われた場合、複数の選択肢のいずれにも所望の単語がないことがあり得る。そこで、入力部210は、コピー処理をやり直すための入力(リトライ入力と呼ぶ)を受け付けてもよい。制御部100は、このリトライ入力に応答して、コピー処理を最初からやり直す。具体的には、制御部100はリトライ入力に応答して、ステップS1を実行する。これによれば、電子機器1の利便性を向上できる。
なお、図9および図10のコピー処理においても、入力部210はリトライ入力を受け付けてもよい。例えば制御部100は、コピー処理の途中で、ユーザによる入力部210へのリトライ入力が行われたときに、コピー処理を最初からやり直す。これによれば、ユーザが、所望のタイミングでの入力を失敗したときに、リトライ入力を行うことで、コピー処理を最初からやり直すことができる。
<4−2−1−4.文字列の入力>
上述の例では、ユーザは、コピー範囲の開始位置を決定すべく、開始選択肢を選択する選択入力を行った。ここでは、ユーザは、開始位置を決定すべく、文字列を入力する文字列入力を入力部210に行う。以下では、この文字列を開始文字列と呼ぶ。
コピー範囲決定部114は、この開始文字列と一致する第1文字列が文章情報に含まれているか否かを判断する。この判断は文字列の検索アルゴリズムを用いて行うことができる。コピー範囲決定部114は、第1文字列が文章情報に含まれていると判断したときに、その第1文字列の例えば先頭をコピー範囲の開始位置に決定してもよい。
また文章情報において複数の第1文字列が含まれているときには、コピー範囲決定部114は、開始位置の候補に最も近い第1文字列の例えば先頭を開始位置に決定してもよい。図14は、文章情報TX1の一例を概略的に示している。図14の「*」は任意の文字を示している。図14の例示では、文章情報TX1には、「サッカー」という3つの文字列が含まれている。
また図14の例示では、開始入力が行われたタイミングも示されている。この開始入力は、文章情報TX1において2つ目の「サッカー」と3つ目の「サッカー」との間の文字を読み上げたタイミングで行われている。この開始入力のタイミングは、3つ目の「サッカー」が読み上げられるタイミングよりも、2つ目の「サッカー」が読み上げられるタイミングに近い。図14の例示では、開始位置の候補P1も示されている。候補P1は、例えば開始入力が行われたタイミングで読み上げられた文字に相当する。図14に例示するように、文章情報TX1において、候補P1は3つ目の「サッカー」の先頭よりも2つ目の「サッカー」の先頭に近い。
ユーザが開始文字列として「サッカー」を入力すると、コピー範囲決定部114は、文章情報TX1に「サッカー」が含まれているか否かを判断する。図14の例示では、「サッカー」という第1文字列が3つ含まれている。コピー範囲決定部114は、文章情報TX1において、この3つの第1文字列の各々と開始位置の候補P1との距離を算出する。この距離は例えば文字数で表される。そして、コピー範囲決定部114は、最も距離が短い2つ目の「サッカー」の例えば先頭を開始位置に決定する。
以上のように、ユーザは開始入力を所望のタイミングからずれて行ったとしても、開始位置を所望の位置に決定できる。またユーザは選択肢を選ぶ必要もない。
図15は、電子機器1の上記動作の一例を示すフローチャートである。図13と比較して、制御部100はステップS8〜S11の替わりにステップS8’〜S11’を実行する。ステップS8’〜S11’の実行条件はそれぞれステップS8’〜S11’と同様である。
ステップS8’はステップS5’またはステップS7’の次に行われる。ステップS8’にて、コピー範囲決定部114は、開始文字列の入力が行われたか否かを判断する。開始文字列が入力されていないと判断したときには、コピー範囲決定部114は再びステップS8’を実行する。開始文字列が入力されたと判断したときには、ステップS9’において、コピー範囲決定部114は、開始文字列に応じて開始位置を決定する。
図16は、ステップS9’の動作の一例を示す図である。まずステップS91’にて、コピー範囲決定部114は、開始文字列に一致する第1文字列が文章情報に含まれているか否かを判断する。第1文字列が含まれていないと判断したときには、ステップS92’にて、制御部100はエラー処理を実行する。例えば制御部100は、ユーザに開始文字列の入力を促す音声を出力し、再びステップS8’を実行してもよい。あるいは、制御部100は動作を終了してもよい。
第1文字列が文章情報に含まれていると判断したときには、ステップS93’にて、コピー範囲決定部114は、複数の第1文字列が文章情報に含まれているか否かを判断する。複数の第1文字列が含まれていると判断したときには、ステップS94’にて、コピー範囲決定部114は、文章情報において開始位置の候補に最も近い第1文字列の例えば先頭を開始位置に決定する。一方、複数の第1文字列が含まれていないと判断したときには、ステップS95’にて、コピー範囲決定部114は、その第1文字列の例えば先頭を開始位置に決定する。
終了位置についても同様である。ユーザは終了位置を決定すべく、入力部210を用いて文字列を入力しても構わない。以下では、この文字列を終了文字列と呼ぶ。
コピー範囲決定部114は、この終了文字列と一致する第2文字列が文章情報に含まれているか否かを判断する。コピー範囲決定部114は、第2文字列が文章情報に含まれていると判断したときに、第2文字列の例えば末尾を、コピー範囲の終了位置に決定してもよい。
また文章情報において複数の第2文字列が含まれているときには、コピー範囲決定部114は、終了位置の候補に最も近い第2文字列の例えば末尾を、終了位置に決定してもよい。
図15を参照して、ステップS9’の次のステップS10’にて、コピー範囲決定部114は、終了文字列の入力が行われたか否かを判断する。終了文字列が入力されていないと判断したときには、コピー範囲決定部114は再びステップS10’を実行する。終了文字列が入力されたと判断したときには、ステップS11’にて、コピー範囲決定部114は、開始位置と同様にして、終了文字列に応じて終了位置を決定する。
なおステップS8’,S9’の一組とステップS10’,S11’の一組の実行順序は逆であってもよい。また図13を参照して説明した条件は、図15の処理にも適用可能であり、リトライ入力も図15の処理に適用可能である。
<4−2−1−4−1.文字列に基づく開始位置および終了位置の決定>
ユーザが所望の単語を聞いてから開始入力または終了入力を行う場合には、所望の単語よりも後にその入力が行われやすい。したがって、その入力によって決まる開始位置の候補または終了位置の候補は、文章情報において所望の単語の後に位置することが多い。つまり、所望の単語は候補の前に位置することが多い。
そこで、コピー範囲決定部114は、文章情報に複数の第1文字列が含まれていると判断したときには、開始位置の候補よりも前の第1文字列を用いて開始位置を決定してもよい。具体的には、コピー範囲決定部114は、開始位置の候補よりも前に位置し且つ開始位置の候補に最も近い第1文字列の例えば先頭を、開始位置に決定してもよい。つまり、開始位置の候補の後の第1文字列を開始位置には採用せずに、開始位置の候補よりも前の第1文字列を開始位置に採用する。
例えば図14を参照して、もし仮に、開始位置の候補P1が2つ目の「サッカー」よりも3つ目の「サッカー」に近い場合であっても、3つ目の「サッカー」は候補P1よりも後に位置しているので、コピー範囲決定部114は、2つ目の「サッカー」の例えば先頭を開始位置に決定する。
同様に、コピー範囲決定部114は、文章情報に複数の第2文字列が含まれているときには、終了位置の候補よりも前に位置し且つ終了位置の候補に最も近い第2文字列の例えば末尾を、終了位置に決定してもよい。
これによれば、ユーザが単語を聞いてから開始入力または終了入力を行う場合に、適切に開始位置または終了位置を決定できる。
図17は、電子機器1の上記動作の一例を示すフローチャートである。図16と比較して、制御部100はステップS94’の替わりにステップS94’’を実行する。コピー範囲決定部114は、ステップS93’において複数の第1文字列があると判断されたときに、ステップS94’’を実行する。ステップS94’においては、コピー範囲決定部114は、開始位置の候補よりも前に位置する第1文字列の各々と、開始候補との距離を算出し、当該距離が最も短い第1文字列の先頭を開始位置に決定する。
<4−2−1−5.音声入力>
選択肢を選択するための選択入力の方法、文字列を入力するための文字列入力の方法、および、コピー処理をやり直すためのリトライ入力の方法は特に限定されないものの、例えば音声入力であってもよい。図4を参照して、例えば制御部100は音声認識部115を備えている。音声認識部115には、音声入力部150からの音信号が入力される。つまり、ユーザが発した音が音声入力部150を介して音声認識部115に入力される。音声認識部115は、入力された音信号が示す言葉を認識することができる。音声認識の方法としては、任意の方法を採用すればよいものの、例えば予め記憶媒体に記憶された音声の特徴データと、音信号とをマッチングして、その音信号が示す音声の言葉を認識してもよい。
例えばユーザは、選択肢を特定する番号を発声する。この音声は音声認識部115によって認識される。音声認識部115は認識結果をコピー範囲決定部114へと出力する。コピー範囲決定部114は、上述のように、入力された選択肢に応じて開始位置または終了位置を決定する。
あるいは、例えばユーザは文字列を発声する。この音声は音声認識部115によって認識されて、その認識結果がコピー範囲決定部114へと入力される。コピー範囲決定部114は、上述のように、入力された文字列に応じて開始位置または終了位置を決定する。
またユーザは、リトライ入力として予め割り当てられた言葉を発声する。この音声は音声認識部115によって認識されて、その認識結果が制御部100へと出力される。制御部100はその認識結果が、リトライ入力として予め割り当てられた言葉であると判断すると、コピー処理を最初からやり直す。
これによれば、ユーザは音声により選択入力、文字列入力またはリトライ入力を行うことができるので、視力の弱いユーザであっても入力を行いやすい。
<4−3.複数のコピー範囲>
文章情報から複数のコピー範囲を生成する場合の一例について説明する。図18は、コピー処理の一例を示すタイミングチャートである。図18の例示では、文章情報が読み上げられている最中に、開始入力および終了入力が行われる。制御部100は、この終了入力に応答して、文章情報の読み上げを中断して、上述のようにコピー範囲を決定する。つまり、選択入力または文字列入力に基づくコピー範囲の決定動作は、文章情報の読み上げを中断した状態で行われる。図18の例示では、読み上げを中断した状態で第1選択入力および第2選択入力が行われる。制御部100は、上述のように、この第1選択入力に基づいてコピー範囲の開始位置を決定し、第2選択入力に基づいて終了位置を決定する。
また制御部100は、第2選択入力に応答して、文章情報の読み上げを再開する。このとき制御部100は、例えば、中断した部分から文章情報の読み上げを再開してもよく、あるいは、例えば、中断した部分の前の文章から読み上げを再開してもよい。ユーザがこの読み上げ中に開始入力および終了入力を行った場合には、制御部100は再び文章情報の読み上げを中断し、コピー範囲を決定する。以後、同様の動作を繰り返す。
以上のように、コピー範囲を決定するときに、文章情報の読み上げが中断され、コピー範囲を決定後に、文章情報の読み上げが再開される。よって、ユーザは複数のコピー範囲を設定しやすい。
なお上述の方法は一例であり、必ずしもこれに限らない。例えば、コピー範囲決定部114は、複数のコピー範囲を指定するための開始入力および終了入力のペアの複数を文章情報の読み上げ中に受け付けて、複数のコピー範囲の候補を決定する。そして、コピー範囲決定部114は、文章情報の読み上げが終了した後に、複数のコピー範囲の候補のそれぞれについて、選択入力または文字列入力に基づいて、複数のコピー範囲を決定してもよい。
<4−4.電子機器の説明>
電子機器1は、上述のコピーを行う際の電子機器1の操作方法を音声で出力しても構わない。例えば、電子機器1は、(i)文章情報が音声で出力されること、(ii)その文書情報に含まれる所望の文字の読み上げタイミングで入力を行うことにより、その所望の文字をコピーの開始位置または終了位置に決定できること、更には、(iii)選択入力または文字列入力によって、開始位置または終了位置を調整できること、を音声で出力してもよい。これにより、ユーザはコピーの操作方法を了知することができる。
図19は、電子機器1の動作の一例を示すフローチャートである。図19は図8のコピー処理において、コピーの方法を説明する場合のフローチャートを示している。図8と比較して、制御部100はステップS0を更に実行する。ステップS0はステップS1の前に実行される。このステップS0において、制御部100は、コピー方法の説明文を例えば第1音声出力部170に出力させる。この説明文は例えば予め定められて記憶媒体に記憶されていてもよい。
<4−5.読上速度>
制御部100は文章情報を読み上げる速度(以下、読上速度と呼ぶ)を低く設定してもよい。より具体的には、制御部100は、コピー処理における文章情報の読上速度を、コピー処理以外における文章情報の読上速度よりも低く設定してもよい。
例えば文章出力部112は、読上速度を示す速度情報を文章情報とともに音声読上部113へと出力してもよい。文章出力部112は、例えばコピー処理を開始するための入力が行われたときに、速度情報として値V1を出力し、コピー処理以外で文章情報を読み上げるための入力が行われたときに、速度情報として、値V1よりも高い値V2を出力する。音声読上部113は、入力された文章情報の読みを示す音信号を、文章情報と速度情報とに基づいて生成する。例えば読上速度が高い音信号は、読上速度が低い音信号を時間軸で短縮することにより、生成できる。
コピー処理以外における文章情報の読み上げは、例えば、次の状況で実行される。例えば、表示画面2aに表示されて入力ボタンとして機能する要素に対して第1操作(例えばタップ操作)が行われたときに、制御部100は、その要素を説明するための文章情報を例えば第1音声出力部170に出力させてもよい。これにより、ユーザはその要素がどのような機能を有しているのかを了知することができる。
また、例えば受信ボックスから受信メールの一つを選択する入力が行われたときに、制御部100は、その受信メールの詳細内容を示す文章情報を、例えば第1音声出力部170に出力させてもよい。これにより、ユーザは受信メールの詳細内容を了知することができる。
このような文章情報の読み上げでは、その読上速度を低くする必要性は高くない。一方で、コピー処理においては、ユーザは、文章情報のうち所望の文字が読み上げられるタイミングで、開始入力または終了入力を行う必要がある。そこで、制御部100は、このコピー処理において読上速度を低く設定する。これによれば、コピー処理において文章情報がゆっくりと読み上げられるので、ユーザは所望の文字が読み上げられるタイミングで入力を行いやすい。
図20は、電子機器1の上記動作の一例を示すフローチャートである。ステップS21にて、制御部100は、コピー処理を開始するための入力が行われたか否かを判断する。当該入力は例えば要素E4(図7参照)に対する操作であってよい。当該入力が行われたと判断したときには、ステップS22にて、制御部100は読上速度を値V1に設定する。例えば文章出力部112は、例えば表示画面2aに表示された文章情報とともに、速度情報としての値V1を、音声読上部113へと出力する。
コピー処理を開始するための入力が行われていないと判断したときには、ステップS23にて、制御部100は、文章情報を読み上げるための入力が行われたか否かを判断する。文章情報を読み上げるための入力が行われていないと判断したときには、制御部100は再びステップS21を実行する。一方で、文章情報を読み上げる入力が行われたと判断したときには、ステップS24にて、制御部100は読上速度を値V2に設定する。値V2は値V1よりも高い。例えば文章出力部112は、入力に応じた文章情報とともに、速度情報としての値V2を、音声読上部113へと出力する。
<4−6.文章の区切り>
また制御部100は、各文章の終了を示す記号の読み上げ時において、例えば第1音声出力部170に何も音声を出力させなくてもよい。この記号は、句点(英語では終止符)、感嘆符または疑問符などの約物である。以下では、音声を出力しない期間を中断期間とも呼ぶ。つまり、文章と文章の間では、中断期間に亘って音声の出力が中断される。制御部100はこの中断期間の長さを設定してもよい。具体的には、制御部100は、コピー処理における中断期間の長さを、コピー処理以外における中断期間の長さよりも長く設定してもよい。
例えば文章出力部112は、中断期間の長さを示す期間情報を文章情報とともに音声読上部113へと出力してもよい。文章出力部112は、例えばコピー処理を開始するための入力が行われたときに、中断期間の長さとして値T1を出力し、コピー処理以外で文章情報を読み上げるための入力が行われたときに、中断期間の長さとして、値T1よりも小さい値T2を出力する。音声読上部113は、入力された文章情報の読みを示す音信号を、文章情報と期間情報とに基づいて生成する。
これによれば、コピー処理における中断期間が長いので、ユーザは文章情報を聞き取り易く、所望のタイミングで入力を行いやすい。特に、ユーザはその中断期間に入力を行いやすい。例えばユーザが中断期間において終了入力を行った場合には、コピー範囲決定部114は、その記号をコピー範囲の終了位置に決定してもよい。
また文章を区切るための記号(読点、コンマ、コロンまたはセミコロンなどの約物)の読み上げ時にも、何も音声を出力しなくてもよい。このような中断期間も上述と同様に設定されてもよい。
図21は、電子機器1の上記動作の一例を示すフローチャートである。ステップS31にて、制御部100は、コピー処理を開始するための入力が行われたか否かを判断する。当該入力が行われたと判断したときには、ステップS32にて、制御部100は中断期間の長さを値T1に設定する。文章出力部112は、例えば表示画面2aに表示された文章情報とともに、期間情報としての値T1を、音声読上部113へと出力する。
コピー処理を開始するための入力が行われていないと判断したときには、ステップS33にて、制御部100は、文章情報を読み上げるための入力が行われたか否かを判断する。文章情報を読み上げるための入力が行われていないと判断したときには、制御部100は再びステップS31を実行する。一方で、文章情報を読み上げるための入力が行われたと判断したときには、ステップS34にて、制御部100は中断期間の長さを値T2に設定する。値T2は値T1よりも小さい。例えば文章出力部112は、入力に応じた文章情報とともに、期間情報としての値T2を、音声読上部113へと出力する。
<4−7.ファイルのコピー>
電子メールにはファイルを添付することができる。このファイルは、文書ファイル、画像ファイルなどのファイルであり、例えば所定のアプリケーションによって開くことができる。機能部111は、このファイルを、電子メールに対応付けて記憶媒体に記憶する。電子メールにファイルが添付されている場合、制御部100は、その電子メールの読み上げ時に、ファイルに関する情報を、例えば第1音声出力部170に音声で出力させてもよい。ファイルに関する情報は、ファイルの有無を含んでもよく、或いは、更にファイル名を含んでもよい。
例えば第1音声出力部170がそのファイルに関する情報を読み上げているときに、ユーザが入力を行うと、コピー範囲決定部114は、コピー範囲をそのファイルに決定してもよい。つまり制御部100は、ファイルをコピーしてもよい。これによれば、文章のみならず、ファイルをコピーすることもできる。
例えば、文章出力部112は、ファイルが添付された受信メールの詳細情報を示す文章情報を次のように生成する。即ち、例えば文章出力部112は、受信メールの送信者情報N1、件名情報SB1、本文情報C1およびファイル名情報をこの順で適宜に連結して、文章情報を生成する。よって、この文章情報を読み上げるときには、送信者情報N1、件名情報SB1、本文情報C1およびファイル情報(例えばファイル名)をこの順で読み上げられる。
そして、例えば本文情報C1の読み上げ中に開始入力が行われたときには、上述のように、コピー範囲決定部114は開始入力に応じてコピー範囲の開始位置を決定する。またファイル情報の読み上げ中に終了入力が行われたときには、コピー範囲決定部114は、本文情報C1の末尾を終了位置に決定してもよい。さらにコピー範囲決定部114は、受信メールに添付されたファイル自体もコピーの対象に決定してもよい。
上述の例では、電子機器1が、入力部210と、音声出力部(第1音声出力部170または第2音声出力部160)と、制御部100とを備えている。しかしながら、電子機器1がこれらの全てを備えなくてもよい。例えば、電子機器1と外部機器とを備えるシステムを考慮する。このシステムにおいて、外部機器は、電子機器1と有線または無線により通信可能である。またこの外部機器は、入力部210および音声出力部の少なくともいずれか一方を備えている。例えば外部機器として、装着型機器(例えばヘッドセット)を採用できる。このヘッドセットは、ユーザの頭部に装着されており、入力部210の一例たる音声入力部(例えばマイク)と、音声出力部(例えばスピーカ)とを備えている。これによれば、ユーザは、ヘッドセットのスピーカから音声で出力される文章を聞き取ることができ、また、所望のタイミングで、マイクへと入力を行うことができる。
要するに、入力部210、音声出力部、および、制御部100の各構成が、複数の機器に適宜に設けられており、これらの機器が互いに通信し合って、上述の制御を実施すればよい。この場合、これらの機器によって構成されるシステムが、入力部210、音声出力部、および、制御部100を備える。
第2の実施の形態.
第2の実施の形態では、ユーザによる入力(開始入力または終了入力)が行われたタイミングで、文章情報のうち、どの部分を読み上げているのかを判別する技術について述べる。
文章出力部112は、文章情報を複数の部分に分割し、部分ごとに文章情報を音声読上部113へと出力する。当該部分は文字単位の部分であってもよく、単語単位の部分であってもよく、複数の単語単位の部分であってもよい。
図22は、電子機器1の電気的な構成の一部を概略的に例示する図である。例えば、文章出力部112は文章情報の部分D1[n]を音声読上部113に出力する。音声読上部113は、部分D1[n]の読みを示す音信号D2[n]を生成し、この音信号D2[n]を例えば第1音声出力部170へと出力する。第1音声出力部170をこの音信号D2[n]を音に変換して、当該音を出力する。
図23は、文章出力部112のタイミングチャートの一例を示している。例えば文章出力部112は部分D1[k]を出力し、所定期間の経過後に、その次の部分D1[k+1]を出力する。これを繰り返すことによって、文章出力部112は全体として文章情報を出力できる。
なお文章出力部112は必ずしも所定期間の経過を条件とする必要はない。例えば文章出力部112は、音声読上部113による音信号D2[k]の出力完了を条件として、その次の部分D1[k+1]を出力してもよい。この場合、音声読上部113は、部分D1[k]に相当する音信号D2[k]の出力を完了したときに、その出力完了を文章出力部112へと報告する。文章出力部112はこの報告に応答して、次の部分D1[k+1]を音声読上部113へと出力する。これを繰り返すことによっても、文章出力部112は全体として文章情報を出力できる。
文章出力部112が部分D1[k]を出力してから、その次の部分D1[k+1]を出力し始めるまでの期間に、ユーザによる入力が行われたときには、その入力のタイミングにおいて、部分D1[k]が読み上げられていると判断できる。逆に言えば、部分D1[k]の読み上げ中に、ユーザによる入力が行われたと判断できる。
そこでコピー範囲決定部114は、文章出力部112から、現在、読み上げている部分の情報を、受け取る。図22の例示では、文章出力部112は、例えば音声読上部113とともにコピー範囲決定部114にも、文章情報の部分D1[n]を出力する。そしてコピー範囲決定部114は、入力部210からの入力を受け取ったときに、文章出力部112から受け取った最新の部分D1[n]に基づいて、コピー範囲を決定する。例えばコピー範囲決定部114は入力部210から開始入力を受け取ったときに、最新の部分D1[n]の例えば先頭をコピー範囲の開始位置に決定してもよい。図23の例示では、部分D1[k+1]の出力中に、開始入力が行われている。この場合、コピー範囲決定部114は、部分D1[k+1]の例えば先頭をコピーの開始位置に決定する。同様に、コピー範囲決定部114は終了入力を受け取ったときに、最新の部分の例えば末尾をコピー範囲の終了位置に決定してもよい。
以上のように第2の実施の形態によれば、電子機器1は、文章出力部112の出力に基づいて、ユーザによる入力が行われたタイミングで、文章情報のうち、どの部分を読み上げているのかを判別することができる。
なお、文章出力部112からコピー範囲決定部114への部分D1[n]の出力に替えて、音声読上部113が音信号D2[n]をコピー範囲決定部114に出力してもよい。これによっても、コピー範囲決定部114は、開始入力または終了入力を受け取ったタイミングで最新の音信号D2[n]が読み上げられていると判断できる。
また、第2の実施の形態の技術は、第1の実施の形態に適用できることは当然である一方で、第1の実施の形態以外の技術に適用してもよい。
以上のように、電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラムおよび電子機器システムは詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種変形例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない多数の変形例が、この開示の範囲から外れることなく想定され得るものと解される。
1 電子機器
100 制御部
150 音声入力部
160 第2音声出力部
170 第1音声出力部
210 入力部
D1[n],D1[k]〜D1[k+4] 部分

Claims (19)

  1. 電子機器であって、
    入力部と、
    音声出力部と、
    コピー処理を行う制御部と
    を備え、
    前記制御部は、前記コピー処理において、
    前記音声出力部に第1文章情報を音声で出力させ、
    前記音声の出力中に、ユーザによる前記入力部への第1入力が行われたか否かを判断し、
    前記第1入力が行われたと判断したときに、前記第1入力の第1タイミングに基づいて、前記第1文章情報のうちのコピー範囲を決定する、電子機器。
  2. 請求項1に記載の電子機器であって、
    前記制御部は、
    前記第1文章情報のうち前記第1タイミングで音声出力された部分に基づいて、前記コピー範囲の開始位置または終了位置たる境界位置を決定する、電子機器。
  3. 請求項1に記載の電子機器であって、
    前記制御部は、
    前記第1文章情報のうち前記第1タイミングで音声出力された部分に基づいて、前記コピー範囲の開始位置を決定し、
    前記第1入力の後に、前記コピー範囲の終了位置を決定するための入力が行われないまま、前記第1文章情報の音声出力が終了したと判断したときに、前記第1文章情報の末尾を前記終了位置に決定する、電子機器。
  4. 請求項1に記載の電子機器であって、
    前記制御部は、第1処理として、
    前記コピー範囲の開始位置または終了位置たる境界位置の候補を前記第1タイミングに基づいて決定し、
    前記境界位置の候補に基づいて複数の選択肢を設定し、
    前記複数の選択肢の一つを選択する第2入力が前記入力部に行われたときに、前記複数の選択肢の前記一つに基づいて前記境界位置を決定する、電子機器。
  5. 請求項4に記載の電子機器であって、
    前記複数の選択肢は、それぞれ、前記第1文章情報において前記境界位置の候補以前の文字を示す、電子機器。
  6. 請求項1に記載の電子機器であって、
    前記制御部は、第1処理として、
    前記コピー範囲の開始位置または終了位置たる境界位置の候補を前記第1タイミングに基づいて決定し、
    文字列を入力する第2入力が前記入力部に行われたときに、前記文字列が前記第1文章情報に含まれているか否かを判断し、
    前記文字列が前記第1文章情報に含まれていると判断したときに、前記第1文章情報における前記文字列に基づいて前記境界位置を決定する、電子機器。
  7. 請求項6に記載の電子機器であって、
    前記制御部は、
    前記文字列が、前記第1文章情報において複数含まれているときには、前記第1文章情報における前記複数の文字列のうち、前記境界位置の候補に最も近い文字列に基づいて、前記境界位置を決定する、電子機器。
  8. 請求項6に記載の電子機器であって、
    前記制御部は、
    前記文字列が、前記第1文章情報において複数含まれているときには、前記第1文章情報における前記複数の文字列のうち、前記境界位置の候補よりも前に位置し且つ前記境界位置の候補に最も近い文字列に基づいて、前記境界位置を決定する、電子機器。
  9. 請求項4から請求項8のいずれか一つに記載の電子機器であって、
    前記制御部は、
    前記第1タイミングが、前記第1文章情報に含まれる単語の読みの途中を音声出力したタイミングであったか否かを判断し、
    肯定的な判断がなされたときに、前記第1処理により前記境界位置を決定し、
    否定的な判断がなされたときに、前記第1文章情報のうち前記第1タイミングで音声出力した部分に、前記境界位置を決定する、電子機器。
  10. 請求項4から請求項9のいずれか一つに記載の電子機器であって、
    前記入力部は、音声入力部を有しており、
    前記第2入力は音声入力である、電子機器。
  11. 請求項1から請求項10のいずれか一つに記載の電子機器であって、
    前記制御部は、前記コピー処理の途中で、ユーザによる前記入力部への第3入力が行われたときに、前記コピー処理を最初からやり直す、電子機器。
  12. 請求項1から請求項11のいずれか一つに記載の電子機器であって、
    前記制御部は、
    ユーザによる前記入力部への第4入力に応答して、前記音声出力部に第2文章情報を音声で出力させ、
    ユーザによる前記入力部への、前記第4入力とは異なる第5入力に応答して、前記コピー処理を実行し、
    前記コピー処理においては、前記第1文章情報を、前記第2文章情報の読上速度よりも遅い読上速度で、前記音声出力部から出力させる、電子機器。
  13. 請求項1から請求項11のいずれか一つに記載の電子機器であって、
    前記制御部は、
    ユーザによる前記入力部への第4入力に応答して、前記音声出力部に第2文章情報を出力させ、
    ユーザによる前記入力部への、前記第4入力とは異なる第5入力に応答して、前記コピー処理を実行し、
    前記コピー処理においては、文章と文章との間において音声を出力しない中断期間を、前記第2文章情報よりも長く設定して、前記第1文章情報を前記音声出力部に音声で出力させる、電子機器。
  14. 請求項1から請求項13のいずれか一つに記載の電子機器であって、
    前記制御部は、前記第1文章情報のうち前記コピー範囲に含まれるコピー情報を前記音声出力部から音声で出力させる、電子機器。
  15. 請求項1から請求項14のいずれか一つに記載の電子機器であって、
    前記制御部は、
    前記第1文章情報を複数の部分ごとに前記音声出力部に出力し、
    前記第1タイミングにおいて出力された前記部分に基づいて、前記コピー範囲を決定する、電子機器。
  16. 電子機器の制御方法であって、
    音声出力部に第1文章情報を音声で出力させ、
    前記音声の出力中に、ユーザによる入力部への第1入力が行われたか否かを判断し、
    前記第1入力が行われたと判断したときに、前記第1入力の第1タイミングに基づいて、前記第1文章情報のうちのコピー範囲を決定する、電子機器の制御方法。
  17. 電子機器であって、
    入力部と、
    音声出力部と
    を備える電子機器の制御装置であって、
    前記音声出力部に第1文章情報を音声で出力させ、
    前記音声の出力中に、ユーザによる前記入力部への第1入力が行われたか否かを判断し、
    前記第1入力が行われたと判断したときに、前記第1入力の第1タイミングに基づいて、前記第1文章情報のうちのコピー範囲を決定する、電子機器の制御装置。
  18. 入力部と、
    音声出力部と
    を備える電子機器を制御する制御プログラムであって、
    前記電子機器に、
    前記音声出力部に第1文章情報を音声で出力させ、前記音声の出力中に、ユーザによる前記入力部への第1入力が行われたか否かを判断し、前記第1入力が行われたと判断したときに、前記第1入力の第1タイミングに基づいて、前記第1文章情報のうちのコピー範囲を決定する処理を実行させる、制御プログラム。
  19. 入力部と、音声出力部と、制御部と、を含むシステムであって、
    前記制御部は、
    コピー処理において、
    前記音声出力部に第1文章情報を音声で出力させ、
    前記音声の出力中に、ユーザによる前記入力部への第1入力が行われたか否かを判断し、
    前記第1入力が行われたと判断したときに、前記第1入力の第1タイミングに基づいて、前記第1文章情報のうちのコピー範囲を決定する、電子機器システム。
JP2016086851A 2016-04-25 2016-04-25 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラムおよび電子機器システム Pending JP2017199057A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016086851A JP2017199057A (ja) 2016-04-25 2016-04-25 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラムおよび電子機器システム
US15/493,553 US20170309270A1 (en) 2016-04-25 2017-04-21 Electronic apparatus, method for controlling electronic apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016086851A JP2017199057A (ja) 2016-04-25 2016-04-25 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラムおよび電子機器システム

Publications (1)

Publication Number Publication Date
JP2017199057A true JP2017199057A (ja) 2017-11-02

Family

ID=60088544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016086851A Pending JP2017199057A (ja) 2016-04-25 2016-04-25 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラムおよび電子機器システム

Country Status (2)

Country Link
US (1) US20170309270A1 (ja)
JP (1) JP2017199057A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212295A1 (ja) 2017-05-19 2018-11-22 日東電工株式会社 半導体焼結体、電気・電子部材、及び半導体焼結体の製造方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5875448A (en) * 1996-10-08 1999-02-23 Boys; Donald R. Data stream editing system including a hand-held voice-editing apparatus having a position-finding enunciator
US6064965A (en) * 1998-09-02 2000-05-16 International Business Machines Corporation Combined audio playback in speech recognition proofreader
EP1054321A3 (en) * 1999-05-21 2002-06-19 Sony Corporation Information processing method and apparatus
EP2261893B1 (en) * 1999-12-20 2016-03-30 Nuance Communications Austria GmbH Audio playback for text edition in a speech recognition system
JP2005031979A (ja) * 2003-07-11 2005-02-03 National Institute Of Advanced Industrial & Technology 情報処理方法、情報処理プログラム、情報処理装置およびリモートコントローラ
US8290777B1 (en) * 2009-06-12 2012-10-16 Amazon Technologies, Inc. Synchronizing the playing and displaying of digital content
US8302010B2 (en) * 2010-03-29 2012-10-30 Avid Technology, Inc. Transcript editor
WO2012161359A1 (ko) * 2011-05-24 2012-11-29 엘지전자 주식회사 사용자 인터페이스 방법 및 장치
KR20150083173A (ko) * 2014-01-08 2015-07-17 한국전자통신연구원 휴대 단말의 텍스트 편집 장치 및 그 방법
KR20160101605A (ko) * 2015-02-17 2016-08-25 삼성전자주식회사 제스처 입력 처리 방법 및 이를 지원하는 전자 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212295A1 (ja) 2017-05-19 2018-11-22 日東電工株式会社 半導体焼結体、電気・電子部材、及び半導体焼結体の製造方法
WO2018212297A1 (ja) 2017-05-19 2018-11-22 日東電工株式会社 半導体焼結体、電気・電子部材、及び半導体焼結体の製造方法
WO2018212296A1 (ja) 2017-05-19 2018-11-22 日東電工株式会社 半導体焼結体、電気・電子部材、及び半導体焼結体の製造方法

Also Published As

Publication number Publication date
US20170309270A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
EP3821330B1 (en) Electronic device and method for generating short cut of quick command
KR102270394B1 (ko) 이미지를 인식하기 위한 방법, 단말, 및 저장 매체
KR102054633B1 (ko) 주변 장치들과 무선 페어링하고 주변 장치들에 관한 상태 정보를 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
EP3120344B1 (en) Visual indication of a recognized voice-initiated action
CN107491181B (zh) 语言输入的动态短语扩展
TWI602071B (zh) 訊息傳遞之方法、非暫時性電腦可讀儲存媒體及電子裝置
TWI497406B (zh) 用於為一語音辨識互動模組提供輸入功能之方法及電腦可讀取媒體
AU2014212844B2 (en) Character and word level language models for out-of-vocabulary text input
CN110959146B (zh) 使用眼睛注视检测的智能用户界面元素选择
US20130263013A1 (en) Touch-Based Method and Apparatus for Sending Information
US10964322B2 (en) Voice interaction tool for voice-assisted application prototypes
US10586528B2 (en) Domain-specific speech recognizers in a digital medium environment
JP2016524190A (ja) 環境を認識した対話ポリシーおよび応答生成
US20210352059A1 (en) Message Display Method, Apparatus, and Device
JP2015004977A (ja) オーディオ及びテキスト間の変換のための方法及び電子装置
US20160092104A1 (en) Methods, systems and devices for interacting with a computing device
WO2019050601A1 (en) GENERATION OF NAME-ENTITY PRONUNCIATION FOR SPEECH SYNTHESIS AND VOICE RECOGNITION
JP2017199057A (ja) 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラムおよび電子機器システム
WO2014134769A1 (en) An apparatus and associated methods
KR20200057426A (ko) 음성 인식 기반 이미지를 표시하는 전자 장치
US20210089717A1 (en) Method and apparatus for recommending word
Vu et al. GPTVoiceTasker: LLM-Powered Virtual Assistant for Smartphone
KR20160072639A (ko) 이동 단말기 및 그 제어 방법
KR20160042610A (ko) 이동 단말기 및 그 제어 방법
KR101435477B1 (ko) 어플리케이션 프로그램을 이용한 대화 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191210