JP2016099944A

JP2016099944A - 電子機器

Info

Publication number: JP2016099944A
Application number: JP2014238813A
Authority: JP
Inventors: 司朗大政; Shiro Omasa
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2014-11-26
Filing date: 2014-11-26
Publication date: 2016-05-30
Anticipated expiration: 2034-11-26
Also published as: US20170255352A1; JP6430793B2; WO2016084907A1

Abstract

【課題】ディスプレイのサイズが小さい電子機器では、ユーザが文字を選択して複写するのは、容易ではない。
【解決手段】文字抽出部２は、液晶ディスプレイ２に表示されている画面に含まれる１個以上の文字をユーザ操作を介さずに抽出する。メモリ３は、抽出された１個以上の文字の情報を記憶する。文字転写部２は、メモリ３に記憶されている文字の情報に基づいて、ユーザが指定した箇所に抽出された文字を転写する。
【選択図】図１

Description

本発明は、電子機器に関する。

従来から、モバイル端末などの電子機器は、ユーザ操作によって表示されている文字を複写し、ユーザ操作によって複写された文字を他の箇所に転写する機能を備えている（たとえば、特許文献１を参照）。

特開２００７−１４７４１０号公報

しかしながら、ユーザ操作による文字の複写は、面倒な場合がある。たとえば、スマートフォンなどのモバイル端末は、ディスプレイのサイズが小さいため、文字を選択して複写するのは、容易ではない。

本発明の一態様の電子機器は、ディスプレイと、ユーザによる入力操作を受け付けるタッチパネルと、ディスプレイに表示されている画面に含まれる１個以上の文字をタッチパネルを通じたユーザによる入力操作を介さずに抽出する文字抽出部と、抽出された１個以上の文字を記憶する記憶部と、記憶部に記憶されている文字を転写候補としてディスプレイに表示し、タッチパネルを通じたユーザによる入力操作に基づいて選択された文字を指定された箇所に転写する文字転写部とを備える。

本発明の一態様によれば、文字の複写が容易になる。

実施の形態の電子機器の構成を表わす図である。実施の形態の文字の複写および転写の動作手順を表わすフローチャートである。第１の実施形態の文字複写処理の手順を表わすフローチャートである。第１の実施形態の文字複写処理の具体例を説明するための図である。第１の実施形態の文字複写処理の具体例を説明するための図である。第１の実施形態の文字複写処理の具体例を説明するための図である。第１の実施形態の文字複写処理の具体例を説明するための図である。第１の実施形態の文字複写処理の具体例を説明するための図である。第１の実施形態の文字転写処理の手順を表わすフローチャートである。標準キーパッドの例を表わす図である。第１の実施形態の転写キーパッドの例を表わす図である。第１の実施形態の変形例の転写キーパッドの文字転写動作を説明するための図である。第２の実施形態の文字複写処理の手順を表わすフローチャートである。第２の実施形態の文字複写処理の具体例を説明するための図である。第２の実施形態の文字複写処理の具体例を説明するための図である。第２の実施形態の文字転写処理の手順を表わすフローチャートである。第２の実施形態の転写キーパッドの例を表わす図である。第２の実施形態の転写キーパッドの例を表わす図である。メモリ３に記憶される画面抽出文字情報の例を表わす図である。第３の実施形態の文字複写処理の手順を表わすフローチャートである。第３の実施形態の文字転写処理の手順を表わすフローチャートである。第３実施形態における転写キーパッドの切替えに伴って表示される文字の例を説明するための図である。第４の実施形態の文字転写処理の手順を表わすフローチャートである。第４の実施形態の転写キーパッドの例を表わす図である。第４の実施形態における転写キーパッドの切替えに伴って表示される文字の例を説明するための図である。第５の実施形態の文字複写処理の手順を表わすフローチャートである。第５の実施形態の文字複写処理の具体例を説明するための図である。第５の実施形態の文字複写処理の具体例を説明するための図である。第５の実施形態の転写キーパッドの例を表わす図である。第５の実施形態の転写キーパッドの例を表わす図である。第６の実施形態の文字複写処理の手順を表わすフローチャートである。

以下、本発明の実施の形態について図面を用いて説明する。
［第１の実施形態］
モバイル端末などの電子機器における従来の複写および転写は以下の手順で行われる。

（１）ユーザが、表示されている画面の中の複写対象の文字列の始点を指定する。
（２）ユーザが、表示されている画面の中の複写対象の文字列の終点を指定する。

（３）ユーザが、文字の複写を行う旨を電子機器へ指示する。通常は、複写対象の終点を選択した後、複写ボタンが表示される。

（４）ユーザが、複写した文字列を使用するエリアをアクティブにする。
（５）ユーザが、文字の転写を行う旨を電子機器へ指示する。通常は、対象エリアを長押し表示されるメニューボタンから転写を選択する。

スマートフォンに代表されるモバイル端末は、パソコンのような据え置き型の情報端末と比べるとキーボードやマウスのような専用の入力装置を持たない。このようなモバイル端末では、ユーザは、ディスプレイに表示されている画面の中の複写対象の文字列の視点および終点を指定するために、ユーザは、タッチパネル上の文字列の始点に対応する位置をタップし、文字列の終点に対応する位置までドラッグしなければならない。

モバイル端末の小型化が進むに比例して、ディスプレイおよびタッチパネルのサイズも小さくなるため、ユーザの指先によるこのようなタップおよびドラッグ操作は、細かな作業となる。

また、複写および転写で扱える文字列は連続した文字列でなければならない。たとえば、AABBCCの文字列中のAACCという文字列だけを単純に複写および転写できない。つまり、AABBCCを複写および転写した後、カーソルを移動させてBBを削除する作業が必要となる。

さらに、複写によって記憶できる文字列は常に１つであり、複数の文字列を記憶させておくことができない。つまり、複写操作によって、前に複写された文字列が削除される。

本実施の形態では、上述の問題を解決する。
図１は、実施の形態の電子機器の構成を表わす図である。

図１を参照して、電子機器１は、スマートフォンなどのような携帯端末であり、タッチパネル５と、液晶ディスプレイ６と、メモリ３と、文字抽出部２と、文字転写部４と、無線通信部９と、スピーカ１０と、マイク１１と、アプリケーション実行部８と、表示制御部７とを備える。

スピーカ１０は、アプリケーション実行部８で再生された音声、通話相手の音声などを出力する。

マイク１１には、ユーザの音声などの外部の音声が入力される。
アプリケーション実行部８は、各種のアプリケーションを実行する。

液晶ディスプレイ６は、アプリケーション実行部８の実行結果などを表示する。表示制御部７は、液晶ディスプレイ６の表示を制御する。なお、液晶ディスプレイ６を、情報を表示することができる他のディスプレイ、例えば、有機ＥＬディスプレイに置き換えることもできる。

タッチパネル５は、ユーザからの入力を受け付ける。
無線通信部９は、図示しない無線基地局との間で無線通信を行なう。

文字抽出部２は、液晶ディスプレイ６に表示されている画面に含まれる１個以上の文字をユーザ操作を介さずに抽出して複写して、画面抽出文字情報を作成する。画面抽出文字情報は、具体的には、画面から抽出された１個以上の文字を特定する文字コードである。

メモリ３は、文字抽出部２による文字の複写によって生成される画面抽出文字情報などを記憶する。

文字転写部４は、メモリ３に記憶されている画面抽出文字の情報に基づいて、ユーザが指定した箇所に複写された文字を転写する。

文字抽出部２および文字転写部４は、メモリ３に記憶されたプログラムをプロセッサが実行することによって実現される。

図２は、実施の形態の文字の複写および転写の動作手順を表わすフローチャートである。

図２を参照して、ステップＳ１０１において、ユーザが電子機器を操作していない継続時間（以下、無操作時間という）が閾値ＴＨ１以上の場合に、処理がステップＳ１０２に進む。無操作時間が閾値ＴＨ１未満の場合には、処理がステップＳ１０５に進む。

ステップＳ１０２において、最前面に表示されている画面から文字が複写済みの場合には、処理がステップＳ１０１に戻る。最前面に表示されている画面から文字が未だ複写されていない場合には、処理がステップＳ１０３に進む。

ステップＳ１０２において、最前面に表示されている画面を表示したアプリケーションが複写適用外のアプリケーションの場合には、処理がステップＳ１０１に戻る。最前面に表示されている画面を表示したアプリケーションが複写適用外のアプリケーションでない場合には、処理がステップＳ１０４に進む。複写適用外のアプリケーションとは、ユーザによって選択可能である。たとえば、ユーザは、銀行口座管理アプリケーションを適用除外のアプリケーションに設定することによって、銀行口座番号、金額、または用途を表わす文字を複写の対象外に設定することができる。

ステップＳ１０４において、文字抽出部２は、最前面に表示されている画面に含まれる１個以上の文字を抽出して、抽出した１個以上の文字を特定する画面抽出文字情報を作成してメモリ３に記憶する。

ステップＳ１０５において、ユーザが後述する転写キーパッドを選択したときには、処理がステップＳ１０６に進む。

ステップＳ１０６において、文字転写部４は、ユーザが指定した領域に、メモリ３に記憶されている画面抽出文字情報で特定される１個以上の文字のうちユーザが指定したものを転写する。

図３は、第１の実施形態の文字複写処理の手順を表わすフローチャートである。図４〜図８は、第１の実施形態の文字複写処理の具体例を説明するための図である。

図３を参照して、ステップＳ２０１において、文字抽出部２は、最前面に表示されている画面のイメージデータを取得する。たとえば、図４のように電子機器１に画面が表示されている場合に、図５に示すような最前面の画面のイメージデータが取得される。

ステップＳ２０２において、文字抽出部２は、取得されたイメージデータの中の所定領域のデータを削除する。たとえば、図５に示すイメージデータから図６に示す所定領域５１が削除されることによって、図７に示すイメージデータが得られる。

ステップＳ２０３において、文字抽出部２は、文字認識アルゴリズムに従って、所定領域のデータが削除された後のイメージデータに含まれる１個以上の文字を識別して抽出する。

ステップＳ２０４において、文字抽出部２は、抽出された１個以上の文字を特定するための画面抽出文字情報をメモリ３に記憶する。図８は、メモリ３に記憶されている画面抽出文字情報で特定される文字の例を表す図である。

なお、本実施の形態では、過去に抽出された画面抽出文字情報は消去されて、最新の画面抽出文字情報のみが記憶される。したがって、最新の画面で抽出された文字のみが転写可能である。

図９は、第１の実施形態の文字転写処理の手順を表わすフローチャートである。
ステップＳ３０１において、ユーザの操作によって、文字入力ボックスが表示された場合に、処理がステップＳ３０２に進む。

ステップＳ３０２において、文字転写部４は、標準キーパッドを表示する。たとえば、図１０に示すように、文字入力ボックス１５１、標準キーパッド８０が表示される。標準キーパッド８０は、転写キーパッド指定キー６１を含む。

ステップＳ３０３において、ユーザによるタッチパネル５へのタップ操作によって、転写キーパッド指定キーが選択された場合には、処理がステップＳ３０４に進む。

ステップＳ３０４において、文字転写部４は、転写キーパッドを表示する。転写キーパッドは、文字抽出部２によってメモリ３に記憶された画面抽出文字情報によって特定される１個以上の文字のキー（文字キー群）と、１個以上の特殊キー（特殊キー群）とを含む。

たとえば、図１１に示すような転写キーパッド８１が表示される。この転写キーパッド８１は、文字キー群１５２と、特殊キー群６２とを含む。特殊キー群６２は、左移動キー６３、右移動キー６４、削除キー６５、改行キー６６、スペースキー６７、および終了キー６８と、標準キーパッド指定キー７５とを含む。

ステップＳ３０５において、ユーザのタッチパネル５への入力操作、具体的にはタップ操作（指で軽くたたく操作）によって標準キーバッドまたは転写キーバッドの中の文字キーが選択された場合には、処理がステップＳ３０６に進む。

ステップＳ３０６において、文字転写部４は、選択された文字キーに対する文字（すなわち、タッチパネル５に入力された位置の文字）を文字入力ボックスに転写する。たとえば、図１０において、タッチパネル５の入力位置が文字Ｐの位置の場合には、文字Ｐが文字入力ボックス１５１に転写される。

ステップＳ３０７において、ユーザのタッチパネル５への入力操作、具体的にはタップ操作によって標準キーパッドまたは転写キーパッドの中の終了キー以外の特殊キーが選択された場合には、処理がステップＳ３０８に進む。

ステップＳ３０８において、文字転写部４は、特殊キーに応じた処理を実行する。たとえば、左移動キー６３が選択されることによって、カーソルが１文字前に戻る。右移動キー６４が選択されることによって、カーソルが１文字進む。削除キー６５が選択されることによって、カーソル上の文字が消去される。改行キー６６が選択されることによって、改行される。スペースキー６７が選択されることによって、スペース（空白文字）が入力される。

ステップＳ３０９において、ユーザのタッチパネルへの入力操作、具体的にはタップ操作によって、標準キーパッド指定キーが選択された場合には、処理がステップＳ３０２に戻る。たとえば、図１１に示す標準キーパッド指定キー７５が選択されることによって、処理がステップＳ３０２に戻り、図１０に示す標準キーパッド８０が表示される。

ステップＳ３１０において、ユーザのタッチパネル５への入力操作、具体的にはタップ操作によって終了キーが選択された場合には、処理が終了する。たとえば、図１１に示す終了キー６８が選択されることによって、文字の複写が終了する。

以上のように、本実施の形態によれば、ユーザによるタッチパネルのタップおよびドラッグ操作なしで、文字列を自動で複写することができる。本実施の形態では、文字の転写の際にタッチパネルをタップする操作が必要となるが、転写キーパッドに表示される文字をユーザが容易に選択できる大きさに設定することによって、タッチパネルへのタップ操作が細かな作業にならないようにすることができる。

また、従来では、AABBCCの文字列中のAACCという文字列だけを指定した領域に転写するためには、ユーザは、AABBCCを複写し、指定した領域に転写した後、カーソルを移動させてBBを削除する作業を必要とした。これに対して、本実施の形態では、ユーザは転写キーバッド中の文字A、A、C、Cを選択することによって、AACCを転写することができる。

本実施の形態では、従来のようにユーザが選択した１つの文字列ではなく、表示されている画面に含まれるすべての文字を複写することができる。

さらに、本実施の形態では、表示されている画面からイメージデータを取得して、イメージデータに含まれる文字を文字認識アルゴリズムによって抽出して複写するので、従来では複写および転写できなかった写真などのイメージに含まれる文字も複写および転写することができる。

［第１の実施形態の変形例］
図１２は、第１の実施形態の変形例の転写キーパッドの文字転写動作を説明するための図である。

ユーザが、転写キーパッドに表示されている複数の文字の中の始点（入力開始位置）ＰＳをタップして、終点（入力終了位置）ＰＥまでドラッグすることによって、文字転写部４は、始点と終点の間の文字列を選択して転写することができる。

図１２において、文字転写部４は、最初に始点ＰＳ１と終点ＰＥ１の間の文字列「ｔｅｓｔ」を転写する。その後、文字転写部４は、始点ＰＳ２と終点ＰＥ２の間の文字列「ｓｕｎ」を転写する。文字転写部４は、２つの文字列の間には、自動で（ユーザによる操作なしで）、スペース（空白文字）を入力する。

本変形例によれば、ユーザによる文字の転写の作業を容易にすることができる。
［第２の実施形態］
第１の実施形態では、最新の画面の文字を特定する画面抽出文字情報のみがメモリ３に記録された。これに対して、第２の実施形態では、最新の画面の文字を特定する画面抽出文字情報と過去の画面の文字と特定する１個以上の画面抽出文字情報をメモリ３に記憶する。文字転写部は、新しい画面の文字を含む転写キーパッドから優先的に表示する。

図１３は、第２の実施形態の文字複写処理の手順を表わすフローチャートである。図１４および図１５は、第２の実施形態の文字複写処理の具体例を説明するための図である。

図１３を参照して、ステップＳ４０１において、文字抽出部２は、最前面に表示されている画面のイメージデータを取得する。

ステップＳ４０２において、文字抽出部２は、取得されたイメージデータの中の所定領域のデータを削除する。

ステップＳ４０３において、文字抽出部２は、文字認識アルゴリズムに従って、所定領域のデータが削除された後のイメージデータに含まれる１個以上の文字を識別して抽出する。

ステップＳ４０４において、文字抽出部２は、抽出された１個以上の文字を特定するための画面抽出文字情報を最新の画面抽出文字情報としてメモリ３に記憶する。

図１４（ａ）は、最新のステップＳ４０１の実行によって、最前面に表示されている最新の画面（現在の画面、または１番目に新しい画面とも称する）から取得されたイメージデータの例を表わす。図１４（ｂ）は、１つ前のステップＳ４０１の実行によって、最前面に表示されている１つ前の過去の画面（２番目に新しい画面）から取得されたイメージデータの例を表わす図である。

図１５（ａ）は、図１４（ａ）の画面のイメージデータから抽出された画面抽出文字情報を表わす図である。図１５（ｂ）は、図１４（ｂ）の画面のイメージデータから抽出された画面抽出文字情報を表わす図である。

図１６は、第２の実施形態の文字転写処理の手順を表わすフローチャートである。
ステップＳ５０１において、ユーザの操作によって、文字入力ボックスが表示された場合に、処理がステップＳ５０２に進む。

ステップＳ５０２において、何番目に新しい画面の文字を表示するかを指定するための変数Ｋが０に設定される。

ステップＳ５０３において、文字転写部４は、標準キーパッドを表示する。
ステップＳ５０４において、ユーザによるタッチパネル５のタップ操作によって、転写キーパッド指定キーが選択された場合には、処理がステップＳ５０５に進む。

ステップＳ５０５において、変数Ｋがインクリメントされる。
ステップＳ５０６において、変数Ｋが画面抽出文字情報の個数Ｋ＿Ｎの場合には、処理がステップＳ５０７に進む。変数Ｋが画面抽出文字情報の個数Ｋ＿Ｎでない場合には、処理がステップＳ５０８に進む。

個数Ｋ＿Ｎの情報は、メモリ３に記憶されている。画面抽出文字情報がメモリ３に記憶される度、個数Ｋ＿Ｎが１ずつ増えるように書き換えられる。ステップ５０６では、この個数Ｋ＿Ｎがメモリ３から読み出される。

ステップＳ５０８において、文字転写部４は、Ｋ番目に新しい画面の画面抽出文字情報に基づく転写キーパッドを表示する。転写キーパッドは、文字抽出部２によってメモリ３に記憶された画面抽出文字情報で特定される１個以上の文字のキー（文字キー群）と、１個以上の特殊キー（特殊キー群）とを含む。

たとえば、現在のＫの値が１のときには、図１７に示すような転写キーパッド８２が表示される。この転写キーパッド８２は、文字キー群１５２と、特殊キー群６２と、転写キーパッド指定キー６９を含む。文字キー群１５２に含まれる文字のキーは、図１５（ａ）に示すような１番目に新しい画面から抽出された文字のキーである。

転写キーパッド８２における転写キーパッド指定キー６９が選択されることによって、Ｋがインクリメントされて表示されている転写キーパッド８２をＫ＝２の転写キーパッド８３に切り替えることが可能となる。現在のＫの値が２のときには、図１８に示すような転写キーパッド８３が表示される。この転写キーパッド８３は、文字キー群１５３と、特殊キー群６２と、転写キーパッド指定キー６９を含む。文字キー群１５３に含まれる文字のキーは、図１５（ｂ）に示すような２番目に新しい画面から抽出された文字のキーである。

ステップＳ５０９において、ユーザのタッチパネル５へのタップ操作によって標準キーバッドまたは転写キーバッドの中の文字キーを選択された場合には、処理がステップＳ５１０に進む。

ステップＳ５１０において、文字転写部４は、選択された文字キーに対する文字を文字入力ボックスに転写する。その後、処理がステップＳ５０４に戻る。

ステップＳ５１１において、ユーザのタッチパネル５へのタップ操作によって標準キーパッドまたは転写キーパッドの中の終了キー以外の特殊キーが選択された場合には、処理がステップＳ５１２に進む。

ステップＳ５１２において、文字転写部４は、特殊キーに応じた処理を実行する。その後、処理がステップＳ５０４に戻る。
ステップＳ５１３において、ユーザのタッチパネルへの入力操作、具体的にはタップ操作によって、標準キーパッド指定キーが選択された場合には、処理がステップＳ５０２に戻る。

ステップＳ５１４において、ユーザのタッチパネル５へのタップ操作によって終了キーが選択された場合には、処理が終了する。

以上のように、本実施の形態によれば、複数の画面抽出文字情報を記憶し、ユーザの指示によって、どの画面抽出文字情報で特定される文字を含む転写キーパッドを表示するかを切り替えることができる。これによって、本実施の形態では、第１の実施形態よりも転写対象の文字の候補を増加させることができる。

なお、本実施の形態によれば、転写キーパッド指定キー６９は１つであるが、次の転写キーパッド８３に切り替える、すなわち変数Ｋをインクリメントするための転写キーパッド指定キー６９ａと、１つ前に表示された転写キーパッド８３に切り替える、すなわち変数Ｋをデクリメントするための転写キーパッド指定キー６９ｂの２種類の転写キーパッド指定キー６９を設けてもよい。

［第３の実施形態］
第２の実施形態では、複数のアプリケーションからの文字が複写されても、複写元のアプリケーションを区別することなく、表示された順序が新しい画面の画面抽出文字情報で特定される文字を含む転写キーパッドから表示された。

図１９は、メモリ３に記憶される画面抽出文字情報の例を表わす図である。
まず、Ｚアプリケーションの画面（１）が表示されて、その画面の画面抽出文字情報がメモリ３に記憶される。その後、Ｙアプリケーションの画面（１）が表示されて、その画面の画面抽出文字情報がメモリ３に記憶される。その後、Ｙアプリケーションの画面（２）が表示されて、その画面の画面抽出文字情報がメモリ３に記憶される。その後、Ｘアプリケーションの画面（１）が表示されて、その画面の画面抽出文字情報がメモリ３に記憶される。その後、Ｘアプリケーションの画面（２）が表示されて、その画面の画面抽出文字情報がメモリ３記憶される。その後、Ｘアプリケーションの画面（３）が表示されて、その画面の画面抽出文字情報がメモリ３に記憶される。

第２の実施形態では、文字転写の際には、ユーザが転写キーパッド指定キーを選択するごとに、表示された順序が新しい画面からの文字を含む転写キーパッドが表示される。

すなわち、ユーザが転写キーパッド指定キーを選択するごとに、Ｘアプリケーションの画面（１）の文字を含む転写キーパッド、Ｙアプリケーションの画面（１）の文字を含む転写キーパッド、Ｙアプリケーションの画面（２）の文字を含む転写キーパッド、Ｘアプリケーションの画面（１）の文字を含む転写キーパッド、Ｘアプリケーションの画面（２）の文字を含む転写キーパッド、Ｘアプリケーションの画面（３）の文字を含む転写キーパッドが順番に表示される。

したがって、第２の実施形態では、同じアプリケーションで得られた文字が連続して転写候補となる場合がある。一方、アプリケーションで使用される文字は、そのアプリケーションに特有の文字となる場合がある。そのような場合には、転写キーパッド指定キーを選択しても、転写キーパッドに含まれる文字キー群の文字の種類に変化が少なく、転写候補の文字がなかなか見つからないことがある。

したがって、転写候補とする文字の複写元のアプリケーションが連続して同じアプリケーションとならないように切り替えることが望ましい。

第３の実施形態では、文字転写部４は、転写キーパッド指定キーがユーザによって選択されるごとに、転写キーパッドに含まれる文字の複写元のアプリケーションを切り替える。

図２０は、第３の実施形態の文字複写処理の手順を表わすフローチャートである。
図２０を参照して、ステップＳ６０１において、文字抽出部２は、最前面に表示されている画面のイメージデータを取得する。

ステップＳ６０２において、文字抽出部２は、取得されたイメージデータの中の所定領域のデータを削除する。

ステップＳ６０３において、文字抽出部２は、文字認識アルゴリズムに従って、所定領域のデータが削除された後のイメージデータに含まれる１個以上の文字を識別して抽出する。

ステップＳ６０４において、文字抽出部２は、抽出された１個以上文字の文字を特定するための画面抽出文字情報を最前面のアプリケーションの最新の画面の画面抽出文字情報としてメモリ３に記憶する。

図２１は、第３の実施形態の文字転写処理の手順を表わすフローチャートである。
以下の説明では、アプリケーションを指定するために変数Ｌ（＝１、２・・・）を用いる。

ステップＳ７０１において、ユーザの操作によって、文字入力ボックスが表示された場合に、処理がステップＳ７０２に進む。

ステップＳ７０２において、変数Ｋが１に設定され、変数Ｌが０に設定される。
ステップＳ７０３において、文字転写部４は、標準キーパッドを表示する。

ステップＳ７０４において、ユーザによって転写キーパッド指定キーが選択された場合には、処理がステップＳ７０５に進む。

ステップＳ７０５において、アプリケーションを切り替えるための変数Ｌがインクリメントされる。

ステップＳ７０６において、変数Ｌがアプリケーションの個数Ｌ＿Ｎの場合には、処理がステップＳ７０７に進む。変数Ｌがアプリケーションの個数Ｌ＿Ｎでない場合には、処理がステップＳ７０８に進む。

なお、アプリケーションの個数Ｌ＿Ｎとは、少なくとも１つの画面の画面抽出文字情報が記憶されているアプリケーションの個数である。この個数Ｌ＿Ｎの情報は、メモリ３に記憶されており、異なるアプリケーションの画面抽出文字情報がメモリ３に記憶される度、個数Ｌ＿Ｎが１ずつ増えるように書き換えられる。ステップ７０６では、この個数Ｌ＿Ｎがメモリ３から読み出される。

ステップＳ７０７において、変数Ｌが１に設定され、変数Ｋがインクリメントされる。
ステップＳ７０８において、Ｌ番目のアプリケーションのＫ番目に新しい画面の画面抽出文字情報がメモリ３に記憶されている場合には、処理がステップＳ７０９に進む。Ｌ番目のアプリケーケーションのＫ番目に新しい画面の画面抽出文字情報がメモリ３に記憶されている場合には、処理がステップＳ７０５に戻る。

ステップＳ７０９において、文字転写部４は、Ｌ番目のアプリケーケーションのＫ番目に新しい画面の文字情報に基づく転写キーパッドを表示する。

ステップＳ７１０において、ユーザのタッチパネル５へのタップ操作によって標準キーバッドまたは転写キーバッドの中の文字キーを選択された場合には、処理がステップＳ７１１に進む。

ステップＳ７１１において、文字転写部４は、選択された文字キーに対する文字を文字入力ボックスに転写する。その後、処理がステップＳ７０４に戻る。

ステップＳ７１２において、ユーザのタッチパネル５へのタップ操作によって標準キーパッドまたは転写キーパッドの中の終了キー以外の特殊キーが選択された場合には、処理がステップＳ７１３に進む。

ステップＳ７１３において、文字転写部４は、特殊キーに応じた処理を実行する。その後、処理がステップＳ７０４に戻る。

ステップＳ７１４において、ユーザのタッチパネルへの入力操作、具体的にはタップ操作によって、標準キーパッド指定キーが選択された場合には、処理がステップＳ７０２に戻る。

ステップＳ７１５において、ユーザのタッチパネル５へのタップ操作によって終了キーが選択された場合には、処理が終了する。

図２２は、メモリ３に図１９に示す文字情報が記憶されている場合に、文字転写のときに、転写キーパッド指定キーが選択されるごとに、切り替えられる転写キーパッド中の文字を説明するための図である。

まず初めに、現在のＫの値が１、Ｌの値が１のときには、Ｌが１であるＸアプリケーションのＫが１である最新の画面（３）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。

その後、転写キーパッド指定キーが選択されると、Ｌの値が２にインクリメントされる。この場合には、Ｌが２であるＹアプリケーションのＫが１である最新の画面（２）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。

その後、転写キーパッド指定キーが選択されると、Ｌの値が３にインクリメントされる。この場合には、Ｌが３であるＺアプリケーションのＫが１である最新の画面（１）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。

その後、転写キーパッド指定キーが選択されると、Ｌの値が１に戻り、Ｋの値が２にインクリメントされる。この場合には、Ｌが１であるＸアプリケーションのＫが１である１つ前の画面（２）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。

その後、転写キーパッド指定キーが選択されると、Ｌの値が２にインクリメントされる。この場合には、Ｌが２であるＹアプリケーションのＫが２である１つ前の画面（１）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。

その後、転写キーパッド指定キーが選択されると、Ｌの値が３にインクリメントされる。この場合には、Ｌが３であるＹアプリケーションのＫが２である１つ前の画面の文字情報が存在しないので、Ｌの値が１に戻り、Ｋの値が３にインクリメントされる。この場合には、Ｌが１であるＸアプリケーションのＫが３である２つ前の画面（１）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。

以上のように、本実施の形態によれば、転写キーパッド指定キーを選択しても、同じアプリケーションから得られた文字が連続して転写候補とならないので、ユーザによる文字の転写作業を容易にすることができる。

［第４の実施形態］
本実施の形態では、複数個の画面抽出文字情報のうちいずれに基づく転写キーパッドを表示するかをユーザが選択可能にする。

図２３は、第４の実施形態の文字転写処理の手順を表わすフローチャートである。
ステップＳ８０１において、ユーザの操作によって、文字入力ボックスが表示された場合に、処理がステップＳ８０２に進む。

ステップＳ８０２において、文字転写部４は、標準キーパッドを表示する。
ステップＳ８０３において、ユーザによって転写キーパッド指定キーが選択された場合には、処理がステップＳ８０４に進む。

ステップＳ８０４において、文字転写部４は、１番目のアプリケーションの１番目に新しい画面の文字情報に基づく転写キーパッドを表示する。転写キーパッドは、文字抽出部２によってメモリ３に記憶された画面抽出文字情報で特定される１個以上の文字のキー（文字キー群）と、１個以上の特殊キー（特殊キー群）と、スワイプ領域とを含む。

たとえば、メモリ３に図１９に示す画面抽出文字情報が記憶されている場合に、Ｘアプリケーションの最新の画面（３）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。図２４は、表示される転写キーバッドの例を表わす図である。

この転写キーパッド８４は、文字キー群１５２と、特殊キー群６２と、スワイプ領域７１を含む。

ステップＳ８０５において、ユーザがスワイプ可能領域においてタッチパネル５上でスワイプ操作したときには、処理がステップＳ８０６に進む。

ステップＳ８０６において、文字転写部４は、スワイプ操作に応じて、転写キーパッドを切り替える。

図２５は、スワイプ操作と、表示される文字との関係を表わす図である。
図２５において、アプリケーションごとに、文字が抽出された順序に従って画面に順序が最新、１つ前、２つ前というように定められている。アプリケーションごとの文字の抽出順序が同一の画面を同一抽出順序の画面という。すなわち、Ｘアプリケーションの画面（３）、Ｙアプリケーションの画面（２）、Ｚアプリケーションの画面（１）が同一抽出順序の画面である。Ｘアプリケーションの画面（２）、Ｙアプリケーションの画面（１）が同一抽出順序の画面である。

文字転写部４は、上下方向のスワイプ操作に従って、異なるアプリケーションに属し、かつ同一抽出順序の画面の中のいずれかの画面の文字を含む転写キーパッドを表示する。

文字転写部４は、左右方向のスワイプ操作に従って、同一のアプリケーションに属する複数の画面の中のいずれかの画面の文字を含む転写キーパッドを表示する。

前述したように、初めに、Ｘアプリケーションの最新の画面（３）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示されている。このときに、ユーザが右にスワイプ操作することによって、Ｘアプリケーションの１つ前の画面（２）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。また、ユーザが下にスワイプ操作することによって、Ｙアプリケーションの最新の画面（２）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。

なお、Ｘアプリケーションの画面（３）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示されているときに、ユーザが上や左にスワイプ操作した場合、表示する転写キーパッドが存在しないため、その旨をユーザに知らせるメッセージ、例えば「表示すべき転写キーパッドが存在しません」といったメッセージを表示してもよい。

また、Ｘアプリケーションの画面（３）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示されているときに限らず、ユーザがスワイプ操作した場合に、表示する転写キーパッドが存在しない場合には、その旨をユーザに知らせるメッセージを表示してもよい。

同様に、Ｘアプリケーションの画面（２）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示されているときに、ユーザが右にスワイプ操作することによって、Ｘアプリケーションの２つ前の画面（１）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。また、ユーザが左にスワイプ操作することによって、Ｘアプリケーションの最新の画面（３）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。また、ユーザが下にスワイプ操作することによって、Ｙアプリケーションの１つ前の画面（２）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。

同様に、Ｙアプリケーションの画面（２）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示されているときに、ユーザが右にスワイプ操作することによって、Ｙアプリケーションの１つ前の画面（１）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。また、ユーザが上にスワイプ操作することによって、Ｘアプリケーションの最新の画面（３）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。また、ユーザ下にスワイプ操作することによって、Ｚアプリケーションの最新の画面（１）の画面抽出文字情報で特定される文字が含まれる転写キーパッドが表示される。

なお、操作方法がわからないユーザのために、図２４に示す転写キーパッド８４が、操作方法のガイドを表示するガイド表示キーを有していてもよい。この場合、ユーザがガイド表示キーをタッチすると、例えば、スワイプ操作する方向と当該方向にスワイプ操作された場合に表示される転写キーパッドの種類との関係が表示されてもよい。

ステップＳ８０７において、ユーザのタッチパネル５へのタップ操作によって標準キーバッドまたは転写キーバッドの中の文字キーを選択された場合には、処理がステップＳ８０８に進む。

ステップＳ８０８において、文字転写部４は、選択された文字キーに対する文字を文字入力ボックスに転写する。その後、処理がステップＳ８０５に戻る。

ステップＳ８０９において、ユーザのタッチパネル５へのタップ操作によって標準キーパッドまたは転写キーパッドの中の終了キー以外の特殊キーが選択された場合には、処理がステップＳ８１０に進む。

ステップＳ８１０において、文字転写部４は、特殊キーに応じた処理を実行する。その後、処理がステップＳ８０５に戻る。

ステップＳ８１１において、ユーザのタッチパネルへの入力操作、具体的にはタップ操作によって、標準キーパッド指定キーが選択された場合には、処理がステップＳ８０２に戻る。

ステップＳ８１２において、ユーザのタッチパネル５へのタップ操作によって終了キーが選択された場合には、処理が終了する。

以上のように、本実施の形態によれば、ユーザは上下左右のスワイプ操作によって、転写キーパッドに含まれる文字キー群を切り替えることができるので、ユーザによる文字の転写作業を容易にすることができる。

なお、本実施の形態では、文字転写部は、上下方向のスワイプ操作に従って、異なるアプリケーションに属し、かつ同一抽出順序の画面の中のいずれかの画面の文字を含む転写キーパッドを表示し、左右方向のスワイプ操作に従って、同一のアプリケーションに属する複数の画面の中のいずれかの画面の文字を含む転写キーパッドを表示したが、これに限定するものではない。

たとえば、文字転写部は、左右方向のスワイプ操作に従って、異なるアプリケーションに属し、かつ同一抽出順序の画面の中のいずれかの画面の文字を含む転写キーパッドを表示し、上下方向のスワイプ操作に従って、同一のアプリケーションに属する複数の画面の中のいずれかの画面の文字を含む転写キーパッドを表示するものとしてもよい。

また、文字転写部は、斜め方向のスワイプ操作によって、抽出順序が相違し、かつアプリケーションが相違する画面の文字を含む転写キーパッドを表示してもよい。

なお、異なるアプリケーションに属し、かつ同一抽出順序の画面の中のいずれかの画面の文字を含む転写キーパッドを表示するためのスワイプ操作の方向、および同一のアプリケーションに属する複数の画面の中のいずれかの画面の文字を含む転写キーパッドを表示するためのスワイプ操作の方向は、上述した方向に限られない。他の実施例において、これらの方向は別の方向であってもよいし、ユーザが操作しやすいように適宜設定可能であってもよい。

さらに、文字転写部は、所定のタッチ操作に従って、転写キーパッド指定キーの表示および非表示を切り替えてもよい。この場合、例えば、転写キーパッドの切り換えを、転写キーパッド指定キーによって行うか（転写キーパッド指定キーが表示されている場合）、スワイプ操作よって行うか（転写キーパッドが非表示の場合）をユーザに選択させることができる。

［第５の実施形態］
本実施の形態では、表示されている画面から所定文字数以下の１個または複数個の画面抽出文字情報を作成する。

画面に含まれる文字が多い場合、転写キーパッドに含まれる文字の数が多くなる。転写キーパッドに含まれる文字の数が多い場合、すべての文字を表示するためには、転写キーパッドに含まれる文字をスクロール表示させる機能を持たせる必要がある。本実施の形態では、画面に含まれる文字が所定文字数を超える場合に、スクロール表示に代えて、文字抽出部２が、画面に含まれる文字を所定個数以下の文字数の複数のグループに分割してメモリ３に記憶させる。文字転写部４は、１つのグループの文字を含む転写キーパッドを表示し、転写キーパッド指定キーの選択によって、別のグループの文字を含む転写キーパッドを表示する。

図２６は、第５の実施形態の文字複写処理の手順を表わすフローチャートである。図２７、図２８は、第５の実施形態の文字複写処理の例を説明するための図である。

図２６を参照して、ステップＳ１００１において、文字抽出部２は、最前面に表示されている画面のイメージデータを取得する。

ステップＳ１００２において、文字抽出部２は、取得されたイメージデータの中の所定領域のデータを削除する。

ステップＳ１００３において、文字抽出部２は、文字認識アルゴリズムに従って、所定領域のデータが削除された後のイメージデータに含まれる１個以上の文字を識別して抽出する。

ステップＳ１００４において、抽出した文字の数が閾値（所定個数）ＴＨを超える場合には、処理がステップＳ１００５に進む。抽出した文字の数が閾値ＴＨ以下の場合には、処理がステップＳ１００６に進む。

ステップＳ１００５において、文字抽出部２は、抽出された文字を閾値ＴＨ以下の文字数の複数のグループに分割し、各々が、１つのグループの文字を特定する複数個の画面抽出文字情報を作成して、メモリ３に記憶する。

ステップＳ１００６において、文字抽出部２は、抽出されたＴＨ以下の文字数からなる１個の画面抽出文字情報をメモリ３に記憶する。

図２７に示すように、電子機器１に画面が表示されているときに、抽出された文字の数が閾値ＴＨを超えるため、閾値ＴＨ以下の文字数の第１の画面抽出文字情報および第２の画面抽出文字情報が作成される。

図２８（ａ）は、メモリ３に記憶された第１の画面抽出文字情報で特定される文字を表わす図である。図２８（ｂ）は、メモリ３に記憶された第２の画面抽出文字情報で特定される文字を表わす図である。

図２９は、文字の転写時において、第１の画面抽出文字情報によって特定される文字を含む転写キーパッドの例を表わす図である。図３０は、文字の転写時における第２の画面抽出文字情報によって特定される文字を含む転写キーパッドの例を表わす図である。図２９の転写キーパッドと図３０の転写キーパッドの切替えは、転写キーパッド指定キー６９を選択することによって行われる。

以上のように、本実施の形態では、１つの画面に含まれる文字が所定個数を超える場合には、画面に含まれる文字を所定個数以下の文字数の複数のグループに分割し、１つのグループの文字を含む転写キーパッドを表示して、転写キーパッド指定キーの選択によって、別のグループの文字を含む転写キーパッドを表示する。これにより、ユーザによる文字の転写作業が容易になる。

［第６の実施形態］
本実施の形態では、イメージデータではなく、文字列の表示命令から画面抽出文字情報を作成する。

図３１は、第６の実施形態の文字複写処理の手順を表わすフローチャートである。
図３１を参照して、ステップＳ９０１において、文字抽出部２は、最前面に表示されている画面の１個以上の文字の表示命令を特定する。文字の表示命令は、文字を描画する命令と、文字を特定する文字情報（文字コード）とからなる。

ステップＳ９０２において、文字抽出部２は、特定された１個以上の文字の表示命令の中から所定領域で表示される表示命令を削除する。

ステップＳ９０３において、文字抽出部２は、削除後の文字の表示命令で表示される１個以上の文字を特定する画面抽出文字情報をメモリ３に記憶する。

以上のように、本実施の形態によれば、イメージデータではなく、文字の表示命令によって、表示されている画面に含まれる文字を識別するので、より精度の良い文字の抽出が可能となる。

なお、上記の各実施形態は、単独でのみ実施可能というものではなく、上記各実施形態を組み合わせることが可能である。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１無線通信部、２文字抽出部、３メモリ、４文字転写部、５タッチパネル、６液晶ディスプレイ、７表示制御部、８アプリケーション実行部、９無線通信部。

Claims

ディスプレイと、
ユーザによる入力操作を受け付けるタッチパネルと、
前記ディスプレイに表示されている画面に含まれる１個以上の文字を前記タッチパネルからのユーザによる入力操作を介さずに抽出する文字抽出部と、
前記抽出された１個以上の文字を記憶する記憶部と、
前記記憶部に記憶されている文字を転写候補として前記ディスプレイに表示し、前記タッチパネルを通じたユーザによる入力操作に基づいて選択された文字を指定された箇所に転写する文字転写部とを備えた、電子機器。
前記文字抽出部は、前記表示されている画面のイメージデータを取得し、前記イメージデータの中に含まれる文字を文字認識アルゴリズムに従って識別する、請求項１記載の電子機器。
前記文字抽出部は、前記取得したイメージデータから所定の領域を削除し、前記所定の領域の削除後のイメージデータに含まれる文字を識別する、請求項２記載の電子機器。
前記文字抽出部は、所定時間ユーザが操作しないときに、前記文字を抽出する、請求項１記載の電子機器。
前記文字抽出部は、所定のアプリケーション以外のアプリケーションで表示された画面に含まれる文字を抽出する、請求項１記載の電子機器。
前記文字転写部は、前記タッチパネルに入力された位置の文字を前記指定された箇所に転写する、請求項１記載の電子機器。
前記文字転写部は、前記記憶部に記憶されている文字に加えて空白文字も表示し、ユーザが前記空白文字を選択した場合には、前記空白文字を前記指定された箇所に入力する、請求項１記載の電子機器。
前記文字転写部は、前記タッチパネルへの入力開始位置から入力終了位置までに含まれる文字列を前記指定された箇所に転写する、請求項１記載の電子機器。
前記文字転写部は、前記指定された箇所に１以上の文字を含む第１の文字列を転写した後、さらに、前記指定された箇所に１以上の文字を含む第２の文字列を転写するときには、前記第１の文字列と前記第２の文字列との間に空白文字を入力する、請求項１記載の電子機器。
前記記憶部は、前記文字抽出部によって抽出された複数の画面の文字を記憶し、
前記文字転写部は、前記記憶部に記憶されている新しい画面の文字から優先的に転写候補として表示する、請求項１記載の電子機器。
前記記憶部は、前記文字抽出部によって抽出された複数の画面の文字を記憶し、前記複数の画面は、複数のアプリケーションの画面であり、
前記文字転写部は、ユーザの切替指示に従って、前記複数の画面の中のいずれの画面の文字を表示するかを切り替え、
前記文字抽出部は、ユーザの切替指示ごとに、前記表示する文字の抽出元のアプリケーションを切り替える、請求項１記載の電子機器。
前記記憶部は、前記文字抽出部によって抽出された複数の画面の文字を記憶し、前記複数の画面は、複数のアプリケーションの画面であり、
前記文字転写部は、前記タッチパネル上でのユーザによるスワイプ操作に従って、前記複数の画面の中のいずれの画面の文字を表示するかを切り替える、請求項１記載の電子機器。
前記文字転写部は、第一方向のスワイプ操作および当該第一方向とは異なる第二方向方向のスワイプ操作のうちの一方の操作に従って、異なるアプリケーションに属し、かつ同一抽出順序の画面の中のいずれかの画面の文字を表示し、
前記第一方向のスワイプ操作および前記第二方向のスワイプ操作のうちの他方の操作に従って、同一のアプリケーションに属する複数の画面の中のいずれかの画面の文字を表示する、請求項１２記載の電子機器。
前記文字抽出部は、前記ディスプレイに表示されている画面に含まれる文字が所定個数を超えるときには、前記抽出された文字を所定個数以下の文字数の複数のグループに分割して記憶し、
前記文字転写部は、１つのグループの文字を転写候補として前記ディスプレイに表示し、ユーザの切替指示に従って、別のグループの文字を転写候補として前記ディスプレイに表示する、請求項１記載の電子機器。