本出願に係る電子機器、制御方法、及びプログラムを実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。
本出願に係る電子機器は、スマートフォン、モバイルフォン、タブレット、携帯型パソコン、メディアプレイヤ、電子書籍リーダ、ナビゲータ、ウエアラブルデバイス、又はゲーム機等の機器であってよい。
図1は、実施形態に係る電子機器の機能構成の一例を示すブロック図である。以下の説明において、同様の構成要素については同一の符号を付すことがある。以下の説明において、重複する説明は省略することがある。
図1に示すように、電子機器1は、タッチスクリーンディスプレイ2と、物理キーユニット3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、カメラ13と、コネクタ14と、モーションセンサ15とを含む。
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2A及びタッチスクリーン2Bは、例えば、重なって位置してよいし、並んで位置してよいし、離れて位置してよい。ディスプレイ2Aとタッチスクリーン2Bとが重なって位置する場合、例えば、ディスプレイ2Aの1ないし複数の辺は、タッチスクリーン2Bのいずれの辺とも沿っていなくてもよい。
ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを含む。ディスプレイ2Aは、文字、画像、記号、及び図形等のオブジェクトを画面内に表示する。ディスプレイ2Aが表示するオブジェクトを含む画面は、ロック画面と呼ばれる画面、ホーム画面と呼ばれる画面、アプリケーションの実行中に表示されるアプリケーション画面を含む。ホーム画面は、デスクトップ、待受画面、アイドル画面、標準画面、アプリ一覧画面又はランチャー画面と呼ばれることもある。
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触又は近接を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン2Bに接触又は近接したときのタッチスクリーン2B上の位置を検出することができる。以下の説明において、タッチスクリーン2Bが検出する複数の指、ペン、及びスタイラスペン等がタッチスクリーン2Bに接触又は近接した位置を「検出位置」と表記する。タッチスクリーン2Bは、タッチスクリーン2Bに対する指の接触又は近接を、検出位置とともにコントローラ10に通知する。タッチスクリーン2Bは、検出位置の通知をもって接触又は近接の検出をコントローラ10に通知してよい。タッチスクリーン2Bが行える動作を、タッチスクリーン2Bを有するタッチスクリーンディスプレイ2は実行できる。言い換えると、タッチスクリーン2Bが行う動作は、タッチスクリーンディスプレイ2が行ってもよい。
コントローラ10は、タッチスクリーン2Bにより検出された接触又は近接、検出位置、検出位置の変化、接触又は近接が継続した時間、接触又は近接が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいて、ジェスチャの種別を判別する。コントローラ10が行える動作を、コントローラ10を有する電子機器1は実行できる。言い換えると、コントローラ10が行う動作は、電子機器1が行ってもよい。ジェスチャは、指を用いて、タッチスクリーン2Bに対して行われる操作である。タッチスクリーン2Bに対して行われる操作は、タッチスクリーン2Bを有するタッチスクリーンディスプレイ2に行われてもよい。コントローラ10が、タッチスクリーン2Bを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、及び荷重検出方式等の任意の方式でよい。
物理キーユニット3は、ユーザからの操作入力を受け付ける。物理キーユニット3は、第1キーユニット3a、第2キーユニット3b、第3キーユニット3c、及びタッチスクリーン3dを有する。
図2及び図3を用いて、実施形態に係る物理キーユニットの配置例を説明する。図2は、実施形態に係るキーユニットの配置例を示す図である。図3は、実施形態に係るタッチスクリーンの配置例を示す図である。
実施形態に係る電子機器1は略直方体状の筐体1hを備え、電子機器1の平面は図2に示すように略長方形状の形態をなす。第1キーユニット3aは、図2に示す物理キー3a1、・・・、物理キー3a10の合計10個の物理キーを含んで構成される。物理キー3a1、・・・、物理キー3a10は、電子機器1の筐体1hの左辺側の縁F1に沿って、図2に示すy軸に平行な方向に1列に並んで配置される。第2キーユニット3bは、図2に示す物理キー3b1、・・・、物理キー3b10の合計10個の物理キーを含んで構成される。物理キー3b1、・・・、物理キー3b10は、電子機器1の筐体1hの右辺側の縁F2に沿って、図2に示すy軸に平行な方向に1列に並んで配置される。第3キーユニット3cは、図2に示す物理キー3c1、物理キー3c2、及び物理キー3c3の合計3個の物理キーを含んで構成される。物理キー3c1、物理キー3c2、及び物理キー3c3は、電子機器1の筐体1hの底辺側の縁F3に沿って、図2に示すx軸に平行な方向に1列に並んで配置される。図2に示す第1キーユニット3a、第2キーユニット3b及び第3キーユニット3cのそれぞれを構成する物理キーの個数は一例であり、必ずしも、図2に示す例と同数の物理キーで構成されていなくてもよい。図2に示す例では、物理キー3a1、・・・、物理キー3a10は、電子機器1の筐体1hの右辺側の縁F1に沿って配置されるが、タッチスクリーンディスプレイの輪郭を構成する1辺に沿った配置であってよい。物理キー3a1、・・・、物理キー3a10も同様に、タッチスクリーンディスプレイの輪郭を構成する1辺に沿った配置であってよい。同様に、物理キー3c1、物理キー3c2、及び物理キー3c3は、タッチスクリーンディスプレイ2Bの輪郭を構成する1辺に沿った配置であってよい。つまり、第1キーユニット3a、第2キーユニット3b及び第3キーユニット3cは、筐体1hの外側の辺に沿って配置しても、筐体1hのタッチスクリーンディスプレイ2B側の辺、筐体1hとタッチスクリーンディスプレイ2Bとの境界に沿って配置してもよい。
第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10は、キーの押下を検出できる。第2キーユニット3bを構成する物理キー3b1、・・・、物理キー3b10は、キーの押下を検出できる。第3キーユニット3cを構成する物理キー3c1、物理キー3c2、及び物理キー3c3は、キーの押下を検出できる。第1キーユニット3a、第2キーユニット3b、及び第3キーユニット3cを構成する各物理キーに対する押下の検出は、各物理キーが個別に行ってよい。第1キーユニット3a、第2キーユニット3b、及び第3キーユニット3cを構成する各物理キーは、各物理キーの表面の質感を電子機器1の他の部材とは異なる質感を持つように構成してもよい。第1キーユニット3a、第2キーユニット3b、及び第3キーユニット3cを構成する各物理キーは、各物理キーの表面の形状として、円柱型、直方体型、屋根型などの任意の形状を採用してよい。第1キーユニット3a、第2キーユニット3b、及び第3キーユニット3cを構成する各物理キーは、2段階以上の押下が可能な構成であってよい。第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10は、第1の物理キーの一例である。第2キーユニット3bを構成する物理キー3b1、・・・、物理キー3b10は、第2の物理キーの一例である。
タッチスクリーン3dは、図3に示すように、タッチスクリーン3da、タッチスクリーン3db、及びタッチスクリーン3dcを含む。タッチスクリーン3daは、図3に示すy軸に平行な方向に沿って、電子機器1の長手方向に延在するように第1キーユニット3aの下に配置される。タッチスクリーン3dbは、図3に示すy軸に平行な方向に沿って、電子機器1の長手方向に延在するように第2キーユニット3bの下に配置される。タッチスクリーン3dcは、図3に示すx軸に平行な方向に沿って、電子機器1の短手方向に延在するように第3キーユニット3cの下に配置される。タッチスクリーン3daは、第1キーユニット3aに対する指などの導電性の物体の接触及び近接などを検出できる。タッチスクリーン3dbは、第2キーユニット3bに対する指などの導電性の物体の接触及び近接などを検出できる。タッチスクリーン3dcは、第3キーユニット3cに対する指などの導電性の物体の接触及び近接などを検出できる。
図4を用いて、実施形態に係るタッチスクリーン3dの構造の一例を説明する。図4は、実施形態に係るタッチスクリーンの構造の一例を示す図である。図4は、タッチスクリーン3dが備えるタッチスクリーンのうちのタッチスクリーン3daの構造の一部を示している。図4に示すように、タッチスクリーン3daは、複数の第1の電極40a1と、複数の第2の電極40a2とを含む。第1の電極40a1は、タッチスクリーン3daの短手方向に延在する。第2の電極40a2は、タッチスクリーン3daの長手方向に延在する。タッチスクリーン3daは、複数の第1の電極40a1と複数の第2の電極40a2とを、格子状に交差させた状態で配置する。タッチスクリーン3daは、複数の第1の電極40a1と複数の第2の電極40a2とが交差する各位置(検出点)で、第1キーユニット3aに対する指などの接触又は近接を検出する。導電性の物体がタッチスクリーン3daに接近すると、タッチスクリーン3daと当該物体との間に容量結合が発生する。タッチスクリーン3daは、容量結合を検出点で感知することにより、指などの導電性の物体の接触などを検出する。図4に示す例では、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10を設置するためのキーホール40a3が設けられることを原因として、複数の第1の電極40a1と複数の第2の電極40a2とが格子状に交差されずに、不均一な状態で配置される箇所が存在するが、コントローラ10による処理において検出点の校正を実行できる。タッチスクリーン3dの検出方式は、タッチスクリーン2Bと同様に、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、及び荷重検出方式等の任意の方式でよい。
コントローラ10は、タッチスクリーン3daの検出結果に基づいて、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10の中のいずれのキーが接触されたかを判別できる。コントローラ10は、第1キーユニット3aの検出結果に基づいて、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10の中のいずれのキーが押下されたかを判別できる。コントローラ10は、タッチスクリーン3dbの検出結果に基づいて、第2キーユニット3bを構成する物理キー3b1、・・・、物理キー3b10の中のいずれのキーが接触されたかを判別できる。コントローラ10は、第2キーユニット3bの検出結果に基づいて、第2キーユニット3bを構成する物理キー3b1、・・・、物理キー3b10の中のいずれのキーが押下されたかを判別できる。コントローラ10は、タッチスクリーン3dcの検出結果に基づいて、第3キーユニット3cを構成する物理キー3c1、物理キー3c2、及び物理キー3c3の中のいずれのキーが接触されたかを判別できる。コントローラ10は、第3キーユニット3cの検出結果に基づいて、第3キーユニット3cを構成する物理キー3c1、物理キー3c2、及び物理キー3c3の中のいずれのキーが押下されたかを判別できる。
コントローラ10は、例えば、タッチスクリーン3dを介して、第1キーユニット3aを構成する物理キーに対するタッチ、及び第2キーユニット3bを構成する物理キーに対するタッチの両方を検出した場合には、最新のタッチに対する処理を優先して実行できる。コントローラ10は、第1キーユニット3aを構成する物理キーに対するタッチ、及び第2キーユニット3bを構成する物理キーに対するタッチの両方を検出している状態で、タッチスクリーン3dを介して、第1キーユニット3a及び第2キーユニット3b以外へのタッチが検出された場合には、第1キーユニット3a及び第2キーユニット3b以外へのタッチを無効な操作として取り扱うことができる。また、コントローラ10は、例えば、タッチスクリーン3dを介して、第1キーユニット3aを構成する物理キーに対するタッチ、及びタッチスクリーン2Bに対するタッチの両方を検出した場合には、最新のタッチに対する処理を優先して実行できる。このように、コントローラ10は、タッチスクリーン2Bに対するタッチと、タッチスクリーン3dに対するタッチの両方を検出した場合も、最新のタッチに対する処理を優先して実行する。
コントローラ10は、例えば、タッチスクリーン3dを介して、第1キーユニット3aを構成する物理キー、及び第2キーユニット3bを構成する物理キーに対するロングタッチ、タップ、ダブルタップ、スライドなどのタッチジェスチャを検出してもよい。
照度センサ4は、照度を検出する。照度は、照度センサ4の測定面の単位面積に入射する光束の値である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。
近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ5は、例えば、ディスプレイ2Aと顔とが接近したことを検出する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。照度センサ4は、近接センサとして用いられてもよい。
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる無線通信規格には、例えば、2G、3G、4G、5G等のセルラーフォンの通信規格と、近距離無線の通信規格とが含まれる。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、WiMAX(登録商標)(Worldwide Interoperability for Microwave Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy−phone System)等がある。近距離無線の通信規格としては、例えば、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)、WPAN(Wireless Personal Area Network)等が含まれる。WPANの通信規格には、例えば、ZigBee(登録商標)が含まれる。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。
レシーバ7は、コントローラ10から送出される音信号を音として出力する。レシーバ7は、例えば、電子機器1にて再生される動画の音、音楽の音、及び通話時の相手の声を出力することができる。マイク8は、入力されるユーザの声等を音信号へ変換してコントローラ10へ送信する。
ストレージ9は、プログラム及びデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域として利用されてもよい。ストレージ9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ9に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する支援プログラム(図示略)とが含まれる。アプリケーションは、例えば、フォアグランドで実行される場合、当該アプリケーションに係る画面を、ディスプレイ2Aに表示する。支援プログラムには、例えば、OSが含まれる。プログラムは、通信ユニット6による無線通信又は非一過的な記憶媒体を介してストレージ9にインストールされてもよい。
ストレージ9は、制御プログラム9A、入力制御プログラム9B、第1キーデータ9C、第2キーデータ9D、条件データ9E、及び設定データ9Zなどを記憶できる。制御プログラム9Aは、各種機能を提供するに際し、電子機器1が記憶する各種アプリケーションと連携できる。制御プログラム9Aは、通信ユニット6を介してクラウドストレージと連携し、当該クラウドストレージが記憶するファイル及びデータにアクセスしてもよい。クラウドストレージは、ストレージ9に記憶されるプログラム及びデータの一部又は全部を記憶してもよい。
制御プログラム9Aは、電子機器1の各種動作に関する処理を実現するための機能をそれぞれ提供できる。制御プログラム9Aが提供する機能には、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整する機能が含まれる。制御プログラム9Aが提供する機能には、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効とする機能が含まれる。制御プログラム9Aが提供する機能には、通信ユニット6、レシーバ7、及びマイク8等を制御することによって、通話を実現させる機能が含まれる。制御プログラム9Aが提供する機能には、カメラ12、及びカメラ13の撮影処理を制御する機能が含まれる。制御プログラム9Aが提供する機能には、コネクタ14を介して接続される外部機器との間の通信を制御する機能が含まれる。制御プログラム9Aが提供する機能には、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う機能が含まれる。制御プログラム9Aが提供する機能には、モーションセンサ15の検出結果に基づいて、電子機器1を携帯する利用者の移動、停止等を検出する機能が含まれる。
入力制御プログラム9Bは、電子機器1において実行される文字入力を制御するための機能を提供できる。入力制御プログラム9Bは、例えば、第1キーユニット(第1のキー群)3aを構成する複数の物理キーのそれぞれに第1のグループを割り当て、第1キーユニット(第1のキー群)3aを構成する複数の物理キーのうち、グループが割り当てられたいずれかのキーに対する操作を検出すると、操作が検出された物理キーに対応付けられている第2キーユニット(第2のキー群)3bを構成する複数の物理キーのそれぞれに、第1のグループに予め紐付けられた第2のグループを割り当てる機能を提供できる。第1のグループ、第2のグループは、各種ファイル、ファイルを格納するフォルダ、文字入力のキー等が含まれる。また、第2のグループにさらに複数のグループを紐づけることもできる。この場合、第2のグループが新しい第1のグループとなり、第2のグループに紐づけられたグループが新しい第2のグループとなる。
第1キーデータ9Cは、第1キーユニット3aを構成する複数の物理キーのそれぞれに予め割り当てられるグループの情報である。図5は、実施形態に係る第1キーデータの一例を示す図である。図5に示すように、第1キーデータ9Cには、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a7のそれぞれに対して、「ドキュメント」、「ピクチャ」、「ビデオ」、「ニュース」、「SNS」、「学習」、「ゲーム」を割り当てることが設定されている。第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a7のそれぞれに対して割り当てられる「ドキュメント」、「ピクチャ」、「ビデオ」、「ニュース」、「SNS」、「学習」、「ゲーム」は、それぞれの名称が付されたフォルダを意味する。第1キーデータ9Cは、後述する入力処理において、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10のそれぞれに対応する出力を実行する際に利用される。
第2キーデータ9Dは、第2キーユニット3bを構成する複数の物理キーのそれぞれに予め割り当てられるキーの情報である。図6は、実施形態に係る第2キーデータの一例を示す図である。図6に示すように、第2キーデータ9Dは、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10のうち、操作が検出された物理キーごとに、第2キーユニット3bを構成する物理キー3b1、・・・、物理キー3b10に対する文字の割り当てを複数有する。例えば、第1キーユニット3aを構成する物理キー3a1に対する操作が検出された場合(3a1=ドキュメント)には、物理キー3b1、物理キー3b2、物理キー3b3のそれぞれに対して、「フォルダ1」、「フォルダ2」、「フォルダ3」を割り当てることが設定されている。「フォルダ1」、「フォルダ2」、「フォルダ3」は、それぞれの名称が付されたフォルダを意味する。例えば、第1キーユニット3aを構成する物理キー3a5に対する操作が検出された場合(3a5=SNS)には、物理キー3b1、・・・、物理キー3b5のそれぞれに対して、「Facebook(登録商標)」、「LINE(登録商標)」、「Google+(登録商標)」、「LinkedIn(登録商標)」、「Twitter(登録商標)」を割り当てることが設定されている。「Facebook」、「LINE」、「Google+」、「LinkedIn」、「Twitter」は、アプリケーションソフトウェアである。第2キーデータ9Dは、後述する入力処理において、第2キーユニット3bを構成する物理キー3b1、・・・、物理キー3b5のそれぞれに対応する出力を実行する際に利用される。図6に示す例では、第2キーデータ9Dにおいて、第2キーユニット3bを構成する物理キー3b6、・・・、物理キー3b10等に対して割り当てが存在しないが、上記以外のフォルダ、アプリケーションソフト、ファイル等のディレクトリを設定してもよい。なお、物理キー3c1、物理キー3c2、物理キー3c3に対して、電子機器1の動作を制御するための機能が対応付けられていてよい。
また、第1キーデータ9Cは、図7に示すように、ドキュメントに対応付けられたフォルダ1に対して紐づけられたファイルを記憶している。つまり、第1キーデータ9Cは、第1キーデータ9Cのキーに対して紐付けられた第2キーデータ9Dのキーに対して紐付けられた複数のグループを記憶している。ここで、図7に示す例では、グループは、データである。第1キーデータ9Cは、第2キーユニット3bを構成する物理キー3b1、・・・、物理キー3b10のうち、操作が検出された物理キーごとに、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10に対する文字の割り当てを複数有する。例えば、第2キーユニット3bを構成する物理キー3b1に対する操作が検出された場合(3b1=フォルダ1)には、物理キー3a1、・・・、物理キー3a4のそれぞれに対して、「sample.txt」、「sample2.txt」、「sample3.txt」、「sample.pdf」を割り当てることが設定されている。
なお、上記実施形態では、第1キーユニット3aの1つの物理キーに紐付けられたグループに対して、第2キーユニット3bの複数の物理キーにグループを割り当て、さらに、第2キーユニット3bの1つのグループに対して、第1キーユニット3aの複数の物理キーにグループを割り当てたがこれに限定されない。例えば、第2キーユニット3bの1つのグループに対して割り当てられた第1キーユニット3aの複数の物理キーのグループのそれぞれにさらに第2キーユニット3bの複数の物理キーとグループとの紐付けをしてもよい。また、例えば、第1キーユニット3aの複数の物理キーのうち、一部の物理キーには、第2キーユニットのキーに対するグループの紐付けを行わなくてもよい。この場合、最初に表示され、第2のグループが紐付けされていない物理キーを操作すると、そのキーに対応付けられたグループの処理を実行する。また、第2キーユニット3bの複数の物理キーに割り当てるグループに対して、第1キーユニット3aのキーとグループとの紐付けを行わなくてもよい。この場合、第2キーユニット3bの物理キーを操作すると、そのキーに対応付けられたグループの処理を実行する。
条件データ9Eは、入力制御プログラム9Bで処理を実行する各種条件が設定されている。具体的には、条件データ9Eには、入力制御プログラム9Bの入力処理の開始条件、入力処理の終了条件等が設定されている。
設定データ9Zは、制御プログラム9Aにより実行される処理に用いられる情報を含む。
コントローラ10は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−Chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびコプロセッサを含むが、これらに限定されない。コントローラ10は、電子機器1の動作を統括的に制御して各種の機能を実現する。
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、マイク8、及びスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、物理キーユニット3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、モーションセンサ15を含むが、これらに限定されない。
コントローラ10は、制御プログラム9Aを実行することにより、電子機器1の各種動作に関する処理を実現できる。
コントローラ10は、入力制御プログラム9Bを実行することにより、電子機器1において実行される文字入力を制御する処理を実現できる。コントローラ10は、例えば、入力制御プログラム9Bを実行することにより、第1キーユニット3aを構成する複数の物理キーのいずれかのキーに対する操作を検出すると、操作が検出された物理キーに対応付けられている第2キーユニット3bを構成する複数の物理キーのそれぞれに、当該複数の物理キーに予め紐付けられている少なくとも1つの文字を割り当てる処理を実現できる。コントローラ10は、コントローラの一例である。
スピーカ11は、コントローラ10から送出される音信号を音として出力する。スピーカ11は、例えば、着信音及び音楽を出力するために用いられる。レシーバ7及びスピーカ11の一方が、他方の機能を兼ねてもよい。
カメラ12及びカメラ13は、撮影した画像を電気信号へ変換する。カメラ12は、ディスプレイ2Aに面している物体を撮影するインカメラである。カメラ13は、ディスプレイ2Aの反対側の面に面している物体を撮影するアウトカメラである。カメラ12及びカメラ13は、インカメラ及びアウトカメラを切り換えて利用可能なカメラユニットとして、機能的及び物理的に統合された状態で電子機器1に実装されてもよい。
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置を含むが、これらに限定されない。
モーションセンサ15は、電子機器1を携帯する利用者の動作を判定するための各種情報を検出できる。モーションセンサ15は、加速度センサ、方位センサ、ジャイロスコープ、磁気センサ及び気圧センサなどを備えるセンサユニットとして構成されてよい。
電子機器1は、上記の各機能部の他、GPS受信機、及びバイブレータを備えてもよい。GPS受信機は、GPS衛星からの所定の周波数帯の電波信号を受信する。GPS受信機は、受信した電波信号の復調処理を行って、処理後の信号をコントローラ10に送出する。GPS受信機は、電子機器1の現在位置の演算処理をサポートする。電子機器1は、GPS衛星以外の測位用人工衛星の信号を受信可能な受信機を備え、現在位置の演算処理を実行してもよい。バイブレータは、電子機器1の一部又は全体を振動させる。バイブレータは、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。電子機器1は、バッテリなど、電子機器1の機能を維持するために当然に用いられる機能部、及び電子機器1の制御を実現するために当然に用いられる制御部を実装する。
電子機器1は、通信ユニット6を介してクラウド上の記憶サーバにアクセスし、各種プログラム及びデータを取得してもよい。
図8から図10を参照しつつ、実施形態に係る電子機器1の処理の一例を説明する。図8は、実施形態に係る入力処理の実行画面の一例を示す図である。図9及び図10は、実施形態に係る入力処理に伴う画面遷移を説明するための概要図である。
電子機器1は、入力処理を実行する際、図8に示す実行画面20をディスプレイ2Aに表示する。実行画面20は、第1キー領域22、及び第2キー領域23を有する。
第1キー領域22は、領域22a1、・・・、領域22a10を含んで構成される。領域22a1、・・・、領域22a10は、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10に対応する領域である。領域22a1、・・・、領域22a10は、図7に示すy軸に平行な方向に沿って、物理キー3a1、・・・、物理キー3a10に隣接するように、1列に並んで表示される。領域22a1、・・・、領域22a10は、物理キー3a1、・・・、物理キー3a10に割り当てられているグループの名称を表示する。第2キー領域23は、領域23b1、・・・、領域23b10を含んで構成される。領域23b1、・・・、領域23b10は、第2キーユニット3bを構成する物理キー3b1、・・・、物理キー3b10にそれぞれ対応する領域である。領域23b1、・・・、領域23b10は、図7に示すy軸に平行な方向に沿って、物理キー3b1、・・・、物理キー3b10に隣接するように、1列に並んで表示される。領域23b1、・・・、領域23b10は、物理キー3b1、・・・、物理キー3b10に予め割り当てられているグループに対して付された名称を表示する。なお、第1キー領域22、第2キー領域23にグループの名称を表示させるとしたが、グループを識別できる表示であればよく、名称に限定されない。
図9を用いて、入力処理における画面遷移の一例を説明する。図9に示すように、電子機器1は、入力処理の実行画面20をディスプレイ2Aに表示する(ステップS12)。具体的には、第1キーユニット3aに第1のグループの各グループを対応付け、対応付けたグループに対応する名称を領域22a1、・・・22a7に表示させる。領域22a1、・・・22a7には、それぞれ「ドキュメント」、「ピクチャ」、「ビデオ」、「ニュース」、「SNS」、「学習」、「ゲーム」の文字を表示させる。続いて、電子機器1は、物理キー3a1に対するタッチを検出すると、物理キー3a1に対応する出力を実行する(ステップS14)。具体的には、電子機器1は、物理キー3a3に割り当てられているグループの名称の「ドキュメント」の読み上げ音声をスピーカ11から出力する。また、物理キー3a1に対応する領域22a1の表示を他の領域と異なる表示とする。例えば、背景の色を変化させる。
続いて、電子機器1は、物理キー3a1が押下されると、物理キー3a1に対応する出力を実行する(ステップS16)。具体的には、電子機器1は、物理キー3a1に対応付けられている物理キー3b1、・・・、物理キー3b3のそれぞれに、物理キー3b1、・・・、物理キー3b3に予め紐付けられているグループを割り当てる。例えば、物理キー3b1、物理キー3b2、物理キー3b3のそれぞれに対して、「フォルダ1」、「フォルダ2」、「フォルダ3」のグループを割り当て、物理キー3b1、物理キー3b2、物理キー3b3のそれぞれに対応する領域23b1、領域23b2、領域23b3に、「フォルダ1」、「フォルダ2」、「フォルダ3」の文字の画像を表示させる。
続いて、電子機器1は、物理キー3b3に対するタッチを検出すると、物理キー3b3に対応する出力を実行する(ステップS18)。具体的には、電子機器1は、物理キー3b3に割り当てられている文字「フォルダ3」の読み上げ音声をスピーカ11から出力する。また、物理キー3b3対応する領域23b3の表示を他の領域と異なる表示とする。例えば、背景の色を変化させる。
続いて、電子機器1は、物理キー3b3が押下されると、物理キー3b3に対応する出力を実行する(ステップS20)。具体的には、電子機器1は、物理キー3b3に対応付けられている物理キー3a1、・・・、物理キー3a4のそれぞれに、物理キー3a1、・・・、物理キー3a4に予め紐付けられているグループを割り当てる。例えば、物理キー3a1、・・・、物理キー3a4のそれぞれに対して、「sample.txt」、「sample2.txt」、「sample3.txt」、「sample.pdf」のグループを割り当て、物理キー3a1、・・・、3a4のそれぞれに対応する領域22a1、・・・、領域22a4に、「sample.txt」、「sample2.txt」、「sample3.txt」、「sample.pdf」の文字の画像を表示させる。
続いて、電子機器1は、物理キー3a4に対するタッチを検出すると、物理キー3a4に対応する出力を実行する(ステップS22)。具体的には、電子機器1は、物理キー3a4に割り当てられているグループの名称の「sample.pdf」の読み上げ音声をスピーカ11から出力する。また、物理キー3a4に対応する領域22a4の表示を他の領域と異なる表示とする。例えば、背景の色を変化させる。
続いて、電子機器1は、物理キー3a4が押下されると、物理キー3a4に対応する出力を実行する(ステップS24)。具体的には、物理キー3a4に紐付けられた「sample.pdf」は、データファイルであるので、選択されたファイルを実行する。例えば、設定されたアプリケーションソフトでデータファイルの画像を表示する。
上記ステップS14において、電子機器1は、他の物理キーへのタッチ、物理キーの押下を検出しない間、物理キーに割り当てられている文字の読み上げ音声の出力を最初の読み上げから一定時間経過ごとに繰り返し実行してもよい。物理キーに対して、改行、削除、変換などの編集機能が割り当てられている場合には、対応する編集機能の内容に対応する読み上げ音声を出力してよい。上記ステップS14において、電子機器1は、物理キーに対して、文字及び編集機能の割り当てが存在しない場合には、何も処理を行わなくてもよいし、バイブレータによる報知、割り当てがない旨の読み上げ音声の出力、ブザー音による報知などを実行してもよい。あるいは、電子機器1は、文字及び編集機能の割り当てが存在しない物理キーについては、押下ができないような機構にしてもよい。
上記ステップS16において、電子機器1は、物理キーの押下を検出した場合、バイブレータの振動、若しくはスピーカ11からの効果音の出力によるフィードバックを実行してもよい。上記ステップS16において、物理キー3b1、・・・、物理キー3b3が、操作面に点字パターンを表出可能な物理機構を備える場合、電子機器1は、物理キー3a3に対応付けられている物理キー3b1、・・・、物理キー3b3のそれぞれに、物理キー3b1、・・・、物理キー3b3に予め紐付けられているグループを割り当てる際、それぞれのグループに対応する文字の点字パターンを順次表出させて、グループの名称を示してもよい。
図9に示す例では、電子機器1は、第1キーユニット3aに割り当てるグループが物理キー3a1、・・・、物理キー3a10の数よりも少ない場合、物理キー3a1(第3キーユニット3cが配置されている側とは反対側)から詰めてグループを割り当てる場合について説明したがこれに限定されない。例えば、電子機器1は、割り当てるグループの数が物理キー3a1、・・・、物理キー3a10の数よりも少ない場合、物理キー3a10から詰めてグループを割り当ててもよい。例えば、電子機器1は、割り当てるグループが物理キー3a1、・・・、物理キー3a10の数よりも少なくとも2つ少ない場合、物理キー3a1及び物理キー3a10の両側にグループを割り当てなくてもよい。また、電子機器1は、第2キーユニット3bの物理キー3b1、・・・、物理キー3b10に割り当てるグループの数が、物理キー3b1、・・・、物理キー3b10に数よりも少ない場合も同様である。
上記図9の説明において、電子機器1は、スピーカ11を介して、文字の読み上げ音声を出力する際に、対応する文字の画像をディスプレイ2Aにおいて強調表示してもよい。電子機器1は、物理キーがタッチされた場合と、物理キーが押下された場合とで、ディスプレイ2Aに表示されている文字の画像の表示態様を変更してもよい。
なお、電子機器1は、上記実施形態では、物理キーへのタッチの検出に基づいて操作を実行したが、物理キーの押下の検出に基づいて操作を実行してもよい。また、電子機器1は、タッチを検出した後、押下を検出した場合に操作を実行するようにしてもよいし、タッチの検出は行わず、押下を検出した場合に操作を実行してもよい。また、電子機器1は、検出した操作に対応する音声を出力させたが、音声を出力させずに、操作された物理キーに対応する表示を強調表示するようにしてもよい。また、電子機器1は、操作された物理キーに対応する音声を出力し、かつ、操作された物理キーに対応する表示を強調表示してもよい。また電子機器1は、物理キーに対応するディスプレイ2Aに物理キーに対応する画像を表示することが好ましいが、表示させなくてもよい。また、後述するが電子機器1は、ディスプレイを備えていなくてもよい。
図10を用いて、入力処理における画面遷移の他の例を説明する。図10に示すように、電子機器1は、入力処理の実行画面20をディスプレイ2Aに表示する(ステップS32)。続いて、電子機器1は、物理キー3a5に対するタッチを検出すると、物理キー3a5に対応する出力を実行する(ステップS34)。具体的には、電子機器1は、物理キー3a5に割り当てられているグループの「SNS」の読み上げ音声をスピーカ11から出力する。さらに、電子機器1は、物理キー3a5に対応付けられている物理キー3b1、・・・、物理キー3b5のそれぞれに、「Facebook(登録商標)」、「LINE(登録商標)」、「Google+(登録商標)」、「LinkedIn(登録商標)」、「Twitter(登録商標)」のグループを割り当て、物理キー3b1、・・・、物理キー3b5のそれぞれに対応する領域23b1、・・・、領域23b5に、「Facebook」、「LINE」、「Google+」、「LinkedIn」、「Twitter」の文字を表示させる。
続いて、電子機器1は、物理キー3a5が押下されると、物理キー3a5に対応する出力を実行する(ステップS36)。具体的には、電子機器1は、選択されたグループとして仮決定していたSNSの入力を確定する。ここで、仮決定とは、選択が確定していない状態である。電子機器1は、仮決定されている物理キーに対応する音声を出力したり、強調表示したりすることで、仮決定している操作をユーザに伝えることができる。これにより、操作を決定する前で選択するグループを変更できる状態で操作しているグループを知ることができる。具体的には、電子機器1は、物理キー3a5に対応付けられている物理キー3b1、・・・、物理キー3b5のそれぞれに、物理キー3b1、・・・、物理キー3b5に予め紐付けられているグループを割り当てて確定する。例えば、物理キー3b1・・・、物理キー3b5のそれぞれに対して、「Facebook」、「LINE」、「Google+」、「LinkedIn」、「Twitter」のグループを割り当て、物理キー3b1、・・・、物理キー3b5のそれぞれに対応する領域23b1、・・・、領域23b5に、「Facebook」、「LINE」、「Google+」、「LinkedIn」、「Twitter」の文字の画像を表示させる。
続いて、電子機器1は、物理キー3b1に対するタッチを検出すると、物理キー3b1に対応する出力を実行する(ステップS38)。具体的には、電子機器1は、物理キー3b1に割り当てられている文字「Facebook」の読み上げ音声をスピーカ11から出力する。また、物理キー3b1に対応する領域23b1の表示を他の領域と異なる表示とする。例えば、背景の色を変化させる。続いて、電子機器1は、物理キー3b1が押下されると、物理キー3b1に対応する出力を実行する(ステップS40)。具体的には、物理キー3b1に紐付けされた「Facebook」をアプリケーションソフトで実行する。
図11を用いて、実施形態に係る電子機器により実行される処理の流れを説明する。図11は、実施形態に係る電子機器により実行される処理の流れの一例を示すフローチャートである。図11に示す処理は、コントローラ10が、入力制御プログラム9Bを実行することにより実現される。図11の説明において、物理キー3amは、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10に対応する。図11の説明において、物理キー3bnは、第2キーユニット3bを構成する物理キー3b1、・・・、物理キー3b10に対応する。
図11に示すように、コントローラ10は、第1キーユニット3aのいずれかの物理キー3amへのタッチを検出したかを判定する(ステップS101)。
コントローラ10は、判定の結果、物理キー3amへのタッチを検出した場合(ステップS101,Yes)、タッチを検出した物理キー3amに対応する出力を実行する(ステップS102)。
続いて、コントローラ10は、物理キー3amの押下を検出したかを判定する(ステップS103)。
コントローラ10は、判定の結果、物理キー3amの押下を検出した場合(ステップS103,Yes)、押下を検出した物理キー3amに対応する出力を実行し(ステップS104)、上記ステップS101の処理手順に戻る。
上記ステップS103において、コントローラ10は、判定の結果、物理キー3amの押下を検出しない場合(ステップS103,No)、上記ステップS101の処理手順に戻る。
上記ステップS101において、コントローラ10は、判定の結果、物理キー3amへのタッチを検出しない場合(ステップS101,No)、第2キーユニット3bのいずれかの物理キー3bnへのタッチを検出したかを判定する(ステップS105)。
コントローラ10は、判定の結果、物理キー3bnへのタッチを検出した場合(ステップS105,Yes)、タッチを検出した物理キー3bnに対応する出力を実行する(ステップS106)。
続いて、コントローラ10は、物理キー3bnの押下を検出したかを判定する(ステップS107)。
コントローラ10は、判定の結果、物理キー3bnの押下を検出した場合(ステップS107,Yes)、押下を検出した物理キー3bnに対応する出力を実行し(ステップS108)、上記ステップS101の処理手順に戻る。
上記ステップS107において、コントローラ10は、判定の結果、物理キー3bnの押下を検出しない場合(ステップS107,No)、上記ステップS101の処理手順に戻る。
上記ステップS105において、コントローラ10は、判定の結果、物理キー3bnへのタッチを検出しない場合(ステップS105,No)、第1キーユニット3a及び第2キーユニット3b以外へのタッチを検出したかを判定する(ステップS109)。
コントローラ10は、判定の結果、第1キーユニット3a及び第2キーユニット3b以外へのタッチを検出した場合(ステップS109,Yes)、図11に示す処理を終了する。これとは反対に、コントローラ10は、判定の結果、第1キーユニット3a及び第2キーユニット3b以外へのタッチを検出しない場合(ステップS109,No)、上記ステップS101の処理手順に戻る。
ここで、物理キーに対応する操作としては、物理キーに紐付けられたグループが、フォルダ等の複数のファイル、フォルダが紐付けられたグループである場合、グループに紐付けられたグループを他方のキー領域に表示させる処理がある。また、物理キーに対応する操作としては、物理キーに紐付けられたグループが、ファイル等のデータや、アプリケーションソフトの場合、当該データを表示またはアプリケーションを実行する処理がある。
上記の実施形態によれば、電子機器1は、列状に配置された複数のキーのそれぞれにグループを割り当てることで、グループがどこに割り当てられているかを認識しやすくなり操作性を高くすることができる。また、グループを階層で対応付け、グループが選択された場合、選択されたグループに紐付けられたグループを他のキーユニットのそれぞれに紐付けることで、所望のグループを選択しやすくすることができる。また、2つのキーユニットで交互にグループを紐付けることで、簡単な操作ができ、従来の入力を操作性の面で改善できる。
電子機器1は、グループを割り当てる物理キーを含む第1キーユニット3a、第2キーユニット3bを、タッチスクリーンディスプレイ2の辺に沿って設ける。なお、電子機器1は、物理キーを筐体1hの縁、筐体1hとタッチスクリーンディスプレイ2との境界、及びタッチスクリーンディスプレイ2の辺に沿って設けてもよい。これにより、利用者は、筐体1hの縁、筐体1hとタッチスクリーンディスプレイ2との境界、及びタッチスクリーンディスプレイ2の辺に沿って指等を動かすことで、物理キーを選択、操作することができ、簡単な操作で物理キーに対する操作を実行することができる。
図12及び図13は、電子機器が備える複数の物理キーの他の配置例を示す図である。電子機器1は、複数の物理キーをいくつかのグループに分けて配置してもよい。図12に示す例では、電子機器1は、物理キー3a3と物理キー3a4と間に空間50aを設けるとともに、物理キー3a6と物理キー3a7との間に空間50bを設ける。さらに、電子機器1は、物理キー3b3と物理キー3b4との間に空間50cを設けるとともに、物理キー3b6と物理キー3b7との間に空間50dを設ける。これにより、電子機器1は、第1キーユニット3aが備える複数の物理キー3a1〜3a10を、物理キー3a1〜3a3のグループと、物理キー3a4〜3a6のグループと、物理キー3a7〜3a10とに分けて配置するとともに、第2キーユニット3bが備える複数の物理キー3b1〜3b10を、物理キー3b1〜3b3のグループと、物理キー3b4〜3b6のグループと、物理キー3b7〜3b10とに分けて配置する。
図13に示す例では、電子機器1は、物理キー3a3と物理キー3a4との間に間仕切り60aを設けるとともに、物理キー3a6と物理キー3a7との間に間仕切り60bを設ける。さらに、電子機器1は、物理キー3b3と物理キー3b4との間に間仕切り60cを設けるとともに、物理キー3b6と物理キー3b7との間に間仕切り60dを設ける。これにより、電子機器1は、第1キーユニット3aが備える複数の物理キー3a1〜物理キー3a10を、物理キー3a1〜物理キー3a3のグループと、物理キー3a4〜物理キー3a6のグループと、物理キー3a7〜物理キー3a10のグループとに分けて配置するとともに、第2キーユニット3bが備える複数の物理キー3b1〜物理キー3b10を、物理キー3b1〜物理キー3b3のグループと、物理キー3b4〜物理キー3b6のグループと、物理キー3b7〜物理キー3b10のグループとに分けて配置する。
図14及び図15は、実施形態に係る電子機器が備える物理キーの操作面に関する他の構造例を示す図である。電子機器1が備える複数の物理キーの中から物理キー3a1の操作面を例示する。図14に示す例では、電子機器1は、例えば、物理キー3a1の操作面(利用者が触れて操作する面)に点字パターンを表出させる6つの突起部70a〜70fを備える。突起部70a〜70fは、アクチュエーター等により表面に突出させること、及び内部に収納させることが可能な状態で設置される。物理キー3a1は、点字を読み取る場合の一般的な横方向の指の動きに合わせて、図14に示す例から90度回転した状態で設置させてもよい。
図15に示す例では、電子機器1は、物理キー3a1の操作面を2つの領域80a及び領域80bに分けるように、物理キー3a1の長手方向に平行な線状の間仕切り90を物理キー3a1の操作面に設ける。図15に示す物理キー3a1では、電子機器1は、物理キー3a1の操作面の2つの領域80a及び領域80bのうち、どちらの領域にタッチが検出されたかによって、処理内容を変更することができる。
図16を用いて、電子機器1の機能構成の他の例を説明する。図16は、実施形態に係る電子機器の機能構成の他の例を示す図である。上記の実施形態では、電子機器1は、物理キーユニット3を内部に備える例を説明した(図1参照)が、物理キーユニット3を外付け可能な個別のユニットとして構成することもできる。図16に示すように、電子機器1は、通信ユニット6を介して、外付け物理キーユニット100と通信可能な状態で接続する。外付け物理キーユニット100は、例えば、通信ユニット101、メモリ102、物理キーユニット103、及びマイコン104を備える。物理キーユニット103は、第1キーユニット103a、第2キーユニット103b、第3キーユニット103c、及びタッチスクリーン103dを有する。電子機器1は、通信ユニット6を介して、外付け物理キーユニット100に対する利用者の操作の情報を受信し、上記の実施形態と同様の処理を実行できる。
図17〜図24は、実施形態に係る電子機器の他の構造例を示す図である。図17及び図18に示すように、電子機器1は、筐体1hの側面に、複数の物理キー3a1〜3a3を配置した構造であってもよい。
また、図19に示すように、電子機器1は、利用者の操作面に複数の物理キーのみを配置した構造であってもよい。また、図20に示すように、電子機器1は、利用者の操作面にタッチスクリーン2B及び複数の物理キーのみを配置した構造であってもよい。また、図21に示すように、電子機器1は、利用者の操作面に複数の物理キー及びテンキー200のみを配置した構造であってもよい。また、図22及び図23に示すように、電子機器1は、略円形状の形態をなし、内部にタッチスクリーンディスプレイ2を配置するとともに、構造体の外周部に物理キーを配置した構造体であってもよい。また、図24に示すように、電子機器1は、略円柱状の形態をなし、上面にタッチスクリーンディスプレイ2を配置し、側面に複数の物理キーを配置した構造体であってもよい。
次に、電子機器1が実行する入力処理の他の一例について説明する。また、本実施形態の電子機器1は、第2キーユニットとして、複数のソフトウェアキー(仮想キー、ソフトキー)を用いる。図25は、実施形態に係る電子機器の機能構成の一例を示すブロック図である。図26は、実施形態に係るキーユニットの配置例を示す図である。図25及び図26に示す電子機器1は、物理キーユニット3として、第1キーユニット3a、第3キーユニット3cのみが配置されている点を除いて他の構成は、図1及び図2に示す電子機器1と同様である。図25及び図26に示す電子機器1の物理キーユニット3の第1キーユニット3aは、図1及び図2に示す電子機器1の第1キーユニット3aとは異なる位置、具体的には、図1及び図2に示す電子機器1の第2キーユニット3bが配置される位置に配置されている。
ここで、本実施形態では、グループとして、文字が対応付けられている場合として説明する。この場合、第1キーデータ9C、第2キーデータ9Dには、複数の文字を含むグループ、または1つの文字のグループが対応付けられている。図27は、実施形態に係る第1キーデータの一例を示す図である。図28は、実施形態に係る第2キーデータの一例を示す図である。第1キーデータ9Cは、第1キーユニット3aを構成する複数の物理キーのそれぞれに予め割り当てられるキーの情報である。図27は、実施形態に係る第1キーデータの一例を示す図である。図27に示すように、第1キーデータ9Cには、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10のそれぞれに対して、「あ」、「か」、「さ」、「た」、「な」、「は」、「ま」、「や」、「ら」、「わ」の文字を割り当てることが設定されている。第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10のそれぞれに対して割り当てられる「あ」、「か」、「さ」、「た」、「な」、「は」、「ま」、「や」、「ら」、「わ」の文字は、あ行、か行、さ行、た行、な行、は行、ま行、や行、ら行、わ行の各行を意味する。第1キーデータ9Cは、後述する文字入力処理において、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10のそれぞれに対応する出力を実行する際に利用される。
第2キーデータ9Dは、第2キーユニット3bを構成する複数の物理キーのそれぞれに予め割り当てられるキーの情報である。図28は、実施形態に係る第2キーデータの一例を示す図である。図28に示すように、第2キーデータ9Dは、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10のうち、操作が検出された物理キーごとに、第2キーユニット2aを構成するソフトウェアキー2a1、・・・、ソフトウェアキー2a5に対する文字の割り当てを複数有する。例えば、第1キーユニット3aを構成する物理キー3a1に対する操作が検出された場合(3a1=あ)には、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに対して、「あ」、「い」、「う」、「え」、「お」の文字を割り当てることが設定されている。例えば、第1キーユニット3aを構成する物理キー3a2に対する操作が検出された場合(3a2=か)には、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに対して、「か」、「き」、「く」、「け」、「こ」の文字を割り当てることが設定されている。例えば、第1キーユニット3aを構成する物理キー3a3に対する操作が検出された場合(3a3=さ)には、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに対して、「さ」、「し」、「す」、「せ」、「そ」の文字を割り当てることが設定されている。例えば、第1キーユニット3aを構成する物理キー3a4に対する操作が検出された場合(3a4=た)には、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに対して、「た」、「ち」、「つ」、「て」、「と」の文字を割り当てることが設定されている。例えば、第1キーユニット3aを構成する物理キー3a5に対する操作が検出された場合(3a5=な)には、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに対して、「な」、「に」、「ぬ」、「ね」、「の」の文字を割り当てることが設定されている。例えば、第1キーユニット3aを構成する物理キー3a6に対する操作が検出された場合(3a6=は)には、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに対して、「は」、「ひ」、「ふ」、「へ」、「ほ」の文字を割り当てることが設定されている。例えば、第1キーユニット3aを構成する物理キー3a7に対する操作が検出された場合(3a7=ま)には、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに対して、「ま」、「み」、「む」、「め」、「も」の文字を割り当てることが設定されている。例えば、第1キーユニット3aを構成する物理キー3a8に対する操作が検出された場合(3a8=や)には、ソフトウェアキー2a1、ソフトウェアキー2a3、ソフトウェアキー2a5のそれぞれに対して、「や」、「ゆ」、「よ」の文字を割り当てることが設定されている。例えば、第1キーユニット3aを構成する物理キー3a9に対する操作が検出された場合(3a9=ら)には、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに対して、「ら」、「り」、「る」、「れ」、「ろ」の文字を割り当てることが設定されている。例えば、第1キーユニット3aを構成する物理キー3a10に対する操作が検出された場合(3a10=わ)には、ソフトウェアキー2a1、ソフトウェアキー2a3、ソフトウェアキー2a5のそれぞれに対して、「わ」、「を」、「ん」の文字を割り当てることが設定されている。第2キーデータ9Dは、後述する文字入力処理において、第2キーユニット2aを構成するソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに対応する出力を実行する際に利用される。図28に示す例では、第2キーデータ9Dにおいて、第2キーユニット2aを構成するソフトウェアキー2a6、・・・、ソフトウェアキー2a10に対して割り当てが存在しないが、上記以外の文字の他、改行、削除、変換などの編集機能を設定してもよい。なお、物理キー3c1、・・・、物理キー3c3に対して、電子機器1の動作を制御するための機能が対応付けられていてよい。
図29及び図30は、実施形態に係る入力処理の実行画面の一例を示す図である。電子機器1は、第2キーユニット2aに含まれるソフトウェアキー2a1、・・・、ソフトウェアキー2a5をタッチスクリーンディスプレイ2の各領域に対応付けている。ここで、第2キーユニット2aは、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5をタッチスクリーンディスプレイ2の辺に沿って並べて配置している。図29に示す例では、第2キーユニット2aは、ソフトウェアキー2a1、・・・、2a5をY軸方向に並べて配置している。つまり、第2キーユニット2aは、第1キーユニット3aと同じ方向に並んでいる。ソフトウェアキー2a1は、キーが並んでいる方向であるY軸方向において、y0≦y≦y1の領域が割り当てられている。ここで、yは、各ソフトウェアキーのY軸方向の領域を示す値である。y0、y1は、Y軸方向の座標である。後述するy2、y3、y4、y5も同様にY軸方向の座標である。ここで、座標y0、y1、y2、y3、y4、y5は、y0<y1<y2<y3<y4<y5の関係となる。座標y0は、タッチスクリーンディスプレイ2のY軸方向の一方の端部である。座標y5は、タッチスクリーンディスプレイ2のY軸方向の他方の端部である。ソフトウェアキー2a2は、y1≦y≦y2の領域が割り当てられている。ソフトウェアキー2a3は、y2≦y≦y3の領域が割り当てられている。ソフトウェアキー2a4は、y3≦y≦y4の領域が割り当てられている。ソフトウェアキー2a5は、y4≦y≦y5の領域が割り当てられている。ソフトウェアキー2a1、・・・、ソフトウェアキー2a5は、Y軸に直交するX軸方向において、タッチスクリーンディスプレイ2の端から端まで配置されている。つまり、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5は、タッチスクリーンディスプレイ2の2辺に沿って配置されている。
図30に示す例では、第2キーユニット2aは、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5をX軸方向に並べて配置している。つまり、第2キーユニット2aは、第1キーユニット3aの物理キーが並んでいる方向と直交する方向に並んでいる。ソフトウェアキー2a5は、他のソフトウェアキー2a1、・・・、ソフトウェアキー2a4よりも並んでいる方向の幅が長い。ソフトウェアキー2a1、・・・、ソフトウェアキー2a5は、第1キーユニット3aの物理キー3a1、・・・、ソフトウェアキー3a5が並んでいる方向において、タッチスクリーンディスプレイ2の端から端まで配置されている。つまり、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5は、タッチスクリーンディスプレイ2の2辺に沿って配置されている。また、図30に示すように、各ソフトウェアキーの幅は異なっていてもよい。
図31を用いて、入力処理における画面遷移の一例を説明する。図31は、実施形態に係る入力処理に伴う画面遷移を説明するための概要図である。図31に示すように、電子機器1は、入力処理の実行画面20をディスプレイ2Aに表示する(ステップS52)。ディスプレイには、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5の各領域に空欄のキーが表示される。続いて、電子機器1は、物理キー3a3に対するタッチを検出すると、物理キー3a3に対応する出力を実行する(ステップS54)。具体的には、電子機器1は、物理キー3a3に割り当てられている文字「さ」の読み上げ音声をスピーカ11から出力する。
続いて、電子機器1は、物理キー3a3が押下されると、物理キー3a3に対応する出力を実行する(ステップS56)。具体的には、電子機器1は、物理キー3a3に対応付けられているソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5に予め紐付けられている少なくとも1つの文字を割り当てる。例えば、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに対して、「さ」、「し」、「す」、「せ」、「そ」の文字を割り当て、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに、「さ」、「し」、「す」、「せ」、「そ」の文字の画像を表示させる。
続いて、電子機器1は、ソフトウェアキー2a3に対するタッチを検出すると、ソフトウェアキー2a3に対応する出力を実行する(ステップS58)。具体的には、電子機器1は、ソフトウェアキー2a3に割り当てられている文字「す」の読み上げ音声をスピーカ11から出力する。
続いて、電子機器1は、ソフトウェアキー2a3が押下されると、ソフトウェアキー2a3に対応する出力を実行する(ステップS60)。具体的には、電子機器1は、ソフトウェアキー2a3に割り当てられている文字「す」の入力を確定し、文字入力欄40に表示させる。ここで、電子機器1は、ロングタップ、ダブルタップ等をソフトウェアキー2a3に対する押下として検出する。入力を確定する操作、つまり、ステップS60でソフトウェアキー2a3に対応する出力を実行する操作は、ソフトウェアキーの押下に限定されない。例えば、物理キーの押下を入力の決定操作としてもよい。
図32を用いて、実施形態に係る電子機器により実行される処理の流れを説明する。図32は、実施形態に係る電子機器により実行される処理の流れの一例を示すフローチャートである。図32に示す処理は、コントローラ10が、入力制御プログラム9Bを実行することにより実現される。図32の説明において、物理キー3amは、第1キーユニット3aを構成する物理キー3a1、・・・、物理キー3a10に対応する。図32の説明において、ソフトウェアキー2anは、第2キーユニット2aを構成するソフトウェアキー2a1、・・・、ソフトウェアキー2a5に対応する。
図32に示すように、コントローラ10は、第1キーユニット3aのいずれかの物理キー3amへのタッチを検出したかを判定する(ステップS201)。
コントローラ10は、判定の結果、物理キー3amへのタッチを検出した場合(ステップS201,Yes)、タッチを検出した物理キー3amに対応する出力を実行する(ステップS202)。
続いて、コントローラ10は、物理キー3amの押下を検出したかを判定する(ステップS203)。
コントローラ10は、判定の結果、物理キー3amの押下を検出した場合(ステップS203,Yes)、押下を検出した物理キー3amに対応する出力を実行し(ステップS204)、上記ステップS201の処理手順に戻る。
上記ステップS203において、コントローラ10は、判定の結果、物理キー3amの押下を検出しない場合(ステップS203,No)、上記ステップS201の処理手順に戻る。
上記ステップS201において、コントローラ10は、判定の結果、物理キー3amへのタッチを検出しない場合(ステップS201,No)、第2キーユニット2aのいずれかのソフトウェアキー2anへのタッチを検出したかを判定する(ステップS205)。
コントローラ10は、判定の結果、ソフトウェアキー2anへのタッチを検出した場合(ステップS205,Yes)、タッチを検出したソフトウェアキー2anに対応する出力を実行する(ステップS206)。
続いて、コントローラ10は、ソフトウェアキー2anの押下を検出したかを判定する(ステップS207)。ここで、ソフトウェアキー2anの押下としては、ロングタップ、ダブルタップが例示されている。押下は、タッチと異なる操作として検出できる操作であればよい。
コントローラ10は、判定の結果、ソフトウェアキー2anの押下を検出した場合(ステップS207,Yes)、押下を検出したソフトウェアキー2anに対応する出力を実行し(ステップS208)、上記ステップS201の処理手順に戻る。
上記ステップS207において、コントローラ10は、判定の結果、ソフトウェアキー2anの押下を検出しない場合(ステップS207,No)、上記ステップS201の処理手順に戻る。
上記ステップS205において、コントローラ10は、判定の結果、ソフトウェアキー2anへのタッチを検出しない場合(ステップS205,No)、第1キーユニット3a及び第2キーユニット2a以外へのタッチを検出したかを判定する(ステップS209)。
コントローラ10は、判定の結果、第1キーユニット3a及び第2キーユニット2a以外へのタッチを検出した場合(ステップS209,Yes)、図32に示す処理を終了する。これとは反対に、コントローラ10は、判定の結果、第1キーユニット3a及び第2キーユニット3b以外へのタッチを検出しない場合(ステップS209,No)、上記ステップS201の処理手順に戻る。
なお、本実施形態で文字入力の例として説明したが、上述の階層で対応付けたフォルダとデータの組み合わせの場合も同様である。上記の実施形態によれば、電子機器1は、列状に配置された複数の物理キーとソフトウェアキーのそれぞれにグループを割り当てることで、グループがどこに割り当てられているかを認識しやすくなり操作性を高くすることができる。また、グループを階層で対応付け、グループが選択された場合、選択されたグループに紐付けられたグループを他のキーユニットのそれぞれに紐付けることで、所望のグループを選択しやすくすることができる。また、2つのキーユニットで交互にグループを紐付けることで、簡単な操作ができ、従来の入力を操作性の面で改善できる。
電子機器1は、グループを割り当てるソフトウェアキーを、タッチスクリーンディスプレイ2の辺に沿って設ける。なお、電子機器1は、ソフトウェアキーを筐体1hの縁、筐体1hとタッチスクリーンディスプレイ2との境界、及びタッチスクリーンディスプレイ2の辺に沿って設けてもよい。これにより、利用者は、筐体1hの縁、筐体1hとタッチスクリーンディスプレイ2との境界、及びタッチスクリーンディスプレイ2の辺に沿って指等を動かすことで、ソフトウェアキーを選択、操作することができ、簡単な操作でキーに対する操作を実行することができる。
図33は、実施形態に係る入力処理の実行画面の一例を示す図である。図33は、操作対象を文字の変換処理とした場合の例である。図33に示すように、電子機器1は、入力処理の実行画面をディスプレイ2Aに表示する(ステップS62)。画面には、文字入力欄40と、予測変換候補ユニット42が表示される。予測変換候補ユニット42は、複数の領域44を有する。領域44は、1つの文字、本実施形態では「さ」のキーに紐付けられた各グループの文字である。予測変換候補ユニット42は、領域44に第2キーユニットの「さ」に紐付けられており、第1キーユニット3aの各物理キーに対応付けられている文字を表示する。第1キーユニット3aの各物理キーには、「候補の移動を示す矢印」、「差」、「査」、「サ」、「鎖」、「サ(半角)」、「さ」、「嵯」、「早」、「候補の移動を示す矢印」が割り当てられている。予測変換候補ユニット42は、各キーに対応する文字を領域44のそれぞれに表示する。第1キーユニット3aの端部の物理キーには、候補をスクロールする操作が対応付けられた「候補の移動を示す矢印」が割り当てられている。
続いて、電子機器1は、物理キー3a1に対するタッチ、押下を検出すると、物理キー3a1に対応する出力を実行する(ステップS64)。具体的には、電子機器1は、物理キー3a1に割り当てられている候補を移動する処理を実行する。これにより、物理キー3a3に割り当てられる文字が変化する。予測変換候補ユニット42は、各キーに「候補の移動を示す矢印」、「些」、「娑」、「唆」、「嵯」、「紗」、「沙」、「娑」、「茶」、「候補の移動を示す矢印」が割り当てられる。
続いて、電子機器1は、物理キー3a2に対するタッチを検出すると、物理キー3a2に対応する出力を実行する(ステップS66)。具体的には、選択された文字を読み上げる。本実施形態の場合は、漢字を特定するために「おちゃのさ」という音声を出力する。続いて電子機器1は、物理キー3a2に対する押下を検出すると、物理キー3a2に対応する出力を実行する(ステップS68)。具体的には、物理キー3a2に対応する「茶」を入力文字として決定し、文字入力欄40に入力文字として「茶」を表示する。
このように、電子機器1は、グループとして、文字入力の変換候補を対応付けてもよい。なお、上記実施形態では、物理キーに対応付けたが、ソフトウェアキーに対応付けてもよい。
図34は、実施形態に係る入力処理の実行画面の一例を示す図である。図34は、操作対象を文字の変換処理とした場合の例である。図34に示すように、電子機器1は、入力処理の実行画面20をディスプレイ2Aに表示する。続いて、電子機器1は、物理キー3b3に対するタッチを検出すると、物理キー3b3に対応する出力を実行する(ステップS72)。具体的には、電子機器1は、物理キー3b3に割り当てられている文字「さ」の読み上げ音声をスピーカ11から出力する。
続いて、電子機器1は、物理キー3b3が押下されると、物理キー3b3に対応する出力を実行する(ステップS74)。具体的には、電子機器1は、物理キー3a3に対応付けられているソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5に予め紐付けられている少なくとも1つの文字を割り当てる。例えば、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに対して、「さ」、「し」、「す」、「せ」、「そ」の文字を割り当て、ソフトウェアキー2a1、・・・、ソフトウェアキー2a5のそれぞれに、「さ」、「し」、「す」、「せ」、「そ」の文字の画像を表示させる。
続いて、電子機器1は、ソフトウェアキー2a3に対するタッチを検出すると、ソフトウェアキー2a3に対応する出力を実行する(ステップS76)。具体的には、電子機器1は、ソフトウェアキー2a3に割り当てられている文字「す」の読み上げ音声をスピーカ11から出力する。
続いて、電子機器1は、ソフトウェアキー2a3が押下されると、ソフトウェアキー2a3に対応する出力を実行する(ステップS78)。具体的には、電子機器1は、ソフトウェアキー2a3に割り当てられている文字「す」を入力候補として、文字入力欄40に表示させる。ここで、電子機器1は、ロングタップ、ダブルタップ等をソフトウェアキー2a3に対する押下として検出する。
電子機器1は、ソフトウェアキーのそれぞれの文字に対応する変換候補を、第1キーユニット3aの各物理キーに紐づけている。電子機器1は、1つの文字、本実施形態では「す」のキーに紐付けられた各グループの文字を、予測変換候補ユニット42の複数の領域48に表示する(ステップS80)。ここで、変換候補は、1つの文字(ひらがな、カタカナ、漢字)に限定されず単語、文章でもよい。第1キーユニット3aの各物理キーには、「候補の移動を示す矢印」、「す」、「ス」、「素」、「巣」、「すぐに」、「すごい」、「素晴らしい」、「隙」、「候補の移動を示す矢印」が割り当てられている。予測変換候補ユニットは、各キーに対応する文字を領域48のそれぞれに表示する。第1キーユニット3aの端部の物理キーには、候補をスクロールする操作が対応付けられた「候補の移動を示す矢印」が割り当てられている。
続いて、電子機器1は、物理キー3a8に対するタッチを検出すると、物理キー3a8に対応する処理を実行する(ステップS82)。具体的には、選択されたグループを読み上げる。本実施形態の場合は、「すばらしい、すは、素直のす、ばは、天気の晴れ」という音声を出力する。続いて電子機器1は、物理キー3a8に対する押下を検出すると、物理キー3a8に対応する出力を実行する(ステップS84)。具体的には、物理キー3a8に対応する「素晴らしい」を入力文字として決定し、文字入力欄40に入力文字として「素晴らしい」を表示する。
このように、電子機器1は、グループとして、文字入力の変換候補を対応付けてもよい。また、変換候補は、単語でもよい。なお、上記実施形態では、第1キーユニット、第2キーユニットの組み合わせは、限定されず、物理キーと物理キーでもよいし、物理キーとソフトウェアキーの組み合わせでもよい。第1キーユニット、第2キーユニットは、入力が行われるキーによって切り換わってもよい。
本明細書では、添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。