JP2015125616A - 表示制御装置、表示制御方法およびプログラム - Google Patents

表示制御装置、表示制御方法およびプログラム Download PDF

Info

Publication number
JP2015125616A
JP2015125616A JP2013270049A JP2013270049A JP2015125616A JP 2015125616 A JP2015125616 A JP 2015125616A JP 2013270049 A JP2013270049 A JP 2013270049A JP 2013270049 A JP2013270049 A JP 2013270049A JP 2015125616 A JP2015125616 A JP 2015125616A
Authority
JP
Japan
Prior art keywords
display control
display
unit
symbols
pointing position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013270049A
Other languages
English (en)
Inventor
高橋 慧
Kei Takahashi
高橋  慧
真一 河野
Shinichi Kono
真一 河野
山野 郁男
Ikuo Yamano
郁男 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013270049A priority Critical patent/JP2015125616A/ja
Priority to US14/570,172 priority patent/US9958940B2/en
Publication of JP2015125616A publication Critical patent/JP2015125616A/ja
Priority to US15/919,423 priority patent/US10409369B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

【課題】ポインティング位置に応じたシンボルに関する情報をより確実にユーザに認識させることが可能な技術を提供する。【解決手段】複数のシンボルがユーザに視認可能に表示されるように表示部を制御する表示制御部と、前記複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報を取得する位置取得部と、を備え、前記表示制御部は、前記ポインティング位置に応じて複数の前記シンボルが属するグループを示す所定のオブジェクトが表示されるように前記表示部を制御する、表示制御装置が提供される。【選択図】図1

Description

本開示は、表示制御装置、表示制御方法およびプログラムに関する。
近年、ユーザによるポインティング位置のシンボルをユーザに認識させるための技術が開示されている。例えば、ポインティング位置のシンボルに対してオブジェクトを表示させることによって、ポインティング位置のシンボルをユーザに認識させる技術が開示されている(例えば、特許文献1参照)。
特開2011−191811号公報
しかしながら、ポインティング位置のシンボルにオブジェクトが表示されたとしても、ポインティング位置に応じたシンボルに関する情報をユーザが認識できない状況が起こり得る。そこで、ポインティング位置に応じたシンボルに関する情報をより確実にユーザに認識させることが可能な技術が提供されることが望ましい。
本開示によれば、複数のシンボルがユーザに視認可能に表示されるように表示部を制御する表示制御部と、前記複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報を取得する位置取得部と、を備え、前記表示制御部は、前記ポインティング位置に応じて複数の前記シンボルが属するグループを示す所定のオブジェクトが表示されるように前記表示部を制御する、表示制御装置が提供される。
本開示によれば、複数のシンボルがユーザに視認可能に表示されるように表示部を制御することと、前記複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報を取得することと、を含み、プロセッサにより前記ポインティング位置に応じて複数の前記シンボルが属するグループを示す所定のオブジェクトが表示されるように前記表示部を制御すること、を含む、表示制御方法が提供される。
本開示によれば、コンピュータを、複数のシンボルがユーザに視認可能に表示されるように表示部を制御する表示制御部と、前記複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報を取得する位置取得部と、を備え、前記表示制御部は、前記ポインティング位置に応じて複数の前記シンボルが属するグループを示す所定のオブジェクトが表示されるように前記表示部を制御する、表示制御装置として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、ポインティング位置に応じたシンボルに関する情報をより確実にユーザに認識させることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る表示制御装置の外観例を示す図である。 表示制御装置の機能構成例を示す図である。 ポインティング位置に応じたオブジェクト表示の第1の例を示す図である。 ポインティング位置に応じたオブジェクト表示の第2の例を示す図である。 シンボルに対してハイライト表示を付する例を示す図である。 シンボルに対してハイライト表示を付する例に係る表示制御装置の動作の流れを示すフローチャートである。 同一グループに属する複数のシンボルそれぞれに基づく抽出結果が抽出された場合にグループ間の境界を変更する例を示す図である。 同一グループに属する複数のシンボルそれぞれに基づく抽出結果が抽出された場合にグループ間の境界を変更する例に係る表示制御装置の動作の流れを示すフローチャートである。 表示部が縦長の場合に表示される画面例を示す図である。 表示部が横長の場合に表示される画面例を示す図である。 表示部の向きに応じてグループ間の境界を変更する例に係る表示制御装置の動作の流れを示すフローチャートである。 各シンボルの優先度の算出例を説明するための図である。 各シンボルの優先度を考慮する例に係る表示制御装置の動作の流れを示すフローチャートである。 表示制御装置のハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
1.表示制御装置の概要
2.表示制御装置の機能構成例
3.表示制御装置の機能詳細
4.表示制御装置のハードウェア構成例
5.むすび
<1.表示制御装置の概要>
まず、本開示の実施形態に係る表示制御装置10の概要について説明する。図1は、本開示の実施形態に係る表示制御装置10の外観例を示す図である。図1を参照すると、表示制御装置10は、入力部120および表示部160を備えている。入力部120は、後にも説明するようにユーザによる操作を検出して制御部110に出力する。また、表示部160は、選択結果画面161、選択候補画面162およびシンボル入力画面163を表示している。
シンボル入力画面163は、複数のシンボルが表示される画面である。図1には、複数のシンボルが表示される画面の例として複数のアルファベットが表示されるキーボードが示されており、シンボルの例としてアルファベットが示されている。しかし、シンボルはアルファベットに限定されない。例えば、シンボルは、アルファベット以外の文字(例えば、漢字、平仮名、片仮名、数字など)であってもよいし、記号(例えば、括弧など)であってもよい。
選択候補画面162は、選択候補が表示される画面である。ここで、選択候補は、シンボル入力画面163に対するユーザによるポインティング位置に応じた記録データからの抽出結果であってよい。記録データは、どのようなデータであってもよい。例えば、記録データは、ユーザによって過去に選択されたデータ(以下、「ユーザの選択履歴」とも言う。)であってもよいし、あらかじめ記録されている辞書データなどであってもよい。なお、図1に示した例では、選択候補画面162が3つ存在するが、選択候補画面162の数は特に限定されない。
選択結果画面161は、選択候補から選択された結果が選択結果として表示される画面である。図1には、ユーザによってポインティングが4回行われたときにポインティング位置に最も近いシンボル「e」「a」「r」「f」が結合された「earf」が選択結果画面161に表示されている例が示されている。選択結果画面161には、選択候補から選択された結果が選択結果として表示され得る。選択結果画面161に選択結果が追加されていくことによってユーザは文章の編集を行うことが可能である。
なお、図1には、表示制御装置10がリストバンド型の表示装置によって構成される例が示されているが、表示制御装置10はHMD(Head Mount Display)などといったリストバンド型の表示装置以外のウェアラブル表示デバイスなどにより実現されてもよい。また、表示制御装置10は、スマートフォン、ビデオカメラ、デジタルカメラ、PDA(Personal Digital Assistants)、PC(Personal Computer)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などに適用されてもよい。
ここで、例えば、ユーザによるポインティング位置のシンボルをユーザに認識させるために、シンボル入力画面163に表示されている複数のシンボルのうちポインティング位置のシンボルに対してオブジェクトを表示させることが想定される。しかしながら、ポインティング位置のシンボルにオブジェクトが表示されたとしても、ポインティング位置に応じたシンボルに関する情報をユーザが認識できない状況が起こり得る。
例えば、リストバンド型の表示装置などのように表示部160が小さい場合には、ポインティング位置のシンボルに表示されたオブジェクトがユーザの指に隠れてしまうという状況が生じ易い。かかる状況が生じた場合、ポインティング位置に応じたシンボルに関する情報をユーザが認識できない状況が起こり得る。そこで、本明細書においては、ポインティング位置に応じたシンボルに関する情報をより確実にユーザに認識させることが可能な技術を提案する。
以上、本開示の実施形態に係る表示制御装置10の概要について説明した。
<2.表示制御装置の機能構成例>
続いて、本開示の実施形態に係る表示制御装置10の機能構成例について説明する。図2は、本開示の実施形態に係る表示制御装置10の機能構成例を示す図である。図2に示すように、表示制御装置10は、制御部110、入力部120、センサ部130、記憶部140、通信部150および表示部160を備える。
制御部110は、記憶部140または他の記憶媒体に記憶されるプログラムを実行することにより制御部110が有する様々な機能を発揮する。図2に示すように、制御部110は、位置取得部111および表示制御部112などの各機能ブロックを有する。これら各機能ブロックが有する機能の詳細については後に説明する。
なお、制御部110は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)SoC(System on Chip)などのプロセッサにより構成されてよい。また、制御部110は、各種の演算処理を実行するための電子回路により構成されてよい。
入力部120は、ユーザによる操作を検出して制御部110に出力する。例えば、入力部120がタッチパネルにより構成される場合には、ユーザによる操作はタッチパネルをタップする操作に相当し得る。タッチパネルは、操作体の接触を検出してもよいし、操作体の近接を検出してもよい。しかし、入力部120はタッチパネル以外のハードウェアにより構成されていてもよい。例えば、入力部120が撮像装置により構成され、撮像装置により撮像された画像からユーザの視線が検出される場合には、ユーザによる操作は視線を当てる操作に相当する。なお、図2に示した例では、入力部120は表示制御装置10と一体化されているが、入力部120は、表示制御装置10と別体に構成されていてもよい。
センサ部130は、センサデータを取得する。例えば、センサ部130は、3軸加速度センサを含む。3軸加速度センサは、表示部160に加わる重力加速度を測定し、重力加速度の大きさおよび方向を3次元的に表すセンサデータ(加速度データ)を生成する。また、センサ部130は、地磁気センサを含んでもよい。地磁気センサは、表示部160の座標系における地磁気の方向を表すセンサデータ(地磁気データ)を生成する。また、センサ部130は、ジャイロセンサを含んでもよい。ジャイロセンサは、表示部160の角速度を測定する。なお、図2に示した例では、センサ部130は表示制御装置10と一体化されているが、センサ部130は、表示制御装置10と別体に構成されていてもよい。
記憶部140は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部110を動作させるためのプログラムを記憶する。また、例えば、記憶部140は、プログラムによって使用される各種のデータを記憶することもできる。なお、図2に示した例では、記憶部140は表示制御装置10と一体化されているが、記憶部140は表示制御装置10と別体に構成されていてもよい。
通信部150は、他の装置(例えば、他の表示制御装置10など)と通信を行うことが可能である。通信部150は、例えば、他の表示制御装置10との間で通信を行う場合には、ネットワークを介して通信を行うことが可能である。通信部150による通信の形式は特に限定されず、通信部150による通信は、無線による通信であってもよいし、有線による通信であってもよい。なお、図2に示した例では、通信部150は表示制御装置10と一体化されているが、通信部150は、表示制御装置10と別体に構成されていてもよい。
表示部160は、制御部110による制御に従って、各種情報の表示を行う。表示部160は、LCD(Liquid Crystal Display)により実現されてもよいし、有機EL(Electro−luminescence)ディスプレイにより実現されてもよいし、プロジェクタにより実現されてもよいし、ホログラムディスプレイにより実現されてもよい。なお、図2に示した例では、表示部160は表示制御装置10と一体化されているが、表示部160は表示制御装置10と別体に構成されていてもよい。例えば、表示制御装置10と有線または無線で接続される表示装置が表示部160として扱われてもよい。
以上、本開示の実施形態に係る表示制御装置10の機能構成例について説明した。
<3.表示制御装置の機能詳細>
続いて、本開示の実施形態に係る表示制御装置10の機能詳細について説明する。まず、表示制御装置10において表示制御部112は、複数のシンボルがユーザに視認可能に表示されるように表示部160を制御する。具体的には、表示制御部112は、表示部160に画面を表示させるための表示制御情報を生成し、生成した表示制御情報を表示部160に出力することで、当該画面が表示部160に表示されるように表示部160を制御することが可能である。続いて、入力部120は、複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報の入力をユーザから受け付ける。位置取得部111は、入力部120からポインティング位置を示す情報を取得する。
ここで、ポインティング位置は、どのようにして決定されてもよい。例えば、ポインティング位置は、視線の検出結果およびタッチパネルによる検出結果のうち少なくとも何れか1つに基づいて決定されてよい。具体的には、入力部120が撮像装置を含む場合、位置取得部111は、撮像装置によって撮像された画像を取得し、取得した画像からユーザの視線を検出し、検出された視線上の位置をポインティング位置として決定してよい。また、入力部120がタッチパネルを含む場合、位置取得部111は、タッチパネルによって検出された検出位置をポインティング位置として決定してよい。
続いて、表示制御部112は、ポインティング位置に応じて複数のシンボルが属するグループを示す所定のオブジェクトが表示されるように表示部160を制御する。かかる構成によれば、シンボルよりもグループのほうが大きいため、ポインティング位置に応じたシンボルに関する情報をより確実にユーザに認識させることが可能となる。また、所望のシンボルに対して正確にポインティングしなくてはいけないという圧迫感をユーザに与えてしまう可能性を低減することができ、より快適にユーザにポインティングを行わせることが可能になる。
さらに、シンボル間で誤ったポインティングがなされる可能性よりもグループ間で誤ったポインティングがなされる可能性のほうが小さいため、誤ったポインティングがなされる可能性を低減することが可能となる。具体的な例について、図3を参照しながら説明する。図3は、ポインティング位置に応じたオブジェクト表示の第1の例を示す図である。図3を参照すると、シンボル入力画面163−1には、複数のシンボルが表示されている。
また、図3を参照すると、このようにして表示された複数のシンボルが3つのグループ(グループG1〜G3)に分割されている。図3に示した例では、グループの数が3つであるが、各グループに属するシンボルが複数となるような分割がなされれば、グループの数は特に限定されない。また、図3には、グループ間の境界が曲線によって示されているが、グループ間の境界はどのような線であってもよく、直線であってもよい。さらに、図3に示した例では、グループ間の境界が表示されているが、グループ間の境界は表示されなくてもよい。
続いて、シンボル入力画面163−2に示すように、入力部120は、複数のシンボルの中からポインティング位置Pを示す情報の入力をユーザから受け付ける。位置取得部111は、入力部120からポインティング位置Pを示す情報を取得する。表示制御部112は、ポインティング位置Pに応じたグループG1を示すオブジェクトObjが表示されるように表示部160を制御する。より具体的には、表示制御部112は、ポインティング位置Pから最も近いシンボル「s」が属するグループG1を示すオブジェクトObjが表示されるように表示部160を制御すればよい。
なお、図3には、グループG1の全体を塗り潰すようなオブジェクトObjが表示される例が示されているが、オブジェクトObjの表示態様は、グループG1をユーザに認識させることが可能な表示態様であれば特に限定されない。例えば、表示制御部112は、グループG1に対応付けられた何らかのオブジェクトが表示されるように表示部160を制御すればよく、グループG1の中に何らかのオブジェクトが表示されるように表示部160を制御してもよい。
以上において、ポインティング位置に応じたオブジェクト表示の第1の例について説明した。続いて、図4を参照しながら、ポインティング位置に応じたオブジェクト表示の第2の例について説明する。図4は、ポインティング位置に応じたオブジェクト表示の第2の例を示す図である。図4を参照すると、第2の例においてもシンボル入力画面163−3には、第1の例におけるシンボル入力画面163−1と同様に、複数のシンボルが表示されている。
また、図4を参照すると、このようにして表示された複数のシンボルが3つのグループ(グループG1〜G3)に分割されている。図4に示した例では、グループの数が3つであるが、各グループに属するシンボルが複数となるような分割がなされれば、グループの数は特に限定されない。また、図4には、グループ間の境界が直線によって示されているが、上記したようにグループ間の境界はどのような線であってもよく、曲線であってもよい。さらに、図4に示した例では、グループ間の境界が表示されているが、グループ間の境界は表示されなくてもよい。
続いて、シンボル入力画面163−4に示すように、入力部120は、複数のシンボルの中からポインティング位置Pを示す情報の入力をユーザから受け付ける。位置取得部111は、入力部120からポインティング位置Pを示す情報を取得する。表示制御部112は、ポインティング位置Pに応じたグループG2を示すオブジェクトObjが表示されるように表示部160を制御する。より具体的には、表示制御部112は、ポインティング位置Pから最も近いシンボル「s」が属するグループG2を示すオブジェクトObjが表示されるように表示部160を制御すればよい。
なお、図4には、グループG2の全体を塗り潰すようなオブジェクトObjが表示される例が示されているが、オブジェクトObjの表示態様は、グループG2をユーザに認識させることが可能な表示態様であれば特に限定されない。例えば、表示制御部112は、グループG2に対応付けられた何らかのオブジェクトが表示されるように表示部160を制御すればよく、グループG2の中に何らかのオブジェクトが表示されるように表示部160を制御してもよい。
以上において、ポインティング位置に応じたオブジェクト表示の第2の例について説明した。ここで、上記した第1の例および第2の例それぞれにおいては、ポインティング位置に応じたグループを示すオブジェクトが表示される例について説明したが、ポインティング位置のシンボルをユーザに認識させるためのハイライト表示が追加的に行われてもよい。続いて、図5を参照しながら、ポインティング位置のシンボルをユーザに認識させるためのハイライト表示が追加的に行われる例について説明する。
図5は、シンボルに対してハイライト表示を付する例を示す図である。図5を参照すると、シンボル入力画面163−5には、第2の例におけるシンボル入力画面163−3と同様に、複数のシンボルが表示されている。また、図5を参照すると、このようにして表示された複数のシンボルが、第2の例におけるシンボル入力画面163−3と同様に、3つのグループ(グループG1〜G3)に分割されている。
続いて、シンボル入力画面163−6に示すように、入力部120は、複数のシンボルの中からポインティング位置Pを示す情報の入力をユーザから受け付ける。位置取得部111は、入力部120からポインティング位置Pを示す情報を取得する。表示制御部112は、ポインティング位置Pに応じたグループG2を示すオブジェクトObjが表示されるように表示部160を制御する。より具体的には、表示制御部112は、第2の例におけるシンボル入力画面163−4と同様に、ポインティング位置Pから最も近いシンボル「s」が属するグループG2を示すオブジェクトObjが表示されるように表示部160を制御すればよい。
このとき、表示制御部112は、ポインティング位置Pからの距離が最も近いシンボル「s」に対してハイライト表示Hを付してよい。このようにしてハイライト表示Hが付されれば、ポインティング位置Pのシンボルをユーザに認識させることが可能となる。なお、図5に示した例では、ハイライト表示Hは、シンボル「s」の近傍の矩形領域(かつ、オブジェクトObjよりも幅広い矩形領域)を塗り潰す態様によって付されているが、ハイライト表示Hの態様は特に限定されない。例えば、ハイライト表示Hは、オブジェクトObjと区別され得る態様によって付されればよい。
また、ハイライト表示Hは、グループG2の内部で移動させることが可能であってもよい。例えば、シンボル入力画面163−7に示すように、表示制御部112は、ポインティング位置P1がグループG2の内部でポインティング位置P2まで移動された場合、ハイライト表示HをグループG2の内部において移動させてよい。なお、ハイライト表示Hの移動量は限定されないため、表示制御部112は、ポインティング位置P1からポインティング位置P2までの移動量に所定の係数を乗算した結果に従ってハイライト表示Hを移動させてもよい。また、オブジェクトObjとハイライト表示Hとは、切り替えられてもよい。例えば、オブジェクトObjとハイライト表示Hとは、ユーザによるタップ操作によって切り替えられてもよいし、ユーザによるタップ操作の継続時間が閾値を超えた場合に切り替えられてもよいし、ユーザによるタップ操作によって押圧が閾値を超えた場合に切り替えられてもよい。なお、ユーザによる操作を検出するデバイスはタッチパネルに限られず、ジャイロリモコンであってもよい。ジャイロリモコンが用いられる場合、オブジェクトObjとハイライト表示Hとは、選択ボタンとは別のボタンの押下操作によって切り替えられてもよい。
以上において、ポインティング位置のシンボルをユーザに認識させるためのハイライト表示が追加的に行われる例を説明した。上記のようにして、ポインティング位置に応じたグループを示す所定のオブジェクトが表示される。ポインティング位置に応じたグループはどのように用いられてもよいが、一例として、表示制御部112は、ポインティング位置のグループに属するシンボルに基づいて記録データからのデータ抽出を行い、データ抽出によって抽出された抽出結果を表示部160に表示させてよい。例えば、表示制御部112は、抽出結果を選択候補画面162に表示させてよい。
例えば、図4に示した例において、ポインティング位置がグループG1の内部であった場合を想定する。かかる場合、ポインティング位置のグループG1に属するシンボルは、「q」「w」「e」・・・「p」である。したがって、表示制御部112は、シンボル「q」「w」「e」・・・「p」に基づいて記録データからのデータ抽出を行えばよい。より具体的には、表示制御部112は、シンボル「q」「w」「e」・・・「p」それぞれを先頭シンボルとするデータを記録データから抽出してよい。
抽出結果には優先度が付されてもよい。例えば、表示制御部112は、ポインティング位置からの距離が最も近いシンボルに基づく抽出結果を優先的に表示部160に表示させてもよい。また、表示制御部112は、ポインティング位置からの距離が近いシンボルに基づく抽出結果ほど優先的に表示部160に表示させてもよい。例えば、抽出結果が表示される選択候補画面162の数は限られているため、表示制御部112は、表示させる抽出結果を優先度の高い順に選択してもよい。また、表示制御部112は、抽出結果の表示位置を優先度に応じて決定してもよい。
また、表示される抽出結果は、1つのシンボルに基づく抽出結果に限定されない。したがって、複数のシンボルが結合されたシンボル列に基づく抽出結果が表示されてもよい。例えば、表示制御部112は、ポインティング位置のグループに属するシンボルをポインティング位置がポインティングされる度に順次に結合させ、結合させた結果として生成されたシンボル列に基づく抽出結果が表示部160に表示されるように表示部160を制御してよい。
例えば、図4に示した例において、1回目のポインティング位置がグループG1の内部であった場合を想定する。かかる場合、1回目のポインティング位置のグループG1に属するシンボルは、「q」「w」「e」・・・「p」である。続いて、連続的に次のポインティングがなされ、2回目のポインティング位置がグループG2の内部であった場合を想定する。かかる場合、2回目のポインティング位置のグループG2に属するシンボルは、「a」「s」「d」・・・「l」である。
したがって、表示制御部112は、シンボル「q」「w」「e」・・・「p」の何れか1つの次にシンボル「a」「s」「d」・・・「l」の何れか1つを結合させた結果として生成されたシンボル列に基づいて記録データからのデータ抽出を行えばよい。より具体的には、表示制御部112は、シンボル「q」「w」「e」・・・「p」の何れか1つの次にシンボル「a」「s」「d」・・・「l」の何れか1つを結合させた結果として生成されたシンボル列で始まるデータを記録データから抽出してよい。
図1に示した例では、記録データとして、「earful」「raff」「watch」が記録されており、シンボル「e」の次に「a」が結合されたシンボル列「ea」で始まるデータ「earful」が記録データから抽出されている。また、シンボル「r」の次に「a」が結合されたシンボル列「ra」で始まるデータ「raff」が記録データから抽出されている。さらに、シンボル「w」の次に「a」が結合されたシンボル列「wa」で始まるデータ「watch」が記録データから抽出されている。
続いて、表示制御部112は、これらの抽出結果を選択候補として表示部160に表示させる。図1に示した例では、抽出結果「earful」「raff」「watch」それぞれが選択候補画面162として表示されている。ユーザが選択候補から選択する操作を行うと、表示制御部112は、選択候補から選択された結果を選択結果として表示部160に表示させる。選択候補から選択する操作は特に限定されない。したがって、上記したように、タッチパネルをタップする操作であってもよいし、視線を当てる操作であってもよい。
続いて、図6を参照しながら(適宜他の図も参照しながら)、本開示の実施形態に係る表示制御装置10の動作の流れについて説明する。特に、図6は、シンボルに対してハイライト表示を付する例に係る表示制御装置10の動作の流れを示すフローチャートである。なお、図6に示した例は、表示制御装置10の動作の流れの一例であるため、表示制御装置10の動作の流れは、図6に示した例に限定されない。
まず、表示制御部112は、複数のシンボルが表示されるように表示部160を制御する(S11)。図5に示した例では、複数のシンボルが表示される画面としてシンボル入力画面163−5が示されている。続いて、入力部120は、複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報の入力をユーザから受け付けると、位置取得部111は、入力部120からポインティング位置を示す情報を取得する(S12)。
続いて、表示制御部112は、ポインティング位置に応じたグループを示すオブジェクトが表示されるように表示部160を制御する(S13)。例えば、図5に示した例では、ポインティング位置Pに応じたグループG2を示すオブジェクトObjが表示されている。このとき、表示制御部112は、ポインティング位置からの距離が最も近いシンボルに対してハイライト表示を付する(S14)。図5に示した例では、ポインティング位置Pからの距離が最も近いシンボル「s」に対してハイライト表示Hが付されている。
続いて、表示制御部112は、ポインティング位置が同一グループ内で移動されていない場合には(S15で「No」)、S17に動作を移行させる。一方、表示制御部112は、ポインティング位置が同一グループ内で移動された場合には(S15で「Yes」)、ハイライト表示Hを同一グループ内で移動させる(S16)。図5に示した例では、ポインティング位置P1からポインティング位置P2への移動に伴って、ハイライト表示HがグループG2の内部で移動されている。
続いて、表示制御部112は、ポインティング位置のグループに属する複数のシンボルに基づいて記録データから抽出処理を行う(S17)。そして、表示制御部112は、抽出結果が選択候補として表示されるように表示部160を制御する(S18)。続いて、表示制御部112は、ユーザが選択候補から選択する操作を行うと、選択候補から選択された結果が選択結果として表示されるように表示部160を制御する(S19)。なお、図6に示したように選択結果が表示された後は動作が終了されてもよいが、S12に動作が移行されてもよい。複数の選択結果が次々と追加されていくことによってユーザは文章の編集を行うことが可能である。
以上においては、グループ間の境界が不変である場合を主に説明した。しかし、グループ間の境界は不変でなくてもよく動的に変更されてもよい。すなわち、表示制御部112は、グループ間の境界を動的に変更してもよい。グループ間の境界は、どのようなタイミングでどのように変更されてもよい。一例として、表示制御部112は、同一のグループに属する複数のシンボルそれぞれに基づく抽出結果が抽出された場合、当該複数のシンボルが異なるグループに属するようにグループ間の境界を変更してもよい。
図7は、同一グループに属する複数のシンボルそれぞれに基づく抽出結果が抽出された場合にグループ間の境界を変更する例を示す図である。図7を参照すると、シンボル入力画面163−8には、シンボル入力画面163−1と同様に、複数のシンボルが表示されている。また、図7を参照すると、このようにして表示された複数のシンボルが、シンボル入力画面163−1と同様に、3つのグループ(グループG1〜G3)に分割されている。
ここで、表示制御部112は、同一グループに属する第1のシンボルおよび第2のシンボルそれぞれに基づく抽出結果が抽出された場合、第1のシンボルおよび第2のシンボルが異なるグループに属するようにグループ間の境界を変更してもよい。このようにしてグループ間の境界が変更されれば、表示制御部112は、境界変更後のグループを選択する操作により第1のシンボルおよび第2のシンボルの何れかに基づく抽出結果を選択候補として表示部160に表示させることが可能となる。
例えば、グループG2に属するシンボル「c」「h」それぞれに基づく抽出結果「come」「home」が抽出された場合を想定する。かかる場合、表示制御部112は、シンボル入力画面163−9に示すように、「c」と「h」とが異なるグループに属するように(「c」がグループG2♯に属し、「h」がグループG3#に属するように)グループ間の境界を変更してもよい。
そうすれば、例えば、表示制御部112は、グループG2♯を選択する操作がなされた場合、グループG2♯に属するシンボル「c」に基づく抽出結果を選択候補として表示部160に表示させることができる。また、例えば、表示制御部112は、グループG3♯を選択する操作がなされた場合、グループG3♯に属するシンボル「h」に基づく抽出結果を選択候補として表示部160に表示させることが可能となる。
続いて、図8を参照しながら(適宜他の図も参照しながら)、本開示の実施形態に係る表示制御装置10の動作の流れについて説明する。特に、図8は、同一グループに属する複数のシンボルそれぞれに基づく抽出結果が抽出された場合にグループ間の境界を変更する例に係る表示制御装置10の動作の流れを示すフローチャートである。なお、図8に示した例は、表示制御装置10の動作の流れの一例であるため、表示制御装置10の動作の流れは、図8に示した例に限定されない。
まず、表示制御部112は、複数のシンボルが表示されるように表示部160を制御する(S21)。図7に示した例では、複数のシンボルが表示される画面としてシンボル入力画面163−8が示されている。続いて、入力部120は、複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報の入力をユーザから受け付けると、位置取得部111は、入力部120からポインティング位置を示す情報を取得する(S22)。
続いて、表示制御部112は、ポインティング位置に応じたグループを示すオブジェクトが表示されるように表示部160を制御する(S23)。続いて、表示制御部112は、ポインティング位置のグループに属する複数のシンボルに基づいて記録データから抽出処理を行う(S24)。そして、表示制御部112は、抽出結果が選択候補として表示されるように表示部160を制御する(S25)。ここで、表示制御部112は、同一グループに属する複数シンボルそれぞれに基づく抽出結果が抽出されたか否かを判断する(S26)。
表示制御部112は、同一グループに属する複数シンボルそれぞれに基づく抽出結果が抽出されなかった場合には(S26で「No」)、S29に動作を移行させる。一方、表示制御部112は、同一グループに属する複数シンボルそれぞれに基づく抽出結果が抽出された場合には(S26で「Yes」)、当該複数のシンボルが異なるグループに属するようにグループ間の境界を変更する(S27)。ユーザによってグループを選択する操作がなされると、選択されたグループに属する複数のシンボルに基づく抽出結果が選択候補として表示されるように表示部160を制御する(S28)。
続いて、表示制御部112は、ユーザが選択候補から選択する操作を行うと、選択候補から選択された結果が選択結果として表示されるように表示部160を制御する(S29)。なお、図8に示したように選択結果が表示された後は動作が終了されてもよいが、S22に動作が移行されてもよい。複数の選択結果が次々と追加されていくことによってユーザは文章の編集を行うことが可能である。
以上、同一のグループに属する複数のシンボルそれぞれに基づく抽出結果が抽出された場合、当該複数のシンボルが異なるグループに属するようにグループ間の境界を変更する例を説明した。ここで、グループ間の境界は、表示部160の向きに応じて変更されてもよい。例えば、表示部160が横長であるか縦長であるかによってグループ間の境界を異ならせたほうがユーザの見やすいオブジェクトを表示させることが可能となる。そこで、以下では、表示制御部112が表示部160の向きに応じてグループ間の境界を変更する例について説明する。
なお、表示部160の向きは、撮像装置によって撮像された画像および加速度センサによる測定結果のうち少なくとも何れか1つに基づいて算出されてよい。例えば、表示制御部112は、加速度センサによる測定結果から重力方向を特定し、重力方向に基づいて表示部160の向きを算出してよい。また、表示制御部112は、撮像装置によって撮像された画像から顔領域または目領域を検出し、顔領域または目領域の向きに基づいて表示部160の向きを算出してもよい。あるいは、表示部160の向きは、ユーザによってあらかじめ設定されてもよい。
具体的な例について、図9および図10を参照しながら説明する。図9は、表示部160が縦長の場合に表示される画面例を示す図である。また、図10は、表示部160が横長の場合に表示される画面例を示す図である。図9および図10を参照すると、表示部160が縦長の場合には、表示部160が横長の場合と比較して、選択結果画面161はより縦に長く、選択候補画面162は縦により多く配置され、シンボル入力画面163はより縦に長くなっている。このような画面表示がなされれば、表示部160の向きに関わらずユーザにとって見やすい画面が表示される。
また、図9を参照すると、表示部160が縦長の場合には、グループG1〜G3が縦に並ぶようにグループ間の境界は横方向となっている。一方、図10を参照すると、表示部160が横長の場合には、グループG1〜G3が横に並ぶようにグループ間の境界は縦方向に表示されている。このように、表示制御部112によって表示部160の向きに応じてグループ間の境界の方向が変更されることによって、ポインティング位置に応じたグループを示すオブジェクトをより見やすく表示させることが可能となる。
また、図9および図10を参照すると、表示部160が縦長の場合と表示部160が横長の場合とにおいて、表示部160におけるシンボル入力画面163の位置が変更されている。このように、表示制御部112によって表示部160の向きに応じて表示部160におけるシンボル入力画面163の位置が変更されることによって、シンボルをより見やすく表示させることが可能となる。
また、図9および図10を参照すると、表示部160が縦長の場合と表示部160が横長の場合とにおいて、表示部160の向きを基準としたシンボル入力画面163の向きが変更されている。このように、表示制御部112によって表示部160の向きに応じて表示部160の向きを基準としたシンボル入力画面163の向きが変更されることによって、シンボルをより見やすく表示させることが可能となる。
続いて、図11を参照しながら(適宜他の図も参照しながら)、本開示の実施形態に係る表示制御装置10の動作の流れについて説明する。特に、図11は、表示部160の向きに応じてグループ間の境界を変更する例に係る表示制御装置10の動作の流れを示すフローチャートである。なお、図11に示した例は、表示制御装置10の動作の流れの一例であるため、表示制御装置10の動作の流れは、図11に示した例に限定されない。
まず、表示制御部112は、複数のシンボルが表示されるように表示部160を制御する(S31)。図9に示した例では、複数のシンボルが表示される画面としてシンボル入力画面163が示されている。ここで、表示制御部112は、表示部160の向きが変更されたか否かを判断する(S32)。表示制御部112は、表示部160の向きが変更されなかった場合には(S32で「No」)、S34に動作を移行させる。一方、表示制御部112は、表示部160の向きが変更された場合には(S32で「Yes」)、表示部160の向きに応じてグループ間の境界を変更する(S33)。
例えば、図10に示した例のように、表示部160が横長となるように表示部160の向きが変更された場合、表示制御部112は、図10に示した例のようにグループ間の境界を変更してよい。続いて、入力部120は、複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報の入力をユーザから受け付けると、位置取得部111は、入力部120からポインティング位置を示す情報を取得する(S34)。
続いて、表示制御部112は、ポインティング位置に応じたグループを示すオブジェクトが表示されるように表示部160を制御する(S35)。続いて、表示制御部112は、ポインティング位置のグループに属する複数のシンボルに基づいて記録データから抽出処理を行う(S36)。そして、表示制御部112は、抽出結果が選択候補として表示されるように表示部160を制御する(S37)。
続いて、表示制御部112は、ユーザが選択候補から選択する操作を行うと、選択候補から選択された結果が選択結果として表示されるように表示部160を制御する(S38)。なお、図11に示したように選択結果が表示された後は動作が終了されてもよいが、S32に動作が移行されてもよい。複数の選択結果が次々と追加されていくことによってユーザは文章の編集を行うことが可能である。
以上においては、グループ間の境界が表示部160の向きに応じて変更される例について説明した。グループ間の境界を変更する手法としては他にも様々な手法が想定される。例えば、表示制御部112は、表示部160のサイズに応じてグループ間の境界を変更してもよい。より詳細には、表示制御部112は、表示部160のサイズが大きくなるほどグループの数が多くなるようにグループ間の境界を変更してもよい。そうすれば、ポインティング位置に応じたグループを示すオブジェクトをより見やすく表示させることが可能となる。
また、ポインティング位置とシンボルとのずれ量に基づいてグループ間の境界が変更されてもよい。例えば、表示制御部112は、ポインティング位置とポインティング位置からの距離が最も近いシンボルとのずれ量に基づいて、グループ間の境界を変更してもよい。具体的には、ポインティング位置とポインティング位置からの距離が最も近いシンボルとのずれ量が小さいほど、グループの数が多くなるようにグループ間の境界を変更するとよい。かかるずれ量が小さいほどユーザによるポインティングの精度が高いことが想定されるからである。複数のずれ量が得られる場合には、当該複数のずれ量に対して所定の演算がなされた結果(例えば、分散値、平均値など)がずれ量の代わりに用いられてもよい。
あるいは、表示制御部112は、ポインティング位置と選択結果とのずれ量に基づいて、グループ間の境界を変更してもよい。例えば、具体的には、ポインティング位置と選択結果とのずれ量が小さいほど、グループの数が多くなるようにグループ間の境界を変更するとよい。かかるずれ量が小さいほどユーザによるポインティングの精度が高いことが想定されるからである。複数のずれ量が得られる場合には、当該複数のずれ量に対して所定の演算がなされた結果(例えば、分散値、平均値など)がずれ量の代わりに用いられてもよい。
また、グループ間の境界以外が変更されてもよい。例えば、表示制御部112は、複数のシンボルの少なくとも一部の配置を動的に変更してもよい。具体的には、表示制御部112は、表示部160の向きに応じて複数のシンボルの少なくとも一部の配置を動的に変更してもよい。図9および図10に示した例では、表示部160の向きに関わらず複数のシンボル全体の配置は変わっていないが、表示制御部112は、表示部160の向きに応じて複数のシンボルの少なくとも一部の配置を変更してもよい。
例えば、表示制御部112は、表示部160が縦長の場合には表示部160が横長の場合と比較して、縦方向に並ぶシンボル数が多くなるように複数のシンボルの配置を変更してもよい。図9に示した例では、表示部160が縦長の場合、縦方向に並ぶシンボル数が3であり、図10に示した例では、表示部160が横長の場合、縦方向に並ぶシンボル数が3である。しかし、表示制御部112は、表示部160が縦長の場合、縦方向に並ぶシンボルの数が4以上になるように複数のシンボルの配置を変更してもよい。
また、例えば、表示制御部112は、複数のシンボルの種類に応じた方向に複数のシンボルの配置方向を変更してもよい。表示制御部112は、縦方向への配置が好ましいシンボルの場合には(例えば、シンボルが漢字などの場合)、横方向への配置より縦方向への配置が多くなるように複数のシンボルの配置方向を変更してもよい。また、表示制御部112は、横方向への配置が好ましいシンボルの場合には(例えば、シンボルが、数字、記号、アルファベットなどの場合)、縦方向への配置より横方向への配置が多くなるように複数のシンボルの配置方向を変更してもよい。
また、上記したように、記録データからの抽出結果には優先度が付されてもよい。ポインティング位置に近いシンボルほど高い優先度が付されてもよい。具体的には、表示制御部112は、ポインティング位置から各シンボルまでの距離を算出し、それぞれの距離に応じて各シンボルに優先度を付してもよい。しかし、ポインティング位置から各シンボルまでの距離以外の他のパラメータが追加的に考慮されてもよい。
例えば、異なるグループ内のシンボル間でポインティングを誤ってしまう可能性よりも、同一グループ内のシンボル間でポインティングを誤ってしまう可能性のほうが高いと考えられる。そこで、表示制御部112は、ポインティング位置から各シンボルまでの距離を算出するに際して、異なるグループ内のシンボル同士を、同一グループ内のシンボル同士よりも遠ざけるようにするとよい。具体的な例について図12を参照しながら説明する。
図12は、各シンボルの優先度の算出例を説明するための図である。図12に示したように、異なるグループ内のシンボル間(シンボル「d」とシンボル「f」との間)でポインティングを誤ってしまう可能性よりも、同一グループ内のシンボル間(シンボル「d」とシンボル「s」との間)でポインティングを誤ってしまう可能性のほうが高いと考えられる。そこで、例えば、図12に示すように、表示制御部112は、異なるグループ内のシンボル同士が、同一グループ内のシンボル同士よりも遠くなるように各シンボルの位置を補正するとよい。
続いて、図13を参照しながら(適宜他の図も参照しながら)、本開示の実施形態に係る表示制御装置10の動作の流れについて説明する。特に、図13は、各シンボルの優先度を考慮する例に係る表示制御装置10の動作の流れを示すフローチャートである。なお、図13に示した例は、表示制御装置10の動作の流れの一例であるため、表示制御装置10の動作の流れは、図13に示した例に限定されない。
まず、表示制御部112は、複数のシンボルが表示されるように表示部160を制御する(S41)。続いて、入力部120は、複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報の入力をユーザから受け付けると、位置取得部111は、入力部120からポインティング位置を示す情報を取得する(S42)。続いて、表示制御部112は、ポインティング位置に応じたグループを示すオブジェクトが表示されるように表示部160を制御する(S43)。
続いて、表示制御部112は、各シンボルの優先度を算出する(S44)。例えば、表示制御部112は、ポインティング位置に近いシンボルほど高い優先度を算出してもよい。具体的には、表示制御部112は、ポインティング位置から各シンボルまでの距離を算出し、それぞれの距離に応じて各シンボルに優先度を算出してもよい。しかし、上記したように、ポインティング位置から各シンボルまでの距離以外の他のパラメータが追加的に考慮されてもよい。
続いて、表示制御部112は、ポインティング位置のグループに属する複数のシンボルに基づいて記録データから抽出処理を行う。そして、表示制御部112は、各シンボルの優先度に応じた抽出結果が選択候補として表示されるように表示部160を制御する(S45)。表示制御部112は、ユーザが選択候補から選択する操作を行うと、選択候補から選択された結果が選択結果として表示されるように表示部160を制御する(S46)。なお、図13に示したように選択結果が表示された後は動作が終了されてもよいが、S42に動作が移行されてもよい。複数の選択結果が次々と追加されていくことによってユーザは文章の編集を行うことが可能である。
以上、本開示の実施形態に係る表示制御装置10の機能詳細について説明した。
<4.表示制御装置のハードウェア構成例>
続いて、本開示の実施形態に係る表示制御装置10のハードウェア構成例について説明する。図14は、本開示の実施形態に係る表示制御装置10のハードウェア構成例を示す図である。ただし、図14に示したハードウェア構成例は、表示制御装置10のハードウェア構成の一例を示したに過ぎない。したがって、表示制御装置10のハードウェア構成は、図14に示した例に限定されない。
図14に示したように、表示制御装置10は、CPU(Central Processing Unit)801と、ROM(Read Only Memory)802と、RAM(Random Access Memory)803と、センサ804と、入力装置808と、出力装置810と、ストレージ装置811と、ドライブ812と、通信装置815とを備える。
CPU801は、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置10内の動作全般を制御する。また、CPU801は、マイクロプロセッサであってもよい。ROM802は、CPU801が使用するプログラムや演算パラメータなどを記憶する。RAM803は、CPU801の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。
センサ804は、表示制御装置10の状態を検知するための状態検知センサなどの各種検知用センサとその周辺回路とを含む。センサ804としては、例として、測位センサ、傾きセンサ、加速度センサ、方位センサ、温度センサ、湿度センサ、照度センサなどを挙げることができる。センサ804による検知信号は、CPU801に送られる。これにより、CPU801は、表示制御装置10の状態(位置、傾き、加速度、方位、温度、湿度、照度など)を知ることができる。
入力装置808は、マウス、キーボード、タッチパネル、ボタン(電源ボタンなど)、マイクロフォン、スイッチ、ダイヤルおよびレバーなどユーザが情報を入力するための操作部と、ユーザによる入力に基づいて入力信号を生成し、CPU801に出力する入力制御回路などから構成されている。表示制御装置10のユーザは、該入力装置808を操作することにより、表示制御装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、これらの操作部が設けられる位置は特に限定されない。例えば、表示制御装置10の筐体側面に当該操作部が設けられてもよいし、ディスプレイが設けられる面と同一面上に設けられてもよい。
出力装置810は、例えば、LCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diode)およびランプなどの表示装置を含んでよい。さらに、出力装置810は、スピーカおよびヘッドホンなどの音声出力装置を含んでもよい。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。
ストレージ装置811は、表示制御装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置811は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置811は、CPU801が実行するプログラムや各種データを格納する。
ドライブ812は、記憶媒体用リーダライタであり、表示制御装置10に内蔵、あるいは外付けされる。ドライブ812は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体に記録されている情報を読み出して、RAM803に出力する。また、ドライブ812は、リムーバブル記憶媒体に情報を書き込むこともできる。
通信装置815は、ネットワークを介して(あるいは、直接的に)外部装置と通信する。通信装置815は、無線通信用のインタフェースであってもよく、例えば、通信アンテナ、RF(Radio Frequency)回路、ベースバンドプロセッサなどを含んでもよい。無線通信用のインタフェースの具体的な例としては、CDMA(Code Division Multiple
Access)、W−CDMA(Wideband Code Division Multiple Access)、LTE(Long Term Evolution)、Wi−fi(登録商標)(Wireless Fidelity)のような通信方式に対応したモデムなどの通信ユニットが挙げられる。
また、通信装置815は、有線通信用のインタフェースであってもよく、例えば、接続端子、伝送回路およびその他の通信処理用の回路を含んでもよい。また、CPU801と通信装置815とは1つのチップにより構成されてもよいし、別々のデバイスとして実現されてもよい。また、図14には図示していないが、表示制御装置10は、例えば、充電式電池のような電力源から供給される電力により駆動してもよく、当該電力源は、表示制御装置10に対して着脱可能に構成されていてもよい。
以上、本開示の実施形態に係る表示制御装置10のハードウェア構成例について説明した。例えば、通信部150、入力部120、表示部160および記憶部140は、通信装置815、入力装置808、出力装置810およびストレージ装置811によりそれぞれ実現され得る。また、制御部110(とりわけ、位置取得部111および表示制御部112)は、CPU801により実現され得る。したがって、コンピュータを位置取得部111および表示制御部112を有する表示制御装置10として機能させるためのプログラムがストレージ装置811、ROM802またはRAM803に保持され、CPU801が当該プログラムを実行し得る。
また、表示制御情報を表示部160に出力するための構成が、「出力部」の一例に相当する。具体的な一例として、出力部は、図14に示したCPU801とバス806との間に位置する信号線などのデバイスにより実現され得る。また、表示制御情報は、例えば、CPU801が出力装置810(例えば、ディスプレイなど)を制御するための、RGB信号やHDMI(High−Definition Multimedia Interface)信号などの映像信号により実現され得る。
なお、上述した表示制御装置10の動作が実現されれば、図2に示した各構成の位置は特に限定されない。具体的な一例として、入力部120および表示部160と制御部110および記憶部140とのそれぞれが、ネットワークを介して接続された互いに異なる情報処理装置に設けられてもよい。この場合には、制御部110および記憶部140が設けられた情報処理装置が、例えば、ウェブサーバやクラウドサーバのようなサーバに相当し、入力部120および表示部160が当該サーバにネットワークを介して接続されたクライアントに相当し得る。
上記に示すように、表示制御装置10が有する機能をクライアントおよびサーバにより実現した場合、表示制御部112を有するサーバが、ネットワークを介してクライアントに表示制御情報を送信するための構成(例えば、モデムなどの通信インタフェース)が、「出力部」の一例に相当する。
また、表示制御装置10が有する機能をクライアントおよびサーバにより実現した場合には、表示制御情報の内容がシステム構成にあわせて適宜変更されてよい。具体的な一例として、クライアント側においてブラウザ上に前述した画面を表示させる場合には、表示制御情報は、HTML(HyperText Markup Language)、SGML(Standard Generalized Markup Language)、XML(Extensible Markup Language)などのマークアップ言語により実現されてもよい。
また、上記に示す表示制御情報は、あくまで一例であり、表示制御部112と表示部160との間で情報を送受信するための方式、伝送路の種別、または、情報の送受信に用いる媒体(例えば、無線信号や光)に応じて適宜変更されてもよい。
また、上記においては、表示制御装置10がウェアラブル表示デバイスにより実現される例を説明した。しかし、上記のように表示制御装置10が有する機能をクライアントおよびサーバにより実現した場合、クライアントが上記のようなウェアラブル表示デバイスなどにより実現されてよい。
<5.むすび>
以上説明したように、本開示の実施形態によれば、複数のシンボルがユーザに視認可能に表示されるように表示部160を制御する表示制御部112と、複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報を取得する位置取得部111と、を備える、表示制御装置10が提供される。表示制御部112は、ポインティング位置に応じて複数のシンボルが属するグループを示す所定のオブジェクトが表示されるように表示部160を制御する。
かかる構成によれば、シンボルよりもグループのほうが大きいため、ポインティング位置に応じたシンボルに関する情報をより確実にユーザに認識させることが可能となる。また、所望のシンボルに対して正確にポインティングしなくてはいけないという圧迫感をユーザに与えてしまう可能性を低減することができ、より快適にユーザにポインティングを行わせることが可能になる。さらに、シンボル間で誤ったポインティングがなされる可能性よりもグループ間で誤ったポインティングがなされる可能性のほうが小さいため、誤ったポインティングがなされる可能性を低減することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、表示制御装置10の動作は、必ずしもフローチャートに記載された順序に沿って時系列になされる必要はない。例えば、表示制御装置10の動作は、フローチャートに記載した順序と異なる順序でなされてもよいし、フローチャートに記載された動作の少なくとも一部が並列的になされてもよい。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記した表示制御装置10が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
複数のシンボルがユーザに視認可能に表示されるように表示部を制御する表示制御部と、
前記複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報を取得する位置取得部と、を備え、
前記表示制御部は、前記ポインティング位置に応じて複数の前記シンボルが属するグループを示す所定のオブジェクトが表示されるように前記表示部を制御する、
表示制御装置。
(2)
前記表示制御部は、グループ間の境界を動的に変更する、
前記(1)に記載の表示制御装置。
(3)
前記表示制御部は、前記表示部の向きに応じてグループ間の境界を変更する、
前記(2)に記載の表示制御装置。
(4)
前記表示制御部は、前記表示部のサイズに応じてグループ間の境界を変更する、
前記(2)に記載の表示制御装置。
(5)
前記表示制御部は、前記複数のシンボルの少なくとも一部の配置を動的に変更する、
前記(1)〜4の何れか一項に記載の表示制御装置。
(6)
前記表示制御部は、前記複数のシンボルの種類に応じた方向に前記複数のシンボルの配置方向を変更する、
前記(5)に記載の表示制御装置。
(7)
前記表示制御部は、前記ポインティング位置のグループに属するシンボルに基づく記録データからの抽出結果を前記表示部に表示させる、
前記(1)〜6の何れか一項に記載の表示制御装置。
(8)
前記表示制御部は、前記抽出結果を選択候補として前記表示部に表示させ、前記選択候補から選択された結果を選択結果として前記表示部に表示させる、
前記(7)に記載の表示制御装置。
(9)
前記表示制御部は、前記ポインティング位置からの距離が最も近いシンボルに基づく抽出結果を優先的に前記表示部に表示させる、
前記(7)に記載の表示制御装置。
(10)
前記表示制御部は、前記ポインティング位置と前記ポインティング位置からの距離が最も近いシンボルとのずれ量に基づいて、グループ間の境界を変更する、
前記(9)に記載の表示制御装置。
(11)
前記表示制御部は、前記ポインティング位置からの距離を算出するに際して、異なるグループ内のシンボル同士を、同一グループ内のシンボル同士よりも遠ざける、
前記(9)に記載の表示制御装置。
(12)
前記表示制御部は、同一のグループに属する第1のシンボルおよび第2のシンボルそれぞれに基づく抽出結果が抽出された場合、前記第1のシンボルおよび前記第2のシンボルが異なるグループに属するようにグループ間の境界を変更する、
前記(7)に記載の表示制御装置。
(13)
前記表示制御部は、前記ポインティング位置からの距離が最も近いシンボルに対してハイライト表示を付する、
前記(1)〜12の何れか一項に記載の表示制御装置。
(14)
前記表示制御部は、前記ポインティング位置が同一グループ内で移動された場合、前記ハイライト表示を同一グループ内で移動させる、
前記(13)に記載の表示制御装置。
(15)
前記表示制御部は、前記ポインティング位置のグループに属するシンボルを前記ポインティング位置がポインティングされる度に順次に結合させたシンボル列に基づく抽出結果が前記表示部に表示されるように前記表示部を制御する、
前記(1)〜14の何れか一項に記載の表示制御装置。
(16)
前記ポインティング位置は、視線の検出結果およびタッチパネルによる検出結果のうち少なくとも何れか1つに基づいて決定される、
前記(1)〜15の何れか一項に記載の表示制御装置。
(17)
前記表示部の向きは、撮像装置によって撮像された画像および加速度センサによる測定結果のうち少なくとも何れか1つに基づいて算出される、
前記(1)〜16の何れか一項に記載の表示制御装置。
(18)
前記表示部の向きは、ユーザによってあらかじめ設定される、
前記(1)〜16の何れか一項に記載の表示制御装置。
(19)
複数のシンボルがユーザに視認可能に表示されるように表示部を制御することと、
前記複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報を取得することと、を含み、
プロセッサにより前記ポインティング位置に応じて複数の前記シンボルが属するグループを示す所定のオブジェクトが表示されるように前記表示部を制御すること、
を含む、表示制御方法。
(20)
コンピュータを、
複数のシンボルがユーザに視認可能に表示されるように表示部を制御する表示制御部と、
前記複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報を取得する位置取得部と、を備え、
前記表示制御部は、前記ポインティング位置に応じて複数の前記シンボルが属するグループを示す所定のオブジェクトが表示されるように前記表示部を制御する、
表示制御装置として機能させるためのプログラム。
10 表示制御装置
110 制御部
111 位置取得部
112 表示制御部
120 入力部
130 センサ部
140 記憶部
150 通信部
160 表示部
161 選択結果画面
162 選択候補画面
163 シンボル入力画面
G1、G2、G3 グループ
P(P1、P2) ポインティング位置
Obj オブジェクト
H ハイライト表示

Claims (20)

  1. 複数のシンボルがユーザに視認可能に表示されるように表示部を制御する表示制御部と、
    前記複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報を取得する位置取得部と、を備え、
    前記表示制御部は、前記ポインティング位置に応じて複数の前記シンボルが属するグループを示す所定のオブジェクトが表示されるように前記表示部を制御する、
    表示制御装置。
  2. 前記表示制御部は、グループ間の境界を動的に変更する、
    請求項1に記載の表示制御装置。
  3. 前記表示制御部は、前記表示部の向きに応じてグループ間の境界を変更する、
    請求項2に記載の表示制御装置。
  4. 前記表示制御部は、前記表示部のサイズに応じてグループ間の境界を変更する、
    請求項2に記載の表示制御装置。
  5. 前記表示制御部は、前記複数のシンボルの少なくとも一部の配置を動的に変更する、
    請求項1に記載の表示制御装置。
  6. 前記表示制御部は、前記複数のシンボルの種類に応じた方向に前記複数のシンボルの配置方向を変更する、
    請求項5に記載の表示制御装置。
  7. 前記表示制御部は、前記ポインティング位置のグループに属するシンボルに基づく記録データからの抽出結果を前記表示部に表示させる、
    請求項1に記載の表示制御装置。
  8. 前記表示制御部は、前記抽出結果を選択候補として前記表示部に表示させ、前記選択候補から選択された結果を選択結果として前記表示部に表示させる、
    請求項7に記載の表示制御装置。
  9. 前記表示制御部は、前記ポインティング位置からの距離が最も近いシンボルに基づく抽出結果を優先的に前記表示部に表示させる、
    請求項7に記載の表示制御装置。
  10. 前記表示制御部は、前記ポインティング位置と前記ポインティング位置からの距離が最も近いシンボルとのずれ量に基づいて、グループ間の境界を変更する、
    請求項9に記載の表示制御装置。
  11. 前記表示制御部は、前記ポインティング位置からの距離を算出するに際して、異なるグループ内のシンボル同士を、同一グループ内のシンボル同士よりも遠ざける、
    請求項9に記載の表示制御装置。
  12. 前記表示制御部は、同一のグループに属する第1のシンボルおよび第2のシンボルそれぞれに基づく抽出結果が抽出された場合、前記第1のシンボルおよび前記第2のシンボルが異なるグループに属するようにグループ間の境界を変更する、
    請求項7に記載の表示制御装置。
  13. 前記表示制御部は、前記ポインティング位置からの距離が最も近いシンボルに対してハイライト表示を付する、
    請求項1に記載の表示制御装置。
  14. 前記表示制御部は、前記ポインティング位置が同一グループ内で移動された場合、前記ハイライト表示を同一グループ内で移動させる、
    請求項13に記載の表示制御装置。
  15. 前記表示制御部は、前記ポインティング位置のグループに属するシンボルを前記ポインティング位置がポインティングされる度に順次に結合させたシンボル列に基づく抽出結果が前記表示部に表示されるように前記表示部を制御する、
    請求項1に記載の表示制御装置。
  16. 前記ポインティング位置は、視線の検出結果およびタッチパネルによる検出結果のうち少なくとも何れか1つに基づいて決定される、
    請求項1に記載の表示制御装置。
  17. 前記表示部の向きは、撮像装置によって撮像された画像および加速度センサによる測定結果のうち少なくとも何れか1つに基づいて算出される、
    請求項1に記載の表示制御装置。
  18. 前記表示部の向きは、ユーザによってあらかじめ設定される、
    請求項1に記載の表示制御装置。
  19. 複数のシンボルがユーザに視認可能に表示されるように表示部を制御することと、
    前記複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報を取得することと、を含み、
    プロセッサにより前記ポインティング位置に応じて複数の前記シンボルが属するグループを示す所定のオブジェクトが表示されるように前記表示部を制御すること、
    を含む、表示制御方法。
  20. コンピュータを、
    複数のシンボルがユーザに視認可能に表示されるように表示部を制御する表示制御部と、
    前記複数のシンボルの中から1または複数のシンボルを特定するためのポインティング位置を示す情報を取得する位置取得部と、を備え、
    前記表示制御部は、前記ポインティング位置に応じて複数の前記シンボルが属するグループを示す所定のオブジェクトが表示されるように前記表示部を制御する、
    表示制御装置として機能させるためのプログラム。

JP2013270049A 2013-12-26 2013-12-26 表示制御装置、表示制御方法およびプログラム Pending JP2015125616A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013270049A JP2015125616A (ja) 2013-12-26 2013-12-26 表示制御装置、表示制御方法およびプログラム
US14/570,172 US9958940B2 (en) 2013-12-26 2014-12-15 Display control apparatus and display control method
US15/919,423 US10409369B2 (en) 2013-12-26 2018-03-13 Display control apparatus and display control method to recognize character of a pointing position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013270049A JP2015125616A (ja) 2013-12-26 2013-12-26 表示制御装置、表示制御方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2015125616A true JP2015125616A (ja) 2015-07-06

Family

ID=53481700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013270049A Pending JP2015125616A (ja) 2013-12-26 2013-12-26 表示制御装置、表示制御方法およびプログラム

Country Status (2)

Country Link
US (2) US9958940B2 (ja)
JP (1) JP2015125616A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216072B2 (en) 2016-07-25 2022-01-04 Sony Corporation Information processing apparatus, information processing method, and program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI116425B (fi) * 2002-01-18 2005-11-15 Nokia Corp Menetelmä ja laite laajan näppäimistön integroimiseksi pieneen laitteeseen
WO2007114833A1 (en) * 2005-06-16 2007-10-11 Firooz Ghassabian Data entry system
US9018011B2 (en) * 2007-02-15 2015-04-28 The United States As Represented By The Secretary Of The Department Of Health And Human Services Gamma satellite insulator sequences and their use in preventing gene silencing
EP1988444A3 (en) * 2007-04-30 2016-03-02 Samsung Electronics Co., Ltd. Character input apparatus and method
TWI420344B (zh) * 2007-12-31 2013-12-21 Htc Corp 切換觸碰鍵盤的方法以及使用此方法的手持電子裝置與儲存媒體
WO2009093435A1 (ja) * 2008-01-25 2009-07-30 Panasonic Corporation 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
US8749494B1 (en) * 2008-06-24 2014-06-10 Sprint Communications Company L.P. Touch screen offset pointer
TW201005598A (en) * 2008-07-18 2010-02-01 Asustek Comp Inc Touch-type mobile computing device and display method thereof
US8830176B2 (en) * 2009-02-27 2014-09-09 Blackberry Limited Mobile wireless communications device to display a cursor based upon a selected keyboard mode and associated methods
KR101043944B1 (ko) * 2009-09-30 2011-06-24 주식회사 팬택 가상 키보드 제공 방법 및 장치
US8599130B2 (en) * 2009-11-30 2013-12-03 Blackberry Limited Portable electronic device and method of controlling same
JP2011150489A (ja) * 2010-01-20 2011-08-04 Sony Corp 情報処理装置及びプログラム
JP5407950B2 (ja) 2010-03-11 2014-02-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
TW201237732A (en) * 2011-03-11 2012-09-16 Sunplus Technology Co Ltd Nine-square arrangement virtual input system using a remote control
US8484573B1 (en) * 2012-05-23 2013-07-09 Google Inc. Predictive virtual keyboard
WO2014127337A2 (en) * 2013-02-17 2014-08-21 Keyless Systems Ltd. Improved data entry systems
WO2014134497A1 (en) * 2013-03-01 2014-09-04 Rufus Armor, Llc Wearable mobile device
KR20140132246A (ko) * 2013-05-07 2014-11-17 삼성전자주식회사 오브젝트 선택 방법 및 오브젝트 선택 장치
US10089786B2 (en) * 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
CN103677632A (zh) * 2013-11-19 2014-03-26 三星电子(中国)研发中心 一种虚拟键盘调整方法和移动终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216072B2 (en) 2016-07-25 2022-01-04 Sony Corporation Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
US20180203508A1 (en) 2018-07-19
US10409369B2 (en) 2019-09-10
US9958940B2 (en) 2018-05-01
US20150185876A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
AU2019267413B2 (en) User interfaces for watches
CN110221698B (zh) 计算设备上的字符识别
US10817243B2 (en) Controlling a user interface based on change in output destination of an application
KR102107491B1 (ko) 리스트 스크롤 바 제어 방법 및 모바일 장치
US20150293592A1 (en) Haptic information management method and electronic device supporting the same
US20150128036A1 (en) Method, apparatus and electronic device for moving target element
KR20160119239A (ko) 콘텐츠를 표시하는 방법 및 이를 위한 전자 장치
EP3333675A1 (en) Wearable device user interface control
US20170045993A1 (en) Portable apparatus and method for displaying a screen
CN105609121B (zh) 多媒体播放进度控制方法及装置
US20170144042A1 (en) Mobile terminal, training management program and training management method
TW201617835A (zh) 氣象使用者介面
KR20160128739A (ko) 디스플레이 장치 및 그의 유저 인터페이스 제공 방법
KR20150131872A (ko) 전자 장치 및 전자 장치에서의 음악 연주 방법
US9792032B2 (en) Information processing apparatus, information processing method, and program for controlling movement of content in response to user operations
KR102542913B1 (ko) 회전체를 구비한 전자 장치 및 이의 동작 방법
JP6504058B2 (ja) 情報処理システム、情報処理方法およびプログラム
KR20160020892A (ko) 문자 입력 방법 및 장치
US10409369B2 (en) Display control apparatus and display control method to recognize character of a pointing position
US11340776B2 (en) Electronic device and method for providing virtual input tool
JP6574936B2 (ja) 表示制御装置、表示制御方法およびプログラム
KR20160081084A (ko) 콘텐츠를 표시하는 방법 및 이를 위한 전자 장치
US11890525B1 (en) Providing biometric achievement user interface screens associated with biometric goals
JP7246390B2 (ja) ウェアラブルコンピューティングデバイスを用いた表示デバイスの直接操作
JP2016099948A (ja) 電子機器