JP2014035688A - Information device, display control method, and program - Google Patents
Information device, display control method, and program Download PDFInfo
- Publication number
- JP2014035688A JP2014035688A JP2012177312A JP2012177312A JP2014035688A JP 2014035688 A JP2014035688 A JP 2014035688A JP 2012177312 A JP2012177312 A JP 2012177312A JP 2012177312 A JP2012177312 A JP 2012177312A JP 2014035688 A JP2014035688 A JP 2014035688A
- Authority
- JP
- Japan
- Prior art keywords
- application
- information
- guidance
- mode
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、情報機器、表示制御方法及びプログラムに関する。 The present invention relates to an information device, a display control method, and a program.
近年、携帯端末の多機能化により、１つのキーに複数の機能が割当てられている。１つのキーに割り当てられている複数の機能は、例えば、キーの短押しや長押し等によって区別して実行される。一般的には、キートップ上に機能を説明するためのガイダンスが印刷されるが、短押しの機能のみが印刷してあることが多く、長押しの操作を行った場合に、何が実行されるのかユーザに分かりにくいという問題がある。 In recent years, a plurality of functions are assigned to one key due to the multi-functionalization of portable terminals. A plurality of functions assigned to one key are distinguished and executed by, for example, short pressing or long pressing of the key. Generally, guidance for explaining the function is printed on the key top, but only the function of short press is often printed, and what is executed when a long press operation is performed. There is a problem that it is difficult for the user to understand.
上記の問題を解消するため、例えば、特許文献１は、１つのキーに割当てられた全ての機能が、キーに触れることによりガイダンス表示される携帯機器を開示している。この携帯機器によれば、１つのキーで複数の操作（短押し、長押し、ダブルタップなど）を行った場合の機能がガイダンス表示されるので、ユーザは各機能を容易に実行することができると共に、新たな機能を発見することもできる。
In order to solve the above problem, for example,
以下の分析は、本発明により与えられる。 The following analysis is given by the present invention.
しかしながら、特許文献１は、複数の操作に対する操作仕様が予め分かっている場合に、ガイダンス表示を行う方法しか開示していない。
However,
近年、急速に普及してきたスマートフォン型の携帯端末では、ユーザが様々なアプリケーションを所定のサイトからダウンロードすることができるようになっているが、多くのアプリケーションでは、タッチパネルで複数の操作（短押し、長押し、ダブルタップなど）を行った場合のガイダンス表示はなされていない。ダウンロードした任意のアプリケーションに、タッチパネル操作のガイダンス表示の機能を追加したい要求があるが、操作仕様が分かっていないアプリケーションに対しては、ガイダンス表示を実現することができない。 In recent years, smartphone-type mobile terminals, which have been rapidly spreading, allow users to download various applications from a predetermined site. However, in many applications, multiple operations (short press, No guidance is displayed when a long press, double tap, etc.) is performed. There is a request to add a guidance display function for touch panel operation to any downloaded application, but guidance display cannot be realized for an application whose operation specifications are not known.
本発明の目的は、任意のアプリケーションの操作のガイダンス表示を実現する技術を提供することにある。 An object of the present invention is to provide a technique for realizing a guidance display for operation of an arbitrary application.
本発明の第１の視点による情報機器は、画面表示を行う表示部と、アプリケーションを記憶する記憶部と、前記アプリケーションの操作入力を行う入力部と、前記アプリケーションの情報を前記表示部に表示する制御部と、を含み、前記制御部は、前記入力部からの操作入力の情報を前記アプリケーションに入力する第１のモードと、所定の操作入力の情報を前記アプリケーションに入力する第２のモードと、によって前記アプリケーションを動作させ、前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析し、前記解析した遷移画面の情報を操作ガイダンスとして構築し、前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する。 An information device according to a first aspect of the present invention displays a display unit that performs screen display, a storage unit that stores an application, an input unit that performs operation input of the application, and information on the application on the display unit. A first mode for inputting operation input information from the input unit to the application, and a second mode for inputting predetermined operation input information to the application. , By operating the application, analyzing the screen of the application transitioned according to the information of the predetermined operation input in the operation of the second mode, constructing the information of the analyzed transition screen as operation guidance, The constructed operation guidance is displayed on a part of the display screen of the application in the first mode.
本発明の第２の視点による表示制御方法は、画面表示を行う表示部と、アプリケーションを記憶する記憶部と、前記アプリケーションの操作入力を行う入力部と、前記アプリケーションの情報を前記表示部に表示する制御部と、を含む情報機器の表示制御方法であって、前記制御部は、前記入力部からの操作入力の情報を前記アプリケーションに入力する第１のモードと、所定の操作入力の情報を前記アプリケーションに入力する第２のモードと、によって前記アプリケーションを動作させ、前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析し、前記解析した遷移画面の情報を操作ガイダンスとして構築し、前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する。 A display control method according to a second aspect of the present invention includes a display unit that displays a screen, a storage unit that stores an application, an input unit that performs operation input of the application, and information on the application is displayed on the display unit. A display control method for an information device including: a first mode in which operation input information from the input unit is input to the application; and predetermined operation input information. The application is operated in accordance with the second mode input to the application, the screen of the application transitioned according to the information of the predetermined operation input in the operation of the second mode is analyzed, and the analyzed transition screen Information is constructed as operation guidance, and the constructed operation guidance is displayed as an application in the first mode. It is displayed on the part of the surface.
本発明の第３の視点によるプログラムは、以下の処理をコンピュータに実行させるプログラムである。即ち、画面表示を行う表示部と、アプリケーションを記憶する記憶部と、前記アプリケーションの操作入力を行う入力部と、前記アプリケーションの情報を前記表示部に表示する制御部と、を含む情報機器の表示制御プログラムであって、前記制御部が、前記入力部からの操作入力の情報を前記アプリケーションに入力する第１のモードと、所定の操作入力の情報を前記アプリケーションに入力する第２のモードと、によって前記アプリケーションを動作させる処理と、前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析する処理と、前記解析した遷移画面の情報を操作ガイダンスとして構築する処理と、前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する処理と、をコンピュータに実行させる。 A program according to the third aspect of the present invention is a program that causes a computer to execute the following processing. That is, a display of an information device including a display unit that performs screen display, a storage unit that stores an application, an input unit that performs operation input of the application, and a control unit that displays information on the application on the display unit A control program, wherein the control unit inputs operation input information from the input unit to the application, and a second mode inputs predetermined operation input information to the application; The process for operating the application according to the above, the process for analyzing the screen of the application transitioned according to the information of the predetermined operation input in the operation of the second mode, and the information of the analyzed transition screen are constructed as operation guidance And a screen for displaying the constructed operation guidance in the first mode application. To execute a process of displaying a portion, to a computer.
本発明の携帯端末によれば、任意のアプリケーションの操作のガイダンス表示を実現することができる。 According to the portable terminal of the present invention, it is possible to realize a guidance display for operation of an arbitrary application.
まず、本発明の実施形態の概要について説明する。なお、実施形態の概要の説明において付記した図面参照符号は専ら理解を助けるための例示であり、図示の態様に限定することを意図するものではない。 First, the outline | summary of embodiment of this invention is demonstrated. Note that the reference numerals of the drawings added in the description of the outline of the embodiment are merely examples for helping understanding, and are not intended to be limited to the illustrated modes.
本発明の一実施形態における携帯端末１０は、画面表示を行う表示部１８と、アプリケーション２０ａ、２０ｂを記憶する記憶部１４と、アプリケーションの操作入力を行う入力部（タッチパネル部）１６と、アプリケーションの情報を表示部１８に表示する制御部１２と、を含む。ここで、制御部１２は、入力部（例えば、タッチパネル部）１６からの操作入力の情報をアプリケーションに入力する第１のモード（例えば、通常モード）と、所定の操作入力の情報をアプリケーションに入力する第２のモード（画面解析モード）、とによってアプリケーションを動作させ、第２のモードの動作で、所定の操作入力の情報により遷移したアプリケーションの画面を解析し、第２のモードで解析した画面遷移の情報を操作ガイダンスとして構築し、構築した操作ガイダンスを第１のモードのアプリケーション２１の表示画面の一部に表示する。
The
次に、携帯端末１０の各機能部を説明する。なお、一部の機能部は、図４、図５に示す表示内容を用いて説明する。表示部１８は、アプリケーションの情報を表示する機能を有する。記憶部１４は、アプリケーション２０ａ、アプリケーション２０ｂを記憶する機能を有する。入力部（例えば、タッチパネル部）１６は、ユーザによるアプリケーションの操作入力の情報を制御部１２へ引き渡す機能を有する。制御部１２は、記憶部１４のアプリケーション２０ｂを次のモードで動作させる。１つは、タッチパネル１６からの操作入力の情報をアプリケーションに入力する通常モード（第１のモード）と、もう一つは、所定の操作入力の情報によりアプリケーションの画面遷移を解析する画面解析モード（第２のモード）である。
Next, each functional unit of the
より詳細には、制御部１２は、オペレーティングシステム２３、ガイダンス表示部２４を含み、オペレーティングシステム２３は、タッチパネル部１６からの操作入力の情報であるイベントＣ１を生成し、通常モードのアプリケーション２１にイベントＣ１を入力する。また、ガイダンス表示部２４は、所定の操作入力の情報であるイベントＣ２を生成し、画面解析モードのアプリケーション２２にイベントＣ２を入力する。
More specifically, the
さらに、ガイダンス表示部２４は、通常モードのアプリケーション２１が表示部１８で表示している第１の表示画面（図４（Ａ）の３１）と同じ画面から、画面解析モードのアプリケーション２２で第１の表示画面の構成情報を取得する。画面の構成情報は、例えば、第１の表示画面のキャプチャにより取得できる。
Furthermore, the
続いて、ガイダンス表示部２４は、画面解析モードのアプリケーションの第１の表示画面３１の構成情報を解析することにより、タッチパネル部１６の所定の操作入力の情報であるイベントに反応する可能性のあるオブジェクト（図４（Ａ）の３６ａ〜ｃ等）を検出する。
Subsequently, the
更に、ガイダンス表示部２４は、検出したオブジェクトの中から１つのオブジェクト（例えば、図４のオブジェクト３６ａ）を選択して、画面解析モードのアプリケーションの該オブジェクト３６ａに、所定の操作入力の情報であるイベントＣ２を入力する。
Further, the
続いて、ガイダンス表示部２４は、第１の表示画面（図４（Ａ）の３１）が遷移した場合に、遷移した後の第２の表示画面（図４（Ｂ）の３２）の構成情報を取得する。
Subsequently, when the first display screen (31 in FIG. 4A) transitions, the
最後にガイダンス表示部２４は、第１及び第２の表示画面に基づいて、所定の操作に関するガイダンス（図５の３４）を構築し、構築したガイダンスを通常モードのアプリケーション２１の表示画面の一部に表示する（図５参照）。
Finally, the
上記の構成により、任意のアプリケーションの所定の操作に関するガイダンス表示を行うことができる。 With the above configuration, it is possible to perform guidance display regarding a predetermined operation of an arbitrary application.
また、上記携帯端末において、タッチパネル部１６の所定の操作は、短押し操作、タップ操作、ダブルタップ操作、フリック操作、長押し操作等であってもよい。
In the portable terminal, the predetermined operation on the
上記携帯端末において、図８に示すように、ガイダンス表示部２４は、さらに、オペレーティングシステム２３から通常モードのアプリケーション２１に入力されるイベントＣ１を監視し（図８のＳ２０）、画面解析モードのアプリケーション２２に対し通常モードのアプリケーション２１と同じ状態遷移を行うイベントＣ２を入力する（図８のＳ２１）ようにしてもよい。
In the portable terminal, as shown in FIG. 8, the
上記携帯端末において、図３、８に示すように、ガイダンス表示部２４は、第２の表示画面（図４（Ｂ）の３２）をキャプチャした後、画面解析モードのアプリケーション２２に、戻るキーに対応するイベントＣ２を入力して（Ｓ１４）、第１の表示画面（図４（Ａ）の３１）に戻す（Ｓ１５）ことが好ましい。
In the portable terminal, as shown in FIGS. 3 and 8, the
上記携帯端末において、ガイダンス表示部２４は、検出したオブジェクト（図４（Ａ）の３６ａ〜ｃ）の中から、各々のオブジェクトが画面内に占める割合に基づく優先順位で１つのオブジェクトを選択し、第１の表示画面（図４（Ａ）の３１）が遷移するまで、上記優先順位に基づいて、該オブジェクトの選択と所定の操作に対応したイベントＣ２の入力を繰り返すことが好ましい。
In the portable terminal, the
上記携帯端末において、図７に示すように、上記ガイダンスは、第１の表示画面（図６（Ａ）の４１）に基づく第１のガイダンス（図７の４４）と、第２の表示画面（図６（Ｂ）の４２）に基づく第２のガイダンス（図７の５４）により構成され、第１のガイダンス（図７の４４）と第２のガイダンス（図７の５４）を交互に表示するようにしてもよい。 In the portable terminal, as shown in FIG. 7, the guidance includes a first guidance (44 in FIG. 7) based on the first display screen (41 in FIG. 6A), and a second display screen ( It is composed of the second guidance (54 in FIG. 7) based on 42) in FIG. 6B, and the first guidance (44 in FIG. 7) and the second guidance (54 in FIG. 7) are displayed alternately. You may do it.
次に、本発明の一実施形態における表示制御方法について説明する。本発明の一実施形態における表示制御方法は、画面表示を行う表示部１８と、アプリケーション２０ｂを記憶する記憶部１４と、アプリケーションの操作入力を行う入力部（例えば、タッチパネル部）１６と、アプリケーションの情報を表示部１８に表示する制御部１２と、を含む情報機器（例えば、携帯端末１０）の表示制御方法であって、制御部１２は、入力部（例えば、タッチパネル部）１６からの操作入力の情報をアプリケーションに入力する第１のモード（例えば、通常モード）と、所定の操作入力の情報をアプリケーションに入力する第２のモード（画面解析モード）と、でアプリケーションを動作させ、第２のモードの動作で所定の操作入力の情報により遷移したアプリケーションの画面を解析し、解析した画面遷移の情報を操作ガイダンスとして構築し、構築した操作ガイダンスを第１のモードのアプリケーションの表示画面の一部に表示する。
Next, a display control method according to an embodiment of the present invention will be described. A display control method according to an embodiment of the present invention includes a
以下、本発明の各実施形態について、図面を参照して詳しく説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
［第１の実施形態］
（第１の実施形態の構成）
第１の実施形態の構成について、図１を参照しながら詳細に説明する。図１は、第１の実施形態に係る携帯端末１０の構成を示すブロック図である。携帯端末１０は、スマートフォン型の携帯端末であり、図１に示すように、制御部１２と、種々のアプリケーション２０ａ〜ｂやプログラムが使用するデータ等を保存する記憶部１４と、ユーザが操作入力を行うタッチパネル部１６と、タッチパネル部１６の下部に重ねて配置され画面表示を行う表示部１８とを備えている。ここで、制御部１２は、不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、携帯端末１０を制御している。また、携帯端末１０は、通常の携帯電話機が有する電話、メール、及びデータ通信などの機能を有し、それら機能を実現するための不図示の構成要素として、無線送受信部、アンテナ、音声処理部、マイク、スピーカなどを備えている。
[First Embodiment]
(Configuration of the first embodiment)
The configuration of the first embodiment will be described in detail with reference to FIG. FIG. 1 is a block diagram illustrating a configuration of the
ここで、タッチパネル部１６は、携帯端末で広く普及している接触型タッチパネルだけでなく、タッチパネル静電容量の変化を検知する方式の非接触型タッチパネルも適用可能である。
Here, the
記憶部１４は、アプリケーション２０ａ〜ｂを保存する。アプリケーションは、携帯端末メーカが携帯端末１０にプリロードしているアプリケーション以外に、ユーザが所定のサイトからダウンロードしたアプリケーションでもよい。第１の実施形態は、ダウンロードした任意のアプリケーションに対してガイダンス表示を可能にする。
The storage unit 14 stores the
次に、制御部１２で行われる処理について説明する。制御部１２では、アプリケーションの実行やハードウェアを管理するオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；以下「ＯＳ」とも、いう）２３が動作している。ここで、オペレーティングシステム２３として、マルチスレッドに対応したＯＳなどが使用される。
Next, processing performed by the
ユーザは、携帯端末１０の表示部１８に表示されたアプリケーション２０ｂのアイコンをタッチパネル部１６でタップする。すると、オペレーティングシステム２３はアプリケーション２０ｂのアイコンがタップされたことを検知し、記憶部１４に保存されたアプリケーション２０ｂを呼び出して、通常モードのアプリケーション２１として起動する。通常モードのアプリケーション２１は、オペレーティングシステム２３により１つのプロセスとして動作する。
The user taps the icon of the
ここで、「通常モード」は、ユーザ操作に反応するモードである。オペレーティングシステム２３は、ユーザのタッチパネル操作を検知し、通常モードのアプリケーション２１に対して、該ユーザの操作に対応したイベントＣ１により通常モードのアプリケーション２１の動作を制御する。
Here, the “normal mode” is a mode that responds to a user operation. The
次に、ガイダンス表示部２４と画面解析モードのアプリケーションについて説明する。ガイダンス表示部２４は、通常モードのアプリケーション２１に対してガイダンス表示を行う機能を果し、制御部１２において、１つのプロセスとして動作する。ガイダンス表示部２４は、オペレーティングシステム２３によるアプリケーションの起動又は通常モードのアプリケーション２１に入力されるユーザの操作入力に対応したイベントＣ１を監視する。
Next, the
ガイダンス表示部２４は、オペレーティングシステム２３が通常モードのアプリケーション２１を起動したことを検出すると、アプリケーション２０ｂをさらに画面解析モードのアプリケーション２２として起動する。画面解析モードのアプリケーション２２は、ガイダンス表示部２４により起動された１つのプロセスとして動作する。即ち、制御部１２では、同じアプリケーション２０ｂのプロセスが２つ動作することになる。
When the
ここで、「画面解析モード」とは、ガイダンス表示するための解析用のモードである。画面解析モードのアプリケーション２２は、タッチパネル部１６おけるユーザ操作に反応せずに、ガイダンス表示部２４から入力されるイベントＣ２により制御される。
Here, the “screen analysis mode” is an analysis mode for displaying guidance. The
以上のように、制御部１２では、通常モードのアプリケーション２１のプロセス、ガイダンス表示部２４のプロセス、及び画面解析モードのアプリケーション２２のプロセスの、３つのプロセスが動作する。このような複数のプロセスの実行は、オペレーティングシステム２３として、マルチスレッド対応のシステムにより実現可能である。
As described above, in the
（第１の実施形態の動作）
次に、第１の実施形態の動作について、図３〜５を参照しながら詳細に説明する。以下の動作説明において、ガイダンス表示は、タッチパネル部１６の「長押し操作」に関するガイダンスである場合を想定する。一般に、タッチパネル部１６の操作の種類として、「タップ」、「ダブルタップ」、「フリック」、「長押し」などがある。ここで、「タップ」は起動、「ダブルタップ」は表示サイズの変更、「フリック」は、画面スクロールなどに使用されることが多いが、「長押し」に関してはアプリケーションによって統一されていない。更に「長押し操作」のユーザインターフェースは、分かりにくいと言われており、このような操作によるガイダンス表示が、特に望まれている。尚、以下の説明では、タッチパネル部１６の「長押し操作」に関するガイダンス表示について説明するが、本発明はそれに限定されず、任意の操作に対するガイダンス表示に、適用することが可能である。
(Operation of the first embodiment)
Next, the operation of the first embodiment will be described in detail with reference to FIGS. In the following description of the operation, it is assumed that the guidance display is guidance related to “long press operation” of the
図３は、第１の実施形態の携帯端末１０に係る動作を示すシーケンスチャートである。図３において、通常モードのアプリケーション２１、ＯＳ２３、ガイダンス表示部２４、及び画面解析モードのアプリケーション２２における各々の動作を示している。
FIG. 3 is a sequence chart illustrating an operation according to the
まず、ユーザがアプリ画面において、アプリケーション２０ｂのアイコンをタッチパネル部１６でタップすると、ＯＳ２３はアプリケーション２０ｂのアイコンがタップされたことを検知し、アプリケーション２０ｂを通常モードのアプリケーション２１として起動する（Ｓ１）。アプリケーション２０ｂは、図４〜５に示すように、電子メールのアプリケーションである。このとき、ガイダンス表示部２４は、ＯＳ２３が通常モードのアプリケーション２１を起動したことを検出する（Ｓ２）。そして、ガイダンス表示部２４は、画面解析モードのアプリケーション２２を起動する（Ｓ３）。
First, when the user taps the icon of the
起動された通常モードのアプリケーション２１、画面解析モードのアプリケーション２２は、それぞれ第１の表示画面３１を表示する（Ｓ４、Ｓ５）。第１の表示画面３１は、アプリケーション２０ｂの起動直後の画面であり、図４（Ａ）に示すように、電子メールのＩｎｂｏｘ（受信箱）が表示されている。尚、携帯端末１０の表示部１８には、実際には、通常モードのアプリケーション２１による第１の表示画面３１と、画面解析モードのアプリケーション２２による第１の表示画面３１とが、２つ表示される。図４は、便宜上、画面解析モードのアプリケーション２２による第１の表示画面３１を示している。 通常モードと画面解析モードとによるアプリケーションの第１の表示画面３１は、いずれの画面を表示しているのかをユーザが認識できるように、それぞれのモードを表示することが好ましい。
The activated
なお、上記の例では画面解析モードのアプリケーションの第１の表示画面３１を表示部１８に表示する（Ｓ５）例を記載したが、表示部１８で表示しなくてもよい。画面解析モードの第１の表示画面を表示部１８に表示しなくても第１の表示画面３１の画面出力情報があればキャプチャすることができる。
In the above example, the
次に、ガイダンス表示部２４は、第１の表示画面３１（画面解析モードのアプリケーション２２のほうの第１の表示画面）をキャプチャ（Ｓ６）し、画像データとして保存する。次に、ガイダンス表示部２４は、上記画像データを解析し、長押しイベントに反応する可能性のあるリスト表示／グリッド表示のオブジェクトを検出する（Ｓ７）。ここで、任意のアプリケーションの各画面において長押しに反応するのは、リスト表示／グリッド表示のオブジェクトであるという前提のもとに検出を行っているが、他のタイプのオブジェクトも、必要に応じて検出の条件に加えるようにしてもよい。図４（Ａ）の電子メールのＩｎｂｏｘでは、受信された３つのメールが表示されており、各受信メールが、リスト表示のオブジェクト（３６ａ〜ｃ）として検出される。
Next, the
尚、上記の検出処理には、公知の様々な画像認識アルゴリズムが適用可能である。 Various known image recognition algorithms can be applied to the above detection process.
次に、図３に戻って、検出されたオブジェクト（リスト表示のオブジェクト３６ａ〜ｃ）のうち、１つのオブジェクトを選択する。図４（Ａ）の場合には、オブジェクト３６ａを選択している。そして、選択したオブジェクト、即ち、画面解析モードのアプリケーション２２の第１の表示画面のオブジェクト３６ａに、長押しイベントＣ２を入力する（Ｓ８）。
Next, returning to FIG. 3, one of the detected objects (list display objects 36a to 36c) is selected. In the case of FIG. 4A, the
ここで、上記の検出されたオブジェクトが複数存在した場合には、例えば、各オブジェクトが画面内に占める割合に基づいた優先順位で１つのオブジェクトを選択するようにすればよい。但し、図４（Ａ）の場合には、リスト表示のオブジェクト３６ａ〜ｃが占める面積は同じであると判定され、特に優先順位は設定されず、オブジェクト３６ａが選択されている。
Here, when there are a plurality of detected objects, for example, one object may be selected in a priority order based on the proportion of each object in the screen. However, in the case of FIG. 4A, it is determined that the areas occupied by the list-displayed
画面解析モードのアプリケーション２２は、ステップＳ８において入力された長押しイベントＣ２を受け取り、該オブジェクト３６ａが、長押しに反応すると、図４（Ｂ）に示すように第２の表示画面３２に遷移する。即ち、第２の表示画面３２は長押しイベントＣ２による遷移先の画面である。図４（Ｂ）は、該オブジェクト３６ａを長押しすると、メニュー３５が表示されることを示している。メニュー３５は、「返信」「新規メール」「メールを削除」「メールのプロパティ」から選択するポップアップメニューである。
The
一方、該オブジェクト３６ａが、長押しイベントＣ２に反応しなかった場合の動作を、図３の破線枠内部に示している。該オブジェクト３６ａが、長押しイベントＣ２に反応しなかった場合は、画面解析モードのアプリケーション２２の画面は、第１の表示画面３１のままである（Ｓ１０）。また、ガイダンス表示部２４は、長押しイベントＣ２に反応がなかったことを検知すると、別のオブジェクトを１つ選択し、選択したオブジェクトに長押しイベントＣ２を入力する（Ｓ１１）。そして、オブジェトが長押しイベントＣ２に反応すると、第２の表示画面（３２等）に遷移する（Ｓ１２）。このように、第２の表示画面に画面が遷移するまで、別のオブジェクトを選択し、長押しイベントＣ２を入力する処理を繰り返す。尚、検出されたオブジェクトに反応がなかった場合には、長押しガイダンス表示を行う必要がないと判断し、ガイダンス表示部２４は何も処理を行わない。
On the other hand, the operation in the case where the
次に、ガイダンス表示部２４は、遷移した第２の表示画面３２をキャプチャし（Ｓ１３）、画像データとして保存する。次に、ガイダンス表示部２４は、画面解析モードのアプリケーション２２にＢａｃｋキー（戻るキー）のイベントＣ２を入力する。これにより、画面解析モードのアプリケーション２２の画面は、第１の表示画面３１に戻る（Ｓ１５）
Next, the
次に、ガイダンス表示部２４は、第１及び第２の表示画面３１、３２の画像データを解析することにより、ガイダンス３４を構築する（Ｓ１６）。具体的には、第２の表示画面３２は、第１の表示画面３１に対して、メニュー３５がスーパーインポーズされていることが、公知の画像認識アルゴリズムにより解析される。その解析結果を基に、ガイダンス表示部２４は、図５に示すように、「リストを長押しするとメニューが表示されます。」というメッセージを左側に、Ｉｎｂｏｘの一番上のメールを「手」で押下している画像を右側に示したガイダンス３４を構築する。
Next, the
ガイダンス表示部２４は、構築したガイダンス３４を、通常モードのアプリケーション２１の表示画面の一部に表示する（Ｓ１７）。その結果、通常モードのアプリケーション２１の表示画面の一部にガイダンス３４が表示される（Ｓ１８）。
The
図５は、ガイダンス表示が追加された通常モードのアプリケーション２１の表示画面を示している。そして、ユーザはこのガイダンス表示により、Ｉｎｂｏｘのリストを長押しすると、メニューが表示されるという情報を得ることができる。実際に、ユーザが通常モードのアプリケーション２１で、ガイダンス表示の通りに操作した場合、図４（Ｂ）のようにメニュー３５が表示される。
FIG. 5 shows a display screen of the
（第２の実施形態）
次に、第２の実施形態について、図１、図３、図６、図７を参照しながら説明する。第２の実施形態は、図１の記憶部１４に記憶されたアプリケーション２０ａを起動した例である。第２の実施形態の構成は、第１の実施形態の構成と同様なため、説明は省略する。
(Second Embodiment)
Next, a second embodiment will be described with reference to FIG. 1, FIG. 3, FIG. 6, and FIG. The second embodiment is an example in which the
次に、第２の実施形態の動作について、図３、図６、図７を参照しながら説明する。但し、前述したアプリケーション２０ｂの説明と重複する部分は説明を省略する。アプリケーション２０ａは、起動直後に、図６（Ａ）に示すランチャー画面を表示するアプリケーションである。図６（Ａ）に示すように、ランチャー画面において、１６個のアイコンＩｃｏｎ１〜１６がグリッド状に配置されている。このようなランチャー画面において各アイコンをタップすると、各アイコンに対応する機能が実行されることをユーザは直感的に理解できるが、長押し操作をするとどのような機能が実行されるか、ユーザには分かりにくい。このため図６（Ａ）のようなランチャー画面に対しても、ガイダンス表示することが望まれる。
Next, the operation of the second embodiment will be described with reference to FIG. 3, FIG. 6, and FIG. However, the description overlapping with the description of the
図３におけるＳ１〜Ｓ６までは、第１の実施形態のアプリケーション２０ｂが第２の実施形態でアプリケーション２０ａとなっているので詳細な説明は省略する。図６（Ａ）の第１の表示画面４１に対して、図３のＳ７では、所定の操作入力が「長押し操作」であるイベントＣ２に反応する可能性のあるオブジェクトとして、１６個のグリッド表示のオブジェクト４０ａ〜ｐが検出される。図６（Ａ）の第１の表示画面４１で検出されたオブジェクトが複数存在するため、第１の実施形態のように各オブジェクトが画面内に占める割合に基づいた優先順位で１つのオブジェクトが選択される。これらのオブジェクト４０ａ〜ｐが、それぞれ画面に占める面積を求めると、円形状のアイコンの面積が大きいため、円形状のアイコンの中からＩｃｏｎ８の優先順位が高いと判定され、オブジェクト４０ｈが選択される。
From S1 to S6 in FIG. 3, the
そして、ガイダンス表示部２４が、画面解析モードのアプリケーションのオブジェクト４０ｈに対し、長押しイベントＣ２を入力すると、オブジェクト４０ｈは長押しイベントＣ２に反応し、画面解析モードのアプリケーション２２は、第２の表示画面４２に遷移する。図６（Ｂ）は、ホーム画面にＩｃｏｎ８のショートカット６１が生成されたことを示している。
When the
次に、図３のステップＳ１６において、図６（Ａ）の第１の表示画面４１と、図６（Ｂ）の第２の表示画面４２から、以下のようにして、ガイダンスを構築する。この場合には、ユーザに対するガイダンス表示として、長押し前と長押し後の画面を交互に表示するとユーザに分りやすい。まず、図７（Ａ）に示すように、第１の表示画面４１（長押し前）から、長押し前の状態を示す第１のガイダンス４４を構築する。具体的には、第１のガイダンス４４の左側には「アイコンを長押しするとホームにショートカットとして置くことができます。」というメッセージを表示すると共に、右側にはＩｃｏｎ８を「手」で押下している画像を構築する。
Next, in step S16 in FIG. 3, guidance is constructed as follows from the
また、図７（Ｂ）に示すように、第２の表示画面４２（長押し後）から、長押し後の状態を示す第２のガイダンス５４を構築する。具体的には、第２のガイダンス５４の左側には、第１のガイダンス４４と同様に「アイコンを長押しするとホームにショートカットとして置くことができます。」というメッセージを表示すると共に、右側には長押し操作により、ショートカット６１が生成されたことを示す画像を構築する。
Further, as shown in FIG. 7B, the
そして、ガイダンス表示部２４は、図３のステップＳ１７において、第１のガイダンス４４と第２のガイダンス５４を所定の時間ごとに、交互に通常モードのアプリケーション２１の表示画面の一部に表示する。このアプリケーション２０ａのように、長押し操作の前後で画面が大きく遷移するような場合には、上記したように第１のガイダンス４４と第２のガイダンス５４とを別々に構築したほうが、ユーザに対して分かり易いガイダンス表示にすることができる。
Then, in step S17 in FIG. 3, the
尚、ガイダンス表示部２４から入力されたイベントＣ２によって生成されたショートカット６１は、あくまでもガイダンス構築のために生成されたものであるため、第２の表示画面４２のキャプチャを行った後に、削除しておくことが望ましく、例えば、ガイダンス表示部２４からオペレーティングシステム２３に対して、ショートカット６１を削除する要求を入力することにより、ショートカット６１を削除する。
Note that the
そして、ユーザはこのガイダンス表示により、アイコンを長押しするとホーム画面にショートカットが生成されるという情報を得ることができる。実際に、ユーザが通常モードのアプリケーション２１で、ガイダンス表示の通りに操作した場合、図６（Ｂ）のようにホーム画面が表示され、ショートカット６１が生成される。
Then, the user can obtain information that a shortcut is generated on the home screen when the user presses the icon for a long time. Actually, when the user operates the
（第１、第２の実施形態の変形例）
図３のステップＳ１６において構築するガイダンスは、図５、図７以外にも様々な変形が可能である。例えば、ガイダンス中の「手」をアニメーション表示することによりユーザ操作を分かり易くしたり、長押し前後の画面変化をフェードイン、フェードアウトすることにより画面の変化を分かり易くしたり、するなど、様々な工夫が考えられる。
(Modification of the first and second embodiments)
The guidance constructed in step S16 in FIG. 3 can be modified in various ways other than those in FIGS. For example, it is easy to understand user operations by displaying animations of “hands” in the guidance, and facilitating changes in screens by fading in and fading out screen changes before and after a long press. Ingenuity can be considered.
また、図３のステップＳ１６で、一度構築したガイダンス（図５の３４、図７の４４、５４）は、対応する第１の表示画面（図４（Ａ）の３１、図６（Ａ）の４１）と対応付けて記憶部１４に保存しておき、以後、同じ第１の表示画面が表示された場合には、保存されたデータを参照し、その第１の表示画面に対応するガイダンスを読み出してガイダンス表示するようにしてもよい。また、上記の保存したガイダンスデータを、ネットワークを介して他の携帯端末に供給するようにしてもよい。 Further, the guidance (34 in FIG. 5, 44 and 54 in FIG. 7) once constructed in step S16 in FIG. 3 is displayed on the corresponding first display screen (31 in FIG. 4 (A), FIG. 6 (A)). 41) and stored in the storage unit 14, and thereafter, when the same first display screen is displayed, the stored data is referred to and guidance corresponding to the first display screen is displayed. You may make it read and display a guidance. In addition, the stored guidance data may be supplied to another mobile terminal via a network.
以上説明したように、第１、第２の実施形態によれば、所定の操作の仕様が分かっていないアプリケーションであっても、任意のアプリケーションに対して、所定の操作に関するガイダンス表示を行うことができるという効果が得られる。 As described above, according to the first and second embodiments, a guidance display regarding a predetermined operation can be displayed for an arbitrary application even for an application whose specification of the predetermined operation is not known. The effect that it can be obtained.
特に、「長押し操作」に関わるユーザインターフェースは、アプリケーションによって統一されておらず、分かりにくいという問題があったが、第１、第２の実施形態によるガイダンス表示によれば、それぞれのアプリケーションにおいて所定の操作入力によるアプリケーションの動作情報をユーザに知らせることができる。 In particular, the user interface related to the “long press operation” is not standardized by the application and is difficult to understand. However, according to the guidance display according to the first and second embodiments, each application has a predetermined It is possible to inform the user of the operation information of the application by the operation input.
一般に、端末のメーカは、プリロードするアプリケーションについては、その操作仕様が分かっているので、それに合わせてガイダンス表示をハードコーディングすることはできる。しかしながら、ダウンロードしたアプリケーションについては、操作仕様が分からないのでガイダンス表示をハードコーディングすることができず、その結果、ガイダンス表示は、携帯端末のメーカがプリロードするアプリケーションに限定されてしまうというのが実態であった。一方、第１、第２の実施形態によれば、仕様が分かっていない任意のアプリケーションに対してガイダンス表示をすることが可能になり、ダウンロードしたアプリケーションの操作が分かり易くなるという効果が得られる。また、プリロードするアプリケーションであっても、端末内のアプリケーションが多い場合や、アプリケーションの更新により操作が変更される場合、新しいアプリケーションが登場する等で、端末メーカがガイダンス表示をハードコーディングする工数を削減することが可能となる。 Generally, the terminal manufacturer knows the operation specifications of the preloaded application, and can therefore hard code the guidance display accordingly. However, since the operation specifications of the downloaded application are not known, the guidance display cannot be hard-coded, and as a result, the guidance display is limited to applications preloaded by the mobile device manufacturer. there were. On the other hand, according to the first and second embodiments, it is possible to display a guidance for an arbitrary application whose specification is not known, and it is possible to obtain an effect that the operation of the downloaded application can be easily understood. Even if the application is preloaded, if there are many applications on the terminal, or if the operation is changed due to application updates, a new application will appear. It becomes possible to do.
（第３の実施形態）
次に、第３の実施形態について、図８を参照しながら詳細に説明する。第１の実施形態は、アプリケーション２０ａ〜ｂが起動した直後に表示される第１の表示画面に対して、ガイダンス表示を行っている。第３の実施形態ではさらに、通常モードのアプリケーション２１が状態遷移して、表示画面が変化した場合でも、ガイダンス表示ができる例である。即ち、第３の実施形態では、第１の実施形態における画面遷移の先の画面に対してもガイダンス表示を可能にしている。
(Third embodiment)
Next, a third embodiment will be described in detail with reference to FIG. In the first embodiment, guidance display is performed on the first display screen displayed immediately after the
図８は、第３の実施形態に係る携帯端末の動作を示すシーケンスチャートである。第１の実施形態と比較すると分かるように、図８では、通常モードのアプリケーション２１の状態遷移（Ｓ１９）に対応して、ガイダンス表示部２４の処理として新たに、ステップＳ２０以降の処理が追加されている。
FIG. 8 is a sequence chart showing the operation of the mobile terminal according to the third embodiment. As can be seen from comparison with the first embodiment, in FIG. 8, processing following step S20 is newly added as processing of the
図８において、通常モードのアプリケーション２１は、ステップＳ１８でガイダンス表示がなされた後、タッチパネル部１６のユーザ操作により、何らかの状態遷移が発生し、画面が第３の表示画面（不図示）に変化したとする（Ｓ１９）。このような状態遷移は、ガイダンス表示部２４が、オペレーティングシステム２３から通常モードのアプリケーション２１に入力するイベントＣ１を監視することにより検出することができる（Ｓ２０）。
In FIG. 8, after the guidance display is made in step S18, the
次に、ガイダンス表示部２４は、ステップＳ２０で検出したイベントＣ１により、通常モードのアプリケーション２１が状態遷移したことを検知し、画面解析モードのアプリケーション２２に対し通常モードのアプリケーション２１と同じ状態遷移をさせるイベントＣ２を入力する（Ｓ２１）。画面解析モードのアプリケーション２２では、入力されたイベントＣ２により、画面が通常モードのアプリケーション２１と同じ第３の表示画面に遷移する（Ｓ２２）。
Next, the
そして、ガイダンス表示部２４は、上記第３の表示画面を第１の表示画面として、ステップＳ６〜Ｓ１８の処理を繰り返すことにより、第１の実施形態で示したようにガイダンス表示を行う。
Then, the
このように、第３の実施形態におけるガイダンス制御部２４は、オペレーティングシステム２３が通常モードのアプリケーション２１に入力するイベントＣ１を監視し、画面解析モードのアプリケーション２２の状態遷移（画面遷移を含む）を、通常モードのアプリケーション２１と同じになるように制御している。そして、画面遷移があった場合に、操作ガイダンスを構築するステップを実行するようにしている。これにより、画面遷移後の画面に、ガイダンス表示をすることが可能になる。
As described above, the
以上説明したように、第３の実施形態は、第１の実施形態のアプリケーションの画面遷移後に表示される画面に対して、さらに、ガイダンス表示を付けることができるという効果が得られる。 As described above, the third embodiment has an effect that a guidance display can be further added to the screen displayed after the screen transition of the application of the first embodiment.
尚、本発明の各実施形態におけるガイダンス表示部２４が実行する各々の処理（図２のステップＳ１２〜１９；図３のＳ２、Ｓ３、Ｓ６、Ｓ７、Ｓ８、Ｓ１１、Ｓ１３、Ｓ１４、Ｓ１６、Ｓ１７；図８のＳ２、Ｓ３、Ｓ６、Ｓ７、Ｓ８、Ｓ１１、Ｓ１３、Ｓ１４、Ｓ１６、Ｓ１７、Ｓ２０、Ｓ２１等）は、記憶部１４にプログラムとして格納され、制御部１２が備えたコンピュータによって呼び出されて実行される。また、そのプログラムは、ネットワークを介してダウンロードするか、或いは、プログラムを記憶した記憶媒体を用いて、更新することができる。
In addition, each process (steps S12-19 of FIG. 2; S2, S3, S6, S7, S8 of FIG. 3, S11, S13, S14, S16, S17) which the
上記の各実施形態は、携帯端末の例を用いて説明したがこれに限られるものではない。 本発明は、アプリケーションの動作を電子機器全般、例えば携帯電話、スマートフォン、ゲーム機、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔｓ；携帯情報端末）、カーナビゲーション、デジタルカメラ、電子掲示板、デジタルサイネージ等に適用することができる。 Each of the above embodiments has been described using an example of a mobile terminal, but is not limited thereto. The present invention controls the operation of applications in general electronic devices such as mobile phones, smartphones, game machines, tablet PCs (Personal Computers), notebook PCs, PDAs (Personal Data Assistants), car navigation systems, digital cameras, and electronic bulletin boards. It can be applied to digital signage and the like.
（実施形態の変形）
上記第１、第２、第３の実施形態では、ＯＳがアプリケーションを起動、又は、通常モードのアプリケーションへのイベントを入力する例を記載しているが、これに限られるものではない。例えば、ＯＳではなく、ＯＳの上位層でアプリケーションを動作させる仮想マシンが第１の実施形態に記載したＯＳの役割を果してよい。また、仮想マシンではなくても第１の実施形態でＯＳの役割を果せるのであれば他のものでもよい。また上記第１、第２、第３の実施の形態では、アプリケーションの操作入力をタッチパネルで行う例で説明したが、これに限られるものではない。例えば、表示画面上に示される矢印等のポインタでユーザが操作する例にも適用できる。この場合、表示部と入力部はタッチパネル表示のように重畳されることなく別々に配置されてもよい。
(Modification of embodiment)
In the first, second, and third embodiments, an example is described in which the OS starts an application or inputs an event to an application in a normal mode. However, the present invention is not limited to this. For example, a virtual machine that operates an application in an upper layer of the OS instead of the OS may play the role of the OS described in the first embodiment. Other than the virtual machine, any other machine can be used as long as it can play the role of the OS in the first embodiment. In the first, second, and third embodiments, the application operation input is described using the touch panel. However, the present invention is not limited to this. For example, the present invention can be applied to an example in which the user operates with a pointer such as an arrow shown on the display screen. In this case, the display unit and the input unit may be arranged separately without being superimposed as in the touch panel display.
なお、本発明の全開示（請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。 Note that, within the scope of the entire disclosure (including claims and drawings) of the present invention, the embodiments can be changed and adjusted based on the basic technical concept. Further, various combinations or selections of various disclosed elements (including each element of each claim, each element of each embodiment, each element of each drawing, etc.) are possible within the scope of the claims of the present invention. It is. That is, the present invention naturally includes various variations and modifications that could be made by those skilled in the art according to the entire disclosure including the claims and the drawings, and the technical idea.
１０：携帯端末
１２：制御部
１４：記憶部
１６：タッチパネル部（入力部）
１８：表示部
２０ａ〜ｂ：アプリケーション
２１：通常モードのアプリケーション
２２：画面解析モードのアプリケーション
２３：オペレーティングシステム（ＯＳ）
２４：ガイダンス表示部
３１、４１：第１の表示画面
３２、４２：第２の表示画面
３４：ガイダンス
３５：メニュー
３６ａ〜ｃ：リスト表示のオブジェクト（オブジェクト）
４０ａ〜ｐ：グリッド表示のオブジェクト（オブジェクト）
４４：第１のガイダンス（ガイダンス）
５４：第２のガイダンス（ガイダンス）
６１：ショートカット
Ｃ１、Ｃ２：イベント
10: Mobile terminal 12: Control unit 14: Storage unit 16: Touch panel unit (input unit)
18:
24:
40a-p: Grid display objects (objects)
44: First guidance (guidance)
54: Second guidance (guidance)
61: Shortcut C1, C2: Event
Claims (10)
アプリケーションを記憶する記憶部と、
前記アプリケーションの操作入力を行う入力部と、
前記アプリケーションの情報を前記表示部に表示する制御部と、を含み、
前記制御部は、
前記入力部からの操作入力の情報を前記アプリケーションに入力する第１のモードと、所定の操作入力の情報を前記アプリケーションに入力する第２のモードと、によって前記アプリケーションを動作させ、
前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析し、
前記解析した遷移画面の情報を操作ガイダンスとして構築し、
前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する、情報機器。 A display unit for displaying a screen;
A storage unit for storing the application;
An input unit for performing operation input of the application;
A control unit that displays information on the application on the display unit,
The controller is
The application is operated by a first mode for inputting operation input information from the input unit to the application and a second mode for inputting predetermined operation input information to the application,
Analyzing the screen of the application that has transitioned according to the information of the predetermined operation input in the operation of the second mode,
The information of the analyzed transition screen is constructed as operation guidance,
An information device that displays the constructed operation guidance on a part of a display screen of the application in the first mode.
前記第２のモードのアプリケーションを制御するガイダンス表示部を含み、
前記ガイダンス表示部は、
前記所定の操作入力の情報を前記第２のモードのアプリケーションへ入力し、前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析し、前記解析した遷移画面の情報を操作ガイダンスとして構築し、前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する、請求項１記載の情報機器。 The controller is
Including a guidance display unit for controlling the application in the second mode,
The guidance display unit
The information on the predetermined operation input is input to the application in the second mode, and the screen of the application that has transitioned according to the information on the predetermined operation input in the operation in the second mode is analyzed, and the analyzed transition The information device according to claim 1, wherein information on the screen is constructed as operation guidance, and the constructed operation guidance is displayed on a part of a display screen of the application in the first mode.
第２のモードのアプリケーションによる第１の表示画面を取得し、前記第１の表示画面を解析して、前記所定の操作入力の情報で反応する可能性のあるオブジェクトを検出し、
前記検出したオブジェクトの中からオブジェクトを選択し、前記第２のモードのアプリケーションの前記選択されたオブジェクトに、前記所定の操作入力の情報を入力し、
前記第１の表示画面が遷移した場合に、前記遷移した後の第２の表示画面を取得し、前記第１及び第２の表示画面に基づいて、前記アプリケーションに対して前記所定の操作入力に関するガイダンスを構築する、請求項２記載の情報機器。 The guidance display unit
Acquiring a first display screen by an application in the second mode, analyzing the first display screen, detecting an object that may react with information of the predetermined operation input;
An object is selected from the detected objects, and information on the predetermined operation input is input to the selected object of the application in the second mode.
When the first display screen transitions, the second display screen after the transition is acquired, and the predetermined operation input is performed on the application based on the first and second display screens. The information device according to claim 2, wherein guidance is constructed.
前記第１のモードのアプリケーションを制御するオペレーティングシステムを含み、前記ペレーティングシステムは、前記入力部からの操作入力の情報を前記第１のモードのアプリケーションへ入力する、請求項２記載の情報機器。 The controller is
The information device according to claim 2, further comprising: an operating system that controls the application in the first mode, wherein the operating system inputs operation input information from the input unit to the application in the first mode.
前記オペレーティングシステムから前記第１のモードのアプリケーションに入力される前記操作入力の情報を監視し、前記第１のモードのアプリケーションに入力される前記操作入力の情報と同様の操作入力の情報を前記第２のモードのアプリケーションに入力する、請求項２記載の情報機器。 The guidance display unit
The operation input information input to the first mode application from the operating system is monitored, and the same operation input information as the operation input information input to the first mode application is stored in the first mode. The information device according to claim 2, wherein the information device is input to an application in mode 2.
前記第１の表示画面が遷移するまで、前記優先順位に基づいて、該オブジェクトの選択と前記所定の操作入力の情報の入力を繰り返す、請求項３記載の情報機器。 The guidance display unit selects, from the detected objects, one of the objects in a priority order based on a ratio of each of the objects in the screen,
The information device according to claim 3, wherein the selection of the object and the input of information of the predetermined operation input are repeated based on the priority order until the first display screen transitions.
前記第１のガイダンスと、前記第２のガイダンスを交互に表示する、請求項３記載の情報機器。 The guidance includes a first guidance based on the first display screen and a second guidance based on the second display screen,
The information device according to claim 3, wherein the first guidance and the second guidance are alternately displayed.
アプリケーションを記憶する記憶部と、
前記アプリケーションの操作入力を行う入力部と、
前記アプリケーションの情報を前記表示部に表示する制御部と、を含む情報機器の表示制御方法であって、
前記制御部は、
前記入力部からの操作入力の情報を前記アプリケーションに入力する第１のモードと、所定の操作入力の情報を前記アプリケーションに入力する第２のモードと、によって前記アプリケーションを動作させ、
前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析し、
前記解析した遷移画面の情報を操作ガイダンスとして構築し、
前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する、表示制御方法。 A display unit for displaying a screen;
A storage unit for storing the application;
An input unit for performing operation input of the application;
A control unit that displays information on the application on the display unit, and a display control method for an information device,
The controller is
The application is operated by a first mode for inputting operation input information from the input unit to the application and a second mode for inputting predetermined operation input information to the application,
Analyzing the screen of the application that has transitioned according to the information of the predetermined operation input in the operation of the second mode,
The information of the analyzed transition screen is constructed as operation guidance,
A display control method for displaying the constructed operation guidance on a part of a display screen of an application in the first mode.
アプリケーションを記憶する記憶部と、
前記アプリケーションの操作入力を行う入力部と、
前記アプリケーションの情報を前記表示部に表示する制御部と、を含む情報機器の表示制御プログラムであって、
前記制御部が、
前記入力部からの操作入力の情報を前記アプリケーションに入力する第１のモードと、所定の操作入力の情報を前記アプリケーションに入力する第２のモードと、によって前記アプリケーションを動作させる処理と、
前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析する処理と、
前記解析した遷移画面の情報を操作ガイダンスとして構築する処理と、
前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する処理と、をコンピュータに実行させるプログラム。 A display unit for displaying a screen;
A storage unit for storing the application;
An input unit for performing operation input of the application;
A control unit for displaying information on the application on the display unit, and a display control program for an information device,
The control unit is
A process of operating the application by a first mode for inputting operation input information from the input unit to the application and a second mode for inputting predetermined operation input information to the application;
A process of analyzing the screen of the application that has transitioned according to the information of the predetermined operation input in the operation of the second mode;
Processing to construct the analyzed transition screen information as operation guidance;
A program for causing a computer to execute processing for displaying the constructed operation guidance on a part of a display screen of the application in the first mode.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012177312A JP2014035688A (en) | 2012-08-09 | 2012-08-09 | Information device, display control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012177312A JP2014035688A (en) | 2012-08-09 | 2012-08-09 | Information device, display control method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014035688A true JP2014035688A (en) | 2014-02-24 |
Family
ID=50284640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012177312A Pending JP2014035688A (en) | 2012-08-09 | 2012-08-09 | Information device, display control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014035688A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6133460B1 (en) * | 2016-02-16 | 2017-05-24 | ソフトバンク株式会社 | Operation support system, operation support program, and operation support method |
| JP2019012363A (en) * | 2017-06-29 | 2019-01-24 | キヤノン株式会社 | Electronic apparatus and control method thereof |
-
2012
- 2012-08-09 JP JP2012177312A patent/JP2014035688A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6133460B1 (en) * | 2016-02-16 | 2017-05-24 | ソフトバンク株式会社 | Operation support system, operation support program, and operation support method |
| JP2017146740A (en) * | 2016-02-16 | 2017-08-24 | ソフトバンク株式会社 | Operation support system, operation support program, and operation support method |
| JP2019012363A (en) * | 2017-06-29 | 2019-01-24 | キヤノン株式会社 | Electronic apparatus and control method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11054988B2 (en) | Graphical user interface display method and electronic device | |
| US9766739B2 (en) | Method and apparatus for constructing a home screen in a terminal having a touch screen | |
| KR101493603B1 (en) | Display terminal device connectable to external display device and method therefor | |
| EP3136214A1 (en) | Touch operation method and apparatus for terminal | |
| US20100107067A1 (en) | Input on touch based user interfaces | |
| US8909298B2 (en) | Apparatus and method for mobile screen navigation | |
| JP5160337B2 (en) | INPUT PROCESSING DEVICE, INPUT PROCESSING METHOD, INPUT PROCESSING PROGRAM, AND PORTABLE TERMINAL DEVICE | |
| US10007375B2 (en) | Portable apparatus and method for controlling cursor position on a display of a portable apparatus | |
| JP2007251920A (en) | High-speed application access method for mobile terminal and device required thereby | |
| US20150296071A1 (en) | Terminal apparatus and method of controlling terminal apparatus with multi-tasking features | |
| JP6059114B2 (en) | Portable terminal, coupling control program, and coupling control method | |
| JP2014099071A (en) | Portable terminal, lock state control program and lock state control method | |
| KR102117086B1 (en) | Terminal and method for controlling thereof | |
| JP2007188265A (en) | Information processing apparatus, method for controlling the same and control program | |
| KR20140040401A (en) | Method for providing one hand control mode and an electronic device thereof | |
| KR20140089224A (en) | Device and method for executing operation based on touch-input | |
| US20140019895A1 (en) | Electronic device | |
| JP2012174247A (en) | Mobile electronic device, contact operation control method, and contact operation control program | |
| JP2014035688A (en) | Information device, display control method, and program | |
| CN107728898B (en) | Information processing method and mobile terminal | |
| KR101370210B1 (en) | Mobile communication terminal with a touch screen and method of displaying application contents | |
| US20150234546A1 (en) | Method for Quickly Displaying a Skype Contacts List and Computer Program Thereof and Portable Electronic Device for Using the Same | |
| JP2014222379A (en) | Information terminal, touch operation processing method, and program | |
| CN107277758B (en) | Data transmission method and mobile terminal | |
| CN107528965B (en) | Lyric poster generation method and mobile terminal |