WO2015005058A1 - Touch operation compatible program code conversion method and program - Google Patents
Touch operation compatible program code conversion method and program Download PDFInfo
- Publication number
- WO2015005058A1 WO2015005058A1 PCT/JP2014/065630 JP2014065630W WO2015005058A1 WO 2015005058 A1 WO2015005058 A1 WO 2015005058A1 JP 2014065630 W JP2014065630 W JP 2014065630W WO 2015005058 A1 WO2015005058 A1 WO 2015005058A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- screen
- program
- program code
- management component
- touch
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Abstract
[Problem] To develop an application program which effectively utilizes existing application program resources and can be used easily on a touch-compatible terminal device.
[Solution] A method and a program whereby screen management components compatible with touch operations are added to an existing application program, and the application program is converted such that one or more screen components selected by a user are managed as children of a touch-compatible screen management component, thereby facilitating touch operations.
Description
本発明はタッチ対応ディスプレイを備えたコンピューター機器向けにアプリケーション・プログラム・コードを変換する方法およびプログラムに関する。
The present invention relates to a method and program for converting application program code for a computer device having a touch-enabled display.
タブレット端末に代表されるタッチ対応ディスプレイを備えたコンピューター機器が急速に普及し始めている。これらの機器は、特許文献１等に開示されているように指による画面のタッチ操作を使用した直感的な操作に基づくユーザー・インターフェースを提供することで、使いやすさを大きく向上させている。
Computer devices equipped with a touch-compatible display represented by a tablet terminal have begun to spread rapidly. These devices greatly improve ease of use by providing a user interface based on an intuitive operation using a touch operation on a screen with a finger as disclosed in Patent Document 1 and the like.
従来型のタッチ対応ではないコンピューター機器向けに開発されたアプリケーション・プログラムも市場で広く普及していることから、これらのプログラムをタッチ対応機器上で稼働するニーズが存在する。システム・ソフトウェアの機能により、指によるタッチ操作をマウス操作としてエミュレートすることで、タッチ非対応のアプリケーション・プログラムをタッチ対応機器で稼働することは技術的には可能であるが、マウス操作やキーボード操作を前提とした小さな画面部品を指で操作することは困難であり、使いやすさが犠牲になっていた。
Application programs developed for computer devices that are not traditional touch-enabled are also widely used in the market, and there is a need to run these programs on touch-enabled devices. Although it is technically possible to run non-touch-enabled application programs on touch-enabled devices by emulating finger touch operations as mouse operations using system software functions, mouse operations and keyboards are possible. It was difficult to operate small screen components with the fingers on the premise of operation, and the ease of use was sacrificed.
（従来技術の問題点）
この問題に対応するためにタッチ非対応のアプリケーション・プログラムを一部改修し、タッチ操作を容易にするために大きく以下のような手法が取られていたが、それぞれに問題点があった。 (Problems of conventional technology)
In order to deal with this problem, some non-touch application programs have been refurbished and the following methods have been taken to facilitate touch operations, but each has its own problems.
この問題に対応するためにタッチ非対応のアプリケーション・プログラムを一部改修し、タッチ操作を容易にするために大きく以下のような手法が取られていたが、それぞれに問題点があった。 (Problems of conventional technology)
In order to deal with this problem, some non-touch application programs have been refurbished and the following methods have been taken to facilitate touch operations, but each has its own problems.
第一は、画面部品を指のタッチ操作向けにサイズを大きくして画面を再設計する方法である。この方法は、画面部品が重ならないよう注意深い設計が必要であり、また、ウィンドウそのものを大きくする必要があることから端末機器の物理的画面サイズの制約を受けるという問題点があった。
The first is a method of redesigning the screen by increasing the size of the screen component for a finger touch operation. This method requires a careful design so that the screen parts do not overlap each other, and has a problem that the physical screen size of the terminal device is restricted because the window itself needs to be enlarged.
なお、本明細書において、画面部品とはボタン、チェックボックス、リスト、メニュー等のウィンドウ上に表示され、ユーザーによる操作対象となるユーザー・インターフェースの構成要素を指すものとする（一般に、コントロール、ウィジェット等と呼ばれることもある）。
In this specification, a screen component is a component of a user interface that is displayed on a window such as a button, a check box, a list, or a menu, and is a target of operation by a user (generally, control, widget Etc.).
第二は、ウィンドウをリサイズ可能にし、ウィンドウのサイズの変更に応じてそのウィンドウ内の画面部品のサイズが自動的に変更されるようにする方法である。この方法でも、端末機器の物理的画面サイズの制約を受ける点は第一の方法と同様である。また、Windows（登録商標）などの普及したオペレーティング・システムでは、ウィンドウの縁のドラッグ操作がウィンドウをリサイズする際の標準的操作方法になっているが、指のタッチによってこの操作を行なうことは難しいという現実的問題点があった。
The second is a method in which the window can be resized so that the size of the screen component in the window is automatically changed according to the change in the size of the window. This method is also the same as the first method in that it is restricted by the physical screen size of the terminal device. In a popular operating system such as Windows (registered trademark), the drag operation of the edge of the window is a standard operation method for resizing the window, but it is difficult to perform this operation by touching a finger. There was a real problem.
第三は、画面部品をタッチ操作に向いた物に変更する方法である。この方法は、元のアプリケーション・プログラムと比較して画面の体裁や操作手順が変わってしまうこと、および、変更した画面部品が正しく動作するかのテストをやり直す必要があるという問題があった。
The third method is to change the screen component to an object suitable for touch operation. This method has a problem that the appearance and operation procedure of the screen are changed as compared with the original application program, and that it is necessary to retest whether the changed screen part operates correctly.
加えて、上記の第一の方法、第二の方法、第三の方法では、マウス向けとタッチ向けでアプリケーション・プログラムのソースコードを二重管理しなければいけないという共通の問題点があった。
In addition, the first method, the second method, and the third method have a common problem that the source code of the application program must be double managed for the mouse and the touch.
第四は、非特許文献１等に開示されている、主に視覚障がい者向けのアクセシビリティ向上を目的とした画面拡大ツールを使用する方法である。この方法は、汎用ツールの応用であるため、ユーザーの操作が煩雑になる、および、アプリケーション・プログラムに最適化された操作を提供できないという問題点があった。
The fourth is a method of using a screen enlargement tool disclosed in Non-Patent Document 1 and the like mainly for the purpose of improving accessibility for visually impaired persons. Since this method is an application of a general-purpose tool, there are problems that a user's operation becomes complicated and an operation optimized for an application program cannot be provided.
タッチ操作向けでないアプリケーション・プログラムのコードを大幅に変更することなく、タッチ操作に適したユーザー・インターフェースを実現できるプログラム・コード変換方法、システム、および、プログラムを提供する。
Provided are a program code conversion method, system, and program capable of realizing a user interface suitable for touch operation without significantly changing the code of an application program not intended for touch operation.
本願発明は、第一のプログラム・コードを第二のプログラム・コードに変換するコンピューターにより実現する方法であって、ユーザーのタッチ操作により操作可能な画面管理部品を第一のプログラム・コードに付加するステップと、第一のプログラム・コードに含まれる画面部品からタッチ操作の対象とする一つ以上の画面部品を選択するステップと、前記画面管理部品を前記一つ以上の画面部品とを対応づけるステップと、前記画面管理部品および前記画面管理部品に対応づけられた前記一つ以上の画面部品を含む第二のプログラム・コードを生成するステップとを含むプログラム・コード変換方法を提供することで上記課題を解決する。
The present invention is a method realized by a computer that converts a first program code into a second program code, and adds a screen management component that can be operated by a user's touch operation to the first program code. Selecting one or more screen parts to be touched from screen parts included in the first program code, and associating the screen management part with the one or more screen parts And a program code conversion method comprising: generating a second program code including the screen management component and the one or more screen components associated with the screen management component. To solve.
また、本願発明は、前記タッチ操作は前記画面管理部品、および、前記画面管理部品に対応づけられた前記一つ以上の画面部品のサイズ変更操作である段落００１４に記載されたプログラム・コード変換方法を提供することで上記課題を解決する。
Further, the present invention provides the program / code conversion method according to paragraph 0014, wherein the touch operation is a size change operation of the screen management component and the one or more screen components associated with the screen management component. The above-mentioned problem is solved by providing
また、本願発明は、段落００１４または段落００１５に記載された方法で使用される画面管理部品プログラムであって、ユーザーのタッチ操作を読み取る手順と、前記タッチ操作に応じた処理を子として管理する一つ以上の画面部品に対して適用する手順とをコンピューターに実行させる画面管理部品プログラムを提供することで上記課題を解決する。
The invention of the present application is a screen management component program used in the method described in paragraph 0014 or paragraph 0015, and manages a procedure for reading a user's touch operation and a process corresponding to the touch operation as a child. The problem is solved by providing a screen management component program that causes a computer to execute a procedure to be applied to two or more screen components.
また、本願発明は、ユーザーからの入力が一定時間なかった場合には前記画面部品を初期状態に戻す手順とを、さらにコンピューターに実行させる段落００１６に記載の画面管理部品プログラムを提供することで上記課題を解決する。
Further, the present invention provides the screen management component program according to paragraph 0016, further causing a computer to execute a procedure for returning the screen component to an initial state when there is no input from a user for a predetermined time. Solve the problem.
また、本願発明は、第一のプログラム・コードを第二のプログラム・コードに変換するプログラムであって、ユーザーのタッチ操作により操作可能な画面管理部品を第一のプログラム・コードに付加する手順と、第一のプログラム・コードに含まれる画面部品からタッチ操作の対象とする一つ以上の画面部品をユーザーに選択させる手順と、前記画面管理部品を前記一つ以上の画面部品とを対応づける手順と、前記画面管理部品および前記画面管理部品に対応づけられた前記一つ以上の画面部品を含む第二のプログラム・コードを生成する手順とを、コンピューターに実行させるプログラム・コード変換プログラムを提供することで上記課題を解決する。
The invention of the present application is a program for converting a first program code into a second program code, and a procedure for adding a screen management component operable by a user's touch operation to the first program code; , A procedure for allowing a user to select one or more screen parts to be touched from screen parts included in the first program code, and a procedure for associating the screen management part with the one or more screen parts And a program code conversion program for causing a computer to execute the screen management component and a procedure for generating a second program code including the one or more screen components associated with the screen management component. This solves the above problem.
また、本願発明は、前記タッチ操作は前記画面管理部品、および、前記画面管理部品に対応づけられた前記一つ以上の画面部品のサイズ変更操作である段落００１８に記載されたプログラム・コード変換プログラムを提供することで上記課題を解決する。
The present invention is the program / code conversion program according to paragraph 0018, wherein the touch operation is a size change operation of the screen management component and the one or more screen components associated with the screen management component. The above-mentioned problem is solved by providing
本願発明によれば、タッチ操作向けでないアプリケーション・プログラムの資産を有効活用して、タッチ操作を提供する端末装置において容易に操作できるアプリケーション・プログラムを作成することができるようになる。
According to the present invention, it is possible to create an application program that can be easily operated on a terminal device that provides a touch operation by effectively utilizing assets of an application program that is not intended for a touch operation.
以下、図を参照しながら、本願発明の実施形態の一例について説明する。
Hereinafter, an example of an embodiment of the present invention will be described with reference to the drawings.
（全体の構成）
図１に本発明の一実施形態の機能構成を示す。変換用コンピューター（101）は、プログラム・コードの変換を行なうコンピューターであり、具体的には、一般的なコンピューター機器、GUI機能を提供するオペレーティング・システム、および、統合開発ツール（IDE）の組み合わせである。変換用コンピューター（101）には、変換前プログラム・コード保存手段（1011）、画面管理部品保存手段（1012）、画面変換手段（1013）、変換後プログラム・コード保存手段（1014）が含まれる。それ以外にも、テキスト・エディター、ウィンドウ操作機能、コンパイル機能、および、デバッグ機能などのプログラム・コード開発作業に必要な機能が含まれるが周知の技術であるため特に説明は行なわない。 (Overall configuration)
FIG. 1 shows a functional configuration of an embodiment of the present invention. The conversion computer (101) is a computer that converts program codes. Specifically, it is a combination of general computer equipment, an operating system that provides GUI functions, and an integrated development tool (IDE). is there. The conversion computer (101) includes a pre-conversion program code storage means (1011), a screen management component storage means (1012), a screen conversion means (1013), and a post-conversion program code storage means (1014). In addition to this, functions necessary for program code development work such as a text editor, a window operation function, a compilation function, and a debugging function are included.
図１に本発明の一実施形態の機能構成を示す。変換用コンピューター（101）は、プログラム・コードの変換を行なうコンピューターであり、具体的には、一般的なコンピューター機器、GUI機能を提供するオペレーティング・システム、および、統合開発ツール（IDE）の組み合わせである。変換用コンピューター（101）には、変換前プログラム・コード保存手段（1011）、画面管理部品保存手段（1012）、画面変換手段（1013）、変換後プログラム・コード保存手段（1014）が含まれる。それ以外にも、テキスト・エディター、ウィンドウ操作機能、コンパイル機能、および、デバッグ機能などのプログラム・コード開発作業に必要な機能が含まれるが周知の技術であるため特に説明は行なわない。 (Overall configuration)
FIG. 1 shows a functional configuration of an embodiment of the present invention. The conversion computer (101) is a computer that converts program codes. Specifically, it is a combination of general computer equipment, an operating system that provides GUI functions, and an integrated development tool (IDE). is there. The conversion computer (101) includes a pre-conversion program code storage means (1011), a screen management component storage means (1012), a screen conversion means (1013), and a post-conversion program code storage means (1014). In addition to this, functions necessary for program code development work such as a text editor, a window operation function, a compilation function, and a debugging function are included.
ここで、画面管理部品とは一つ以上の画面部品を格納し（それらの画面部品の親部品として機能し）、それらの画面部品を一括して管理するための機能を提供するユーザー・インターフェース上の構成要素を実現するプログラムを意味する（一般には、コンテナーとも呼ばれる）。また、本明細書において、プログラム・コードには実行可能なプログラムだけではなく、プログラムの画面設計や挙動を決定するデータ（一般に、リソースとも呼ばれる）も含むものとする。
Here, a screen management component is a user interface that stores one or more screen components (functions as a parent component of those screen components) and provides a function for collectively managing those screen components. Means a program that realizes the components (generally called a container). In this specification, the program code includes not only an executable program but also data (generally called a resource) for determining the screen design and behavior of the program.
実行用コンピューター（102）は、変換用コンピューター（101）によって変換されたプログラム・コードを保存し、実行するコンピューターであり、具体的には、タッチ対応ディスプレイを備えたコンピューター機器（たとえば、タブレット端末）とタッチ対応のGUIを提供するオペレーティング・システムの組み合わせである。実行用コンピューター（102）は、変換後プログラム・コード保存手段（1021）と変換後プログラム・コード実行手段（1022）を含む。実行用コンピューター（102）のその他の機能は周知技術であるため特に説明は行なわない。実行用コンピューター（102）は、変換用コンピューター（101）とネットワークで接続されていてもされていなくてもよい。ネットワークで接続されていない場合には、変換後プログラム・コードは記憶媒体経由で変換用コンピューター（101）から実行用コンピューター（102）へ提供される。
The execution computer (102) is a computer that stores and executes the program code converted by the conversion computer (101). Specifically, the execution computer (102) is a computer device (for example, a tablet terminal) having a touch-compatible display. And an operating system that provides a touch-enabled GUI. The execution computer (102) includes a converted program code storage means (1021) and a converted program code execution means (1022). The other functions of the execution computer (102) are well-known techniques and will not be described in particular. The execution computer (102) may or may not be connected to the conversion computer (101) via a network. When not connected via a network, the converted program code is provided from the conversion computer (101) to the execution computer (102) via a storage medium.
（開発時の操作）
図２に、変換用コンピューター（101）において、変換対象のプログラム・コードの画面部品の中から複数の画面部品を選択して、拡大・縮小が可能な画面管理部品に対応づける際の画面表示と画面操作の例を示す。図２－ａは初期状態であり、右側に変換対象のプログラム・コードのウィンドウが表示されており、左側に右側のウィンドウに追加できる画面部品および画面管理部品を列挙するツールボックスが表示されている。 (Operation during development)
FIG. 2 shows a screen display when the conversion computer (101) selects a plurality of screen parts from among the screen parts of the program code to be converted and associates them with a screen management part that can be enlarged or reduced. An example of screen operation is shown. Fig. 2-a shows the initial state, the window of the program code to be converted is displayed on the right side, and the toolbox for listing the screen parts and screen management parts that can be added to the right window is displayed on the left side. .
図２に、変換用コンピューター（101）において、変換対象のプログラム・コードの画面部品の中から複数の画面部品を選択して、拡大・縮小が可能な画面管理部品に対応づける際の画面表示と画面操作の例を示す。図２－ａは初期状態であり、右側に変換対象のプログラム・コードのウィンドウが表示されており、左側に右側のウィンドウに追加できる画面部品および画面管理部品を列挙するツールボックスが表示されている。 (Operation during development)
FIG. 2 shows a screen display when the conversion computer (101) selects a plurality of screen parts from among the screen parts of the program code to be converted and associates them with a screen management part that can be enlarged or reduced. An example of screen operation is shown. Fig. 2-a shows the initial state, the window of the program code to be converted is displayed on the right side, and the toolbox for listing the screen parts and screen management parts that can be added to the right window is displayed on the left side. .
図２－ｂでは、ツールボックスからタッチ対応画面管理部品が選択され、変換対象ウィンドウにドラッグ・アンド・ドロップされることで、当該タッチ対応画面管理部品が変換対象ウィンドウに追加されることが示されている。この操作は一例であり、メニューから選択するなどの他の方法を使用してよい。
FIG. 2B shows that the touch-compatible screen management component is selected from the toolbox and dragged and dropped onto the conversion target window, so that the touch-compatible screen management component is added to the conversion target window. ing. This operation is an example, and other methods such as selection from a menu may be used.
図２－ｃでは、変換対象ウィンドウの中からタッチ操作の対象としたい画面部品が選択され、タッチ対応画面管理部品にドラッグ・アンド・ドロップされることで、選択された画面部品がタッチ対応画面管理部品の管理下になることが示されている。この操作は一例であり、メニューから選択するなどの他の方法を使用してよい。
In FIG. 2C, a screen part to be touched is selected from the conversion target window, and the selected screen part is dragged and dropped onto the touch-compatible screen management part. It is shown to be under part control. This operation is an example, and other methods such as selection from a menu may be used.
図３に図２の操作を行なった際の、画面変換手段（1013）の処理フローチャートの例を示す。一般に、ウィンドウ、画面部品、および、画面管理部品の間には親子関係がある。通常、子の画面部品は親の画面部品（ウィンドウ、画面管理部品）のサイズ変更に応じてサイズが変更される。画面変換手段（1013）は、図２に示したような開発者の画面操作にしたがって、この親子関係の変更を行なう。
FIG. 3 shows an example of a processing flowchart of the screen conversion means (1013) when the operation of FIG. 2 is performed. In general, there is a parent-child relationship among windows, screen components, and screen management components. Usually, the size of the child screen component is changed in accordance with the size change of the parent screen component (window, screen management component). The screen conversion means (1013) changes the parent-child relationship according to the developer's screen operation as shown in FIG.
ユーザーが図２に示した操作を行ない、画面変換手段（1013）が図３に示した処理を行なった際の、変換対象ウィンドウ内の画面部品および画面管理部品の親子関係の変化を図４に示す。変換処理により、ユーザーにより選択された画面部品（この例では、ボタン１、ボタン２、ボタン３、ボタン４、および、リスト２が、追加されたタッチ対応画面管理部品の子の位置に置かれる。なお、ユーザーにより選択されていない画面部品（この例では、リスト１の親子関係は変化しない。
FIG. 4 shows the change in the parent-child relationship between the screen component and the screen management component in the conversion target window when the user performs the operation shown in FIG. 2 and the screen conversion means (1013) performs the processing shown in FIG. Show. By the conversion process, the screen parts (in this example, button 1, button 2, button 3, button 4, and list 2 selected by the user are placed at the child positions of the added touch-compatible screen management parts. Note that the screen parts not selected by the user (in this example, the parent-child relationship of list 1 does not change.
（変換後プログラムの動作）
図５は、変換用コンピューター（101）において、本願発明に係る技術によって変換された後のプログラム・コードを実行用コンピューター（102）で実行する際の、ユーザー操作と画面表示の例である。図５－ａはアプリケーション・プログラムの初期状態画面である。ボタン１、ボタン２，ボタン３，ボタン４、および、リスト２はタッチ操作には小さすぎて操作性が悪化するため、図２の例で示したように、ズーム処理を提供するタッチ対応画面管理部品を使用することでこれらの画面部品をズーム可能な状態に変換しているものとする。 (Operation of converted program)
FIG. 5 is an example of user operations and screen display when the program code after being converted by the technology according to the present invention is executed by the execution computer (102) in the conversion computer (101). FIG. 5A shows an initial state screen of the application program. Since button 1, button 2, button 3, button 4, and list 2 are too small for touch operation and the operability deteriorates, as shown in the example of FIG. 2, touch-compatible screen management that provides zoom processing It is assumed that these screen parts are converted into a zoomable state by using the parts.
図５は、変換用コンピューター（101）において、本願発明に係る技術によって変換された後のプログラム・コードを実行用コンピューター（102）で実行する際の、ユーザー操作と画面表示の例である。図５－ａはアプリケーション・プログラムの初期状態画面である。ボタン１、ボタン２，ボタン３，ボタン４、および、リスト２はタッチ操作には小さすぎて操作性が悪化するため、図２の例で示したように、ズーム処理を提供するタッチ対応画面管理部品を使用することでこれらの画面部品をズーム可能な状態に変換しているものとする。 (Operation of converted program)
FIG. 5 is an example of user operations and screen display when the program code after being converted by the technology according to the present invention is executed by the execution computer (102) in the conversion computer (101). FIG. 5A shows an initial state screen of the application program. Since button 1, button 2, button 3, button 4, and list 2 are too small for touch operation and the operability deteriorates, as shown in the example of FIG. 2, touch-compatible screen management that provides zoom processing It is assumed that these screen parts are converted into a zoomable state by using the parts.
図５－ｂおよび図５－ｃは、ボタン１、ボタン２，ボタン３，ボタン４、および、リスト２の親であるタッチ対応画面管理部品の領域において、ユーザーがタッチによるピンチアウト操作前後の画面例である。ボタンやリストが拡大表示され、タッチによる選択や押下が行ないやすくなっている。なお、図５－ｃではウィンドウの領域外に表示されているボタン２、ボタン４、および、リスト２はユーザーのスワイプ操作（あるいは、他の所定のタッチジェスチャー、マウス操作、キーボード操作等）によりタッチ対応画面管理部品の領域をスクロールすることで表示可能である。タッチ操作に十分な大きさがあるため変換の対象外とした画面部品（この例では、リスト１の大きさは変化しない。また、拡大対象の画面部品はウィンドウや端末の物理画面の制約を超えて拡大可能である。画面管理部品の拡大操作（および、それに伴う当該画面管理部品の子であるひとつ以上の画面部品の拡大操作）はピンチアウト操作だけではなく、それ以外のタッチジェスチャー、あるいは、マウス操作やキーボード操作等で行なえるようにしてもよい。
FIG. 5B and FIG. 5C show the screens before and after the pinch-out operation by the user in the area of the touch-compatible screen management component that is the parent of the button 1, button 2, button 3, button 4, and list 2. It is an example. Buttons and lists are enlarged, making it easier to select and press by touch. In FIG. 5C, Button 2, Button 4, and List 2 displayed outside the window area are touched by the user's swipe operation (or other predetermined touch gesture, mouse operation, keyboard operation, etc.). It can be displayed by scrolling the area of the corresponding screen management component. Screen parts that are not subject to conversion because the touch operation is sufficiently large (in this example, the size of list 1 does not change. In addition, the screen parts to be enlarged exceed the physical screen restrictions of windows and terminals. The enlargement operation of the screen management component (and the enlargement operation of one or more screen components that are children of the screen management component) is not only a pinch-out operation, but other touch gestures, The operation may be performed by a mouse operation or a keyboard operation.
本願発明の効果を説明するための比較対象例として、本願発明に係る技術を使用せず、ウィンドウそのものの拡大操作を行なった場合の画面表示の例を図６に示した。この場合には、端末の物理画面の制限を超えて画面を拡大できない、拡大の必要がない画面部品（この例では、リスト１まで拡大の対象となってしまう、そして、それらの結果として拡大が必要な画面部品（この例では、ボタン１、ボタン２，ボタン３，ボタン４、および、リスト２が十分な大きさまで拡大できないという問題が生じる。
FIG. 6 shows an example of a screen display when the window itself is enlarged without using the technique according to the present invention as a comparative example for explaining the effect of the present invention. In this case, the screen cannot be enlarged beyond the limit of the physical screen of the terminal, and the screen parts that do not need to be enlarged (in this example, the list is expanded up to List 1, and as a result, the enlargement is performed. There is a problem that necessary screen parts (in this example, button 1, button 2, button 3, button 4, and list 2 cannot be enlarged to a sufficient size).
タッチによる拡大操作が不要になった時はウィンドウを初期の状態に戻して拡大の対象になっていた領域の全体を表示することができる。この画面部品のサイズ復帰の操作はピンチイン操作で行なうことができるが、それ以外のタッチジェスチャー、あるいは、マウスやキーボードによる所定の操作であってよい。また、タイマー処理により一定時間ユーザーからの入力がなかった時はウィンドウを初期の状態に戻すようにしてもよい。
When the enlargement operation by touch is no longer necessary, the window can be returned to the initial state to display the entire area to be enlarged. The operation of restoring the size of the screen component can be performed by a pinch-in operation, but may be a touch gesture other than that or a predetermined operation using a mouse or a keyboard. Further, the window may be returned to the initial state when there is no input from the user for a certain period of time by the timer process.
図７に、ユーザーが図５－ｂから図５－ｃに至る操作を行なった場合の、変換されたプログラム・コード中のタッチ操作対応画面管理部品の処理の概要を示す。
FIG. 7 shows an outline of the process of the touch operation corresponding screen management component in the converted program code when the user performs the operation from FIG. 5-b to FIG. 5-c.
（本発明による顕著な技術的効果）
本願発明により以下のような顕著な技術的効果が得られる。第一に、元々の画面設計（画面部品の大きさを定義したソースコード）をタッチ操作向けに書き換える必要がない。第二に、個々の画面部品を直接拡大するのではなく、画面管理部品（コンテナー）を介した拡大操作を行なうことでウィンドウ枠や画面枠の上限を超えた拡大操作が可能になる。第三に、ウィンドウ枠や画面枠の縦横比に依存せずに画面管理部品の領域を拡大できるため、ウィンドウ全体をリサイズする場合と異なり、元の画面の縦横比を維持できる。第四に、画面管理部品領域内の任意の場所でタッチ操作（ピンチアウト）によって拡大を指示できるため、ウィンドウの端をつかむ標準的リサイズ操作によって画面を大きくする場合と比較して指による操作が容易になる。第五に、マウス向けの画面デザインをそのまま維持できるため、開発工数を削減できる。第六に、タッチ操作対応処理が画面管理部品として一箇所にまとめられているため、開発作業において、アプリケーションのソースコードがタッチ操作によるズームに対応しているのか否かを、開発者がこの画面管理部品の有無によって容易に識別できる。第七に、開発者が複数のアプリケーションのソースコードに対してタッチ対応の変換作業を行なう際に、画面管理部品を追加するという同等の手順によって効率的に変換作業を反復できる。第八に、新たなデバイスやズーム処理への対応が必要になった時には、これらに対応できる新たな画面管理部品への交換によって、容易にアプリケーションのタッチ対応機能をアップグレードできる。第九に、タッチ対応機能が不要になった場合には画面管理部品を削除だけでタッチ対応機能を削除できるため、アプリケーションのソースコード管理の負担を減らすことができる。 (Remarkable technical effect of the present invention)
According to the present invention, the following remarkable technical effects can be obtained. First, it is not necessary to rewrite the original screen design (source code defining the size of the screen parts) for touch operation. Secondly, instead of directly enlarging individual screen parts, an enlargement operation exceeding the upper limit of the window frame or the screen frame becomes possible by performing an enlargement operation via a screen management part (container). Third, since the area of the screen management component can be enlarged without depending on the aspect ratio of the window frame or the screen frame, the aspect ratio of the original screen can be maintained unlike the case of resizing the entire window. Fourthly, since it is possible to instruct enlargement by touch operation (pinch out) at any place in the screen management component area, it is possible to operate with a finger compared to the case of enlarging the screen by standard resizing operation that grabs the edge of the window It becomes easy. Fifth, since the screen design for the mouse can be maintained as it is, development man-hours can be reduced. Sixth, because the touch operation support processing is gathered in one place as a screen management component, the developer determines whether or not the application source code supports zoom by touch operation in the development work. It can be easily identified by the presence or absence of management parts. Seventh, when the developer performs a touch-compatible conversion operation on the source code of a plurality of applications, the conversion operation can be efficiently repeated by an equivalent procedure of adding a screen management component. Eighth, when it becomes necessary to support new devices and zoom processing, the touch support function of the application can be easily upgraded by replacing with a new screen management component that can handle these. Ninth, when the touch support function is no longer necessary, the touch support function can be deleted simply by deleting the screen management component, so the burden of managing the source code of the application can be reduced.
本願発明により以下のような顕著な技術的効果が得られる。第一に、元々の画面設計（画面部品の大きさを定義したソースコード）をタッチ操作向けに書き換える必要がない。第二に、個々の画面部品を直接拡大するのではなく、画面管理部品（コンテナー）を介した拡大操作を行なうことでウィンドウ枠や画面枠の上限を超えた拡大操作が可能になる。第三に、ウィンドウ枠や画面枠の縦横比に依存せずに画面管理部品の領域を拡大できるため、ウィンドウ全体をリサイズする場合と異なり、元の画面の縦横比を維持できる。第四に、画面管理部品領域内の任意の場所でタッチ操作（ピンチアウト）によって拡大を指示できるため、ウィンドウの端をつかむ標準的リサイズ操作によって画面を大きくする場合と比較して指による操作が容易になる。第五に、マウス向けの画面デザインをそのまま維持できるため、開発工数を削減できる。第六に、タッチ操作対応処理が画面管理部品として一箇所にまとめられているため、開発作業において、アプリケーションのソースコードがタッチ操作によるズームに対応しているのか否かを、開発者がこの画面管理部品の有無によって容易に識別できる。第七に、開発者が複数のアプリケーションのソースコードに対してタッチ対応の変換作業を行なう際に、画面管理部品を追加するという同等の手順によって効率的に変換作業を反復できる。第八に、新たなデバイスやズーム処理への対応が必要になった時には、これらに対応できる新たな画面管理部品への交換によって、容易にアプリケーションのタッチ対応機能をアップグレードできる。第九に、タッチ対応機能が不要になった場合には画面管理部品を削除だけでタッチ対応機能を削除できるため、アプリケーションのソースコード管理の負担を減らすことができる。 (Remarkable technical effect of the present invention)
According to the present invention, the following remarkable technical effects can be obtained. First, it is not necessary to rewrite the original screen design (source code defining the size of the screen parts) for touch operation. Secondly, instead of directly enlarging individual screen parts, an enlargement operation exceeding the upper limit of the window frame or the screen frame becomes possible by performing an enlargement operation via a screen management part (container). Third, since the area of the screen management component can be enlarged without depending on the aspect ratio of the window frame or the screen frame, the aspect ratio of the original screen can be maintained unlike the case of resizing the entire window. Fourthly, since it is possible to instruct enlargement by touch operation (pinch out) at any place in the screen management component area, it is possible to operate with a finger compared to the case of enlarging the screen by standard resizing operation that grabs the edge of the window It becomes easy. Fifth, since the screen design for the mouse can be maintained as it is, development man-hours can be reduced. Sixth, because the touch operation support processing is gathered in one place as a screen management component, the developer determines whether or not the application source code supports zoom by touch operation in the development work. It can be easily identified by the presence or absence of management parts. Seventh, when the developer performs a touch-compatible conversion operation on the source code of a plurality of applications, the conversion operation can be efficiently repeated by an equivalent procedure of adding a screen management component. Eighth, when it becomes necessary to support new devices and zoom processing, the touch support function of the application can be easily upgraded by replacing with a new screen management component that can handle these. Ninth, when the touch support function is no longer necessary, the touch support function can be deleted simply by deleting the screen management component, so the burden of managing the source code of the application can be reduced.
Claims (6)
- 第一のプログラム・コードを第二のプログラム・コードに変換するコンピューターにより実現する方法であって、
ユーザーのタッチ操作により操作可能な画面管理部品を第一のプログラム・コードに付加するステップと、
第一のプログラム・コードに含まれる画面部品からタッチ操作の対象とする一つ以上の画面部品を選択するステップと、
前記画面管理部品と前記一つ以上の画面部品とを対応づけるステップと、
前記画面管理部品、および、前記画面管理部品に対応づけられた前記一つ以上の画面部品を含む第二のプログラム・コードを生成するステップと
を含むプログラム・コード変換方法 A computer-implemented method for converting a first program code into a second program code,
Adding a screen management component operable by a user's touch operation to the first program code;
Selecting one or more screen parts to be touched from screen parts included in the first program code;
Associating the screen management component with the one or more screen components;
A program code conversion method including: the screen management component; and a step of generating a second program code including the one or more screen components associated with the screen management component. - 前記タッチ操作は前記画面管理部品、および、前記画面管理部品に対応づけられた前記一つ以上の画面部品のサイズ変更操作である請求項１に記載のプログラム・コード変換方法 The program / code conversion method according to claim 1, wherein the touch operation is a size change operation of the screen management component and the one or more screen components associated with the screen management component.
- 請求項１または請求項２に記載の方法で使用される画面管理部品プログラムであって、
ユーザーのタッチ操作を読み取る手順と、
前記タッチ操作に応じた処理を子として管理する一つ以上の画面部品に対して適用する手順とを
コンピューターに実行させる画面管理部品プログラム A screen management component program used in the method according to claim 1 or 2,
Steps to read user touch actions,
A screen management component program that causes a computer to execute a procedure to be applied to one or more screen components that manage processing corresponding to the touch operation as a child - ユーザーからの入力が一定時間なかった場合には前記画面部品を初期状態に戻す手順とを、さらにコンピューターに実行させる
請求項３に記載の画面管理部品プログラム The screen management component program according to claim 3, further causing a computer to execute a procedure for returning the screen component to an initial state when there is no input from a user for a predetermined time. - 第一のプログラム・コードを第二のプログラム・コードに変換するプログラムであって、
ユーザーのタッチ操作により操作可能な画面管理部品を第一のプログラム・コードに付加する手順と、
第一のプログラム・コードに含まれる画面部品からタッチ操作の対象とする一つ以上の画面部品をユーザーに選択させる手順と、
前記画面管理部品と前記一つ以上の画面部品とを対応づける手順と、
前記画面管理部品、および前記画面管理部品に対応づけられた前記一つ以上の画面部品を含む第二のプログラム・コードを生成する手順とを
コンピューターに実行させるプログラム・コード変換プログラム A program for converting a first program code into a second program code,
A procedure for adding a screen management component that can be operated by a user's touch operation to the first program code;
A procedure for allowing the user to select one or more screen parts to be touched from the screen parts included in the first program code;
Associating the screen management component with the one or more screen components;
A program code conversion program for causing a computer to execute the screen management component and a procedure for generating a second program code including the one or more screen components associated with the screen management component - 前記タッチ操作は画面部品のサイズ変更操作である請求項５に記載のプログラム・コード変換プログラム The program / code conversion program according to claim 5, wherein the touch operation is a screen component size changing operation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014535841A JP5705383B1 (en) | 2013-07-08 | 2014-06-12 | Touch operation compatible program code conversion method and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013142468 | 2013-07-08 | ||
| JP2013-142468 | 2013-07-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015005058A1 true WO2015005058A1 (en) | 2015-01-15 |
Family
ID=52279747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2014/065630 WO2015005058A1 (en) | 2013-07-08 | 2014-06-12 | Touch operation compatible program code conversion method and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5705383B1 (en) |
| WO (1) | WO2015005058A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7415086B1 (en) | 2023-02-10 | 2024-01-16 | 三菱電機株式会社 | Drawing support program, drawing support device, and drawing support method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11345055A (en) * | 1998-05-29 | 1999-12-14 | Nec Software Ltd | Operating system |
| US20050066287A1 (en) * | 2003-09-11 | 2005-03-24 | Tattrie Scott I. | User-friendly data binding, such as drag-and-drop data binding in a workflow application |
| JP2010515978A (en) * | 2007-01-07 | 2010-05-13 | アップル インコーポレイテッド | List scrolling, document translation, scaling and rotation on touchscreen displays |
| JP2013186713A (en) * | 2012-03-08 | 2013-09-19 | Nec Corp | Software converter, software conversion system, software conversion method and software conversion program |
-
2014
- 2014-06-12 WO PCT/JP2014/065630 patent/WO2015005058A1/en active Application Filing
- 2014-06-12 JP JP2014535841A patent/JP5705383B1/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11345055A (en) * | 1998-05-29 | 1999-12-14 | Nec Software Ltd | Operating system |
| US20050066287A1 (en) * | 2003-09-11 | 2005-03-24 | Tattrie Scott I. | User-friendly data binding, such as drag-and-drop data binding in a workflow application |
| JP2010515978A (en) * | 2007-01-07 | 2010-05-13 | アップル インコーポレイテッド | List scrolling, document translation, scaling and rotation on touchscreen displays |
| JP2013186713A (en) * | 2012-03-08 | 2013-09-19 | Nec Corp | Software converter, software conversion system, software conversion method and software conversion program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7415086B1 (en) | 2023-02-10 | 2024-01-16 | 三菱電機株式会社 | Drawing support program, drawing support device, and drawing support method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2015005058A1 (en) | 2017-03-02 |
| JP5705383B1 (en) | 2015-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109074276B (en) | Tab in system task switcher | |
| TWI553541B (en) | Method and computing device for semantic zoom | |
| US9152529B2 (en) | Systems and methods for dynamically altering a user interface based on user interface actions | |
| US9542020B2 (en) | Remote session control using multi-touch inputs | |
| US10048840B2 (en) | Application switching in a graphical operating system | |
| Hamon et al. | Formal description of multi-touch interactions | |
| US20140282165A1 (en) | Method for executing a plurality of object and related data processing apparatus | |
| Ingram et al. | Towards the establishment of a framework for intuitive multi-touch interaction design | |
| US11099723B2 (en) | Interaction method for user interfaces | |
| CN101493750A (en) | Application program control input method and device based on touch screen input | |
| US10095328B2 (en) | Virtual input device system | |
| US20160231876A1 (en) | Graphical interaction in a touch screen user interface | |
| JP5705383B1 (en) | Touch operation compatible program code conversion method and program | |
| US20180090027A1 (en) | Interactive tutorial support for input options at computing devices | |
| US20150143289A1 (en) | Automatic check box interaction | |
| JP2015531086A (en) | Realization of efficient cascade operation | |
| JP6188405B2 (en) | Display control apparatus, display control method, and program | |
| CN104081333A (en) | Remote display area including input lenses each depicting a region of a graphical user interface | |
| Humayoun et al. | Patterns for designing scalable mobile app user interfaces for multiple platforms | |
| US9766807B2 (en) | Method and system for giving prompt about touch input operation | |
| US11366571B2 (en) | Visualization components including sliding bars | |
| JP6419270B2 (en) | Display control apparatus, display control method, and program | |
| Diakopoulos et al. | Argos: An Open Source Application For Building Multi-Touch Musical Interfaces. | |
| JP2020064636A (en) | Method implemented in computer for selecting item from list | |
| Agarwal et al. | Working with Events |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ENP | Entry into the national phase |
Ref document number: 2014535841 Country of ref document: JP Kind code of ref document: A |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14822645 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 14822645 Country of ref document: EP Kind code of ref document: A1 |