JP2010257315A - Apparatus and method for processing information, and program - Google Patents

Apparatus and method for processing information, and program Download PDF

Info

Publication number
JP2010257315A
JP2010257315A JP2009107896A JP2009107896A JP2010257315A JP 2010257315 A JP2010257315 A JP 2010257315A JP 2009107896 A JP2009107896 A JP 2009107896A JP 2009107896 A JP2009107896 A JP 2009107896A JP 2010257315 A JP2010257315 A JP 2010257315A
Authority
JP
Japan
Prior art keywords
area
user
input
divided
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009107896A
Other languages
Japanese (ja)
Inventor
Naoko Yamamoto
直子 山本
Keiichi Yamamoto
圭一 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009107896A priority Critical patent/JP2010257315A/en
Publication of JP2010257315A publication Critical patent/JP2010257315A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information processing apparatus for defining the number of directions which a user wants to freely let have meanings on a screen or the positions of the directions. <P>SOLUTION: The information processing apparatus includes: a region division means for dividing a screen into a plurality of regions by inputting an orbit; an association processing execution means for executing processing associated with the regions; a movement instruction means for instructing a user to move the object to the regions; and an processing target instruction means for instructing the object whose movement is instructed by the movement instruction means as the object of processing of the association processing execution means. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、ユーザが指示情報を入力する情報処理装置等に関する。   The present invention relates to an information processing apparatus or the like in which a user inputs instruction information.

表示画面を備える情報処理装置において、ユーザの指示によって表示オブジェクトを指定し、そのオブジェクトに対して処理を実行することができるものが多数存在する。例えば、GUIによる操作が可能であるパーソナルコンピュータやデジタルカメラ等がその例である。これらの情報処理装置では、その装置に保存されているデータやその端末で撮影された画像データ等をオブジェクトとして画面で表示し、そのオブジェクトに対して操作することができる。具体的には、キーボードやマウス、カーソルキー等を用いてユーザの指示により特定のオブジェクトを指定し、操作メニューから指定されたオブジェクトに対して実行する処理を選択することができる。   There are many information processing apparatuses including a display screen that can specify a display object according to a user instruction and execute processing on the object. For example, a personal computer or a digital camera that can be operated by a GUI is an example. In these information processing apparatuses, data stored in the apparatus, image data captured by the terminal, and the like are displayed on the screen as objects, and operations on the objects can be performed. Specifically, a specific object can be specified by a user instruction using a keyboard, a mouse, a cursor key, or the like, and processing to be performed on the object specified from the operation menu can be selected.

また、一方で、始めにユーザが所望とする処理を指示し、その実行の際に処理対象を指示する方法もある。例えば、表示画面上のメニューボタンを選択し、その結果表示されたメニュー一覧から所望とするメニュー(処理)を選択し、そのメニュー(処理)を実行する際に処理の対象を指示することができる。   On the other hand, there is also a method of instructing a processing desired by a user first and instructing a processing target at the time of execution. For example, it is possible to select a menu button on the display screen, select a desired menu (process) from the menu list displayed as a result, and instruct the processing target when executing the menu (process). .

しかしながら、オブジェクトを指定したのち、そのオブジェクトに対する処理を指定する方法では、ユーザは複数回の操作を行う必要があった。また、始めにユーザが所望とする処理を指示し、その実行の際に処理対象を指示する方法では、処理対象に対して直感的に処理を指示することができなかった。このため、いずれの方法においても、ユーザが所望の処理を簡単に実行することができなかった。   However, in the method of specifying an object and then specifying a process for the object, the user has to perform a plurality of operations. In addition, in the method of instructing the processing desired by the user first and instructing the processing target at the time of execution, the processing target cannot be instructed intuitively. For this reason, in any of the methods, the user cannot easily execute a desired process.

この課題を解決するために、表示画面における方向に意味を持たせて指示された方向によって処理を変えることを可能とする方法が特許文献1、2及び3に提案されている。
特許文献1に開示されている技術では、メニュー生成ポイントをペンで押した後、任意の方向にペンを移動させると、移動させた方向や距離に応じてあらかじめ定められているメニューを表示することができる。
また、特許文献2に開示されている技術では、ポインティングデバイスが上下左右方向に移動する軌跡によって、対応するメールアドレスを検索することができる。
また、特許文献3に開示されている技術では、文字や図等の手書きで入力された内容を電子情報として記録できるもので、手書きにて横線を引くことで仕切り線と認識し、個別の領域として分割して記録できる。
In order to solve this problem, Patent Documents 1, 2, and 3 have proposed methods that make it possible to change the process depending on the direction indicated by giving a meaning to the direction on the display screen.
In the technique disclosed in Patent Document 1, when a pen is moved in an arbitrary direction after pressing a menu generation point with the pen, a menu determined in advance according to the moved direction and distance is displayed. Can do.
Further, in the technique disclosed in Patent Document 2, a corresponding mail address can be searched based on a trajectory in which the pointing device moves in the vertical and horizontal directions.
In addition, the technique disclosed in Patent Document 3 can record the contents input by hand such as characters and figures as electronic information, and recognizes it as a partition line by drawing a horizontal line by hand, Can be divided and recorded.

特開2002−007023号公報JP 2002-007023 A 特開2006−277314号公報JP 2006-277314 A 特開2003−225209号公報JP 2003-225209 A

しかしながら、上述した特許文献1の技術では、予めペンを移動する方向や移動距離を登録しておく必要があり、ユーザが自由にその方向の数や方向を定義することができなかった。
また、上述した特許文献2の技術では、予めポインティングデバイスの軌跡とその軌跡に対応する検索キーを登録しておく必要があり、ユーザが任意の数の軌跡を登録することができなかった。
また、上述した特許文献3の技術では、線を引くことで領域を分割しているが、その領域に意味を持たせることができなかった。
However, in the technique of Patent Document 1 described above, it is necessary to register the direction and distance of movement of the pen in advance, and the user cannot freely define the number and directions of the directions.
Further, in the technique of Patent Document 2 described above, it is necessary to register a locus of the pointing device and a search key corresponding to the locus in advance, and the user cannot register an arbitrary number of tracks.
Further, in the technique of Patent Document 3 described above, the area is divided by drawing a line, but the area cannot be given meaning.

よって、ユーザが意味を持たせたい方向の数や方向の位置等、方向の定義をユーザが自由に行うことができず、不便であることがあった。
本発明は、上記従来の問題点を鑑み、ユーザが自由に意味をもたせたい方向の数や方向の位置等を定義できる方法を提供することを目的とする。
Therefore, the user cannot freely define the direction such as the number of directions and the position of the direction that the user wants to make sense, which is inconvenient.
In view of the above-described conventional problems, an object of the present invention is to provide a method by which a user can define the number of directions and the position of directions that the user wants to make sense.

本発明は前記課題を解決するためになされたものであり、軌跡入力によって画面を複数の領域に分割する領域分割手段と、該領域に対応付けられた処理を実行する対応処理実行手段とを備えることを特徴とする情報処理装置等、を提供する。   The present invention has been made to solve the above-described problem, and includes an area dividing unit that divides a screen into a plurality of areas by a trajectory input, and a corresponding process execution unit that executes a process associated with the area. An information processing apparatus characterized by the above is provided.

本発明によれば、ユーザの軌跡入力により、画面を任意の個数の、任意の領域に自由に分割することができる。また、ユーザは分割領域を利用して、装置に対する処理操作を簡単に行うことができる。   According to the present invention, it is possible to freely divide a screen into an arbitrary number of arbitrary areas by a user's trajectory input. In addition, the user can easily perform processing operations on the apparatus using the divided areas.

情報処理装置の構成の一例を示す図である。It is a figure which shows an example of a structure of information processing apparatus. 情報処理装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of information processing apparatus. 第1の実施形態の全体処理の一例を示すフローチャートである。It is a flowchart which shows an example of the whole process of 1st Embodiment. 第1の実施形態のユーザ入力の一例を示す図である。It is a figure which shows an example of the user input of 1st Embodiment. 第1の実施形態の分割領域を用いたユーザ操作の一例を示す図である。It is a figure which shows an example of user operation using the division area of 1st Embodiment. 第2の実施形態の全体処理の一例を示すフローチャートである。It is a flowchart which shows an example of the whole process of 2nd Embodiment. 第2の実施形態の入力位置検出処理の一例を示すフローチャートである。It is a flowchart which shows an example of the input position detection process of 2nd Embodiment. 第2の実施形態の分割基準点算出処理の一例を示すフローチャートである。It is a flowchart which shows an example of the division | segmentation reference point calculation process of 2nd Embodiment. 第2の実施形態のユーザ入力の一例を示す図である。It is a figure which shows an example of the user input of 2nd Embodiment. 第2の実施形態の入力位置の重心および分割基準点の一例を示す図である。It is a figure which shows an example of the gravity center and division | segmentation reference point of the input position of 2nd Embodiment. 第2の実施形態の領域分割線の一例を示す図である。It is a figure which shows an example of the area dividing line of 2nd Embodiment. 第2の実施形態の分割領域を用いたユーザ操作の一例を示す図である。It is a figure which shows an example of user operation using the division area of 2nd Embodiment. 第2の実施形態の分割領域を用いたユーザ操作の一例を示す図である。It is a figure which shows an example of user operation using the division area of 2nd Embodiment. 第2の実施形態の分割領域を用いたユーザ操作の一例を示す図である。It is a figure which shows an example of user operation using the division area of 2nd Embodiment. 第3の実施形態の全体処理の一例を示すフローチャートである。It is a flowchart which shows an example of the whole process of 3rd Embodiment. 第3の実施形態のユーザ入力の一例を示す図である。It is a figure which shows an example of the user input of 3rd Embodiment. 第3の実施形態の入力位置の重心及び分割基準点の一例を示す図である。It is a figure which shows an example of the gravity center and division | segmentation reference point of the input position of 3rd Embodiment. 第4の実施形態の全体処理の一例を示すフローチャートである。It is a flowchart which shows an example of the whole process of 4th Embodiment. その他の実施形態のユーザ入力の一例を示す図である。It is a figure which shows an example of the user input of other embodiment.

(第1の実施形態)
以下、本発明の実施の形態に係る情報処理装置について図面を用いて説明する。
図1は、本発明を適用できる情報処理装置の構成の一例を示す図である。
情報処理装置101は、領域分割部102と対応処理実行部103とからなる。
領域分割部102は、軌跡入力104をもとに画面を、任意の個数の、任意の領域に分割する。
対応処理実行部103は、領域分割部102により分割された領域に対して対応する処理を実行する。
(First embodiment)
Hereinafter, an information processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating an example of a configuration of an information processing apparatus to which the present invention can be applied.
The information processing apparatus 101 includes an area dividing unit 102 and a corresponding process execution unit 103.
The area dividing unit 102 divides the screen into an arbitrary number of arbitrary areas based on the trajectory input 104.
The corresponding process execution unit 103 executes a process corresponding to the area divided by the area dividing unit 102.

図2は、本発明に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
CPU202は、各種処理のための演算や論理判断等を行い、バス201に接続された各構成要素を制御する。本装置には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにつき後述する処理手順を含む、CPU202による制御のためのプログラムを格納する。メモリは、ROM203であってもよいし外部記憶装置等からプログラムがロードされるRAM204であってもよい。入力装置205は、ユーザからの情報を入力するためのものである。入力装置205は、マウス、タッチパネル、キーボード等がある。表示装置206は、CRTや液晶表示器等である。
FIG. 2 is a block diagram showing an example of a hardware configuration of the information processing apparatus according to the present invention.
The CPU 202 performs calculations and logic determinations for various processes, and controls each component connected to the bus 201. The apparatus includes a memory including a program memory and a data memory. The program memory stores a program for control by the CPU 202, including a processing procedure described later with reference to the flowchart. The memory may be the ROM 203 or the RAM 204 into which a program is loaded from an external storage device or the like. The input device 205 is for inputting information from the user. The input device 205 includes a mouse, a touch panel, a keyboard, and the like. The display device 206 is a CRT, a liquid crystal display, or the like.

本実施形態では、ユーザが画面を分割するための境界を線等で画面上に描画して指示することで、画面を任意の個数の、任意の領域に自由に分割することができる例を示す。
図3は、本実施形態に係る全体処理の流れを示すフローチャートである。図3では、ステップS301からステップS310までは、各ステップを表す。
図4は、本実施形態に係る領域分割のためのユーザによる軌跡入力の一例を示す図である。図4において、401は、本実施形態を適応できる情報処理装置である。また、402は、画面表示部である。
ここで、ユーザがマウスや手書き等によるデジタイザ入力を利用して、線分AB403、線分CD404、及び線分EF405を描画し、領域分割のための軌跡入力を行ったことを示す。また、406〜414までは、画面上に表示されているオブジェクトを示す。
図5は、本実施形態のユーザの操作の一例を示す図である。
ユーザは、図4の領域分割のための軌跡入力の後、操作対象のオブジェクト501を選択し、502のように領域(1)の方向へ移動する操作を行うことを示している。
In this embodiment, an example is shown in which a user can freely divide a screen into an arbitrary number of areas by drawing and instructing a boundary for dividing the screen on the screen with a line or the like. .
FIG. 3 is a flowchart showing the flow of overall processing according to the present embodiment. In FIG. 3, steps S301 to S310 represent each step.
FIG. 4 is a diagram illustrating an example of a locus input by the user for region division according to the present embodiment. In FIG. 4, 401 is an information processing apparatus to which this embodiment can be applied. Reference numeral 402 denotes a screen display unit.
Here, it is shown that the user draws a line segment AB403, a line segment CD404, and a line segment EF405 by using a digitizer input such as a mouse or handwriting, and inputs a trajectory for segmentation. Reference numerals 406 to 414 denote objects displayed on the screen.
FIG. 5 is a diagram illustrating an example of a user operation according to this embodiment.
The user selects the operation target object 501 after inputting the trajectory for area division in FIG. 4 and performs an operation of moving in the direction of the area (1) as in 502.

ここで、ユーザが領域分割のために、図4のような入力を行い、その後、分割された領域を用いて、図5のような操作を行った場合の図3における処理の流れを説明する。
まず、ステップS301において、情報処理装置にかかる本実施形態の処理の初期設定等を取得する。ここで取得される設定には、ユーザの入力取得の終了タイミング等が含まれてもよい。終了のタイミングとしては、例えばユーザが明示的に軌跡入力を終了することを装置に通知することや、直前のユーザの軌跡入力終了から次の軌跡入力開始までの時間間隔が一定時間以上であること等が予め設定されていてもよい。
Here, the flow of processing in FIG. 3 in the case where the user performs input as shown in FIG. 4 for area division and then performs the operation as shown in FIG. 5 using the divided areas will be described. .
First, in step S301, an initial setting of processing of the present embodiment related to the information processing apparatus is acquired. The settings acquired here may include the end timing of user input acquisition and the like. As the timing of termination, for example, the user explicitly notifies the apparatus that the trajectory input is terminated, or the time interval from the end of the previous user's trajectory input to the start of the next trajectory input is a certain time or more. Etc. may be set in advance.

ステップS302において、領域分割のためのユーザの軌跡入力を取得し、ステップS303において、ユーザの軌跡入力から領域を分割するための軌跡を解釈する軌跡解釈処理を行う。本実施形態では、ユーザが描画した図4に示す線分AB403、線分CD404、及び線分EF405、の3つ軌跡入力から各線分の座標列を取得する。また、本実施形態では、ユーザ軌跡上で画面領域を分割すると解釈したとする。   In step S302, a user's trajectory input for area division is acquired, and in step S303, a trajectory interpretation process is performed to interpret a trajectory for dividing the area from the user's trajectory input. In the present embodiment, the coordinate sequence of each line segment is acquired from three locus inputs of the line segment AB403, the line segment CD404, and the line segment EF405 shown in FIG. In the present embodiment, it is assumed that the screen area is divided on the user trajectory.

続いて、ステップS304において、領域分割のためのユーザの軌跡入力が終了したか否かを判定する。本実施形態では、この判定が真となる条件は、装置に予め設定されており、ステップS301の初期設定取得において取得されることとする。本実施形態においては、その条件として直前のユーザの軌跡入力終了から次の軌跡入力開始までの時間間隔が一定時間以上であると設定されているとする。   Subsequently, in step S304, it is determined whether or not the user's trajectory input for region division is completed. In the present embodiment, the condition for which this determination is true is preset in the apparatus and is acquired in the initial setting acquisition in step S301. In the present embodiment, it is assumed that the time interval from the end of the previous user's trajectory input to the start of the next trajectory input is set as a certain time or more as the condition.

本実施形態では、ステップS304の判定において、ユーザが図4に示す線分AB403、線分CD404、および線分EF405の描画に対し、ステップS302からステップS303の処理をそれぞれ繰り返し、3回行う。線分EF405に対する処理が終わると、領域分割のためのユーザの軌跡入力が終了したと判断し、処理の流れはステップS305に進む。   In the present embodiment, in the determination in step S304, the user repeats the processing from step S302 to step S303 for drawing the line segment AB403, line segment CD404, and line segment EF405 shown in FIG. When the process for the line segment EF405 is completed, it is determined that the user's trajectory input for area division has been completed, and the process flow proceeds to step S305.

続いて、ステップS305の領域分割実行処理において、ステップS303で取得された複数のユーザ軌跡入力から得られた軌跡情報をもとに、画面を領域分割する処理が行われる。本実施形態では、ユーザ軌跡上で画面領域を分割すると解釈されたために、ユーザ軌跡入力された線分上で領域を分割する。本実施形態では、ステップS305の結果として、ユーザが描画した図4に示す線分AB403、線分CD404、および線分EF405の座標列と、画面の枠とで囲まれる(1)〜(5)の5つの領域に分割する。
ここで、ユーザによって入力される複数の位置情報が、明確に画面を分割するものではない場合、例えば、ユーザが描画した線分だけでは閉領域を形成できない場合には、線分の延長線を引き出して、閉領域を作成し、分割領域とする等の方法をとってもよい。
この後、ユーザはステップS305で分割された領域(1)〜(5)を用いて、情報処理装置に対する操作を処理することができる。
Subsequently, in the area division execution process in step S305, a process of dividing the screen into areas is performed based on the trajectory information obtained from the plurality of user trajectory inputs acquired in step S303. In the present embodiment, since it is interpreted that the screen area is divided on the user locus, the area is divided on the line segment input by the user locus. In the present embodiment, as a result of step S305, the coordinate sequence of the line segment AB403, line segment CD404, and line segment EF405 shown in FIG. 4 drawn by the user is surrounded by the frame of the screen (1) to (5). Are divided into five areas.
Here, when the plurality of position information input by the user does not clearly divide the screen, for example, when the closed region cannot be formed only by the line drawn by the user, an extension line of the line is displayed. A method may be employed in which a closed region is created and divided into divided regions.
Thereafter, the user can process an operation on the information processing apparatus using the areas (1) to (5) divided in step S305.

ステップS306において、ステップS305で分割された領域を用いてユーザの操作を処理するための初期処理を行う。ここでは、ステップS305で分割された領域の情報を取得したり、初期設定を取得したりする。ここで取得される設定には、分割された領域を解除するタイミングや、本実施形態における処理によって分割された各領域に対応して行う処理の初期値等が含まれてもよい。分割された領域を解除するタイミングとしては、例えばユーザが明示的に分割された領域を解除することを装置に通知することや、ステップS308の処理の回数が設定された回数を超えること等が設定されていてもよい。   In step S306, initial processing for processing a user operation is performed using the area divided in step S305. Here, information on the area divided in step S305 is acquired, or initial settings are acquired. The settings acquired here may include the timing for releasing the divided area, the initial value of the process performed corresponding to each area divided by the process in the present embodiment, and the like. The timing for releasing the divided area is set such that, for example, the user notifies the apparatus that the divided area is to be released, or the number of times of processing in step S308 exceeds the set number of times. May be.

本実施形態では、分割された領域を解除するタイミングとして「画面上に表示されたオブジェクトすべてについて処理が終了する」が設定されているとする。また、分割された各領域に対応して行う処理の初期値としては「分割された領域内にオブジェクトが移動された場合には、対象オブジェクトは領域と関係付けられて分類される」と設定されているとする。つまり、領域(1)にオブジェクトが移動された場合には、そのオブジェクトは領域(1)と関係付けられて分類されることになり、(1)へ振り分けられたということになる。   In the present embodiment, it is assumed that “the processing is completed for all objects displayed on the screen” is set as the timing for releasing the divided area. In addition, the initial value of the processing to be performed corresponding to each divided area is set as “If the object is moved into the divided area, the target object is classified in relation to the area”. Suppose that That is, when an object is moved to the area (1), the object is classified in association with the area (1), and is assigned to (1).

続いて、ステップS307において、ユーザの操作について判定を行う。もし、ユーザが分割された領域に関係する操作を行った場合には、ステップS307においてユーザが移動指示を行ったと判定して、ステップS308へ進む。
ステップS308では、ユーザの移動指示対象を処理対象とする処理対象指示を行う。
さらに、ステップS309へ進み、ユーザが指示した領域に対応する処理を実行する。本実施形態では、ここで実行される処理は、ステップS306の領域対応処理の初期設定取得において取得された処理であるとする。
本実施形態においては、図5に示されるように、ユーザが操作対象のオブジェクト501を選択し、502のように領域(1)の方向へ移動する操作を行うと、ステップS307において、ユーザが移動指示を行ったと判定し、ステップS308へ進む。
Subsequently, in step S307, the user's operation is determined. If the user performs an operation related to the divided area, it is determined in step S307 that the user has given a movement instruction, and the process proceeds to step S308.
In step S308, a process target instruction is performed with the user movement instruction target as a process target.
Furthermore, it progresses to step S309 and the process corresponding to the area | region which the user instruct | indicated is performed. In the present embodiment, it is assumed that the process executed here is the process acquired in the initial setting acquisition of the area correspondence process in step S306.
In the present embodiment, as shown in FIG. 5, when the user selects an operation target object 501 and performs an operation of moving in the direction of the area (1) as in 502, the user moves in step S307. It is determined that an instruction has been given, and the process proceeds to step S308.

続いて、ステップS308においてステップS306の領域対応処理の初期設定取得において取得された「分割された領域内にオブジェクトが移動された場合には、対象オブジェクトは領域と関係付けられて分類される」処理を実行する。つまり、領域(1)にオブジェクトが移動されたので、そのオブジェクトは領域(1)と関係付けられて分類され、(1)へ振り分けられたということになる。   Subsequently, in the step S308, the processing acquired in the initial setting acquisition of the region correspondence processing in the step S306 “when the object is moved into the divided region, the target object is classified in relation to the region” Execute. That is, since the object has been moved to the area (1), the object is classified in association with the area (1) and distributed to (1).

ユーザの操作が分割された領域に関係しない場合には、ステップS307から、ステップS310の処理の終了判定へ進む。
ステップS310において、ステップS305の処理によって分割された領域を解除するか否かを判定する。ステップS310の判定で、Yesの場合には、領域の分割を解除し全体処理を終了する。Noの場合にはステップS307へ戻り、ユーザの操作について判定を行う。本実施形態では、この判定が真となる条件は、装置に予め設定されており、ステップS306の領域対応処理の初期設定取得において取得されているものとする。
If the user operation is not related to the divided area, the process proceeds from step S307 to the end determination of the process in step S310.
In step S310, it is determined whether or not to release the area divided by the process in step S305. If the determination in step S310 is YES, the division of the area is canceled and the entire process is terminated. In the case of No, the process returns to step S307, and the user operation is determined. In the present embodiment, it is assumed that the condition for which this determination is true is set in advance in the apparatus, and is acquired in the initial setting acquisition of the area correspondence processing in step S306.

本実施形態では、分割された領域を解除するタイミングとして「画面上に表示されたオブジェクトすべてについて処理が終了する」が設定されている。よって、表示画面上に表示されている全てのオブジェクトについての振り分け作業が終了までは、ステップS310の判定はNoとなり、ステップS307の処理へ戻る。全てのオブジェクトについての振り分け作業が終了すると、ステップS310の判定は真となり、分割領域を解除して処理を終了する。   In the present embodiment, “the processing is completed for all objects displayed on the screen” is set as the timing for releasing the divided area. Therefore, until the sorting operation for all objects displayed on the display screen is completed, the determination in step S310 is No, and the process returns to step S307. When the sorting operation for all objects is completed, the determination in step S310 is true, the divided area is released, and the process is terminated.

以上説明した様に、本実施形態によれば、ユーザが、画面を分割するための境界を線等で画面上に描画して指示することで、表示画面を任意の個数の、任意の領域に自由に分割することができる。ユーザは分割領域を利用して、装置に対する処理操作を簡単に行うことができる。   As described above, according to the present embodiment, the user draws and designates the boundary for dividing the screen on the screen with a line or the like, so that the display screen can be placed in an arbitrary number of arbitrary regions. Can be divided freely. The user can easily perform processing operations on the apparatus using the divided areas.

(第2の実施形態)
本実施形態においては、ユーザが、領域を分割するために、任意のオブジェクトを画面上に描画して指示することで、その領域指示コマンドを認識し、表示画面を任意の個数の、任意の領域に自由に分割することができる例を示す。またその領域指示コマンドによって分割領域に明示的に処理を割り当てることができる例を示す。
図6は、第2の実施形態に係る全体処理の一例を示すフローチャートである。図6では、ステップS601からステップS616までは、各ステップを表す。
本処理は、図3に示される第1の実施形態の全体処理と比較すると、ステップS604の軌跡入力位置検出処理、およびステップS607の分割基準点算出処理が追加されている。ステップS604の軌跡入力位置検出処理については図7、ステップS607の分割基準点算出処理については図8を用いて、後で説明する。
(Second Embodiment)
In the present embodiment, in order to divide an area, the user recognizes the area instruction command by drawing and instructing an arbitrary object on the screen, and displays an arbitrary number of arbitrary areas on the display screen. Shows an example that can be divided freely. In addition, an example in which processing can be explicitly assigned to a divided area by the area instruction command is shown.
FIG. 6 is a flowchart illustrating an example of overall processing according to the second embodiment. In FIG. 6, steps S601 to S616 represent each step.
Compared with the overall processing of the first embodiment shown in FIG. 3, this processing is added with the locus input position detection processing in step S604 and the division reference point calculation processing in step S607. The locus input position detection process in step S604 will be described later with reference to FIG. 7, and the division reference point calculation process in step S607 will be described later with reference to FIG.

図9は、第2の実施形態に係るユーザの軌跡入力の一例を示す図である。図9において、901は、本実施形態を適応できる情報処理装置である。また、902は、画面表示部である。
ここで、ユーザがマウスや手書き等によるデジタイザ入力を利用して、軌跡入力903、904、905、906、907を描画し、領域分割のための軌跡入力を行ったことを示す。908から912までは、本実施形態におけるステップS604の軌跡入力位置検出処理の結果から得られた、各軌跡入力を代表する位置である、軌跡入力位置を示している。
また、913から921までは画面上に表示されているオブジェクトを示す。
FIG. 9 is a diagram illustrating an example of user trajectory input according to the second embodiment. In FIG. 9, reference numeral 901 denotes an information processing apparatus to which this embodiment can be applied. Reference numeral 902 denotes a screen display unit.
Here, it is shown that the user has drawn a trajectory input 903, 904, 905, 906, 907 using a digitizer input such as a mouse or handwriting, and has performed a trajectory input for region division. Reference numerals 908 to 912 denote trajectory input positions, which are positions representing the respective trajectory inputs, obtained from the result of the trajectory input position detection process in step S604 in the present embodiment.
Reference numerals 913 to 921 denote objects displayed on the screen.

図10は、第2の実施形態における、ステップS606の重心算出処理およびステップS607の分割基準点算出処理の結果の一例を示す図である。図10は、ステップS606およびステップS607の処理を説明するために利用する。図10において、1001は、軌跡入力位置908、909、910、911、912により描かれる多角形を示す。1002は、多角形1001の重心を示す。1003から1007は、多角形1001の各辺の中点を示す。   FIG. 10 is a diagram illustrating an example of a result of the center-of-gravity calculation process in step S606 and the division reference point calculation process in step S607 in the second embodiment. FIG. 10 is used to explain the processing in step S606 and step S607. In FIG. 10, reference numeral 1001 denotes a polygon drawn by the locus input positions 908, 909, 910, 911, and 912. Reference numeral 1002 denotes the center of gravity of the polygon 1001. Reference numerals 1003 to 1007 denote the midpoints of the sides of the polygon 1001.

図11は、第2の実施形態における、ステップS608の領域分割実行処理の結果の一例を示す図である。図11において、1101から1105までは本実施形態の処理によって画面分割される領域の境界を示す線分である。   FIG. 11 is a diagram illustrating an example of a result of the area division execution process in step S608 in the second embodiment. In FIG. 11, reference numerals 1101 to 1105 denote line segments indicating the boundaries of the area divided by the processing of this embodiment.

ここで、ユーザが領域分割のために、図9のような入力を行った場合の本実施形態における図6の処理の流れを説明する。
ステップS601からステップS603までは、第1の実施形態のステップS301からステップS303と同様に処理が行われる。
本実施形態では、ステップS603の軌跡解釈処理において軌跡入力903、904、905、906、907の5つの軌跡情報から各軌跡入力の座標列を取得する。ここで、軌跡入力903、904、905、906、907から領域を分割するための領域指示コマンド抽出が行われる。また、本実施形態では、抽出された領域指示コマンド間、特にその真中で画面領域を分割すると解釈する。
Here, the flow of the processing of FIG. 6 in the present embodiment when the user performs input as shown in FIG. 9 for region division will be described.
From step S601 to step S603, processing is performed in the same manner as step S301 to step S303 of the first embodiment.
In the present embodiment, a coordinate sequence of each locus input is acquired from five pieces of locus information of locus inputs 903, 904, 905, 906, and 907 in the locus interpretation process in step S603. Here, an area instruction command for dividing the area is extracted from the trajectory inputs 903, 904, 905, 906, and 907. In the present embodiment, it is interpreted that the screen area is divided between the extracted area instruction commands, particularly in the middle thereof.

続いて、ステップS604において、各領域指示コマンドを代表する座標を領域指示コマンドの位置として検出する。この処理の流れは、図7に示される。
図7は、本実施形態におけるステップS604の領域指示コマンド位置検出処理の一例を示すフローチャートである。図7においてステップS701からステップS703までは各ステップを表す。
まず、ステップS701において、ステップS603において得られた、ユーザの軌跡入力情報を取得する。
続いて、ステップS702において、領域指示コマンド位置の検出基準を取得する。この基準は装置に予め設定されていてもよいし、ユーザが装置の設定値を変更できるようにしてもよい。ここで、本実施形態では、領域指示コマンド位置の検出基準が、ユーザの軌跡入力情報すべてを内包する長方形、つまり軌跡入力を囲む長方形の重心と定められているとする。
Subsequently, in step S604, coordinates representing each area instruction command are detected as the position of the area instruction command. The flow of this process is shown in FIG.
FIG. 7 is a flowchart illustrating an example of the area instruction command position detection process in step S604 in the present embodiment. In FIG. 7, steps S701 to S703 represent each step.
First, in step S701, user trajectory input information obtained in step S603 is acquired.
Subsequently, in step S702, an area reference command position detection reference is acquired. This reference may be preset in the apparatus, or the user may be able to change the setting value of the apparatus. Here, in the present embodiment, it is assumed that the detection reference for the region designation command position is defined as a rectangle that includes all of the user's trajectory input information, that is, the center of gravity of the rectangle that surrounds the trajectory input.

ステップS703において、領域指示コマンド位置の検出基準をもとに領域指示コマンド位置を検出する。
ステップS604の処理が終了すると、続いてステップS605において領域分割のためのユーザの軌跡入力が終了したか否かを判定する。本実施形態においては、この判定が真となる条件は、装置に予め設定されており、ステップS601の初期設定取得において取得されることとする。本実施形態においては、その条件として直前のユーザの軌跡入力終了から次の軌跡入力開始までの時間間隔が一定時間以上であると設定されているとする。
In step S703, the area instruction command position is detected based on the detection instruction of the area instruction command position.
When the process of step S604 is completed, it is subsequently determined in step S605 whether or not the user's trajectory input for region division has been completed. In the present embodiment, the condition for which this determination is true is preset in the apparatus, and is acquired in the initial setting acquisition in step S601. In the present embodiment, it is assumed that the time interval from the end of the previous user's trajectory input to the start of the next trajectory input is set as a certain time or more as the condition.

本実施形態においては、ユーザが軌跡入力903を描画したときに、ステップS602からステップS604の処理を行い、入力位置908を検出するとステップS605の判定において、ユーザの次の入力904が開始されたことを検知する。したがった、再び、ステップS602の処理へ戻る。このように、903から907の軌跡入力の描画に対し、ステップS602からステップS604の処理をそれぞれ繰り返す。処理が終わると、ステップS605において、領域分割のためのユーザの軌跡入力が終了したと判断し、処理の流れはステップS606へ進む。
ここまでの処理の結果で、軌跡入力903、904、905、906、907の5つの入力情報の入力位置はステップS703において、それぞれ、908、909、910、911、912として検出されているとする。
In the present embodiment, when the user draws the trajectory input 903, the processing from step S602 to step S604 is performed, and when the input position 908 is detected, the user's next input 904 is started in the determination of step S605. Is detected. Accordingly, the process returns to step S602 again. In this way, the processing from step S602 to step S604 is repeated for the drawing of the trajectory input from 903 to 907, respectively. When the process ends, in step S605, it is determined that the user's trajectory input for area division has ended, and the flow of the process proceeds to step S606.
As a result of the processing so far, it is assumed that the input positions of the five pieces of input information of the locus inputs 903, 904, 905, 906, and 907 are detected as 908, 909, 910, 911, and 912, respectively, in step S703. .

続いて、ステップS606において、重心の算出処理を行う。本実施形態においては、入力位置908、909、910、911、912で構成される多角形からその重心を算出する。この算出方法としては一般的にいくつかの方法があるが、例えば以下のように求めることができる。まず、入力位置の互いの位置関係を調べるために、基準点を決める。本実施形態においては、画面902の左下の座標を(0,0)とし、垂直方向をy軸、水平方向をx軸とし、例えば、基準点は、軌跡入力位置908、909、910、911、912のうち、最も小さいy座標値(=y0とする)をもつ頂点912とする。そして、y=y0の直線を仮想的に引き、その直線と、基準点と各頂点を結ぶ線分による角度αを各軌跡入力位置につき求める。その結果、各々の角度αに対して各点を昇順あるいは降順にソートすれば、多角形が描かれるように頂点が順序通り並ぶ。本実施形態においては、角度αについて各点を降順に並べると、908、909、910、911の順に並び、その順番に線をひくと図10に示す1001のような多角形が描かれる。この多角形を複数の三角形に分割し、分割した三角形の面積と重心を積算し、全面積で割れば、重心を求めることができる。本実施形態では、図10に示す1001のような五角形を3つの三角形に分割し、重心を求めると、1002のような重心が求められたとする。   In step S606, the center of gravity is calculated. In this embodiment, the center of gravity is calculated from a polygon formed by the input positions 908, 909, 910, 911, and 912. There are generally several methods for this calculation. For example, it can be obtained as follows. First, a reference point is determined in order to examine the positional relationship between the input positions. In this embodiment, the lower left coordinate of the screen 902 is (0, 0), the vertical direction is the y axis, and the horizontal direction is the x axis. For example, the reference points are the trajectory input positions 908, 909, 910, 911, The vertex 912 having the smallest y-coordinate value (= y0) among 912 is assumed. Then, a straight line of y = y0 is virtually drawn, and an angle α by a line segment connecting the straight line and the reference point and each vertex is obtained for each locus input position. As a result, if the points are sorted in ascending or descending order for each angle α, the vertices are arranged in order so that a polygon is drawn. In the present embodiment, when the points are arranged in descending order with respect to the angle α, they are arranged in the order of 908, 909, 910, and 911, and when a line is drawn in that order, a polygon such as 1001 shown in FIG. 10 is drawn. If this polygon is divided into a plurality of triangles, and the area and centroid of the divided triangles are integrated and divided by the total area, the centroid can be obtained. In the present embodiment, it is assumed that when a pentagon such as 1001 shown in FIG. 10 is divided into three triangles and a center of gravity is obtained, a center of gravity such as 1002 is obtained.

さらに、ステップS607において、分割基準点の算出処理を行う。この処理の流れは図8に示される。
図8は、第2の実施形態に係る分割基準点算出処理の一例を示すフローチャートである。図8において、ステップS801からステップS803までは各ステップを表す。
まず、ステップS801において、すべての軌跡入力位置を取得する。本実施形態においては軌跡入力位置908、909、910、911、912が取得される。
In step S607, a division reference point calculation process is performed. The flow of this process is shown in FIG.
FIG. 8 is a flowchart illustrating an example of a division reference point calculation process according to the second embodiment. In FIG. 8, steps S801 to S803 represent each step.
First, in step S801, all trajectory input positions are acquired. In this embodiment, locus input positions 908, 909, 910, 911, and 912 are acquired.

続いて、ステップS802において、分割基準点算出基準を取得する。本実施形態では、分割基準点算出基準は、「すべての軌跡入力位置の情報から構成される多角形における、隣接する2点の中点を分割基準点とする」とされているとする。この分割基準点算出基準を用いて、ステップS803において、軌跡入力位置908、909、910、911、912から構成される多角形1001の各辺の中点である1003、1004、1005、1006、1007が分割基準点として算出される。   Subsequently, in step S802, a division reference point calculation reference is acquired. In the present embodiment, it is assumed that the division reference point calculation reference is “middle point of two adjacent points in a polygon composed of information on all trajectory input positions is a division reference point”. Using this division reference point calculation reference, in step S803, 1003, 1004, 1005, 1006, 1007, which are the midpoints of the sides of the polygon 1001 composed of the locus input positions 908, 909, 910, 911, 912, are obtained. Are calculated as division reference points.

ステップS608において、ステップS606、ステップS607で算出された、重心および複数の分割基準点をもとに、表示画面を領域分割する処理が行われる。具体的には、重心から複数の分割基準点に対して線をひき、線を表示画面の端まで延長することで画面を分割する。本実施形態では、図11に示すように重心G1002から複数の分割基準点a1003、b1004、c1005、d1006、e1007に対して各々をひき、領域を分割する。ここで、ひかれた線分は、それぞれ線分Ga1101、線分Gb1102、線分Gc1103、線分Gd1104、線分Ge1105である。この分割された領域には識別のために識別子を与えてもよい。その識別子は、例えば、数字順やアルファベット順等でもよいし、ユーザが入力した軌跡入力を文字認識やオブジェクト認識等の軌跡入力オブジェクト認識処理を用いて認識した結果そのものでもよい。また、例えば、ユーザが入力した軌跡入力から認識された結果を、装置内の特定のオブジェクトや処理に結びつけたものとしてもよい。   In step S608, the display screen is divided into regions based on the center of gravity and the plurality of division reference points calculated in steps S606 and S607. Specifically, the screen is divided by drawing a line from the center of gravity to a plurality of division reference points and extending the line to the end of the display screen. In the present embodiment, as shown in FIG. 11, each region is divided from the center of gravity G1002 to a plurality of division reference points a1003, b1004, c1005, d1006, and e1007. Here, the drawn line segments are a line segment Ga1101, a line segment Gb1102, a line segment Gc1103, a line segment Gd1104, and a line segment Ge1105, respectively. An identifier may be given to the divided area for identification. The identifier may be in numerical order, alphabetical order, or the like, or the result of recognizing a trajectory input input by the user using a trajectory input object recognition process such as character recognition or object recognition. Further, for example, the result recognized from the locus input input by the user may be associated with a specific object or process in the apparatus.

この後、ユーザはステップS608で分割された5つの領域を用いて、情報処理装置に対する操作を処理することができる。この処理は、ステップS612からステップS616のように行うことができ、第1の実施形態のステップS306からステップS310と同様に処理される。
本実施形態においては、ステップS609の分割領域カテゴリ認識処理において、ユーザが入力した軌跡情報を文字認識し、各々の領域に対してA,B,C,D,Eという識別子(カテゴリ)を認識する。
続いて、ステップS610の近接領域判定処理において、ユーザが入力した軌跡情報に最も近い分割領域を判定する。
ステップS610の判定結果に基づいて、ステップS611において、ステップS609で認識された識別子をステップS610で判定された領域に対応する処理として対応付ける。
Thereafter, the user can process an operation on the information processing apparatus using the five areas divided in step S608. This process can be performed from step S612 to step S616, and is performed in the same manner as step S306 to step S310 of the first embodiment.
In the present embodiment, in the divided region category recognition process in step S609, the trajectory information input by the user is recognized as characters, and identifiers (categories) A, B, C, D, and E are recognized for the respective regions. .
Subsequently, in the proximity region determination process in step S610, a divided region closest to the trajectory information input by the user is determined.
Based on the determination result in step S610, in step S611, the identifier recognized in step S609 is associated as a process corresponding to the region determined in step S610.

また、本実施形態では、ステップS612の領域に対応する処理のための準備および初期設定取得において、分割された領域を解除するタイミングとして「表示画面上に表示されたオブジェクトすべてについて処理が終了する」が設定されているとする。また、分割された各領域に対応して行う処理の初期値としては「分割された領域内にオブジェクトが移動された場合には、対象オブジェクトは領域と関係付けられて分類される」と設定されているとする。つまり、領域Aにオブジェクトが移動された場合には、そのオブジェクトは領域Aと関係付けられて分類されることになり、Aへ振り分けられたということになる。   In this embodiment, in the preparation for the process corresponding to the area in step S612 and the initial setting acquisition, “the process is completed for all objects displayed on the display screen” as the timing for releasing the divided area. Is set. In addition, the initial value of the processing to be performed corresponding to each divided area is set as “If the object is moved into the divided area, the target object is classified in relation to the area”. Suppose that That is, when an object is moved to the area A, the object is classified in relation to the area A, and is assigned to A.

例えば図12に示すように、ユーザが操作対象のオブジェクト1201を選択し、1202のように領域Aの方向へ移動する操作を行ったとすると、ステップS613において、ユーザが移動指示を行ったと判定される。このとき処理の流れはステップS614へ進み、ステップS614においてユーザの移動指示対象を処理の対象として指示する。さらにステップS615において、ステップS612の領域対応処理の初期設定取得において取得された「分割された領域内にオブジェクトが移動された場合には、対象オブジェクトは領域と関係付けられて分類される」処理を実行する。つまり、領域Aにオブジェクトが移動されたので、そのオブジェクトは領域Aと関係付けられて分類され、Aへ振り分けられたということになる。   For example, as illustrated in FIG. 12, if the user selects the operation target object 1201 and performs an operation of moving in the direction of the area A as in 1202, it is determined in step S613 that the user has issued a movement instruction. . At this time, the flow of processing proceeds to step S614, and the user's movement instruction target is instructed as the processing target in step S614. Further, in step S615, the process of “when the object is moved into the divided area is classified in relation to the area” acquired in the initial setting acquisition of the area corresponding process in step S612 is performed. Execute. In other words, since the object has been moved to the area A, the object is classified in relation to the area A and distributed to A.

同様に、図13に示すように、ユーザが操作対象のオブジェクト1301を選択し、1302のように、領域Bにオブジェクトが移動されると、そのオブジェクトは領域Bと関係付けられて分類され、Bへ振り分けられる。
また、図14に示すように、ユーザが操作対象のオブジェクト1401を選択し、1402のように、領域Dにオブジェクトが移動され、Dへ振り分けられる。
Similarly, as shown in FIG. 13, when the user selects the object 1301 to be operated and the object is moved to the area B as indicated by 1302, the object is classified in relation to the area B, and B Be distributed to.
Further, as shown in FIG. 14, the user selects the object 1401 to be operated, and the object is moved to the area D and distributed to D as indicated by 1402.

以上説明した様に、本実施形態によれば、ユーザが、領域を分割するために、任意のオブジェクトを画面上に描画して指示することで、その軌跡入力をもとに、表示画面を任意の個数の、任意の領域に自由に分割することができる。また、ユーザの軌跡入力情報によって分割された領域に割り当てる処理を指定することができる。   As described above, according to this embodiment, in order to divide an area, a user can draw an arbitrary object on the screen and instruct the user to arbitrarily display the display screen based on the locus input. Can be freely divided into arbitrary regions. In addition, it is possible to specify processing to be allocated to the area divided by the user's trajectory input information.

(第3の実施形態)
本実施形態においては、ユーザが、領域を分割するために、任意のオブジェクトを画面上に描画して指示し、その軌跡入力の大きさ、サイズをもとに、表示画面の分割領域の大きさを変化させることができる例を示す。
図15は、第3の実施形態に係る全体処理の一例を示すフローチャートである。図15では、ステップS1501からステップS1514までは各ステップを表す。
本処理は、図6に示される第2の実施形態の全体処理と比較すると、ステップS1504の領域指示コマンド大きさ算出処理が追加されている。ステップS1504の領域指示コマンド大きさ算出処理については、以下、本実施形態の処理の流れを説明する中で改めて説明する。
(Third embodiment)
In the present embodiment, in order to divide the area, the user draws and designates an arbitrary object on the screen, and based on the size and size of the locus input, the size of the divided area of the display screen An example in which can be changed is shown.
FIG. 15 is a flowchart illustrating an example of the overall processing according to the third embodiment. In FIG. 15, steps S1501 to S1514 represent each step.
Compared with the overall processing of the second embodiment shown in FIG. 6, this processing has an area instruction command size calculation processing in step S1504 added. The area instruction command size calculation process in step S1504 will be described later in the description of the process flow of the present embodiment.

図16は、第3の実施形態に係るユーザの軌跡入力の一例を示す図である。図16において、1601は、本実施形態を適応できる情報処理装置である。また、1602は、画面表示部である。
ここで、ユーザがマウスや手書き等によるデジタイザ入力を利用して、軌跡入力1603、1604、1605、1606、1607を描画し、領域分割のための軌跡入力を行ったことを示す。1608から1612までは、本実施形態におけるステップS1505の軌跡入力位置検出処理の結果から得られた、各軌跡入力を代表する軌跡入力位置を示している。
FIG. 16 is a diagram illustrating an example of a user's trajectory input according to the third embodiment. In FIG. 16, reference numeral 1601 denotes an information processing apparatus to which this embodiment can be applied. Reference numeral 1602 denotes a screen display unit.
Here, it is shown that the user has drawn a trajectory input 1603, 1604, 1605, 1606, 1607 using a digitizer input by a mouse or handwriting, and has input a trajectory for region division. Reference numerals 1608 to 1612 indicate trajectory input positions representing the respective trajectory inputs obtained from the result of the trajectory input position detection processing in step S1505 in the present embodiment.

図17は、第3の実施形態に係るステップS1507の重心算出処理およびステップS1508の分割基準点算出処理の結果の一例を示す図である。図17において、1701は、入力位置1608、1609、1610、1611、1612により描かれる多角形を示す。1702は、多角形1701の重心を示す。1703から1707は、多角形1701の各辺における分割基準点を示す。1708から1712までは本実施形態の処理によって画面分割される領域の境界を示す線分である。   FIG. 17 is a diagram illustrating an example of a result of the center-of-gravity calculation process in step S1507 and the division reference point calculation process in step S1508 according to the third embodiment. In FIG. 17, reference numeral 1701 denotes a polygon drawn by input positions 1608, 1609, 1610, 1611, and 1612. Reference numeral 1702 denotes the center of gravity of the polygon 1701. Reference numerals 1703 to 1707 denote division reference points on each side of the polygon 1701. Reference numerals 1708 to 1712 denote line segments that indicate the boundaries of the areas that are divided by the processing of this embodiment.

ここで、ユーザが領域分割のために、図16のような入力を行った場合の本実施形態における処理の流れを説明する。
ステップS1501からステップS1503までは、第2の実施形態におけるステップS601からステップS603と同様に処理が行われる。
本実施形態では、ステップS1503において軌跡入力1603、1604、1605、1606、1607の5つの軌跡入力情報から各軌跡入力の座標列を取得する。
ステップS1504の領域指示コマンド大きさ算出処理においては、ステップS1503において得られた各軌跡入力の座標列から、軌跡入力の大きさを算出する。座標列の分布面積を求める方法は多数あるが、本実施形態では、座標列のうち、最も小さいx座標値およびy座標値と、最も大きいx座標値およびy座標値から構成される長方形の面積を軌跡入力の大きさとして算出することにする。
Here, the flow of processing in this embodiment when the user performs input as shown in FIG. 16 for region division will be described.
From step S1501 to step S1503, processing is performed in the same manner as step S601 to step S603 in the second embodiment.
In this embodiment, in step S1503, the coordinate sequence of each locus input is acquired from the five locus input information of locus inputs 1603, 1604, 1605, 1606, and 1607.
In the area instruction command size calculation process in step S1504, the size of the trajectory input is calculated from the coordinate sequence of each trajectory input obtained in step S1503. There are many methods for obtaining the distribution area of the coordinate sequence, but in this embodiment, the rectangular area composed of the smallest x coordinate value and y coordinate value and the largest x coordinate value and y coordinate value in the coordinate sequence. Is calculated as the size of the trajectory input.

続いて、ステップS1505において、軌跡入力1603、1604、1605、1606、1607の5つの軌跡入力情報に対応する軌跡入力位置として、それぞれ1608、1609、1610、1611、1612が検出される。
また、ユーザが軌跡入力1607の描画を終了すると、ステップS1506の判定がステップS1507へ進み、ステップS1507において重心算出処理が行われる。ステップS1507では、入力位置1608、1609、1610、1611、1612から構成される多角形1701の重心1702が算出される。
Subsequently, in step S1505, 1608, 1609, 1610, 1611, and 1612 are detected as locus input positions corresponding to five pieces of locus input information of locus inputs 1603, 1604, 1605, 1606, and 1607, respectively.
When the user finishes drawing the trajectory input 1607, the determination in step S1506 proceeds to step S1507, and the center of gravity calculation process is performed in step S1507. In step S1507, the center of gravity 1702 of the polygon 1701 composed of the input positions 1608, 1609, 1610, 1611 and 1612 is calculated.

さらに、ステップS1508において分割基準点算出処理が行われる。ここで、本実施形態では、図8に示される分割基準点算出処理のステップS802で取得される分割基準点算出基準は、以下のように設定されているとする。
分割基準点算出基準=「すべての入力位置の情報から構成される多角形における各辺を、隣接する2つの軌跡入力に対する大きさの比で分割した点を分割基準点とする。」つまり、領域指示コマンドの大きさによって、分割境界の位置を変更し、領域指示コマンドの大きさが大きいほど基準点の位置は遠ざかることになる。
この分割基準点算出基準を用いて、ステップS803において、入力位置1608、1609、1610、1611、1612から構成される多角形1701の各辺が、隣り合う軌跡入力の大きさの比で分割された分割基準点が算出される。ここで、算出される分割基準点は、1703、1704、1705、1706、1707である。
In step S1508, a division reference point calculation process is performed. Here, in the present embodiment, it is assumed that the division reference point calculation reference acquired in step S802 of the division reference point calculation process shown in FIG. 8 is set as follows.
Division reference point calculation reference = “A point obtained by dividing each side of a polygon composed of information on all input positions by a ratio of sizes to two adjacent locus inputs is set as a division reference point”. The position of the division boundary is changed according to the size of the instruction command, and the position of the reference point is further away as the size of the area instruction command is larger.
Using this division reference point calculation criterion, in step S803, each side of the polygon 1701 composed of the input positions 1608, 1609, 1610, 1611 and 1612 is divided by the ratio of the size of adjacent trajectory inputs. A division reference point is calculated. Here, the calculated division reference points are 1703, 1704, 1705, 1706, and 1707.

ステップS1509において、ステップS1507、ステップS1508で算出された、重心および複数の分割基準点に、表示画面を領域分割する処理が行われる。具体的には、重心から複数の分割基準点に対して線をひき、線を表示画面の端まで延長することで画面を分割する。
本実施形態では、重心G´1702から複数の分割基準点a´1703、b´1704、c´1705、d´1706、e´1707に対して各々線分をひき、領域を分割する。ここで、ひかれた線分は、線分G´a´1708、線分G´b´1709、線分G´c´1710、線分G´d´1711、線分G´e´1712である。
In step S1509, processing for dividing the display screen into regions is performed on the center of gravity and the plurality of division reference points calculated in steps S1507 and S1508. Specifically, the screen is divided by drawing a line from the center of gravity to a plurality of division reference points and extending the line to the end of the display screen.
In this embodiment, line segments are drawn from the center of gravity G ′ 1702 to a plurality of division reference points a ′ 1703, b ′ 1704, c ′ 1705, d ′ 1706, and e ′ 1707, thereby dividing the region. Here, the drawn line segments are a line segment G′a′1708, a line segment G′b′1709, a line segment G′c′1710, a line segment G′d′1711, and a line segment G′e′1712. .

続いて、本実施形態においては、ステップS1510の分割領域カテゴリ認識処理において、ユーザが入力した軌跡情報を文字認識し、各々の領域に対してA,B,C,D,Eという識別子(カテゴリ)を認識する。
この後、ユーザは、ステップS1509で分割された5つの領域を用いて、情報処理装置に対する操作を処理することができる。この処理は、ステップS1511からステップS1514のように行うことができ、第2の実施形態のステップS610からステップS613と同様に処理される。
Subsequently, in the present embodiment, in the divided region category recognition processing in step S1510, the trajectory information input by the user is character-recognized, and identifiers (categories) A, B, C, D, and E for the respective regions. Recognize
Thereafter, the user can process an operation on the information processing apparatus using the five areas divided in step S1509. This process can be performed from step S1511 to step S1514, and is performed in the same manner as step S610 to step S613 of the second embodiment.

以上説明した様に、本実施形態によれば、ユーザが、領域を分割するために、任意のオブジェクトを画面上に描画して指示し、その軌跡入力の大きさで、表示画面の分割領域の大きさを変更することができる。   As described above, according to this embodiment, in order to divide the area, the user draws and designates an arbitrary object on the screen, and the size of the locus input determines the size of the divided area of the display screen. The size can be changed.

(第4の実施形態)
前述の第1の実施形態のステップS306において、ステップS305で分割された領域を用いてユーザの操作を処理するための初期処理を行う。ここで、本実施形態における処理によって分割された各領域に対応して行う処理の初期値が取得されてもよいとした。
本実施形態においては、分割された各領域に対して、ユーザ自身が任意の処理を対応付けることができるように、処理対応付け手段を新たに設ける例を示す。また同時に、ステップS308のユーザが指示した領域に対応する処理を実行できるように、各領域に対応付けられた処理を実行する、対応処理実行手段とを設ける例を示す。
(Fourth embodiment)
In step S306 of the first embodiment described above, initial processing for processing a user operation is performed using the area divided in step S305. Here, the initial value of the process performed corresponding to each area divided by the process in the present embodiment may be acquired.
In the present embodiment, an example in which a process association unit is newly provided so that the user can associate an arbitrary process with each divided area is shown. At the same time, an example of providing a corresponding process execution unit that executes a process associated with each area so that the process corresponding to the area designated by the user in step S308 can be executed is shown.

図18は、第4の実施形態に係る全体処理の一例を示す図である。
図18において、ステップS1801からステップS1811までは各ステップを表す。本処理は、図3に示される第1の実施形態の全体処理と比較すると、ステップS1806の分割領域に対応する操作処理を設定するための処理と、ステップS1809の分割領域に対応処理を実行する処理が追加されている。ステップS1806においては、この処理の中で、ユーザ自身が任意の処理を対応付けるために、各領域に対してどのような処理を対応付けるかの問い合わせを行い、ステップS1809において、各領域に対応付けられた処理を実行するための準備を行う。ステップS1809においては、ユーザの操作に従って、予め分割領域に対応付けられた処理を実行する。
FIG. 18 is a diagram illustrating an example of the overall processing according to the fourth embodiment.
In FIG. 18, steps S1801 to S1811 represent each step. Compared with the overall process of the first embodiment shown in FIG. 3, this process executes a process for setting an operation process corresponding to the divided area in step S1806 and a corresponding process for the divided area in step S1809. Processing has been added. In step S1806, the user himself / herself makes an inquiry as to what processing is associated with each area in order to associate an arbitrary process, and in step S1809, the process is associated with each area. Prepare to execute the process. In step S1809, processing associated with the divided areas in advance is executed according to the user's operation.

以上説明した様に、本実施形態によれば、ユーザが領域を分割し、分割領域に対してユーザが所望する操作処理を設定できるようにすることで、分割領域を利用して、ユーザが装置に対する処理操作を簡単にすることができる。   As described above, according to the present embodiment, the user can divide the area and set the operation processing desired by the user for the divided area, so that the user can use the divided area to perform the device. The processing operation can be simplified.

(その他の実施形態)
前述の第2の実施形態のステップS606における重心の算出処理においては、複数の入力位置で構成される多角形が算出できない場合があるかもしれない。例えば前述した方法で重心を求める際に、もし基準点と入力位置の2つ以上の点が一直線上にのるとき正確に多角形が描かれるとは限らない。
(Other embodiments)
In the calculation process of the center of gravity in step S606 of the above-described second embodiment, there may be a case where a polygon formed by a plurality of input positions cannot be calculated. For example, when the center of gravity is obtained by the above-described method, if two or more points of the reference point and the input position are on a straight line, the polygon is not always accurately drawn.

例えば、図19に示すように、軌跡入力1903、1904、1905を描画し、領域分割のための軌跡入力を行った場合について考える。ここで、1901は、本実施形態を適応できる情報処理装置である。1902は、画面表示部である。また、1909から1917までは画面上に表示されているオブジェクトを示す。1906から1908までは、本実施形態におけるステップS604の軌跡入力位置検出処理の結果得られた、各軌跡入力を代表する位置である。
このように、1906から1908までの軌跡入力位置は一直線上に並ぶために、多角形を形成することができない。よって、複数の入力位置で構成される多角形が算出できない場合や、隣り合う軌跡間を結ぶ線が一直線に並んでしまうような場合には、各軌跡入力位置間の間に分割基準点をおき、軌跡を結ぶ直線に対して直交し、分割基準点を通る線分で領域を分割してもよい。つまり、図19に示す1918、1919のように、画面分割される領域の境界を示す線分を引いてもよい。
For example, as shown in FIG. 19, consider a case where locus inputs 1903, 1904, and 1905 are drawn and a locus input for region division is performed. Here, reference numeral 1901 denotes an information processing apparatus to which this embodiment can be applied. Reference numeral 1902 denotes a screen display unit. Reference numerals 1909 to 1917 denote objects displayed on the screen. Reference numerals 1906 to 1908 represent positions representing the respective trajectory inputs obtained as a result of the trajectory input position detection processing in step S604 in the present embodiment.
As described above, since the trajectory input positions 1906 to 1908 are aligned on a straight line, a polygon cannot be formed. Therefore, when a polygon composed of multiple input positions cannot be calculated, or when lines connecting adjacent trajectories are aligned, a division reference point is set between the trajectory input positions. The region may be divided by a line segment that is orthogonal to the straight line connecting the trajectory and passes through the division reference point. That is, a line segment indicating a boundary between regions to be divided may be drawn as 1918 and 1919 shown in FIG.

また、前述の第2の実施形態の分割基準点算出処理におけるステップS802において、取得される分割基準点算出基準は、「すべての入力位置の情報から構成される多角形における、隣接する2点の中点を分割基準点とする」としている。しかし、多角形が構成されない場合もあることを考慮し、別の基準としてもよい。
また前述の実施形態においては、領域分割実行処理の結果として、本実施形態の処理によって画面分割される領域の境界を示す線分を表示画面上に表示する例を示したが、分割領域の境界線を表示画面上に表示しない構成としてもよい。
また前述の実施形態においては、領域分割処理の結果を表示画面上に表示する例を示したが、ユーザが分割された領域を確認し、その境界線を自由に動かせるような分割領域変更手段を設け、分割領域を微調整できるような構成としてもよい。
Further, in step S802 in the division reference point calculation process of the second embodiment described above, the division reference point calculation reference acquired is “the two adjacent points in the polygon composed of information of all input positions”. The midpoint is set as the division reference point. However, considering that the polygon may not be configured, another criterion may be used.
In the above-described embodiment, an example in which a line segment indicating the boundary of the area divided by the process of the present embodiment is displayed on the display screen as a result of the area dividing execution process. The line may not be displayed on the display screen.
In the above-described embodiment, an example in which the result of the area division processing is displayed on the display screen has been described. However, a divided area changing unit that allows the user to check the divided area and freely move the boundary line. It is good also as a structure which can provide and can finely divide | segment a division area.

上述した本発明の実施形態における情報処理装置を構成する各手段、並びに情報処理方法の各ステップは、コンピュータのRAMやROM等に記憶されたプログラムが動作することによって実現できる。このプログラム及びプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。   Each means which comprises the information processing apparatus in embodiment of this invention mentioned above, and each step of the information processing method is realizable by the program memorize | stored in RAM, ROM, etc. of computer operating. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。   Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium, and may be applied to an apparatus composed of a single device.

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   The present invention supplies a software program for realizing the functions of the above-described embodiments directly or remotely to a system or apparatus. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

101:情報処理装置 102:領域分割部 103:対応処理実行部
104:軌跡入力 201:バス装置 202:CPU
203:ROMなどの記憶装置 204:RAMなどの記憶装置
205:入力装置 206:表示装置
DESCRIPTION OF SYMBOLS 101: Information processing apparatus 102: Area division part 103: Corresponding process execution part 104: Trajectory input 201: Bus apparatus 202: CPU
203: Storage device such as ROM 204: Storage device such as RAM 205: Input device 206: Display device

Claims (6)

軌跡入力によって画面を複数の領域に分割する領域分割手段と、
該領域に対応付けられた処理を実行する対応処理実行手段とを備えることを特徴とする情報処理装置。
A region dividing means for dividing the screen into a plurality of regions by trajectory input;
An information processing apparatus comprising: a corresponding process execution unit that executes a process associated with the area.
ユーザがオブジェクトを該領域に移動させるように指示する移動指示手段と、
該移動指示手段が移動する対象を前記対応処理実行手段の処理対象として指示する処理対象指示手段とを備えることを特徴とする請求項1に記載の情報処理装置。
Movement instruction means for instructing the user to move the object to the area;
The information processing apparatus according to claim 1, further comprising: a processing target instruction unit that instructs a target to be moved by the movement instruction unit as a processing target of the corresponding processing execution unit.
前記領域分割手段によって分割された領域の境界を変更する分割領域変更手段をさらに備えることを特徴とする請求項1に記載の情報処理装置。   The information processing apparatus according to claim 1, further comprising: a divided region changing unit that changes a boundary of the region divided by the region dividing unit. 前記領域分割手段は、
入力された軌跡入力を解釈する軌跡解釈手段と、
該軌跡解釈手段の解釈によって領域分割を実行する領域分割実行手段とから構成されることを特徴とする請求項1に記載の情報処理装置。
The region dividing means includes
A trajectory interpretation means for interpreting the input trajectory input;
The information processing apparatus according to claim 1, further comprising: an area division execution unit that executes area division by interpretation of the trajectory interpretation unit.
軌跡入力によって画面を複数の領域に分割する領域分割ステップと、
該領域に対応付けられた処理を実行する対応処理実行ステップとを有することを特徴とする情報処理方法。
An area dividing step for dividing the screen into a plurality of areas by input of a locus;
An information processing method comprising: a corresponding process execution step for executing a process associated with the region.
軌跡入力によって画面を複数の領域に分割する領域分割ステップと、
該領域に対応付けられた処理を実行する対応処理実行ステップとをコンピュータに実行させるためのプログラム。
An area dividing step for dividing the screen into a plurality of areas by input of a locus;
A program for causing a computer to execute a corresponding process execution step for executing a process associated with the area.
JP2009107896A 2009-04-27 2009-04-27 Apparatus and method for processing information, and program Pending JP2010257315A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009107896A JP2010257315A (en) 2009-04-27 2009-04-27 Apparatus and method for processing information, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009107896A JP2010257315A (en) 2009-04-27 2009-04-27 Apparatus and method for processing information, and program

Publications (1)

Publication Number Publication Date
JP2010257315A true JP2010257315A (en) 2010-11-11

Family

ID=43318130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009107896A Pending JP2010257315A (en) 2009-04-27 2009-04-27 Apparatus and method for processing information, and program

Country Status (1)

Country Link
JP (1) JP2010257315A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016085381A (en) * 2014-10-27 2016-05-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Encryption method, encryption device and encryption system
JP2016100016A (en) * 2014-11-18 2016-05-30 ダッソー システムズDassault Systemes Partitioning image
US10438384B2 (en) 2014-08-22 2019-10-08 Nec Display Solutions, Ltd. Image display system, image control device, display device and display control method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438384B2 (en) 2014-08-22 2019-10-08 Nec Display Solutions, Ltd. Image display system, image control device, display device and display control method
JP2016085381A (en) * 2014-10-27 2016-05-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Encryption method, encryption device and encryption system
JP2016100016A (en) * 2014-11-18 2016-05-30 ダッソー システムズDassault Systemes Partitioning image
CN105844609A (en) * 2014-11-18 2016-08-10 达索系统公司 Partitioning an image
CN105844609B (en) * 2014-11-18 2020-10-16 达索系统公司 Partitioning an image

Similar Documents

Publication Publication Date Title
JP6159323B2 (en) Information processing method and information processing apparatus
JP4301842B2 (en) How to use the user interface
KR101392936B1 (en) User Customizable Interface System and Implementing Method thereof
JP2009151638A (en) Information processor and control method thereof
JP2000222130A (en) Input device and method and storage medium
JP2011216094A (en) Touch screen device and input processing method
JP2009140390A (en) Instruction device and fingerprint authentication semiconductor circuit
JP2013045217A (en) Input device
KR20060065472A (en) Gui program, data processing apparatus, and method for operating objects
CN107003804B (en) Method, system and non-transitory computer readable recording medium for providing prototype design tool
JP2012027515A (en) Input method and input device
CN103324420A (en) Multi-point touchpad input operation identification method and electronic equipment
US7742095B2 (en) Information processing apparatus, method and storage medium
JP5404291B2 (en) Information processing apparatus and control method
WO2008004624A1 (en) Handwritten input processing device, handwritten input processing method, and handwritten input processing program
JP2010257315A (en) Apparatus and method for processing information, and program
JP2011154546A (en) Device and method for inputting information, and program
KR102094478B1 (en) Method and apparatus of controlling display using control pad, and server that distributes computer program for executing the method
JP2001195170A (en) Portable electronic equipment, input controller and storage medium
JP5449088B2 (en) Information input device
JP5213794B2 (en) Information processing apparatus and information processing method
JP2015122124A (en) Information apparatus with data input function by virtual mouse
JP4212396B2 (en) Graphic element selection program
JP3388524B2 (en) Image input device
JPH09230991A (en) Information processor