JP2014102628A - Object operation device and object operation control program - Google Patents

Object operation device and object operation control program Download PDF

Info

Publication number
JP2014102628A
JP2014102628A JP2012253323A JP2012253323A JP2014102628A JP 2014102628 A JP2014102628 A JP 2014102628A JP 2012253323 A JP2012253323 A JP 2012253323A JP 2012253323 A JP2012253323 A JP 2012253323A JP 2014102628 A JP2014102628 A JP 2014102628A
Authority
JP
Japan
Prior art keywords
handwriting input
handwritten
finger
input
instruction means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012253323A
Other languages
Japanese (ja)
Other versions
JP6003566B2 (en
Inventor
Shinya Oginuno
真也 荻布
俊介 ▲高▼村
Shunsuke Takamura
Ikuko Kanazawa
郁子 金澤
Noriko Hoshino
徳子 星野
Toshihiro Motoi
俊博 本井
Takao Shudo
孝夫 首藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2012253323A priority Critical patent/JP6003566B2/en
Publication of JP2014102628A publication Critical patent/JP2014102628A/en
Application granted granted Critical
Publication of JP6003566B2 publication Critical patent/JP6003566B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To appropriately form an object by switching functions corresponding to an operation by a finger or the like in response to whether or not handwriting-input by a pen device or the like is being performed.SOLUTION: An object operation device comprises: a touch sensor which can identify touches by two kinds of indication means; a display part which comprises the touch sensor on a display surface and displays a handwriting-input object by one indication means; and a control part for, while the handwriting-input is being performed by the one indication means, recognizing an operation by the other indication means as a specific operation with respect to the handwriting-input object, and executing a function associated with the specific operation.

Description

本発明は、オブジェクト操作装置及びオブジェクト操作制御プログラムに関し、特に、2種類の指示手段を識別可能なタッチセンサを表示面に有するタッチパネルを備えるオブジェクト操作装置及び手書き入力中のオブジェクトに対する操作を制御するオブジェクト操作制御プログラムに関する。   The present invention relates to an object operation device and an object operation control program, and in particular, an object operation device including a touch panel having a touch sensor that can identify two types of instruction means on a display surface, and an object that controls an operation on an object being handwritten. It relates to an operation control program.

近年、タッチパネルを備えたタブレット端末や携帯型のコンピュータ装置などの携帯端末の普及に伴い、文字や図形などのオブジェクトを手書き入力する機会が増えている。また、各々のユーザが自身の携帯端末を用いてオブジェクトを手書き入力し、そのオブジェクトを共有画面に表示させ、共有画面に表示されたオブジェクトを見ながら会議を進行する電子会議も行われるようになってきている。このようなシステムでは、手書き入力したオブジェクトに対して、分割、結合、範囲指定、部分消去、拡大/縮小、色/太さ/線種の変更などが必要な場合があることから、オブジェクトの操作に関する様々な方法が提案されている。   In recent years, with the widespread use of portable terminals such as tablet terminals and portable computer devices equipped with a touch panel, there are increasing opportunities for handwriting input of objects such as characters and figures. In addition, electronic conferences in which each user inputs an object by hand using his / her portable terminal, displays the object on a shared screen, and proceeds with the conference while viewing the object displayed on the shared screen are also held. It is coming. In such a system, it may be necessary to divide, combine, specify a range, partially erase, enlarge / reduce, change color / thickness / line type, etc. for an object input by handwriting. Various methods have been proposed.

例えば、下記特許文献1には、タッチ・センシティブ入力デバイスのためのモード・ベースのグラフィカル・ユーザ・インタフェースに関して、タッチの特性によりユーザインタフェースモードを判定し、GUI(Graphical User Interface)要素を表示したり、スクロールジェスチャに対して仮想スクロールホイールを表示したりすることなどが記載されている。   For example, in Patent Document 1 below, regarding a mode-based graphical user interface for a touch-sensitive input device, a user interface mode is determined based on touch characteristics, and a GUI (Graphical User Interface) element is displayed. Or displaying a virtual scroll wheel for a scroll gesture.

また、下記特許文献2には、表示画面に設けられ、指・手によりタッチされた座標を検出して第1検出信号を出力する手指検出手段と、前記表示画面に設けられ、ペンによりタッチされた座標を検出して第2検出信号を出力するペン検出手段と、前記ペンが使用されている場合は、前記第2検出信号からポインティングを抽出して、ポインティング指示を発行し、かつ、前記第1検出信号から所定のジェスチャのみを抽出して対応するコマンドを発行する信号処理手段と、を備えた座標入力装置が開示されている。   Further, in Patent Document 2 below, a finger detection unit that is provided on a display screen and detects a coordinate touched by a finger / hand and outputs a first detection signal; and a touch detection unit that is provided on the display screen and touched with a pen. Pen detection means for detecting the detected coordinates and outputting a second detection signal; if the pen is used, the pointing is extracted from the second detection signal, a pointing instruction is issued, and the second There is disclosed a coordinate input device including signal processing means for extracting only a predetermined gesture from one detection signal and issuing a corresponding command.

特表2008−508600号公報Special table 2008-508600 gazette 特開2011−186550号公報JP 2011-186550 A

通常、指によるタッチパネルの操作に対して、画面のスクロールやオブジェクトの移動などの機能が予め割り当てられているため、手書き入力中のオブジェクトに特有の機能(オブジェクトの分割、結合、範囲指定、部分消去、拡大/縮小、色/太さ/線種の変更など)を割り当てることができない。そのため、特許文献1のように、メニュー画面を表示し、そのメニュー画面で機能を選択することにより、手書き入力のオブジェクトに対して実行する機能を切り換えるようなUIになってしまう。   Usually, functions such as screen scrolling and object movement are pre-assigned to finger touch panel operations, so functions specific to the object being handwritten (such as object division, combination, range specification, and partial deletion) , Enlargement / reduction, change of color / thickness / line type, etc.) cannot be assigned. For this reason, as in Patent Document 1, a menu screen is displayed, and selecting a function on the menu screen results in a UI that switches a function to be executed on a handwritten input object.

しかしながら、手書き入力中のオブジェクトに対する操作は頻繁になされるため、手書き入力中にメニュー選択のような煩雑な操作を行うと思考が中断されてしまい、アイデア出しなどの場面でスムーズに手書き入力を行うことができなくなってしまう。また、メニュー選択のような煩雑な操作は、手書き入力と並行して行うことは困難であるため、他者の話の内容を書き残すなどの場面で、筆記が追いつかなくなってしまう。   However, since operations are frequently performed on objects during handwriting input, if a complicated operation such as menu selection is performed during handwriting input, thinking is interrupted, and handwriting input is smoothly performed in scenes such as idea generation. It becomes impossible to do. Moreover, since it is difficult to perform complicated operations such as menu selection in parallel with handwriting input, writing cannot be caught up in situations such as leaving the contents of another person's story.

例えば、文字や図形等のオブジェクトを手書き入力し、手書き入力したオブジェクトを自由に動かすことができるアプリケーションにおいて、手書きしたオブジェクトがユーザの意図通りの単位に分割されることは重要である。既存の技術では、ストローク間の時間的もしくは空間的距離や文字認識などにより、ある程度の精度でオブジェクトを自動的に分割することはできる。しかしながら、既存の技術では、必ずしもユーザの意図通りにオブジェクトは分割されないため、手書き入力後に自動的に分割されたオブジェクトに対して補正が必要となる。そして、この補正の際に、メニュー選択のような煩雑な操作を行わなければならないため、思考が細切れになり、筆記が追いつかなくなるなどの問題が生じる。   For example, in an application in which an object such as a character or a figure is input by handwriting and the object input by handwriting can be freely moved, it is important that the handwritten object is divided into units as intended by the user. In the existing technology, an object can be automatically divided with a certain degree of accuracy by a temporal or spatial distance between strokes or character recognition. However, in the existing technology, since the object is not necessarily divided as intended by the user, it is necessary to correct the automatically divided object after handwriting input. In this correction, since a complicated operation such as menu selection must be performed, there arises a problem that thoughts are shredded and writing cannot be caught up.

このような問題に対して、特許文献2では、ペンデバイスによる手書き入力と指・手による操作とを識別できるようにし、指・手による第1検出信号から所定のジェスチャのみを抽出して対応するコマンドを発行する構成を開示している。しかしながら、特許文献2では、手書き入力中かどうかで指・手による操作に対応する機能を切り替えることができない。そのため、手書き入力中のオブジェクトに対して、指・手による操作を新たに定義しなければならず、操作の種類が増えることによって操作が難しくなってしまう。   In order to cope with such a problem, Japanese Patent Laid-Open No. 2004-228867 can identify handwriting input by a pen device and finger / hand operation and extract only a predetermined gesture from the first detection signal by the finger / hand. A configuration for issuing commands is disclosed. However, in Patent Document 2, a function corresponding to an operation with a finger / hand cannot be switched depending on whether or not handwriting is being input. For this reason, a finger / hand operation must be newly defined for an object being handwritten, and the operation becomes difficult due to an increase in the types of operations.

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、ペンデバイスなどによる手書き入力中か否かに応じて、指などによる操作に対応する機能を切り替え、適切なオブジェクト形成を行うことができるオブジェクト操作装置及びオブジェクト操作制御プログラムを提供することにある。   The present invention has been made in view of the above problems, and its main purpose is to switch a function corresponding to an operation with a finger or the like according to whether or not a handwriting input by a pen device or the like is being performed, and an appropriate object It is an object to provide an object operation device and an object operation control program that can be formed.

本発明の一側面に係る装置は、2種類の指示手段によるタッチを識別可能なタッチセンサと、前記タッチセンサを表示面に備え、一方の指示手段によって手書き入力されたオブジェクトを表示する表示部と、前記一方の指示手段による手書き入力中の場合に、他方の指示手段による操作を、前記手書き入力中のオブジェクトに対する特定の操作として認識し、当該特定の操作に対応付けられた機能を実行する制御部と、を備えることを特徴とする。   An apparatus according to one aspect of the present invention includes a touch sensor that can identify a touch by two types of instruction means, a display unit that includes the touch sensor on a display surface, and displays an object handwritten by one of the instruction means. Control for recognizing an operation by the other instruction means as a specific operation on the object being handwritten and executing a function associated with the specific operation when handwriting input by the one instruction means is being performed And a section.

また、本発明の一側面に係るプログラムは、2種類の指示手段によるタッチを識別可能なタッチセンサと、前記タッチセンサを表示面に備え、一方の指示手段によって手書き入力されたオブジェクトを表示する表示部と、を制御する装置で動作するオブジェクト操作制御プログラムであって、前記装置に、前記一方の指示手段による手書き入力中の場合に、他方の指示手段による操作を、前記手書き入力中のオブジェクトに対する特定の操作として認識し、当該特定の操作に対応付けられた機能を実行する第2処理、を実行させることを特徴とする。   In addition, a program according to one aspect of the present invention includes a touch sensor that can identify a touch by two types of instruction means, a display that includes the touch sensor on a display surface, and displays an object handwritten by the one instruction means. An object operation control program that operates on a device that controls the unit, and when the handwriting input by the one instruction unit is being performed on the device, the operation by the other instruction unit is performed on the object being handwritten A second process for recognizing the specific operation and executing a function associated with the specific operation is performed.

本発明のオブジェクト操作装置及びオブジェクト操作制御プログラムによれば、ペンデバイスなどによる手書き入力中に、指などによる操作に対応する機能を切り替え、適切なオブジェクト形成を行うことができる。   According to the object operation device and the object operation control program of the present invention, it is possible to perform appropriate object formation by switching the function corresponding to the operation with a finger or the like during handwriting input by a pen device or the like.

その理由は、2種類の指示手段(例えば、ペンデバイスと指)によるタッチを識別可能なタッチパネルを備えるオブジェクト操作装置において、制御部では、一方の指示手段(例えば、ペンデバイス)による手書き入力中の場合は、他方の指示手段(例えば、指)による操作を、手書き入力中のオブジェクトに対する特定の操作として認識し、当該特定の操作に対応付けられた機能を実行する制御を行うからである。   The reason is that, in an object operation device including a touch panel that can identify a touch by two types of instruction means (for example, a pen device and a finger), the control unit is performing handwriting input by one instruction means (for example, a pen device). In this case, the operation by the other instruction means (for example, a finger) is recognized as a specific operation for the object being handwritten and control is performed to execute a function associated with the specific operation.

このように、本発明では、指操作に対して、手書き入力中と手書き入力後とで異なる機能が対応付けられるため、簡単な指操作で手書き入力中のオブジェクトに対して所望の機能を実行することができる。これにより、煩雑な操作によって思考が中断されてしまうことがなく、また、手書き入力と並行して(もしくは十分短時間で)操作可能となるため、筆記が遅れることがなく、適切なオブジェクト形成を行うことができる。   As described above, in the present invention, since a different function is associated with a finger operation during handwriting input and after handwriting input, a desired function is executed on an object being handwritten with a simple finger operation. be able to. As a result, thoughts are not interrupted by complicated operations and can be operated in parallel (or in a sufficiently short time) with handwriting input, so that writing is not delayed and appropriate object formation is achieved. It can be carried out.

従来のオブジェクトの操作方法を説明する図である。It is a figure explaining the conventional operation method of an object. 本発明の一実施形態に係るオブジェクトの操作方法の一例を説明する図である。It is a figure explaining an example of the operation method of the object which concerns on one Embodiment of this invention. 本発明の一実施例に係るオブジェクト操作装置の構成例を模式的に示す図である。It is a figure which shows typically the structural example of the object operating device which concerns on one Example of this invention. 本発明の一実施例に係るオブジェクト操作装置の構成を示すブロック図である。It is a block diagram which shows the structure of the object operation apparatus which concerns on one Example of this invention. 本発明の一実施例に係るオブジェクト操作装置が参照する機能対応付け情報の一例である。It is an example of the function matching information which the object operating device which concerns on one Example of this invention refers. 本発明の一実施例に係るオブジェクト操作装置の処理(オブジェクトの新規作成処理)を示すフローチャート図である。It is a flowchart figure which shows the process (new object creation process) of the object operating device concerning one Example of this invention. 本発明の一実施例に係るオブジェクト操作装置の処理(手書き入力中の判断処理)を示すフローチャート図である。It is a flowchart figure which shows the process (judgment process during handwriting input) of the object operating device which concerns on one Example of this invention. 本発明の一実施例に係るオブジェクト操作装置の全体処理を示すフローチャート図である。It is a flowchart figure which shows the whole process of the object operating device which concerns on one Example of this invention.

背景技術で示したように、通常、指によるタッチパネルの操作には、画面のスクロールやオブジェクトの移動などの所定の機能が割り当てられているため、手書き入力中のオブジェクトに特有の機能(オブジェクトの分割、結合、範囲指定、部分消去、拡大/縮小、色/太さ/線種の変更など)を割り当てることができない。例えば、図1(a)に示すように、ドラッグ操作は移動、タップ操作は選択、長押し操作はメニュー表示、ピンチ操作は拡大/縮小のように機能が予め割り当てられているため、手書き入力のオブジェクトに特有の機能を割り当てることができない。   As shown in the background art, since predetermined functions such as screen scrolling and object movement are usually assigned to the operation of the touch panel with a finger, functions specific to the object being handwritten (such as object division) , Combination, range designation, partial deletion, enlargement / reduction, change of color / thickness / line type, etc.) cannot be assigned. For example, as shown in FIG. 1A, a drag operation is moved, a tap operation is selected, a long press operation is a menu display, and a pinch operation is pre-assigned such as enlargement / reduction. You cannot assign a specific function to an object.

そのため、手書き入力のオブジェクトに特有の機能(例えば、手書き入力中のオブジェクトの結合)を実行する場合は、図1(b)に示すように、手書き入力中のオブジェクトを長押ししてメニュー画面を呼び出し、そのメニュー画面の中の所望の機能(ここでは結合)をタップして選択し、ドラッグによって結合するオブジェクトの範囲指定を行うようにしている。しかしながら、このような煩雑な操作を行うと思考が中断されてしまい、また、このような煩雑な操作は手書き入力と並行して行うことは困難であるため、筆記が追いつかなくなってしまう。   Therefore, when executing a function peculiar to a handwritten input object (for example, combining objects during handwriting input), as shown in FIG. Call and select a desired function (in this case, combination) in the menu screen, and specify the range of objects to be combined by dragging. However, if such a complicated operation is performed, thinking is interrupted, and it is difficult to perform such a complicated operation in parallel with handwriting input, and thus writing cannot be followed.

また、ペンデバイスによる手書き入力と指による操作とを識別できるようにしたとしても、手書き入力中かどうかで指操作に対応する機能を切り替えることができないと、通常の指操作とは別に、手書き入力中のオブジェクトに特有の機能を指示する指操作を新たに定義しなければならない。その結果、指操作の種類が増えて複雑化し、手書き入力中のオブジェクトに対して簡便に所望の機能を実行することができない。特に、一般的な指操作に対して機能は既に割り当てられているため、新たに定義する指操作は複雑なジェスチャになってしまい、ユーザの使い勝手が悪くなり、指操作を判別する装置側の処理も複雑になってしまう。   Even if it is possible to distinguish between handwriting input by a pen device and operation by a finger, if the function corresponding to the finger operation cannot be switched depending on whether or not the handwriting input is being performed, handwriting input is performed separately from normal finger operation. You must define a new finger operation that indicates a function specific to the object inside. As a result, the types of finger operations increase and become complicated, and a desired function cannot be easily executed on an object being handwritten. In particular, since functions are already assigned to general finger operations, the newly defined finger operations become complicated gestures, making the user's usability worse, and processing on the device side to discriminate finger operations It becomes complicated.

そこで、本発明の一実施の形態では、ユーザがペンデバイスにより手書き入力を行い、指のタッチ入力により手書き入力したオブジェクトに対する操作を行う際に、指操作に対して、手書き入力中と手書き入力中以外とで異なる機能を対応付けておく。そして、ペンデバイスによる手書き入力中か否かを判断し、手書き入力中と判断した場合は、指操作を、手書き入力中のオブジェクトに対する特定の操作として認識し、当該特定の操作に対応付けられた機能(オブジェクトの分割、結合、範囲指定、部分消去、拡大/縮小、色/太さ/線種の変更など)を実行するようにする。   Therefore, in one embodiment of the present invention, when a user performs handwriting input with a pen device and performs an operation on an object handwritten input by finger touch input, handwriting input and handwriting input are performed for the finger operation. Different functions are associated with each other. Then, it is determined whether or not handwriting input by the pen device is being performed. When it is determined that handwriting input is being performed, the finger operation is recognized as a specific operation on the object being handwritten and is associated with the specific operation. Functions (dividing, combining, range designation, partial erasure, enlargement / reduction, change of color / thickness / line type, etc.) are executed.

以下、図2を参照していつくかの具体例について説明する。   Hereinafter, specific examples will be described with reference to FIG.

まず、手書き入力中のオブジェクトには、オブジェクトの周囲に矩形の枠が表示されるようにしておく。そして、図2(a)に示すように、手書き入力中のオブジェクトを起点として、手書き入力済みのオブジェクトに向かって指を移動させる。この指操作は、手書き入力中でない場合はオブジェクトを移動させる操作となるが、手書き入力中はオブジェクトの結合を指示する操作として認識し、手書き入力中のオブジェクトと手書き入力済みのオブジェクトとを結合する機能を実行する。そして、ユーザの意図通りに結合が行われたことを確認できるように、2つのオブジェクトを囲む矩形の枠を表示し、操作を随時視覚的にフィードバックする。また、2つのオブジェクトを2本の指でタッチした場合も、同様に、オブジェクトの結合を指示する操作として認識する。   First, a rectangular frame is displayed around the object in the handwritten input. Then, as shown in FIG. 2A, the finger is moved toward the object that has been handwritten, starting from the object being handwritten. This finger operation is an operation for moving an object when handwriting input is not being performed, but is recognized as an operation for instructing the combination of objects during handwriting input, and the object being handwritten and the object that has been handwritten input are combined. Perform the function. Then, a rectangular frame surrounding the two objects is displayed so that it can be confirmed that the connection has been performed as intended by the user, and the operation is visually fed back as needed. Similarly, when two objects are touched with two fingers, it is recognized as an operation for instructing the combination of the objects.

また、図2(b)に示すように、手書き入力中のオブジェクトに対してオブジェクトを横切るように指を移動させる。この操作は、手書き入力中でない場合は上記と同様にオブジェクトを移動させる操作となるが、手書き入力中はオブジェクトの分割を指示する操作として認識し、指を移動させた線を境にして2つのオブジェクトに分割する機能を実行する。そして、ユーザの意図通りに分割が行われたことを確認できるように、後で手書き入力したオブジェクトを囲む矩形の枠を表示し、操作を随時視覚的にフィードバックする。   Further, as shown in FIG. 2B, the finger is moved across the object with respect to the object being handwritten. This operation is an operation for moving the object in the same manner as described above when not being handwritten, but is recognized as an operation for instructing the division of the object during the handwriting input, and two operations are performed with the line where the finger is moved as a boundary. Executes the function of dividing into objects. Then, in order to confirm that the division has been performed as intended by the user, a rectangular frame surrounding an object input later by handwriting is displayed, and the operation is visually fed back as needed.

また、図2(c)に示すように、手書き入力中のオブジェクトに対してオブジェクト上で細かく指を往復させる。この操作は、手書き入力中でない場合は上記と同様にオブジェクトを移動させる操作となるが、手書き入力中はオブジェクトの部分消去を指示する操作として認識し、指を移動させた領域のオブジェクトを消去する機能を実行する。そして、ユーザの意図通りに部分消去が行われたことを確認できるように、消去されなかったオブジェクトを囲む矩形の枠を表示し、操作を随時視覚的にフィードバックする。   Further, as shown in FIG. 2C, the finger is reciprocated finely on the object with respect to the object being handwritten. This operation is an operation for moving the object in the same manner as described above when not being handwritten, but is recognized as an operation for instructing partial erasure of the object during handwriting input, and the object in the area where the finger is moved is erased. Perform the function. Then, a rectangular frame surrounding the object that has not been deleted is displayed so that it can be confirmed that the partial deletion has been performed as intended by the user, and the operation is visually fed back as needed.

このように、ペンデバイスによる手書き入力中であるかを判定し、手書き入力中では、ドラッグやタップなどの一般的な指操作を、手書き入力中のオブジェクトに対する特有な操作として認識することにより、指操作の複雑化を回避して、簡便に手書き入力中のオブジェクトを操作することが可能となる。   In this way, it is determined whether or not handwriting input by the pen device is being performed, and during handwriting input, a general finger operation such as dragging or tapping is recognized as a specific operation for the object being handwritten, thereby It is possible to easily manipulate an object during handwriting input while avoiding complicated operation.

なお、ペンデバイスによる手書き入力中及び手書き入力が途切れてから所定時間が経過するまでは、手書き入力中であると判断する。そして、手書き入力中の上記指操作は結合/分割、部分消去などを指示操作として処理し、所定時間経過後の指操作は通常の操作(ドラッグ操作やタップ操作)として処理する。このように、ペンデバイスによる手書き入力中のみならず所定時間が経過するまで、手書き入力中と判断することにより、手書き入力したオブジェクトに対する操作を考える余裕ができ、適切なオブジェクト形成を行うことができる。また、所定時間が経過したら、手書き入力中でないと判断することにより、通常の操作に戻す作業を省略することができ、ユーザの利便性を向上させることができる。   It is determined that handwriting input is being performed during a handwriting input by the pen device and until a predetermined time has elapsed after the handwriting input is interrupted. Then, the finger operation during handwriting input is processed as an instruction operation such as combination / division, partial erasure, and the finger operation after a predetermined time has elapsed is processed as a normal operation (drag operation or tap operation). In this way, by determining that the handwriting input is in progress until a predetermined time has elapsed as well as during the handwriting input by the pen device, there is room for considering an operation on the object input by handwriting, and appropriate object formation can be performed. . Further, when it is determined that the handwriting input is not being performed after a predetermined time has elapsed, the operation of returning to the normal operation can be omitted, and the convenience for the user can be improved.

その際、図2(d)に示すように、手書き入力後の経過時間をオブジェクトに対応付けて(図ではオブジェクトの下部に)表示することができる。このように手書き入力後の経過時間を表示することにより、手書き入力中のオブジェクトに対する指操作が、所定時間の経過によって通常の操作と判断される不都合を未然に回避することができる。また、上記所定時間は固定時間としてもよいが、図2(d)に示すように、指操作で手書き入力中状態を変更できるようにすることもできる。このように手書き入力中状態を変更可能にすることにより、手書き入力中状態を延長した場合は、手書き入力したオブジェクトに対してどのような操作を行うかを十分に考えることができ、また、手書き入力中状態を短縮した場合は、通常の指操作に速やかに戻すことができ、適切なオブジェクト形成を行うことができる。   At this time, as shown in FIG. 2D, the elapsed time after handwriting input can be displayed in association with the object (in the lower part of the object in the figure). By displaying the elapsed time after handwriting input in this way, it is possible to avoid the inconvenience that a finger operation on an object during handwriting input is determined as a normal operation when a predetermined time elapses. Moreover, although the said predetermined time is good also as fixed time, as shown in FIG.2 (d), it can also enable it to change the state in handwriting input by finger operation. By making the handwriting input state changeable in this way, when the handwriting input state is extended, it is possible to fully consider what kind of operation is performed on the handwritten input object. When the input state is shortened, it is possible to quickly return to normal finger operation, and appropriate object formation can be performed.

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係るオブジェクト操作装置及びオブジェクト操作制御プログラムについて、図3乃至図8を参照して説明する。図3は、本実施例のオブジェクト操作装置の構成例を模式的に示す図であり、図4は、オブジェクト操作装置の構成を示すブロック図である。また、図5は、本実施例の機能対応付け情報の一例であり、図6乃至図8は、本実施例のオブジェクト操作装置の処理を示すフローチャート図である。   In order to describe the above-described embodiment of the present invention in more detail, an object operation device and an object operation control program according to an embodiment of the present invention will be described with reference to FIGS. FIG. 3 is a diagram schematically illustrating a configuration example of the object operation device according to the present embodiment, and FIG. 4 is a block diagram illustrating a configuration of the object operation device. FIG. 5 is an example of the function association information according to the present embodiment, and FIGS. 6 to 8 are flowcharts illustrating processing of the object operation device according to the present embodiment.

図3(a)に示すように、本実施例のオブジェクト操作装置10は、タッチパネルを備えた携帯型のコンピュータ装置やタブレット端末、PDA(Personal Digital Assistants)、スマートフォンなどである。なお、オブジェクト操作装置10は、タッチパネルを有する表示画面とオブジェクト操作を行うコントローラとが一体的に構成されていてもよいし、図3(b)に示すように、タッチパネルを有する表示画面とオブジェクト操作を行うコントローラとが別々に構成されていてもよい。また、図3(a)に示すオブジェクト操作装置10が通信ネットワークで複数台接続されたシステムとしてもよいし、更に、図3(b)に示すオブジェクト操作装置10が通信ネットワークで接続されたシステムとしてもよい。   As shown in FIG. 3A, the object operating device 10 of the present embodiment is a portable computer device or tablet terminal provided with a touch panel, a PDA (Personal Digital Assistants), a smartphone, or the like. The object operation device 10 may be configured integrally with a display screen having a touch panel and a controller that performs object operation. As shown in FIG. The controller that performs the above may be configured separately. 3A may be a system in which a plurality of object operation devices 10 are connected via a communication network, and a system in which the object operation device 10 illustrated in FIG. 3B is connected via a communication network may be used. Also good.

図4は、図3(a)のオブジェクト操作装置10の構成を示すブロック図であり、オブジェクト操作装置10は、制御部11(図3(b)におけるコントローラ)と、表示部12及び操作部13(図3(b)における表示画面)などで構成される。   4 is a block diagram showing the configuration of the object operation device 10 in FIG. 3A. The object operation device 10 includes a control unit 11 (controller in FIG. 3B), a display unit 12, and an operation unit 13. (Display screen in FIG. 3B).

制御部11は、CPU(Central Processing Unit)11aと、ROM(Read Only Memory)11bやRAM(Random Access Memory)11cなどのメモリと、必要に応じてHDD(Hard Disk Drive)11dや通信I/F部11eなどで構成される。CPU11aは、オブジェクト操作装置10の動作を制御するプログラムをROM11bやHDD11dから読み出し、RAM11c上に展開して実行する。通信I/F部11eは、NIC(Network Interface Card)やモデムなどで構成され、必要に応じて、他のオブジェクト操作装置10との接続を確立し、オブジェクトの送受信を行う。   The control unit 11 includes a CPU (Central Processing Unit) 11a, a memory such as a ROM (Read Only Memory) 11b and a RAM (Random Access Memory) 11c, an HDD (Hard Disk Drive) 11d and a communication I / F as necessary. The unit 11e is configured. The CPU 11a reads a program for controlling the operation of the object operation device 10 from the ROM 11b and the HDD 11d, and develops and executes the program on the RAM 11c. The communication I / F unit 11e is configured by a NIC (Network Interface Card), a modem, or the like, and establishes a connection with another object operation device 10 and transmits / receives objects as necessary.

また、ROM11bやHDD11dは、手書き入力中と手書き入力中以外とで指操作に対して異なる機能を対応付ける機能対応付け情報を記憶する。この機能対応付け情報は、例えば、図5のように構成され、各々の指操作(ジェスチャ)に対して、手書き入力中及び手書き入力中以外(非手書き入力中と表記)に各々、機能が対応付けられている。なお、全ての指操作(ジェスチャ)に対して、手書き入力中と非手書き入力中とで機能を変える必要はない。また、全ての指操作(ジェスチャ)に対して、手書き入力中と非手書き入力中の双方に機能を対応付ける必要はなく、一方のみに機能を対応付けてもよい。この機能の対応付けに関しては後述する。   In addition, the ROM 11b and the HDD 11d store function association information for associating different functions with finger operations during handwriting input and other than during handwriting input. This function association information is configured as shown in FIG. 5, for example, and functions correspond to each finger operation (gesture) except during handwritten input and during handwritten input (noted as non-handwritten input). It is attached. For all finger operations (gestures), there is no need to change the function during handwriting input and during non-handwriting input. Further, for all finger operations (gestures), it is not necessary to associate functions with both handwritten input and non-handwritten input, and functions may be associated with only one of them. This function association will be described later.

また、上記制御部11は、オブジェクト操作制御部として機能する。このオブジェクト操作制御部は、スタイラスペンなどのペンデバイス(以下、単にペンと呼ぶ。)による入力と指や手(以下、指とする。)による入力とを識別し、指による入力を検知した場合、制御部11に備えるタイマが計測する時間に基づいて、ペンによるオブジェクトの手書き入力中であるか否かを判断する。そして、上記機能対応付け情報を参照し、オブジェクトが手書き入力中であるか否かに応じて、指入力に対応する機能を特定し、特定した機能を実行させる。なお、このオブジェクト操作制御部はハードウェアとして構成してもよいし、制御部11をオブジェクト操作制御部として機能させるオブジェクト操作制御プログラムとして構成してもよい。   The control unit 11 functions as an object operation control unit. When the object operation control unit discriminates an input by a pen device such as a stylus pen (hereinafter simply referred to as a pen) and an input by a finger or hand (hereinafter referred to as a finger), and detects an input by the finger Based on the time measured by the timer provided in the control unit 11, it is determined whether or not the object is being handwritten by the pen. Then, referring to the function association information, the function corresponding to the finger input is specified according to whether or not the object is being handwritten, and the specified function is executed. The object operation control unit may be configured as hardware, or may be configured as an object operation control program that causes the control unit 11 to function as an object operation control unit.

表示部12は、LCD(Liquid Crystal Display)や有機EL(electroluminescence)ディスプレイなどで構成され、ペンで手書き入力されたオブジェクトを表示する。また、指入力に応じて、分割、結合、範囲指定、部分消去、拡大/縮小、色/太さ/線種の変更などの機能が実行されたオブジェクトを表示する。   The display unit 12 includes an LCD (Liquid Crystal Display), an organic EL (electroluminescence) display, or the like, and displays an object input by handwriting with a pen. In addition, an object on which functions such as division, combination, range designation, partial erasure, enlargement / reduction, and change of color / thickness / line type are executed according to a finger input is displayed.

操作部13は、表示部12上に配置された格子状の透明電極を備えるタッチセンサであり、電磁気や静電容量、圧力、接触面積などに基づいて、ペンによる接触と指による接触とを識別して検知する。例えば、電磁気の変化を検知する機能と静電容量の変化を検知する機能とを兼ね備える構成とし、ペンの先端に埋め込まれた磁性材料による電磁気の変化に基づいてペンの接触を検知し、静電容量の変化に基づいて指の接触を検知することができる。また、圧力の変化を検知する機能と静電容量の変化を検知する機能とを兼ね備える構成とし、圧力の変化に基づいてペンの接触を検知し、静電容量の変化に基づいて指の接触を検知することができる。また、静電容量や圧力の変化を検知する機能を備える構成とし、静電容量や圧力が変化した面積や形状に基づいてペンの接触と指の接触とを識別して検知することができる。   The operation unit 13 is a touch sensor including a grid-like transparent electrode arranged on the display unit 12, and discriminates between contact with a pen and contact with a finger based on electromagnetic, electrostatic capacity, pressure, contact area, and the like. To detect. For example, it is configured to have both a function to detect electromagnetic changes and a function to detect capacitance changes, and detects the contact of the pen based on the electromagnetic change caused by the magnetic material embedded in the tip of the pen, Finger contact can be detected based on the change in capacitance. In addition, it has a structure that has both a function to detect a change in pressure and a function to detect a change in capacitance, detects a pen contact based on a change in pressure, and detects a finger contact based on a change in capacitance. Can be detected. Moreover, it is set as the structure provided with the function to detect the change of an electrostatic capacitance or a pressure, and it can identify and detect the contact of a pen and the contact of a finger based on the area and shape in which the electrostatic capacitance and the pressure changed.

以下、上記構成のオブジェクト操作装置10で実行される処理について、図6乃至図8のフローチャート図を参照して説明する。   Hereinafter, processing executed by the object operating device 10 having the above-described configuration will be described with reference to the flowcharts of FIGS.

まず、手書き入力オブジェクトを新規に作成する際の処理について、図6のフローチャート図を参照して説明する。このフローは後述する図8のフローチャートのS314にて呼び出される。   First, the process for creating a new handwritten input object will be described with reference to the flowchart of FIG. This flow is called in S314 in the flowchart of FIG.

まず、制御部11は、オブジェクトのタッチセンサ上の位置座標などの変数を初期化して、手書き入力オブジェクトを新規に作成する(S101)。次に、制御部11は、オブジェクトが手書き入力中であるか否かを判定するために使用するタイマを所定時間に設定し(S102)、タイマをスタートさせる(S103)。この所定時間は任意に設定可能であり、タイマをスタートさせると、タイマ値は経過時間に応じて減少する。   First, the control unit 11 initializes variables such as the position coordinates of the object on the touch sensor, and creates a new handwritten input object (S101). Next, the control unit 11 sets a timer used for determining whether or not the object is being input by handwriting to a predetermined time (S102), and starts the timer (S103). This predetermined time can be arbitrarily set, and when the timer is started, the timer value decreases according to the elapsed time.

次に、オブジェクトが手書き入力中であるか否かを判断するための処理について、図7のフローチャート図を参照して説明する。このフローは、タッチセンサへの入力の有無に関わらず、オブジェクト毎に一定時間周期で実行される。   Next, processing for determining whether or not an object is being input by handwriting will be described with reference to the flowchart of FIG. This flow is executed at regular intervals for each object regardless of whether or not there is an input to the touch sensor.

まず、制御部11は、手書き入力オブジェクトに対するタイマが動作中であるか(タイマ値が正の値を持つか)を判断する(S201)。タイマが動作中でない場合は、手書き入力中でないため、処理を終了する。   First, the control unit 11 determines whether the timer for the handwritten input object is operating (whether the timer value has a positive value) (S201). If the timer is not operating, the process is terminated because handwriting is not being input.

タイマが動作中の場合は、制御部11は、前サイクルから今までの間に、このオブジェクトへの指操作入力があったかどうかを判断する(S202)。このオブジェクトへの指操作入力があった場合、制御部11は、その指操作の中に、手書き入力の終了を指示する操作があったかどうかを判断する(S203)。   When the timer is operating, the control unit 11 determines whether or not there has been a finger operation input to this object from the previous cycle to the present (S202). When there is a finger operation input to this object, the control unit 11 determines whether there is an operation instructing the end of handwriting input in the finger operation (S203).

手書き入力の終了を指示する操作があった場合、制御部11は、そのオブジェクトのタイマを停止し、タイマ値に負の整数を設定する(S204)。一方、手書き入力の終了を指示する操作がなかった場合、そのオブジェクトのタイマ値を所定時間に設定し直し、タイマを再スタートさせる(S206)。   When there is an operation for instructing the end of the handwriting input, the control unit 11 stops the timer of the object and sets a negative integer as the timer value (S204). On the other hand, if there is no operation for instructing the end of handwriting input, the timer value of the object is reset to a predetermined time, and the timer is restarted (S206).

また、上記S202で、前サイクルから今までの間に、このオブジェクトへの指操作入力がなかった場合は、制御部11は、タイマ値を一定時間(1サイクル時間)減らす(S207)。そして、制御部11は、タイマ値が負であるかを判断し(S208)、タイマ値が負になった場合はタイマを停止する(S209)。   In S202, if there is no finger operation input to this object from the previous cycle until now, the control unit 11 decreases the timer value by a certain time (one cycle time) (S207). And the control part 11 judges whether a timer value is negative (S208), and when a timer value becomes negative, it stops a timer (S209).

その後、制御部11は、手書き入力オブジェクトに手書き入力中の状態を表示する(S205)。例えば、前述した図2(d)に示すように、手書き入力オブジェクトの下部にタイマ値を棒グラフなどで表示する。   Thereafter, the control unit 11 displays a state during handwriting input on the handwritten input object (S205). For example, as shown in FIG. 2D, the timer value is displayed as a bar graph below the handwritten input object.

次に、手書きオブジェクトの操作制御処理について、図8のフローチャート図を参照して説明する。   Next, the operation control process of the handwritten object will be described with reference to the flowchart of FIG.

まず、制御部11は、操作部13(タッチセンサ)に対するタッチ入力が指(もしくは手)によるものか、ペンによるものかを判断する(S301)。   First, the control unit 11 determines whether the touch input to the operation unit 13 (touch sensor) is by a finger (or hand) or a pen (S301).

タッチ入力が指(もしくは手)によるものであった場合、制御部11は、操作対象が手書き入力オブジェクトであるか、ページ領域であるかを判断する(S302)。   When the touch input is made with a finger (or hand), the control unit 11 determines whether the operation target is a handwritten input object or a page area (S302).

操作対象が手書き入力オブジェクトであった場合、制御部11は、そのタッチ入力を解析して、指操作(ジェスチャ)を特定し(S303)、機能対応付け情報を参照して、その指操作が手書き入力中か否かで機能が切り替わる操作であるか(そのジェスチャに対応付けられた機能が手書き入力中と非手書き入力中とで異なるか)を判断する(S304)。   When the operation target is a handwritten input object, the control unit 11 analyzes the touch input, specifies a finger operation (gesture) (S303), refers to the function association information, and the finger operation is handwritten. It is determined whether the operation is a function switching depending on whether or not the input is being performed (whether the function associated with the gesture is different between handwriting input and non-handwriting input) (S304).

指操作が手書き入力中か否かで機能が切り替わる操作であった場合には、制御部11は、そのオブジェクト対するタイマが動作中であるかを判断し(S305)、タイマが動作中の場合は、手書き入力中の機能として予め対応付けられた機能を実行してオブジェクトを操作し(S306)、タイマが動作中でない場合は、非手書き入力の機能として予め対応付けられた機能を実行してオブジェクトを操作する(S308)。   When the function is switched depending on whether or not the finger operation is during handwriting input, the control unit 11 determines whether the timer for the object is operating (S305), and when the timer is operating When the object is operated by executing a function associated in advance as a function during handwriting input (S306) and the timer is not operating, the function associated in advance as a function for non-handwriting input is performed. Is operated (S308).

図5の機能対応付け情報と、図1及び図2のジェスチャを参照して具体的に説明する。例えば、一方のオブジェクトを基点として他方のオブジェクトに向かって指を移動させるジェスチャを行った場合、非手書き入力中では、図1(a)に示すようにドラッグ操作と判断してオブジェクトを移動させる機能を実行するが、手書き入力中では、図2(a)に示すように結合操作と判断してオブジェクトを結合する機能を実行する。また、オブジェクトを横切るように指を移動させるジェスチャを行った場合、非手書き入力中では、同様にドラッグ操作と判断してオブジェクトを移動させる機能を実行するが、手書き入力中では、図2(b)に示すように分割操作と判断してオブジェクトを2つに分割する機能を実行する。また、オブジェクト上で指を往復させるジェスチャを行った場合、非手書き入力中では、同様にドラッグ操作と判断してオブジェクトを移動させる機能を実行するが、手書き入力中では、図2(c)に示すように部分消去操作と判断してオブジェクトの一部を消去する機能を実行する。また、オブジェクトに指をタッチするジェスチャを行った場合、非手書き入力中では、図1(a)に示すようにタップ操作と判断してオブジェクトを選択する機能を実行するが、手書き入力中では、色/太さ/線種の変更操作と判断してオブジェクトを構成する線の色/太さ/線種を変更する機能を実行する。   This will be specifically described with reference to the function association information in FIG. 5 and the gestures in FIGS. 1 and 2. For example, when a gesture is performed in which a finger is moved from one object toward the other object, during non-handwriting input, the object is determined to be a drag operation as shown in FIG. However, during handwriting input, a function for combining objects based on the determination of a combining operation is executed as shown in FIG. Further, when a gesture for moving a finger across the object is performed, a function for moving the object based on a drag operation is similarly executed during non-handwriting input. As shown in (2), it is determined that the operation is a division operation, and a function for dividing the object into two is executed. In addition, when a gesture of reciprocating a finger on an object is performed, a function for moving the object based on the determination of a drag operation is executed in the same way during non-handwriting input. As shown in the figure, a function for erasing a part of the object is executed based on the partial erasure operation. In addition, when a gesture of touching an object with a finger is performed, during non-handwriting input, a function of selecting an object by performing a tap operation as shown in FIG. 1A is executed. A function of changing the color / thickness / line type of the line constituting the object is executed by determining the operation to change the color / thickness / line type.

また、上記S304で、指操作が手書き入力中か否かで機能が切り替わる操作でない場合は、制御部11は、機能対応付け情報を参照して、その指操作に対応する機能を実行してオブジェクトを操作する(S309)。   In S304, when the finger operation is not an operation for switching the function depending on whether or not the handwriting is being input, the control unit 11 refers to the function association information and executes the function corresponding to the finger operation to execute the object. Is operated (S309).

例えば、オブジェクトの対角上に2本の指をタッチし、2本の指の間隔を広げる/狭めるジェスチャを行った場合、非手書き入力中でも手書き入力中でもピンチ操作と判断してオブジェクトを拡大/縮小する機能を実行する。   For example, if you touch two fingers on the opposite side of an object and make a gesture to widen / narrow the distance between the two fingers, the object is enlarged / reduced by determining that it is a pinch operation during non-handwriting input or handwriting input. Execute the function to perform.

また、上記S302で、操作対象がオブジェクトでなくページ領域であった場合には、制御部11は、そのタッチ入力を解析して、指操作(ジェスチャ)を特定し(S310)、その指操作に対応する機能を実行する(S311)。   In S302, when the operation target is not an object but a page area, the control unit 11 analyzes the touch input and specifies a finger operation (gesture) (S310). The corresponding function is executed (S311).

また、上記S301で、タッチ入力がペンによるものであった場合、制御部11は、そのタッチ入力が手書き入力中(タイマ動作中)のオブジェクトを対象とする入力であるか否かを判断する(S312)。   In S301, if the touch input is by a pen, the control unit 11 determines whether the touch input is an input for an object for which a handwriting input is being performed (during timer operation) ( S312).

そして、制御部11は、タッチ入力が手書き入力中のオブジェクトを対象とする入力であった場合、ペンの軌跡に応じて、手書きストロークの状態を更新し(S313)、タッチ入力が手書き入力中のオブジェクトを対象とする入力でなかった場合には、前記した図6のフローチャート図に従って手書きオブジェクトを新規に作成する(S314)。   When the touch input is an input for an object being handwritten, the control unit 11 updates the state of the handwritten stroke according to the pen trajectory (S313), and the touch input is being handwritten. If the input is not an object, a new handwritten object is created according to the flowchart shown in FIG. 6 (S314).

その後、制御部11は、オブジェクトの状態変更に応じてオブジェクトの表示を更新する(S307)。例えば、S306、S308、S309でオブジェクト操作を行った場合は、操作に対応付けられた機能を実行した後のオブジェクトを表示し、S313で手書き状態を更新した場合は、更新後の手書き入力オブジェクトを表示し、S314で手書きオブジェクトの新規作成を行った場合は、新規のオブジェクトを表示する。その際、手書き入力中は、オブジェクトを囲む枠を表示することで、手書き入力中であることを容易に確認することができ、また、タイマの状態を表示することで、手書き入力中と判断される残り時間を容易に確認することができる。   Thereafter, the control unit 11 updates the display of the object according to the change in the state of the object (S307). For example, when the object operation is performed in S306, S308, and S309, the object after executing the function associated with the operation is displayed, and when the handwriting state is updated in S313, the updated handwritten input object is displayed. If a new handwritten object is created in S314, the new object is displayed. At that time, during handwriting input, it is possible to easily confirm that handwriting input is in progress by displaying a frame surrounding the object, and it is determined that handwriting input is in progress by displaying the timer status. It is possible to easily check the remaining time.

以上説明したように、本実施例では、各々の指操作(ジェスチャ)に対して、手書き入力中と非手書き入力中とで各々機能を対応付けておき、オブジェクト操作装置10では、ペンによる手書き入力中に指操作が行われた場合は、その指操作を、手書き入力中のオブジェクトに対する操作として認識し、当該操作に対応付けられた機能を実行するため、メニュー画面を表示して機能を選択するといった操作が不要となり、簡便に適切なオブジェクト形成を行うことができる。   As described above, in this embodiment, each finger operation (gesture) is associated with a function during handwriting input and during non-handwriting input, and the object operation device 10 uses the pen for handwriting input. If a finger operation is performed during that time, the finger operation is recognized as an operation on the object being input by handwriting, and a function associated with the operation is displayed, so that a menu screen is displayed and a function is selected. Such an operation is not required, and appropriate object formation can be easily performed.

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成及び制御は適宜変更可能である。   In addition, this invention is not limited to the said Example, The structure and control can be changed suitably, unless it deviates from the meaning of this invention.

例えば、上記実施例では、手書き入力中のオブジェクトに対する特定の操作に対応付けられた機能として、オブジェクトの分割、結合、範囲指定、部分消去、拡大/縮小、色/太さ/線種の変更を記載したが、これらの機能は例示であり、手書き入力中のオブジェクトに対して適用可能な任意の機能を対応付けることができる。また、図5の機能対応付け情報におけるジェスチャと機能の対応関係も例示であり、任意のジェスチャと任意の機能とを対応付けることができる。   For example, in the above embodiment, as functions associated with a specific operation for an object being handwritten, object division, combination, range designation, partial erasure, enlargement / reduction, and change of color / thickness / line type are possible. Although described, these functions are examples, and arbitrary functions applicable to an object being handwritten can be associated. Further, the correspondence relationship between the gesture and the function in the function association information in FIG. 5 is also an example, and an arbitrary gesture can be associated with an arbitrary function.

また、上記実施例では、ペンで手書き入力したオブジェクトを指で操作する場合について説明したが、2種類の指示手段によるタッチを識別可能な構成において、一方の指示手段で手書き入力したオブジェクトを他方の指示手段で操作する任意の場合に対しても同様に適用することができる。例えば、太さが異なる2種類のペンを用い、一方のペンで手書き入力したオブジェクトを他方のペンで操作したり、異なる2本の指を用い、一方の指で手書き入力したオブジェクトを他方の指で操作したりする場合に対しても、本発明の制御を同様に適用することができる。   In the above embodiment, the case where an object handwritten with a pen is operated with a finger has been described. However, in a configuration in which a touch by two types of instruction means can be identified, an object handwritten with one instruction means The present invention can be similarly applied to any case where the operation is performed by the instruction unit. For example, two types of pens with different thicknesses are used, and an object handwritten with one pen is operated with the other pen, or an object handwritten with one finger is used with the other finger. The control of the present invention can be similarly applied to the case where the operation is performed.

本発明は、タッチパネルを備えた装置、特に、2種類の指示手段によるタッチを識別可能なタッチセンサを表示面に有するタッチパネルを備えた装置及び当該装置で動作するプログラムに利用可能である。   INDUSTRIAL APPLICABILITY The present invention can be used for an apparatus provided with a touch panel, in particular, an apparatus provided with a touch panel having a touch sensor on the display surface capable of identifying a touch by two types of instruction means, and a program operating on the apparatus.

10 オブジェクト操作装置
11 制御部
11a CPU
11b ROM
11c RAM
11d HDD
11e 通信I/F部
12 表示部
13 操作部
DESCRIPTION OF SYMBOLS 10 Object operation apparatus 11 Control part 11a CPU
11b ROM
11c RAM
11d HDD
11e Communication I / F part 12 Display part 13 Operation part

Claims (14)

2種類の指示手段によるタッチを識別可能なタッチセンサと、
前記タッチセンサを表示面に備え、一方の指示手段によって手書き入力されたオブジェクトを表示する表示部と、
前記一方の指示手段による手書き入力中の場合に、他方の指示手段による操作を、前記手書き入力中のオブジェクトに対する特定の操作として認識し、当該特定の操作に対応付けられた機能を実行する制御部と、を備える、
ことを特徴とするオブジェクト操作装置。
A touch sensor capable of identifying a touch by two types of instruction means;
A display unit that includes the touch sensor on a display surface and displays an object handwritten by one instruction unit;
A control unit that recognizes an operation by the other instruction means as a specific operation for the object being handwritten and executes a function associated with the specific operation when handwriting input by the one instruction means is in progress And comprising
An object operating device characterized by that.
前記制御部は、前記他方の指示手段による操作を、前記手書き入力中と当該手書き入力中以外の時とで異なる機能に対応付ける、
ことを特徴とする請求項1に記載のオブジェクト操作装置。
The control unit associates the operation by the other instruction means with a function different between the handwriting input and a time other than during the handwriting input.
The object operating device according to claim 1.
前記手書き入力中とは、手書き入力時及び手書き入力が途切れてから所定時間が経過するまでの期間である、
ことを特徴とする請求項1又は2に記載のオブジェクト操作装置。
The handwriting input is a period from when the handwriting input and the handwriting input are interrupted until a predetermined time elapses.
The object operation device according to claim 1, wherein the object operation device is an object operation device.
前記制御部は、前記手書き入力が途切れてからの経過時間を、前記手書き入力中のオブジェクトに対応付けて表示する、
ことを特徴とする請求項3に記載のオブジェクト操作装置。
The control unit displays an elapsed time since the handwriting input is interrupted in association with the object being handwritten.
The object operating device according to claim 3.
前記制御部は、前記他方の指示手段による操作により、前記所定時間を変更可能にする、
ことを特徴とする請求項3又は4に記載のオブジェクト操作装置。
The control unit can change the predetermined time by an operation by the other instruction means.
The object operating device according to claim 3, wherein the object operating device is an object operating device.
前記特定の操作に対応付けられた機能は、オブジェクトの分割、オブジェクトの結合、オブジェクトの範囲指定、オブジェクトの部分消去、オブジェクトの拡大/縮小、オブジェクトの色、太さ及び線種の少なくとも1つの変更の中から選択される1以上の機能を含む、
ことを特徴とする請求項1乃至5のいずれか一に記載のオブジェクト操作装置。
The functions associated with the specific operation include object division, object combination, object range designation, object partial deletion, object enlargement / reduction, object color, thickness, and line type change. Including one or more functions selected from
The object operation device according to claim 1, wherein the object operation device is an object operation device.
前記他方の指示手段は指であり、
前記制御部は、少なくとも、指の本数、指の移動方向のいずれかにより、前記特定の操作を区別する、
ことを特徴とする請求項6に記載のオブジェクト操作装置。
The other indicating means is a finger;
The control unit distinguishes the specific operation by at least one of the number of fingers and the movement direction of the fingers.
The object operation device according to claim 6.
2種類の指示手段によるタッチを識別可能なタッチセンサと、前記タッチセンサを表示面に備え、一方の指示手段によって手書き入力されたオブジェクトを表示する表示部と、を制御する装置で動作するオブジェクト操作制御プログラムであって、
前記装置に、
前記一方の指示手段による手書き入力中の場合に、他方の指示手段による操作を、前記手書き入力中のオブジェクトに対する特定の操作として認識し、当該特定の操作に対応付けられた機能を実行する処理、を実行させる、
ことを特徴とするオブジェクト操作制御プログラム。
Object operation that operates on a device that controls a touch sensor that can identify a touch by two types of instruction means, and a display unit that includes the touch sensor on a display surface and displays an object handwritten by one of the instruction means A control program,
In the device,
A process of recognizing an operation by the other instruction means as a specific operation for the object being handwritten and executing a function associated with the specific operation when handwriting input by the one instruction means is being performed; To execute,
An object operation control program characterized by the above.
前記処理では、前記他方の指示手段による操作を、前記手書き入力中と当該手書き入力中以外の時とで異なる機能に対応付ける、
ことを特徴とする請求項8に記載のオブジェクト操作制御プログラム。
In the processing, the operation by the other instruction means is associated with different functions during the handwriting input and at times other than during the handwriting input.
The object operation control program according to claim 8.
前記手書き入力中とは、手書き入力時及び手書き入力が途切れてから所定時間が経過するまでの期間である、
ことを特徴とする請求項8又は9に記載のオブジェクト操作制御プログラム。
The handwriting input is a period from when the handwriting input and the handwriting input are interrupted until a predetermined time elapses.
The object operation control program according to claim 8 or 9, wherein
前記処理では、前記手書き入力が途切れてからの経過時間を、前記手書き入力中のオブジェクトに対応付けて表示する、
ことを特徴とする請求項10に記載のオブジェクト操作制御プログラム。
In the process, the elapsed time from the interruption of the handwriting input is displayed in association with the object being handwritten.
The object operation control program according to claim 10.
前記処理では、前記他方の指示手段による操作により、前記所定時間を変更可能にする、
ことを特徴とする請求項10又は11に記載のオブジェクト操作制御プログラム。
In the process, the predetermined time can be changed by an operation by the other instruction means.
The object operation control program according to claim 10 or 11, characterized in that
前記特定の操作に対応付けられた機能は、オブジェクトの分割、オブジェクトの結合、オブジェクトの範囲指定、オブジェクトの部分消去、オブジェクトの拡大/縮小、オブジェクトの色、太さ及び線種の少なくとも1つの変更の中から選択される1以上の機能を含む、
ことを特徴とする請求項8乃至12のいずれか一に記載のオブジェクト操作制御プログラム。
The functions associated with the specific operation include object division, object combination, object range designation, object partial deletion, object enlargement / reduction, object color, thickness, and line type change. Including one or more functions selected from
13. The object operation control program according to claim 8, wherein the object operation control program is any one of claims 8 to 12.
前記他方の指示手段は指であり、
前記処理では、少なくとも、指の本数、指の移動方向のいずれかにより、前記特定の操作を区別する、
ことを特徴とする請求項13に記載のオブジェクト操作制御プログラム。
The other indicating means is a finger;
In the process, at least one of the number of fingers and the direction of movement of the finger is used to distinguish the specific operation.
The object operation control program according to claim 13.
JP2012253323A 2012-11-19 2012-11-19 Object operation device and object operation control program Active JP6003566B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012253323A JP6003566B2 (en) 2012-11-19 2012-11-19 Object operation device and object operation control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012253323A JP6003566B2 (en) 2012-11-19 2012-11-19 Object operation device and object operation control program

Publications (2)

Publication Number Publication Date
JP2014102628A true JP2014102628A (en) 2014-06-05
JP6003566B2 JP6003566B2 (en) 2016-10-05

Family

ID=51025095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012253323A Active JP6003566B2 (en) 2012-11-19 2012-11-19 Object operation device and object operation control program

Country Status (1)

Country Link
JP (1) JP6003566B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075905A1 (en) * 2014-11-13 2016-05-19 セイコーエプソン株式会社 Display device, and method of controlling display device
US9870073B2 (en) 2014-09-26 2018-01-16 Seiko Epson Corporation Position detection device, projector, and position detection method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149462A (en) * 1992-11-09 1994-05-27 Hitachi Ltd Information processor and input controller
JP2001282500A (en) * 2000-03-31 2001-10-12 Kenwood Corp Guide information terminal equipment and recording medium
JP2011143557A (en) * 2010-01-12 2011-07-28 Panasonic Corp Electronic pen system
JP2012521605A (en) * 2009-03-24 2012-09-13 マイクロソフト コーポレーション Bimodal touch sensor digital notebook
JP2012203830A (en) * 2011-03-28 2012-10-22 Nec Casio Mobile Communications Ltd Input device, input method and program
JP2014081800A (en) * 2012-10-17 2014-05-08 Konica Minolta Inc Handwriting input device and function control program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149462A (en) * 1992-11-09 1994-05-27 Hitachi Ltd Information processor and input controller
JP2001282500A (en) * 2000-03-31 2001-10-12 Kenwood Corp Guide information terminal equipment and recording medium
JP2012521605A (en) * 2009-03-24 2012-09-13 マイクロソフト コーポレーション Bimodal touch sensor digital notebook
JP2011143557A (en) * 2010-01-12 2011-07-28 Panasonic Corp Electronic pen system
JP2012203830A (en) * 2011-03-28 2012-10-22 Nec Casio Mobile Communications Ltd Input device, input method and program
JP2014081800A (en) * 2012-10-17 2014-05-08 Konica Minolta Inc Handwriting input device and function control program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9870073B2 (en) 2014-09-26 2018-01-16 Seiko Epson Corporation Position detection device, projector, and position detection method
WO2016075905A1 (en) * 2014-11-13 2016-05-19 セイコーエプソン株式会社 Display device, and method of controlling display device
JP2016095646A (en) * 2014-11-13 2016-05-26 セイコーエプソン株式会社 Display apparatus and control method of display apparatus
US10353479B2 (en) 2014-11-13 2019-07-16 Seiko Epson Corporation Display apparatus and display apparatus control method

Also Published As

Publication number Publication date
JP6003566B2 (en) 2016-10-05

Similar Documents

Publication Publication Date Title
US10318146B2 (en) Control area for a touch screen
US10275151B2 (en) Apparatus and method for cursor control and text selection and editing based on gesture-based touch inputs received in a virtual keyboard display area
US8633906B2 (en) Operation control apparatus, operation control method, and computer program
US9785331B2 (en) One touch scroll and select for a touch screen device
JP2015007946A (en) Information processing apparatus and control method of the same, program, and recording medium
JP6022807B2 (en) Information processing program, information processing apparatus, information processing system, and information processing control method
US9477398B2 (en) Terminal and method for processing multi-point input
WO2019119799A1 (en) Method for displaying application icon, and terminal device
US20150363037A1 (en) Control method of touch panel
US20160004339A1 (en) Programmable display device and screen-operation processing program therefor
US10402080B2 (en) Information processing apparatus recognizing instruction by touch input, control method thereof, and storage medium
US20140285461A1 (en) Input Mode Based on Location of Hand Gesture
JP2014182814A (en) Drawing device, drawing method and drawing program
JP6333779B2 (en) Display control apparatus, display control method, and computer program for executing the same on computer
JP2015138360A (en) System, control program, and control method for object manipulation
JP2009098990A (en) Display device
JP6003566B2 (en) Object operation device and object operation control program
JP6711632B2 (en) Information processing apparatus, information processing method, and program
CN108132721B (en) Method for generating drag gesture, touch device and portable electronic equipment
JP2014153916A (en) Electronic apparatus, control method, and program
KR20140067861A (en) Method and apparatus for sliding objects across touch-screen display
US10521108B2 (en) Electronic apparatus for detecting touch, method of controlling the same, and display apparatus including touch controller
KR20090020157A (en) Method for zooming in touchscreen and terminal using the same
CN113485590A (en) Touch operation method and device
KR20100107611A (en) Apparatus and method for controlling terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160822

R150 Certificate of patent or registration of utility model

Ref document number: 6003566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150