JP2014081800A - Handwriting input device and function control program - Google Patents

Handwriting input device and function control program Download PDF

Info

Publication number
JP2014081800A
JP2014081800A JP2012229596A JP2012229596A JP2014081800A JP 2014081800 A JP2014081800 A JP 2014081800A JP 2012229596 A JP2012229596 A JP 2012229596A JP 2012229596 A JP2012229596 A JP 2012229596A JP 2014081800 A JP2014081800 A JP 2014081800A
Authority
JP
Japan
Prior art keywords
finger
pen
function
contact position
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012229596A
Other languages
Japanese (ja)
Inventor
Kenta Hosaka
健太 保坂
Yasuhiko Yamaguchi
恭彦 山口
Hisashi Iritani
悠 入谷
Yoko Oebara
容子 大江原
Masayuki Inoue
雅之 井上
Keiichiro Hyodo
啓一郎 兵頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2012229596A priority Critical patent/JP2014081800A/en
Publication of JP2014081800A publication Critical patent/JP2014081800A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To allow a user to switch a function only with a hand holding a pen without selecting a menu.SOLUTION: A handwriting input device performs a handwriting input using a touch panel provided on a display part and capable of discerning a pen from a finger. The handwriting input device comprises a function control part which determines whether the pen and the finger contact on the touch panel simultaneously on the basis of contact position information detected by the touch panel, determines, when the pen and the finger contact on the touch panel simultaneously, whether a contact position of the finger is within a range which can be pointed by the hand holding the pen, and switches a function concerning the handwriting input when the pen and the finger contact on the touch panel simultaneously, and further the contact position of the finger is within the range.

Description

本発明は、手書き入力装置及び機能制御プログラムに関し、特に、マルチタッチが可能なタッチパネルを備える手書き入力装置及び手書き入力に関連する機能を制御する機能制御プログラムに関する。   The present invention relates to a handwriting input device and a function control program, and more particularly to a handwriting input device including a touch panel capable of multi-touch and a function control program for controlling functions related to handwriting input.

近年、タッチパネルで手書き入力を行うタブレット端末などの手書き入力装置が普及している。この手書き入力装置では、タッチパネル上に指やスタイラスペン(以下、単にペンと呼ぶ。)をタッチしてスライドさせることにより、文字や絵、図形などを描いたり消去したりするなどの手書き入力操作を行うことができる。   In recent years, handwriting input devices such as tablet terminals that perform handwriting input with a touch panel have become widespread. In this handwriting input device, a finger or stylus pen (hereinafter simply referred to as a pen) is touched and slid on the touch panel to perform handwriting input operations such as drawing or erasing characters, pictures, figures, etc. It can be carried out.

このような手書き入力操作に関して、例えば、下記特許文献1には、表示画面に設けられ、指・手によりタッチされた座標を検出して第1検出信号を出力する手指検出手段と、前記表示画面に設けられ、ペンによりタッチされた座標を検出して第2検出信号を出力するペン検出手段と、前記ペンが使用されている場合は、前記第2検出信号からポインティングを抽出して、ポインティング指示を発行し、かつ、前記第1検出信号から所定のジェスチャのみを抽出して対応するコマンドを発行する信号処理手段と、を備えた座標入力装置が開示されている。   Regarding such a handwriting input operation, for example, in Patent Document 1 below, a finger detection unit that is provided on a display screen and detects coordinates touched by a finger / hand and outputs a first detection signal; and the display screen And a pen detection means for detecting a coordinate touched by the pen and outputting a second detection signal, and when the pen is used, a pointing is extracted from the second detection signal and a pointing instruction is issued. And a signal processing means for extracting only a predetermined gesture from the first detection signal and issuing a corresponding command.

特開2011−186550号公報JP 2011-186550 A

ここで、多くのユーザは利き手とは反対の手で手書き入力装置を支えながら、利き手で手書き入力装置に対する入力操作を行っている。この入力操作には、文字や絵、図形などを描く操作の他に、重要なポイントを色分けしたり、マーカーを引いたり、リンク線で繋いだり、囲ってまとめたりするなど、ペンや指のストロークを表示するだけのいわゆる通常の操作とは異なる、ある機能的な意味合いを持つ操作もある。   Here, many users perform input operations on the handwriting input device with the dominant hand while supporting the handwriting input device with the hand opposite to the dominant hand. In addition to drawing characters, pictures, figures, etc., this input operation includes pen and finger strokes, such as coloring important points by color, drawing markers, connecting them with link lines, and grouping them together. There is also an operation having a certain functional meaning different from a so-called normal operation in which only is displayed.

このような機能的な意味合いを持つ操作を手書きの途中で行う場合、手書きの操作を一旦中断し、所定のボタンをタッチ又は所定のボタンを押下してメニューを表示させ、そのメニューの中から所望の機能を選択し、再度、手書きの操作を再開することになる。また、特許文献1の方法を利用する場合は、ペン又は指の一方による手書きの操作を一旦中断し、ペン又は指の他方によって機能を設定し、再度、ペン又は指の一方による手書きの操作を再開することになる。   When an operation having such a functional meaning is performed in the middle of handwriting, the handwriting operation is temporarily interrupted, a predetermined button is touched or a predetermined button is pressed to display a menu, and a desired menu is displayed from the menu. Then, the handwriting operation is resumed. When using the method of Patent Document 1, the handwriting operation with one of the pen or the finger is temporarily interrupted, the function is set with the other of the pen or the finger, and the handwriting operation with one of the pen or the finger is performed again. Will resume.

このように、従来の方法では、一連の操作で手書きの入力と機能の設定とを行うことができず、手書きの操作の途中で機能を設定する操作を行う場合に、手書き入力装置の操作性が著しく悪化するという問題があった。   As described above, in the conventional method, handwriting input and function setting cannot be performed by a series of operations, and the operability of the handwriting input device is used when performing an operation of setting a function in the middle of handwriting operation. There was a problem that the remarkably deteriorated.

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、ペンを持つ手のみでメニュー選択をせずに機能の切り換えを行うことができる手書き入力装置及び機能制御プログラムを提供することにある。   The present invention has been made in view of the above problems, and its main purpose is to provide a handwriting input device and a function control program capable of switching functions without selecting a menu only with a hand holding a pen. It is to provide.

上述した目的を実現するために、本発明の一側面を反映した装置は、表示部上に配置された、ペンと指とが識別可能なタッチパネルを用いて手書き入力を行う手書き入力装置において、前記タッチパネルが検知した接触位置情報に基づいて、前記ペンと前記指とが同時に接触しているかを判定し、前記ペンと前記指とが同時に接触している場合は、前記指の接触位置が前記ペンを持つ手の指が指示可能な範囲であるかを判定し、前記ペンと前記指とが同時に接触しており、かつ、前記指の接触位置が前記範囲内である場合に、手書き入力に関する機能の切り換えを行う機能制御部を備える。   In order to achieve the above-described object, an apparatus reflecting one aspect of the present invention is a handwriting input device that performs handwriting input using a touch panel that is arranged on a display unit and can identify a pen and a finger. Based on the contact position information detected by the touch panel, it is determined whether the pen and the finger are in contact at the same time. If the pen and the finger are in contact at the same time, the contact position of the finger is the pen. A function relating to handwriting input when the finger and the finger are in contact with each other at the same time, and the contact position of the finger is within the range The function control part which performs switching of is provided.

また、本発明の一側面を反映したプログラムは、表示部上に配置された、ペンと指とが識別可能なタッチパネルを用いて手書き入力を行う装置で動作する機能制御プログラムであって、前記装置に、前記タッチパネルが検知した接触位置情報に基づいて、前記ペンと前記指とが同時に接触しているかを判定する第1判定処理、前記ペンと前記指とが同時に接触している場合に、前記指の接触位置が前記ペンを持つ手の指が指示可能な範囲であるかを判定する第2判定処理、前記第1判定処理で、前記ペンと前記指とが同時に接触していると判定され、かつ、前記第2判定処理で、前記指の接触位置が前記範囲内であると判定された場合に、手書き入力に関する機能を切り換える機能制御処理、を実行させる。   A program reflecting one aspect of the present invention is a function control program that operates on a device that performs handwriting input using a touch panel that is identifiable on a pen and a finger and that is arranged on a display unit. First determination processing for determining whether the pen and the finger are in contact at the same time based on the contact position information detected by the touch panel, and when the pen and the finger are in contact at the same time, In the second determination process for determining whether the finger contact position is within a range in which the finger of the hand holding the pen can specify, it is determined that the pen and the finger are in contact at the same time. And when it determines with the contact position of the said finger | toe being in the said range by the said 2nd determination process, the function control process which switches the function regarding handwriting input is performed.

本発明の手書き入力装置及び機能制御プログラムによれば、ペンを持つ手のみでメニュー選択をせずに機能の切り換えを行うことができる。   According to the handwriting input device and the function control program of the present invention, it is possible to switch functions without selecting a menu with only a hand holding a pen.

その理由は、手書き入力装置(機能制御プログラム)は、ペンと指とが同時に接触しているかを判定し、ペンと指とが同時に接触している場合は、指の接触位置がペンの接触位置の近傍であるかを判定し、ペンと指とが同時に接触しており、かつ、指の接触位置がペンの接触位置の近傍である場合に、手書き入力に関する機能の切り換えを行うからである。   The reason is that the handwriting input device (function control program) determines whether the pen and the finger are in contact at the same time. If the pen and the finger are in contact at the same time, the contact position of the finger is the contact position of the pen. This is because the function relating to handwriting input is switched when the pen and the finger are in contact with each other at the same time and the contact position of the finger is in the vicinity of the contact position of the pen.

本発明の一実施例に係る手書き入力装置の主要構成を示すブロック図である。It is a block diagram which shows the main structures of the handwriting input device which concerns on one Example of this invention. 本発明の一実施例に係る手書き入力装置の動作を示すフローチャート図である。It is a flowchart figure which shows operation | movement of the handwriting input device which concerns on one Example of this invention. ペン近傍を説明する図である。It is a figure explaining the pen vicinity. ペンと指の動作を説明する図である。It is a figure explaining operation | movement of a pen and a finger | toe. ペンと指の相対位置及び距離を説明する図である。It is a figure explaining the relative position and distance of a pen and a finger. 指の本数と機能との対応関係を示す図である。It is a figure which shows the correspondence of the number of fingers and a function. 指の種類と機能との対応関係を示す図である。It is a figure which shows the correspondence of the kind of finger | toe and a function. 本発明の一実施例に係る手書き入力装置の動作(入力パターンに応じた機能を設定する動作)を示すフローチャート図である。It is a flowchart figure which shows operation | movement (operation | movement which sets the function according to an input pattern) of the handwriting input device which concerns on one Example of this invention. 本発明の一実施例に係る入力パターンと実行機能とを関連付けるテーブルの一例である。It is an example of the table which associates the input pattern and execution function which concern on one Example of this invention. 本発明の一実施例に係る手書き入力装置の動作(オブジェクト間のリンク動作)を模式的に示す図である。It is a figure which shows typically operation | movement (link operation between objects) of the handwriting input device which concerns on one Example of this invention. 本発明の一実施例に係る手書き入力装置の動作(オブジェクト消去動作)を模式的に示す図である。It is a figure which shows typically operation | movement (object erasing operation | movement) of the handwriting input device which concerns on one Example of this invention. 本発明の一実施例に係る手書き入力装置の動作(オブジェクト強調動作)を模式的に示す図である。It is a figure which shows typically operation | movement (object emphasis operation | movement) of the handwriting input device which concerns on one Example of this invention. 本発明の一実施例に係る手書き入力装置の動作(オブジェクトのテキスト化動作)を模式的に示す図である。It is a figure which shows typically operation | movement (text conversion operation | movement of an object) of the handwriting input device which concerns on one Example of this invention. 本発明の一実施例に係る手書き入力装置の動作(オブジェクトのグループ化動作)を模式的に示す図である。It is a figure which shows typically operation | movement (object grouping operation | movement) of the handwriting input device which concerns on one Example of this invention. 本発明の一実施例に係る手書き入力装置の動作(図形描画動作)を模式的に示す図である。It is a figure which shows typically operation | movement (graphic drawing operation | movement) of the handwriting input device which concerns on one Example of this invention. 本発明の一実施例に係る手書き入力装置の動作(機能ON/OFF制御動作)を模式的に示す図である。It is a figure which shows typically operation | movement (function ON / OFF control operation | movement) of the handwriting input device which concerns on one Example of this invention. 本発明の一実施例の効果を説明する図である。It is a figure explaining the effect of one Example of this invention. 本発明の一実施例の効果を説明する図である。It is a figure explaining the effect of one Example of this invention.

背景技術で示したように、手書き入力装置を利用する際、通常は利き手とは反対の手で手書き入力装置を支えながら、利き手で手書き入力操作を行っている。そのため、文字や絵、図形など描く手書きの操作の途中に、通常の手書きとは異なる、機能を切り換える操作を行う場合、手書きの操作を一旦中断してメニューを表示させ、そのメニューの中から所望の機能を選択し、再度、手書きの操作を行わなければならない。   As shown in the background art, when using a handwriting input device, a handwriting input operation is normally performed with a dominant hand while supporting the handwriting input device with a hand opposite to the dominant hand. Therefore, when performing a function switching operation that is different from normal handwriting during the handwriting operation of drawing characters, pictures, figures, etc., the handwriting operation is temporarily interrupted and the menu is displayed, and the desired menu is displayed. You must select the function and perform the handwriting operation again.

すなわち、利き手とは反対の手で手書き入力装置を支えており、支える側の手で機能を切り換える操作を行うのは困難であるため、利き手で手書きの操作と機能を切り換える操作の両方を行わなければならず、手書き入力をスムーズに進めることができない。   In other words, the handwriting input device is supported by the hand opposite to the dominant hand, and it is difficult to perform the function switching operation with the supporting hand, so both the handwriting operation and the function switching operation must be performed with the dominant hand. Therefore, handwriting input cannot proceed smoothly.

そこで、本発明の一実施の形態では、ペン及び指による同時入力が検知可能なタッチパネルを搭載した手書き入力装置において、ペンと指とが同時に接触しているかを判定し、ペンと指とが同時に接触している場合は、指の接触位置がペンの接触位置の近傍(ペンを持つ手の指で指示可能な範囲)であるかを判定し、ペンと指とが同時に接触しており、かつ、指の接触位置がペンの接触位置の近傍である場合に、手書き入力に関する機能の切り換えを行う。また、機能の切り換えを行う際に、指に関する情報(ペンと指の相対的な位置関係、ペンと指の距離、指の本数、指の種類など)に基づき、予め記憶した関連付け情報を参照して、切り換える機能を設定する制御を行う。   Therefore, in one embodiment of the present invention, in a handwriting input device equipped with a touch panel capable of detecting simultaneous input by a pen and a finger, it is determined whether the pen and the finger are in contact at the same time, and the pen and the finger are simultaneously If contact is made, determine whether the finger contact position is in the vicinity of the pen contact position (a range that can be indicated by the finger of the hand holding the pen), the pen and the finger are in contact at the same time, and When the contact position of the finger is in the vicinity of the contact position of the pen, the function relating to handwriting input is switched. Also, when switching functions, refer to pre-stored association information based on information about the finger (such as the relative positional relationship between the pen and the finger, the distance between the pen and the finger, the number of fingers, and the type of finger). Control to set the switching function.

これにより、手書き入力装置を支える手をわざわざ使用しなくとも、ペンを持つ利き手のみで、従来の手書きの操作はそのままに、ペン入力に関する機能の切り換えが可能となる。また、メニューから機能を選択する操作も必要ないため、連続した手書きの操作の中での機能の切り換えも可能となる。   This makes it possible to switch functions related to pen input while maintaining the conventional handwriting operation using only the dominant hand holding the pen without having to use the hand supporting the handwriting input device. In addition, since an operation for selecting a function from a menu is not necessary, it is possible to switch functions during successive handwriting operations.

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る手書き入力装置及び機能制御プログラムについて、図1乃至図18を参照して説明する。図1は、本実施例の手書き入力装置の主要構成を示すブロック図であり、図2及び図8は、手書き入力装置の動作を示すフローチャート図である。また、図3乃至図7は、ペンと指との関係を示す図であり、図9は、本実施例の手書き入力装置が利用する関連付け情報の一例である。また、図10乃至図16は、本実施例の手書き入力装置の動作を模式的に示す図であり、また、図17及び図18は、本実施例の効果を説明する図である。   In order to describe the above-described embodiment of the present invention in more detail, a handwriting input device and a function control program according to an embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a block diagram showing the main configuration of the handwriting input device of this embodiment, and FIGS. 2 and 8 are flowcharts showing the operation of the handwriting input device. 3 to 7 are diagrams showing the relationship between the pen and the finger, and FIG. 9 is an example of association information used by the handwriting input device of this embodiment. FIGS. 10 to 16 are diagrams schematically illustrating the operation of the handwriting input device according to the present embodiment, and FIGS. 17 and 18 are diagrams illustrating the effects of the present embodiment.

本実施例の手書き入力システムは、手書き入力を行うペン102及び指103と、102及び指103での手書き入力が可能なタブレット端末やモバイルフォン、ノート型パーソナルコンピュータ装置などの手書き入力装置101と、で構成される。   The handwriting input system according to the present embodiment includes a pen 102 and a finger 103 that perform handwriting input, a handwriting input device 101 such as a tablet terminal, a mobile phone, or a notebook personal computer device that can perform handwriting input using the 102 and the finger 103; Consists of.

図1は、本実施例の手書き入力装置101の主要構成を示すブロック図である。手書き入力装置101は、入力部(タッチパネル)104、入力判定部105、機能切換部106、ペン入力機能部107、指入力機能部108、同時入力機能部109、表示部110などで構成される。   FIG. 1 is a block diagram showing the main configuration of the handwriting input device 101 of this embodiment. The handwriting input device 101 includes an input unit (touch panel) 104, an input determination unit 105, a function switching unit 106, a pen input function unit 107, a finger input function unit 108, a simultaneous input function unit 109, a display unit 110, and the like.

入力部104は、表示部110上に、透明電極が格子状に配置された静電式、電磁式、感圧式などのタッチパネルであり、タッチパネル上のペン102及び指103の接触位置情報を入力判定部105に通知する。この入力部104は、ペン102の接触及び指103の接触が同時に検知可能であり、かつ、ペン102の接触であるか指103の接触であるかを接触部分の面積や形状、押圧力などに基づいて判別可能な構造を有している。なお、上記タッチパネルは、ペン102の接触及び指103の接触を同じ方式で検知(例えば、双方の接触を静電容量の変化で検知)してもよいし、ペン102の接触及び指103の接触を異なる方式で検知(例えば、ペンの接触は磁気の変化で検知し、指の接触は静電容量の変化で検知)してもよい。   The input unit 104 is an electrostatic, electromagnetic, or pressure-sensitive touch panel in which transparent electrodes are arranged in a grid pattern on the display unit 110, and inputs and determines contact position information of the pen 102 and the finger 103 on the touch panel. Notification to the unit 105. The input unit 104 can detect the contact of the pen 102 and the contact of the finger 103 at the same time, and determines whether the contact of the pen 102 or the contact of the finger 103 is based on the area, shape, pressing force, etc. It has a structure that can be discriminated based on it. The touch panel may detect the contact of the pen 102 and the contact of the finger 103 in the same manner (for example, detect both contacts by changing the capacitance), or contact the pen 102 and the contact of the finger 103. May be detected by different methods (for example, pen contact is detected by a magnetic change, and finger contact is detected by a capacitance change).

入力判定部105は、入力部104から通知された接触位置情報に基づいて、接触物がペン102であるか指103であるかを接触部分の面積やサイズなどに基づいて判定したり、ペン102と指103とが並行移動しているかを判定したり、ペン102の接触位置と指103の接触位置の相対的な位置関係を判定したり、ペン102の接触位置と指103の接触位置の距離を判定したり、接触している指103の本数を判定したり、接触している指103の種類を判定したりする。そして、後述する入力パターンと実行機能との関連付け情報を参照して、ペン102と指103の入力パターンが既定の入力パターンに該当するかを判定し、判定結果を機能切換部106に通知する。   The input determination unit 105 determines whether the contact object is the pen 102 or the finger 103 based on the contact position information notified from the input unit 104 based on the area or size of the contact part, And the finger 103 are determined to move in parallel, the relative positional relationship between the contact position of the pen 102 and the contact position of the finger 103 is determined, or the distance between the contact position of the pen 102 and the contact position of the finger 103 , The number of touching fingers 103, or the type of touching finger 103 is determined. Then, with reference to the association information between the input pattern and the execution function, which will be described later, it is determined whether the input pattern of the pen 102 and the finger 103 corresponds to the default input pattern, and the determination result is notified to the function switching unit 106.

機能切換部106は、入力判定部105から通知された判定結果に基づいて、機能を切り換える制御を行う。具体的には、ペン102のみの入力が行われた場合は、ペン入力機能部107を制御して予め定められた機能を実行させ、指103のみの入力が行われた場合は、指入力機能部108を制御して予め定められた機能を実行させ、ペン102及び指103の同時入力が行われた場合は、同時入力機能部109を制御して判定結果に応じた機能を実行させる。   The function switching unit 106 performs control to switch functions based on the determination result notified from the input determination unit 105. Specifically, when only the pen 102 is input, the pen input function unit 107 is controlled to execute a predetermined function. When only the finger 103 is input, the finger input function The unit 108 is controlled to execute a predetermined function, and when the pen 102 and the finger 103 are simultaneously input, the simultaneous input function unit 109 is controlled to execute a function according to the determination result.

なお、本実施例では、入力判定部105と機能切換部106とを別々に構成しているが、これらは機能制御部として統合してよい。また、入力判定部105及び機能切換部106はハードウェアとして構成してもよいし、CPU(Central Processing Unit)と、ROM(Read Only Memory)やRAM(Random Access Memory)などのメモリとで構成される制御部上で動作する機能制御プログラムとして構成してもよい。   In this embodiment, the input determination unit 105 and the function switching unit 106 are configured separately, but they may be integrated as a function control unit. The input determination unit 105 and the function switching unit 106 may be configured as hardware, or may be configured by a CPU (Central Processing Unit) and a memory such as a ROM (Read Only Memory) or a RAM (Random Access Memory). It may be configured as a function control program that operates on the control unit.

ペン入力機能部107は、ペン102のみの入力が行われた場合に、機能切換部106の制御に応じて機能を実行する部分である。また、指入力機能部108は、指103のみの入力が行われた場合に、機能切換部106の制御に応じて機能を実行する部分である。また、同時入力機能部109は、ペン102及び指103の同時入力が行われた場合に、機能切換部106の制御に応じて機能を実行する部分である。   The pen input function unit 107 is a part that executes a function according to the control of the function switching unit 106 when only the pen 102 is input. The finger input function unit 108 is a part that executes a function according to the control of the function switching unit 106 when only the finger 103 is input. The simultaneous input function unit 109 is a part that executes a function according to the control of the function switching unit 106 when simultaneous input of the pen 102 and the finger 103 is performed.

なお、実行する機能としては、例えば、手書き入力された文字や絵、図形など(オブジェクトと呼ぶ。)をリンク線で繋ぐ機能、手書き入力されたオブジェクトの一部又は全部を消去する機能、オブジェクトの背景に色を付加するなどして強調する機能、オブジェクトに色を付加する機能、OCR(Optical Character Reader)技術を用いてオブジェクトをテキスト化する機能、複数のオブジェクトをグループ化する機能、所定の図形を描画する機能などがあるが、これらに限定されない。   The functions to be executed include, for example, a function for connecting handwritten input characters, pictures, figures, etc. (referred to as objects) with link lines, a function for deleting part or all of handwritten input objects, Function to add color to the background for emphasis, Function to add color to an object, Function to text an object using OCR (Optical Character Reader) technology, Function to group multiple objects, Predetermined figure But is not limited to this.

表示部110は、LCD(Liquid Crystal Display)などであり、手書き入力されたオブジェクトや文書データに基づく文書、画像データに基づく画像などを表示する。また、ペン102及び/又は指103の操作に応じて各機能が実行された結果も表示する。   The display unit 110 is an LCD (Liquid Crystal Display) or the like, and displays a handwritten input object, a document based on document data, an image based on image data, and the like. In addition, a result of executing each function according to the operation of the pen 102 and / or the finger 103 is also displayed.

次に、本実施例の手書き入力装置101の具体的な動作について、図2のフローチャート図を参照して説明する。   Next, a specific operation of the handwriting input device 101 of the present embodiment will be described with reference to the flowchart of FIG.

まず、入力部104は、入力可能なエリアへのペン102及び/又は指103の手書き入力を検知し、接触位置情報を入力判定部105に通知する(S101)。なお、上述したように、手書き入力を検知する方法は限定されないが、少なくとも、ペン102による入力であるか指103による入力であるかを判別可能に検知する。   First, the input unit 104 detects handwriting input of the pen 102 and / or the finger 103 to an inputable area, and notifies the input determination unit 105 of contact position information (S101). As described above, the method for detecting the handwritten input is not limited, but at least it is detected so that it can be determined whether the input is performed with the pen 102 or the input with the finger 103.

次に、入力判定部105は、入力部104から取得した接触位置情報に基づいて、ペン102と指103の同時入力かどうかを判定する(S102)。具体的には、上述したように、接触部分の面積や形状、押圧力などに基づいて、ペン102による入力と指103による入力とを識別し、2つの場所で入力を検知した場合に、2本のペンや2本の指ではなく、ペン102と指103の双方の入力であるかを判別する。   Next, the input determination unit 105 determines whether or not the pen 102 and the finger 103 are simultaneously input based on the contact position information acquired from the input unit 104 (S102). Specifically, as described above, when the input by the pen 102 and the input by the finger 103 are identified based on the area and shape of the contact portion, the pressing force, etc., and the input is detected at two places, 2 It is discriminated whether the input is from both the pen 102 and the finger 103 instead of the pen and two fingers.

ペン102と指103の同時入力でない場合は、入力判定部105は、判定結果を機能切換部106に通知し、機能切換部106は、通常通り、ペン入力機能部107若しくは指入力機能部108を制御して、ペン/指個別の機能を実行させる(S107)。   If it is not simultaneous input of the pen 102 and the finger 103, the input determination unit 105 notifies the determination result to the function switching unit 106, and the function switching unit 106 uses the pen input function unit 107 or the finger input function unit 108 as usual. Control is performed to execute individual pen / finger functions (S107).

ペン102と指103の同時入力の場合は、入力判定部105は、入力部104から取得した接触位置情報に基づいて、ペン近傍の指入力かどうかを判定する(S103)。具体的には、指103が接触した位置が、ペン102を握る側の手の指が届き得る範囲である場合に、ペン近傍の指入力であると判定する。例えば、図3(a)に示すように、指103の接触位置が、ペン102の接触位置を中心とした周囲Xmmの範囲内である場合や、図3(b)に示すように、ペン102の接触位置に対してある特定の位置である場合に、ペン近傍の指入力であると判定することができる。   In the case of simultaneous input from the pen 102 and the finger 103, the input determination unit 105 determines whether or not the input is a finger near the pen based on the contact position information acquired from the input unit 104 (S103). Specifically, when the position where the finger 103 is in contact is within a range where the finger of the hand on the side of the pen 102 can reach, it is determined that the input is a finger near the pen. For example, as shown in FIG. 3A, when the contact position of the finger 103 is within a range of X mm around the contact position of the pen 102, or as shown in FIG. When the position is a specific position with respect to the contact position, it can be determined that the finger input is in the vicinity of the pen.

ペン近傍の指入力でない場合は、入力判定部105は、判定結果を機能切換部106に通知し、機能切換部106は、通常通り、ペン入力機能部107若しくは指入力機能部108を制御して、ペン/指個別の機能を実行させる(S107)。   If the finger input is not near the pen, the input determination unit 105 notifies the function switching unit 106 of the determination result, and the function switching unit 106 controls the pen input function unit 107 or the finger input function unit 108 as usual. The pen / finger individual function is executed (S107).

ペン近傍の指入力の場合は、入力判定部105は、入力パターンが既定の入力パターンであるかを判定する(S104)。具体的には、図4(a)に示すように、ペン102の接触位置の移動軌跡と指103の接触位置の移動軌跡とがほぼ同じ形状である場合は、既定の入力パターンであると判定する。一方、図4(b)に示すように、ペン102の移動に対して、指103が反対方向に移動する場合や、図4(c)に示すように、ペン102の移動に対して、指103が静止している場合は、既定の入力パターンではないと判定する。このような判定を行うのは、ペン近傍の指入力を検知した場合であっても、機能の切り換えとは関係のない指103の接触(意図しない指の接触)である場合があり、このような場合に機能を切り換えるのは適切でないからである。   In the case of finger input near the pen, the input determination unit 105 determines whether the input pattern is a default input pattern (S104). Specifically, as shown in FIG. 4A, when the movement locus of the contact position of the pen 102 and the movement locus of the contact position of the finger 103 have substantially the same shape, it is determined that the input pattern is the default input pattern. To do. On the other hand, as shown in FIG. 4B, when the finger 103 moves in the opposite direction to the movement of the pen 102, or as shown in FIG. If 103 is stationary, it is determined that the input pattern is not the default. Even when a finger input in the vicinity of the pen is detected, such a determination may be made by contact of the finger 103 (unintentional finger contact) unrelated to the function switching. This is because it is not appropriate to switch functions in such cases.

入力パターンが既定の入力パターンと一致しない場合は、入力判定部105は、判定結果を機能切換部106に通知し、機能切換部106は、通常通り、ペン入力機能部107若しくは指入力機能部108を制御して、ペン/指個別の機能を実行させる(S107)。   If the input pattern does not match the default input pattern, the input determination unit 105 notifies the function switching unit 106 of the determination result, and the function switching unit 106 performs the pen input function unit 107 or the finger input function unit 108 as usual. Are controlled to execute individual pen / finger functions (S107).

一方、入力パターンが既定の入力パターンと一致する場合は、入力判定部105は、判定結果を機能切換部106に通知し、機能切換部106は、同時入力機能部109を制御して、入力パターンに応じた機能を実行させる(S105)。   On the other hand, if the input pattern matches the default input pattern, the input determination unit 105 notifies the function switching unit 106 of the determination result, and the function switching unit 106 controls the simultaneous input function unit 109 to input the input pattern. The function corresponding to the is executed (S105).

その後、入力判定部105は、ペン102と指103の同時入力が継続して行われているかを判断し(S106)、ペン102と指103の同時入力が継続していれば、S105に戻って機能の実行状態を維持する。一方、ペン102と指103の同時入力が行われなくなった場合は、実行している機能を終了し、引き続き入力待ちの状態に戻る。   Thereafter, the input determination unit 105 determines whether the simultaneous input of the pen 102 and the finger 103 is continuously performed (S106). If the simultaneous input of the pen 102 and the finger 103 is continued, the process returns to S105. Maintain the execution state of the function. On the other hand, when the simultaneous input of the pen 102 and the finger 103 is not performed, the function being executed is terminated and the state of waiting for input is continued.

このように、ペン102と指103の同時入力であり、かつ、ペン近傍の指入力である場合に(言い換えると、ペン102と指103の同時入力でなく、ペン近傍の指入力でない場合、ペン102と指103の同時入力であり、ペン近傍の指入力でない場合、ペン102と指103の同時入力でなく、ペン近傍の指入力である場合を除いて)、入力パターンに応じた機能を実行することにより、ユーザは手書きの入力と機能の切り換えを一連の操作で実施することができるため、手書き入力装置101の操作性を格段に向上させることができる。   As described above, when the pen 102 and the finger 103 are simultaneously input and the finger input is in the vicinity of the pen (in other words, when the pen 102 and the finger 103 are not simultaneously input and the finger input is not in the vicinity of the pen, the pen Executes the function according to the input pattern except when the input is 102 and the finger 103 at the same time and is not the finger input near the pen (except when the input is not the simultaneous input of the pen 102 and the finger 103 but the finger input near the pen). By doing so, the user can perform handwriting input and function switching through a series of operations, and thus the operability of the handwriting input device 101 can be significantly improved.

更に、ペン102と指103の同時入力であり、ペン近傍の指入力であり、かつ、ペン102と指103が連動して移動している場合に、入力パターンに応じた機能を実行することにより、意図しない指の接触によって機能が切り換えられてしまう不都合を防止することができるため、手書き入力装置101の操作性を格段に向上させることができる。   Further, when the pen 102 and the finger 103 are input simultaneously, the finger input is in the vicinity of the pen, and the pen 102 and the finger 103 are moving in conjunction with each other, the function corresponding to the input pattern is executed. Since the inconvenience that the function is switched due to unintended finger contact can be prevented, the operability of the handwriting input device 101 can be significantly improved.

次に、入力パターンに応じた機能について説明する。   Next, functions according to the input pattern will be described.

入力パターンに応じた機能は、ペン102の接触位置と指103の接触位置の相対的な位置関係に基づいて設定することができる。具体的には、図5に示すように、指103の接触位置(図の網掛けの丸印)が、手書き入力装置101の方向を基準にしたときに、ペン102の接触位置(図の黒塗りの丸印)に対して上/右/左/下にある時、上/右/左/下に応じて機能を対応付けることができる。また、ペン102の接触位置と指103の接触位置との距離(図ではYmm)に応じて機能を対応付けることもできる。また、ペン102の接触位置に対する指103の接触位置の方向と距離の双方に応じて機能を対応付けることもできる。   The function corresponding to the input pattern can be set based on the relative positional relationship between the contact position of the pen 102 and the contact position of the finger 103. Specifically, as shown in FIG. 5, when the contact position of the finger 103 (shaded circle in the figure) is based on the direction of the handwriting input device 101, the contact position of the pen 102 (black in the figure). When the position is up / right / left / bottom with respect to the fill circle), the functions can be associated with the top / right / left / bottom. In addition, functions can be associated with each other according to the distance (Ymm in the drawing) between the contact position of the pen 102 and the contact position of the finger 103. In addition, functions can be associated with both the direction and distance of the contact position of the finger 103 with respect to the contact position of the pen 102.

また、入力パターンに応じた機能は、指の本数に基づいて設定することもできる。具体的には、図6に示すように、指の本数が1本の場合は機能A、2本の場合は機能B、3本の場合は機能C、4本の場合は機能Dのように機能を対応付けることができる。   The function corresponding to the input pattern can be set based on the number of fingers. Specifically, as shown in FIG. 6, function A is used when the number of fingers is one, function B is used for two fingers, function C is used for three fingers, and function D is used for four fingers. Functions can be associated.

また、入力パターンに応じた機能は、指の種類に基づいて設定することもできる。例えば、手書き入力装置101の表示部110を透過型のLCDとし、表示部110の裏面から指の指紋を撮影できるような構造とし、撮影した指の指紋と予め登録した各ユーザの指紋とをパターン照合することにより、指を特定できるようにする。そして、図7に示すように、特定した各指の種類に応じて、人差し指の場合は機能A、中指の場合は機能B、薬指の場合は機能C、小指の場合は機能Dのように機能を対応付けることができる。なお、指の指紋に代えて指の大きさや形状で指を特定することもできる。その場合は、入力部104が検出した接触部分の輪郭を抽出し、その輪郭のサイズや形状と予め記憶した各ユーザの指のサイズや形状とをパターン照合することにより指を特定し、特定した各指の種類に応じて、機能を対応付けることもできる。   Also, the function corresponding to the input pattern can be set based on the type of finger. For example, the display unit 110 of the handwriting input device 101 is a transmissive LCD so that a fingerprint of a finger can be photographed from the back of the display unit 110, and the fingerprint of the photographed finger and the fingerprint of each user registered in advance are patterned. The finger can be specified by collation. Then, as shown in FIG. 7, according to the type of each specified finger, function A is indicated for the index finger, function B for the middle finger, function C for the ring finger, and function D for the little finger. Can be associated. Note that the finger can be specified by the size and shape of the finger instead of the fingerprint of the finger. In that case, the contour of the contact portion detected by the input unit 104 is extracted, and the finger is identified and identified by pattern matching the size and shape of the contour with the size and shape of each user's finger stored in advance. Functions can also be associated with each finger type.

以下、入力パターンに応じた機能を設定する手順について、図8のフローチャート図を参照して説明する。入力パターンに応じた機能の設定に際して、図9に示すように、ペン102に対する指103の位置、ペン102と指103の間隔、指103の本数、及び指103の種類の組み合わせと、実行する機能と、を関連付ける関連付け情報(テーブル)が予め作成され、手書き入力装置101の内部若しくは手書き入力装置101が参照可能な場所(例えば、手書き入力装置101にネットワークで接続されたサーバなど)に予め記憶されているものとする。   Hereinafter, the procedure for setting the function according to the input pattern will be described with reference to the flowchart of FIG. When setting the function according to the input pattern, as shown in FIG. 9, the combination of the position of the finger 103 with respect to the pen 102, the distance between the pen 102 and the finger 103, the number of fingers 103, and the type of the finger 103, and the function to be executed Is created in advance and stored in advance in the handwriting input device 101 or in a place where the handwriting input device 101 can refer (for example, a server connected to the handwriting input device 101 via a network). It shall be.

まず、前記した図2のS103において、入力判定部105は、ペン近傍の入力であると判定すると、ペン102に対する指103の相対位置の情報、ペン102と指103の距離の情報、指103の本数の情報、指103の種類の情報を取得する(S201〜S204)。   First, in S103 of FIG. 2 described above, when the input determination unit 105 determines that the input is in the vicinity of the pen, information on the relative position of the finger 103 with respect to the pen 102, information on the distance between the pen 102 and the finger 103, and information on the finger 103 Information on the number of pieces and information on the type of the finger 103 are acquired (S201 to S204).

そして、入力判定部105は、入力パターンが、図9の関連付け情報に記述された既定の入力パターンに該当するか(必要に応じて、ペン102と指103が連動して移動しているか)を判定し(S205)、既定の入力パターンに該当しない場合は、図2のS107においてペン/指個別の機能を実行し、既定の入力パターンに該当する場合は、図2のS105において、図9の関連付け情報によって入力パターンに対応付けられた機能を実行する。   Then, the input determination unit 105 determines whether the input pattern corresponds to the default input pattern described in the association information in FIG. 9 (whether the pen 102 and the finger 103 are moved in conjunction with each other if necessary). If it is determined (S205) and the input pattern does not correspond to the default input pattern, the pen / finger individual function is executed in S107 of FIG. 2, and if it corresponds to the default input pattern, the process of FIG. The function associated with the input pattern by the association information is executed.

この入力パターンに対応付けられた機能について、図10乃至図16の模式図を参照して具体的に説明する。   A function associated with this input pattern will be specifically described with reference to schematic diagrams of FIGS.

ペン102のみが入力部104に接触している場合は、ストロークを追従して表示する”手書き”機能が実行される。例えば、図10(a)に示すように、「てがき」という文字と「GO!」という文字を描画した場合、各々の文字は個別のオブジェクトとして登録される。この状態で、図10(b)に示すように、「てがき」のオブジェクト上にペン102を接触させると同時に、ペン102の近傍かつペン102の上側に指103(中指)を接触させると(図では接触位置を理解しやすくするために大きな黒塗りの丸印で示している。)、図9の関連付け情報に基づいて、この入力パターンに対応する「オブジェクト間のリンク」機能が実行される。そして、図10(c)に示すように、「GO!」のオブジェクトまで、ペン102と指103を同時に接触させたまま移動させると、「てがき」のオブジェクトと「GO!」のオブジェクトとがリンク線で繋がれる。   When only the pen 102 is in contact with the input unit 104, a “handwriting” function for displaying the stroke following the stroke is executed. For example, as shown in FIG. 10A, when the characters “postcard” and the characters “GO!” Are drawn, each character is registered as an individual object. In this state, as shown in FIG. 10B, when the pen 102 is brought into contact with the object of “postcard” and at the same time, the finger 103 (middle finger) is brought into contact with the pen 102 in the vicinity of the pen 102 ( In the drawing, the contact position is indicated by a large black circle for easy understanding.) Based on the association information in FIG. 9, the “link between objects” function corresponding to this input pattern is executed. . Then, as shown in FIG. 10C, when the pen 102 and the finger 103 are moved to the “GO!” Object at the same time, the “postcard” object and the “GO!” Object are displayed. Connected with a link line.

また、同様に、「てがき」と「GO!」が個別のオブジェクトとして登録された状態(図11(a)参照)で、図11(b)に示すように、「てがき」のオブジェクト上にペン102を接触させると同時に、ペン102の近傍かつペン102の上側に2本の指103(中指及び薬指)を接触させると、図9の関連付け情報に基づいて、この入力パターンに対応する「消しゴム」機能が実行される。そして、図11(c)に示すように、「てがき」のオブジェクト上で、ペン102と2本の指103を同時に接触させたまま移動させると、移動軌跡は手書き入力して判断されないために表示部110には表示されず、「てがき」のオブジェクトの移動軌跡に対応する部分が消去される。   Similarly, in the state where “Foreword” and “GO!” Are registered as individual objects (see FIG. 11A), as shown in FIG. When the two fingers 103 (middle finger and ring finger) are brought into contact with the pen 102 in the vicinity of the pen 102 and on the upper side of the pen 102 at the same time, the input pattern corresponding to this input pattern is set based on the association information shown in FIG. The “eraser” function is executed. Then, as shown in FIG. 11C, when the pen 102 and the two fingers 103 are moved simultaneously on the “word” object, the movement locus is not determined by handwriting input. The part corresponding to the movement trajectory of the “word” object is not displayed on the display unit 110 and is erased.

また、同様に、「てがき」と「GO!」が個別のオブジェクトとして登録された状態(図12(a)参照)で、図12(b)に示すように、「てがき」のオブジェクト上にペン102を接触させると同時に、ペン102の近傍かつペン102の右側の10mm以上離れた位置に指103(中指)を接触させると、図9の関連付け情報に基づいて、この入力パターンに対応する「マーカー」機能が実行される。そして、図12(c)に示すように、「てがき」のオブジェクト上で、ペン102と指103を同時に接触させたまま移動させると、移動軌跡は手書き入力して判断されないために表示部110には表示されず、「てがき」のオブジェクトの背景に所定の色が付加されたり白黒反転されたりして、オブジェクトが強調される。   Similarly, in the state where “Foreword” and “GO!” Are registered as individual objects (see FIG. 12A), as shown in FIG. If the finger 103 (middle finger) is brought into contact with the pen 102 at a position 10 mm or more in the vicinity of the pen 102 and on the right side of the pen 102 at the same time, this input pattern is handled based on the association information shown in FIG. The “marker” function is executed. Then, as shown in FIG. 12C, if the pen 102 and the finger 103 are moved on the “word” object while being in contact with each other at the same time, the movement locus is not determined by handwriting input. The object is emphasized by adding a predetermined color to the background of the “word” object or by reversing it in black and white.

また、同様に、「てがき」と「GO!」が個別のオブジェクトとして登録された状態(図13(a)参照)で、図13(b)に示すように、ペン102を接触させると同時に、ペン102の近傍かつペン102の右側に2本の指103(中指及び薬指)を接触させると、図9の関連付け情報に基づいて、この入力パターンに対応する「テキスト化」機能が実行される。そして、ペン102と指103を同時に接触させたまま「ISP」の文字を手書きすると、図13(c)に示すように、公知のOCR技術を用いて手書き文字が認識され、「ISP」の文字が表示される。   Similarly, in the state where “postcard” and “GO!” Are registered as individual objects (see FIG. 13A), as shown in FIG. When two fingers 103 (middle finger and ring finger) are brought into contact with the pen 102 in the vicinity of the pen 102 and the right side of the pen 102, the “textification” function corresponding to this input pattern is executed based on the association information in FIG. . Then, when the “ISP” character is handwritten while the pen 102 and the finger 103 are in contact with each other at the same time, as shown in FIG. 13C, the handwritten character is recognized using a known OCR technique. Is displayed.

また、同様に、「てがき」と「GO!」が個別のオブジェクトとして登録された状態(図14(a)参照)で、図14(b)に示すように、ペン102を接触させると同時に、ペン102の近傍かつペン102の左側に指103(中指)を接触させると、図9の関連付け情報に基づいて、この入力パターンに対応する「複数オブジェクトのグループ化」機能が実行される。そして、図14(c)に示すように、ペン102と指103を同時に接触させたまま、「てがき」のオブジェクトと「GO!」のオブジェクトを囲むように移動させると、「てがき」のオブジェクトと「GO!」のオブジェクトがグループ化される。   Similarly, in the state where “postcard” and “GO!” Are registered as individual objects (see FIG. 14A), as shown in FIG. When the finger 103 (middle finger) is brought into contact with the pen 102 in the vicinity of the pen 102 and the left side of the pen 102, the “group multiple objects” function corresponding to this input pattern is executed based on the association information shown in FIG. Then, as shown in FIG. 14C, when the pen 102 and the finger 103 are simultaneously in contact with each other and moved so as to surround the object of “postcard” and the object of “GO!”, Objects and "GO!" Objects are grouped.

また、同様に、「てがき」と「GO!」が個別のオブジェクトとして登録された状態(図15(a)参照)で、図15(b)に示すように、ペン102を接触させると同時に、ペン102の近傍かつペン102の下側に2本の指103(中指及び薬指)を接触させると、図9の関連付け情報に基づいて、この入力パターンに対応する「図形:四角描画」機能が実行される。そして、ペン102と指103を同時に接触させたまま線を手書きすると、移動軌跡は手書き入力して判断されないために表示部110には表示されず、図15(c)に示すように、線の始点と終点を対角とする矩形が表示される。   Similarly, in the state where “postcard” and “GO!” Are registered as individual objects (see FIG. 15A), as shown in FIG. When two fingers 103 (middle finger and ring finger) are brought into contact with the pen 102 in the vicinity of the pen 102, the "figure: square drawing" function corresponding to this input pattern is created based on the association information shown in FIG. Executed. When a line is handwritten while the pen 102 and the finger 103 are in contact with each other at the same time, the movement trajectory is not determined by handwriting input and is not displayed on the display unit 110. As shown in FIG. A rectangle with the start point and end point as diagonals is displayed.

また、図16(a)に示すように、ペン102を接触させると同時に、ペン102の近傍かつペン102の右側に指103(中指)を接触させると、図9の関連付け情報に基づいて、この入力パターンに対応する「赤」機能が実行される。そして、ペン102と指103を同時に接触させたまま線を手書きすると、移動軌跡は赤色(図では濃淡で赤色を表現している。)の線として描画される。その後、図16(b)に示すように、同時接触しているペン102及び指103の両方、あるいはいずれか一方が入力部104の表面から離れる(図では、指103を入力部104の表面から離してペン102のみを接触させる)と、「赤」機能が終了して、手書きした線が黒で表示される。   Also, as shown in FIG. 16A, when the pen 102 is brought into contact with the finger 103 (middle finger) in the vicinity of the pen 102 and on the right side of the pen 102, this is based on the association information in FIG. The “red” function corresponding to the input pattern is executed. When a line is handwritten while the pen 102 and the finger 103 are in contact with each other at the same time, the movement trajectory is drawn as a red line (in the figure, shaded red is used). Thereafter, as shown in FIG. 16B, both or either of the pen 102 and the finger 103 that are simultaneously in contact with each other are separated from the surface of the input unit 104 (in the drawing, the finger 103 is separated from the surface of the input unit 104. When only the pen 102 is touched, the “red” function ends and the handwritten line is displayed in black.

このように、入力パターンに応じて機能を切り換えることにより、ユーザは手書き入力を行いながら様々な機能を実行させることができるため、手書き入力装置101の操作性を更に向上させることができる。   As described above, by switching the function according to the input pattern, the user can execute various functions while performing handwriting input. Therefore, the operability of the handwriting input device 101 can be further improved.

なお、図10乃至図16は一例であり、ペン102の持ち方や指103の配置、入力部104に接触させる指103の部位などは図の構成に限定されない。   10 to 16 are examples, and how to hold the pen 102, the arrangement of the finger 103, the part of the finger 103 that is brought into contact with the input unit 104, and the like are not limited to the configuration shown in the figure.

また、上記では、ペン102及び指103の一方又は両方が入力部104の表面から離れた場合に、直ちに機能が終了するようにしたが、ペン102及び指103の一方又は両方が入力部104の表面から離れてから、予め定めた所定時間経過後に、機能が終了するようにしてもよい。すなわち、入力部104の表面から離れた時間が短い時間であった場合、それは離れたとは見なさず、機能の実行を継続してもよい。このように時間の経過を監視することにより、意図せずにペン102又は指103が離れてしまった場合に機能が終了してしまう不都合を防止することができる。   Further, in the above description, when one or both of the pen 102 and the finger 103 are separated from the surface of the input unit 104, the function is immediately terminated. However, one or both of the pen 102 and the finger 103 is connected to the input unit 104. The function may be terminated after elapse of a predetermined time after leaving the surface. That is, when the time away from the surface of the input unit 104 is a short time, it may not be regarded as being away and the execution of the function may be continued. By monitoring the passage of time in this way, it is possible to prevent inconvenience that the function ends when the pen 102 or the finger 103 is unintentionally left.

以下、図17及び図18を参照して、本実施例の効果について具体的に説明する。   Hereinafter, the effects of the present embodiment will be described in detail with reference to FIGS. 17 and 18.

例えば、図17(a)に示すようなリンク図(マインドマップ)を手書きする場合、各項目は通常の手書きで良いが、これらを繋ぐ線は、オブジェクトの位置に合わせて伸縮したり、分岐を調整したりする必要があり、同じ手書きでありながら、リンク線としての機能が求められる。その際、従来のようにメニューからリンク線の機能を選択して使用すると、項目とリンク線が交互に登場する度に、メニューで機能のON/OFFを切り換えなければならず、操作が煩雑となる。   For example, when handwriting a link diagram (mind map) as shown in FIG. 17 (a), each item may be normal handwriting, but the line connecting them can be expanded or contracted according to the position of the object, or branched. It is necessary to make adjustments, and the function as a link line is required while being the same handwriting. At that time, if the function of the link line is selected from the menu as in the conventional case, the function must be switched on / off every time the item and the link line appear alternately, and the operation is complicated. Become.

このような場合に、本実施例の手書き入力装置101を用いると、図17(b)に示すように、項目とリンク線の入力の間に機能を切り換える作業が入らないため、手書き入力を連続的に行うことが可能になる。従って、単位機能の切り換えが容易になるだけではなく、手書き入力の操作性を向上させることができる。   In such a case, when the handwriting input device 101 of the present embodiment is used, as shown in FIG. 17B, there is no work to switch the function between the input of the item and the link line. Can be done automatically. Accordingly, not only switching of unit functions is facilitated, but also operability of handwriting input can be improved.

また、図18(a)に示すように、ヒアリングをしながらのドキュメントへの書き込みを行う場合、セミナー受講中など、会議資料に目を通しながら人の話を聞き、自身にとって重要なポイントを資料に追記したり、ハイライトしたりする作業はよく行われている。その際、従来の方法でこの作業を行おうとすると、メニューで機能を切り換える必要があり、人の話を聞きながらこの操作を行うと、機能を探している間に重要なポイントを聞き逃してしまうこともある。   Also, as shown in Fig. 18 (a), when writing to a document while hearing, listen to the person's story while looking at the conference material, such as during a seminar, and document important points for yourself The work of appending and highlighting is often done. At that time, if you try to do this work with the conventional method, you need to switch the function with the menu, and if you do this while listening to people, you will miss important points while searching for the function Sometimes.

このような場合に、本実施例の手書き入力装置101を用いると、図18(b)に示すように、追記・リンク線・マーカーの入力の間に機能を切り換える作業が入らないため、上記と同様に、入力を連続的に行わせることが可能になる。従って、単位機能の切り換えが容易になるだけではなく、手書き入力の操作性を向上させることができる。   In such a case, if the handwriting input device 101 of this embodiment is used, as shown in FIG. 18 (b), there is no work for switching functions between additional writing, link line, and marker input. Similarly, input can be performed continuously. Accordingly, not only switching of unit functions is facilitated, but also operability of handwriting input can be improved.

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御の方法は適宜変更可能である。   Note that the present invention is not limited to the above-described embodiments, and the configuration and control method can be changed as appropriate without departing from the spirit of the present invention.

例えば、上記実施例では、ペンと指で入力する場合について説明したが、複数の指で入力する場合に対しても、本発明の制御を同様に適用することができる。   For example, in the above embodiment, the case of inputting with a pen and a finger has been described, but the control of the present invention can be similarly applied to the case of inputting with a plurality of fingers.

本発明は、タッチパネルで手書き入力が可能な装置及び当該装置で動作するプログラムに利用可能である。   INDUSTRIAL APPLICABILITY The present invention can be used for an apparatus capable of handwriting input on a touch panel and a program operating on the apparatus.

101 手書き入力装置
102 ペン
103 指
104 入力部(タッチパネル)
105 入力判定部
106 機能切換部
107 ペン入力機能部
108 指入力機能部
109 同時入力機能部
110 表示部
101 handwriting input device 102 pen 103 finger 104 input unit (touch panel)
105 Input Determination Unit 106 Function Switching Unit 107 Pen Input Function Unit 108 Finger Input Function Unit 109 Simultaneous Input Function Unit 110 Display Unit

Claims (16)

表示部上に配置された、ペンと指とが識別可能なタッチパネルを用いて手書き入力を行う手書き入力装置において、
前記タッチパネルが検知した接触位置情報に基づいて、前記ペンと前記指とが同時に接触しているかを判定し、前記ペンと前記指とが同時に接触している場合は、前記指の接触位置が前記ペンを持つ手の指が指示可能な範囲であるかを判定し、前記ペンと前記指とが同時に接触しており、かつ、前記指の接触位置が前記範囲内である場合に、手書き入力に関する機能の切り換えを行う機能制御部を備える、
ことを特徴とする手書き入力装置。
In a handwriting input device that performs handwriting input using a touch panel that can be identified by a pen and a finger, arranged on the display unit,
Based on the contact position information detected by the touch panel, it is determined whether the pen and the finger are in contact at the same time. If the pen and the finger are in contact at the same time, the contact position of the finger is It is determined whether or not the finger of the hand holding the pen is in a range that can be indicated, and when the pen and the finger are in contact at the same time and the contact position of the finger is within the range, the handwriting input A function control unit that switches functions is provided.
A handwriting input device characterized by that.
前記機能制御部は、前記ペンの接触位置と前記指の接触位置とが並行して移動するかを判定し、前記ペンの接触位置と前記指の接触位置とが並行して移動する場合に、手書き入力に関する機能の切り換えを行う、
ことを特徴とする請求項1に記載の手書き入力装置。
The function control unit determines whether the contact position of the pen and the contact position of the finger move in parallel, and when the contact position of the pen and the contact position of the finger move in parallel, Switch functions related to handwriting input,
The handwriting input device according to claim 1.
前記機能制御部は、前記ペンの接触位置と前記指の接触位置とが対称に移動している場合、若しくは、前記ペンの接触位置が移動し前記指の接触位置が停止している場合は、手書き入力に関する機能の切り換えを行わない、
ことを特徴とする請求項2に記載の手書き入力装置。
The function control unit, when the contact position of the pen and the contact position of the finger are moved symmetrically, or when the contact position of the pen is moved and the contact position of the finger is stopped, Do not switch functions related to handwriting input,
The handwriting input device according to claim 2.
前記機能制御部は、前記ペンの接触位置に対する前記指の接触位置の相対的な位置関係、及び/又は、前記ペンの接触位置と前記指の接触位置との距離に応じて、切り換える機能を変更する、
ことを特徴とする請求項1乃至3のいずれか一に記載の手書き入力装置。
The function control unit changes a function of switching according to a relative positional relationship between the contact position of the finger with respect to the contact position of the pen and / or a distance between the contact position of the pen and the contact position of the finger. To
The handwriting input device according to any one of claims 1 to 3.
前記機能制御部は、接触している指の本数、及び/又は、接触している指の種類に応じて、切り換える機能を変更する、
ことを特徴とする請求項1乃至4のいずれか一に記載の手書き入力装置。
The function control unit changes a switching function according to the number of touching fingers and / or the kind of touching fingers.
The handwriting input device according to claim 1, wherein the handwriting input device is a handwriting input device.
前記機能制御部は、前記ペンと前記指とが同時に接触している状態が解除された場合、切り換えた機能を終了させる、
ことを特徴とする請求項1乃至5のいずれか一に記載の手書き入力装置。
The function control unit terminates the switched function when the state where the pen and the finger are in contact at the same time is released,
The handwriting input device according to any one of claims 1 to 5, wherein
前記機能制御部は、前記ペンと前記指とが同時に接触している状態が解除された後、予め定めた所定時間が経過したら、切り換えた機能を終了させる、
ことを特徴とする請求項6に記載の手書き入力装置。
The function control unit terminates the switched function after a predetermined time has elapsed after the state where the pen and the finger are in contact with each other at the same time is released.
The handwriting input device according to claim 6.
前記切り換える機能は、手書き入力された複数のオブジェクトをリンク線で繋ぐ機能、手書き入力されたオブジェクトの一部又は全部を消去する機能、オブジェクトを強調する機能、オブジェクトを特定の色で前記表示部に表示する機能、手書き入力されたオブジェクトの文字を認識して当該文字を前記表示部に表示する機能、手書き入力された複数のオブジェクトをグループ化する機能、手書き入力された線に基づいて所定の図形を描画する機能の中から選択される、
ことを特徴とする請求項1乃至7のいずれか一に記載の手書き入力装置。
The switching function includes a function for connecting a plurality of handwritten input objects with a link line, a function for erasing part or all of a handwritten input object, a function for emphasizing an object, and an object in a specific color on the display unit. A function for displaying, a function for recognizing a character of an object input by handwriting, displaying the character on the display unit, a function for grouping a plurality of objects input by handwriting, a predetermined figure based on a line input by handwriting Selected from the functions to draw
The handwriting input device according to any one of claims 1 to 7,
表示部上に配置された、ペンと指とが識別可能なタッチパネルを用いて手書き入力を行う装置で動作する機能制御プログラムであって、
前記装置に、
前記タッチパネルが検知した接触位置情報に基づいて、前記ペンと前記指とが同時に接触しているかを判定する第1判定処理、
前記ペンと前記指とが同時に接触している場合に、前記指の接触位置が前記ペンを持つ手の指が指示可能な範囲であるかを判定する第2判定処理、
前記第1判定処理で、前記ペンと前記指とが同時に接触していると判定され、かつ、前記第2判定処理で、前記指の接触位置が前記範囲内であると判定された場合に、手書き入力に関する機能を切り換える機能制御処理、を実行させる、
ことを特徴とする機能制御プログラム。
A function control program that operates on a device that performs handwritten input using a touch panel that can be identified by a pen and a finger, arranged on a display unit,
In the device,
A first determination process for determining whether the pen and the finger are in contact at the same time based on the contact position information detected by the touch panel;
A second determination process for determining whether the contact position of the finger is within a range that can be instructed by a finger of the hand holding the pen when the pen and the finger are in contact at the same time;
When the first determination process determines that the pen and the finger are in contact at the same time, and the second determination process determines that the contact position of the finger is within the range, A function control process for switching functions related to handwriting input,
A function control program characterized by that.
前記装置に、更に、
前記ペンの接触位置と前記指の接触位置とが並行して移動するかを判定する第3判定処理を実行させ、
前記機能制御処理では、前記第3判定処理で、前記ペンの接触位置と前記指の接触位置とが並行して移動していると判定された場合に、手書き入力に関する機能の切り換えを行う、
ことを特徴とする請求項9に記載の機能制御プログラム。
In addition to the device,
A third determination process for determining whether the contact position of the pen and the contact position of the finger move in parallel;
In the function control process, when it is determined in the third determination process that the contact position of the pen and the contact position of the finger are moving in parallel, the function related to handwriting input is switched.
The function control program according to claim 9.
前記機能制御処理では、前記第3判定処理で、前記ペンの接触位置と前記指の接触位置とが対称に移動している、若しくは、前記ペンの接触位置が移動し前記指の接触位置が停止していると判定された場合は、手書き入力に関する機能の切り換えを行わない、
ことを特徴とする請求項10に記載の機能制御プログラム。
In the function control process, the contact position of the pen and the contact position of the finger are moved symmetrically in the third determination process, or the contact position of the pen is moved and the contact position of the finger is stopped. If it is determined that the function is being performed, the function related to handwriting input is not switched.
The function control program according to claim 10.
前記機能制御処理では、前記ペンの接触位置に対する前記指の接触位置の相対的な位置関係、及び/又は、前記ペンの接触位置と前記指の接触位置との距離に応じて、切り換える機能を変更する、
ことを特徴とする請求項9乃至11のいずれか一に記載の機能制御プログラム。
In the function control processing, the function of switching is changed according to the relative positional relationship of the finger contact position with respect to the pen contact position and / or the distance between the pen contact position and the finger contact position. To
12. The function control program according to claim 9, wherein the function control program is any one of claims 9 to 11.
前記機能制御処理では、接触している指の本数、及び/又は、接触している指の種類に応じて、切り換える機能を変更する、
ことを特徴とする請求項9乃至12のいずれか一に記載の機能制御プログラム。
In the function control process, the function to be switched is changed according to the number of fingers in contact and / or the type of finger in contact.
13. The function control program according to claim 9, wherein the function control program is any one of claims 9 to 12.
前記機能制御処理では、前記ペンと前記指とが同時に接触している状態が解除された場合、切り換えた機能を終了させる、
ことを特徴とする請求項9乃至13のいずれか一に記載の機能制御プログラム。
In the function control process, when the state where the pen and the finger are in contact at the same time is released, the switched function is terminated.
14. The function control program according to claim 9, wherein the function control program is any one of claims 9 to 13.
前記機能制御処理では、前記ペンと前記指とが同時に接触している状態が解除された後、予め定めた所定時間が経過したら、切り換えた機能を終了させる、
ことを特徴とする請求項14に記載の機能制御プログラム。
In the function control process, after the predetermined time has elapsed after the state where the pen and the finger are in contact with each other at the same time, the switched function is terminated.
The function control program according to claim 14, wherein:
前記機能制御処理では、前記切り換える機能を、手書き入力された複数のオブジェクトをリンク線で繋ぐ機能、手書き入力されたオブジェクトの一部又は全部を消去する機能、オブジェクトを強調する機能、オブジェクトを特定の色で前記表示部に表示する機能、手書き入力されたオブジェクトの文字を認識して当該文字を前記表示部に表示する機能、手書き入力された複数のオブジェクトをグループ化する機能、手書き入力された線に基づいて所定の図形を描画する機能の中から選択する、
ことを特徴とする請求項9乃至15のいずれか一に記載の機能制御プログラム。
In the function control processing, the switching function includes a function for connecting a plurality of handwritten input objects with a link line, a function for erasing part or all of the handwritten input objects, a function for emphasizing an object, and a specific object. A function for displaying on the display unit by color, a function for recognizing characters of an object input by handwriting, and displaying the character on the display unit, a function for grouping a plurality of objects input by handwriting, a line input by handwriting Select from the functions to draw a predetermined figure based on
The function control program according to any one of claims 9 to 15, wherein:
JP2012229596A 2012-10-17 2012-10-17 Handwriting input device and function control program Pending JP2014081800A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012229596A JP2014081800A (en) 2012-10-17 2012-10-17 Handwriting input device and function control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012229596A JP2014081800A (en) 2012-10-17 2012-10-17 Handwriting input device and function control program

Publications (1)

Publication Number Publication Date
JP2014081800A true JP2014081800A (en) 2014-05-08

Family

ID=50785937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012229596A Pending JP2014081800A (en) 2012-10-17 2012-10-17 Handwriting input device and function control program

Country Status (1)

Country Link
JP (1) JP2014081800A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014102628A (en) * 2012-11-19 2014-06-05 Konica Minolta Inc Object operation device and object operation control program
JP2017182152A (en) * 2016-03-28 2017-10-05 京セラドキュメントソリューションズ株式会社 Display operation apparatus and operation instruction receiving program
JP2021033543A (en) * 2019-08-22 2021-03-01 株式会社ワコム Input device
CN114758846A (en) * 2022-04-15 2022-07-15 国网电力科学研究院有限公司 Design method for insulation thickness of direct current cable
CN115495055A (en) * 2022-11-03 2022-12-20 杭州实在智能科技有限公司 RPA element matching method and system based on interface region identification technology
WO2023030377A1 (en) * 2021-08-31 2023-03-09 华为技术有限公司 Writing/drawing content display method and related device
CN118094608A (en) * 2024-04-29 2024-05-28 山东水文印务有限公司 Hydrologic data management method
JP7508446B2 (en) 2019-04-17 2024-07-01 株式会社ワコム Ink annotation sharing method and system

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014102628A (en) * 2012-11-19 2014-06-05 Konica Minolta Inc Object operation device and object operation control program
JP2017182152A (en) * 2016-03-28 2017-10-05 京セラドキュメントソリューションズ株式会社 Display operation apparatus and operation instruction receiving program
JP7508446B2 (en) 2019-04-17 2024-07-01 株式会社ワコム Ink annotation sharing method and system
JP2021033543A (en) * 2019-08-22 2021-03-01 株式会社ワコム Input device
WO2023030377A1 (en) * 2021-08-31 2023-03-09 华为技术有限公司 Writing/drawing content display method and related device
CN114758846A (en) * 2022-04-15 2022-07-15 国网电力科学研究院有限公司 Design method for insulation thickness of direct current cable
CN114758846B (en) * 2022-04-15 2023-09-22 国网电力科学研究院有限公司 DC cable insulation thickness design method
CN115495055A (en) * 2022-11-03 2022-12-20 杭州实在智能科技有限公司 RPA element matching method and system based on interface region identification technology
CN115495055B (en) * 2022-11-03 2023-09-08 杭州实在智能科技有限公司 RPA element matching method and system based on interface region identification technology
CN118094608A (en) * 2024-04-29 2024-05-28 山东水文印务有限公司 Hydrologic data management method

Similar Documents

Publication Publication Date Title
JP2014081800A (en) Handwriting input device and function control program
JP5584802B2 (en) Information processing apparatus, information processing apparatus control method, control program, and computer-readable recording medium
US20120162093A1 (en) Touch Screen Control
JP2013238935A (en) Input device, input device controlling method, controlling program, and recording medium
JP2004213269A (en) Character input device
KR20140038568A (en) Multi-touch uses, gestures, and implementation
KR102411868B1 (en) Electronic apparatus and method for display graphic object the same
JP2010218286A (en) Information processor, program, and display method
EP1376324A2 (en) Information processing apparatus and character input assisting method for use in the same
US9244556B2 (en) Display apparatus, display method, and program
CN106371644B (en) Method and device for simultaneously writing by multiple persons on screen
WO2022218352A1 (en) Method and apparatus for touch operation
TW201423563A (en) Apparatus and method for processing handwriting input
CN103502921A (en) Text indicator method and electronic device
JP6615491B2 (en) Pen input system, touch pen, and pen input method
CN107613077A (en) A kind of method for controlling mobile phone screen
JP2016189035A (en) Information processing device, information processing program, and information processing method
CN109976652B (en) Information processing method and electronic equipment
US9720518B2 (en) Character input apparatus and character input method
US20200210675A1 (en) Hologram-based character recognition method and apparatus
JP6220374B2 (en) Information processing apparatus, output character code determination method, and program
JP2014140236A (en) Character data input device
US10082882B2 (en) Data input apparatus and method therefor
CN102789358A (en) Image output and display method, device and display equipment
JP2013033553A (en) Character data input device