JP2015056101A - Handwriting input device, control program, and control method - Google Patents

Handwriting input device, control program, and control method Download PDF

Info

Publication number
JP2015056101A
JP2015056101A JP2013190204A JP2013190204A JP2015056101A JP 2015056101 A JP2015056101 A JP 2015056101A JP 2013190204 A JP2013190204 A JP 2013190204A JP 2013190204 A JP2013190204 A JP 2013190204A JP 2015056101 A JP2015056101 A JP 2015056101A
Authority
JP
Japan
Prior art keywords
output
value
calculated
predetermined
touch panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013190204A
Other languages
Japanese (ja)
Inventor
井上 雅之
Masayuki Inoue
雅之 井上
啓一郎 兵頭
Keiichiro Hyodo
啓一郎 兵頭
山口 恭彦
Yasuhiko Yamaguchi
恭彦 山口
健太 保坂
Kenta Hosaka
健太 保坂
孝将 丹羽
Takamasa Niwa
孝将 丹羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2013190204A priority Critical patent/JP2015056101A/en
Publication of JP2015056101A publication Critical patent/JP2015056101A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To reproduce variation in density, bleeding, and blurring at the time of handwriting on a sheet of paper with an ink brush from handwriting information on a touch panel.SOLUTION: A handwriting input device includes: a touch panel which has electrodes arrayed in mutually orthogonal directions and is capable of simultaneously detecting depressions at intersections between the electrodes; a pressure value calculation unit which acquires pressure values at respective intersections from the touch panel at intervals of a preliminarily determined time and integrates the pressure values within a prescribed time to calculate a total pressure value at each of the intersections; an output value calculation unit which specifies output positions of an output unit corresponding to the intersections respectively and calculates output values defining densities in respective output positions on the basis of the total pressure values of respective intersections; and an output control unit which outputs the output positions and the output values for the output positions to the output unit in association with each other.

Description

本発明は、手書き入力装置及び制御プログラム並びに制御方法に関し、特に、複数点を同時に検出可能なタッチパネルを備える手書き入力装置及び手書き入力装置に手書きした情報を適切に再現する制御プログラム並びに制御方法に関する。   The present invention relates to a handwriting input device, a control program, and a control method, and more particularly, to a handwriting input device including a touch panel capable of simultaneously detecting a plurality of points, and a control program and a control method for appropriately reproducing information handwritten on the handwriting input device.

近年、表示機能を有するタッチパネルを備えるタブレットなどの手書き入力装置が普及している。この手書き入力装置では、タッチパネル上にペンや指などで手書きした文字や図形などの情報(以下、手書き情報と呼ぶ。)をタッチパネルに表示したり、電子データとして保存又は出力したりすることができる。また、表示機能のないタッチパネル上に用紙を固定し、用紙上に手書きした手書き情報を電子データとして保存又は出力可能な手書き入力装置(いわゆるバインダー方式の手書き入力装置)も販売されている。また、このような手書き入力装置に関して、手書き情報の見栄えをよくするために、用紙上に筆で手書きしたときのような形態で手書き情報を表示する方法も提案されている。   In recent years, a handwriting input device such as a tablet including a touch panel having a display function has become widespread. In this handwriting input device, information (hereinafter referred to as handwritten information) such as characters and figures handwritten with a pen or a finger on the touch panel can be displayed on the touch panel, or stored or output as electronic data. . In addition, a handwriting input device (so-called binder-type handwriting input device) in which paper is fixed on a touch panel having no display function and handwritten information handwritten on the paper can be stored or output as electronic data is also on the market. In addition, with respect to such a handwriting input device, a method for displaying handwritten information in a form as when handwritten with a brush on paper has been proposed in order to improve the appearance of the handwritten information.

例えば、下記特許文献1には、座標入力手段が座標入力面に対して座標を入力しているときの圧力を検知する圧力検知手段と、圧力検知手段により検知された圧力に従って描画パタンの大きさを拡大または縮小する拡大縮小手段と、座標値検出手段により順次検出された座標値に基づいて座標入力手段の移動方向を算出する移動方向算出手段と、移動方向算出手段により算出された移動方向の反対方向に描画パタンの筆先部分が向くように当該描画パタンを回転させる描画パタン回転手段と、座標値検出手段により順次検出された座標値の隣り合う距離間隔を算出する距離間隔算出手段と、距離間隔算出手段により算出された座標値の距離間隔に基づいて描画パタン回転手段を制御し、描画パタンの回転量を小さくする回転制御手段と、描画パタン回転手段または回転制御手段により回転され拡大縮小手段により拡大または縮小された描画パタンを、座標値検出手段により検出された座標位置に順次描画する描画手段と、を備えた毛筆描画装置が開示されている。   For example, in Patent Document 1 below, a pressure detection unit that detects a pressure when the coordinate input unit inputs coordinates to the coordinate input surface, and a size of the drawing pattern according to the pressure detected by the pressure detection unit. Enlargement / reduction means for enlarging or reducing the image, movement direction calculation means for calculating the movement direction of the coordinate input means based on the coordinate values sequentially detected by the coordinate value detection means, and the direction of movement calculated by the movement direction calculation means A drawing pattern rotation unit for rotating the drawing pattern so that the writing tip portion of the drawing pattern faces in the opposite direction, a distance interval calculating unit for calculating a distance between adjacent coordinate values sequentially detected by the coordinate value detecting unit, and a distance A rotation control unit that controls the drawing pattern rotation unit based on the distance between the coordinate values calculated by the interval calculation unit and reduces the rotation amount of the drawing pattern; There is disclosed a brush writing apparatus comprising: a drawing unit that sequentially draws a drawing pattern rotated by a tongue rotating unit or a rotation control unit and enlarged or reduced by an enlargement / reduction unit at a coordinate position detected by a coordinate value detection unit. ing.

また、下記特許文献2には、描画行為における筆類として機能し、自己の移動経路上の座標を検出可能とする入力部と、該入力部からの描画行為情報を処理する描画情報処理部と、処理結果を表示する表示部とを備えた描画情報処理装置において、描画情報処理部は、該描画情報処理部内の処理全体の機能制御を行う描画情報処理制御部と、筆類上の塗料の量に相当する塗料値を管理する描画情報生成部と、入力部からの描画行為情報と描画情報生成部の塗料値に基づいて、被画材への塗料定着をシミュレーションする塗料定着状態シミュレータと、前記塗料定着状態シミュレータの結果を表示部に表示する表示制御部と、を具備する描画情報処理装置が開示されている。   Patent Document 2 listed below includes an input unit that functions as a brush in a drawing action and that can detect coordinates on its own movement path; a drawing information processing unit that processes drawing action information from the input unit; In the drawing information processing apparatus including the display unit for displaying the processing result, the drawing information processing unit includes a drawing information processing control unit that controls functions of the entire processing in the drawing information processing unit, and a paint information processing unit on the brush. A drawing information generation unit for managing a paint value corresponding to the amount, a paint fixing state simulator for simulating the coating of the paint on the object based on the drawing action information from the input unit and the paint value of the drawing information generation unit; A drawing information processing apparatus including a display control unit that displays a result of a paint fixing state simulator on a display unit is disclosed.

また、手書き入力装置に関する技術ではないが、筆で描いたときのような画像を生成する技術に関して、例えば、下記特許文献3には、複数の毛状細管を束ねて筆状にすると共にこれら各毛状細管の任意の位置に変位量と変位方向を計測して出力する変位計測部を配置、および各毛状細管に歪みを計測して出力する歪み計測部を配置するように構成した筆型情報入力装置が開示されている。   Moreover, although it is not a technique regarding a handwriting input device, regarding the technique of generating an image as when drawn with a brush, for example, in Patent Document 3 below, a plurality of capillaries are bundled into a brush shape and each of these Displacement measurement unit that measures and outputs the displacement amount and displacement direction at any position of the capillary tube, and a brush type that is configured to place a strain measurement unit that measures and outputs strain on each capillary tube An information input device is disclosed.

特開2004−139411号公報JP 2004-139411 A 特開平07−21235号公報JP 07-21235 A 特開平05−204537号公報Japanese Patent Laid-Open No. 05-204537

タッチパネルは、互いに直交する方向に配列された電極が交差する点(以下、交点と呼ぶ。)における物理量の変化を検出するものであり、その検出方式として、静電容量方式、電磁誘導方式、デジタル抵抗膜方式などが知られている。上記検出方式の内、静電容量方式や電磁誘導方式では、ペンや指のタッチに対して、タッチ領域内の代表的な1点の出力値しか取得することができず、手書き入力情報は、タッチ領域内の代表点を単に繋ぎ合わせた線として表現される。そのため、タッチ領域を素早く動かしたり、ゆっくり動かしたりしても、線の形態は変化せず、用紙上に筆で手書きしたときのような濃淡やにじみ、かすれを再現することができない。   The touch panel detects a change in physical quantity at a point where electrodes arranged in directions orthogonal to each other (hereinafter referred to as an intersection) are detected. As a detection method thereof, a capacitance method, an electromagnetic induction method, a digital method, or the like. A resistance film system is known. Among the detection methods, the capacitance method and the electromagnetic induction method can acquire only one representative output value in the touch area with respect to the touch of the pen or finger, and the handwritten input information is: It is expressed as a line simply connecting the representative points in the touch area. Therefore, even if the touch area is moved quickly or slowly, the shape of the line does not change, and it is impossible to reproduce the shading, blurring, and blurring that occur when handwritten with a brush on the paper.

また、手書き入力装置に設けられたペン選択機能を利用して太いペンを選択することにより、タッチ位置の移動軌跡を太い線で描くことはできる。しかしながら、この方法はタッチ位置の移動軌跡を太い線で表示するだけであり、線の各部の濃度は一定であるため、やはり、用紙上に筆で手書きしたときのような濃淡やにじみ、かすれを再現することができない。   Further, by selecting a thick pen using a pen selection function provided in the handwriting input device, the movement locus of the touch position can be drawn with a thick line. However, this method only displays the movement trajectory of the touch position with a thick line, and the density of each part of the line is constant, so the density, blur, and blurring as when handwritten with a brush on the paper are still used. It cannot be reproduced.

この問題に対して、上記特許文献1では、筆のタッチ位置、筆の軌跡、筆圧、ペンの回転を検出して、手書きの太さやハネ、止めを表現できるようにしている。しかしながら、この技術はタッチ領域の形状を取得するのではなく、予め設定された線とペンの回転率で、太さ、ハネ、止め等を予測して表現しているに過ぎないため、用紙上に筆で手書きしたときの筆から出てくるインクの量に応じた濃淡やにじみ、かすれを再現することはできない。   In order to solve this problem, the above-mentioned Patent Document 1 detects the touch position of the brush, the trajectory of the brush, the writing pressure, and the rotation of the pen so that the handwritten thickness, splash, and stop can be expressed. However, this technology does not acquire the shape of the touch area, but merely predicts the thickness, splash, stop, etc., using the preset line and pen rotation rate. It is not possible to reproduce shading, blurring or blurring according to the amount of ink coming out of the brush when handwritten with a brush.

また、特許文献2では、筆による手書き時の時間や筆圧にて、インクが紙に塗布され定着する状態をシミュレートできるようにしている。しかしながら、筆の太さはシミュレートであり、筆圧においても電極の交点に実際にかかる総圧力値を取得しているわけではないため、やはり、用紙上に筆で手書きしたときの筆から出てくるインクの量に応じた濃淡やにじみ、かすれを再現することはできない。   Further, in Patent Document 2, it is possible to simulate a state in which ink is applied to paper and fixed based on time and pressure when writing with a brush. However, the thickness of the brush is a simulation, and the total pressure value actually applied to the intersection of the electrodes is not acquired even at the writing pressure. It is not possible to reproduce shading, blurring or blurring according to the amount of ink coming.

また、特許文献3では、毛筆表現のシミュレータとして、毛筆に複数のセンサを設け、圧力分布を検出してシミュレートできるようにしている。しかしながら、この技術では専用の毛筆を使用する必要があり、また、取得面積内の圧力勾配によってのみ、にじみを表現しているため、例えば、一定の圧力分布の場合は、にじみを表現することができない。   In Patent Document 3, a brush brush is provided with a plurality of sensors as a brush brush expression simulator so that pressure distribution can be detected and simulated. However, with this technique, it is necessary to use a dedicated brush, and since the blur is expressed only by the pressure gradient within the acquisition area, for example, in the case of a constant pressure distribution, the blur can be expressed. Can not.

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、タッチパネル上の手書き情報に対して、用紙上に筆で手書きしたときのような濃淡やにじみ、かすれを再現することができる手書き入力装置及び制御プログラム並びに制御方法を提供することにある。   The present invention has been made in view of the above-mentioned problems, and its main purpose is to reproduce shading, blurring, and blurring as when handwritten with a brush on paper on handwritten information on a touch panel. An object of the present invention is to provide a handwriting input device, a control program, and a control method.

本発明の一側面は、手書き入力装置に、互いに直交する方向に配列された電極を備え、前記電極が交差する各々の交点の押圧を同時に検出可能なタッチパネルと、予め定めた時間間隔で前記タッチパネルから各々の前記交点の圧力値を取得し、前記圧力値を所定時間内で積算して、各々の前記交点の総圧力値を算出する圧力値算出部と、各々の前記交点に対応する出力装置の出力位置を特定し、各々の前記交点の前記総圧力値に基づいて、各々の前記出力位置の濃度を規定する出力値を算出する出力値算出部と、各々の前記出力位置と当該出力位置の前記出力値とを対応付けて、前記出力装置に出力する出力制御部と、を備えることを特徴とする。   One aspect of the present invention includes a touch panel that includes electrodes arranged in a direction orthogonal to each other in a handwriting input device, and that can simultaneously detect pressing of each intersection where the electrodes intersect, and the touch panel at predetermined time intervals. A pressure value calculation unit that obtains a pressure value at each of the intersections from each other, integrates the pressure values within a predetermined time, and calculates a total pressure value at each of the intersections, and an output device corresponding to each of the intersections An output value calculating unit that determines an output value that defines the concentration of each of the output positions based on the total pressure value of each of the intersections, and each of the output positions and the output position An output control unit that associates the output value with the output value and outputs the output value to the output device.

本発明の一側面は、互いに直交する方向に配列された電極を備え、前記電極が交差する各々の交点の押圧を同時に検出可能なタッチパネルを備える手書き入力装置で動作する制御プログラムであって、前記手書き入力装置に、予め定めた時間間隔で前記タッチパネルから各々の前記交点の圧力値を取得し、前記圧力値を所定時間内で積算して、各々の前記交点の総圧力値を算出する圧力値算出ステップ、各々の前記交点に対応する出力装置の出力位置を特定し、各々の前記交点の前記総圧力値に基づいて、各々の前記出力位置の濃度を規定する出力値を算出する出力値算出ステップ、各々の前記出力位置と当該出力位置の前記出力値とを対応付けて、前記出力装置に出力する出力制御ステップ、を実行させることを特徴とする。   One aspect of the present invention is a control program that operates on a handwriting input device that includes electrodes arranged in directions orthogonal to each other and includes a touch panel that can simultaneously detect the pressing of each intersection where the electrodes intersect. A pressure value for acquiring a pressure value at each intersection from the touch panel at a predetermined time interval on a handwriting input device, and integrating the pressure values within a predetermined time to calculate a total pressure value at each intersection. An output value calculation that specifies an output position of the output device corresponding to each intersection and calculates an output value that defines a concentration of each output position based on the total pressure value of each intersection A step of associating each output position with the output value of the output position and outputting the output position to the output device;

本発明の一側面は、互いに直交する方向に配列された電極を備え、前記電極が交差する各々の交点の押圧を同時に検出可能なタッチパネルを備える手書き入力装置における制御方法であって、予め定めた時間間隔で前記タッチパネルから各々の前記交点の圧力値を取得し、前記圧力値を所定時間内で積算して、各々の前記交点の総圧力値を算出する圧力値算出ステップと、各々の前記交点に対応する出力装置の出力位置を特定し、各々の前記交点の前記総圧力値に基づいて、各々の前記出力位置の濃度を規定する出力値を算出する出力値算出ステップと、各々の前記出力位置と当該出力位置の前記出力値とを対応付けて、前記出力装置に出力する出力制御ステップと、を実行することを特徴とする。   One aspect of the present invention is a control method in a handwriting input device that includes electrodes arranged in directions orthogonal to each other, and includes a touch panel that can simultaneously detect the pressing of each intersection where the electrodes intersect. A pressure value calculating step of obtaining a pressure value of each intersection from the touch panel at time intervals, integrating the pressure values within a predetermined time, and calculating a total pressure value of each intersection; and each intersection An output value calculating step for specifying an output position of the output device corresponding to each of the output points, and calculating an output value defining a concentration of each of the output positions based on the total pressure value of each of the intersections; and each of the outputs An output control step of associating a position with the output value of the output position and outputting the output value to the output device is executed.

本発明の手書き入力装置及び制御プログラム並びに制御方法によれば、タッチパネル上の手書き情報に対して、用紙上に筆で手書きしたときのような濃淡やにじみ、かすれを再現することができる。   According to the handwriting input device, the control program, and the control method of the present invention, it is possible to reproduce shading, blurring, and blurring as when handwritten information on the touch panel is handwritten with a brush on paper.

その理由は、互いに直交する方向に配列された電極を備え、電極が交差する各々の交点の押圧を同時に検出可能なタッチパネルを備える手書き入力装置において、タッチパネル制御部(制御プログラム)は、予め定めた時間間隔で各々の交点の圧力値を取得し、取得した圧力値を所定時間内で積算して総圧力値を算出し、各々の交点に対応する出力装置の出力位置を特定し、各々の交点の総圧力値に基づいて、各々の出力位置の濃度を規定する出力値を算出し、各々の出力位置と当該出力位置の出力値とを対応付けて、出力装置に出力するからである。   The reason for this is that in a handwriting input device that includes electrodes arranged in directions orthogonal to each other and that can simultaneously detect the pressing of each intersection where the electrodes intersect, the touch panel control unit (control program) is predetermined. Acquire pressure values at each intersection at time intervals, calculate the total pressure value by accumulating the acquired pressure values within a predetermined time, specify the output position of the output device corresponding to each intersection, and each intersection This is because, based on the total pressure value, an output value that defines the concentration at each output position is calculated, and each output position and the output value at the output position are associated with each other and output to the output device.

静電容量方式又は電磁誘導方式のタッチパネルとデジタル抵抗膜方式のタッチパネルとを比較して説明する図である。It is a figure which compares and demonstrates a capacitive type or electromagnetic induction type touch panel and a digital resistive film type touch panel. デジタル抵抗膜方式のタッチパネルにおける圧力分布を説明する図である。It is a figure explaining the pressure distribution in the digital resistive film type touch panel. 静電容量方式又は電磁誘導方式のタッチパネルとデジタル抵抗膜方式のタッチパネルの表示状態を比較して説明する図である。It is a figure which compares and demonstrates the display state of a capacitive type or electromagnetic induction type touch panel, and a digital resistive film type touch panel. 本発明の一実施例に係る手書き入力装置の外観構成を示す図である。It is a figure which shows the external appearance structure of the handwriting input device which concerns on one Example of this invention. 本発明の一実施例に係る手書き入力装置の構成を示すブロック図である。It is a block diagram which shows the structure of the handwriting input device which concerns on one Example of this invention. デジタル抵抗膜方式のタッチパネルの構造を説明する図である。It is a figure explaining the structure of a digital resistive film type touch panel. 本発明の一実施例に係る総圧力値に応じた表示濃度の表現方法を説明する図である。It is a figure explaining the expression method of the display density according to the total pressure value concerning one example of the present invention. 本発明の一実施例に係る手書き入力装置の処理(濃淡を表現する処理)を示すフローチャート図である。It is a flowchart figure which shows the process (process which expresses shading) of the handwriting input device which concerns on one Example of this invention. 本発明の一実施例に係る手書き入力装置の処理(濃淡及びにじみを表現する処理)を示すフローチャート図である。It is a flowchart figure which shows the process (process which expresses shading and a blur) of the handwriting input device which concerns on one Example of this invention. 本発明の一実施例に係る手書き入力装置の処理(濃淡及びかすれを表現する処理)を示すフローチャート図である。It is a flowchart figure which shows the process (process which expresses light and shade) of the handwriting input device which concerns on one Example of this invention.

背景技術で示したように、タッチパネルは、互いに直交する方向に配列された短冊状の電極が交差する交点における物理量の変化を検出するものであり、検出方式としては、電極電磁誘導方式、静電容量方式、デジタル抵抗膜方式などが知られている。この内、静電容量方式や電磁誘導方式は、スタイラスペンや指などの導電体が介在することによる電磁気量や静電容量の変化を検出するものであり、複数の電極を跨ぐようにタッチしても、タッチを検出できる位置は一点のみである。   As shown in the background art, a touch panel detects a change in a physical quantity at an intersection where strip-shaped electrodes arranged in directions orthogonal to each other intersect. As a detection method, an electrode electromagnetic induction method, electrostatic A capacitance method, a digital resistance film method, and the like are known. Among them, the electrostatic capacity method and the electromagnetic induction method detect changes in the electromagnetic quantity and the electrostatic capacity due to the presence of a conductor such as a stylus pen and a finger. However, there is only one point where a touch can be detected.

例えば、図1(a)に示すように、タッチパネル上にペンや指をタッチし、タッチ領域を移動軌跡に沿って移動させて手書きした場合、静電容量方式や電磁誘導方式では、図1(b)に示すように、タッチ領域の中心近傍の交点(図の黒丸)からON/OFFの値が出力され、出力値がONの交点を繋ぎ合わせた線(若しくはその線をなめらかに加工した線)が表示される。また、手書き情報を太い線で表示する場合は、ペン選択機能で太いペンを選択することによって、図1(c)に示すように、出力値がONの交点を繋ぎ合わせた線(若しくはその線をなめらかに加工した線)が一様な濃さで太く表示される。しかしながら、静電容量方式では、タッチ領域の中でタッチを検出できる位置は一点、かつ、出力値はON/OFFの2値であり、各々の電極の交点にどの程度の時間、どの程度の圧力が加えられたのかを知ることができず、また、電磁誘導方式では、出力値は多値ではあるが、各々の電極の交点にどの程度の時間、どの程度の圧力が加えられたのかは判断することができないため、用紙上に筆で手書きしたときのような濃淡やにじみ、かすれを表現することができなかった。   For example, as shown in FIG. 1A, when a pen or finger is touched on the touch panel and handwriting is performed by moving the touch area along the movement trajectory, the electrostatic capacity method or the electromagnetic induction method is performed as shown in FIG. As shown in b), the ON / OFF value is output from the intersection (black circle in the figure) near the center of the touch area, and the line connecting the intersections whose output value is ON (or a line obtained by smoothly processing the line) ) Is displayed. When displaying handwritten information as a thick line, by selecting a thick pen with the pen selection function, as shown in FIG. 1C, a line connecting intersections whose output values are ON (or the line) Smoothly processed lines) are displayed thick with uniform darkness. However, in the capacitance method, the position where the touch can be detected in the touch area is one point, and the output value is binary of ON / OFF, and how much time and how much pressure is at the intersection of each electrode In the electromagnetic induction method, the output value is multivalued, but it is judged how much time and how much pressure is applied to the intersection of each electrode. Because it was not possible to do so, it was not possible to express shading, blurring, and blurring as when handwritten with a brush on paper.

一方、デジタル抵抗膜方式は、一方の電極を押圧して他方の電極に接触させることによる抵抗の変化を検出するものであり、複数の電極を跨ぐようにタッチした場合、タッチ領域内の複数の交点の抵抗の変化を検出することができ、各々の交点に加えられた圧力値を検出することができる。従って、図1(d)に示すように、手書き情報を線ではなく、タッチ領域の移動軌跡を表す領域として表示することができる。また、各々の交点における各時間の圧力をプロットすると、図2に示すような圧力分布図を取得することができ、この圧力分布図を用い、下記の式1に従って計算することによって、各々の交点の圧力値を積算した値を取得することができる。   On the other hand, the digital resistance film method detects a change in resistance caused by pressing one electrode and bringing it into contact with the other electrode. When touching across a plurality of electrodes, a plurality of touches within a touch region are detected. A change in resistance at the intersection can be detected, and a pressure value applied to each intersection can be detected. Accordingly, as shown in FIG. 1D, the handwritten information can be displayed as an area representing the movement locus of the touch area instead of a line. Further, when the pressure at each intersection at each time point is plotted, a pressure distribution diagram as shown in FIG. 2 can be obtained. By using this pressure distribution diagram and calculating according to the following equation 1, each intersection point can be obtained. A value obtained by integrating the pressure values can be acquired.

∫f(x)=S …(1)   ∫f (x) = S (1)

そこで、本発明の一実施の形態では、ペン先が撓むペン(いわゆる毛筆ペン)を用いて手書きしたときの各々の交点の圧力値を取得し、その圧力値を所定時間内で積算した値(総圧力値と呼ぶ。)を算出し、その総圧力値に基づいて、各々の交点に対応する出力装置の出力位置の濃度を規定する出力値を算出し、各々の出力位置と当該出力位置の出力値とを対応付けて出力する。この総圧力値を算出することによって、書道や水彩などで用いる毛筆を用いて用紙やキャンパス上に手書きしたときに筆先からにじみ出るインクや墨汁、絵の具などの顔料や染料を含んだ液体の量(以下、インク量とする。)を推測することができ、推測したインク量に応じた出力値を算出することにより、筆で手書きしたときの濃淡やにじみ、かすれを再現することができる。   Therefore, in one embodiment of the present invention, the pressure value at each intersection when handwriting is performed using a pen whose pen nib is bent (so-called brush pen), and the pressure value is integrated within a predetermined time. (Referred to as total pressure value) is calculated, and based on the total pressure value, an output value that defines the concentration of the output position of the output device corresponding to each intersection is calculated, and each output position and the corresponding output position are calculated. Are output in association with the output value. By calculating this total pressure value, the amount of liquid containing pigments or dyes such as ink, ink, or paint that oozes out from the brush tip when handwritten on paper or campus using a brush used in calligraphy or watercolor Ink amount) can be estimated, and by calculating an output value corresponding to the estimated ink amount, it is possible to reproduce shading, blurring and blurring when handwritten with a brush.

例えば、図3(a)に示すように、毛筆ペンのペン先の方向を変えずにペン先を一定の速度で移動させた場合(図の左側参照)、静電容量方式や電磁誘導方式の場合は、手書き情報はペン先のタッチ領域の中心位置近傍の一点を繋ぎ合わせた線となり、ペン選択機能で太いペンを選択しても、同じ濃度の太い線が表示されるだけである(図の中央参照)。これに対して、デジタル抵抗膜方式のタッチパネルに対して本発明の手法を適用した場合は、ペン先の先端に近い部分よりも根元に近い部分の方が総圧力値が大きくなるため、タッチ領域の移動軌跡の下側が濃く上側が薄くなり(図では、ハッチングの種類を変えて濃淡を表現している。)、用紙上に筆で手書きしたときの濃淡を再現することができる(図の右側参照)。   For example, as shown in FIG. 3A, when the nib is moved at a constant speed without changing the direction of the nib of the writing brush pen (see the left side of the figure), the capacitance type or electromagnetic induction type In this case, the handwritten information is a line that connects one point near the center position of the touch area of the pen tip, and even if a thick pen is selected by the pen selection function, only a thick line with the same density is displayed (see FIG. In the middle). On the other hand, when the method of the present invention is applied to a digital resistive film type touch panel, the total pressure value is larger in the portion closer to the base than in the portion near the tip of the pen tip. The lower side of the movement trajectory is darker and the upper side is lighter (in the figure, the shade is changed to express the shade), and the shade when handwritten with a brush on the paper can be reproduced (right side of the figure) reference).

また、図3(b)に示すように、毛筆ペンのペン先の方向を変えずにペン先を静止状態から書き出した場合(図の左側参照)、静電容量方式や電磁誘導方式の場合は、やはり同じ濃度の太い線が表示されるだけであるが(図の中央参照)、デジタル抵抗膜方式のタッチパネルに対して本発明の手法を適用した場合は、書き始めの位置では圧力が加えられている時間が長くなり総圧力値が大きくなるため、タッチ領域の移動軌跡の下側のみならず左側が濃くなり、用紙上に筆で手書きしたときの濃淡を再現することができる(図の右側参照)。   In addition, as shown in FIG. 3B, when the pen tip is written out from a stationary state without changing the direction of the pen tip of the brush pen (see the left side of the figure), in the case of the capacitance method or electromagnetic induction method Although only a thick line with the same density is displayed (refer to the center of the figure), when the method of the present invention is applied to a digital resistive film type touch panel, pressure is applied at the beginning of writing. Since the total pressure value becomes longer and the total pressure value becomes larger, not only the lower side of the movement trajectory of the touch area but also the left side becomes darker, and the light and shade when handwritten with a brush on the paper can be reproduced (right side of the figure) reference).

また、図3(c)に示すように、毛筆ペンのペン先の方向を変えながら移動させた場合も(図の左側参照)、静電容量方式や電磁誘導方式の場合は、やはり同じ濃度の太い線が表示されるだけであるが(図の中央参照)、デジタル抵抗膜方式のタッチパネルに対して本発明の手法を適用した場合は、ペン先の方向に応じてタッチ領域が変化し、移動軌跡の左上部分は小さい圧力で短い時間タッチされ、総圧力値が小さくなるため、移動軌跡の左上部分の表示が更に薄くなり、用紙上に筆で手書きしたときの濃淡を再現することができる(図の右側参照)。   Also, as shown in FIG. 3 (c), when the brush pen is moved while changing the direction of the pen tip (see the left side of the figure), in the case of the capacitance method or the electromagnetic induction method, the same concentration is used. Although only a thick line is displayed (see the center of the figure), when the method of the present invention is applied to a digital resistive touch panel, the touch area changes according to the direction of the pen tip and moves. The upper left part of the locus is touched for a short time with a small pressure, and the total pressure value becomes smaller, so the display of the upper left part of the movement locus is further thinned, and the light and shade when handwritten with a brush on the paper can be reproduced ( (See right side of figure).

更に、濃度を規定する出力値が出力装置で出力可能な濃度(最大濃度)を越えた場合に、その差分を隣接する出力位置の出力値に加算する(すなわち、インクが用紙上で拡がる状態を反映させる)ことによって、用紙上に筆で手書きしたときのにじみを再現することができる。また、順次算出した出力値の合計値が予め定めた閾値を越えた場合に、以降に算出する出力値を減算する(すなわち、ペン先に残存しているインクが減った状態を反映させる)ことによって、用紙上に筆で手書きしたときのかすれを再現することができる。   Further, when the output value defining the density exceeds the density that can be output by the output device (maximum density), the difference is added to the output value at the adjacent output position (that is, the state where the ink spreads on the paper). By reflecting this, it is possible to reproduce the blur when handwritten with a brush on the paper. Further, when the total value of the sequentially calculated output values exceeds a predetermined threshold value, the output value calculated thereafter is subtracted (that is, the state where the ink remaining in the pen tip is reduced) is subtracted. By this, it is possible to reproduce the blur when handwritten with a brush on the paper.

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る手書き入力装置及び制御プログラム並びに制御方法について、図4乃至図10を参照して説明する。図4は、本実施例の手書き入力装置の外観構成を示す図であり、図5は、手書き入力装置の構成を示すブロック図である。また、図6は、デジタル抵抗膜方式のタッチパネルの構造を説明する図であり、図7は、総圧力値に応じた表示濃度の表現方法を説明する図である。また、図8乃至図10は、本実施例の手書き入力装置の処理を示すフローチャート図である。   In order to describe the above-described embodiment of the present invention in more detail, a handwriting input device, a control program, and a control method according to an embodiment of the present invention will be described with reference to FIGS. FIG. 4 is a diagram illustrating an external configuration of the handwriting input device according to the present embodiment, and FIG. 5 is a block diagram illustrating a configuration of the handwriting input device. FIG. 6 is a diagram for explaining the structure of a digital resistive film type touch panel, and FIG. 7 is a diagram for explaining a display density expression method corresponding to the total pressure value. 8 to 10 are flowcharts showing processing of the handwriting input device of this embodiment.

本実施例の手書き入力装置10は、手書き入力を可能にするタッチパネル14を備える機器であり、以下の2種類に大別される。その一つは、図4(a)に示すように、表示部にデジタル抵抗膜方式の電極が形成されたタッチパネル14を備えるタブレット端末やスマートフォンなどの機器であり、ペン先が撓む毛筆ペンなどのペン20や指によるタッチパネル上での手書き入力を受け付け、手書き情報を表示したり、手書き情報の電子データを記憶したり、表示装置や印刷装置などの外部の出力装置に出力したりする。他の一つは、図4(b)に示すように、バインダーの形状を成し、用紙30を載置する台にデジタル抵抗膜方式の電極が形成されたタッチパネル14を備える機器であり、毛筆ペンなどのペン20や指による用紙30上での手書き入力を受け付け、手書き情報の電子データを記憶したり、表示装置や印刷装置などの外部の出力装置に出力したりする。   The handwriting input device 10 according to the present embodiment is a device including a touch panel 14 that enables handwriting input, and is roughly classified into the following two types. One of them is a device such as a tablet terminal or a smartphone equipped with a touch panel 14 in which a digital resistive film type electrode is formed on a display unit as shown in FIG. The handwriting input by the pen 20 or the finger on the touch panel is received, handwritten information is displayed, electronic data of the handwritten information is stored, or output to an external output device such as a display device or a printing device. As shown in FIG. 4B, the other one is a device having a touch panel 14 in the shape of a binder and having a digital resistive film electrode formed on a table on which the paper 30 is placed. It accepts handwriting input on the paper 30 by a pen 20 such as a pen or a finger, and stores electronic data of handwritten information or outputs it to an external output device such as a display device or a printing device.

上記手書き入力装置10は、図5に示すように、制御部11と、通信I/F部12と、タッチパネル制御部13と、タッチパネル14などで構成される。   As shown in FIG. 5, the handwriting input device 10 includes a control unit 11, a communication I / F unit 12, a touch panel control unit 13, and a touch panel 14.

制御部11は、CPU(Central Processing Unit)11aと、ROM(Read Only Memory)11bやRAM(Random Access Memory)11cなどのメモリと、HDD(Hard Disk Drive)やSSD(Solid State Drive)、SD(Secure Digital)カードなどの記憶部11dとで構成され、CPU11aは、ROM11bや記憶部11dに記憶したプログラムをRAM11cに展開して実行し、手書き入力装置10の全体制御を行う。また、RAM11cは、タッチパネル14上に手書き入力された手書き情報(移動軌跡の座標)を記憶する入力バッファとしても機能する。   The control unit 11 includes a CPU (Central Processing Unit) 11a, a ROM (Read Only Memory) 11b, a RAM (Random Access Memory) 11c, a HDD (Hard Disk Drive), an SSD (Solid State Drive), an SD (SD) The CPU 11a develops and executes the program stored in the ROM 11b or the storage unit 11d in the RAM 11c and performs overall control of the handwriting input device 10. The RAM 11 c also functions as an input buffer for storing handwritten information (coordinates of the movement trajectory) input by handwriting on the touch panel 14.

通信I/F部12は、NIC(Network Interface Card)やモデムなどであり、Ethernet(登録商標)やNFC(Near Field Communication)、Bluetooth(登録商標)、TransferJet(登録商標)等の規格に従って、有線や無線により、手書き情報の電子データの転送先のコンピュータ装置などとの通信を可能にする。   The communication I / F unit 12 is a NIC (Network Interface Card), a modem, or the like, and is wired according to standards such as Ethernet (registered trademark), NFC (Near Field Communication), Bluetooth (registered trademark), TransferJet (registered trademark), etc. Or wirelessly enables communication with a computer device to which electronic data of handwritten information is transferred.

タッチパネル制御部13は、タッチパネル14に対する入出力を制御する部分であり、圧力値算出部13a、出力値算出部13b及び出力制御部13cを含む。   The touch panel control unit 13 is a part that controls input and output with respect to the touch panel 14, and includes a pressure value calculation unit 13a, an output value calculation unit 13b, and an output control unit 13c.

圧力値算出部13aは、タッチパネル14から電極の各交点の圧力値を取得し、その圧力値を所定時間(一連の手書き情報の入力時間)内で積算して、各交点の総圧力値を算出する。また、タッチパネル14がON/OFFを検出する場合は、所定の圧力値に各交点のタッチ時間を乗算して各交点の総圧力値を算出する。   The pressure value calculation unit 13a obtains the pressure value at each intersection of the electrodes from the touch panel 14, and calculates the total pressure value at each intersection by integrating the pressure values within a predetermined time (a series of handwritten information input time). To do. When the touch panel 14 detects ON / OFF, the total pressure value at each intersection is calculated by multiplying the predetermined pressure value by the touch time at each intersection.

出力値算出部13bは、上記総圧力値に基づいて、電極の各交点に対応する出力装置の出力位置の濃度を規定する出力値を算出する。具体的には、出力装置が表示装置の場合は、表示装置の画素(または複数の画素)単位の表示濃度を規定する出力値を算出し、出力装置が印刷装置の場合は、用紙に印刷するドット(または複数のドット)単位の印刷濃度を規定する出力値を算出する。   Based on the total pressure value, the output value calculation unit 13b calculates an output value that defines the concentration of the output position of the output device corresponding to each intersection of the electrodes. Specifically, when the output device is a display device, an output value defining the display density in units of pixels (or a plurality of pixels) of the display device is calculated, and when the output device is a printing device, printing is performed on paper. An output value that defines the print density in units of dots (or a plurality of dots) is calculated.

出力制御部13cは、各出力位置とその出力位置の出力値とを対応付けて出力装置に出力する。具体的には、表示機能を有するタッチパネル14に手書き情報を表示させたり、手書き情報の電子データを生成して、記憶部11dに記憶したり、通信I/F部12を介して外部の出力装置(表示装置や印刷装置)に出力したりする。   The output control unit 13c associates each output position with the output value of the output position and outputs the output position to the output device. Specifically, handwritten information is displayed on the touch panel 14 having a display function, electronic data of handwritten information is generated and stored in the storage unit 11d, or an external output device via the communication I / F unit 12 (Display device or printing device).

なお、上記圧力値算出部13a、出力値算出部13b及び出力制御部13cは、ハードウェアとして構成してもよいし、制御部11を圧力値算出部13a、出力値算出部13b及び出力制御部13cとして機能させる制御プログラムとして構成し、この制御プログラムをCPU11aに実行させるようにしてもよい。   The pressure value calculation unit 13a, the output value calculation unit 13b, and the output control unit 13c may be configured as hardware, or the control unit 11 may be configured as the pressure value calculation unit 13a, the output value calculation unit 13b, and the output control unit. The control program may be configured to function as 13c, and the control program may be executed by the CPU 11a.

タッチパネル14は、LCD(Liquid Crystal Display)などの表示部上、若しくは、用紙を載置する台上に形成され、互いに直交する方向に短冊状の電極が配列されたデジタル抵抗膜式のタッチパネルである。このデジタル抵抗膜式のタッチパネルは、図6(a)に示すように、X方向及びY方向のラインの交点にマトリックス状に配置された複数の検出ポート(抵抗の変化を検出する検出素子)を含むタッチパネル本体14aと、X方向(若しくはY方向)のライン毎に検出ポートに順次電圧を印加する回路(電圧印加ドライバ14b)と、Y方向(若しくはX方向)のライン毎に検出ポートからの出力を検出する回路(センシング回路14c)などで構成され、ペン20や指などでタッチされた領域内の電極の各交点で検出した信号をタッチパネル制御部13に通知する。   The touch panel 14 is a digital resistance film type touch panel formed on a display unit such as an LCD (Liquid Crystal Display) or a table on which a sheet is placed and in which strip-shaped electrodes are arranged in directions orthogonal to each other. . As shown in FIG. 6A, this digital resistive film type touch panel includes a plurality of detection ports (detection elements for detecting a change in resistance) arranged in a matrix at intersections of lines in the X direction and the Y direction. Including the touch panel body 14a, a circuit (voltage application driver 14b) for sequentially applying a voltage to the detection port for each line in the X direction (or Y direction), and an output from the detection port for each line in the Y direction (or X direction) And a signal detected at each intersection of the electrodes in the area touched with the pen 20 or a finger, etc., is notified to the touch panel control unit 13.

例えば、図6(b)に示すように、「A」で示す領域がタッチされた場合は、電圧印加ドライバ14bからX4の検出ポートに電圧が印加されたとき、センシング回路14cはY1、Y2、Y3の検出ポートからの信号を検出する。また、X5の検出ポートに電圧が印加されたとき、Y1、Y2、Y3、Y4の検出ポートからの信号を検出する。また、X6の検出ポートに電圧が印加されたとき、Y1、Y2、Y3、Y4の検出ポートからの信号を検出する。また、X7の検出ポートに電圧が印加されたとき、Y2、Y3の検出ポートからの信号を検出する。すなわち、(X4、Y1)、(X4、Y2)、(X4、Y3)、(X5、Y1)、(X5、Y2)、(X5、Y3)、(X5、Y4)、(X6、Y1)、(X6、Y2)、(X6、Y3)、(X6、Y4)、(X7、Y2)、(X7、Y3)の13個の交点のタッチを検出する。   For example, as shown in FIG. 6B, when a region indicated by “A” is touched, when a voltage is applied to the detection port of X4 from the voltage application driver 14b, the sensing circuit 14c is connected to Y1, Y2, A signal from the Y3 detection port is detected. When a voltage is applied to the X5 detection port, signals from the Y1, Y2, Y3, and Y4 detection ports are detected. When a voltage is applied to the detection port X6, signals from the detection ports Y1, Y2, Y3, and Y4 are detected. When a voltage is applied to the X7 detection port, signals from the Y2 and Y3 detection ports are detected. That is, (X4, Y1), (X4, Y2), (X4, Y3), (X5, Y1), (X5, Y2), (X5, Y3), (X5, Y4), (X6, Y1), A touch at 13 intersections of (X6, Y2), (X6, Y3), (X6, Y4), (X7, Y2), (X7, Y3) is detected.

なお、図6は、タッチパネル14の検出機構のみを記載しているが、表示機能を有するタッチパネルの場合は、LCDなどの表示部上にタッチパネル本体14aが積層され、上記手法で信号を検出した電極の各交点に対応するLCDの画素に、その交点の総圧力値に応じた出力値で規定される表示濃度で表示が行われる。例えば、LCDの画素がX方向512個×Y方向384個で、タッチパネル14の電極がX方向128本、Y方向96本とすると、タッチパネル14の(X4、Y1)の交点にタッチした場合、対応するLCDの画素は(X、Y)=(13、1)〜(13、4)、(14、1)〜(14、4)、(15、1)〜(15、4)、(16、1)〜(16、4)の16個の画素となり、この16個の画素に対して出力値で規定される表示濃度で表示が行われる。   FIG. 6 shows only the detection mechanism of the touch panel 14, but in the case of a touch panel having a display function, the touch panel body 14a is laminated on a display unit such as an LCD, and the electrode detects the signal by the above method. Display is performed on the LCD pixels corresponding to the intersections at a display density defined by an output value corresponding to the total pressure value at the intersections. For example, if the number of LCD pixels is 512 in the X direction x 384 in the Y direction, and the number of electrodes on the touch panel 14 is 128 in the X direction and 96 in the Y direction, touching the intersection (X4, Y1) on the touch panel 14 The pixels of the LCD to be (X, Y) = (13, 1) to (13, 4), (14, 1) to (14, 4), (15, 1) to (15, 4), (16, The 16 pixels of 1) to (16, 4) are displayed, and display is performed with the display density defined by the output value for the 16 pixels.

上記のように、タッチパネル14上の1つの電極の交点が出力装置の複数の画素に対応する場合、複数の画素の各々に、その交点に対して算出した出力値を対応付けてもよい(その出力値で規定される表示濃度で全ての画素を表示/印刷してもよい)し、複数の画素が全体としてその出力値で規定される濃度となるように、複数の画素に複数の出力値を対応付けてもよい(複数の画素の一部を濃く表示/印刷し、他を薄く表示/印刷してもよい)。   As described above, when the intersection of one electrode on the touch panel 14 corresponds to a plurality of pixels of the output device, an output value calculated for the intersection may be associated with each of the plurality of pixels (that All pixels may be displayed / printed at a display density specified by the output value), and a plurality of output values are assigned to the plurality of pixels so that the plurality of pixels have a density specified by the output value as a whole. May be associated (some pixels may be displayed / printed darkly and others may be displayed / printed lightly).

出力装置が表示装置の場合を例にして、具体的に説明する。図7(a)に示すように、電極の交点に対応する画素が4×4であり、黒表示の出力値が「1」、白表示の出力値が「0」であるとすると、出力値が「0.5」の場合は、図7(b)に示すように、16個の画素の全てを濃度が黒表示の1/2(言い換えると、輝度が白表示の1/2)となる濃度(階調)でグレー表示(図では、ハッチングでグレーを表現している。)してもよいし、図7(c)に示すように、格子状の8個の画素を白表示とし、他の8個の画素を黒表示とし、全体で濃度(輝度)が1/2となるようにしてもよい。また、隣接する画素との境界を目立たなくするために、図7(d)、(e)に示すように、隣接する画素が黒表示の場合は、その画素に近い側の画素から遠い側の画素に向かって徐々に薄く(明るく)し、隣接する画素が白表示の場合は、その画素に近い側の画素から遠い側の画素に向かって濃く(暗く)してもよい。   The case where the output device is a display device will be specifically described as an example. As shown in FIG. 7A, when the pixel corresponding to the intersection of the electrodes is 4 × 4, the output value for black display is “1”, and the output value for white display is “0”, the output value Is “0.5”, as shown in FIG. 7B, the density of all 16 pixels is 1/2 of the black display (in other words, the brightness is 1/2 of the white display). Gray display is possible with density (gradation) (in the figure, gray is expressed with hatching), and as shown in FIG. The other eight pixels may be displayed black and the density (luminance) may be halved as a whole. Further, in order to make the boundary with the adjacent pixel inconspicuous, as shown in FIGS. 7D and 7E, when the adjacent pixel is black, the pixel on the side far from the pixel closer to the pixel is displayed. When the pixel is gradually thinned (lightened) toward the pixel and the adjacent pixel displays white, the pixel may be darkened (darkened) toward the pixel farther from the pixel closer to the pixel.

以下、上記構成の手書き入力装置10の処理について説明する。タッチパネル制御部13、若しくはCPU11aは、ROM11bや記憶部11dに記憶した制御プログラムをRAM11cに展開して実行することにより、図8乃至図10のフローチャート図に示す処理を実行する。なお、以下の説明において、x方向の座標をiとし、y方向の座標をjとし、iは1〜M、jは1〜Nの範囲とする。   Hereinafter, the process of the handwriting input device 10 having the above configuration will be described. The touch panel control unit 13 or the CPU 11a executes the processing shown in the flowcharts of FIGS. 8 to 10 by developing the control program stored in the ROM 11b or the storage unit 11d in the RAM 11c and executing it. In the following description, the coordinate in the x direction is i, the coordinate in the y direction is j, i is in the range of 1 to M, and j is in the range of 1 to N.

まず、電極の各交点の圧力値から総圧力値を算出し、その総圧力値から、その交点に対応する出力位置の出力値を算出する処理について、図8のフローチャート図を参照して説明する。なお、以下の処理は、予め定めたスキャンレートΔt毎に実施するものとする。   First, a process for calculating the total pressure value from the pressure value at each intersection of the electrodes and calculating the output value at the output position corresponding to the intersection from the total pressure value will be described with reference to the flowchart of FIG. . It should be noted that the following processing is performed for each predetermined scan rate Δt.

[濃淡の再現]
制御部11(タッチパネル制御部13)は、タッチパネル14の電極の交点の座標(i、j)及び各交点の総圧力値S(i、j)を初期化する(S101)。具体的には、i、jに1を代入、各交点の総圧力値S(i、j)に0を代入する。
[Reproduction of shading]
The control unit 11 (touch panel control unit 13) initializes the coordinates (i, j) of the intersection of the electrodes of the touch panel 14 and the total pressure value S (i, j) at each intersection (S101). Specifically, 1 is substituted into i and j, and 0 is substituted into the total pressure value S (i, j) at each intersection.

次に、制御部11(タッチパネル制御部13の圧力値算出部13a)は、座標(i、j)の交点からの入力があるかを判断する(S102)。入力がない場合は、S105にスキップし、入力がある場合は、制御部11(タッチパネル制御部13の圧力値算出部13a)は、座標(i、j)の交点の圧力値S(t)を取得し(S103)、取得した圧力値S(t)の部分積分∫S(t)dtをその座標(i、j)の総圧力値S(i、j)に追加する(S104)。   Next, the control unit 11 (pressure value calculation unit 13a of the touch panel control unit 13) determines whether there is an input from the intersection of the coordinates (i, j) (S102). If there is no input, the process skips to S105, and if there is an input, the control unit 11 (pressure value calculation unit 13a of the touch panel control unit 13) calculates the pressure value S (t) at the intersection of coordinates (i, j). Acquired (S103), and the partial integral ∫S (t) dt of the acquired pressure value S (t) is added to the total pressure value S (i, j) of the coordinates (i, j) (S104).

次に、制御部11(タッチパネル制御部13の出力値算出部13b)は、座標(i、j)の交点に対応する出力装置の出力位置(1又は複数の画素)を特定し、総圧力値S(i、j)に基づいて、その出力位置(1又は複数の画素)の出力値Pixel(i、j)を算出する(S105)。そして、タッチパネル14に表示機能を備える場合は、制御部11(タッチパネル制御部13の出力制御部13c)は、特定した出力位置を算出した出力値に基づいて表示させる。   Next, the control unit 11 (the output value calculation unit 13b of the touch panel control unit 13) specifies the output position (one or a plurality of pixels) of the output device corresponding to the intersection of the coordinates (i, j), and the total pressure value. Based on S (i, j), an output value Pixel (i, j) at the output position (one or a plurality of pixels) is calculated (S105). When the touch panel 14 has a display function, the control unit 11 (the output control unit 13c of the touch panel control unit 13) displays the specified output position based on the calculated output value.

この出力値は、α×S(i、j)で計算することができ、係数αは適宜設定することができる。例えば、係数αは、出力装置の最大濃度の値を、通常の筆圧及び速度で手書き入力する時の総圧力値(実測値でも設定値でもよい。)で除算した値とすることができる。この場合は、通常の筆圧及び速度で手書き入力すれば、その出力位置の濃度は最大濃度となり、弱い筆圧又は早い速度で手書き入力すれば、その出力位置の濃度は最大濃度よりも薄くなる。   This output value can be calculated by α × S (i, j), and the coefficient α can be set as appropriate. For example, the coefficient α can be a value obtained by dividing the maximum density value of the output device by the total pressure value (which may be an actual measurement value or a set value) when handwritten input is performed at a normal writing pressure and speed. In this case, if the handwriting is input at a normal writing pressure and speed, the density at the output position becomes the maximum density, and if the handwriting is input at a weak writing pressure or at a high speed, the density at the output position becomes thinner than the maximum density. .

また、係数αは、各交点の総圧力値の分布に基づいて設定することもできる。例えば、出力装置の最大濃度の値を、各交点の総圧力値の中の最大値で除算した値とすれば、最大値に対応する出力位置の濃度のみが最大濃度となり、それ以外の出力位置の濃度は最大濃度よりも薄くなる。また、出力装置の最大濃度の値を、各交点の総圧力値の中の最も頻度が高い総圧力値で除算した値とすれば、最大濃度となる出力位置を増やすことができる。   The coefficient α can also be set based on the distribution of the total pressure value at each intersection. For example, if the maximum concentration value of the output device is divided by the maximum value among the total pressure values at each intersection, only the concentration at the output position corresponding to the maximum value becomes the maximum concentration, and other output positions The concentration of is less than the maximum concentration. Further, if the value of the maximum density of the output device is divided by the most frequent total pressure value among the total pressure values at each intersection, the output position where the maximum density can be increased.

また、上記では、所定の交点の総圧力値のみに基づいて、所定の交点に対応する出力位置の出力値を算出しているが、例えば、各交点の総圧力値の分布に大きなばらつきがある(総圧力値が突出している交点がある)場合は、所定の交点の総圧力値に基づいて算出した値と、所定の交点に隣接する交点の総圧力値に基づいて算出した出力値から推定される値(例えば、左隣の出力値と右隣の出力値の平均値)と、に基づいて、所定の交点に対応する出力位置の出力値を設定してもよい。具体的には、算出した値と推定される値とを加算した値や、算出した値と推定される値の平均値などをその出力位置の出力値として設定してもよい。   In the above description, the output value at the output position corresponding to the predetermined intersection is calculated based only on the total pressure value at the predetermined intersection. For example, the distribution of the total pressure value at each intersection varies greatly. If there is an intersection where the total pressure value protrudes, it is estimated from the value calculated based on the total pressure value at the predetermined intersection and the output value calculated based on the total pressure value at the intersection adjacent to the predetermined intersection The output value at the output position corresponding to the predetermined intersection may be set based on the value to be set (for example, the average value of the output value on the left and the output on the right). Specifically, a value obtained by adding the calculated value and the estimated value, an average value of the calculated value and the estimated value, or the like may be set as the output value of the output position.

なお、電極の交点に対応する出力位置に複数の画素が含まれる場合は、上述したように、複数の画素の各々にその出力値を対応付けてもよいし、複数の画素が全体としてその出力値で規定される濃度となるように、複数の画素に複数の出力値を対応付けてもよい。   In addition, when a plurality of pixels are included in the output position corresponding to the intersection of the electrodes, as described above, the output value may be associated with each of the plurality of pixels, or the plurality of pixels may be output as a whole. A plurality of output values may be associated with a plurality of pixels so as to obtain a density defined by the value.

また、ここでは、電極の各交点の圧力値を所定時間内で積算した値に基づいて出力値を算出したが、タッチパネル14がON/OFFのみを検出する(圧力値は検出できない)場合は、上述したように、所定の圧力値に各交点のタッチ時間を乗算した値に基づいて出力値を算出しても良い。   Here, the output value is calculated based on the value obtained by integrating the pressure values at the intersections of the electrodes within a predetermined time. However, when the touch panel 14 detects only ON / OFF (the pressure value cannot be detected), As described above, the output value may be calculated based on a value obtained by multiplying the predetermined pressure value by the touch time at each intersection.

次に、制御部11(タッチパネル制御部13)は、x方向の座標iに1を加算して更新し(S106)、x方向の座標iがタッチパネル14のx方向(横方向)の電極数Mよりも小さいかを確認する(S107)。iがM以下の場合は、S102に戻って同様の処理を繰り返し、iがMを越える場合は、y方向の座標jに1を加算して更新し(S108)、y方向の座標jがタッチパネル14のy方向(縦方向)の電極数Nよりも小さいかを確認する(S109)。jがN以下の場合は、S102に戻って同様の処理を繰り返し、jがNを越える場合は、制御部11(タッチパネル制御部13の出力制御部13c)は、必要に応じて、各出力位置(1又は複数の画素)とその出力位置の出力値とを対応付けた電子データを生成し、その電子データを記憶部11dに保存させたり、通信ネットワークで接続される他の出力装置に出力したりする。   Next, the control unit 11 (touch panel control unit 13) updates the coordinate i in the x direction by adding 1 (S106), and the coordinate i in the x direction is the number M of electrodes in the x direction (lateral direction) of the touch panel 14. (S107). If i is less than or equal to M, the process returns to S102 and the same processing is repeated. If i exceeds M, 1 is added to the coordinate j in the y direction and updated (S108). It is confirmed whether it is smaller than the number N of 14 electrodes in the y direction (vertical direction) (S109). When j is less than or equal to N, the process returns to S102 and the same processing is repeated, and when j exceeds N, the control unit 11 (the output control unit 13c of the touch panel control unit 13) determines each output position as necessary. Electronic data in which (one or a plurality of pixels) is associated with the output value of the output position is generated, and the electronic data is stored in the storage unit 11d or output to another output device connected via a communication network. Or

なお、S105では、各出力位置に対する出力値を算出する度に、タッチパネル14に順次、手書き情報を表示させたが、全ての出力位置に対する出力値を算出した後に、一括してタッチパネル14に手書き情報を表示させてもよい。   In S105, handwritten information is sequentially displayed on the touch panel 14 every time an output value for each output position is calculated. After calculating output values for all output positions, the handwritten information is collectively displayed on the touch panel 14. May be displayed.

このように、電極の各交点の圧力値を所定時間内で積算した総圧力値(若しくは所定の圧力値にタッチ時間を乗算した総圧力値)を算出し、算出した総圧力値に基づいて、各交点に対応する出力位置の出力値を算出し、算出した出力値に基づいて手書き情報を表示/印刷することにより、強くタッチした位置若しくは長くタッチした位置に対応する部分が濃く、弱くタッチした位置若しくは短くタッチした位置に対応する部分が薄くなり、用紙上に筆で手書きした場合におけるインク量に応じた濃淡を再現することができる。   Thus, the total pressure value (or the total pressure value obtained by multiplying the predetermined pressure value by the touch time) obtained by accumulating the pressure values at the intersections of the electrodes within the predetermined time is calculated, and based on the calculated total pressure value, By calculating the output value of the output position corresponding to each intersection, and displaying / printing handwritten information based on the calculated output value, the portion corresponding to the strongly touched position or the long touched position is dark and the touch is weak The portion corresponding to the position or the position touched shortly becomes thin, and the light and shade according to the ink amount when handwritten with a brush on the paper can be reproduced.

次に、濃淡に加えて用紙上に筆で手書きした時の「にじみ」を再現する場合の処理について、図9のフローチャート図を参照して説明する。なお、以下の処理は、予め定めたスキャンレートΔt毎に実施するものとする。   Next, processing for reproducing “smudge” when handwritten with a brush on a sheet in addition to shading will be described with reference to a flowchart of FIG. It should be noted that the following processing is performed for each predetermined scan rate Δt.

[にじみの再現]
上記と同様に、制御部11(タッチパネル制御部13)は、タッチパネル14の電極の交点の座標(i、j)及び各交点の総圧力値S(i、j)を初期化する(S201)。次に、制御部11(タッチパネル制御部13の圧力値算出部13a)は、座標(i、j)の交点からの入力があるかを判断し(S202)、入力がない場合は、S205にスキップする。入力がある場合は、制御部11(タッチパネル制御部13の圧力値算出部13a)は、座標(i、j)の交点の圧力値S(t)を取得し(S203)、取得した圧力値S(t)の部分積分∫S(t)dtをその座標(i、j)の総圧力値S(i、j)に追加する(S204)。
[Reproduction of blur]
Similarly to the above, the control unit 11 (touch panel control unit 13) initializes the coordinates (i, j) of the intersection of the electrodes of the touch panel 14 and the total pressure value S (i, j) of each intersection (S201). Next, the control unit 11 (pressure value calculation unit 13a of the touch panel control unit 13) determines whether there is an input from the intersection of the coordinates (i, j) (S202), and if there is no input, skips to S205. To do. When there is an input, the control unit 11 (pressure value calculation unit 13a of the touch panel control unit 13) acquires the pressure value S (t) at the intersection of the coordinates (i, j) (S203), and the acquired pressure value S The partial integral ∫S (t) dt of (t) is added to the total pressure value S (i, j) of the coordinates (i, j) (S204).

次に、制御部11(タッチパネル制御部13の出力値算出部13b)は、座標(i、j)の交点に対応する出力装置の出力位置(1又は複数の画素)を特定し、総圧力値S(i、j)に上述した係数αを乗算して、その出力位置(1又は複数の画素)の出力値Pixel(i、j)を算出する(S205)。そして、タッチパネル14に表示機能を備える場合は、制御部11(タッチパネル制御部13の出力制御部13c)は、特定した出力位置を算出した出力値に基づいて表示させる。   Next, the control unit 11 (the output value calculation unit 13b of the touch panel control unit 13) specifies the output position (one or a plurality of pixels) of the output device corresponding to the intersection of the coordinates (i, j), and the total pressure value. Multiply S (i, j) by the coefficient α described above to calculate an output value Pixel (i, j) at the output position (one or more pixels) (S205). When the touch panel 14 has a display function, the control unit 11 (the output control unit 13c of the touch panel control unit 13) displays the specified output position based on the calculated output value.

なお、上記と同様に、係数αは適宜設定することができ、例えば、出力装置の最大濃度の値を、通常の筆圧及び速度で手書き入力する時の総圧力値で除算した値などとすることができる。また、係数αは、各交点の総圧力値の分布に基づいて設定することもでき、例えば、出力装置の最大濃度の値を、各交点の総圧力値の中の最も頻度が高い総圧力値で除算した値などとすることもできる。   Similarly to the above, the coefficient α can be appropriately set. For example, the value obtained by dividing the maximum density value of the output device by the total pressure value when handwritten input is performed at a normal writing pressure and speed. be able to. The coefficient α can also be set based on the distribution of the total pressure value at each intersection. For example, the value of the maximum concentration of the output device is the total pressure value with the highest frequency among the total pressure values at each intersection. It can also be a value divided by.

また、所定の交点の総圧力値に基づいて算出した値と、所定の交点に隣接する交点の総圧力値に基づいて算出した出力値から推定される値と、に基づいて、所定の交点に対応する出力位置の出力値を設定することができる。また、電極の交点に対応する出力位置に複数の画素が含まれる場合は、複数の画素の各々にその出力値を対応付けてもよいし、複数の画素が全体としてその出力値で規定される濃度となるように、複数の画素に複数の出力値を対応付けてもよい。また、タッチパネル14がON/OFFのみを検出する場合は、所定の圧力値に各交点のタッチ時間を乗算した値に基づいて出力値を算出しても良い。   In addition, based on the value calculated based on the total pressure value of the predetermined intersection and the value estimated from the output value calculated based on the total pressure value of the intersection adjacent to the predetermined intersection, the predetermined intersection The output value of the corresponding output position can be set. Further, when a plurality of pixels are included in the output position corresponding to the intersection of the electrodes, the output value may be associated with each of the plurality of pixels, or the plurality of pixels are defined by the output value as a whole. A plurality of output values may be associated with a plurality of pixels so as to obtain a density. When the touch panel 14 detects only ON / OFF, the output value may be calculated based on a value obtained by multiplying a predetermined pressure value by the touch time at each intersection.

次に、制御部11(タッチパネル制御部13の出力値算出部13b)は、算出した出力値が、出力装置で出力可能な最大濃度(Pixcel max)を越えているかを判断する(S206)。算出した出力値が出力可能な最大濃度以下の場合は、算出した出力値に基づいて出力可能であるため、S209にスキップする。一方、算出した出力値が出力可能な最大濃度を越えている場合は、制御部11(タッチパネル制御部13の出力値算出部13b)は、出力可能な最大濃度と算出した出力値の差分を算出し(S207)、その差分の値を、その出力位置に隣接する1又は複数の出力位置(上下左右、斜めに隣接する出力位置の中から選択される1以上の出力位置)に対して算出する出力値に追加する(S208)。   Next, the control unit 11 (the output value calculation unit 13b of the touch panel control unit 13) determines whether the calculated output value exceeds the maximum density (Pixel max) that can be output by the output device (S206). If the calculated output value is equal to or lower than the maximum outputable density, the output can be made based on the calculated output value, so that the process skips to S209. On the other hand, when the calculated output value exceeds the maximum outputable density, the control unit 11 (the output value calculation unit 13b of the touch panel control unit 13) calculates the difference between the maximum outputable density and the calculated output value. Then, the difference value is calculated for one or a plurality of output positions adjacent to the output position (one or more output positions selected from up, down, left, right, and diagonally adjacent output positions). It adds to an output value (S208).

その後、上記と同様に、制御部11(タッチパネル制御部13)は、x方向の座標iに1を加算して更新し(S209)、x方向の座標iがタッチパネル14のx方向(横方向)の電極数Mよりも小さいかを確認する(S210)。iがM以下の場合は、S202に戻って同様の処理を繰り返し、iがMを越える場合は、y方向の座標jに1を加算して更新し(S211)、y方向の座標jがタッチパネル14のy方向(縦方向)の電極数Nよりも小さいかを確認する(S212)。jがN以下の場合は、S202に戻って同様の処理を繰り返し、jがNを越える場合は、制御部11(タッチパネル制御部13の出力制御部13c)は、必要に応じて、各出力位置(1又は複数の画素)とその出力位置の出力値とを対応付けた電子データを生成し、その電子データを記憶部11dに保存させたり、通信ネットワークで接続される他の出力装置に出力したりする。なお、上記と同様に、全ての出力位置に対する出力値を算出した後に、一括してタッチパネル14に手書き情報を表示させてもよい。   Thereafter, similarly to the above, the control unit 11 (touch panel control unit 13) updates the coordinate i in the x direction by adding 1 (S209), and the coordinate i in the x direction is the x direction (lateral direction) of the touch panel 14. It is confirmed whether it is smaller than the number M of electrodes (S210). If i is less than or equal to M, the process returns to S202 and the same processing is repeated. If i exceeds M, 1 is added to the coordinate j in the y direction and updated (S211). It is confirmed whether it is smaller than the number N of 14 electrodes in the y direction (vertical direction) (S212). If j is less than or equal to N, the process returns to S202 and the same processing is repeated. If j exceeds N, the control unit 11 (the output control unit 13c of the touch panel control unit 13) may select each output position as necessary. Electronic data in which (one or a plurality of pixels) is associated with the output value of the output position is generated, and the electronic data is stored in the storage unit 11d or output to another output device connected via a communication network. Or Similarly to the above, handwritten information may be displayed on the touch panel 14 after calculating output values for all output positions.

このように、電極の各交点の圧力値を所定時間内で積算した総圧力値(若しくは所定の圧力値にタッチ時間を乗算した総圧力値)を算出し、算出した総圧力値に基づいて、各交点に対応する出力位置の出力値を算出し、算出した出力値が出力可能な最大濃度を越える場合は、その差分を、その出力位置に隣接する出力位置の出力値に追加することにより、実際にタッチしていない交点に対応する出力位置からも出力されるため、用紙上に筆で手書きした場合にインクが拡がる「にじみ」を再現することができる。   Thus, the total pressure value (or the total pressure value obtained by multiplying the predetermined pressure value by the touch time) obtained by accumulating the pressure values at the intersections of the electrodes within the predetermined time is calculated, and based on the calculated total pressure value, By calculating the output value of the output position corresponding to each intersection, and if the calculated output value exceeds the maximum density that can be output, by adding the difference to the output value of the output position adjacent to the output position, Since it is also output from the output position corresponding to the intersection that is not actually touched, it is possible to reproduce “smudge” in which ink spreads when handwritten on a sheet with a brush.

次に、濃淡に加えて用紙上に筆で手書きした時の「かすれ」を再現する場合の処理について、図10のフローチャート図を参照して説明する。なお、以下の処理は、予め定めたスキャンレートΔt毎に実施するものとする。   Next, processing for reproducing “blur” when handwritten with a brush on a sheet in addition to shading will be described with reference to the flowchart of FIG. It should be noted that the following processing is performed for each predetermined scan rate Δt.

[かすれの再現]
上記と同様に、制御部11(タッチパネル制御部13)は、タッチパネル14の電極の交点の座標(i、j)及び各交点の総圧力値S(i、j)を初期化する(S301)。次に、制御部11(タッチパネル制御部13の圧力値算出部13a)は、座標(i、j)の交点からの入力があるかを判断し(S302)、入力がない場合は、S305にスキップする。入力がある場合は、制御部11(タッチパネル制御部13の圧力値算出部13a)は、座標(i、j)の交点の圧力値S(t)を取得し(S303)、取得した圧力値S(t)の部分積分∫S(t)dtをその座標(i、j)の総圧力値S(i、j)に追加する(S304)。
[Reproduction of blur]
Similarly to the above, the control unit 11 (touch panel control unit 13) initializes the coordinates (i, j) of the intersection of the electrodes of the touch panel 14 and the total pressure value S (i, j) of each intersection (S301). Next, the control unit 11 (pressure value calculation unit 13a of the touch panel control unit 13) determines whether there is an input from the intersection of the coordinates (i, j) (S302), and if there is no input, skips to S305. To do. When there is an input, the control unit 11 (pressure value calculation unit 13a of the touch panel control unit 13) acquires the pressure value S (t) at the intersection of the coordinates (i, j) (S303), and the acquired pressure value S The partial integral ∫S (t) dt of (t) is added to the total pressure value S (i, j) of the coordinates (i, j) (S304).

次に、制御部11(タッチパネル制御部13の出力値算出部13b)は、座標(i、j)の交点に対応する出力装置の出力位置(1又は複数の画素)を特定し、総圧力値S(i、j)に上述した係数αを乗算して、その出力位置(1又は複数の画素)の出力値Pixel(i、j)を算出する(S305)。   Next, the control unit 11 (the output value calculation unit 13b of the touch panel control unit 13) specifies the output position (one or a plurality of pixels) of the output device corresponding to the intersection of the coordinates (i, j), and the total pressure value. Multiply S (i, j) by the coefficient α described above to calculate an output value Pixel (i, j) at the output position (one or more pixels) (S305).

なお、上記と同様に、係数αは適宜設定することができ、例えば、出力装置の最大濃度の値を、通常の筆圧及び速度で手書き入力する時の総圧力値で除算した値などとすることができる。また、係数αは、各交点の総圧力値の分布に基づいて設定することもでき、例えば、出力装置の最大濃度の値を、各交点の総圧力値の中の最も頻度が高い総圧力値で除算した値などとすることもできる。   Similarly to the above, the coefficient α can be appropriately set. For example, the value obtained by dividing the maximum density value of the output device by the total pressure value when handwritten input is performed at a normal writing pressure and speed. be able to. The coefficient α can also be set based on the distribution of the total pressure value at each intersection. For example, the value of the maximum concentration of the output device is the total pressure value with the highest frequency among the total pressure values at each intersection. It can also be a value divided by.

また、所定の交点の総圧力値に基づいて算出した値と、所定の交点に隣接する交点の総圧力値に基づいて算出した出力値から推定される値と、に基づいて、所定の交点に対応する出力位置の出力値を設定することができる。また、電極の交点に対応する出力位置に複数の画素が含まれる場合は、複数の画素の各々にその出力値を対応付けてもよいし、複数の画素が全体としてその出力値で規定される濃度となるように、複数の画素に複数の出力値を対応付けてもよい。また、タッチパネル14がON/OFFのみを検出する場合は、所定の圧力値に各交点のタッチ時間を乗算した値に基づいて出力値を算出しても良い。   In addition, based on the value calculated based on the total pressure value of the predetermined intersection and the value estimated from the output value calculated based on the total pressure value of the intersection adjacent to the predetermined intersection, the predetermined intersection The output value of the corresponding output position can be set. Further, when a plurality of pixels are included in the output position corresponding to the intersection of the electrodes, the output value may be associated with each of the plurality of pixels, or the plurality of pixels are defined by the output value as a whole. A plurality of output values may be associated with a plurality of pixels so as to obtain a density. When the touch panel 14 detects only ON / OFF, the output value may be calculated based on a value obtained by multiplying a predetermined pressure value by the touch time at each intersection.

次に、制御部11(タッチパネル制御部13の出力値算出部13b)は、筆のペン先に保持できると考えられるインク量を出力値に換算した換算インク量(InkI)から、算出した出力値を減算し(S306)、出力値を減算した換算インク量(すなわち換算インク残量)が、予め設定した第1の最小インク量(Inkl min1)よりも小さいか(言い換えると、出力値の合計値が第1閾値を超えたか)を判断する(S307)。この第1の最小インク量は、かすれが生じ始めるインク量を出力値に換算した値である。   Next, the control unit 11 (the output value calculation unit 13b of the touch panel control unit 13) calculates the output value calculated from the converted ink amount (InkI) obtained by converting the ink amount that can be held in the pen tip of the brush into the output value. Is subtracted (S306), and the converted ink amount (ie, converted ink remaining amount) obtained by subtracting the output value is smaller than the first minimum ink amount (Inkl min1) set in advance (in other words, the total value of the output values) Is exceeded the first threshold) (S307). The first minimum ink amount is a value obtained by converting the ink amount at which fading starts to occur into an output value.

換算インク残量が第1の最小インク量以上の場合は、タッチパネル14に表示機能を備えていれば、制御部11(タッチパネル制御部13の出力制御部13c)は、特定した出力位置を算出した出力値に基づいて表示させた後、S311にスキップし、換算インク残量が第1の最小インク量よりも小さい場合は、制御部11(タッチパネル制御部13の出力値算出部13b)は、換算インク残量が、予め設定した第2の最小インク量(Inkl min2)よりも小さいか(言い換えると、出力値の合計値が第1閾値よりも大きい第2閾値を超えたか)を判断する(S308)。この第2の最小インク量は、かすれの程度が増して書き込みができなくなるインク量を出力値に換算した値である。   If the converted ink remaining amount is equal to or greater than the first minimum ink amount, the control unit 11 (the output control unit 13c of the touch panel control unit 13) calculates the specified output position if the touch panel 14 has a display function. After displaying based on the output value, the process skips to S311 and if the converted ink remaining amount is smaller than the first minimum ink amount, the control unit 11 (the output value calculation unit 13b of the touch panel control unit 13) It is determined whether the remaining amount of ink is smaller than a preset second minimum ink amount (Inkl min2) (in other words, whether the total value of output values exceeds a second threshold value greater than the first threshold value) (S308). ). The second minimum ink amount is a value obtained by converting the amount of ink that cannot be written due to an increased degree of blurring into an output value.

換算インク残量が第2の最小インク量以上の場合は、制御部11(タッチパネル制御部13の出力値算出部13b)は、S305で算出した出力値から予め定めた値(β)を減算し(S309)、タッチパネル14に表示機能を備えていれば、制御部11(タッチパネル制御部13の出力制御部13c)は、特定した出力位置を減算した出力値に基づいて表示させる。なお、このβの値は実際に用紙上に筆で手書きした時のかすれ具合に応じて適宜設定することができる。一方、換算インク残量が第2の最小インク量より小さい場合は、制御部11(タッチパネル制御部13の出力値算出部13b)は、S305で算出した出力値を0にし(S310)、制御部11(タッチパネル制御部13の出力制御部13c)は、特定した出力位置を出力値0で表示させる。   When the converted ink remaining amount is equal to or larger than the second minimum ink amount, the control unit 11 (the output value calculation unit 13b of the touch panel control unit 13) subtracts a predetermined value (β) from the output value calculated in S305. (S309) If the touch panel 14 has a display function, the control unit 11 (the output control unit 13c of the touch panel control unit 13) displays based on the output value obtained by subtracting the specified output position. Note that the value of β can be set as appropriate according to the degree of fading when the handwriting is actually handwritten on the paper with a brush. On the other hand, when the converted ink remaining amount is smaller than the second minimum ink amount, the control unit 11 (the output value calculation unit 13b of the touch panel control unit 13) sets the output value calculated in S305 to 0 (S310). 11 (the output control unit 13c of the touch panel control unit 13) displays the specified output position with the output value 0.

その後、上記と同様に、制御部11(タッチパネル制御部13)は、x方向の座標iに1を加算して更新し(S311)、x方向の座標iがタッチパネル14のx方向(横方向)の電極数Mよりも小さいかを確認する(S312)。iがM以下の場合は、S302に戻って同様の処理を繰り返し、iがMを越える場合は、y方向の座標jに1を加算して更新し(S313)、y方向の座標jがタッチパネル14のy方向(縦方向)の電極数Nよりも小さいかを確認する(S314)。jがN以下の場合は、S302に戻って同様の処理を繰り返し、jがNを越える場合は、制御部11(タッチパネル制御部13の出力制御部13c)は、必要に応じて、各出力位置(1又は複数の画素)とその出力位置の出力値とを対応付けた電子データを生成し、その電子データを記憶部11dに保存させたり、通信ネットワークで接続される他の出力装置に出力したりする。なお、上記と同様に、全ての出力位置に対する出力値を算出した後に、一括してタッチパネル14に手書き情報を表示させてもよい。   Thereafter, similarly to the above, the control unit 11 (touch panel control unit 13) updates the coordinate i in the x direction by adding 1 (S311), and the coordinate i in the x direction is the x direction (lateral direction) of the touch panel 14. It is confirmed whether it is smaller than the number M of electrodes (S312). If i is less than or equal to M, the process returns to S302 and the same processing is repeated. If i exceeds M, 1 is added to the coordinate j in the y direction and updated (S313). It is confirmed whether it is smaller than the number N of electrodes in the y direction (vertical direction) 14 (S314). When j is less than or equal to N, the process returns to S302 and the same processing is repeated. When j exceeds N, the control unit 11 (the output control unit 13c of the touch panel control unit 13) can output each output position as necessary. Electronic data in which (one or a plurality of pixels) is associated with the output value of the output position is generated, and the electronic data is stored in the storage unit 11d or output to another output device connected via a communication network. Or Similarly to the above, handwritten information may be displayed on the touch panel 14 after calculating output values for all output positions.

このように、電極の各交点の圧力値を所定時間内で積算した総圧力値(若しくは所定の圧力値にタッチ時間を乗算した総圧力値)を算出し、算出した総圧力値に基づいて、各交点に対応する出力位置の出力値を算出すると共に、初期状態のインク量から出力値を減算して現在のインク残量を算出し、現在のインク残量が所定のインク量以下となったら(現在のインク使用量が予め定めた閾値を超えたら)、算出した出力値を減らしたり、0に設定したりすることにより、出力位置の濃度が徐々に薄くなるため、用紙上に筆で手書きした時の「かすれ」を再現することができる。   Thus, the total pressure value (or the total pressure value obtained by multiplying the predetermined pressure value by the touch time) obtained by accumulating the pressure values at the intersections of the electrodes within the predetermined time is calculated, and based on the calculated total pressure value, Calculate the output value of the output position corresponding to each intersection, subtract the output value from the initial ink amount, calculate the current ink remaining amount, and if the current ink remaining amount is less than the predetermined ink amount (If the current ink usage exceeds a predetermined threshold), the density of the output position gradually becomes lighter by reducing the calculated output value or setting it to 0, so handwriting with a brush on the paper You can reproduce the “blur” when you do.

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、手書き入力装置10の構成や制御方法は適宜変更可能である。   Note that the present invention is not limited to the above embodiment, and the configuration and control method of the handwriting input device 10 can be changed as appropriate without departing from the spirit of the present invention.

例えば、第2の実施例では濃淡に加えて「にじみ」を再現する例を示し、第3の実施例では濃淡に加えて「かすれ」を再現する例を示したが、算出した出力値と出力可能な最大濃度とを比較すると共に、現在のインク残量と最小インク量とを比較することによって、濃淡に加えて「にじみ」と「かすれ」の双方を再現することができる。   For example, in the second embodiment, an example of reproducing “smudge” in addition to shading is shown, and in the third embodiment, an example of reproducing “blur” in addition to shading is shown. By comparing the maximum possible density and comparing the current remaining ink amount and the minimum ink amount, it is possible to reproduce both “smudge” and “blur” in addition to the light and shade.

本発明は、デジタル抵抗膜方式のタッチパネルを備える手書き入力装置、当該手書き入力装置で動作する制御プログラム及びその制御プログラムを記録した記録媒体、並びに、当該手書き入力装置を用いた制御方法に利用可能である。   INDUSTRIAL APPLICABILITY The present invention is applicable to a handwriting input device including a digital resistive film type touch panel, a control program that operates on the handwriting input device, a recording medium that records the control program, and a control method using the handwriting input device. is there.

10 手書き入力装置
11 制御部
11a CPU
11b ROM
11c RAM
11d 記憶部
12 通信I/F部
13 タッチパネル制御部
13a 圧力値算出部
13b 出力値算出部
13c 出力制御部
14 タッチパネル
14a タッチパネル本体
14b 電圧印加ドライバ
14c センシング回路
20 ペン
30 用紙
10 handwriting input device 11 control unit 11a CPU
11b ROM
11c RAM
11d Storage unit 12 Communication I / F unit 13 Touch panel control unit 13a Pressure value calculation unit 13b Output value calculation unit 13c Output control unit 14 Touch panel 14a Touch panel body 14b Voltage application driver 14c Sensing circuit 20 Pen 30 Paper

Claims (24)

互いに直交する方向に配列された電極を備え、前記電極が交差する各々の交点の押圧を同時に検出可能なタッチパネルと、
予め定めた時間間隔で前記タッチパネルから各々の前記交点の圧力値を取得し、前記圧力値を所定時間内で積算して、各々の前記交点の総圧力値を算出する圧力値算出部と、
各々の前記交点に対応する出力装置の出力位置を特定し、各々の前記交点の前記総圧力値に基づいて、各々の前記出力位置の濃度を規定する出力値を算出する出力値算出部と、
各々の前記出力位置と当該出力位置の前記出力値とを対応付けて、前記出力装置に出力する出力制御部と、を備える、
ことを特徴とする手書き入力装置。
A touch panel comprising electrodes arranged in directions orthogonal to each other, and capable of simultaneously detecting the pressing of each intersection where the electrodes intersect;
A pressure value calculation unit that obtains a pressure value at each intersection from the touch panel at a predetermined time interval, integrates the pressure values within a predetermined time, and calculates a total pressure value at each intersection;
An output value calculating unit that specifies an output position of the output device corresponding to each of the intersections, and calculates an output value that defines a concentration of each of the output positions based on the total pressure value of each of the intersections;
An output control unit that associates each output position with the output value of the output position and outputs the output value to the output device;
A handwriting input device characterized by that.
前記圧力値算出部は、前記タッチパネルから各々の前記交点の押圧の有無を取得した場合は、予め定めた圧力値に各々の前記交点のタッチ時間を乗算して、各々の前記交点の前記総圧力値を算出する、
ことを特徴とする請求項1に記載の手書き入力装置。
When the pressure value calculation unit obtains the presence or absence of pressing of each intersection from the touch panel, the pressure value calculation unit multiplies a predetermined pressure value by the touch time of each intersection to calculate the total pressure at each intersection. Calculate the value,
The handwriting input device according to claim 1.
前記出力値算出部は、所定の出力位置に対して算出した出力値と、前記所定の出力位置に隣接する出力位置に対して算出した出力値から推定される推定値と、に基づいて、前記所定の出力位置の出力値を設定する、
ことを特徴とする請求項1又は2に記載の手書き入力装置。
The output value calculation unit is based on an output value calculated for a predetermined output position and an estimated value estimated from an output value calculated for an output position adjacent to the predetermined output position. Set the output value for a given output position,
The handwriting input device according to claim 1 or 2, characterized by the above-mentioned.
前記出力値算出部は、所定の出力位置に対して算出した出力値が、前記出力装置で出力可能な最大濃度を越える場合は、前記最大濃度と前記出力値との差分を、前記所定の出力位置に隣接する1又は複数の出力位置の出力値に加算する、
ことを特徴とする請求項1乃至3のいずれか一に記載の手書き入力装置。
When the output value calculated for the predetermined output position exceeds the maximum density that can be output by the output device, the output value calculation unit calculates the difference between the maximum density and the output value as the predetermined output. Adding to the output value of one or more output positions adjacent to the position;
The handwriting input device according to any one of claims 1 to 3.
前記出力値算出部は、順次算出した前記出力値の合計値を算出し、前記合計値が予め定めた第1閾値を越えた場合は、以降に算出する出力値から予め定めた値を減算する、
ことを特徴とする請求項1乃至4のいずれか一に記載の手書き入力装置。
The output value calculation unit calculates a total value of the sequentially calculated output values. When the total value exceeds a predetermined first threshold value, the predetermined value is subtracted from output values calculated thereafter. ,
The handwriting input device according to claim 1, wherein the handwriting input device is a handwriting input device.
前記出力値算出部は、前記合計値が、前記第1閾値よりも大きい第2閾値を越えた場合は、以降に算出する出力値を0に設定する、
ことを特徴とする請求項5に記載の手書き入力装置。
The output value calculation unit sets an output value to be calculated thereafter to 0 when the total value exceeds a second threshold value that is greater than the first threshold value.
The handwriting input device according to claim 5.
前記出力制御部は、1つの前記出力位置に複数の画素が含まれる場合、前記複数の画素の各々に、当該出力位置に対して算出した前記出力値を対応付ける、
ことを特徴とする請求項1乃至6のいずれか一に記載の手書き入力装置。
When the output control unit includes a plurality of pixels in one output position, the output control unit associates the output value calculated for the output position with each of the plurality of pixels.
The handwriting input device according to any one of claims 1 to 6.
前記出力制御部は、1つの前記出力位置に複数の画素が含まれる場合、前記複数の画素が全体として当該出力位置に対して算出した前記出力値で規定される濃度となるように、前記複数の画素に、複数の出力値を対応付ける、
ことを特徴とする請求項1乃至6のいずれか一に記載の手書き入力装置。
When the output control unit includes a plurality of pixels in one output position, the plurality of pixels are configured such that the plurality of pixels have a density defined by the output value calculated for the output position as a whole. A plurality of output values are associated with each pixel.
The handwriting input device according to any one of claims 1 to 6.
互いに直交する方向に配列された電極を備え、前記電極が交差する各々の交点の押圧を同時に検出可能なタッチパネルを備える手書き入力装置で動作する制御プログラムであって、
前記手書き入力装置に、
予め定めた時間間隔で前記タッチパネルから各々の前記交点の圧力値を取得し、前記圧力値を所定時間内で積算して、各々の前記交点の総圧力値を算出する圧力値算出ステップ、
各々の前記交点に対応する出力装置の出力位置を特定し、各々の前記交点の前記総圧力値に基づいて、各々の前記出力位置の濃度を規定する出力値を算出する出力値算出ステップ、
各々の前記出力位置と当該出力位置の前記出力値とを対応付けて、前記出力装置に出力する出力制御ステップ、を実行させる、
ことを特徴とする制御プログラム。
A control program that operates on a handwriting input device that includes electrodes arranged in directions orthogonal to each other and includes a touch panel that can simultaneously detect the pressing of each intersection where the electrodes intersect,
In the handwriting input device,
A pressure value calculating step of obtaining a pressure value of each intersection from the touch panel at a predetermined time interval, integrating the pressure values within a predetermined time, and calculating a total pressure value of each intersection;
An output value calculating step of specifying an output position of the output device corresponding to each of the intersections, and calculating an output value defining a concentration of each of the output positions based on the total pressure value of each of the intersections;
Associating each output position with the output value of the output position, and executing an output control step of outputting to the output device;
A control program characterized by that.
前記圧力値算出ステップでは、前記タッチパネルから各々の前記交点の押圧の有無を取得した場合は、予め定めた圧力値に各々の前記交点のタッチ時間を乗算して、各々の前記交点の前記総圧力値を算出する、
ことを特徴とする請求項9に記載の制御プログラム。
In the pressure value calculating step, when the presence / absence of pressing of each intersection point is acquired from the touch panel, a predetermined pressure value is multiplied by the touch time of each intersection point, and the total pressure at each intersection point is calculated. Calculate the value,
The control program according to claim 9.
前記出力値算出ステップでは、所定の出力位置に対して算出した出力値と、前記所定の出力位置に隣接する出力位置に対して算出した出力値から推定される推定値と、に基づいて、前記所定の出力位置の出力値を設定する、
ことを特徴とする請求項9又は10に記載の制御プログラム。
In the output value calculating step, based on the output value calculated for the predetermined output position and the estimated value estimated from the output value calculated for the output position adjacent to the predetermined output position, Set the output value for a given output position,
The control program according to claim 9 or 10, wherein:
前記出力値算出ステップでは、所定の出力位置に対して算出した出力値が、前記出力装置で出力可能な最大濃度を越える場合は、前記最大濃度と前記出力値との差分を、前記所定の出力位置に隣接する1又は複数の出力位置の出力値に加算する、
ことを特徴とする請求項9乃至11のいずれか一に記載の制御プログラム。
In the output value calculating step, if the output value calculated for the predetermined output position exceeds the maximum density that can be output by the output device, the difference between the maximum density and the output value is calculated as the predetermined output. Adding to the output value of one or more output positions adjacent to the position;
The control program according to any one of claims 9 to 11, wherein:
前記出力値算出ステップでは、順次算出した前記出力値の合計値を算出し、前記合計値が予め定めた第1閾値を越えた場合は、以降に算出する出力値から予め定めた値を減算する、
ことを特徴とする請求項9乃至12のいずれか一に記載の制御プログラム。
In the output value calculating step, a total value of the output values calculated sequentially is calculated, and when the total value exceeds a predetermined first threshold value, a predetermined value is subtracted from the output value calculated thereafter. ,
The control program according to any one of claims 9 to 12.
前記出力値算出ステップでは、前記合計値が、前記第1閾値よりも大きい第2閾値を越えた場合は、以降に算出する出力値を0に設定する、
ことを特徴とする請求項13に記載の制御プログラム。
In the output value calculating step, when the total value exceeds a second threshold value that is larger than the first threshold value, an output value to be calculated thereafter is set to 0.
The control program according to claim 13.
前記出力制御ステップでは、1つの前記出力位置に複数の画素が含まれる場合、前記複数の画素の各々に、当該出力位置に対して算出した前記出力値を対応付ける、
ことを特徴とする請求項9乃至14のいずれか一に記載の制御プログラム。
In the output control step, when a plurality of pixels are included in one output position, the output value calculated for the output position is associated with each of the plurality of pixels.
The control program according to any one of claims 9 to 14, wherein
前記出力制御ステップでは、1つの前記出力位置に複数の画素が含まれる場合、前記複数の画素が全体として当該出力位置に対して算出した前記出力値で規定される濃度となるように、前記複数の画素に、複数の出力値を対応付ける、
ことを特徴とする請求項9乃至14のいずれか一に記載の制御プログラム。
In the output control step, when a plurality of pixels are included in one output position, the plurality of pixels are set to have a density defined by the output value calculated for the output position as a whole. A plurality of output values are associated with each pixel.
The control program according to any one of claims 9 to 14, wherein
互いに直交する方向に配列された電極を備え、前記電極が交差する各々の交点の押圧を同時に検出可能なタッチパネルを備える手書き入力装置における制御方法であって、
予め定めた時間間隔で前記タッチパネルから各々の前記交点の圧力値を取得し、前記圧力値を所定時間内で積算して、各々の前記交点の総圧力値を算出する圧力値算出ステップと、
各々の前記交点に対応する出力装置の出力位置を特定し、各々の前記交点の前記総圧力値に基づいて、各々の前記出力位置の濃度を規定する出力値を算出する出力値算出ステップと、
各々の前記出力位置と当該出力位置の前記出力値とを対応付けて、前記出力装置に出力する出力制御ステップと、を実行する、
ことを特徴とする制御方法。
A control method in a handwriting input device comprising electrodes arranged in directions orthogonal to each other and comprising a touch panel capable of simultaneously detecting the pressing of each intersection where the electrodes intersect,
A pressure value calculating step of obtaining a pressure value of each of the intersections from the touch panel at a predetermined time interval, integrating the pressure values within a predetermined time, and calculating a total pressure value of each of the intersections;
An output value calculating step of identifying an output position of the output device corresponding to each of the intersections, and calculating an output value defining a concentration of each of the output positions based on the total pressure value of each of the intersections;
An output control step of associating each output position with the output value of the output position and outputting the output value to the output device;
A control method characterized by that.
前記圧力値算出ステップでは、前記タッチパネルから各々の前記交点の押圧の有無を取得した場合は、予め定めた圧力値に各々の前記交点のタッチ時間を乗算して、各々の前記交点の前記総圧力値を算出する、
ことを特徴とする請求項17に記載の制御方法。
In the pressure value calculating step, when the presence / absence of pressing of each intersection point is acquired from the touch panel, a predetermined pressure value is multiplied by the touch time of each intersection point, and the total pressure at each intersection point is calculated. Calculate the value,
The control method according to claim 17.
前記出力値算出ステップでは、所定の出力位置に対して算出した出力値と、前記所定の出力位置に隣接する出力位置に対して算出した出力値から推定される推定値と、に基づいて、前記所定の出力位置の出力値を設定する、
ことを特徴とする請求項17又は18に記載の制御方法。
In the output value calculating step, based on the output value calculated for the predetermined output position and the estimated value estimated from the output value calculated for the output position adjacent to the predetermined output position, Set the output value for a given output position,
The control method according to claim 17 or 18, characterized in that:
前記出力値算出ステップでは、所定の出力位置に対して算出した出力値が、前記出力装置で出力可能な最大濃度を越える場合は、前記最大濃度と前記出力値との差分を、前記所定の出力位置に隣接する1又は複数の出力位置の出力値に加算する、
ことを特徴とする請求項17乃至19のいずれか一に記載の制御方法。
In the output value calculating step, if the output value calculated for the predetermined output position exceeds the maximum density that can be output by the output device, the difference between the maximum density and the output value is calculated as the predetermined output. Adding to the output value of one or more output positions adjacent to the position;
The control method according to any one of claims 17 to 19, characterized in that:
前記出力値算出ステップでは、順次算出した前記出力値の合計値を算出し、前記合計値が予め定めた第1閾値を越えた場合は、以降に算出する出力値から予め定めた値を減算する、
ことを特徴とする請求項17乃至20のいずれか一に記載の制御方法。
In the output value calculating step, a total value of the output values calculated sequentially is calculated, and when the total value exceeds a predetermined first threshold value, a predetermined value is subtracted from the output value calculated thereafter. ,
The control method according to any one of claims 17 to 20, wherein
前記出力値算出ステップでは、前記合計値が、前記第1閾値よりも大きい第2閾値を越えた場合は、以降に算出する出力値を0に設定する、
ことを特徴とする請求項21に記載の制御方法。
In the output value calculating step, when the total value exceeds a second threshold value that is larger than the first threshold value, an output value to be calculated thereafter is set to 0.
The control method according to claim 21, wherein:
前記出力制御ステップでは、1つの前記出力位置に複数の画素が含まれる場合、前記複数の画素の各々に、当該出力位置に対して算出した前記出力値を対応付ける、
ことを特徴とする請求項17乃至22のいずれか一に記載の制御方法。
In the output control step, when a plurality of pixels are included in one output position, the output value calculated for the output position is associated with each of the plurality of pixels.
The control method according to any one of claims 17 to 22, wherein
前記出力制御ステップでは、1つの前記出力位置に複数の画素が含まれる場合、前記複数の画素が全体として当該出力位置に対して算出した前記出力値で規定される濃度となるように、前記複数の画素に、複数の出力値を対応付ける、
ことを特徴とする請求項17乃至22のいずれか一に記載の制御方法。
In the output control step, when a plurality of pixels are included in one output position, the plurality of pixels are set to have a density defined by the output value calculated for the output position as a whole. A plurality of output values are associated with each pixel.
The control method according to any one of claims 17 to 22, wherein
JP2013190204A 2013-09-13 2013-09-13 Handwriting input device, control program, and control method Pending JP2015056101A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013190204A JP2015056101A (en) 2013-09-13 2013-09-13 Handwriting input device, control program, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013190204A JP2015056101A (en) 2013-09-13 2013-09-13 Handwriting input device, control program, and control method

Publications (1)

Publication Number Publication Date
JP2015056101A true JP2015056101A (en) 2015-03-23

Family

ID=52820442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013190204A Pending JP2015056101A (en) 2013-09-13 2013-09-13 Handwriting input device, control program, and control method

Country Status (1)

Country Link
JP (1) JP2015056101A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3413175A4 (en) * 2016-02-04 2019-08-21 ZTE Corporation Image generation method, terminal, and graphical user interface
US11496635B2 (en) 2018-11-22 2022-11-08 Canon Kabushiki Kaisha Information processing system for obtaining read data of handwritten characters, training a model based on the characters, and producing a font for printing using the model

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3413175A4 (en) * 2016-02-04 2019-08-21 ZTE Corporation Image generation method, terminal, and graphical user interface
US11496635B2 (en) 2018-11-22 2022-11-08 Canon Kabushiki Kaisha Information processing system for obtaining read data of handwritten characters, training a model based on the characters, and producing a font for printing using the model

Similar Documents

Publication Publication Date Title
JP5516535B2 (en) Electronic information terminal and area setting control program
US9720537B2 (en) Scaling pressure data from a pressure-sensitive device
CN106919333B (en) Method and device for recording writing content on electronic writing board
CN108733296B (en) Method, device and equipment for erasing handwriting
JP2014075053A (en) Electronic device, control method for electronic device, program, and storage medium
US10198177B2 (en) Image processing apparatus, image processing method, and recording medium
JP2015146177A (en) input device
CN107798717A (en) Electronic brush writing method, device, computer equipment and storage medium
CN1126020C (en) Equipment and method for touch screen to display simultaneously text character and its original hand writing
CN111949156A (en) Chinese character writing test method and system of writing device and writing device
CN111782131A (en) Pen point implementation method, device, equipment and readable storage medium
JP2015056101A (en) Handwriting input device, control program, and control method
JP5403625B2 (en) Electronic blackboard
WO2019063495A2 (en) Method, device and computer program for overlaying a graphical image
JP2019067111A (en) Display control device and program
US20150317947A1 (en) Display apparatus, display method, and program
JP6437299B2 (en) Information processing apparatus, information processing program, and information processing method
US9483171B1 (en) Low latency touch input rendering
US10311130B1 (en) Dynamic page transitions in electronic content
JP5509757B2 (en) Information processing apparatus, display control method, and program
JP6821998B2 (en) Electronic blackboard, program, method
CN106598315B (en) Touch display device and background image replacement method thereof
JP2009157448A (en) Handwritten information input display system
JP2014006748A (en) Electronic apparatus, apparatus, and method
CN104869268B (en) Display control unit, image forming apparatus and display control method