JP2012022418A - Handwriting input sheet and handwriting input/output system using stream dot - Google Patents

Handwriting input sheet and handwriting input/output system using stream dot Download PDF

Info

Publication number
JP2012022418A
JP2012022418A JP2010158344A JP2010158344A JP2012022418A JP 2012022418 A JP2012022418 A JP 2012022418A JP 2010158344 A JP2010158344 A JP 2010158344A JP 2010158344 A JP2010158344 A JP 2010158344A JP 2012022418 A JP2012022418 A JP 2012022418A
Authority
JP
Japan
Prior art keywords
information
handwriting input
dot pattern
writing area
output system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010158344A
Other languages
Japanese (ja)
Inventor
Kenji Yoshida
健治 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2010158344A priority Critical patent/JP2012022418A/en
Priority to PCT/JP2011/065914 priority patent/WO2012008469A1/en
Publication of JP2012022418A publication Critical patent/JP2012022418A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a simple and inexpensive handwriting input/output system capable of inputting characters, figures and the like in handwriting.SOLUTION: There is provided a simple and inexpensive handwriting input/output system capable of inputting characters, figures and the like in handwriting by imaging and transmitting a medium provided with a write area formed by a stream dot pattern by imaging means, storing image data of the dot pattern and calculating locus information by code analysis by dot pattern analysis means, recognizing the locus information of characters and figures traced on the write area surface based on variations of analyzed coordinate information by locus recognition means, and transmitting a processing instruction based on recognition information recognized by processing instruction means and the locus information to information processing means. There is also provided the handwriting input/output system capable of inputting not only information of characters and figures but also information relating to them together.

Description

本発明は、文字、図形等の手書き情報をコンピュータシステムに入力するための手書き入出力システム、手書き入力シートに関する。   The present invention relates to a handwriting input / output system and a handwriting input sheet for inputting handwritten information such as characters and figures into a computer system.

本発明は、コンピュータシステムへの入力を補助するための情報入力システム、情報入力補助シートに関する。   The present invention relates to an information input system and an information input auxiliary sheet for assisting input to a computer system.

コンピュータは、生活のあらゆる場面で使用されるようになってきている。文書を作成したり計算を行ったりというような従来の用途に加え、絵を描いたり、建築や機械の製図を行う等、コンピュータの機能および用途は飛躍的に増加している。   Computers are being used in every aspect of life. In addition to conventional uses such as creating documents and performing calculations, the functions and uses of computers have increased dramatically, such as drawing pictures and drawing buildings and machines.

従来、これらの行為を行うにあたり、キーボード、マウス、タブレットおよびCADシステム等を用いて文字の入力や製図等の操作をすることが必要とされている。   Conventionally, in performing these actions, it is necessary to perform operations such as character input and drafting using a keyboard, mouse, tablet, CAD system, and the like.

しかし、キーボードで文字を入力したり、タブレットやCADシステムで製図を行ったりするには、煩雑な操作が多く、習得するまでに時間を要する。特に、高齢者等、機器を操作するのに支障のある者にとっては操作が困難であるという問題があった。さらに、キーボードやマウス等の操作が可能でコンピュータを使いこなせる者と、それらの操作ができずにコンピュータを使いこなせない者との間で、情報や機会の格差が生じる「デジタルディバイド」も問題となってきている。   However, inputting characters with a keyboard or drawing with a tablet or a CAD system involves many complicated operations and takes time to learn. In particular, there is a problem that operation is difficult for an elderly person or the like who has trouble in operating the device. In addition, the “digital divide” that creates a disparity in information and opportunities between those who can operate the computer by operating keyboards and mice and those who cannot operate the computer because they cannot operate them has become a problem. ing.

このような問題を解決するものとして、手書き情報をコンピュータに入力するシステムが提案されている。このようなシステムは、ベースと描画装置から構成されており、描画装置がベースに対して移動されると、グラフィカル情報(手書き情報)が発生する。ベースには、微細なドットである位置符号化パターンを備えており、この位置符号化パターンには、ベース上の位置情報が登録されている。描画装置を用いてベース上で描画すると、描画装置が位置符号化パターンを読み取る。コンピュータシステムは、描画装置からの、ベース上の位置情報をグラフィカル入力として記録する。これにより、描画した内容をコンピュータシステムに入力し、ディスプレイに出力したり、メモリに保存したりすることが可能となる(たとえば、特許文献1)。   As a solution to such a problem, a system for inputting handwritten information to a computer has been proposed. Such a system includes a base and a drawing device. When the drawing device is moved with respect to the base, graphical information (handwritten information) is generated. The base is provided with a position encoding pattern which is a fine dot, and position information on the base is registered in this position encoding pattern. When drawing is performed on the base using the drawing device, the drawing device reads the position coding pattern. The computer system records position information on the base from the drawing device as a graphical input. As a result, the drawn content can be input to a computer system and output to a display or stored in a memory (for example, Patent Document 1).

特表2003−528387号公報Japanese translation of PCT publication No. 2003-528387

しかし、特許文献1のシステムに用いる位置符号化パターンは、位置情報しか登録されていない。そのため、コンピュータシステムは、描画装置で描かれたグラフィカル情報しか入力することができず、たとえば、冊子のページ番号等、グラフィカル情報と関連した種々の情報も入力・記録するためには、描画のための領域と異なる領域を別途設けなければならない。そのため、手書き入出力システムが煩雑となり、ユーザにとっても、複数の領域での操作が必要になるという問題を有している。また、描画装置で描かれたグラフィカル情報に対応する位置情報全てに対して、グラフィカル情報と関連した種々の情報を入力・記録するための参照テーブルを備えなければならない。特に、描画領域が矩形ではなく、多角形や曲線で囲まれた領域である場合、その領域内の全ての位置情報に対する参照テーブルが必要となる。   However, only the position information is registered in the position coding pattern used in the system of Patent Document 1. Therefore, the computer system can input only the graphical information drawn by the drawing device. For example, in order to input and record various information related to the graphical information such as the page number of the booklet, An area different from the above area must be provided separately. Therefore, the handwriting input / output system becomes complicated, and there is a problem that the user needs to operate in a plurality of areas. In addition, a reference table for inputting and recording various information related to the graphical information must be provided for all position information corresponding to the graphical information drawn by the drawing apparatus. In particular, when the drawing area is not a rectangle but an area surrounded by a polygon or a curve, a reference table for all position information in the area is required.

本発明はこのような問題に鑑みてなされたものであり、文字や図形等を手書きで入力することのできる手書き入出力システムを、簡易かつ安価に提供することを技術的課題とする。また、文字や図形の情報のみでなく、それらに関連した情報も一括して入力することが可能な手書き入出力システムを提供することを技術的課題とする。   The present invention has been made in view of such a problem, and an object of the present invention is to provide a handwritten input / output system capable of inputting characters, figures and the like by handwriting simply and inexpensively. It is another object of the present invention to provide a handwriting input / output system that can input not only information on characters and figures but also information related to them in a lump.

<手書き入力シート>
(1)本発明にかかる手書き入力シートは、少なくとも一部、または複数の任意の形状の領域に、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値または、XY座標値およびコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成された書き込み領域を備えた媒体からなることを特徴とする。
<Handwritten input sheet>
(1) A handwriting input sheet according to the present invention includes a step of arranging a plurality of reference dots continuously in a line according to a predetermined rule in at least a part or a plurality of arbitrarily shaped regions; Providing a first virtual reference line composed of a straight line, a polygonal line and / or a curve connecting the reference dots, and a straight line and / or defined at a predetermined position from the reference dot and / or the first virtual reference line Alternatively, a step of providing at least one or more second virtual reference lines made of a curve, a step of providing a plurality of virtual reference points at predetermined positions on the second virtual reference line, and a vector starting from the virtual reference points Stream dots arranged in accordance with the process of arranging XY coordinate values or information dots in which XY coordinate values and code values are defined by the distance and direction from the virtual reference point at the represented end points. Characterized by comprising the medium having a plurality side by side writing area on which a pattern has been formed.

これによれば、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が書き込み領域に隙間なく定義され軌跡情報を生成することができ手書き入力が可能となる。さらに、文字や五線譜、地図、図形などが手書き入力シートに印刷され、その線分上をスキャナーペンでなぞるかまたはタッチして操作する場合、その線分に沿ってのみストリームドットパターンを形成することにより、合理的にドットパターンを配置できる。また、XY座標が定義されたドットパターンを2次元コードとして形成される際(インデックスとして使用)の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。   According to this, by forming a plurality of stream dot patterns with a fixed reference point interval, XY coordinate values are defined without any gaps in the writing area, and trajectory information can be generated, enabling handwritten input. In addition, when characters, staffs, maps, figures, etc. are printed on a handwritten input sheet, and a user scans or touches the line segment with a scanner pen, a stream dot pattern is formed only along that line segment. Thus, a dot pattern can be arranged rationally. In addition, when a dot pattern in which XY coordinates are defined is formed as a two-dimensional code (used as an index), it is not restricted by the shape of the rectangular area, and is matched to the information area visually formed on the medium surface. In addition, it is possible to form a dot pattern by repeating a set of constant information in a free shape.

(2)前記ストリームドットは、第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、さらに基準となる基準ドットを所定の位置に設けてもよい。   (2) The stream dot is a reference that is further used as a reference in order to define a second virtual reference line and / or to define the direction of the dot pattern and one XY coordinate value and / or code value. You may provide a dot in a predetermined position.

これによれば、新たな基準点を設けることにより、ストリームドットパターンの向きと一定情報のまとまりを、情報ドットを使用せず簡易に定義することができ、余計な情報の低減を押さえられる。さらに、新たな基準点の配置により情報ドットの始点となる仮想基準点の位置を正確に示すことができる。
<手書き入出力システム>
According to this, by providing a new reference point, the direction of the stream dot pattern and the set of constant information can be easily defined without using information dots, and the reduction of unnecessary information can be suppressed. Furthermore, the position of the virtual reference point that is the starting point of the information dot can be accurately indicated by the arrangement of the new reference point.
<Handwriting input / output system>

(3)本発明にかかる手書き入出力システムは、請求項1または2記載の手書き入力シートを用いた手書き入出力システムであって、前記書き込み領域に形成された前記ストリームドットパターンを撮像して、送信する撮像手段と、該撮像手段により撮像・送信された該ストリームドットパターンの画像データを記憶素子に記憶して、該画像データをコード解析することにより、座標情報および、座標情報およびコード情報からなる軌跡情報を求めるドットパターン解析手段と、該軌跡情報を情報処理手段に対し送信する処理命令手段とを備えたことを特徴とする。
これによれば、本発明に係る手書き入出力システムは、媒体に形成されたドットパターンに、座標情報のみならずコード情報を定義することも可能となるため、処理命令手段が情報処理部に対して軌跡情報と軌跡情報に基づいた処理命令を一括して送信することができる。
(3) A handwriting input / output system according to the present invention is a handwriting input / output system using the handwriting input sheet according to claim 1 or 2, wherein the stream dot pattern formed in the writing area is imaged, From the coordinate information, the coordinate information, and the code information by storing the image data of the stream dot pattern captured and transmitted by the imaging unit in the storage element and analyzing the code of the image data Dot pattern analysis means for obtaining the trajectory information, and processing command means for transmitting the trajectory information to the information processing means.
According to this, since the handwriting input / output system according to the present invention can define not only the coordinate information but also the code information in the dot pattern formed on the medium, the processing instruction means sends the information to the information processing unit. Thus, the trajectory information and processing instructions based on the trajectory information can be transmitted in a batch.

(4)前記手書き入出力システムは、さらに、解析された前記座標情報の変化に基づき、前記書き込み領域面においてトレースされた、文字および/または図形の前記軌跡情報を認識する軌跡認識手段と、認識された認識情報に基づいた処理命令を情報処理手段に対し送信する処理命令手段とを備えたことが好ましい。   (4) The handwriting input / output system further includes a trajectory recognizing unit for recognizing the trajectory information of the characters and / or figures traced on the writing area surface based on the change of the analyzed coordinate information. It is preferable that a processing command unit that transmits a processing command based on the recognized information to the information processing unit is provided.

これによれば、本発明に係る手書き入出力システムは、書き込み領域面上に撮像手段近傍の軌跡が残せる。   According to this, the handwriting input / output system according to the present invention can leave a locus in the vicinity of the imaging means on the writing area surface.

(5)前記媒体は、前記コード値の少なくとも一部に、該媒体を特定する情報が定義されているか、および/または、前記コード値の少なくとも一部に、前記書き込み領域を特定する特定情報が定義されているか、および/または、前記コード値の少なくとも一部に、書き込み処理を意味する操作指示(プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等)が定義されているか、および/または、前記書き込み領域内および/または領域周辺に形成された前記ストリームドットパターンの前記コード値の少なくとも一部に、所定の媒体面および/または前記書き込み領域面を特定する特定情報および/または前記操作指示を定義し、それを意味するアイコンが重畳して印刷されているか、および/または、前記書き込み領域内および/または領域周辺に形成された前記ストリームドットパターンに、関連するテキスト、グラフィック、写真を重畳して印刷されているか、および/または、前記書き込み領域内および/または領域周辺に点字をさらに備えているか、および/または、前記書き込み領域に書き込む際に、前記ドットパターンを撮像する撮像手段がはみ出さないように該書き込み領域の外周に沿って幅狭の凸部のガイドをさらに備えているか、および/または、貼付可能なシール、付箋紙、その他の媒体であるか、および/または、書き込み領域が表示されたモニタ面上または印刷された媒体上に重ねて用いる、前記ストリームドットパターンが形成された透明な情報入力補助シートであってもよい。   (5) In the medium, information specifying the medium is defined in at least a part of the code value, and / or specifying information specifying the writing area is included in at least a part of the code value. Operation instructions (program start, command input, data input / output / search, search target specification, etc.) meaning write processing are defined in at least a part of the code value. Specific information identifying a predetermined medium surface and / or the writing area surface in at least a part of the code value of the stream dot pattern formed in and / or around the writing area. And / or the operation instruction is defined and an icon representing the operation instruction is superimposed and printed and / or the writing is performed. The stream dot pattern formed in and / or around the area is overlaid with the relevant text, graphics, and photographs and / or Braille is written in and / or around the writing area And / or further having a narrow convex guide along the outer periphery of the writing area so that the imaging means for imaging the dot pattern does not protrude when writing to the writing area. And / or the above-mentioned stream dot pattern used on a monitor surface or a printed medium on which a writing area is displayed, and / or an adhesive sticker, sticky note paper, other media. It may be a formed transparent information input auxiliary sheet.

上記の特徴によれば、本発明にかかる手書き入出力システムは、ユーザが書き込み領域の位置および書き込み領域にはいかなる事項を書き込むべきであるかを容易に知ることができる。   According to the above feature, the handwriting input / output system according to the present invention can easily know what the user should write in the position of the writing area and the writing area.

また、コード情報がいかなる意味を持つものであるか(いかなる処理命令を送信するものであるか)、ユーザはアイコンを見ることにより容易に知ることができる。   In addition, the user can easily know what meaning the code information has (what processing instruction is transmitted) by looking at the icon.

また、視覚障害者が手書き入力をする上において健常者と同様の入力効率を維持することに寄与する。   Moreover, it contributes to maintaining the same input efficiency as a healthy person when a visually handicapped person performs handwriting input.

また、書き込み領域に正確に撮像手段でなぞったり、描いたりできるようガイドを設け、視覚障害者が手書き入力をする上において健常者と同様の入力効率を維持することに寄与する。   In addition, a guide is provided so that the writing area can be accurately traced or drawn by the imaging means, and this contributes to maintaining the same input efficiency as that of a normal person when a visually handicapped person performs handwriting input.

また、書き込み領域のレイアウトの自由度はさらに高まり、書き込み領域に手書き入力された情報の検索、出力をユーザの利便性や好みに応じて自由自在に実行できる。   Further, the degree of freedom of the layout of the writing area is further increased, and retrieval and output of information input by handwriting in the writing area can be freely performed according to the convenience and preference of the user.

また、取り回しのよいタッチパネルを提供することができる。または、モニタ面上にグリッドシートを重ねなくても、媒体面上にグリッドシートを被せて手書き入力が可能である。   In addition, a touch panel with good handling can be provided. Alternatively, handwriting input is possible by placing the grid sheet on the medium surface without overlapping the grid sheet on the monitor surface.

(6)前記媒体は、前記書き込み領域を設けた該媒体を第1の媒体として、該第1の媒体面および/または前記書き込み領域面を特定するためのコード情報を繰り返し定義したドットパターンを形成した第2の媒体をさらに備え、該第2の媒体に形成したコード情報を、前記撮像手段で読み取ることにより、前記第1の媒体面上の印刷情報および/または前記書き込み領域面に描かれた前記軌跡情報、および/または該軌跡情報に関連した情報を出力してもよい。   (6) The medium forms a dot pattern in which code information for specifying the first medium surface and / or the writing area surface is repeatedly defined with the medium provided with the writing area as the first medium. The code information formed on the second medium is read by the imaging unit, and is printed on the print information on the first medium surface and / or the writing area surface. The trajectory information and / or information related to the trajectory information may be output.

上記の特徴によれば、本発明にかかる手書き入出力システムは、媒体面を特定するコード情報を、別の媒体(手帳など)に印刷し、撮像手段でタッチすることにより、媒体面に手書き入力した情報を検索、出力できる。また、媒体の書き込み領域のスペースを広く取ることもできる。   According to the above feature, the handwriting input / output system according to the present invention prints code information for specifying a medium surface on another medium (such as a notebook) and touches it with an imaging unit, thereby handwriting input on the medium surface. Can be searched and output. In addition, it is possible to take a wide space in the writing area of the medium.

(7)前記撮像手段は、指示用突起部および/または少なくとも一つのペン先をさらに備え、前記書き込み領域面に、該指示用突起部および/または少なくとも一つのペン先でなぞった文字および/または図形をトレースする際、該指示用突起部近傍の軌跡上の前記ドットパターンを撮像し、該指示用突起部および少なくとも一つのペン先を備える場合は、該指示用突起部内に該ペン先を格納する格納スペースと、該ペン先の格納/取出しを制御するボタンと、をさらに備えた該指示用突起部であることが好ましい。   (7) The imaging means further includes an instruction protrusion and / or at least one pen tip, and characters and / or traced on the writing area surface with the instruction protrusion and / or at least one pen tip. When tracing a figure, the dot pattern on the locus in the vicinity of the pointing projection is imaged, and when the pointing projection and at least one pen tip are provided, the pen tip is stored in the pointing projection It is preferable that the pointing projection further includes a storage space for controlling and a button for controlling storage / removal of the pen tip.

上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上の撮像手段のなぞる位置を視認しやすくなる。   According to the above feature, the handwriting input / output system according to the present invention makes it easy to visually recognize the position traced by the imaging means on the writing area surface.

また、書き込み領域面上に撮像手段近傍の軌跡が残せる。   Further, a locus in the vicinity of the imaging means can be left on the writing area surface.

また、書き込み領域面上に描いた撮像手段近傍の軌跡を残したい場合と、残したくない場合とで使い分けることが可能となる。   In addition, it is possible to selectively use the case where it is desired to leave the locus near the imaging means drawn on the writing area surface and the case where it is not desired to leave it.

(8)前記撮像手段は、前記指示用突起部に前記書き込み領域面に描かれた文字および/または図形を消去する消去手段をさらに備え、該書き込み領域面に、該消去手段でなぞった領域を消去すると同時に、該消去手段近傍の軌跡上のドットパターンを撮像し、前記処理命令手段は、該文字および/または図形の前記軌跡情報を消去する処理命令と、前記軌跡情報と、を情報処理手段に対し送信してもよい。   (8) The imaging means further includes an erasing means for erasing characters and / or figures drawn on the writing area surface on the instruction protrusion, and an area traced by the erasing means is formed on the writing area surface. At the same time as erasing, the dot pattern on the locus in the vicinity of the erasing means is imaged, and the processing instruction means outputs a processing instruction for erasing the locus information of the character and / or figure and the locus information. May be sent to.

上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上と情報処理手段上で書き込み情報入力を対応させるのみならず、書き込み情報の消去を対応させることもできる。   According to the above feature, the handwriting input / output system according to the present invention can cope with not only writing information input on the writing area surface and the information processing means but also erasing the writing information.

(9)前記軌跡情報は、前記撮像手段の撮像中心の座標情報、または該撮像手段付近に備えられた前記指示用突起部または前記ペン先が前記書き込み領域面に触れる位置の座標情報と前記コード情報からなり、前記ドットパターン解析手段により、前記ドットパターンに定義された座標情報を基に補間計算して求められることが好ましい。   (9) The trajectory information includes coordinate information of the imaging center of the imaging unit, or coordinate information of a position where the pointing protrusion or the pen tip provided near the imaging unit touches the writing area surface and the code Preferably, the information is obtained by interpolation calculation based on coordinate information defined in the dot pattern by the dot pattern analysis means.

上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡認識手段が認識する軌跡情報と、媒体上の軌跡とが異なる場合にも、軌跡情報を補正することにより実際の軌跡と一致または実用に支障がない程度まで近似させることができる。   According to the above feature, the handwriting input / output system according to the present invention matches the actual trajectory by correcting the trajectory information even when the trajectory information recognized by the trajectory recognition unit is different from the trajectory on the medium. Or it can be approximated to such an extent that there is no trouble in practical use.

(10)前記軌跡認識手段は、計時手段をさらに備え、該計時手段は、前記撮像手段が前記書き込み領域面に触れた時間および離れた時間を計時し、該撮像手段が該書き込み領域面に触れて描かれた軌跡の順番と触れている時間を記録し、前記情報処理手段に送信してもよい。   (10) The trajectory recognition unit further includes a timing unit, and the timing unit measures a time when the imaging unit touches the writing area surface and a time away from the writing area surface, and the imaging unit touches the writing area surface. It is also possible to record the order of the traces drawn and the touching time, and transmit them to the information processing means.

上記の特徴によれば、本発明にかかる手書き入出力システムは、情報処理手段が手書き入力に要した時間を把握し、通常時との比較を行うことにより、書き手の性格や年齢、性別などの様々なリサーチができる。   According to the above feature, the handwriting input / output system according to the present invention grasps the time required for the handwriting input by the information processing means and compares it with the normal time, so that the character's personality, age, gender, etc. Various research is possible.

(11)前記処理命令手段は、前記コード情報および/または前記認識情報に基づき、前記書き込み領域を特定する特定情報および/または操作指示(プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等)を一意に入力可能であってもよい。   (11) The processing command means may specify, based on the code information and / or the recognition information, specific information and / or an operation instruction (program activation, command input, data input / output / search, It may be possible to uniquely input a search target designation or the like.

上記の特徴によれば、本発明にかかる手書き入出力システムは、コード情報および/または認識情報に基づいて処理命令手段が情報処理手段に対してユニークな指示をすることが可能である。このことは、本発明で最も重要な機能であり、常にどの書き込み領域に書き込んだか、またはどの書き込み領域に対してどんな操作指示を行っているかを容易に特定できる。   According to the above feature, in the handwriting input / output system according to the present invention, the processing instruction means can give a unique instruction to the information processing means based on the code information and / or the recognition information. This is the most important function in the present invention, and it is possible to easily specify which writing area is always written or what operation instruction is given to which writing area.

(12)前記軌跡認識手段は、さらに前記コード情報に基づき、前記書き込み領域に書き込む内容に関する、予め分類された文字および/または図形情報パターンを参照し、前記軌跡情報を高精度で認識することが好ましい。   (12) The trajectory recognition unit may further recognize the trajectory information with high accuracy by referring to the character and / or graphic information patterns classified in advance regarding the contents to be written in the writing area based on the code information. preferable.

上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡情報を認識する際にコード情報に基づいて予め分類された文字および/または図形情報パターンテーブルを参照するため、軌跡情報を高精度に認識することができる。   According to the above feature, the handwriting input / output system according to the present invention refers to the character and / or graphic information pattern table previously classified based on the code information when recognizing the trajectory information. It can be recognized with accuracy.

(13)前記軌跡認識手段は、前記軌跡情報を認識した後、さらに解析された前記座標情報の変化に基づき、該文字および/または該図形、もしくは、1または複数の該文字からなる語句、の意味情報を、前記コード情報に対応する 予め定義された意味情報コードテーブル(辞書)を参照し、意味情報コードに変換し、前記処理命令手段は、該意味情報コードと、該意味情報に基づいた前記処理命令と、を前記情報処理手段に対し送信することが好ましい。   (13) After recognizing the trajectory information, the trajectory recognizing means further determines the character and / or the figure, or a phrase composed of one or more of the characters, based on the change in the analyzed coordinate information. The semantic information is converted into a semantic information code by referring to a predefined semantic information code table (dictionary) corresponding to the code information, and the processing instruction means is based on the semantic information code and the semantic information. Preferably, the processing instruction is transmitted to the information processing means.

上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡認識時に意味情報コードテーブルを参照することにより、軌跡情報を高精度に認識し、さらに、意味情報コードに変換することにより、その意味であるものとして処理命令を送信することができる。   According to the above feature, the handwriting input / output system according to the present invention recognizes the trajectory information with high accuracy by referring to the semantic information code table at the time of trajectory recognition, and further converts it into a semantic information code. A processing command can be transmitted as that meaning.

(14)前記処理命令手段は、前記軌跡認識手段による前記軌跡情報の認識結果を、文書および/または図形として入力させる第一のオペレーションか、またはコメントとして入力させる第二のオペレーションか、または文書および/または図形、および/またはコメントを編集する編集記号とし、該編集記号に基づいて文書および/または図形、および/またはコメントを編集させる第三のオペレーションとして、前記情報処理手段に命令してもよい。   (14) The processing instruction means may be a first operation for inputting the recognition result of the trajectory information by the trajectory recognition means as a document and / or a graphic, or a second operation for inputting as a comment, or a document and The information processing unit may be instructed as a third operation for editing the document and / or the figure and / or the comment based on the edit symbol and / or the figure and / or the comment that edits the comment. .

上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力により文書を書いたり、絵を描いたりできる。   According to the above feature, the handwriting input / output system according to the present invention can write a document or draw a picture by handwriting input.

また、手書き入力により入力される文書や絵の他、コメント文書を入力することができる。   In addition to a document or a picture input by handwriting input, a comment document can be input.

また、手書き入力により文書や画像を(手書き入出力システムによらないものも含む)編集することができる。   In addition, it is possible to edit documents and images (including those not based on the handwriting input / output system) by handwriting input.

(15)本発明にかかる手書き入出力システムは、少なくとも前記媒体面に接触した前記撮像手段の撮像光軸が、該媒体面の鉛直線に対して倒されることにより成される傾きおよび倒される方向を測定する角度測定手段と、該撮像手段が該媒体面に接触した際に測定された、該傾きおよび該方向を基準として、該撮像手段を倒す動作、すなわちグリッドティルト動作による、該傾きおよび/または該方向の、所定の変化を解析する角度変化認識手段とをさらに備え、前記処理命令手段は、該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信してもよい。   (15) In the handwriting input / output system according to the present invention, at least the imaging optical axis of the imaging means that is in contact with the medium surface is tilted and tilted by being tilted with respect to a vertical line of the medium surface. And an angle measuring means for measuring the inclination and / or an action of tilting the imaging means with reference to the inclination and the direction measured when the imaging means is in contact with the medium surface, that is, a grid tilt action. Or an angle change recognizing means for analyzing a predetermined change in the direction, wherein the processing instruction means may transmit a predetermined processing instruction to the information processing means based on the result of the analysis. Good.

上記の特徴によれば、本発明にかかる手書き入出力システムは、撮像手段のグリッドティルト動作による操作指示ができる。   According to the above feature, the handwriting input / output system according to the present invention can give an operation instruction by the grid tilt operation of the imaging means.

(16)前記媒体は、前記書き込み領域の方向に対して、所定の角度で配置された前記ドットパターンが該書き込み領域に形成され、前記角度測定手段および前記角度変化認識手段は、前記撮像手段が該書き込み領域面に接触した際に読み取られた該ドットパターンの方向を基に、該書き込み領域の方向に対して、倒される方向および/または前記傾きの、所定の変化を解析してもよい。   (16) In the medium, the dot pattern arranged at a predetermined angle with respect to the direction of the writing area is formed in the writing area, and the angle measuring unit and the angle change recognizing unit are configured by the imaging unit. Based on the direction of the dot pattern read when contacting the surface of the writing area, a predetermined change in the direction of tilting and / or the inclination with respect to the direction of the writing area may be analyzed.

上記の特徴によれば、本発明にかかる手書き入出力システムは、角度の変化に加えて、ドットパターンの方向をさらに基準にして、傾きとその変化を認識することができる。   According to the above feature, the handwriting input / output system according to the present invention can recognize the inclination and the change on the basis of the direction of the dot pattern in addition to the change of the angle.

(17)前記手書き入出力システムは、前記書き込み領域面に対して、前記撮像手段の撮像光軸を概ね鉛直状に立て、該書き込み領域面に接触した際に読み取られた前記ドットパターンの方向と、該撮像手段のアングルとで成される回転角を読み取る回転角読み取り手段と、該撮像手段が該媒体面に接触した際に測定された該回転角を基準として、該撮像手段を回転する動作、すなわちグリッドターン動作による、該撮像光軸が所定の回転方向に回転されることにより、該回転角の所定の変化を解析する回転角変化認識手段と、をさらに備え、前記処理命令手段は、該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信してもよい。   (17) The handwriting input / output system is configured such that the imaging optical axis of the imaging unit is substantially vertical with respect to the writing area surface, and the direction of the dot pattern read when the writing area surface contacts the writing area surface. A rotation angle reading means for reading a rotation angle formed by the angle of the imaging means, and an operation for rotating the imaging means with reference to the rotation angle measured when the imaging means comes into contact with the medium surface. In other words, rotation angle change recognizing means for analyzing a predetermined change in the rotation angle by rotating the imaging optical axis in a predetermined rotation direction by a grid turn operation, and the processing command means includes: Based on the result of the analysis, a predetermined processing command may be transmitted to the information processing means.

上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドターン動作による指示をすることができる。   According to the above feature, the handwriting input / output system according to the present invention can give an instruction by a grid turn operation.

(18)前記手書き入出力システムは、さらに、前記撮像手段で前記書き込み領域を撮像して前記ドットパターン解析手段により座標情報およびコード情報を求めた後に、所定の操作により該撮像手段で該書き込み領域に文字をなぞるか、または描く代わりに音声を収録する音声収録手段と、前記コード情報に対応する予め定義された音声認識情報テーブル(辞書)を参照し、収録された音声を認識し文字情報に変換し情報処理手段に対し送信する音声認識手段と、をさらに備えていてもよい。   (18) The handwriting input / output system further captures the writing area by the imaging means, obtains coordinate information and code information by the dot pattern analysis means, and then performs the writing area by the imaging means by a predetermined operation. Referring to a voice recording means for recording voice instead of tracing or drawing, and a predefined voice recognition information table (dictionary) corresponding to the code information, the recorded voice is recognized and converted into character information. Voice recognition means for converting and transmitting to the information processing means may be further provided.

上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力に代えて、音声入力ができる。   According to the above feature, the handwriting input / output system according to the present invention can perform voice input instead of handwriting input.

本発明は、上記各種の特徴を有することにより、従来技術とは次元を異にする、全く異なった、多様かつ新しい付加価値と利便性をユーザに与えることのできる手書き入出力システムを提供することができる。   The present invention provides a handwriting input / output system that has various features described above and can give a user various and new added value and convenience that are completely different from those of the prior art. Can do.

本発明にかかる手書き入出力システムの使用状態を示す外観図である。It is an external view which shows the use condition of the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムの第一の実施例の構成を示すブロック図である。It is a block diagram which shows the structure of the 1st Example of the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムの第二の実施例の構成を示すブロック図である。It is a block diagram which shows the structure of the 2nd Example of the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムの第三の実施例の構成を示すブロック図である。It is a block diagram which shows the structure of the 3rd Example of the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムの第四の実施例の構成を示すブロック図である。It is a block diagram which shows the structure of the 4th Example of the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムの第五の実施例の構成を示すブロック図である。It is a block diagram which shows the structure of the 5th Example of the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムの第六の実施例の構成を示すブロック図である。It is a block diagram which shows the structure of the 6th Example of the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図(1)である。It is a figure (1) explaining the stream dot pattern used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図(2)である。It is a figure (2) explaining the stream dot pattern used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図(3)である。It is FIG. (3) explaining the stream dot pattern used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図(4)である。It is FIG. (4) explaining the stream dot pattern used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図(5)である。It is a figure (5) explaining the stream dot pattern used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図(6)である。It is a figure (6) explaining the stream dot pattern used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いるストリームドットパターンのフォーマットを説明する図である。It is a figure explaining the format of the stream dot pattern used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる撮像部の全体の構成を示す外観図である。It is an external view which shows the whole structure of the imaging part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる撮像部の先端部を示す断面図である。It is sectional drawing which shows the front-end | tip part of the imaging part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図(2)である。It is FIG. (2) explaining the function of the imaging part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図(3)である。It is a figure (3) explaining the function of the image pick-up part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図(4)である。It is a figure (4) explaining the function of the imaging part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図(5)である。It is a figure (5) explaining the function of the imaging part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図(7)である。It is a figure (7) explaining the function of the imaging part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図(8)である。It is a figure (8) explaining the function of the imaging part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図(9)である。It is a figure (9) explaining the function of the imaging part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図(10)である。It is a figure (10) explaining the function of the imaging part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図(11)である。It is a figure (11) explaining the function of the imaging part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図(12)である。It is a figure (12) explaining the function of the imaging part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(1)である。It is a figure (1) explaining the function of the medium in which the writing area | region used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(2)である。It is a figure (2) explaining the function of the medium in which the writing area | region used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(3)である。It is a figure (3) explaining the function of the medium in which the writing area used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(4)である。It is a figure (4) explaining the function of the medium in which the writing area | region used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(5)である。It is a figure (5) explaining the function of the medium in which the writing area used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(6)である。It is a figure (6) explaining the function of the medium in which the writing area used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(7)である。It is a figure (7) explaining the function of the medium in which the writing area used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(8)である。It is a figure (8) explaining the function of the medium in which the writing area used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(9)である。It is a figure (9) explaining the function of the medium in which the writing area used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(10)である。It is a figure (10) explaining the function of the medium in which the writing area used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(11)である。It is a figure (11) explaining the function of the medium in which the writing area used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(12)である。It is a figure (12) explaining the function of the medium in which the writing area used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(13)である。It is a figure (13) explaining the function of the medium in which the writing area used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(14)である。It is a figure (14) explaining the function of the medium in which the writing area used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いる撮像部の、タッチする動作と跳ねる動作の判別方法を説明する図である。It is a figure explaining the discriminating method of the operation | movement which touches and the operation | movement which jumps of the imaging part used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける第一のオペレーションを説明する図である。It is a figure explaining the 1st operation in the handwriting input / output system concerning the present invention. 本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図(1)である。It is FIG. (1) explaining the 2nd operation in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図(2)である。It is FIG. (2) explaining the 2nd operation in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図(3)である。It is FIG. (3) explaining the 2nd operation in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図(1)である。It is FIG. (1) explaining the 3rd operation in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図(2)である。It is FIG. (2) explaining the 3rd operation in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図(3)である。It is FIG. (3) explaining the 3rd operation in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図(4)である。It is FIG. (4) explaining the 3rd operation in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図(5)である。It is FIG. (5) explaining the 3rd operation in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図(6)である。It is FIG. (6) explaining the 3rd operation in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるファイル変更結果の保存方法を説明する図である。It is a figure explaining the preservation | save method of the file change result by rotation operation | movement of an imaging part in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるファイル内容変更のキャンセル方法を説明する図である。It is a figure explaining the cancellation method of the file content change by rotation operation | movement of an imaging part in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるアプリケーションの起動方法を説明する図である。It is a figure explaining the starting method of the application by rotation operation | movement of an imaging part in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるアプリケーションの終了方法を説明する図である。It is a figure explaining the completion | finish method of the application by rotation operation | movement of an imaging part in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける、撮像部の四方向への傾き動作によるオペレーションの切り替え方法を説明する図(1)である。It is a figure (1) explaining the operation switching method by the inclination operation | movement to four directions of an imaging part in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける、撮像部の四方向への傾き動作によるオペレーションの切り替え方法を説明する図(2)である。It is a figure (2) explaining the operation switching method by the inclination operation | movement to four directions of an imaging part in the handwriting input / output system concerning this invention. 発明にかかる手書き入出力システムにおける、撮像部のタッチ動作を説明する図である。It is a figure explaining the touch operation | movement of an imaging part in the handwriting input / output system concerning invention. 本発明にかかる手書き入出力システムにおける、音声収録部および音声出力部の構成を説明するブロック図である。It is a block diagram explaining the structure of the audio | voice recording part and the audio | voice output part in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムにおける、撮像部の跳ねる動作を説明する図である。It is a figure explaining the operation | movement which the imaging part bounces in the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図(1)である。It is a figure (1) explaining the grid sheet which is one Example of the medium used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図(2)である。It is FIG. (2) explaining the grid sheet which is one Example of the medium used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図(3)である。It is FIG. (3) explaining the grid sheet which is one Example of the medium used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図(15)である。It is a figure (15) explaining the function of the medium in which the writing area used for the handwriting input / output system concerning this invention was formed. 本発明にかかる手書き入出力システムに用いるドットパターンを説明する図(7)である。It is a figure (7) explaining the dot pattern used for the handwriting input / output system concerning this invention. 本発明にかかる手書き入出力システムに用いるドットパターンを説明する図(8)である。It is a figure (8) explaining the dot pattern used for the handwriting input / output system concerning this invention.

以下、本発明の実施の形態について、図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

<システム全体の構成の説明>
図1は、本発明にかかる手書き入出力システム1の使用状態の一例を示す外観図である。同図によれば、媒体2にスキャナ3を用いて書き込みをすると、書き込んだとおりの文書がディスプレイ6に表示される。これは、スキャナ3が、書き込んだ軌跡上のドットパターンを撮像して、コンピュータ4が解析する(必要に応じてサーバ5にアクセスする)ことにより、実現する。ただし、コンピュータ4がスキャナ3に内蔵されていてもよい。
<Description of overall system configuration>
FIG. 1 is an external view showing an example of a usage state of a handwriting input / output system 1 according to the present invention. According to the figure, when writing is performed on the medium 2 using the scanner 3, the document as written is displayed on the display 6. This is realized when the scanner 3 captures the dot pattern on the written locus and the computer 4 analyzes it (accesses the server 5 as necessary). However, the computer 4 may be built in the scanner 3.

図2は、本発明にかかる手書き入出力システム1の、第一の実施例の構成を示すブロック図である。   FIG. 2 is a block diagram showing the configuration of the first embodiment of the handwriting input / output system 1 according to the present invention.

この手書き入出力システム1は少なくとも、媒体2(手書き入力シート)、撮像部7(撮像手段)、ドットパターン解析部8(ドットパターン解析手段)、軌跡認識部9(軌跡認識手段)、処理命令部10(処理命令手段)、を備えることにより情報処理部11に対して各種の命令を行い、必要に応じて各種サーバ5にアクセスする。   The handwriting input / output system 1 includes at least a medium 2 (handwriting input sheet), an imaging unit 7 (imaging unit), a dot pattern analysis unit 8 (dot pattern analysis unit), a locus recognition unit 9 (trajectory recognition unit), and a processing command unit. 10 (processing instruction means), various instructions are given to the information processing section 11, and the various servers 5 are accessed as necessary.

図3は、本発明にかかる手書き出入力システム1の第二の実施例の構成を示すブロック図である。第二の実施例では、第一の実施例が備える構成に加えて、撮像素子12、照射部13、光制御部14をさらに備える。   FIG. 3 is a block diagram showing the configuration of the second embodiment of the handwriting input / output system 1 according to the present invention. In the second embodiment, in addition to the configuration provided in the first embodiment, the image pickup device 12, the irradiation unit 13, and the light control unit 14 are further provided.

ここで、同図中の破線で示すように、撮像素子12と照射部13は撮像部7と一体であり、光制御部14はドットパターン解析部8と一体である。   Here, as indicated by a broken line in the figure, the imaging device 12 and the irradiation unit 13 are integrated with the imaging unit 7, and the light control unit 14 is integrated with the dot pattern analysis unit 8.

図4は、本発明にかかる手書き入出力システム1の第三の実施例の構成を示すブロック図である。第三の実施例では、第一の実施例が備える構成に加えて、計時部15をさらに備える。   FIG. 4 is a block diagram showing the configuration of the third embodiment of the handwriting input / output system 1 according to the present invention. In the third embodiment, in addition to the configuration provided in the first embodiment, a timer unit 15 is further provided.

ここで、同図中の破線で示すように、計時部15は軌跡認識部9と一体である。   Here, as indicated by a broken line in the figure, the timer unit 15 is integrated with the locus recognizing unit 9.

図5は、本発明にかかる手書き入出力システム1の第四の実施例の構成を示すブロック図である。第四の実施例では、第一の実施例が備える構成に加えて、角度測定部16、角度変化認識部17をさらに備える。   FIG. 5 is a block diagram showing the configuration of the fourth embodiment of the handwriting input / output system 1 according to the present invention. In the fourth embodiment, in addition to the configuration provided in the first embodiment, an angle measurement unit 16 and an angle change recognition unit 17 are further provided.

ここで、同図中の破線で示すように、角度測定部16と角度変化認識部17はドットパターン解析部8と一体である。   Here, as shown by a broken line in the figure, the angle measurement unit 16 and the angle change recognition unit 17 are integrated with the dot pattern analysis unit 8.

図6は、本発明にかかる手書き入出力システム1の第五の実施例の構成を示すブロック図である。第五の実施例では、第一の実施例が備える構成に加えて、回転角読み取り部18、回転角変化認識部19をさらに備える。   FIG. 6 is a block diagram showing the configuration of the fifth embodiment of the handwriting input / output system 1 according to the present invention. The fifth embodiment further includes a rotation angle reading unit 18 and a rotation angle change recognition unit 19 in addition to the configuration provided in the first embodiment.

ここで、同図中の破線で示すように、回転角読み取り部18と回転角変化認識部19はドットパターン解析部8と一体である。   Here, as indicated by a broken line in the figure, the rotation angle reading unit 18 and the rotation angle change recognition unit 19 are integrated with the dot pattern analysis unit 8.

図7は、本発明にかかる手書き入出力システム1の第六の実施例の構成を示すブロック図である。第禄の実施例では、第一の実施例が備える構成に加えて、音声収録部20、音声認識部21、音声出力部22をさらに備える。   FIG. 7 is a block diagram showing the configuration of the sixth embodiment of the handwriting input / output system 1 according to the present invention. In the sixth embodiment, in addition to the configuration provided in the first embodiment, a voice recording unit 20, a voice recognition unit 21, and a voice output unit 22 are further provided.

<ドットパターン ストリームドット>
次に、図8〜図13を参照しながら本発明に用いられるドットパターンである、ストリームドットの形成方法の一例について説明する。
<Dot pattern stream dot>
Next, an example of a method for forming a stream dot, which is a dot pattern used in the present invention, will be described with reference to FIGS.

図8、図9は、ストリームドットパターンを形成する工程の一例を順に示すものである。   8 and 9 sequentially show an example of a process for forming a stream dot pattern.

本発明に係るドットパターンは、従来のドットパターンとは異なり、まず工程1として媒体表面上の可視的な情報に対応して、情報を入出力させたい箇所に基準ドット101を線状に連続して複数個配置する。   The dot pattern according to the present invention is different from the conventional dot pattern. First, in step 1, corresponding to the visible information on the surface of the medium, the reference dots 101 are continuously arranged in a line at the locations where information is to be input / output. Place multiple.

図6(a)では基準ドット101を曲線状に配置しているが、基準ドット101の配置はこれに限定されるものではなく、直線と曲線を織り交ぜたり、複数の線分により構成される折れ線状にするなど、情報を入出力させる領域にあわせた形状にドットパターンを形成するための種々の変更が可能である。   In FIG. 6A, the reference dots 101 are arranged in a curved shape. However, the arrangement of the reference dots 101 is not limited to this, and is composed of a plurality of line segments interwoven with straight lines and curves. Various modifications can be made to form the dot pattern in a shape that matches the area where information is input and output, such as a polygonal line.

また、媒体表面上に可視的に形成された実在線上に基準ドット101を配置してもよいし、実在線に沿って所定の規則により基準ドット101を配置してもよい。ここでいう実在線とは仮想線に対する概念で、実際に存在している線の全てを含むものである。例えば、実線、破線、点線、直線や曲線などが挙げられ、本発明においては、線が形成される媒体(例えば映像表示装置のディスプレイ)や、線を構成する物質(例えばインク)の如何を問わない。なお、ドットパターンは、印刷やディスプレイ表示、さらに金属やプラスチック上での穴や溝等の凸凹であってもよい。   Further, the reference dot 101 may be arranged on the actual line formed visually on the medium surface, or the reference dot 101 may be arranged according to a predetermined rule along the actual line. The real line here is a concept with respect to a virtual line, and includes all the lines that actually exist. For example, a solid line, a broken line, a dotted line, a straight line, a curved line, and the like can be given. Absent. In addition, the dot pattern may be unevenness such as printing, display display, or a hole or groove on a metal or plastic.

なお、基準ドットは読取り精度向上の観点から、等間隔に配置することが望ましいが、これに限定されるものではなく、複数の間隔を混在させてドットパターンの一定情報のまとまりを定義したり、一定情報のまとまり内における3つの異なる基準ドットの配置間隔によりドットパターンの一定情報のまとまりとドットパターンの方向の両方を定義することも可能である。   In addition, it is desirable to arrange the reference dots at equal intervals from the viewpoint of improving reading accuracy, but the reference dots are not limited to this, and a plurality of intervals are mixed to define a set of constant information of the dot pattern, It is also possible to define both a set of constant information of a dot pattern and a direction of the dot pattern by arrangement intervals of three different reference dots in the set of fixed information.

次に、工程2として、線状に配置された基準ドット4を結ぶ、第一の仮想基準線102を設ける。図8(b)では第一の仮想基準線6を曲線により設けているが、第一の仮想基準線8はこれに限定されるものではなく、曲線状に配置された基準ドット101に対して直線の第一の仮想基準線102を設けてもよいし、直線状に配置された基準ドット101に対して曲線の第一の仮想基準線102を設けてもよい。すなわち、後述する工程3〜工程5における第二の仮想基準線103、仮想基準点104、情報ドット105をどの位置に配置するかによって、基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線102を自由に定義することが可能である。   Next, as step 2, a first virtual reference line 102 that connects the reference dots 4 arranged in a line is provided. In FIG. 8B, the first virtual reference line 6 is provided by a curve, but the first virtual reference line 8 is not limited to this, and the reference dots 101 arranged in a curved shape are not limited thereto. The straight first virtual reference line 102 may be provided, or the curved first virtual reference line 102 may be provided for the reference dots 101 arranged in a straight line. In other words, depending on where the second virtual reference line 103, the virtual reference point 104, and the information dot 105 in Step 3 to Step 5, which will be described later, are arranged, a first line consisting of a straight line, a broken line and / or a curve connecting the reference dots. One virtual reference line 102 can be freely defined.

なお、図10に例を示すように、曲線である場合の第一の仮想基準線102は、ベジェ曲線によることが望ましい。   As shown in FIG. 10, the first virtual reference line 102 in the case of a curve is preferably a Bezier curve.

すなわち、まず、第一の仮想基準線102上にある基準ドット101をP0、P3とし、P1、P2を与えられた制御点とする。次に、制御点を順に結んで得られる3つの線分・P0―P1、P1―P2、P2―P3・をそれぞれ1対1の比率で分割する点P4、P5、P6を求める。そして、これらの点を順に結んで得られる2つの線分・P4―P5、P5―P6・を、それぞれ1対1の比率で分割する点P7、P8を求める。   That is, first, the reference dots 101 on the first virtual reference line 102 are P0 and P3, and P1 and P2 are given control points. Next, points P4, P5, and P6 are obtained by dividing the three line segments P0-P1, P1-P2, and P2-P3 obtained by connecting the control points in order at a one-to-one ratio. Then, points P7 and P8 are obtained by dividing the two line segments P4-P5 and P5-P6 obtained by connecting these points in order at a one-to-one ratio.

最後に、この2点を結ぶ線分・P7―P8・をさらに1対1の比率で分割する点P9を求め、この点がベジェ曲線上の点となる。   Finally, a point P9 that further divides the line segment connecting the two points, P7-P8, at a ratio of 1: 1 is obtained, and this point becomes a point on the Bezier curve.

この手順を繰り返し行うことで、P0、P1、P2、P3を制御点とするベジェ曲線が得られる。   By repeating this procedure, a Bezier curve having control points P0, P1, P2, and P3 is obtained.

なお、ベジェ曲線に限らず、スプライン関数を利用して求められるスプライン曲線、n次多項式、楕円弧など、種々のアルゴリズムを用いて第一の仮想基準線102を設けてもよい。   The first virtual reference line 102 may be provided using various algorithms such as a spline curve obtained using a spline function, an nth order polynomial, an elliptic arc, and the like, not limited to a Bezier curve.

また、第二の仮想基準線103においても、第一の仮想基準線102と同様に当該方法を用いて曲線を定義することが可能である。   Also, the second virtual reference line 103 can define a curve by using the method in the same manner as the first virtual reference line 102.

次に、工程3として、線状に配置された基準ドット101および/または第一の仮想基準線102から所定の位置に定義される第二の仮想基準線103を設ける。図8(c)では第二の仮想基準線103を、隣り合う基準ドット101の中間点における第一の仮想基準線102の接線に対して垂直線上の所定位置に向かって、隣り合う基準ドット101から任意の角度をもって設けているが、第二の仮想基準線103はこれに限定されるものではなく、後に示すようにドットパターンにより情報を入出力させたい領域に合わせて仮想基準点を設けるために、種々の方法により定義することが可能である。   Next, as Step 3, a second virtual reference line 103 defined at a predetermined position from the reference dots 101 and / or the first virtual reference line 102 arranged in a line is provided. In FIG. 8C, the second virtual reference line 103 is adjacent to the reference dot 101 adjacent to the predetermined position on the vertical line with respect to the tangent line of the first virtual reference line 102 at the midpoint between the adjacent reference dots 101. However, the second virtual reference line 103 is not limited to this, and a virtual reference point is provided in accordance with an area in which information is input / output by a dot pattern as will be described later. In addition, it can be defined by various methods.

また、第一の仮想基準線102に対して片側のみに第二の仮想基準線103を設けてドットパターンの方向を定義してもよいし、情報量を増やすために両側各々に設けてもよい。   In addition, the second virtual reference line 103 may be provided only on one side with respect to the first virtual reference line 102 to define the direction of the dot pattern, or may be provided on both sides to increase the amount of information. .

次に、工程4として、第二の仮想基準線7上の所定の位置に複数の仮想基準点104を設ける。図9(a)では仮想基準点104を、第二の仮想基準線103の交点、すなわち隣り合う基準ドット101を結んだ直線を底辺とし、第二の仮想基準線103を対辺とする二等辺三角形の頂点に設けているが、仮想基準点74の位置はこれに限定されるものではなく、第二の仮想基準線103の中点に設けたり、第二の仮想基準線103上に代えて基準ドット101上に設けるなど、種々の変更が可能である。   Next, as step 4, a plurality of virtual reference points 104 are provided at predetermined positions on the second virtual reference line 7. In FIG. 9A, the virtual reference point 104 is an isosceles triangle having the intersection of the second virtual reference line 103, that is, a straight line connecting adjacent reference dots 101 as a base and the second virtual reference line 103 as an opposite side. However, the position of the virtual reference point 74 is not limited to this, and it is provided at the midpoint of the second virtual reference line 103 or instead of the second virtual reference line 103. Various modifications such as provision on the dots 101 are possible.

そして、工程5として、仮想基準点104を始点としてベクトルにより表現した終点に情報ドット105を配置する。図9(b)では情報ドット105を、仮想基準点104からのベクトル方向を8方向、仮想基準点104からの距離が等距離となるよう、一個の仮想基準点104に対し1個配置しているが、情報ドット105の配置はこれに限定されるものではなく、仮想基準点104上に配置したり、ベクトル方向を16方向として配置したり、一個の仮想基準点104に対し2個配置するなど、任意の方向に任意の長さに、複数配置することが可能である。
図11はドットパターンの情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。
情報ドット105は種々の情報を認識させるドットである。この情報ドット105は、仮想基準点106を始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット105は、図9に示すように、その仮想基準点106から0.1mm離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に45度ずつ回転させて8方向に配置し、3ビットを表現している。
In step 5, the information dot 105 is arranged at the end point represented by a vector with the virtual reference point 104 as the start point. In FIG. 9B, one information dot 105 is arranged for one virtual reference point 104 so that the vector direction from the virtual reference point 104 is eight directions and the distance from the virtual reference point 104 is equal. However, the arrangement of the information dots 105 is not limited to this, and is arranged on the virtual reference point 104, the vector direction is set to 16 directions, or two are arranged for one virtual reference point 104. It is possible to arrange a plurality of elements in any direction and in any length.
FIG. 11 is an enlarged view showing an example of dot display information dots and bit display of data defined therein.
The information dot 105 is a dot for recognizing various information. The information dot 105 is arranged at the end point expressed by a vector with the virtual reference point 106 as the start point. For example, as shown in FIG. 9, this information dot 105 is rotated by 45 degrees clockwise because a dot 0.1 mm away from the virtual reference point 106 has a direction and a length expressed by a vector. These are arranged in 8 directions to represent 3 bits.

なお、図示例では8方向に配置して3ビットを表現しているが、これに限定されずに、16方向に配置して4ビットを表現することも可能であり、任意の方向に任意の長さに配置できることはもちろんである。   In the illustrated example, 3 bits are expressed by arranging in 8 directions, but the present invention is not limited to this, and 4 bits can be expressed by arranging in 16 directions. Of course, it can be arranged in length.

さらに、図9(b)では全ての仮想基準点5において、この仮想基準点106を始点としてその終点位置に情報ドット105を配置したが、これに限定されることなく、仮想基準点上にドットが配置されているか否かで情報を定義するようにしてもよい。たとえば仮想基準点上にドットが配置されていれば「1」、配置されていなければ「0」というように情報を定義することができる。
図12は情報ドットおよびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
Further, in FIG. 9B, in all the virtual reference points 5, the information dot 105 is arranged at the end position starting from the virtual reference point 106. However, the dot is not limited to this and is not limited to this. Information may be defined depending on whether or not is arranged. For example, information can be defined as “1” if a dot is arranged on a virtual reference point, and “0” if no dot is arranged.
FIG. 12 is an example of the information dot and the bit display of the data defined therein, and shows another form.

また、情報ドット105について基準ドット101から導き出された仮想基準点106から短(図12の上段)・長(図12の下段)の2種類を使用し、ベクトル方向を8方向とすると、4ビットを表現することができる。このとき、長い方が隣接する仮想基準点5間の距離の25〜30%程度、短い方は15〜20%程度が望ましい。ただし、長・短の情報ドット3の中心間隔は、これらのドットの径より長くなることが望ましい。   Further, regarding the information dot 105, two types of short (upper part in FIG. 12) and long (lower part in FIG. 12) are used from the virtual reference point 106 derived from the reference dot 101, and the vector direction is eight directions, then 4 bits. Can be expressed. At this time, it is desirable that the longer one is about 25-30% of the distance between the adjacent virtual reference points 5, and the shorter one is about 15-20%. However, it is desirable that the center interval between the long and short information dots 3 is longer than the diameter of these dots.

情報ドット3は、その見栄えを考慮し、1ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、1ベクトル毎に、1ビットを割り当てて情報ドット3を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円8方向のベクトルでは、基準ドット4から定義された情報ドット3で2の情報を表現でき、1の一定情報のまとまりの情報ドット8個で264となる。 The information dot 3 is preferably one dot in consideration of its appearance. However, if the appearance is ignored and the amount of information is to be increased, a large amount of information can be obtained by assigning 1 bit to each vector and expressing the information dot 3 with a plurality of dots. For example, the vector of concentric eight directions, an information dot 3 defined from the reference dots 4 can represent information of 2 8, and 2 64 in chunks of the information dot eight constant information 1.

このように、本発明に係るストリームドットパターンは、本発明者が提唱している従来のドットパターンでは2次元的に格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。   As described above, the stream dot pattern according to the present invention is continuous with a line including a curve unlike the reference dot formed in a two-dimensional lattice pattern in the conventional dot pattern proposed by the present inventor. Are formed based on the reference dots arranged in this manner.

図13は、ストリームドットパターンを上下方向に並べた状態の一例について示す図である。   FIG. 13 is a diagram illustrating an example of a state where stream dot patterns are arranged in the vertical direction.

同図では、基準ドット、情報ドットの他に、キードットおよびサイドドットを配置している。キードットは、一定情報のまとまりの両端に配置されたドットである。このキードットは、ひとまとまりの情報ドット群を表す1領域分のドットパターン1の代表点である。サイドドットは、キードット2のずれの正負の延長線上に配置されたドットである。   In the figure, in addition to the reference dots and information dots, key dots and side dots are arranged. Key dots are dots arranged at both ends of a set of fixed information. This key dot is a representative point of the dot pattern 1 for one region representing a group of information dots. The side dots are dots arranged on the positive and negative extension lines of the shift of the key dot 2.

同図(b)は、基準ドットおよびストリームドットパターンを等間隔に並べている。このように、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が書き込み領域に隙間なく定義され軌跡情報を生成することができ手書き入力が可能となる。しかし、本発明に係るストリームドットパターンはこれに限らず、同図(a)に示すように、ドットパターン同士の間隔を任意に設定してよい。また、基準ドット同士の間隔も、任意に設定することができる。   In FIG. 6B, reference dots and stream dot patterns are arranged at equal intervals. In this way, by forming a plurality of stream dot patterns with a fixed reference point interval, XY coordinate values are defined without any gaps in the writing area, and trajectory information can be generated, enabling handwritten input. However, the stream dot pattern according to the present invention is not limited to this, and the interval between the dot patterns may be arbitrarily set as shown in FIG. Also, the interval between the reference dots can be set arbitrarily.

これにより、XY座標が定義されたドットパターンを2次元コードとして形成される際(インデックスとして使用)の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。   As a result, the dot pattern in which the XY coordinates are defined is formed in the information area visually formed on the medium surface without being restricted by the shape of the rectangular area when used as a two-dimensional code (used as an index). It is possible to form a dot pattern by repeating a set of constant information in a combined free shape.

なお、本発明に係る仮想基準線及び仮想基準点は、実際に媒体表面上に印刷形成されるわけではなく、あくまでコンピュータの画像メモリ上に、ドットパターンの配置の際、またはドットパターンの読み取りの際に仮想的に設定されるものである。   Note that the virtual reference line and the virtual reference point according to the present invention are not actually printed and formed on the surface of the medium, but only when the dot pattern is arranged on the image memory of the computer or when the dot pattern is read. Is set virtually.

このストリームドットパターンを用いることで、地球儀を初めとする曲面体や、人体模型、立体地図などの三次元造形物にもドットパターンを形成することができ、平面地図や絵本等に限らず本発明に係る入出力装置を利用することが可能となる。   By using this stream dot pattern, it is possible to form a dot pattern on a curved surface body such as a globe, a three-dimensional structure such as a human body model, a three-dimensional map, etc., and the present invention is not limited to a planar map or picture book. It is possible to use the input / output device according to the above.

<ストリームドットパターンのフォーマットの説明>
図14は、本発明にかかる手書き入出力システム1において媒体2に形成されるドットパターンのフォーマットについて説明する図である。
<Description of stream dot pattern format>
FIG. 14 is a diagram for explaining the format of the dot pattern formed on the medium 2 in the handwriting input / output system 1 according to the present invention.

同図(d)に示すように、ドットパターンは、一定情報のまとまりが定義された情報ドット2行×5列のユニット領域で構成されたドットパターンであり、このユニット内でC〜C29に区画されている。各領域のドットコードフォーマットを示したものが(a)〜(c)である。 As shown in FIG. 4D, the dot pattern is a dot pattern composed of unit areas of 2 rows × 5 columns of information dots in which a set of constant information is defined, and C 0 to C 29 in this unit. It is divided into. The dot code format of each area is shown in (a) to (c).

図14(a)は、ページコードとX座標とY座標が登録されているフォーマットである。ページコードとは、媒体2が冊子状になっている場合等において、媒体2のページ数を意味するものであり、X座標およびY座標は、それぞれ、媒体上における位置(座標値)を意味するものである。これにより、ユーザがスキャナ3で媒体2を読み取ると、その媒体のページ数および読み取った箇所の座標位置が一度の読み取り操作で同時に認識される。   FIG. 14A shows a format in which a page code, an X coordinate, and a Y coordinate are registered. The page code means the number of pages of the medium 2 when the medium 2 is in a booklet shape, and the X coordinate and the Y coordinate mean positions (coordinate values) on the medium, respectively. Is. Thus, when the user reads the medium 2 with the scanner 3, the number of pages of the medium and the coordinate position of the read portion are simultaneously recognized by one reading operation.

同図(b)は、ページコードとアクションコードとX座標とY座標が登録されているフォーマットである。アクションコードとは、操作指示を意味するものである。例えば、当該ページに設けられた「拡大」「縮小」等の操作を意味するアイコンが描かれている領域内だけに定義されたもので、主に後述するアイコン領域に用いられるドットパターンに含まれている。また、アクションコードが当該ページの書き込み領域全面に定義され、手書き入力中または手書き入力後に必要な処理を行う場合には、アクションコードにその命令処理を関連付けし実行してもよい。例えば、命令処理は手書き入力中または手書き入力後に文字認識したり、他の情報処理装置に送信したりする処理をいう。なお、ここでは、ページコードとしての利用を述べたが、()内の特定書き込み領域コードは、1面の媒体面内に複数設けてもよく、それらの書き込み領域をユニークなコードで定義することにより、瞬時に何処に書き込まれているかが判断できる。勿論、ページコードに併せて定義して、何ページのどの特定書き込み領域かを判断できるようにしてもよい。さらに、手書き入力される内容が所定のカテゴリーに属する場合、そのカテゴリーの辞書との照合により認識率は格段に向上する。この手書き入力される内容は、文字だけでなく記号やイラストであってもよいことは言うまでもない。勿論、アクションコードも、同様に特定書き込み領域コードに併せて定義し命令処理を実行してもよい。   FIG. 5B shows a format in which page code, action code, X coordinate and Y coordinate are registered. The action code means an operation instruction. For example, it is defined only in the area where icons indicating operations such as “enlarge” and “reduce” provided on the page are drawn, and is mainly included in the dot pattern used for the icon area described later. ing. When an action code is defined over the entire writing area of the page and necessary processing is performed during or after handwriting input, the command processing may be associated with the action code and executed. For example, the command processing refers to processing for recognizing characters during handwriting input or after handwriting input, or transmitting to another information processing apparatus. Although the use as a page code has been described here, a plurality of specific write area codes in parentheses may be provided in one medium surface, and these write areas must be defined by unique codes. This makes it possible to determine where the data is written instantaneously. Of course, it may be defined together with the page code so that it can be determined which specific write area of which page. Furthermore, when the content input by handwriting belongs to a predetermined category, the recognition rate is remarkably improved by collation with the dictionary of the category. Needless to say, the contents input by handwriting may be not only characters but also symbols and illustrations. Of course, the action code may be defined together with the specific write area code and the instruction process may be executed.

同図(c)は、書き込み領域フラグを設けることにより、撮像手段で媒体面に形成されたドットパターンを撮像し、ドットパターン解析部8で解析すれば、直ちに書き込み領域であるか否かがわかり、書き込み領域でなければ、そのコード値および/または座標値に関連付けられた情報の出力および/または命令処理を実行し、書き込み領域であれば軌跡認識手段により手書き入力の所定の処理を実行する。この書き込み領域フラグは、同図(a)、(b)のページコード(特定書き込み領域コード)やアクションコードを併設してもよいことは勿論である。   In FIG. 5C, by providing a writing area flag, if the dot pattern formed on the medium surface is imaged by the imaging means and analyzed by the dot pattern analysis unit 8, it can be immediately determined whether the area is the writing area. If it is not the writing area, information output and / or command processing associated with the code value and / or coordinate value is executed, and if it is the writing area, predetermined processing of handwriting input is executed by the locus recognition means. Of course, this write area flag may be accompanied by the page code (specific write area code) and action code shown in FIGS.

このように、本発明のドットパターンは、ページコードやアクションコード等、種々のコード情報とXY座標を一つのフォーマットに登録することができる。また、その他にも、XY座標のみ、あるいはコード情報のみを登録することもでき、柔軟性に富んだフォーマットが可能である。   Thus, the dot pattern of the present invention can register various code information such as page code and action code and XY coordinates in one format. In addition, it is possible to register only XY coordinates or only code information, and a flexible format is possible.

<撮像部>
図15〜28は、本発明にかかる手書き入出力システム1に用いる撮像部7を説明する図である。
<Imaging unit>
FIGS. 15-28 is a figure explaining the imaging part 7 used for the handwriting input / output system 1 concerning this invention.

なお、撮像部7は人が手に持つのに適した大きさ、形状であることが好ましく、中でも図15のようにペン型の形状をしていることが最も好ましい。   The imaging unit 7 preferably has a size and shape suitable for a person to hold, and most preferably has a pen shape as shown in FIG.

同図(a)はペン型の形状をした撮像部7の最も基本的な実施形態を示す図である。かかる実施形態においては、指示用突起部23、送信部24が設けられており、図示しないC−MOSセンサ等が概ねペンの軸線上に内蔵されている。送信部24は撮像部7が赤外線通信、無線通信等の方法を用いて他の部材に信号を送信するためのものであり、説明の便宜を図るため図示したが、実際には必ずしも外観上見える位置に設ける必要はない。   FIG. 2A is a diagram showing the most basic embodiment of the imaging unit 7 having a pen shape. In this embodiment, an instruction projection 23 and a transmission unit 24 are provided, and a C-MOS sensor or the like (not shown) is generally built on the axis of the pen. The transmission unit 24 is used for the imaging unit 7 to transmit signals to other members using a method such as infrared communication or wireless communication, and is illustrated for convenience of explanation. It is not necessary to provide it at the position.

同図(b)はペン型の形状をした撮像部7の他の実施形態を示す図である。かかる実施形態においては、ユーザによる操作を受け付ける2つのボタンが設けられている。かかる2つのボタンは送信ボタン25と、再送信ボタン26であり、ユーザは撮像部7から他の部材に信号を送るようボタン操作により指示することができる。ここで、再送信ボタン26とは、送信ボタン25による信号の送信が遮蔽物の存在等により受信先の部材へ送信することができなかった場合に同じ信号を再度送信するのに用いる。   FIG. 6B is a diagram showing another embodiment of the imaging unit 7 having a pen shape. In such an embodiment, two buttons for accepting an operation by the user are provided. These two buttons are a send button 25 and a re-send button 26, and the user can instruct the user to send a signal from the imaging unit 7 to another member. Here, the retransmission button 26 is used to transmit the same signal again when the transmission of the signal by the transmission button 25 cannot be transmitted to the receiving member due to the presence of a shielding object or the like.

同図(c)はペン型の形状をした撮像部7の他の実施形態を示す図である。かかる実施形態においては、ユーザによる音声入力を受け付けるマイク27と、音声再生ボタン28がさらに設けられている。マイク27は、後述する音声認識に用いる音声を収録するために用い、音声再生ボタン28は、後述する音声ガイドを再生するために用いる。   FIG. 8C is a diagram showing another embodiment of the imaging unit 7 having a pen shape. In such an embodiment, a microphone 27 for receiving voice input by the user and a voice playback button 28 are further provided. The microphone 27 is used for recording voice used for voice recognition described later, and the voice playback button 28 is used for playing back a voice guide described later.

同図(d)はペン型の形状をした撮像部7の他の実施形態を示す図である。かかる実施形態においては、指示用突起部23の内部空間にペン29が格納されており、ペン格納ボタン30を押すことにより、ペン29が出る。   FIG. 4D is a diagram showing another embodiment of the imaging unit 7 having a pen shape. In this embodiment, the pen 29 is stored in the internal space of the instruction projection 23, and the pen 29 comes out when the pen storage button 30 is pressed.

図16は、本発明にかかる手書き入出力システム1を構成する撮像部7の実施例の一つであるペン型スキャナ31の先端部を示す断面図である。かかるペン型スキャナ31は、内部に中空部が形成され、その先端に開口部を有するライトガイド32と、このライトガイド32の開口部を臨む位置に配置されたレンズ33と、このレンズ33と同一面上に配置され、ドットパターンが形成された媒体面に所定波長の光を照射する光源としてのLED34(照射部13)と、レンズ33から後退した位置に配置されたC−MOSセンサ35(撮像素子12)と、さらに後退した位置にPCB36とそれに設置される図示しないCPUとを備えている。ライトガイド32の中空部は、レンズ33から開口部に向かって次第に大径となるテーパ状に形成されている。ここで、CPUは先述のドットパターン解析部8、軌跡認識部9、処理命令部10、情報処理部11、のいずれかまたは全ての役割を持つ。   FIG. 16 is a cross-sectional view showing the tip of a pen-type scanner 31 that is one embodiment of the image pickup unit 7 constituting the handwriting input / output system 1 according to the present invention. The pen type scanner 31 has a hollow portion formed therein, a light guide 32 having an opening at the tip thereof, a lens 33 disposed at a position facing the opening of the light guide 32, and the lens 33. An LED 34 (irradiation unit 13) serving as a light source for irradiating light of a predetermined wavelength onto the medium surface on which the dot pattern is formed, and a C-MOS sensor 35 (imaging) disposed at a position retracted from the lens 33. The device 12) is provided with a PCB 36 and a CPU (not shown) installed in the PCB 36 at a further retracted position. The hollow portion of the light guide 32 is formed in a tapered shape that gradually increases in diameter from the lens 33 toward the opening. Here, the CPU has one or all of the roles of the dot pattern analysis unit 8, the locus recognition unit 9, the processing command unit 10, and the information processing unit 11 described above.

ライトガイド32は、透明または乳白色の樹脂製であり、その内部が導光路として機能する。LED34からの照射光は、ライトガイド32の内部を進行し、前記開口部より媒体2に対して照射される。ライトガイド32が乳白色の樹脂製である場合は、LED34からの照射光は、ライトガイド32内を進行する際、適度に拡散されるので、開口部から媒体2を照射する光をより均一にすることが出来る。   The light guide 32 is made of transparent or milky white resin, and the inside functions as a light guide. Irradiation light from the LED 34 travels inside the light guide 32 and is irradiated to the medium 2 from the opening. When the light guide 32 is made of milky white resin, the light emitted from the LED 34 is appropriately diffused when traveling through the light guide 32, so that the light irradiating the medium 2 from the opening is made more uniform. I can do it.

<ペンの装着>
また、ペン型スキャナ31は、筆記具としてのペン37が装着されている。通常ペン等の筆記具で印字する際は、傾斜させた状態で用いるため、ペン型スキャナ31の外周は、45度まで傾斜可能になるように形成されている。この場合、ペン37の先端近傍の媒体面を撮像することにより、撮像中心から離れた位置のペン37の印字の際の筆跡や移動距離等を正確に解析することも可能となる。また、後述するオフセット補正により、筆跡をさらに正確に解析することが可能である。
<Attaching the pen>
The pen-type scanner 31 is equipped with a pen 37 as a writing instrument. When printing with a writing instrument such as a normal pen, the outer periphery of the pen-type scanner 31 is formed to be tiltable up to 45 degrees because it is used in an inclined state. In this case, by picking up an image of the medium surface near the tip of the pen 37, it becomes possible to accurately analyze the handwriting, the moving distance, and the like when printing the pen 37 at a position away from the image pickup center. Further, the handwriting can be analyzed more accurately by offset correction described later.

筆記具としてのペン37は、種々の方法により格納して、媒体上に筆跡を残さないようにすることも可能である。格納する方法は、一般的なボールペンなどのペンにおいて用いられている技術をそのまま利用できる。たとえば、ノック式、回転式による格納方法を採用してもよいし、キャップを被せてもよい。   The pen 37 as a writing instrument can be stored by various methods so as not to leave a handwriting on the medium. As a storing method, a technique used in a general pen such as a ballpoint pen can be used as it is. For example, a knock type or rotary type storage method may be employed, or a cap may be put on.

また、一般的な三色ボールペンのようにペンを換えられるようにすることもできる。この場合、色の異なるペン同士を換えるだけでなく、ペンに代えて消しゴムや修正液が使えるようにしてもよい。   Also, the pen can be changed like a general three-color ballpoint pen. In this case, not only the pens of different colors may be replaced, but an eraser or a correction liquid may be used instead of the pen.

さらに、ペン37に代えて指示用突起部23(スタイラスペン)を設け、指示用突起部23の筆跡近傍を撮像するものとしてもよい。指示用突起部23内に格納スペースを設けてペン37を格納して、指示用突起部としても使用してよい。   Furthermore, instead of the pen 37, an instruction projection 23 (stylus pen) may be provided to image the vicinity of the handwriting of the instruction projection 23. A storage space may be provided in the instruction projection 23 and the pen 37 may be stored to be used as an instruction projection.

<オフセット補正>
図17(a)に示すように、ペン型スキャナ31において、撮像部7が撮像するドットパターンが定義するXY座標値と、ペン37が実際に書き込む軌跡上のドットパターンが定義するXY座標値は異なる。さらに、軌跡上のドットパターンが定義するXY座標値は、媒体面上の書き込み領域におけるxy座標値に変換して、書き込み入力や操作指示を行う必要がある。
<Offset correction>
As shown in FIG. 17A, in the pen-type scanner 31, the XY coordinate value defined by the dot pattern captured by the imaging unit 7 and the XY coordinate value defined by the dot pattern on the locus actually written by the pen 37 are Different. Furthermore, the XY coordinate value defined by the dot pattern on the locus needs to be converted into the xy coordinate value in the writing area on the medium surface to perform writing input and operation instruction.

本発明にかかる手書き入出力システム1においては、撮像部7が撮像するドットパターンのXY座標値を、ペン37が実際に書き込む軌跡上のドットパターンを補正する方法と、ドットパターン座標系のXY座標値から書き込み領域座標系のxy座標値への変換方法を以下に説明する。   In the handwriting input / output system 1 according to the present invention, a method for correcting the dot pattern on the locus that the pen 37 actually writes the XY coordinate value of the dot pattern imaged by the imaging unit 7, and the XY coordinate of the dot pattern coordinate system A method for converting the value into the xy coordinate value of the writing area coordinate system will be described below.

<書き込み領域の座標系とドットパターンの座標系の関係>
図17に書き込み領域の一例を示す。
<Relationship between writing area coordinate system and dot pattern coordinate system>
FIG. 17 shows an example of the write area.

書き込み領域座標系は左下隅を(0,0)とする。書き込み領域のxy座標値は、mm表示とする。例えば、(16,40)の座標位置であれば、書き込み領域の左下隅から右へ16mm、上へ40mm移動した位置を示す。   In the writing area coordinate system, the lower left corner is (0,0). The xy coordinate value of the writing area is expressed in mm. For example, a coordinate position of (16, 40) indicates a position moved 16 mm to the right and 40 mm upward from the lower left corner of the writing area.

書き込み領域内には、図13と図14に示すように少なくともドットパターン座標系のXY座標値を1組定義したドットパターンのユニットが連続して形成されている。XY座標値は、ユニットの中心点の位置を示す。ドットパターン座標系の座標値を書き込み領域座標系の座標値と区別するため、〔X,Y〕と表す。上記ユニットとは、一定情報のまとまりが定義されたストリームドットを言い、線状に配置された基準ドットを結ぶ、第一の仮想基準線の中心をユニットの中心とする。   In the writing area, as shown in FIGS. 13 and 14, dot pattern units in which at least one set of XY coordinate values of the dot pattern coordinate system is defined are continuously formed. The XY coordinate value indicates the position of the center point of the unit. In order to distinguish the coordinate value of the dot pattern coordinate system from the coordinate value of the writing area coordinate system, it is expressed as [X, Y]. The unit is a stream dot in which a set of constant information is defined, and the center of the first virtual reference line connecting the reference dots arranged in a line is the center of the unit.

書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのユニットの左下隅と原点(0,0)を一致させると、ドットパターン座標系におけるXY座標値は、図18のように、どの書き込み領域でも左下隅が〔-0.5,-0.5〕となるようにドットパターンが形成される。この場合は、各書き込み領域に形成されたドットパターンには、固有のコード値を定義して各書き込み領域を特定する。互いに特定する必要のない場合は、同一のコード値を定義してもよい。   If the lower left corner of the writing area is the origin (0,0) of the coordinate system, and the lower left corner of the dot pattern unit with [0,0] defined matches the origin (0,0), the XY in the dot pattern coordinate system As shown in FIG. 18, a dot pattern is formed so that the lower left corner is [−0.5, −0.5] in any writing area as shown in FIG. In this case, a unique code value is defined for the dot pattern formed in each writing area, and each writing area is specified. If there is no need to specify each other, the same code value may be defined.

また、図20のように、紙面全面にXY座標値を定義したドットパターンを形成し、書き込み領域には、上記XY座標値の他、固有のコード値を定義する。この場合、書き込み領域の左下隅のXY座標値は、〔Xn0,Yn0〕(nは書き込み領域を特定する番号)となる。   Further, as shown in FIG. 20, a dot pattern in which XY coordinate values are defined is formed on the entire surface of the paper, and a unique code value is defined in the writing area in addition to the XY coordinate values. In this case, the XY coordinate value of the lower left corner of the writing area is [Xn0, Yn0] (n is a number specifying the writing area).

次に、各ユニットの一辺をLmmとすると、XY座標値は以下のように書き込み領域座標系に変換する。   Next, assuming that one side of each unit is Lmm, the XY coordinate values are converted into the writing area coordinate system as follows.

図18のように、原点(0,0)のXY座標値を〔-0.5,-0.5〕としてドットパターンを形成した場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域座標系では、
(X×L+L/2, Y×L+L/2)となる。
As shown in FIG. 18, when a dot pattern is formed with the XY coordinate value of the origin (0,0) set to [−0.5, −0.5], the coordinates [X, Y] in the dot pattern coordinate system are the writing area coordinate system. Then
(X × L + L / 2, Y × L + L / 2).

なお、図19のように、書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのユニットの中心点と原点を一致させると、
(X×L, Y×L)となる。
As shown in FIG. 19, when the lower left corner of the writing area is the origin (0,0) of the coordinate system and the center point of the dot pattern unit defining [0,0] is made to coincide with the origin,
(X × L, Y × L).

なお、図19の例における書き込み領域座標系とドットパターン座標系との関係は、図17の拡大図部分の例と同じである。   Note that the relationship between the writing area coordinate system and the dot pattern coordinate system in the example of FIG. 19 is the same as the example of the enlarged view portion of FIG.

図20のように、書き込み領域の左下隅のXY座標値が〔Xn0,Yn0〕となる場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域n座標系では、
((X−Xn0)×L,(Y−Yn0)×L) となる。
As shown in FIG. 20, when the XY coordinate value of the lower left corner of the writing area is [Xn0, Yn0], the coordinates [X, Y] in the dot pattern coordinate system are
((X−Xn0) × L, (Y−Yn0) × L).

<撮像中心Cのドットパターン座標系におけるXY座標値〔Xc,Yc〕の算出>
図21を用いて、撮像中心CのXY座標値〔Xc,Yc〕の算出方法を説明する。
撮像画像を所定の解像度のフレームバッファに一時記憶し、画像解析することにより、隣り合うユニットの中心間隔を構成するピクセル数Mを求める。ユニットの中心間隔は、ユニットの一辺の長さLに等しいので、Lに対する撮像画像の1ピクセル当たりのサイズを、ドットパターン座標系での値kとすると、
k=L/Mとなる。
<Calculation of XY coordinate values [Xc, Yc] in the dot pattern coordinate system of the imaging center C>
A method of calculating the XY coordinate values [Xc, Yc] of the imaging center C will be described with reference to FIG.
The captured image is temporarily stored in a frame buffer having a predetermined resolution, and image analysis is performed to obtain the number M of pixels constituting the center interval between adjacent units. Since the center interval of the unit is equal to the length L of one side of the unit, if the size per pixel of the captured image with respect to L is a value k in the dot pattern coordinate system,
k = L / M.

同じく画像解析により、撮像中心Cから最も近いユニット中心P〔Xp,Yp〕と、撮像中心Cとの間隔を構成するピクセル数uが求まる。撮像中心Cから、撮像中心から最も近いユニット中心Pまでの距離CPは、
CP=k×uとなる。
Similarly, by image analysis, the number u of pixels constituting the interval between the unit center P [Xp, Yp] closest to the imaging center C and the imaging center C is obtained. The distance CP from the imaging center C to the nearest unit center P is
CP = k × u.

次に、ドットパターンの向き(書き込み領域の向き)が書き込み領域の上方向になるようにドットパターンが紙面に形成されている場合、ドットパターンの向きとPCベクトルとのなす角をθ'(左回転を正の方向とする)とすると、
〔Xc,Yc〕=〔Xp−CP×sinθ', Yp+CP×cosθ'〕
が求まる。
Next, when the dot pattern is formed on the paper so that the direction of the dot pattern (the direction of the writing area) is the upward direction of the writing area, the angle between the direction of the dot pattern and the PC vector is θ ′ (left Rotation is positive direction)
[Xc, Yc] = [Xp-CP × sinθ ′, Yp + CP × cosθ ′]
Is obtained.

<ペン先の書き込み領域座標系におけるxy座標値Q(xq,yq)の算出(ペンが紙面に対し垂直な場合)>
図22のように、書き込み領域座標系における撮像中心Cの座標値を(xc,yc)、ペン先の媒体面における座標値をQ(xq,yq)とする。図23のように、点Cと点Qのx座標値、y座標値の差分を、それぞれΔxq、Δyqとすると、
Δxq =xq −xc
Δyq=yq−yc
が求まる。
<Calculation of xy coordinate value Q (xq, yq) in the writing area coordinate system of the pen tip (when the pen is perpendicular to the paper surface)>
As shown in FIG. 22, the coordinate value of the imaging center C in the writing area coordinate system is (xc, yc), and the coordinate value on the medium surface of the pen tip is Q (xq, yq). As shown in FIG. 23, when the difference between the x-coordinate value and the y-coordinate value of the point C and the point Q is Δxq and Δyq, respectively,
Δxq = xq −xc
Δyq = yq−yc
Is obtained.

ドットパターンの向きが書き込み領域上方向になるように、ドットパターンが形成されている場合に、撮像中心Cを始点とし、ペン先を終点とするCQベクトルの向きをペン型スキャナ31の向きとする。   When the dot pattern is formed so that the direction of the dot pattern is in the upward direction of the writing area, the direction of the CQ vector starting from the imaging center C and ending at the pen tip is the direction of the pen scanner 31. .

ドットパターンの向きとペン型スキャナ31の向きのなす角をθ(左回転を正の方向とする)とする。   An angle formed by the direction of the dot pattern and the direction of the pen-type scanner 31 is θ (left rotation is a positive direction).

また、図24のように、ペン型スキャナ31が紙面に対し垂直な状態での、撮像中心Cからペン先Qまでの距離をsとすると、
Δxq およびΔyqは、
Δxq =−s×sinθ
Δyq=s×cosθ
となる。
Further, as shown in FIG. 24, when the distance from the imaging center C to the pen tip Q in a state where the pen type scanner 31 is perpendicular to the paper surface is s,
Δxq and Δyq are
Δxq = −s × sinθ
Δyq = s × cosθ
It becomes.

従って、xqおよびyqは、
xq =xc −s×sinθ
yq=yc+s×cosθ
となる。
Therefore, xq and yq are
xq = xc −s × sinθ
yq = yc + s × cosθ
It becomes.

<ペン先の書き込み領域座標系におけるxy座標値Q'(xq',yq')の算出(ペンが紙面に対し傾いている場合)>
図25のように、ペン型スキャナ31が紙面に対し傾いている場合、前述の撮像中心Cからペン先Qまでの距離が変化する。
<Calculation of xy coordinate value Q '(xq', yq ') in the writing area coordinate system of the pen tip (when the pen is inclined with respect to the paper surface)>
As shown in FIG. 25, when the pen-type scanner 31 is inclined with respect to the paper surface, the distance from the imaging center C to the pen tip Q changes.

ペン型スキャナ31本体の紙面の法線方向からの傾き(以下、「ペンの傾き」という。)をαとしたときの、撮像中心からペン先までの距離をs'とすると、前記の式はs→s'と置き換えられ、
xq' =xc −s'×sinθ
yq'=yc+s'×cosθ
となる。
When the inclination from the normal direction of the paper surface of the pen-type scanner 31 body (hereinafter referred to as “pen inclination”) is α, and the distance from the imaging center to the pen tip is s ′, the above equation is replaced by s → s'
xq '= xc -s' x sinθ
yq '= yc + s' × cosθ
It becomes.

また、
s'=s/cosα
であるので、これを当該式に代入すると、
xq' =xc −s'×sinθ/ cosα
yq'=yc+s'×cosθ/ cosα
となる。
Also,
s' = s / cosα
Therefore, if this is substituted into the formula,
xq '= xc-s' × sinθ / cosα
yq '= yc + s' × cosθ / cosα
It becomes.

<ペン先がペン本体に収納された状態で利用する場合の撮像中心からペン先までの距離>
なお、図26のように、ペン先が格納されると、ΔLだけペン型スキャナ31が紙面に近づくがsおよびs'には影響を及ぼすものではなく、計算式は同一となる。
<Distance from the imaging center to the pen tip when the pen tip is stored in the pen body>
As shown in FIG. 26, when the pen tip is stored, the pen-type scanner 31 approaches the paper surface by ΔL, but does not affect s and s ′, and the calculation formula is the same.

<ペンの傾きαの算出方法>
ペンの傾きαを検出するには、ペン本体に傾きセンサなどの傾き計測手段を設けても良い。
<Calculation method of pen inclination α>
In order to detect the pen inclination α, the pen body may be provided with an inclination measuring means such as an inclination sensor.

または、撮像画像の所定複数p箇所の明るさBLi,j=1,pを求め、最も明るい箇所と最も暗い箇所の明るさの差ΔBLを用いて関係式α=f(ΔBL)からペンの傾きαを求めることもできる。   Alternatively, the brightness BLi, j = 1, p of a plurality of predetermined p positions in the captured image is obtained, and the pen inclination is calculated from the relational expression α = f (ΔBL) using the difference ΔBL in brightness between the brightest and darkest areas. α can also be obtained.

α=f(BLi,j=1,p)のようにBLi,jをパラメータとして、フーリエ関数やsin関数を用いてαを求めることもできる。   α can also be obtained using a Fourier function or a sin function using BLi, j as a parameter, such as α = f (BLi, j = 1, p).

また、ΔBLとαを対応させるテーブルを予め作成し、αを算定してもよい。なお、ペンを傾けた方向は、BLi,j=1,pの最も暗い箇所から、最も明るい箇所の方向を計測することにより求まる。   Alternatively, a table that associates ΔBL with α may be created in advance, and α may be calculated. The direction in which the pen is tilted can be obtained by measuring the direction of the brightest part from the darkest part of BLi, j = 1, p.

<媒体2>
図27〜40は、本発明にかかる手書き入出力システム1に用いる媒体2を説明する図である。
<Medium 2>
FIGS. 27-40 is a figure explaining the medium 2 used for the handwriting input / output system 1 concerning this invention.

図27は、表面全体にドットパターンを印刷(形成)して書き込み領域とした媒体2を示す図である。   FIG. 27 is a diagram illustrating the medium 2 in which a dot pattern is printed (formed) on the entire surface to form a writing area.

かかるドットパターンはXY座標値およびページコードを定義している。ここで、ページコードとはコード情報を用いて、媒体を特定をするコードを意味する。   Such a dot pattern defines an XY coordinate value and a page code. Here, the page code means a code for specifying a medium using code information.

図28は、ページコードおよびXY座標値を定義したドットパターンが印刷された領域内に、アクションコードをさらに定義した別のドットパターンが印刷された媒体2を示す図である。   FIG. 28 is a diagram illustrating the medium 2 on which another dot pattern further defining an action code is printed in an area where a dot pattern defining a page code and an XY coordinate value is printed.

ここで、アクションコードとはコード情報を用いて、特定した媒体への手書き入力に対して情報処理部11に所定の操作(特にアプリケーションの操作)を命令するコードを意味する。これにより、セキュリティ性を高め、誤操作を低減することができる。   Here, the action code means a code for instructing the information processing unit 11 to perform a predetermined operation (especially an application operation) in response to a handwritten input to a specified medium using code information. Thereby, security can be improved and an erroneous operation can be reduced.

本媒体は、複数枚が組になっており、シート毎に異なるページコードが割り当てられている。ページコードはたとえば1ページ目は「01」、2ページ目は「02」、3ページ目は「03」である。   This medium is a set of a plurality of sheets, and a different page code is assigned to each sheet. For example, the page code is “01” for the first page, “02” for the second page, and “03” for the third page.

アクションコードを定義したドットパターンが印刷された領域には、かかるアクションコードがどのような意味を持つものであるかユーザに説明するためのテキスト、グラフィック、写真、アイコンを重畳して印刷することができる。たとえば「開始」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションの起動を命令する。「中止」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションによる入力結果の破棄(キャンセル)を命令し、または、情報処理部11が所定の処理を実行するか否かを決定するときにおいて、情報処理部11に対して処理の実行を中止することを命令する。「保存」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部に対して手書き入出力用アプリケーションによる入力結果の保存を命令する。「終了」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションの終了を命令する。   In the area where the dot pattern defining the action code is printed, text, graphics, photos, and icons can be superimposed and printed to explain to the user what the action code means. it can. For example, an action code in an area printed with a text icon “start” superimposed thereon instructs the information processing unit 11 to start an application for handwriting input / output. The action code of the area printed with the text icon “Cancel” superimposed on it instructs the information processing unit 11 to discard (cancel) the input result by the handwriting input / output application, or the information processing unit 11 When determining whether or not to execute a predetermined process, the information processing unit 11 is instructed to stop the execution of the process. The action code in the area printed with the text icon “save” superimposed instructs the information processing unit to save the input result by the handwriting input / output application. The action code in the area printed with the text icon “End” superimposed thereon instructs the information processing unit 11 to end the handwriting input / output application.

図29は、XY座標値およびページコードを定義したドットパターンが印刷された領域と、アクションコードおよびページコードを定義したドットパターンが印刷された領域が分かれている媒体2を示す図である。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。   FIG. 29 is a diagram illustrating the medium 2 in which an area on which a dot pattern defining XY coordinate values and a page code is printed and an area on which a dot pattern defining an action code and a page code are printed are separated. In this case, various commands can be executed only for the page specified by the page code without selecting which page of the medium is the target. Thereby, security can be improved and an erroneous operation can be reduced.

図30は、XY座標値およびページコードを定義したドットパターンが印刷された第一の媒体と、アクションコードのみを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体を示す図である。この場合、媒体のどの頁でも、手書き入力に対する各種命令を実行できる。なお、書き込み領域とアイコンとを別体に設ける場合、図32のように、ペーパーコントローラとする場合の他、シール、付箋紙、カードとして、他の媒体に貼付してもよい。   FIG. 30 is a diagram illustrating a first medium on which a dot pattern in which XY coordinate values and page codes are defined is printed, and a second medium that is a paper controller on which a dot pattern in which only action codes are defined is printed. . In this case, various commands for handwritten input can be executed on any page of the medium. In the case where the writing area and the icon are provided separately, as shown in FIG. 32, in addition to a paper controller, the writing area and the icon may be attached to another medium as a sticker, a sticky note, or a card.

なお、「本文入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションによるオペレーションにおいて、本文となる文字または図形の入力を命令する。「コメント入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションによるオペレーションにおいて、コメントとなる文字または図形の入力を命令する。「編集」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションによるオペレーションにおいて、文字または図形の編集を命令する(すなわち、手書き入出力用アプリケーション以外のアプリケーションにより作成された文書、画像等のファイルを編集することも可能である。)。「決定」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11が所定の処理を実行するか否かを決定するときにおいて、情報処理部11に対して処理の実行を決定することを命令する。   It should be noted that the action code in the area printed with the text icon “text input” superimposed is used to instruct the information processing unit 11 to input characters or figures as the text in the operation by the handwriting input / output application. The action code of the area printed with the text icon “comment input” superimposed is used to instruct the information processing unit 11 to input a character or a figure to be a comment in the operation by the handwriting input / output application. The action code of the area printed with the text icon “edit” superimposed thereon instructs the information processing unit 11 to edit characters or figures in the operation by the handwriting input / output application (that is, handwriting input / output). It is also possible to edit files such as documents and images created by an application other than the application for use.) The action code of the area printed with the text icon “determine” superimposed is used to execute the process on the information processing unit 11 when the information processing unit 11 determines whether to execute the predetermined process. Command to decide.

図31は、XY座標値およびページコードAを定義したドットパターンが印刷された第一の媒体と、アクションコードおよびページコードAを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体が一つの冊子となったものを示す図である。   FIG. 31 shows a first medium on which a dot pattern defining XY coordinate values and page code A is printed, and a second medium which is a paper controller on which a dot pattern defining action code and page code A is printed. It is a figure which shows what became one booklet.

この場合、書き込み領域には各ページ同一のXY座標が登録されたドットパターンが印刷されていてもよい。なぜなら、書き込み操作を行う際には、アクションコードおよびページコードが登録されたコントローラ領域のアイコンを使用すれば、書き込み領域を特定できるからである。つまり、XY座標値を変更することなく書き込み領域の位置、ページを変更することが可能ともいえる。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。   In this case, a dot pattern in which the same XY coordinates of each page are registered may be printed in the writing area. This is because, when performing a writing operation, the writing area can be specified by using the icon of the controller area in which the action code and page code are registered. That is, it can be said that the position and page of the writing area can be changed without changing the XY coordinate values. In this case, various commands can be executed only for the page specified by the page code without selecting which page of the medium is the target. Thereby, security can be improved and an erroneous operation can be reduced.

上記の他、書き込み領域全体に、情報処理部に対して手書き入出力用アプリケーションの起動を命令するアクションコードを定義したドットパターンを印刷してもよい。この場合、媒体面において書き込みが行われると自動的に手書き入出力用アプリケーションが起動するようになる。   In addition to the above, a dot pattern defining an action code for instructing the information processing unit to start an application for handwriting input / output may be printed on the entire writing area. In this case, when writing is performed on the medium surface, the handwriting input / output application is automatically activated.

また、媒体上の書き込み領域は一つに限らず、複数定義することも可能である。
(複数の書き込み領域が設けられる場合に関して)
In addition, the number of write areas on the medium is not limited to one, and a plurality of write areas can be defined.
(Regarding the case where multiple writing areas are provided)

以下、図32〜36を用いて、複数の書き込み領域が設けられる場合に関して、4つの例を用いて説明する。   Hereinafter, the case where a plurality of write areas are provided will be described using four examples with reference to FIGS.

<第1の例>
第1の例は、図32に示すように、複数の書き込み領域毎に、異なるドットパターン座標系によるXY座標値と書き込み領域を特定するコード値とを定義したドットパターンが形成される場合である。
<First example>
In the first example, as shown in FIG. 32, a dot pattern in which an XY coordinate value by a different dot pattern coordinate system and a code value for specifying a writing area are formed for each of a plurality of writing areas. .

この図では、それぞれの書き込み領域ごとに、ドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値m、nを定義したドットパターンが形成されている。   In this figure, a dot pattern defining XY coordinate values in the dot pattern coordinate system and code values m and n for specifying the writing area is formed for each writing area.

コード値は複数の情報を定義することにより、書き込み領域のみならずページ番号を分類する分類番号などを含めることができる。   By defining a plurality of information, the code value can include not only the write area but also a classification number for classifying the page number.

ページ番号が含まれると、どのページのどの書き込み領域なのかを判別でき、書き込み領域で情報や処理命令、択一などの選択項目があり、共通のコードとして処理する場合では、定義されたページ番号や、選択項目を特定する情報を合わせてコード値として定義できる。   When the page number is included, it is possible to determine which writing area of which page, and there are selection items such as information, processing instructions, and alternatives in the writing area, and when processing as a common code, the defined page number In addition, information specifying a selection item can be combined and defined as a code value.

なお、図33に示すように、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。この図では、コード値をn1、n2、n3、n4としている。これにより、1つの書き込み領域内に複数の選択項目を設定できる。   As shown in FIG. 33, different code values can be defined by dividing the area in the write area. In this figure, the code values are n1, n2, n3, and n4. Thereby, a plurality of selection items can be set in one writing area.

この第1の例では、各領域の左下隅が常に0(原点)となるので扱いがしやすいという利点がある。   This first example has the advantage that it is easy to handle because the lower left corner of each area is always 0 (origin).

<第2の例>
第2の例は、図34に示すように、所定領域全面に1つのドットパターン座標系によるXY座標値を定義したドットパターンが形成され、書き込み領域のドットパターンにはXY座標と共にコード値も定義されている場合である。
<Second example>
In the second example, as shown in FIG. 34, a dot pattern in which XY coordinate values are defined by one dot pattern coordinate system is formed on the entire predetermined area, and a code value is defined along with the XY coordinates in the dot pattern in the writing area. This is the case.

この図では、所定領域の左下隅を原点とする1つのドットパターン座標系でXY座標値を定義したドットパターンが、所定の領域全面に形成されている。この所定の領域内にある、二つの書き込み領域はそれぞれ、左下隅が〔Xm0,Ym0〕、〔Xn0,Yn0〕であるXY座標値と、書き込み領域を特定するコード値m、nとが定義されている。   In this figure, a dot pattern in which XY coordinate values are defined in one dot pattern coordinate system with the lower left corner of the predetermined area as the origin is formed on the entire surface of the predetermined area. The two writing areas in the predetermined area are defined with XY coordinate values whose lower left corners are [Xm0, Ym0] and [Xn0, Yn0] and code values m and n for specifying the writing area, respectively. ing.

コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。   As in the first example, the code value can be defined by dividing the area into different code values in the writing area.

なお、書き込み領域以外のドットパターンが形成された領域には書き込みはできないようになっている。   It is to be noted that writing cannot be performed in an area where a dot pattern other than the writing area is formed.

第2の例によれば、XY座標値を読み取ることで、書き込み領域が、所定領域内のどこにレイアウトされているかが容易にわかる。   According to the second example, by reading the XY coordinate values, it is easy to know where the writing area is laid out in the predetermined area.

<第3の例>
第3の例は、図35に示すように、書き込み領域の中に、さらに書き込み領域を入れ込む場合である。
<Third example>
In the third example, as shown in FIG. 35, a write area is further inserted into the write area.

この図では、所定領域の左下隅を原点とする1つのドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値Lとを定義したドットパターンが、所定の領域全面に形成されている。この所定の書き込み領域内にある、二つの書き込み領域は、それぞれ、左下隅が〔Xm0,Ym0〕、〔Xn0,Yn0〕であるXY座標値と、書き込み領域を特定するコード値m、nが定義されている。   In this figure, a dot pattern defining an XY coordinate value in one dot pattern coordinate system with the origin at the lower left corner of a predetermined area and a code value L for specifying a writing area is formed on the entire predetermined area. Yes. Two write areas in the predetermined write area are defined by XY coordinate values whose lower left corners are [Xm0, Ym0] and [Xn0, Yn0] and code values m and n for specifying the write area, respectively. Has been.

この例によれば、文章や図形を自由に書きこむ大きな書き込み領域内に、選択項目欄などの小さな書き込み領域を配置することが容易になる。   According to this example, it becomes easy to arrange a small writing area such as a selection item column in a large writing area in which a sentence or a figure is freely written.

仮に、これを第1の例によって実現しようとすると、書き込み領域内にさらに書き込み領域を形成する際、穴の空いた書き込み領域を設ける必要があり、ドットパターンの形成が複雑な作業となる。   If this is to be realized by the first example, it is necessary to provide a writing area with a hole when further writing area is formed in the writing area, and the formation of the dot pattern is a complicated operation.

さらに、1つの座標系で、書き込み領域内に書き込み領域を形成できれば、入力モードを変更することにより、書き込み領域内の書き込み領域を無視して、書き込み作業を行うことができるように設定することが可能となる。例えば、書き込み領域内の書き込み領域に書き込みを行う場合は、入力モードを切り替えるか、特定の記号を描いた場合に限り、有効となるような設定を設けてもよい。   Furthermore, if the writing area can be formed in the writing area in one coordinate system, the writing mode in the writing area can be set so that the writing operation can be performed by changing the input mode. It becomes possible. For example, when writing to a writing area in the writing area, a setting that is effective only when the input mode is switched or a specific symbol is drawn may be provided.

なお、コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。   As in the first example, the code value can be defined by dividing the area into different code values in the writing area.

この例においては、XY座標値を読み取ることで、書き込み領域がどこにレイアウトされているかが容易にわかる。   In this example, by reading the XY coordinate values, it is easy to know where the writing area is laid out.

<第4の例>
第4の例は、図36に示すように、所定領域全面に1つのドットパターン座標系を定め、書き込み領域にはこの座標系でのXY座標値と書き込み領域を特定するコード値を定義したドットパターンが形成される場合である。
<Fourth example>
In the fourth example, as shown in FIG. 36, one dot pattern coordinate system is defined over the entire predetermined area, and the XY coordinate value in this coordinate system and the code value for specifying the write area are defined in the write area. This is a case where a pattern is formed.

この図では、所定の領域内に左下隅を原点とする1つの座標系を定め、この領域内にある、二つの書き込み領域に、それぞれ左下隅が〔Xm0,Ym0〕、〔Xn0,Yn0〕であるXY座標値と、書き込み領域を特定するコード値m、nとが定義されたドットパターンが形成されている。   In this figure, one coordinate system with the lower left corner as the origin is defined in a predetermined area, and the lower left corner is [Xm0, Ym0] and [Xn0, Yn0] in the two writing areas in this area, respectively. A dot pattern in which a certain XY coordinate value and code values m and n for specifying a writing area are defined is formed.

この例では、第2の例とは異なり、書き込み領域以外の範囲にはドットパターンは形成されていない。   In this example, unlike the second example, no dot pattern is formed in a range other than the writing area.

この例では、グラフィック、テキストなどの印刷物の版下と、ドットパターンの版下がある場合、印刷物の版下の座標系に合わせて自動的に書き込み領域の範囲を、マスクを配置することによってレイアウトするマスク処理をしてドットパターンの版下を作成することが可能となり、容易にドットパターンを発行することが出来る。   In this example, if there is a block of printed material such as graphic or text and a block pattern of dot pattern, the area of the writing area is automatically laid out by arranging the mask according to the coordinate system of the block of printed material. It is possible to create a dot pattern block by performing a mask process, and a dot pattern can be easily issued.

また、ドットパターンを読み取ったとき、XY座標値を読み取ることで、書き込み領域が所定の領域内のどこにレイアウトされているかが分かるため、例えば紙面上のどこに配置すれば広告効果が高いかなどのリサーチに用いることが可能となる。   Also, when the dot pattern is read, the XY coordinate value is read to find where the writing area is laid out within the predetermined area. It becomes possible to use for.

なお、以上の説明では全て、ドットパターン座標系を用いて説明をしたが、ドットパターン座標系から変換された書き込み領域座標系であっても同様であることは当然である。   In the above description, the dot pattern coordinate system is used for all the description, but it is natural that the same applies to the writing area coordinate system converted from the dot pattern coordinate system.

図37は、媒体上に複数の書き込み領域を定義した具体例である書類を示す図である。   FIG. 37 is a diagram showing a document as a specific example in which a plurality of writing areas are defined on a medium.

同図(a)はかかる書類において、各書き込み領域にXY座標値の原点および書き込み領域の特定を命令する特定コードが定義されたものを示す図である。   FIG. 6A is a diagram showing a document in which a specific code for instructing the origin of the XY coordinate values and the specification of the writing area is defined in each writing area.

同図(a)においては「氏名」の書き込み領域内に「フリガナ」の書き込み領域が、「住所」の書き込み領域内に「郵便番号」の書き込み領域が、「周辺の地図」の書き込み領域内に「徒歩(の時間)」、「電車(の利用時間)」、「バス(の利用時間)」の書き込み領域が定義されている。   In FIG. 6A, the “name” writing area has the “phonetic” writing area, the “address” writing area the “zip code” writing area, and the “neighboring map” writing area. Write areas for “walking (time)”, “train (use time)”, and “bus (use time)” are defined.

また、「性別」の書き込み領域は「男」と「女」の書き込み領域に、「生年月日」の書き込み領域は「年」、「月」、「日」の書き込み領域にそれぞれ分割されている。   The “sex” writing area is divided into “male” and “female” writing areas, and the “birth date” writing area is divided into “year”, “month”, and “day” writing areas. .

このような書き込み領域のレイアウトは、それぞれに異なった特定コードを割り当てることにより可能となる。   Such a layout of the write area is possible by assigning different specific codes to each.

同図(b)はかかる書類において、各書き込み領域にはXY座標値の原点が定義されず、書き込み領域の特定を命令する特定コードのみが定義されたものを示す図である。   FIG. 4B is a diagram showing such a document in which the origin of the XY coordinate values is not defined in each writing area, and only a specific code for instructing specification of the writing area is defined.

このような構成にすることにより、書き込み情報の媒体面全体での位置を特定することができる。   With such a configuration, the position of the write information on the entire medium surface can be specified.

図38は、図37の書類に実際に手書き入力を行った状態を示す図である。   FIG. 38 is a diagram showing a state in which handwriting input is actually performed on the document of FIG.

同図(a)は実際に手書き入力を行った図37(a)の書類を示す図である。   FIG. 19A shows the document shown in FIG. 37A in which handwritten input is actually performed.

同図(b)は、同図(a)の手書き入力を受けて、情報処理部11が行った処理の結果をディスプレイ6上に表示し、または印刷により出力した状態を示す図である。   FIG. 6B is a diagram showing a state in which the result of the processing performed by the information processing unit 11 is displayed on the display 6 or output by printing in response to the handwritten input in FIG.

詳細は後述するが、本発明にかかる手書き入出力システム1は、手書き入力した文字および図形をいくつかの方法により認識することにより、同図(b)のような出力を行う。   Although details will be described later, the handwriting input / output system 1 according to the present invention performs output as shown in FIG. 5B by recognizing handwritten characters and figures by several methods.

<ドットパターンを新たに印刷する>
本発明の手書き入出力システム1においては、手書き入力を行い、情報処理部11において手書き入力を反映させたものを印刷して、再度手書き入力を行うこともできる。
<Print a new dot pattern>
In the handwriting input / output system 1 of the present invention, handwriting input can be performed, the information processing unit 11 can reflect the handwriting input, and handwriting input can be performed again.

図39(a)は、軌跡認識部9が認識した軌跡情報と、ドットパターンを重畳して印刷した媒体2を示す図である。図示はしないが、図39(a)に示す媒体2には、最初に手書き入力を行った媒体2に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。   FIG. 39A is a diagram showing the medium 2 printed by superimposing the locus information recognized by the locus recognition unit 9 and the dot pattern. Although not shown, a dot pattern different from the dot pattern printed on the medium 2 on which handwriting input is first performed may be newly printed on the medium 2 shown in FIG.

図39(b)には、情報処理部11が行った処理の結果を、ドットパターンを重畳して印刷した媒体2を示す図である。図示はしないが、図39(b)に示す媒体2には、最初に手書き入力を行った媒体2に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。この場合、XY座標は同一で、ページコードのみを変更して印刷してもよい。   FIG. 39B is a diagram showing the medium 2 on which the result of the processing performed by the information processing unit 11 is printed with a dot pattern superimposed. Although not shown, a dot pattern different from the dot pattern printed on the medium 2 on which handwriting input is first performed may be newly printed on the medium 2 shown in FIG. In this case, the XY coordinates are the same, and only the page code may be changed and printed.

<点字・バンク>
また、媒体2にはバンクガイド38(幅狭の凸部)または点字39をさらに設けてもよい。
<Braille / Bank>
Further, the medium 2 may further be provided with a bank guide 38 (a narrow convex portion) or a Braille 39.

図40は、書き込み領域の外周にバンクガイド38を設け、書き込み領域にはドットパターンとともに点字39の突起を設けたものである。このようにバンクガイド38を設けることにより視覚障害を持つユーザが手書き入出力を使用するときも書き込み領域の位置がわかり、点字39とドットパターンを同じ領域に設けておくことにより、視覚障害を持つユーザが手書き入出力を使用するときにも健常者と同様の入力効率を保つことができる。   In FIG. 40, a bank guide 38 is provided on the outer periphery of the writing area, and a braille 39 protrusion is provided along with a dot pattern in the writing area. By providing the bank guide 38 in this way, the position of the writing area can be known even when a visually impaired user uses handwritten input / output, and by providing the braille 39 and the dot pattern in the same area, the visually impaired user When the user uses handwritten input / output, the same input efficiency as that of a healthy person can be maintained.

<ドットパターン解析部>
ドットパターン解析部8は、前述のストリームドットにおけるドットパターンを用いた情報の入出力方法に従い、画像データをコード解析することにより、ドットパターンが定義するXY座標情報およびコード情報を求める。
<Dot pattern analysis unit>
The dot pattern analysis unit 8 obtains XY coordinate information and code information defined by the dot pattern by performing code analysis on the image data in accordance with the information input / output method using the dot pattern in the stream dot.

本発明にかかる手書き入出力システム1においては、ユーザが撮像部7により媒体上に書き込んだ(トレースした)軌跡をドットパターン解析部8が順次コード解析するため、XY座標情報およびコード情報はこの軌跡を表すものである(軌跡情報)。   In the handwriting input / output system 1 according to the present invention, the dot pattern analysis unit 8 sequentially performs code analysis on the trajectory written (traced) on the medium by the imaging unit 7, so that the XY coordinate information and the code information are the trajectory. (Trajectory information).

<軌跡認識部>
軌跡認識部9は、軌跡情報の変化に基づき、媒体上に書き込まれた文字、図形を認識する。
<Track recognition unit>
The trajectory recognition unit 9 recognizes characters and graphics written on the medium based on changes in trajectory information.

軌跡認識の方法は、一般的なOCR(光学的文字読取装置)のように、文字、図形をグラフィックとして考え、データベース内の文字、図形のXY座標のパターンを参照することにより行う方法である。   The method of recognizing a locus is a method performed by considering characters and graphics as graphics and referring to the XY coordinate patterns of the characters and graphics in the database, as in a general OCR (optical character reader).

ここで、本発明においては特に、コード情報によって書き込み領域に書き込む内容を予め指示しておくことができる。すなわち、予め分類された文字および/または図形情報パターンテーブルを参照することで、軌跡情報を高精度で認識することが可能である。具体例としては、予めアラビア数字のみを記載することを指示しておけば、軌跡認識部9はアラビア数字のテーブルのみを参照するため認識率は高まる。認識ができない場合は、通常通りデータベース内の全ての文字、図形を参照すればよい。   Here, in the present invention, in particular, the contents to be written in the write area can be instructed in advance by code information. That is, the trajectory information can be recognized with high accuracy by referring to the character and / or graphic information pattern table classified in advance. As a specific example, if it is instructed in advance to describe only Arabic numerals, the recognition rate increases because the trajectory recognition unit 9 refers only to the table of Arabic numerals. If recognition is not possible, all characters and figures in the database can be referenced as usual.

さらに、上記の軌跡認識を行った上で、書き込み領域に書き込まれた文字および/または図形、もしくは1または複数の文字からなる語句の、意味情報を、コード情報に対応する予め定義された意味情報コードテーブル(辞書)を参照することで、意味情報コードに変換することもできる。すなわち、軌跡認識部9はたとえば「東京都文京区」という書き込みがされた場合、「東」「京」「都」文」「京」「区」と、まず一文字ずつパターン認識を行うが、さらに、意味情報コードテーブル(辞書)を参照して、「東京都」に予め対応するものとして定義された意味情報コードと、「文京区」に予め対応するものとして定義された意味情報コードに変換することにより、情報処理部は「東京都」「文京区」という地名が入力されたものと認識することができる。   Furthermore, after performing the above-described trajectory recognition, the semantic information of a character and / or figure written in the writing area or a phrase composed of one or more characters is defined as predefined semantic information corresponding to the code information. By referring to the code table (dictionary), it can be converted into a semantic information code. In other words, for example, when “Bunkyo-ku, Tokyo” is written, the trajectory recognition unit 9 first performs pattern recognition one character at a time, “East”, “Kyo”, “Miyako”, “Kyo”, “Ku”. Referring to the semantic information code table (dictionary), the semantic information code defined as corresponding to “Tokyo” and the semantic information code defined as corresponding to “Bunkyo-ku” are converted. Thus, the information processing unit can recognize that the place names “Tokyo” and “Bunkyo-ku” have been input.

また、意味情報コードテーブル(辞書)を参照することは、文字のパターン認識を補助することにもなる。たとえば「東京」の「東」の文字をユーザが汚く書いたために、ユーザが「東」と書いたのか「車」と書いたのか軌跡認識部9が認識することが困難である場合、意味情報コードテーブルにおいて「東京」という熟語が定義されており、「車京」という熟語が定義されていなければ(「車京」という熟語は通常存在しない)、ユーザは「東」という文字を書いたものとして軌跡認識部9は認識をすることができる。   Further, referring to the semantic information code table (dictionary) also assists character pattern recognition. For example, if the user has written the character “east” of “Tokyo” in a dirty manner, it is difficult for the trajectory recognition unit 9 to recognize whether the user has written “east” or “car”. If the idiom "Tokyo" is defined in the code table and the idiom "Kakkyo" is not defined (the idiom "Kakkyo" usually does not exist), the user wrote the word "east" The trajectory recognition unit 9 can recognize as follows.

<計時部>
本発明にかかる手書き入出力システム1は計時部15をさらに備えてもよい。計時部15は時間情報を検出する機能を持つ。
<Timekeeping section>
The handwriting input / output system 1 according to the present invention may further include a timer unit 15. The timer unit 15 has a function of detecting time information.

ここで、時間情報は、
(1)撮像部7が書き込み領域面に触れて描かれた筆歴の順番とする。
Here, the time information is
(1) It is set as the order of the writing history drawn by the imaging unit 7 touching the writing area surface.

(2)撮像部7が書き込み領域面に触れて、離れるまでの時間の集合とし、書き始めてから、撮像部7が離れている時間を無視する。つまり、撮像部7が離れている時間を省き、(1)の始まりと、終わりの時間から、手書き入力時間とその順番を記述する。これにより、文字を書く時間が分かり、文字認識の精度向上と、対象者の文字入力速度がわかる。   (2) A set of time until the imaging unit 7 touches the writing area surface and leaves, and ignores the time the imaging unit 7 is away from the start of writing. That is, the time when the imaging unit 7 is away is omitted, and the handwriting input time and the order thereof are described from the start time and end time of (1). As a result, the time for writing the character is known, the accuracy of character recognition is improved, and the character input speed of the target person is known.

(3)撮像部7が書き込み領域面に触れる、離れるの、全ての時間を記録することにより、アンケートや、商品の選択などに、どれくらい時間を要したかがわかり、通常時との比較を行うことにより、難易性や思考状態、書き手の性格、年齢、性別などを把握できる。   (3) By recording all the time that the imaging unit 7 touches or leaves the writing area surface, it is possible to know how much time was required for questionnaires and product selection, and to compare with the normal time This makes it possible to grasp difficulty, thinking state, writer's personality, age, gender, and the like.

(4)また、ペンの移動速度を把握することにより、文字のハネや書きづらさを解析でき、さらに書き手の心理状態や健康状態を推測することもできる。   (4) Also, by grasping the moving speed of the pen, it is possible to analyze the difficulty of writing and the difficulty of writing, and it is possible to infer the writer's psychological state and health state.

<角度測定部・角度変化認識部>
本発明にかかる手書き入出力システム1は角度測定部16・角度変化認識部17をさらに備えてもよい。角度測定部16・角度変化認識部17は撮像部7の媒体面に対する傾きを測定・認識する。
<Angle measurement unit and angle change recognition unit>
The handwriting input / output system 1 according to the present invention may further include an angle measurement unit 16 and an angle change recognition unit 17. The angle measurement unit 16 and the angle change recognition unit 17 measure and recognize the inclination of the imaging unit 7 with respect to the medium surface.

角度測定・角度変化認識の方法は、既に述べたペンの傾きαの算出方法をそのまま用いることができる。この場合、撮像部7がペンを備えなくとも傾きを測定・認識することは可能である。また、特願2005−267565号(PCT/SG2006/000267)にかかる情報出力装置の発明において開示されている傾きの算出方法を用いることができる。ただし、これら以外の方法を用いてもよい。   As the method of angle measurement and angle change recognition, the above-described method for calculating the pen inclination α can be used as it is. In this case, it is possible to measure and recognize the tilt even if the imaging unit 7 does not include a pen. Further, the slope calculation method disclosed in the invention of the information output apparatus according to Japanese Patent Application No. 2005-267565 (PCT / SG2006 / 000267) can be used. However, other methods may be used.

なお、傾きの測定・認識の基準となる撮像部7の媒体面に対する角度変化の認識は、撮像部7を媒体面に対して鉛直状に立てたときの角度のみならず、撮像部7が媒体面に触れた際の角度を基準とすることができるものとする。   Note that the recognition of the change in angle with respect to the medium surface of the image pickup unit 7 that serves as a reference for measuring and recognizing the inclination is not only the angle when the image pickup unit 7 is set up vertically with respect to the medium surface, but also the image pickup unit 7 is the medium. The angle when touching the surface can be used as a reference.

<回転角読み取り部・回転角変化認識部>
本発明にかかる手書き入出力システム1は回転角読み取り部18・回転角変化認識部19をさらに備えてもよい。回転角読み取り部18・回転角変化認識部19は撮像部7の撮像光軸を概ね鉛直状に立て、回転させたときの回転角を読み取り・認識する。
<Rotation angle reading unit / Rotation angle change recognition unit>
The handwriting input / output system 1 according to the present invention may further include a rotation angle reading unit 18 and a rotation angle change recognition unit 19. The rotation angle reading unit 18 and the rotation angle change recognizing unit 19 read and recognize the rotation angle when the imaging optical axis of the imaging unit 7 is set to be substantially vertical and rotated.

なお、ドットパターンの向きと撮像部7の向きの為す角度を求める方法はオフセット補正の項で既に説明しているが、この方法はペンの有無にかかわらず、回転角の読み取り・認識方法に利用できる。すなわち、ドットパターンの向きは常に一定であるため、撮像部7を媒体面に対して鉛直上に立てて最初に撮像したときのドットパターンの向きと撮像部7の向きの為す角度θと所定の時間経過後のドットパターンの向きと撮像部7の向きの為す角度θ(左回転を正の方向とする)との差を回転角として読み取り・認識することができる。 The method for obtaining the angle between the direction of the dot pattern and the direction of the imaging unit 7 has already been described in the section of offset correction, but this method can be used for the method of reading and recognizing the rotation angle regardless of the presence or absence of a pen. it can. That is, since the direction of the dot pattern is always constant, the angle θ 1 formed by the direction of the dot pattern and the direction of the image capturing unit 7 when the image capturing unit 7 is first vertically imaged with respect to the medium surface and a predetermined value is determined. The difference between the direction of the dot pattern after the elapse of time and the angle θ 2 (the left rotation is the positive direction) formed by the direction of the imaging unit 7 can be read and recognized as the rotation angle.

<タッチ動作と跳ねる動作の判別方法>
本発明にかかる手書き入出力システム1において、撮像部7を書き込み領域にタッチする動作(タッチ動作)と、書き込み領域に触れた状態から跳ねる動作(跳ねる動作)の判別方法を図41に説明する。
<Distinction method of touch action and bouncing action>
In the handwriting input / output system 1 according to the present invention, a method of discriminating between an operation of touching the imaging unit 7 on the writing area (touching operation) and an operation of bouncing from the state of touching the writing area (bounce operation) will be described with reference to FIG.

同図(a)に示すように、撮像部7を書き込み領域にタッチする場合、撮像部7が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる。そして、撮像部7を書き込み領域から離すとLED34からの照射光が媒体面に反射しなくなるためC−MOSセンサ35はLED34からの照射光(媒体面からの反射光)を検知せず、同図(c)に示すように、ドットパターンを撮像することができない。   As shown in FIG. 5A, when the imaging unit 7 is touched on the writing area, the dot pattern in the writing area can be captured at the moment when the imaging unit 7 touches the writing area. When the image pickup unit 7 is moved away from the writing area, the irradiation light from the LED 34 is not reflected on the medium surface, and the C-MOS sensor 35 does not detect the irradiation light from the LED 34 (reflection light from the medium surface). As shown in (c), the dot pattern cannot be imaged.

同図(b)に示すように、撮像部7を書き込み領域に触れた状態から跳ねる場合、撮像部7が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる、つまりここまでは書き込み領域にタッチする動作と同様である。そして、撮像部7を書き込み領域に触れた状態から跳ねると、撮像部7の先端は依然として所定時間書き込み領域へ向いていることにより、LED34からの照射光は媒体面に反射するため、C−MOSセンサ35は媒体面上のドットパターンを一応撮像するが、撮像部7の移動速度が速いことから、同図(d)に示すように、ドットパターンがぼやけて解析することはできない。   As shown in FIG. 5B, when the image pickup unit 7 jumps from a state where it touches the write area, the dot pattern in the write area can be picked up at the moment when the image pickup unit 7 touches the write area. The operation up to this is the same as the operation of touching the writing area. When the imaging unit 7 is bounced from the state where it touches the writing area, the tip of the imaging unit 7 is still directed to the writing area for a predetermined time, so that the irradiation light from the LED 34 is reflected on the medium surface. The sensor 35 temporarily captures the dot pattern on the medium surface. However, since the moving speed of the imaging unit 7 is fast, the dot pattern cannot be analyzed blurry as shown in FIG.

すなわち、撮像部7が書き込み領域をタッチしてドットパターンを撮像し、解析した瞬間を基準時として、所定時間経過後(例:0.2秒後)に撮像した画像データを解析して、ドットパターンを撮像しない(反射光を検知しない)ときは、撮像部7はタッチ動作をしたものとして、処理命令部10は情報処理部11に対して、タッチ動作と対応するものとして予め定義づけられた処理命令を送信する。ドットパターンを撮像するが(反射光を検知するが)、ドットパターンがぼやけて解析することができないときは、撮像部7は跳ねる動作をしたものとして、処理命令部10は情報処理部11に対して、跳ねる動作と対応するものとして予め定義づけられた処理命令を送信する。なお、同図(e)に示すように、ドットパターンを解析することができるときは、通常の手書き入力動作に他ならない。   That is, the image pickup unit 7 touches the writing area to pick up a dot pattern, analyzes the image data picked up after a predetermined time (for example, 0.2 seconds) using the analyzed moment as a reference time, When the pattern is not imaged (reflected light is not detected), the imaging unit 7 is preliminarily defined as a touch operation, and the processing command unit 10 is defined in advance to the information processing unit 11 as corresponding to the touch operation. Send processing instructions. When the dot pattern is imaged (reflected light is detected) but the dot pattern is blurred and cannot be analyzed, the image capturing unit 7 is assumed to have bounced, and the processing command unit 10 Then, a processing command defined in advance as corresponding to the bouncing action is transmitted. As shown in FIG. 5E, when a dot pattern can be analyzed, it is nothing but a normal handwriting input operation.

<処理命令部>
処理命令部10は、軌跡認識部9が認識した情報に基づく処理命令を、軌跡情報とともに情報処理部11に対して送信する。
<Processing instruction part>
The processing command unit 10 transmits a processing command based on the information recognized by the track recognition unit 9 to the information processing unit 11 together with the track information.

既に説明した、媒体面に印刷したドットパターンが定義する、ページコードに基づく頁を特定する命令、特定コードに基づくある書き込み領域を特定する命令、アクションコードに基づく種々の命令は、処理命令部10が実際に情報処理部11に対して行う。   The command for specifying a page based on a page code, a command for specifying a writing area based on a specific code, and various commands based on an action code defined by the dot pattern printed on the medium surface, which have already been described, Is actually performed on the information processing unit 11.

また、処理命令部10は、詳細は後述するが、手書き入出力用アプリケーションにおける各種のオペレーションの実行を情報処理部11に対して命令する。   The processing command unit 10 commands the information processing unit 11 to execute various operations in the handwriting input / output application, details of which will be described later.

さらに、角度測定部16・角度変化認識部17による測定・認識結果、および回転角読み取り部18・回転角変化認識部19による読み取り・認識結果に基づく予め定められた処理命令を情報処理部11に対して命令する。   Furthermore, predetermined processing instructions based on the measurement / recognition result by the angle measurement unit 16 and the angle change recognition unit 17 and the read / recognition result by the rotation angle reading unit 18 and the rotation angle change recognition unit 19 are given to the information processing unit 11. Command against.

<情報処理部>
情報処理部11は、本発明にかかる手書き入出力システム1が行う処理命令を受けて、各種の処理を実行する。
<Information Processing Department>
The information processing unit 11 receives various processing instructions performed by the handwriting input / output system 1 according to the present invention and executes various processes.

<サーバ>
本発明にかかる手書き入出力システム1は、必要に応じて各種の情報を記録したサーバ5にアクセスしてもよい。
<Server>
The handwriting input / output system 1 according to the present invention may access the server 5 in which various types of information are recorded as necessary.

<軌跡認識用サーバ>
サーバ5には、たとえば軌跡認識用の情報を記憶することができる。一般的なOCR(光学的文字読取装置)で採用されているように複数の文字および図形にXY座標パターンが定義づけられて記憶されている。
<Track recognition server>
The server 5 can store information for locus recognition, for example. As employed in a general OCR (optical character reader), XY coordinate patterns are defined and stored in a plurality of characters and figures.

また、文字および図形には、これらを分類するための分類コードが定義づけられて記憶されている。   Further, a classification code for classifying these characters and figures is defined and stored.

さらに、文字および図形には、意味情報コードテーブル(辞書)を参照することにより、1または複数の文字からなる語句または図形、もしくはこれらの組み合わせを出力するための意味情報コードが定義づけられて記憶されている。   Further, the meaning information code for outputting a phrase or figure consisting of one or a plurality of characters, or a combination thereof is defined and stored in the characters and figures by referring to the meaning information code table (dictionary). Has been.

本発明にかかる手書き入出力システム1においては、XY座標情報のみならずコード情報を用いて書き込み領域を特定することができるため、書き込み領域の量(数)が膨大であっても、容易に管理することができる。特に、誰もが利用できる共有のグローバルサーバに書き込み情報を記憶する場合に極めて有効である。   In the handwriting input / output system 1 according to the present invention, since the writing area can be specified using not only the XY coordinate information but also the code information, it is easily managed even if the amount (number) of the writing area is enormous. can do. This is particularly effective when writing information is stored in a shared global server that anyone can use.

<その他のサーバ>
サーバ5には軌跡認識用の情報以外にも、音声、文書、画像、動画、アプリケーション、その他の様々な情報を記憶することができることは説明するまでもない。たとえば手書き入出力用アプリケーションを記憶することができる。すなわち、情報処理部11が手書き入出力用アプリケーションを持たないとき、サーバ内を検索して、サーバ上の手書き入出力用アプリケーションを実行することができる。ただし、サーバ上の手書き入出力用アプリケーションを優先して実行してもよい。
<Other servers>
Needless to say, the server 5 can store voice, document, image, video, application, and other various information in addition to the information for recognizing the trajectory. For example, a handwriting input / output application can be stored. That is, when the information processing unit 11 does not have an application for handwriting input / output, it can search the server and execute the application for handwriting input / output on the server. However, the handwriting input / output application on the server may be executed with priority.

なお、サーバ5に代えて、他の情報処理部11の手書き入出力用アプリケーションを実行してもよい。   Instead of the server 5, a handwriting input / output application of another information processing unit 11 may be executed.

当然ながら、サーバ5は上記の実施例以外にも形態を種々変更して実施することができるものとする。   Of course, the server 5 can be implemented with various modifications other than the above-described embodiments.

<手書き入出力用アプリケーション>
以下に、本発明にかかる手書き入出力システム1において実行される、手書き入出力用アプリケーションについて説明する。
<Handwriting input / output application>
Below, the application for handwriting input / output performed in the handwriting input / output system 1 concerning this invention is demonstrated.

かかるアプリケーションは各種のオペレーションを実行することにより媒体面への書き込みをコンピュータ上でも反映させるシステムである。   Such an application is a system in which writing on a medium surface is reflected on a computer by executing various operations.

媒体面への書き込みは処理命令部10が情報処理部11に対してリアルタイムに命令することにより、処理結果が表示されるディスプレイ6を見ながら行ってもよいし、ディスプレイ6を見ずに書き込みを行い、書き込み後に処理命令部10が情報処理部11に対して命令してもよいものとする。   The writing on the medium surface may be performed while viewing the display 6 on which the processing result is displayed by instructing the information processing unit 11 in real time by the processing command unit 10, or writing without looking at the display 6. It is assumed that the processing instruction unit 10 may instruct the information processing unit 11 after writing.

<書き込み操作>
以下、本発明にかかる手書き入出力システム1における、書き込み操作について説明する。
<Write operation>
Hereinafter, the writing operation in the handwriting input / output system 1 according to the present invention will be described.

書き込み操作は、入力しようとする文字または図形を、撮像部7を用いて媒体面の書き込み領域に書き込むことにより行う。   The writing operation is performed by writing the character or figure to be input into the writing area on the medium surface using the imaging unit 7.

撮像部7は、撮像部7が媒体面を移動している間、所定の時間間隔において書き込み領域に重畳的に印刷されたドットパターンを撮像する。後の手順は既に説明したとおりである。   The image capturing unit 7 captures a dot pattern printed in a superimposed manner at a predetermined time interval while the image capturing unit 7 moves on the medium surface. The subsequent steps are as already described.

以下、手書き入出力システム1が実行する各オペレーションについて説明する。   Hereinafter, each operation executed by the handwriting input / output system 1 will be described.

<文字および図形の認識方法>
図42は本文の文字を手書き入力する第一のオペレーションを説明するイメージ図である。
<Character and figure recognition method>
FIG. 42 is an image diagram for explaining a first operation for inputting a text of a body by handwriting.

同図(a)のように、撮像部7を用いて書き込み領域に文字を書くと、同図(b)のように、撮像部7は軌跡上のドットパターンを順次撮像して、ドットパターン解析部8はXY座標情報とコード情報からなる軌跡情報を取得する。   When characters are written in the writing area using the image pickup unit 7 as shown in FIG. 6A, the image pickup unit 7 sequentially picks up dot patterns on the locus as shown in FIG. The unit 8 acquires trajectory information including XY coordinate information and code information.

なお、説明の便宜のため同図(b)においては軌跡上のドットパターンの撮像位置の間隔は広くとってあるが、実際にはもっと狭い。   For convenience of explanation, the interval between the image positions of the dot patterns on the locus is wide in FIG. 5B, but actually it is narrower.

同図(c)のように、軌跡情報に基づいて認識を行った結果に基づいて、情報処理部11は第一のオペレーションを実行し、ディスプレイ6に結果を出力する。   As shown in FIG. 5C, based on the result of recognition based on the trajectory information, the information processing unit 11 executes the first operation and outputs the result to the display 6.

同図(d)のように、図形を認識する場合も、文字を認識する場合と何ら認識方法に変化はなく、同図(e)のように認識結果がディスプレイ6上には表示される。   When the figure is recognized as shown in FIG. 9D, the recognition method is not changed from that when the character is recognized, and the recognition result is displayed on the display 6 as shown in FIG.

ただし、文字および図形の認識を行わず、ドットパターン解析部8が求めたXY座標情報をそのまま入出力してもよい。この場合、本発明にかかる手書き入出力システム1はペンタブレットとして機能する。   However, the XY coordinate information obtained by the dot pattern analysis unit 8 may be directly input / output without performing recognition of characters and figures. In this case, the handwriting input / output system 1 according to the present invention functions as a pen tablet.

<第二のオペレーション>
図43に示すように、第二のオペレーションはコメントの文字を手書き入力するオペレーションである。なお、同図では説明の便宜を図るためにコメント部分を破線により囲んでいるが、実際に破線を書き込む必要はない。
<Second operation>
As shown in FIG. 43, the second operation is an operation for inputting a comment character by handwriting. In the figure, for convenience of explanation, the comment part is surrounded by a broken line, but it is not necessary to actually write the broken line.

文字または図形の認識方法は第一のオペレーションの方法と同一である。   The method of recognizing characters or figures is the same as that of the first operation.

第二のオペレーションにおいて入力されたコメントの文字は、情報処理部11においても本文とは別のコメントとして認識される。   The character of the comment input in the second operation is recognized as a comment different from the text in the information processing unit 11 as well.

コメントは図44のように、行間に記入したものが情報処理部11においてそのまま反映されてもよいが、図45のように、本文中のコメントを挿入したい部分を下線により指定することによって、情報処理部11において本文の脇にコメントが列挙されるようにしてもよい。   As shown in FIG. 44, the comment entered between the lines may be reflected as it is in the information processing unit 11 as shown in FIG. 44. However, as shown in FIG. Comments may be listed on the side of the text in the processing unit 11.

<第三のオペレーション>
第三のオペレーションは手書き入力した文字を編集するオペレーションである。
<Third operation>
The third operation is an operation for editing a handwritten character.

各編集は、情報処理部11において編集記号としてあらかじめ定義される文字または図形を、撮像部7を用いて書き込むことにより行う。   Each editing is performed by writing, using the imaging unit 7, characters or figures that are defined in advance as editing symbols in the information processing unit 11.

文字または図形の認識方法は第一のオペレーションの方法と同一である。   The method of recognizing characters or figures is the same as that of the first operation.

図46は本発明の第三のオペレーションである編集操作において用いる編集記号を説明する図である。   FIG. 46 is a diagram for explaining editing symbols used in the editing operation which is the third operation of the present invention.

1つの閉じた領域を形成する線は領域内の文字または図形を選択する編集記号を意味する。   A line forming one closed area means an edit symbol for selecting a character or a figure in the area.

領域を閉じない括弧状の二組の線は二組の線の間の文字または図形を選択する編集記号を意味する。   The two sets of bracketed lines that do not close the area mean edit symbols that select characters or figures between the two sets of lines.

レ点はカット&ペースト時にカットの対象を指定する編集記号を意味する。   A check mark means an edit symbol for specifying a cut target when cutting and pasting.

二重線は削除(消去)の編集記号を意味する。   A double line means a delete (erase) edit symbol.

「トル」は削除(消去)の編集記号を意味する。   “Tor” means an editing symbol for deletion (deletion).

「イキ」は編集記号「トル」の取り消しの編集記号を意味する。   “Iki” means an edit symbol for canceling the edit symbol “Toru”.

三往復以上のジグザグ線は編集の取り消しの編集記号を意味する。   A zigzag line of three or more round trips means an edit symbol for canceling the edit.

双方向の矢印は選択した文字または図形同士を入れ替える編集記号を意味する。   A bidirectional arrow means an edit symbol for exchanging selected characters or figures.

一方向のみの矢印はペースト先を直接指定する編集記号を意味する。   An arrow in only one direction means an edit symbol that directly specifies the paste destination.

文字(A)、(B)、(C)...は選択した文字または図形をフラグ付けした状態でコピー(カット)し、離れた位置にあるペースト先を指定する編集記号を意味する。   Characters (A), (B), (C). . . Means an edit symbol that copies (cuts) a selected character or figure with a flag and designates a paste destination at a distant position.

ただし、上記以外の編集記号を定義してもよいことはいうまでもない。   However, it goes without saying that edit symbols other than those described above may be defined.

図47は第三のオペレーションを実行する前の媒体2を示す図である。媒体2には第一のオペレーションを実行して手書き入力された文書または手書き入力した結果、印刷された文書が記入されている。   FIG. 47 is a diagram showing the medium 2 before executing the third operation. The medium 2 is filled with a document that has been input by hand by executing the first operation or a document that has been printed as a result of handwriting input.

図48は第三のオペレーションにおける媒体2上での編集状態を説明する図である。   FIG. 48 is a diagram for explaining an editing state on the medium 2 in the third operation.

同図(a)のように、領域を閉じる線を書き込むときには、手書き入出力用アプリケーションにおいては線により閉じた領域内を一個の編集対象として認識する。   As shown in FIG. 5A, when writing a line that closes an area, the handwritten input / output application recognizes the area closed by the line as one edit target.

同図(b)のように、領域を閉じない括弧状の線を書き込むときには、後の領域において同図(c)のように、対応する括弧閉じ状の線を描くことにより間の領域を一個の編集対象として手書き入出力用アプリケーションにおいては認識する。特に、編集対象が数行にまたがる場合に用いる。   When writing a bracket-like line that does not close the area as shown in FIG. 5B, in the subsequent area, draw a corresponding parenthesis-closed line as shown in FIG. Is recognized by the handwriting input / output application as the editing target. This is especially used when the editing target extends over several lines.

同図(d)のように、編集対象を選択した状態において編集対象を示す線上に「トル」を描くときには、手書き入出力用アプリケーションにおいては編集対象の文字を削除する。   As shown in FIG. 6D, when “Toru” is drawn on the line indicating the editing target in a state where the editing target is selected, the character to be edited is deleted in the handwriting input / output application.

同図(e)のように、編集対象を選択した状態において編集対象から所定の位置までを指定する矢印を描くときには、手書き入出力用アプリケーションにおいては編集対象を指定した領域にカット&ペーストまたはコピー&ペーストする。ここで、ペースト先は文字と文字の間(もしくは行頭または行末)に挿入するだけでなく、同図(f)のように、ペースト先を編集対象とすることで元の文字を削除して上書きすることも可能である。   When drawing an arrow that specifies from the editing target to a predetermined position with the editing target selected, as shown in FIG. 5E, in the handwriting input / output application, cut and paste or copy to the area where the editing target is specified. & Paste. Here, the paste destination is not only inserted between characters (or at the beginning or end of the line), but as shown in (f) in FIG. It is also possible to do.

この場合、同図(g)のように、コピー元の編集対象を示す線上に削除の編集記号であるレ点を描き加えたときにはカット&ペーストとして手書き入出力用アプリケーションにおいては処理され、カットしたもとの対象は削除される。同図(h)のように、レ点を描き加えないときにはコピー&ペーストとして手書き入出力用アプリケーションにおいては処理される。   In this case, as shown in FIG. 5G, when a check mark, which is an edit symbol for deletion, is added on the line indicating the copy source edit target, it is processed as a cut and paste in the handwriting input / output application and cut. The target is deleted. As shown in (h) in the figure, when a check mark is not drawn, it is processed as copy and paste in the handwriting input / output application.

同図(i)のように、編集対象に(A)、(B)といったフラグとなる編集記号を描き加えると、編集対象は(A)、(B)というフラグを付けた状態でコピーされ、以後は任意に何度でもペーストが可能でなる。さらに、同図(j)のように、ページが異なるなど、離れた位置にもペーストすることが可能である。   As shown in FIG. 6 (i), when an edit symbol that is a flag such as (A) or (B) is added to the edit target, the edit target is copied with the flags (A) and (B). Thereafter, the paste can be made any number of times. Furthermore, as shown in FIG. 6J, it is possible to paste at a distant position such as a different page.

同図(k)のように、文字の上に二重線を引くと、手書き入出力用アプリケーションにおいては二重線を引いた文字を削除する。   If a double line is drawn on the character as shown in FIG. 6 (k), the character with the double line is deleted in the handwriting input / output application.

同図(l)のように、2つの編集対象を双方向の矢印の編集記号で結ぶと、手書き入出力用アプリケーションにおいては編集対象同士を入れ替える。   When two editing objects are connected by an editing symbol of a bidirectional arrow as shown in FIG. 11 (l), the editing objects are exchanged in the handwriting input / output application.

図49は第三のオペレーションにおける各編集を媒体2上で行った結果を手書き入出力用アプリケーションにおいて反映させた文章を示す図である。   FIG. 49 is a diagram showing a sentence in which the result of performing each edit in the third operation on the medium 2 is reflected in the handwriting input / output application.

図50は、図48に示す第三のオペレーションの編集を行った後に、編集を取り消して編集前の状態に戻す操作を説明する図である。   FIG. 50 is a diagram for explaining an operation of canceling editing and returning to the state before editing after the third operation shown in FIG. 48 is edited.

同図(a)のように、一度編集記号であるレ点を付して削除した領域に打ち消しの編集記号であるジグザグ線を加えると、手書き入出力用アプリケーションにおいては一度削除した領域について、削除を取り消して領域が元に戻る。   If a zigzag line, which is a cancellation edit symbol, is added to a region once deleted with a check mark, which is an edit symbol, as shown in FIG. Cancel and restore the area.

同図(b)のように、一度編集記号である(A)マークを付してコピー&ペーストを行ったところの、ペースト先を指定する編集記号である矢印部分にジグザグ線を加えると、手書き入出力用アプリケーションにおいてはコピー&ペーストをして文字を挿入する前の状態に戻される。   As shown in Fig. 5 (b), once the copy symbol (A) is added and the copy and paste operation is performed, a zigzag line is added to the arrow portion that is the edit symbol that specifies the paste destination. In the input / output application, copying and pasting is performed to return to the state before inserting the character.

図51は、第三のオペレーションにおける編集の取り消しを媒体2上で行った結果を手書き入出力用アプリケーションにおいて反映させた文章を示す図である。   FIG. 51 is a diagram illustrating a sentence in which the result of performing the editing cancellation in the third operation on the medium 2 is reflected in the handwriting input / output application.

<各オペレーションの階層関係>
以下に、各オペレーションの階層関係について説明する。
<Hierarchical relationship of each operation>
Hereinafter, the hierarchical relationship of each operation will be described.

各オペレーションは、第三のオペレーションを第一および第二のオペレーションと並列するオペレーションとしてもよい。   Each operation may be a third operation in parallel with the first and second operations.

この場合、第三のオペレーション時においては本文の文字およびコメントの文字を同時に編集する。   In this case, at the time of the third operation, text characters and comment characters are edited simultaneously.

一方、第三のオペレーションは第一のオペレーションおよび第二のオペレーションにそれぞれ従属するサブオペレーションとしてもよい。   On the other hand, the third operation may be a sub-operation subordinate to the first operation and the second operation.

この場合、第一のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においては本文の文字のみを編集し、第二のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においてはコメントの文字のみを編集する。   In this case, only the text of the body is edited during the third operation as a sub-operation subordinate to the first operation, and the comment character is edited during the third operation as a sub-operation subordinate to the second operation. Edit only.

当然ながら、本発明にかかる手書き入出力システム1は上記第一から第三のオペレーション以外にも、必要に応じて種々のオペレーションを実行できるものとして変更実施することができる。   Naturally, the handwriting input / output system 1 according to the present invention can be modified and implemented as various operations can be executed as necessary in addition to the first to third operations.

<コンピュータへの保存>
図52に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、右回転させることにより、処理命令部10は入力した文字および文書構成の結果(ファイル内容の変更結果)を保存することを情報処理部11に命令する。撮像部7本体が、編集履歴を記録できる機能を有している場合は、上記文書構成の結果を情報処理部11に送信する。
<Save to computer>
As shown in FIG. 52, the processing command unit 10 rotates the image pickup unit 7 to the right by a predetermined rotation angle (for example, 10 degrees or more) while touching the medium surface, so that the processing command unit 10 can input the result of the character and document configuration (file The information processing unit 11 is instructed to save the content change result. When the imaging unit 7 has a function capable of recording an editing history, the result of the document configuration is transmitted to the information processing unit 11.

図53に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、左回転させることにより、処理命令部10は入力した文字および文書構成の結果を破棄する(ファイル内容の変更をキャンセルする)ことを情報処理部11に命令する。   As shown in FIG. 53, the processing instruction unit 10 discards the input character and the result of the document structure by rotating the imaging unit 7 to the left by a predetermined rotation angle (eg, 10 degrees or more) while touching the medium surface. The information processing unit 11 is instructed to cancel (change the file contents).

撮像部7の回転の認識には、先述の回転角読み取り・回転角変化認識の方法を利用する。   For the recognition of the rotation of the imaging unit 7, the above-described rotation angle reading and rotation angle change recognition methods are used.

<アプリケーションの起動・終了>
図54に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、右回転させ、そのまま所定の時間内(例:1秒以内)に所定回転角度(例:10度以上)左回転させることにより、処理命令部10は情報処理部11に対して手書き入出力用アプリケーションを起動することを命令する。
<Starting and exiting the application>
As shown in FIG. 54, while the imaging unit 7 is touched on the medium surface, the imaging unit 7 is rotated to the right by a predetermined rotation angle (eg, 10 degrees or more), and the predetermined rotation angle (eg, within 1 second) is kept as it is. (Example: 10 degrees or more) By rotating counterclockwise, the processing command unit 10 instructs the information processing unit 11 to start a handwriting input / output application.

図55に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、左回転させ、そのまま所定の時間内(例:1秒以内)に所定回転角度(例:10度以上)右回転させることにより、処理命令部10は情報処理部11に対して手書き入出力用アプリケーションを終了することを命令する。   As shown in FIG. 55, while the imaging unit 7 is touched on the medium surface, the imaging unit 7 is rotated counterclockwise by a predetermined rotation angle (eg, 10 degrees or more), and remains within a predetermined time (eg, within 1 second). (Example: 10 degrees or more) By rotating clockwise, the processing command unit 10 instructs the information processing unit 11 to end the handwriting input / output application.

<オペレーションの切り替え動作−方法1>
以下に、図56を用いて、オペレーションの切り替えをする第一の方法を説明する。
<Operation switching operation-Method 1>
The first method for switching operations will be described below with reference to FIG.

この方法では、先述の角度測定・角度変化認識の方法を利用する。   In this method, the angle measurement / angle change recognition method described above is used.

同図(a)に示すように、撮像部7を媒体面に立てて、媒体面と撮像部7のなす角度を基準として、所定の角度(例:15度以上)だけ、媒体面の左側に倒すことにより、処理命令部10は本文を手書き入力する第一のオペレーションを開始することを情報処理部11に命令する。   As shown in FIG. 5A, the image pickup unit 7 stands on the medium surface, and a predetermined angle (for example, 15 degrees or more) is set on the left side of the medium surface with reference to the angle formed by the medium surface and the image pickup unit 7. By defeating, the processing command unit 10 commands the information processing unit 11 to start the first operation for handwriting input of the text.

同図(b)に示すように、撮像部7を媒体面に立てて、媒体面と撮像部7のなす角度を基準として、所定の角度(例:15度以上)だけ、媒体面の右側に倒すことにより、処理命令部10はコメントを手書き入力する第二のオペレーションを開始することを情報処理部11に命令する。   As shown in FIG. 4B, the image pickup unit 7 is set up on the medium surface, and a predetermined angle (for example, 15 degrees or more) is set on the right side of the medium surface on the basis of the angle formed by the medium surface and the image pickup unit 7. By defeating, the processing command unit 10 commands the information processing unit 11 to start a second operation for inputting a comment by handwriting.

同図(c)に示すように、撮像部7を媒体面に立てて、媒体面と撮像部7のなす角度を基準として、所定の角度(例:15度以上)だけ、媒体面の上側に倒すことにより、処理命令部10は本文およびコメントを編集する第三のオペレーションを開始することを情報処理部11に命令する。   As shown in FIG. 5C, the image pickup unit 7 is set up on the medium surface, and a predetermined angle (for example, 15 degrees or more) is set above the medium surface by using the angle formed by the medium surface and the image pickup unit 7 as a reference. By defeating, the processing command unit 10 commands the information processing unit 11 to start a third operation for editing the text and comments.

同図(d)に示すように、撮像部7を媒体面に立てて、媒体面と撮像部7のなす角度を基準として、所定の角度(例:15度以上)だけ、媒体面の下側に倒すことにより、処理命令部10は現在実行しているオペレーションを終了して、予め設定する通常時(起動時)のオペレーションを開始することを情報処理部11に命令する。   As shown in FIG. 4D, the image pickup unit 7 stands on the medium surface, and the lower side of the medium surface is a predetermined angle (for example, 15 degrees or more) with reference to the angle formed by the medium surface and the image pickup unit 7. The processing command unit 10 instructs the information processing unit 11 to end the operation currently being executed and start a preset normal operation (startup).

なお、図57はオペレーションの切り替えをする第一の方法の説明を補足する、真上から見た平面図である。   FIG. 57 is a plan view seen from directly above, supplementing the explanation of the first method for switching operations.

<オペレーションの切り替え動作−方法2>
以下に、オペレーションの切り替えをする第二の方法を説明する。
<Operation switching operation-Method 2>
The second method for switching operations will be described below.

オペレーションの切り替えは撮像部7本体に設けたボタンなどの入力手段によって行うものとしてもよい。   The operation switching may be performed by an input unit such as a button provided on the imaging unit 7 body.

また、撮像部7以外にもマウス、キーボード等の外部入力手段によりオペレーションの切り替えを行うものとしてもよい。   In addition to the imaging unit 7, the operation may be switched by an external input unit such as a mouse or a keyboard.

<オペレーションの切り替え動作−方法3>
以下に、オペレーションの切り替えをする第三の方法を説明する。
<Operation switching operation-Method 3>
Below, the 3rd method of switching operation is demonstrated.

内部に複数のペン先を格納して切り替えることができる実施態様の撮像部7においては、ペン先の切り替え動作と連動してオペレーションを切り替えるものとしてもよい。   In the imaging unit 7 of the embodiment that can store and switch a plurality of pen tips inside, the operation may be switched in conjunction with the pen tip switching operation.

この場合、オペレーション毎に色分けが可能となるため媒体上においても各オペレーションの見分けがつきやすくなる。   In this case, since it is possible to color-code each operation, it is easy to distinguish each operation on the medium.

また、ペン先に代えて消しゴムまたは修正液を装着する場合は、情報処理部11においても書き込みではなく、文字または図形を消去するようにしてもよい。   In addition, when an eraser or a correction liquid is attached instead of the pen tip, the information processing unit 11 may erase characters or figures instead of writing.

<決定・取り消し>
情報処理部11が所定の処理を実行するか否かを決定するときにおいて、図58(a)に示すように、撮像部7を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内(例:1秒以内)にもう一度媒体面をタッチしたとき、処理命令部10は情報処理部11に対して処理の実行を決定することを命令する。
<Decision / Cancellation>
When the information processing unit 11 determines whether or not to execute the predetermined process, as shown in FIG. 58A, the imaging unit 7 is set up vertically on the medium surface and once touched on the medium surface. When the medium surface is touched again within a predetermined time (eg, within 1 second), the processing command unit 10 instructs the information processing unit 11 to determine execution of the processing.

同図(b)に示すように、撮像部7を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内(例:1秒以内)にタッチがされないとき、処理命令部10は情報処理部11に対して処理の実行を中止することを命令する。   As shown in FIG. 5B, when the image pickup unit 7 is set up vertically on the medium surface, and once touched on the medium surface, when no touch is made within a predetermined time (eg, within 1 second), a processing command The unit 10 instructs the information processing unit 11 to stop the execution of the process.

<他の使用方法>
以上の構成は媒体2に書き込み履歴を残すことを前提とするものであるが、本発明にかかる手書き入出力システム1は媒体2に書き込み履歴を残すことなく、ディスプレイ6を見ながら手書き入力を行ってもよいことは先にも述べたとおりである。
<Other usage methods>
The above configuration is premised on leaving a writing history on the medium 2, but the handwriting input / output system 1 according to the present invention performs handwriting input while looking at the display 6 without leaving a writing history on the medium 2. As described above, it may be possible.

<音声認識>
本発明は手書き入出力システムであるが、手書き入力を補助する方法として音声認識および音声ガイドをすることができるものとしてもよい。
<Voice recognition>
Although the present invention is a handwriting input / output system, speech recognition and voice guidance may be performed as a method for assisting handwriting input.

<音声収録部>
音声収録部20は、図59に示すように、中央処理装置(MPU)40を中心に構成されている。すなわち、中央処理装置(MPU)40の制御によって、マイク41から入力された音声情報は、アンプ42を介してA/Dコンバータ43、圧縮回路44によって処理され、デジタル音声情報として、記録される。
<Audio recording part>
As shown in FIG. 59, the audio recording unit 20 is configured around a central processing unit (MPU) 40. That is, under the control of the central processing unit (MPU) 40, audio information input from the microphone 41 is processed by the A / D converter 43 and the compression circuit 44 via the amplifier 42, and is recorded as digital audio information.

<音声認識部>
音声認識部21は、録音した音声情報を対応するテキスト情報に変換し、処理命令部10は情報処理部11に対して、テキスト情報に基づく処理命令をテキスト情報と共に送信する。
<Voice recognition unit>
The voice recognition unit 21 converts the recorded voice information into corresponding text information, and the processing command unit 10 transmits a processing command based on the text information together with the text information to the information processing unit 11.

ここで、音声認識に前後して、分類コードを定義したドットパターンを撮像しておくことにより、音声認識の精度を高めることが可能である。すなわち、データベースを検索してテキスト情報を出力する際に全てのテキスト情報を参照することなく、分類コードに対応した音声認識情報テーブル内のテキスト情報を参照することにより、音声認識の精度が高まる。   Here, before and after voice recognition, it is possible to improve the accuracy of voice recognition by imaging a dot pattern that defines a classification code. That is, the accuracy of speech recognition is improved by referring to the text information in the speech recognition information table corresponding to the classification code without referring to all the text information when searching the database and outputting the text information.

たとえば、「上野」と発声した場合、それが地名の上野なのか人名の上野なのかを把握することは難しいが、「住所」を意味する分類コードが撮像された後に「上野」という発声が音声情報として入力された場合、住所入力のカテゴリコードとともに「上野」の音声情報が情報処理部11に送信される。   For example, if you say “Ueno”, it ’s difficult to know if it ’s Ueno or Ueno, but after the classification code that means “address” has been captured, When input as information, voice information of “Ueno” is transmitted to the information processing unit 11 together with the address input category code.

<音声収録モードへの切り替え>
本発明に係る手書き入出力システム1が、手書き入力に代えて音声収録を行う場合、所定の操作を行なうことにより音声収録モードへの切り替えを行う必要がある。以下に、音声収録モードへの切り替え方法を説明する。
<Switch to audio recording mode>
When the handwriting input / output system 1 according to the present invention performs voice recording instead of handwriting input, it is necessary to switch to the voice recording mode by performing a predetermined operation. A method for switching to the audio recording mode will be described below.

<特定の記号をなぞる>
音声収録モードへ切り替える第一の方法としては、撮像部7が音声収録モードへの切り替えを意味する特定の記号を書き込む(なぞる、描く)ことにより、音声収録モードへ切り替える方法がある。軌跡認識部9が音声収録モードへの切り替えを意味する特定の記号の軌跡を認識して、音声収録部20に送信することにより(または処理命令部10を介して送信することにより)、音声収録部20は音声収録を開始する。
<Trace specific symbols>
As a first method of switching to the voice recording mode, there is a method of switching to the voice recording mode by writing (tracing or drawing) a specific symbol meaning switching to the voice recording mode. The trajectory recognition unit 9 recognizes a trajectory of a specific symbol meaning switching to the voice recording mode and transmits it to the voice recording unit 20 (or by transmitting it via the processing command unit 10), thereby recording the voice. The unit 20 starts audio recording.

<ペンを跳ねる>
音声収録モードへ切り替える第二の方法としては、図60に示すように、撮像部7を媒体面の書き込み領域に触れた状態で跳ねる動作をすることにより、音声収録モードへ切り替える方法がある。
<Bounce the pen>
As a second method for switching to the audio recording mode, as shown in FIG. 60, there is a method of switching to the audio recording mode by performing an operation of bouncing the imaging unit 7 while touching the writing area on the medium surface.

<音声認識による切り替え>
音声収録モードへ切り替える第三の方法としては、音声収録部20に所定の音声を収録し、音声認識部21が所定の音声を認識することにより、音声収録モードへ切り替える方法がある。
<Switching by voice recognition>
As a third method of switching to the voice recording mode, there is a method of recording a predetermined voice in the voice recording unit 20 and switching to the voice recording mode when the voice recognition unit 21 recognizes the predetermined voice.

処理命令部10は、上記各種の方法による操作が行われた場合、情報処理部11に対して、手書き入出力用アプリケーションにおいて手書き入力に代えて、音声入力を行うことを命令する。   The processing command unit 10 instructs the information processing unit 11 to perform voice input instead of handwriting input in the handwriting input / output application when operations by the various methods described above are performed.

<音声出力部>
音声出力部22は処理命令部10からの指示に応じて所定の音声ファイルを再生する。音声ファイルは予めデジタル化されて記憶されているものがA/Dコンバータ42、アンプ42を介してスピーカ45またはイヤホン46より出力される。
<Audio output unit>
The audio output unit 22 reproduces a predetermined audio file in response to an instruction from the processing command unit 10. The audio file that has been digitized and stored in advance is output from the speaker 45 or the earphone 46 via the A / D converter 42 and the amplifier 42.

<音声ガイド>
本発明にかかる手書き入出力システム1においては、コード情報を利用することにより、手書き入力を行うユーザに対して音声ガイドを行ってもよい。
<Voice guide>
In the handwriting input / output system 1 according to the present invention, voice guidance may be given to a user who performs handwriting input by using code information.

すなわち、書き込み領域に印刷されたドットパターンに、情報処理部11に対して音声の再生を命令する音声ガイドコードが定義づけられていることにより、手書き入力を開始する(撮像部7がドットパターンを撮像する)と、音声ガイドコードに予め対応付けられて記憶された音声ファイルが音声出力部22により再生される。   That is, handwriting input is started by defining a voice guide code for instructing the information processing unit 11 to play back a voice in the dot pattern printed in the writing area (the imaging unit 7 changes the dot pattern). When the image is captured), the sound output unit 22 reproduces the sound file stored in association with the sound guide code in advance.

ただし、音声ガイドコードおよび対応する音声ファイルは、音声ガイド以外に用いても当然よいものとする。   However, the voice guide code and the corresponding voice file may be used other than the voice guide.

<グリッドシート>
図61〜図63は、本発明にかかる手書き入出力システム1において、情報入力補助シートであるグリッドシートをディスプレイに装着して用いる実施例について示した説明図である。このグリッドシートは、透明なシート上にドットパターンが形成されたものであって、モニタ面上に重ねて貼り付けることでタッチパネルとしての機能を発揮するものである。
<Grid sheet>
FIGS. 61-63 is explanatory drawing shown about the Example which mounts and uses the grid sheet | seat which is an information input auxiliary | assistant sheet | seat in a display in the handwriting input / output system 1 concerning this invention. This grid sheet has a dot pattern formed on a transparent sheet, and exhibits a function as a touch panel by being overlaid on a monitor surface.

特願2007−230776号(PCT/JP2008/002188)に開示されているグリッドシートを媒体2として用いることにより、媒体をディスプレイ6のモニタ面上に貼り付けてタッチパネルとすることができる。ただし、グリッドシート以外の手段を採用してもよい。   By using the grid sheet disclosed in Japanese Patent Application No. 2007-230776 (PCT / JP2008 / 002188) as the medium 2, the medium can be attached to the monitor surface of the display 6 to form a touch panel. However, means other than the grid sheet may be adopted.

また、グリッドシートを媒体2として用いる他に、グリッドシートを媒体2に重ねて用いてもよい。このような使用法は、第一に手書き入出力用ではない媒体に印刷(記載)された文書または画像を、本発明にかかる手書き入出力システム1を用いて編集したい場合、第二に撮像部7をモニタ面上に押し当てることにユーザが抵抗を感じる場合において、特に有効である。   In addition to using the grid sheet as the medium 2, the grid sheet may be overlapped with the medium 2. Such a usage method is such that when a document or an image printed (described) on a medium that is not for handwriting input / output is first edited using the handwriting input / output system 1 according to the present invention, secondly, an imaging unit This is particularly effective when the user feels resistance to pressing 7 on the monitor surface.

図61〜図62は、グリッドシートをディスプレイ6に装着して用いる実施例について示した説明図である。   61 to 62 are explanatory views showing an embodiment in which a grid sheet is mounted on the display 6 and used.

図61は、情報処理装置である汎用的なコンピュータシステムに、グリッドシートを用いた図である。本実施例では、パソコン等の液晶ディスプレイ(LCD)やCRT(ブラウン管)などのディスプレイ画面上に、グリッドシートを貼付する。グリッドシートは、透明フィルムで形成されており、ドットパターンが印刷されている。このドットパターンは、詳細は後述するが、XY座標値および/またはコード値を所定のアルゴリズムでパターン化したものである。コンピュータ本体には、ドットパターン読取手段であるスキャナが接続されている。ユーザは、透視した画面の指示に従って、スキャナでグリッドシートをタッチする。スキャナは、ドットパターンを読み込み、USBケーブルを介してパーソナルコンピュータに送信し、パーソナルコンピュータの中央処理装置(CPU)は、ドットパターンを解析しグリッドシート上のXY座標値を求め、更にディスプレイ上のxy座標値に変換し、座標値の情報からタッチパネル形式の入力が可能となる。   FIG. 61 is a diagram in which a grid sheet is used in a general-purpose computer system that is an information processing apparatus. In this embodiment, a grid sheet is pasted on a display screen such as a liquid crystal display (LCD) such as a personal computer or a CRT (CRT). The grid sheet is formed of a transparent film, and is printed with a dot pattern. Although details will be described later, this dot pattern is obtained by patterning XY coordinate values and / or code values with a predetermined algorithm. A scanner which is a dot pattern reading unit is connected to the computer main body. The user touches the grid sheet with the scanner in accordance with the instructions on the fluoroscopic screen. The scanner reads the dot pattern and transmits it to the personal computer via the USB cable. The central processing unit (CPU) of the personal computer analyzes the dot pattern to obtain the XY coordinate value on the grid sheet, and further, xy on the display. Conversion to coordinate values enables input in touch panel format from the coordinate value information.

これによれば、本シートによってタッチパネル形式の入力が可能となり、安価で利便性に優れたタッチパネルを提供することが可能となる。また、インターネットのサイトを閲覧しているときに、リンク情報が設定されていない情報であっても、関連情報を検索して参照することも可能となる。   According to this, input of a touch panel form is attained by this sheet, and it becomes possible to provide a touch panel that is inexpensive and excellent in convenience. Further, when browsing a site on the Internet, it is possible to search and refer to related information even if the link information is not set.

なお、図61では情報処理装置としてパーソナルコンピュータを用いたが、本発明はこれに限らず、情報処理装置は、パーソナルコンピュータ、PDA、テレビ受信装置、フロントおよびリアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、POS端末装置、ATM、KIOSK端末、カーナビ、パチンコ、時計、スマートフォン等であってもよい。これらにおいては、タッチパネル形式の入力デバイスとしてディスプレイまたはスクリーンの表示画面上にグリッドシートが配置される。   In FIG. 61, a personal computer is used as the information processing device. However, the present invention is not limited to this, and the information processing device is a personal computer, a PDA, a television receiver, a front and rear projector, a game device, a karaoke device, a portable device. A telephone terminal device, a POS terminal device, an ATM, a KIOSK terminal, a car navigation system, a pachinko machine, a watch, a smartphone, or the like may be used. In these, a grid sheet is arranged on a display screen or a display screen as a touch panel type input device.

図62は、図61で説明したグリッドシートの内部構造について示した断面図である。   62 is a cross-sectional view showing the internal structure of the grid sheet described in FIG.

同図(a)は、スキャナで、グリッドシートをタッチしている状態を示した縦断面図である。   FIG. 6A is a longitudinal sectional view showing a state in which the grid sheet is touched by the scanner.

同図に示すように、グリッドシートは、表示装置側から、赤外線反射層、ドットパターン層、保護用透明シート(保護層)が積層された構造となっている。   As shown in the figure, the grid sheet has a structure in which an infrared reflecting layer, a dot pattern layer, and a protective transparent sheet (protective layer) are laminated from the display device side.

赤外線反射層は、ビニール、エンビペット、ポリプロピレン等、可視光線を透過する材料で生成された蒸着用透明シートに、赤外線反射材料が蒸着された構成となっている。赤外線反射層は、スキャナの赤外線照射手段から照射し保護用透明シートを透過した赤外線を、スキャナに対して反射させるとともに、可視光を透過させる。それとともに、表示装置からの赤外線を遮断する。これにより、スキャナの赤外線照射手段から照射された赤外線光のみを照射光とすることができ、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。   The infrared reflective layer has a configuration in which an infrared reflective material is vapor-deposited on a transparent sheet for vapor deposition made of a material that transmits visible light, such as vinyl, envipet, and polypropylene. The infrared reflection layer reflects the infrared ray irradiated from the infrared irradiation means of the scanner and transmitted through the protective transparent sheet to the scanner and transmits visible light. At the same time, infrared rays from the display device are blocked. Thereby, only the infrared light irradiated from the infrared irradiation means of the scanner can be used as the irradiation light, and only a bright and clear dot pattern can be photographed, and the dot code can be analyzed accurately.

ドットパターン層には、カーボンインク等の赤外線吸収特性材料からなるドットを後述するような所定の規則に則って配列したドットパターンが印刷されている。   On the dot pattern layer, a dot pattern in which dots made of an infrared absorbing material such as carbon ink are arranged according to a predetermined rule as described later is printed.

保護用透明シートは、ビニール、エンビペット、ポリプロピレン等、可視光線および赤外線を透過する材料で生成されている。ドットパターンを繰り返しスキャナでタッチすると、ドットが磨耗し、正確にドットパターンを読み取れなくなるという問題が生じる。そこで、保護用透明シートを設けることにより、ドットの磨耗と汚れを防ぎ、シートを長期間使用することが可能となる。   The protective transparent sheet is made of a material that transmits visible light and infrared light, such as vinyl, envipet, and polypropylene. When the dot pattern is repeatedly touched with the scanner, the dots are worn out, causing a problem that the dot pattern cannot be read accurately. Therefore, by providing a protective transparent sheet, it is possible to prevent dot wear and dirt and to use the sheet for a long period of time.

スキャナには、赤外線照射手段であるIR−LEDと、その反射光の所定波長成分をカットするIRフィルター、および撮像素子であるC−MOSセンサ、およびレンズが内蔵されている。スキャナは、グリッドシートに照射した照射光の反射光を撮影する。上述したように、ドットパターンは赤外線を吸収する特性を有するインクで印刷されているため、C−MOSセンサでの撮像画像では、ドットの部分のみ黒く撮影されることとなる。   The scanner includes an IR-LED that is an infrared irradiation unit, an IR filter that cuts a predetermined wavelength component of the reflected light, a C-MOS sensor that is an image sensor, and a lens. The scanner captures reflected light of the irradiation light irradiated on the grid sheet. As described above, since the dot pattern is printed with ink having a characteristic of absorbing infrared rays, only the dot portion is photographed black in the captured image by the C-MOS sensor.

この場合、赤外線反射層で鏡面反射された反射層は、同図に示すように、レンズに反射光が入射されず、同図(b)に示すように、中央が真っ黒な状態で撮影されてしまう。そのため、ドットパターンを漏れなく撮影することができない。したがって、赤外線を拡散反射させてレンズに入射させる必要がある。すなわち、図63(a)に示すように、ドットパターン印刷層と赤外線反射層との間に、赤外線拡散層を設ける。この赤外線拡散層は、透明または半透明の材質で形成されている。これによって、同図(b)に示すようにIR−LEDから照射された赤外線は、赤外線反射層で鏡面反射し、赤外線拡散層で拡散し、全ての撮影領域の反射光がレンズに入射する。図示しないが、赤外線反射機能と赤外線拡散機能を有する赤外線拡散反射層を同位置に設けてもよい。さらに、ドットパターン印刷層の赤外線入射側に配置しても同様な効果が得られる。その際、赤外線拡散層は保護用透明シートを兼ねてもよい。   In this case, the reflection layer that is specularly reflected by the infrared reflection layer is photographed in a state where the reflected light is not incident on the lens and the center is black as shown in FIG. End up. Therefore, it is impossible to photograph the dot pattern without omission. Therefore, it is necessary to diffusely reflect infrared light and to enter the lens. That is, as shown in FIG. 63A, an infrared diffusion layer is provided between the dot pattern printing layer and the infrared reflection layer. This infrared diffusion layer is made of a transparent or translucent material. As a result, as shown in FIG. 5B, the infrared light irradiated from the IR-LED is specularly reflected by the infrared reflecting layer and diffused by the infrared diffusing layer, and the reflected light of all the imaging regions enters the lens. Although not shown, an infrared diffuse reflection layer having an infrared reflection function and an infrared diffusion function may be provided at the same position. Further, the same effect can be obtained even if the dot pattern printing layer is arranged on the infrared incident side. At that time, the infrared diffusion layer may also serve as a protective transparent sheet.

なお、同図においては、グリッドシートに赤外線拡散層を設けたが、本発明はこれに限らず、スキャナの撮影口に赤外線拡散材料によるフィルターを設けてもよい。

Figure 2012022418
In the figure, the grid sheet is provided with an infrared diffusing layer. However, the present invention is not limited to this, and a filter made of an infrared diffusing material may be provided at the photographing port of the scanner.
Figure 2012022418

<書き込み領域の形状について>
以上説明した限りでは、書き込み領域とはいずれも矩形であったが、本発明のようにコード情報を用いて書き込み領域を特定する場合、図64に示すように書き込み領域の形状は、例えば多角形、円形、楕円形、ハート形、星形、あるいはイラストとドットパターンを重畳印刷する場合、当該イラストの実在線に沿った形状など、どのようなものであっても、同様の解析効率を発揮することができる。
<About the shape of the writing area>
As described above, the writing area is rectangular, but when the writing area is specified using the code information as in the present invention, the shape of the writing area is, for example, a polygon as shown in FIG. , Circular, elliptical, heart-shaped, star-shaped, or when an illustration and a dot pattern are overprinted, the same analysis efficiency can be achieved regardless of the shape along the actual line of the illustration. be able to.

従来、座標情報のみを用いて書き込み領域を特定しようとすると、書き込み領域の境界を示す座標をテーブルないし関数で予め定義しておき、入力した座標値が当該テーブルないし関数の範疇に入るものであるか逐次判定しなければならかった。このため、解析が複雑化し、座標情報のみを用いて書き込み領域を特定する場合、使用メモリーや計算速度などの解析効率の低下を最小限に抑えるため書き込み領域は矩形である必要があった。なお、矩形の場合、矩形領域のXY座標値の最小値と最大値をテーブルに記憶しておき、入力した座標値がその範囲にあるかを判定する。従って、矩形であっても、コード情報による書き込み領域の特定に対して、使用メモリーが4倍以上、書き込み領域内であるかを判定するための余計な比較計算が4回必要となる。さらに、書き込み領域が複数ある場合、どの領域であるかの判定が必要となり膨大な使用メモリーと計算速度が必要であると予測される。本発明は、書き込み領域はどのような形状であってもコード情報が直接的に書き込み領域を特定するため、余計なメモリーの使用や計算を行うことなく書き込み領域を特定することができる。   Conventionally, when an attempt is made to specify a writing area using only coordinate information, coordinates indicating the boundary of the writing area are previously defined by a table or function, and the input coordinate value falls within the category of the table or function. It was necessary to judge sequentially. For this reason, the analysis is complicated, and when the writing area is specified only using the coordinate information, the writing area needs to be rectangular in order to minimize the decrease in the analysis efficiency such as the memory used and the calculation speed. In the case of a rectangle, the minimum value and the maximum value of the XY coordinate values of the rectangular area are stored in a table, and it is determined whether the input coordinate value is within the range. Therefore, even for a rectangular shape, extra comparison calculation is required four times to determine whether the used memory is four times or more in the writing area for specifying the writing area based on the code information. Furthermore, when there are a plurality of write areas, it is necessary to determine which area is used, and it is predicted that a large amount of used memory and calculation speed are required. According to the present invention, since the code information directly specifies the writing area regardless of the shape of the writing area, the writing area can be specified without using extra memory or calculating.

<配置方向の組み合わせによる判別>
自動的な操作判別を行なうもう一つの方法を説明する。
<Distinction by combination of arrangement direction>
Another method for automatic operation discrimination will be described.

ストリームドットのように、基準位置からの距離と方向とを持って情報ドットを配置することにより情報を定義する(第一の数値化情報)ドットパターンを用いる場合、情報ドットを+方向線上(上下左右方向線上)に配置するか、×方向線上(斜め方向線上)に配置するかの、情報ドットの配置方向の組み合わせそのものに対して情報を定義する(第二の数値化情報)こともできるため、×方向線上に情報ドットが配置される場合を「0」、+方向線上に情報ドットが配置される場合を「1」とした場合、図65(b)のドットパターンにおける第二の数値化情報は「1010010110100101」であり、図66(b)のドットパターンにおける第二の数値化情報は「0000000011111111」である。   When using a dot pattern that defines information by arranging information dots with a distance and direction from the reference position, such as a stream dot (first numerical information), the information dots are placed on the + direction line (up and down Information can be defined for the combination of information dot arrangement directions (second digitized information), which is arranged on the horizontal direction line) or on the x direction line (on the diagonal direction line). When the information dot is arranged on the x-direction line is “0” and the information dot is arranged on the + direction line is “1”, the second digitization in the dot pattern of FIG. The information is “1010010110100101”, and the second numerical information in the dot pattern of FIG. 66B is “0000000011111111”.

また、情報ドットの配置方向だけでなく、仮想基準点から情報ドットを配置する距離(配置距離)を2パターン以上とすることにより、情報ドットが仮想基準点に対してどの距離で配置されるかの組み合わせによっても第二の数値化情報を定義することができる。   In addition to the direction in which the information dots are arranged, the distance (arrangement distance) at which the information dots are arranged from the virtual reference point is set to two or more patterns so that the information dots are arranged at a distance from the virtual reference point. The second digitized information can be defined also by the combination.

当然、情報ドットの配置方向と配置距離双方の組み合わせにより第二の数値化情報を定義してもよい。   Of course, the second digitized information may be defined by a combination of both the arrangement direction and the arrangement distance of the information dots.

すなわち、第二の数値化情報とは、情報ドットの配置方向や配置距離といった、情報ドットの配置法則そのものにより定義される情報を意味する。   That is, the second digitized information means information defined by the information dot arrangement rule itself, such as the information dot arrangement direction and arrangement distance.

発明者は、これまでコード情報と座標情報の両方を定義するドットパターンのフォーマットを提案してきたが、そのようなフォーマットのドットパターンは情報ドットの数を多くするためにドットパターンの分布面積を大きく設ける必要があり、それに伴ってペンスキャナの光学読み取りユニットもドットパターンを読み取るために大きな読み取り領域を備える必要があった。   The inventor has so far proposed a dot pattern format that defines both code information and coordinate information. In order to increase the number of information dots, the dot pattern of such a format increases the dot pattern distribution area. Accordingly, the optical reading unit of the pen scanner needs to have a large reading area in order to read the dot pattern.

このため、読み取り精度、計算速度、計算要領の少ない光学読み取りユニットを備える玩具等ではコード情報と座標情報を両方定義するフォーマットを利用することは困難だったが、上記の方法によれば情報ドットの少ない、分布面積の小さいドットパターンであっても、多量の情報を定義することが可能となっている。   For this reason, it has been difficult to use a format that defines both code information and coordinate information for toys that have an optical reading unit with low reading accuracy, calculation speed, and calculation procedure. Even with a small dot pattern with a small distribution area, a large amount of information can be defined.

本発明にかかる手書き入出力システムは、第一に、コンピュータの操作に用いるマウス、キーボード、タブレットといった既存の入力用デバイスの使用テクニックを習得していない者が、紙媒体に書き込むのと同様の感覚で使用することのできる、入力用デバイスとしての産業上の利用可能性を有する。さらに、主に子供を対象とした、おもちゃ、特に知育用おもちゃとしての産業上の利用可能性を有する。   The handwriting input / output system according to the present invention has the same feeling as that a person who has not mastered the technique of using an existing input device such as a mouse, a keyboard, and a tablet used for computer operation writes on a paper medium. The present invention has industrial applicability as an input device that can be used in a computer. Furthermore, it has industrial applicability as toys, especially educational toys, mainly for children.

本発明にかかる手書き入出力システムは、第二に、座標情報と同時に読み取ったコード情報により書き込み領域であることを特定できるため、手書き入力される内容が所定のカテゴリーに属する場合、そのカテゴリーの辞書との照合により認識率は格段に向上する。   Secondly, since the handwriting input / output system according to the present invention can specify the writing area by the code information read simultaneously with the coordinate information, if the content input by handwriting belongs to a predetermined category, the dictionary of the category The recognition rate is greatly improved by collating with.

本発明にかかる手書き入出力システムは、第三に、操作者が特別な操作をすることなく、ドットパターンを読み取るだけで書き込み領域であるか否かを判別し、誰もが使い慣れた筆記用具を使うように直感的に手書き入力を実現できる。   Thirdly, the handwriting input / output system according to the present invention determines whether or not it is a writing area simply by reading the dot pattern without any special operation by the operator, and a writing instrument that everyone is familiar with is used. Intuitive handwriting input as you use it.

1 手書き入出力システム
2 媒体
3 スキャナ
4 コンピュータ
5 サーバ
6 ディスプレイ
7 撮像部
8 ドットパターン解析部
9 軌跡認識部
10 処理命令部
11 情報処理部
12 撮像素子
13 照射部
14 光制御部
15 計時部
16 角度測定部
17 角度変化認識部
18 回転角読み取り部
19 回転角変化認識部
20 音声収録部
21 音声認識部
22 音声出力部
23 送信部
24 送信ボタン
25 再送信ボタン
26 マイク
27 音声再生ボタン
28 指示用突起部
29 ペン
30 ペン格納ボタン
31 ペン型スキャナ
32 ライトガイド
33 レンズ
34 LED
35 C−MOSセンサ
36 PCB
37 ペン
38 バンクガイド
39 点字
40 中央処理装置(MPU)
41 マイク
42 アンプ
43 A/Dコンバータ
44 圧縮回路
45 スピーカ
46 イヤホン
101 基準ドット
102 第一の仮想基準線
103 第二の仮想基準線
104 仮想基準点
105 情報ドット
DESCRIPTION OF SYMBOLS 1 Handwritten input / output system 2 Medium 3 Scanner 4 Computer 5 Server 6 Display 7 Imaging part 8 Dot pattern analysis part 9 Trajectory recognition part 10 Processing command part 11 Information processing part 12 Imaging element 13 Irradiation part 14 Light control part 15 Timekeeping part 16 Angle Measurement unit 17 Angle change recognition unit 18 Rotation angle reading unit 19 Rotation angle change recognition unit 20 Audio recording unit 21 Audio recognition unit 22 Audio output unit 23 Transmission unit 24 Transmission button 25 Retransmission button 26 Microphone 27 Audio reproduction button 28 Instruction projection Unit 29 Pen 30 Pen storage button 31 Pen type scanner 32 Light guide 33 Lens 34 LED
35 C-MOS sensor 36 PCB
37 Pen 38 Bank guide 39 Braille 40 Central processing unit (MPU)
41 Microphone 42 Amplifier 43 A / D converter 44 Compression circuit 45 Speaker 46 Earphone 101 Reference dot 102 First virtual reference line 103 Second virtual reference line 104 Virtual reference point 105 Information dot

Claims (18)

少なくとも一部、または複数の任意の形状の領域に、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値または、XY座標値およびコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成された書き込み領域を備えた媒体からなる
ことを特徴とする手書き入力シート。
A step of arranging a plurality of reference dots continuously in a line according to a predetermined rule in at least a part or a plurality of arbitrarily shaped regions, and a straight line, a broken line and / or a curve connecting the plurality of reference dots A first virtual reference line comprising: at least one second virtual consisting of a straight line and / or a curve defined at a predetermined position from the reference dot and / or the first virtual reference line A step of providing a reference line; a step of providing a plurality of virtual reference points at predetermined positions on the second virtual reference line; and a distance from the virtual reference point to an end point represented by a vector using the virtual reference point as a starting point Writing formed by arranging a plurality of stream dot patterns arranged in accordance with the process of arranging information dots in which XY coordinate values or XY coordinate values and code values are defined by and direction Handwriting input sheet characterized by comprising a medium having a frequency band.
前記ストリームドットは、
第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、さらに基準となる基準ドットを所定の位置に設けた
ことを特徴とする請求項1記載の手書き入力シート。
The stream dot is
In order to define the second virtual reference line and / or to define the direction of the dot pattern and one XY coordinate value and / or code value, a reference dot serving as a reference is further provided at a predetermined position. The handwritten input sheet according to claim 1.
請求項1または2記載の手書き入力シートを用いた手書き入出力システムであって、
前記書き込み領域に形成された前記ストリームドットパターンを撮像して、送信する撮像手段と、
該撮像手段により撮像・送信された該ストリームドットパターンの画像データを記憶素子に記憶して、該画像データをコード解析することにより、座標情報および、座標情報およびコード情報からなる軌跡情報を求めるドットパターン解析手段と、
該軌跡情報を情報処理手段に対し送信する処理命令手段と
を備えた手書き入出力システム。
A handwriting input / output system using the handwriting input sheet according to claim 1,
Imaging means for imaging and transmitting the stream dot pattern formed in the writing area;
Dots for obtaining coordinate information and trajectory information made up of coordinate information and code information by storing image data of the stream dot pattern imaged and transmitted by the imaging means in a storage element and performing code analysis on the image data Pattern analysis means;
A handwriting input / output system comprising processing instruction means for transmitting the trajectory information to information processing means.
前記手書き入出力システムは、
さらに、解析された前記座標情報の変化に基づき、前記書き込み領域面においてトレースされた、文字および/または図形の前記軌跡情報を認識する軌跡認識手段と、
認識された認識情報に基づいた処理命令を情報処理手段に対し送信する処理命令手段と
を備えた請求項3記載の手書き入出力システム。
The handwriting input / output system includes:
Furthermore, based on the change of the analyzed coordinate information, the locus recognition means for recognizing the locus information of the characters and / or figures traced on the writing area surface,
4. The handwriting input / output system according to claim 3, further comprising processing command means for transmitting a processing command based on the recognized recognition information to the information processing means.
前記媒体は、
前記コード値の少なくとも一部に、該媒体を特定する情報が定義されているか、
および/または、前記コード値の少なくとも一部に、前記書き込み領域を特定する特定情報が定義されているか、
および/または、前記コード値の少なくとも一部に、書き込み処理を意味する操作指示(プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等)が定義されているか、
および/または、前記書き込み領域内および/または領域周辺に形成された前記ストリームドットパターンの前記コード値の少なくとも一部に、所定の媒体面および/または前記書き込み領域面を特定する特定情報および/または前記操作指示を定義し、それを意味するアイコンが重畳して印刷されているか、
および/または、前記書き込み領域内および/または領域周辺に形成された前記ストリームドットパターンに、関連するテキスト、グラフィック、写真を重畳して印刷されているか、
および/または、前記書き込み領域内および/または領域周辺に点字をさらに備えているか、
および/または、前記書き込み領域に書き込む際に、前記ドットパターンを撮像する撮像手段がはみ出さないように該書き込み領域の外周に沿って幅狭の凸部のガイドをさらに備えているか、
および/または、貼付可能なシール、付箋紙、その他の媒体であるか、
および/または、書き込み領域が表示されたモニタ面上または印刷された媒体上に重ねて用いる、前記ストリームドットパターンが形成された透明な情報入力補助シートである
ことを特徴とする請求項1に記載の手書き入力シートまたは請求項3に記載の手書き入出力システム。
The medium is
Whether information specifying the medium is defined in at least a part of the code value,
And / or whether at least part of the code value is defined with specific information for identifying the write area,
And / or whether at least a part of the code value defines an operation instruction (program activation, command input, data input / output / search, designation of a search target, etc.) meaning write processing,
And / or specific information for specifying a predetermined medium surface and / or the writing region surface in at least a part of the code value of the stream dot pattern formed in and / or around the writing region and / or Whether the operation instruction is defined and an icon representing the operation instruction is superimposed and printed,
And / or the stream dot pattern formed in and / or around the writing area is overlaid with associated text, graphics, or photographs,
And / or further comprising braille in and / or around the writing area,
And / or further comprising a narrow convex guide along the outer periphery of the writing area so that the imaging means for imaging the dot pattern does not protrude when writing to the writing area,
And / or stickable stickers, sticky notes, other media,
2. The transparent information input auxiliary sheet having the stream dot pattern formed thereon, which is used in an overlapping manner on a monitor surface on which a writing area is displayed or on a printed medium. The handwriting input / output system according to claim 3.
前記媒体は、
前記書き込み領域を設けた該媒体を第1の媒体として、該第1の媒体面および/または前記書き込み領域面を特定するためのコード情報を繰り返し定義したドットパターンを形成した第2の媒体をさらに備え、
該第2の媒体に形成したコード情報を、前記撮像手段で読み取ることにより、前記第1の媒体面上の印刷情報および/または前記書き込み領域面に描かれた前記軌跡情報、および/または該軌跡情報に関連した情報を出力する
ことを特徴とする請求項3または4に記載の手書き入出力システム。
The medium is
A second medium on which a dot pattern in which code information for specifying the first medium surface and / or the writing area surface is repeatedly defined is further defined by using the medium provided with the writing area as a first medium. Prepared,
When the code information formed on the second medium is read by the imaging unit, the printing information on the first medium surface and / or the locus information drawn on the writing area surface, and / or the locus 5. The handwriting input / output system according to claim 3, wherein information related to the information is output.
前記撮像手段は、
指示用突起部および/または少なくとも一つのペン先をさらに備え、
前記書き込み領域面に、該指示用突起部および/または少なくとも一つのペン先でなぞった文字および/または図形をトレースする際、該指示用突起部近傍の軌跡上の前記ドットパターンを撮像し、
該指示用突起部および少なくとも一つのペン先を備える場合は、
該指示用突起部内に該ペン先を格納する格納スペースと、
該ペン先の格納/取出しを制御するボタンと、をさらに備えた該指示用突起部である
ことを特徴とする請求項3または4に記載の手書き入出力システム。
The imaging means includes
Further comprising an indicator projection and / or at least one nib,
When tracing the character and / or figure traced with the pointing protrusion and / or at least one pen tip on the writing area surface, image the dot pattern on the locus near the pointing protrusion,
When the indicator projection and at least one nib are provided,
A storage space for storing the pen tip in the pointing protrusion;
5. The handwriting input / output system according to claim 3, wherein the pointing protrusion further includes a button for controlling storage / removal of the pen tip.
前記撮像手段は、
前記指示用突起部に前記書き込み領域面に描かれた文字および/または図形を消去する消去手段をさらに備え、
該書き込み領域面に、該消去手段でなぞった領域を消去すると同時に、該消去手段近傍の軌跡上のドットパターンを撮像し、
前記処理命令手段は、
該文字および/または図形の前記軌跡情報を消去する処理命令と、前記軌跡情報と、を情報処理手段に対し送信する
ことを特徴とする請求項7に記載の手書き入出力システム。
The imaging means includes
And further comprising an erasing means for erasing characters and / or figures drawn on the writing area surface on the instruction protrusion,
At the same time as erasing the area traced by the erasing means on the writing area surface, image the dot pattern on the locus near the erasing means,
The processing instruction means includes
8. The handwriting input / output system according to claim 7, wherein a processing command for deleting the trajectory information of the character and / or figure and the trajectory information are transmitted to an information processing means.
前記軌跡情報は、前記撮像手段の撮像中心の座標情報、または該撮像手段付近に備えられ
た前記指示用突起部または前記ペン先が前記書き込み領域面に触れる位置の座標情報と前記コード情報からなり、
前記ドットパターン解析手段により、前記ドットパターンに定義された座標情報を基に補間計算して求められる
ことを特徴とする請求項7に記載の手書き入出力システム。
The trajectory information includes coordinate information of the imaging center of the imaging unit, or coordinate information of the position where the pointing protrusion or the pen tip provided near the imaging unit touches the writing area surface and the code information. ,
8. The handwritten input / output system according to claim 7, wherein the dot pattern analysis unit obtains the dot pattern analysis unit by performing interpolation calculation based on coordinate information defined in the dot pattern.
前記軌跡認識手段は、
計時手段をさらに備え、
該計時手段は、前記撮像手段が前記書き込み領域面に触れた時間および離れた時間を計時し、
該撮像手段が該書き込み領域面に触れて描かれた軌跡の順番と触れている時間を記録し、前記情報処理手段に送信することを特徴とする請求項4に記載の手書き入出力システム。
The locus recognition means includes
It further includes a timing means,
The time measuring means measures the time when the imaging means touches the writing area surface and the time away from it,
5. The handwriting input / output system according to claim 4, wherein the imaging unit records the order of the trace drawn by touching the surface of the writing area and the touching time, and transmits the recorded time to the information processing unit.
前記処理命令手段は、
前記コード情報および/または前記認識情報に基づき、前記書き込み領域を特定する特定情報および/または操作指示(プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等)を一意に入力可能であることを特徴とする請求項3または4に記載の手書き入出力システム。
The processing instruction means includes
Based on the code information and / or the recognition information, specific information and / or operation instructions (program activation, command input, data input / output / search, specification of search target, etc.) for specifying the writing area are uniquely specified 5. The handwriting input / output system according to claim 3 or 4, wherein input is possible.
前記軌跡認識手段は、
さらに前記コード情報に基づき、
前記書き込み領域に書き込む内容に関する、
予め分類された文字および/または図形情報パターンを参照し、
前記軌跡情報を高精度で認識する
ことを特徴とする請求項4に記載の手書き入出力システム。
The locus recognition means includes
Furthermore, based on the code information,
Regarding the contents to be written in the writing area,
Refer to pre-classified character and / or graphic information patterns,
The handwriting input / output system according to claim 4, wherein the trajectory information is recognized with high accuracy.
前記軌跡認識手段は、さらに解析された前記座標情報の変化に基づき、該文字および/または該図形、もしくは、1または複数の該文字からなる語句、の意味情報を、前記コード情報に対応する予め定義された意味情報コードテーブル(辞書)を参照し、意味情報コードに変換し、
前記処理命令手段は、
該意味情報コードと、該意味情報に基づいた前記処理命令と、を前記情報処理手段に対し送信する
ことを特徴とする請求項4に記載の手書き入出力システム。
The trajectory recognizing means further converts the semantic information of the character and / or the figure, or one or more words composed of the characters, in advance corresponding to the code information, based on the analyzed change of the coordinate information. Refer to the defined semantic information code table (dictionary), convert it to semantic information code,
The processing instruction means includes
5. The handwriting input / output system according to claim 4, wherein the semantic information code and the processing instruction based on the semantic information are transmitted to the information processing means.
前記処理命令手段は、
前記軌跡認識手段による前記軌跡情報の認識結果を、
文書および/または図形として入力させる第一のオペレーションか、
またはコメントとして入力させる第二のオペレーションか、
または文書および/または図形、および/またはコメントを編集する編集記号とし、
該編集記号に基づいて文書および/または図形、および/またはコメントを編集させる第三のオペレーションとして、
前記情報処理手段に命令する
ことを特徴とする請求項5に記載の手書き入出力システム。
The processing instruction means includes
The result of recognition of the trajectory information by the trajectory recognition means is
The first operation to be entered as a document and / or figure,
Or the second operation to be entered as a comment,
Or as an edit symbol to edit documents and / or figures and / or comments,
As a third operation for editing a document and / or a figure and / or a comment based on the edit symbol,
The handwriting input / output system according to claim 5, wherein the information processing unit is instructed.
少なくとも前記媒体面に接触した前記撮像手段の撮像光軸が、該媒体面の鉛直線に対して倒されることにより成される傾きおよび倒される方向を測定する角度測定手段と、
該撮像手段が該媒体面に接触した際に測定された、該傾きおよび該方向を基準として、
該撮像手段を倒す動作、すなわちグリッドティルト動作による、該傾きおよび/または該方向の、所定の変化を解析する角度変化認識手段と
をさらに備え、
前記処理命令手段は、
該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信する
ことを特徴とする請求項3または4に記載の手書き入出力システム。
An angle measuring means for measuring an inclination and a direction in which the imaging optical axis of the imaging means in contact with at least the medium surface is tilted with respect to a vertical line of the medium surface;
With reference to the tilt and the direction measured when the imaging means contacts the medium surface,
An angle change recognizing means for analyzing a predetermined change in the tilt and / or the direction due to an operation of tilting the imaging means, that is, a grid tilt operation;
The processing instruction means includes
5. The handwriting input / output system according to claim 3, wherein a predetermined processing instruction is transmitted to the information processing means based on the result of the analysis.
前記媒体は、前記書き込み領域の方向に対して、所定の角度で配置された前記ドットパターンが該書き込み領域に形成され、
前記角度測定手段および前記角度変化認識手段は、前記撮像手段が該書き込み領域面に接触した際に読み取られた該ドットパターンの方向を基に、該書き込み領域の方向に対して、倒される方向および/または前記傾きの、所定の変化を解析する
ことを特徴とする請求項15に記載の手書き入出力システム。
In the medium, the dot pattern arranged at a predetermined angle with respect to the direction of the writing area is formed in the writing area.
The angle measuring means and the angle change recognizing means are configured to be tilted with respect to the direction of the writing area based on the direction of the dot pattern read when the imaging means is in contact with the writing area surface. 16. The handwriting input / output system according to claim 15, wherein a predetermined change in the inclination is analyzed.
前記手書き入出力システムは、
前記書き込み領域面に対して、前記撮像手段の撮像光軸を概ね鉛直状に立て、該書き込み領域面に接触した際に読み取られた前記ドットパターンの方向と、該撮像手段のアングルとで成される回転角を読み取る回転角読み取り手段と、
該撮像手段が該媒体面に接触した際に測定された該回転角を基準として、
該撮像手段を回転する動作、すなわちグリッドターン動作による、該撮像光軸が所定の回転方向に回転されることにより、該回転角の所定の変化を解析する回転角変化認識手段と、をさらに備え、
前記処理命令手段は、
該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信する
ことを特徴とする請求項3または4に記載の手書き入出力システム。
The handwriting input / output system includes:
The imaging optical axis of the imaging means is set substantially vertically with respect to the writing area surface, and is formed by the direction of the dot pattern read when contacting the writing area surface and the angle of the imaging means. Rotation angle reading means for reading the rotation angle,
Based on the rotation angle measured when the imaging means contacts the medium surface,
A rotation angle change recognizing means for analyzing a predetermined change in the rotation angle by rotating the imaging optical axis in a predetermined rotation direction by an operation of rotating the imaging means, that is, a grid turn operation; ,
The processing instruction means includes
5. The handwriting input / output system according to claim 3, wherein a predetermined processing instruction is transmitted to the information processing means based on the result of the analysis.
前記手書き入出力システムは、
さらに、前記撮像手段で前記書き込み領域を撮像して前記ドットパターン解析手段により座標情報およびコード情報を求めた後に、所定の操作により該撮像手段で該書き込み領域に文字をなぞるか、または描く代わりに音声を収録する音声収録手段と、
前記コード情報に対応する予め定義された音声認識情報テーブル(辞書)を参照し、収録された音声を認識し文字情報に変換し情報処理手段に対し送信する音声認識手段と、をさらに備えた
ことを特徴とする請求項3または4に記載の手書き入出力システム。
The handwriting input / output system includes:
Further, after imaging the writing area by the imaging means and obtaining the coordinate information and code information by the dot pattern analyzing means, instead of tracing or drawing characters in the writing area by the imaging means by a predetermined operation Audio recording means for recording audio;
Speech recognition means for referring to a predefined speech recognition information table (dictionary) corresponding to the code information, recognizing the recorded speech, converting it into character information, and transmitting it to the information processing means; The handwriting input / output system according to claim 3 or 4, characterized in that:
JP2010158344A 2010-07-12 2010-07-12 Handwriting input sheet and handwriting input/output system using stream dot Pending JP2012022418A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010158344A JP2012022418A (en) 2010-07-12 2010-07-12 Handwriting input sheet and handwriting input/output system using stream dot
PCT/JP2011/065914 WO2012008469A1 (en) 2010-07-12 2011-07-12 Information input auxiliary sheet, information processing system, information input device, information input system, handwriting input sheet, and handwriting input-output system using stream dots

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010158344A JP2012022418A (en) 2010-07-12 2010-07-12 Handwriting input sheet and handwriting input/output system using stream dot

Publications (1)

Publication Number Publication Date
JP2012022418A true JP2012022418A (en) 2012-02-02

Family

ID=45776686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010158344A Pending JP2012022418A (en) 2010-07-12 2010-07-12 Handwriting input sheet and handwriting input/output system using stream dot

Country Status (1)

Country Link
JP (1) JP2012022418A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014103274A1 (en) * 2012-12-28 2014-07-03 パナソニック株式会社 Display control system and reading apparatus
JPWO2017010469A1 (en) * 2015-07-10 2018-07-26 株式会社I・Pソリューションズ Handwriting device and voice / handwriting communication system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014103274A1 (en) * 2012-12-28 2014-07-03 パナソニック株式会社 Display control system and reading apparatus
JPWO2014103274A1 (en) * 2012-12-28 2017-01-12 パナソニックIpマネジメント株式会社 Display control system and reader
JPWO2017010469A1 (en) * 2015-07-10 2018-07-26 株式会社I・Pソリューションズ Handwriting device and voice / handwriting communication system

Similar Documents

Publication Publication Date Title
JP4385169B1 (en) Handwriting input / output system, handwriting input sheet, information input system, information input auxiliary sheet
JP5489118B2 (en) I / O device, information I / O system
JP4243642B2 (en) Calibration method and information input support sheet
JP5848230B2 (en) Handwriting input / output system, handwriting input sheet, information input system, information input auxiliary sheet
JP5544609B2 (en) Handwriting input / output system
WO2012008469A1 (en) Information input auxiliary sheet, information processing system, information input device, information input system, handwriting input sheet, and handwriting input-output system using stream dots
JP2012022418A (en) Handwriting input sheet and handwriting input/output system using stream dot
JP6056263B2 (en) Terminal device, electronic pen system, and program
JP5358759B2 (en) Optical reader
JP6857867B2 (en) Handwriting input sheet
JP6267074B2 (en) Handwriting input / output system and optical reader
JP2014220006A (en) Handwriting input/output system and optical reading device
JP2019036324A (en) Handwriting input sheet
JP2014157621A (en) Handwriting input-output system
JP2012022400A (en) Information input auxiliary sheet and information processing system using stream dot