JP2011060115A - Information processing system and display processing program - Google Patents

Information processing system and display processing program Download PDF

Info

Publication number
JP2011060115A
JP2011060115A JP2009210718A JP2009210718A JP2011060115A JP 2011060115 A JP2011060115 A JP 2011060115A JP 2009210718 A JP2009210718 A JP 2009210718A JP 2009210718 A JP2009210718 A JP 2009210718A JP 2011060115 A JP2011060115 A JP 2011060115A
Authority
JP
Japan
Prior art keywords
entry area
means
character entry
character
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009210718A
Other languages
Japanese (ja)
Inventor
Hirosuke Sugihara
弘祐 杉原
Original Assignee
Dainippon Printing Co Ltd
大日本印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dainippon Printing Co Ltd, 大日本印刷株式会社 filed Critical Dainippon Printing Co Ltd
Priority to JP2009210718A priority Critical patent/JP2011060115A/en
Publication of JP2011060115A publication Critical patent/JP2011060115A/en
Application status is Pending legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an information processing system which can resolve the hardness to write, with respect to entry of characters by handwriting, while simplifying a writer's operation, and surely reflecting the writer's request for the rotating angle of a character entry area.
SOLUTION: A processing means 24 has a character entry area control part 243 which controls a character entry area 406 to which characters or symbols are input. The character entry area control part 243 performs rotation control processing of the character entry area 406. The writer puts an electronic pen 1 on a rotation control mark 408 projected on a screen 4 and draws a stroke, whereby the control part rotates the character entry area 406.
COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、位置座標を示すコード化パターンを用いて情報を入力することができる情報処理システムに関し、特に、ユーザによって記入される文字や記号などの文字情報を記入するための領域の制御に関する。 The present invention relates to an information processing system capable of inputting information by using a coded pattern indicative of the position coordinates, and more particularly, to a control region for entering text information such as characters and symbols to be entered by the user.

近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン(Anoto Pen)」が知られている。 In recent years, it has been developed electronic pen to electronic information that you fill out, the Swedish Anoto developed by the company "Anoto pen (Anoto Pen)" has been known as a typical thing. このアノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙(以下、単に「専用紙」という。)とともに使用される。 The Anoto pen is special paper which dot patterns are printed indicating the position coordinates patterned by a predetermined algorithm (hereinafter, simply referred to as. "Special paper") is used with.

具体的には、このアノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。 Specifically, the Anoto pen is the pen tip portion, a miniature camera for imaging a dot pattern printed on special paper, a processor for calculating the position coordinates of the special paper from the dot pattern imaged, computed It is equipped with a data communication unit for transmitting the position coordinates and the like to an external device. また、ユーザが専用紙上にアノトペンで文字等を書いた場合に、または、専用紙上に図案化されている画像にチェックマークを記入した場合に、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンが撮像され、プロセッサによって演算された連続する位置座標から、ユーザが記入した文字、記号または図形などの情報(以下、「記入情報」という。)が取得されるようになっている。 The printing, if the user wrote characters or the like in Anoto pen dedicated paper, or, when a check mark in the image being stylized dedicated paper, a compact camera dedicated paper with the pen movement is dot pattern imaging is, from the position coordinates of consecutive calculated by the processor, a character that the user has entered, information such as symbols or graphics (hereinafter, referred to as "entry information".) is adapted to is obtained . そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信されるようになっている(例えば、特許文献1参照)。 Then, the entry information, and is transmitted to the terminal device, such as near a personal computer or a cellular phone from the Anoto pen by the data communication unit (e.g., see Patent Document 1).

また、最近、コンピュータ装置の表示画面上を専用のペンその他のもので触れることによって文字や記号などの文字情報を記入するシステムが提案されており、その一つとして、所定の画面上の領域にユーザによって手書きされた文字情報を記入するための文字記入領域を用いるものが知られている。 Also, recently, it has been proposed a system to fill the text information such as characters and symbols by the display screen by touching in those dedicated pen other computer devices, as one, in the area on the predetermined screen those using character entry area for entering character information handwritten by the user is known.

例えば、このような文字を記入して入力できるシステムとしては、文字記入領域が予め設定されており、当該文字記入領域に手書きされた文字や記号などを取得させることによって、文字の記入を行う記入者(いわゆる、ユーザ)に対してその記入時の負担を軽減させるようになっている(例えば、特許文献2)。 For example, fill As such a system that can enter to fill the character, the character entry area is set in advance, by obtaining the like the character handwriting characters and symbols entry region, which fills out the character person (so-called user) is adapted to reduce the load at the time of entry relative to (e.g., Patent Document 2).

一方、最近では、このような手書き文字を入力する装置を自動車などの移動体におけるナビゲーション装置の入力インターフェースとして用いるものも知られている(例えば、特許文献3)。 Meanwhile, recently, are also known to be used as an input interface of the navigation device a device for inputting such a handwriting in a mobile such as an automobile (e.g., Patent Document 3). ここでは、文字記入領域の傾斜角度が記入者の指示に基づいて設定されるとともに、設定された傾斜角度に基づいて記入情報が記入されるようになっている。 Here, along with the inclination angle of the character entry area is set based on the instruction of the registrant, so that the entry information is written on the basis of the tilt angle that has been set.

さらに、上述の技術とは異なり、文字記入領域を設定せずに、記入者に自由に記入情報を記入させ、記入された記入情報に基づいて、筆記された方向(筆記方向)、文字の大きさおよび各文字の方向(文字方向)を解析して記入情報を取得するものも知られている(例えば、特許文献4)。 Furthermore, unlike the aforementioned techniques, without setting the character entry area, to fill in the free entry information in registrant, based on the filled-in entry information, the writing is on the direction (writing direction), the character size and direction of each character is also known that to obtain the entry information by analyzing the (character direction) (for example, Patent Document 4).

特表2003−511761号公報 JP-T 2003-511761 JP 特開平8−50530号公報 JP 8-50530 discloses 特開2008−250679号公報 JP 2008-250679 JP 特開2002−175498号公報 JP 2002-175498 JP

しかしながら、特許文献2乃至4に記載の手書き文字を入力するシステムの何れにおいても、記入者における文字の記入に際し、当該記入者による書きにくさを解消させるために文字記入領域を容易にかつ確実に傾斜させることが難しい。 However, in any of the system for inputting handwritten characters described in Patent Documents 2 to 4 also, when character entry of the registrant, the character entry area easily and reliably in order to eliminate the writing difficulty by the registrant it is difficult to tilt.

例えば特許文献2に記載の手書き文字を入力する装置においては、傾斜された文字記入領域に文字を記入させる旨の記載はあるものの、文字記入領域をどの程度の角度でどのように傾斜させるのか、その設定の仕方について言及されていないので、この文字記入領域を容易にかつ確実に傾斜させることができない。 For example, in apparatus for inputting handwritten characters described in Patent Document 2, although there is a description that for fill characters tilted character entry area, how to tilt the character entry area at what angle, since not mention how the setting can not be the character entry area is easily and reliably inclined.

また、特許文献3に記載のナビゲーション装置にあっては、記入者によって文字記入領域における傾斜操作の実行中には、文字記入領域が表示されないので、どの程度の傾斜であれば記入者にとって入力しやすいかイメージしにくく、記入者の要望する角度に確実に設定することが難しい。 Further, in the navigation device disclosed in Patent Document 3, during the execution of the tilt operation in the character entry area by the registrant, the character entry area is not displayed, type for the registrant if degree of the tilt easy or difficult image, it is difficult to reliably set to the angle at which the demands of the registrant.

一方、特許文献4に記載の情報処理システムにあっては、そもそも、文字の入力位置をサポートし、かつ、認識処理などの処理負担を軽減するための文字記入領域を表示させる機能が無く、記入情報の入力が行われる位置が固定されていないので、文字記入領域を傾斜させる概念そのものがない。 On the other hand, in the information processing system described in Patent Document 4, the first place, support an input position of a character, and there is no function of displaying the character entry area to reduce the processing load, such as recognition process, fill since the position where the input information is performed is not fixed, there is no concept itself to incline the character entry area.

本発明は、上記課題を解決するためになされたものであり、その目的は、直接的に文字記入領域を操作させることによって、記入者の操作を簡易にしつつ、手書きされる文字の記入に対する書きにくさを解消させ、文字記入領域の回転角度に対して記入者の要望を確実に反映させることができる情報処理システムおよび表示処理プログラムを提供することにある。 The present invention has been made to solve the above problems, by operating directly the character entry area, while the operation of the registrant simply, write for entry of characters to be handwritten to eliminate the difficulty is to provide an information processing system and a display processing program capable of reliably reflect the needs of registrant with respect to the rotation angle of the character entry area.

上記課題を解決するため、請求項1に記載の発明は、位置座標を示すコード化パターンが形成されたスクリーン上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、前記算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記スクリーンに投影する投影手段に出力する投影出力手段と、文字を記入するための文字記入領域を画定する画定マークを前記スクリーンに表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段と、を備え、前記読取手段が前記回転制御マークの位置から前記スクリーン上を移動し To solve the above problems, a first aspect of the present invention, when the moving across the screen in which the coding pattern indicating the position coordinates formed, and reading means for reading said coded pattern along the movement path, calculation means for calculating the coordinates of the movement path on the basis of the data of the coding pattern read by said reading means, a projection that projects to the screen the shape of the moving path as an image based on the coordinates of the calculated movement route a projection output means for outputting the unit, while the defining mark defining the character entry area for entering the character to be displayed on the screen, the character entry area using a rotating control mark as a reference when rotating the comprising rotation control means for rotating the character entry area, wherein the reading means is moved on the screen from the position of the rotation control mark 場合に、前記回転制御手段が、所定の点を回転の中心点に設定し、当該設定された中心点と当該読取手段の移動経路とに基づいて前記文字記入領域を回転させる構成を有している。 When the rotation control means sets the center point of the rotation of the predetermined point, a structure for rotating the character entry area based on the moving path of the set center point and the reading means there.

この構成により、請求項1に記載の発明は、記入者によって、読取手段を回転制御マークの位置から移動させれば、所定の中心点を基準に文字記入領域を回転させることができるので、文字記入領域を回転させる際に中心点を設定するなどの他の操作をすることなく、直接的に文字記入領域を回転させることができる。 With this configuration, an invention according to claim 1, the registrant, is moved the reading means from the position of the rotary control mark, it is possible to rotate the character entry area relative to the predetermined central point, character without the other operations, such as setting the center point when rotating the writing area, it is possible to directly rotate the character entry area. また、文字記入領域を画定する画定マークをスクリーンに表示させつつ、当該文字記入領域が回転するので、手書きされる文字の記入に対する書きにくさを解消させるための文字記入領域の記入を記入者が要望する位置に確実に回転させることができる。 Further, while displaying the defining mark defining the character entry area on the screen, since the character entry area is rotated, the registrant to fill the character entry area for eliminate the writing difficulty for entry of characters handwritten it can be reliably rotated to a position desired. したがって、記入者の操作を簡易にしつつ、手書きされる文字の記入に対する書きにくさを解消させ、文字記入領域の回転角度に対して記入者の要望を確実に反映させることができる。 Thus, while the operation of the registrant easily, to eliminate the writing difficulty for entry of a character to be handwritten, it is possible to reliably reflect the needs of registrant with respect to the rotation angle of the character entry area.

また、請求項2に記載の発明は、位置座標を示すコード化パターンが形成された光透過性シート上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、前記算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記光透過性シートの背面から当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段と、文字を記入するための文字記入領域を画定する画定マークを前記表示手段に表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段とを備え、前記読取手段が前記回転制御マークの The invention according to claim 2, when you move the light transmitting top sheet coded pattern is formed which indicates the position coordinates, and reading means for reading said coded pattern along the movement path, the reading calculation means for calculating the coordinates of the movement path on the basis of the data of the coding pattern read by the means, from the rear of the light transmitting sheet the shape of the moving path as an image based on the coordinates of the calculated movement route a display output means for outputting to the display means for visible display from the front of the light transmitting sheet, while a defining mark defining the character entry area for entering a character is displayed on the display unit, the character entry area There a rotation control means for rotating the character entry area using the rotation control mark as a reference during the rotation, the reading means of the rotation control mark 置から前記光透過性シート上を移動した場合に、前記回転制御手段が、所定の点を回転の中心点に設定し、当該設定された中心点と当該読取手段の移動経路とに基づいて前記文字記入領域を回転させる構成を有している。 When you move the placed et the light transmissive top sheet, the rotation control means sets the center point of the rotation of the predetermined point based on the moving path of the set center point and the reading means and the and the character entry area has a structure to rotate.

この構成により、請求項2に記載の発明は、記入者によって、読取手段を回転制御マークの位置から移動させれば、所定の中心点を基準に文字記入領域を回転させることができるので、文字記入領域を回転させる際に中心点を設定するなどの他の操作をすることなく、直接的に文字記入領域を回転させることができる。 With this configuration, an invention according to claim 2, the registrant, is moved the reading means from the position of the rotary control mark, it is possible to rotate the character entry area relative to the predetermined central point, character without the other operations, such as setting the center point when rotating the writing area, it is possible to directly rotate the character entry area. また、文字記入領域を画定する画定マークを、光透過性シートを通して表示手段に表示させつつ、当該文字記入領域が回転するので、手書きされる文字の記入に対する書きにくさを解消させるための文字記入領域の記入を記入者が要望する位置に確実に回転させることができる。 Furthermore, the defining mark defining the character entry area, while the display unit through the light transmitting sheet, so the character entry area is rotated, character entry in order to eliminate the writing difficulty for entry of characters handwritten can be reliably rotated to a position to request that the registrant of the entry area. したがって、記入者の操作を簡易にしつつ、手書きされる文字の記入に対する書きにくさを解消させ、文字記入領域の回転角度に対して記入者の要望を確実に反映させることができる。 Thus, while the operation of the registrant easily, to eliminate the writing difficulty for entry of a character to be handwritten, it is possible to reliably reflect the needs of registrant with respect to the rotation angle of the character entry area.

また、請求項3に記載の発明は、請求項1または2に記載の情報処理システムにおいて、前記回転制御マークは複数あり、前記回転制御手段は、前記文字記入領域が回転する際に、前記移動経路の開始位置の座標を有する回転制御マークとは異なる回転制御マークを前記回転の中心点に設定する構成を有している。 Further, the invention according to claim 3, in the information processing system according to claim 1 or 2, wherein the rotation control mark is more, the rotation control means, when the character entry area is rotated, the moving It has a configuration setting different rotation control marks the center point of the rotation and the rotation control marks having a coordinate of the start position of the path.

この構成により、請求項3に記載の発明は、回転制御マークは複数あるため、ユーザは任意の回転制御マークを選択することができ、いずれの回転制御マークが選択されたとしても、選択された回転制御マークとは異なる回転制御マークが回転の中心点として設定されているため、各記入者の要望に合わせて当該文字記入領域を任意に回転させることができる。 With this configuration, an invention according to claim 3, the rotation control marks are multiple, the user can select an arbitrary rotation control mark, as either of the rotation control mark is selected, the selected since the rotation control mark different from the rotation control mark is set as the center point of the rotation, it is possible to arbitrarily rotate the character entry area to match the needs of each registrant.

また、請求項4に記載の発明は、請求項1乃至3の何れか一項に記載の情報処理システムにおいて、前記文字記入領域内に含まれる前記移動経路の座標に基づいて文字認識を実行する文字認識処理手段を更に有し、前記文字認識処理手段が、前記文字記入領域が回転している場合に、当該文字記入領域の回転角度に基づいて、前記読取手段の移動経路を回転する前の文字記入領域に相当する移動経路に変換して前記文字認識を実行する構成を有している。 The invention of claim 4 is the information processing system according to any one of claims 1 to 3, to perform character recognition on the basis of the coordinates of the movement path included in the character entry area further comprising a character recognition processing means, said character recognition processing means, when the character entry area is rotating based on the rotation angle of the character entry area, before rotating the moving path of said reading means is converted into the movement path corresponding to the character entry area has a configuration to execute the character recognition.

この構成により、請求項4に記載の発明は、文字記入領域の回転角度に基づいて、読取手段の移動経路を回転する前の文字記入領域に相当する移動経路に変換することができるので、記入された記入情報そのものから回転しているか否かの判別を行うより、迅速な認識処理の実行が可能で、かつ、その認識精度を向上させることができる。 With this configuration, an invention according to claim 4, based on the rotation angle of the character entry area, it is possible to convert the movement path corresponding to the character entry area before rotating the moving path of the reading means, fill from discriminates whether or not rotated from been entered information itself, it can be executed in rapid recognition process, and can improve the recognition accuracy.

また、請求項5に記載の発明は、請求項1に記載の情報処理システムにおいて、前記投影出力手段は、表示手段の表示画面に表示させるための画像信号を出力し、前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換部をさらに備え、前記回転制御手段は、前記座標変換部によって変換された座標に基づいて、前記回転制御マークの座標が指示されたことを認識する構成を有している。 The invention described in Claim 5 is the information processing system according to claim 1, wherein the projection output means outputs the image signal to be displayed on the display screen of the display unit, calculated by the calculating means the coordinates, further comprising a coordinate converter for converting the coordinates of the display screen of the display unit, the rotation control means on the basis of the transformed coordinates by the coordinate conversion section, the coordinates are indicated in the rotation control mark has a configuration recognizes that the.

この構成により、請求項5に記載の発明においては、算出手段によって算出された座標が座標変換部によって表示手段の表示画面の座標に変換されたうえで、回転制御手段が回転制御マークの座標が指示されたことを認識する構成となっているため、回転制御手段は、表示手段の表示画面における回転制御マークの座標系を基に、文字記入領域の回転処理を行うことができる。 With this configuration, in the invention according to claim 5, in terms of coordinates calculated by the calculation means is converted into the coordinate of the display screen of the display unit by the coordinate conversion unit, the rotation control means the coordinates of the rotation control mark since that is the recognized structure that has been instructed, the rotation control means, based on the coordinate system of the rotation control mark on the display screen of the display unit, it is possible to perform the rotation process of the character entry area.

また、請求項6に記載の発明は、請求項2に記載の情報処理システムにおいて、前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換部をさらに備え、前記回転制御手段は、前記座標変換部によって変換された座標に基づいて、前記回転制御マークの座標が指示されたことを認識する構成を有している。 The invention of claim 6 is the information processing system according to claim 2, the coordinates calculated by said calculating means, further comprising a coordinate converter for converting the coordinates of the display screen of said display means, said rotation control means on the basis of the coordinates converted by the coordinate conversion unit, the rotation control mark coordinate has a recognized structure that has been instructed.

この構成により、請求項6に記載の発明においても、算出手段によって算出された座標が座標変換部によって表示手段の表示画面の座標に変換されたうえで、回転制御手段が回転制御マークの座標が指示されたことを認識する構成となっているため、回転制御手段は、表示手段の表示画面における回転制御マークの座標系を基に、文字記入領域の回転処理を行うことができる。 With this configuration, even in the invention described in claim 6, in terms of coordinates calculated by the calculation means is converted into the coordinate of the display screen of the display unit by the coordinate conversion unit, the rotation control means the coordinates of the rotation control mark since that is the recognized structure that has been instructed, the rotation control means, based on the coordinate system of the rotation control mark on the display screen of the display unit, it is possible to perform the rotation process of the character entry area.

また、請求項7に記載の発明は、位置座標を示すコード化パターンを読み取り移動経路の座標を算出する電子ペンが、当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、前記コンピュータを、前記電子ペンにより算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記スクリーンに投影する投影手段に出力する投影出力手段、文字を記入するための文字記入領域を画定する画定マークを前記スクリーンに表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段、として機能させるとと Further, when an invention according to claim 7, an electronic pen for calculating the coordinates of the read movement path coded pattern indicating the position coordinates, which moves on the screen in which the coding pattern is formed, the electronic pen the shape indicating the movement path of a display processing program executed by a computer that performs information processing for displaying on the screen, the mobile based on the computer, the coordinates of the movement path calculated by the electronic pen projecting output means for outputting the shape of the path to the projection means for projecting said screen as an image, while displaying the defining mark defining the character entry area for entering characters into the screen, when the character entry area is rotated When the rotation control means for the character entry area is rotated to function as using a rotating control mark as a reference to the preparative に、前記電子ペンが前記回転制御マークの位置から前記スクリーン上を移動した場合に、所定の点を回転の中心点に設定し、当該設定された中心点と当該電子ペンの移動経路とに基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として機能させる構成を有している。 In the case where the electronic pen moves on the screen from the position of the rotary control mark, and set to the center point of the rotation of the predetermined point based on the moving path of the set center point and the electronic pen It has a structure to function as the rotation control means said computer to rotate the character entry area Te.

また、請求項8に記載の発明は、位置座標を示すコード化パターンを読み取り移動経路の座標を算出する電子ペンが、当該コード化パターンが形成された光透過性シート上を移動した際に、当該電子ペンの移動経路を示す形状を当該光透過性シートに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、前記コンピュータを、前記電子ペンにより算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段、文字を記入するための文字記入領域を画定する画定マークを前記表示手段に表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記 Further, when an invention according to claim 8, an electronic pen for calculating the coordinates of the read movement path coded pattern indicating the position coordinates, which moves the coded pattern is formed light transmitting top sheet, the shape indicating the moving path of the electronic pen to a display processing program executed by a computer that performs information processing for displaying on the optical transmission sheet, the computer, the movement path calculated by the electronic pen characters for entering from the rear of the light transmitting sheet the shape of the moving path as an image on the basis of the coordinates, the display output means for outputting to the display means for visible display from the front of the light transmitting sheet, a character while the defining mark defining a writing area is displayed on the display means, the character entry area using a rotating control mark as a reference when rotating the 字記入領域を回転させる回転制御手段、として機能させるとともに、前記電子ペンが前記回転制御マークの位置から前記光透過性シート上を移動した場合に、所定の点を回転の中心点に設定し、当該設定された中心点と当該電子ペンの移動経路とに基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として機能させる構成を有している。 Rotation control means for rotating the character entry area, together to function as, in the case where the electronic pen moves the light permeable top sheet from the position of the rotary control mark, and set to the center point of the rotation of a predetermined point, It said computer to rotate the character entry area based on the moving path of the set center point and the electronic pen has a structure to function as the rotation control means.

上記プログラムをコンピュータ装置にインストールすることにより、本発明に係る情報処理システムを構成させることができる。 By installing the program in the computer apparatus, it is possible to configure the information processing system according to the present invention.

本発明は、記入者によって、読取手段を回転制御マークの座標上の位置から移動させれば、所定の中心点を基準に文字記入領域を回転させることができるので、文字記入領域を回転させる際に中心点を設定するなどの他の操作をすることなく、文字記入領域を回転させることができる。 The present invention, by the registrant, is moved the reading means from a position on the coordinates of the rotation control mark, it is possible to rotate the character entry area relative to the predetermined central point, when rotating the character entry area without the other operations, such as setting the center point, it is possible to rotate the character entry area.

また、本発明は、文字記入領域を画定する画定マークをスクリーンに表示させつつ、当該文字記入領域が回転するので、手書きされる文字の記入に対する書きにくさを解消させるための文字記入領域の記入を記入者が要望する位置に確実に回転させることができる。 Further, the present invention is to display the defined mark that defines the character entry area on the screen, since the character entry area is rotated, fill the character entry area for eliminate the writing difficulty for entry of characters handwritten can be reliably rotated in the registrant is requested position.

したがって、本発明は、記入者の操作を簡易にしつつ、手書きされる文字の記入に対する書きにくさを解消させ、文字記入領域の回転角度に対して記入者の要望を確実に反映させることができる。 Accordingly, the present invention is, while the operation of the registrant easily, to eliminate the writing difficulty for entry of a character to be handwritten, it is possible to reliably reflect the needs of registrant with respect to the rotation angle of the character entry area .

第1実施形態における情報処理システムの構成を示すシステム構成図である。 Is a system configuration diagram showing the configuration of an information processing system according to the first embodiment. ドットパターンにおけるドットの配置とそのドットが変換される値との関係を説明する図である。 The arrangement of dots in the dot pattern is the dot is a diagram illustrating the relationship between the value to be converted. ドットパターンを説明するための図であり、(a)は、ドットパターンを模式的に示し、(b)は、それに対応する情報の例を示す図である。 It is a diagram for explaining a dot pattern, (a) shows a dot pattern schematically illustrates an example of (b), the information corresponding thereto. 電子ペンの構造を示す概略図であるとともに、その機能を示すブロック図である As well as a schematic diagram showing the structure of an electronic pen, is a block diagram showing the functional コンピュータ装置の機能を示す機能ブロック図である。 It is a functional block diagram showing functions of a computer apparatus. 第1実施形態における文字記入領域とその回転および回転制御マークを説明するための図であり、(a)は、スクリーン4の一部に設定される文字記入領域と回転制御マークの一例、および、(b)は、回転された文字記入領域の一例である。 Are diagrams for explaining the rotation and rotation control marked character entry region in the first embodiment, (a) represents an example of character entry area and rotation control mark is set in a part of the screen 4, and, (b) is an example of the rotated character entry area. 第1実施形態において回転された文字記入領域と認識される文字の関係を説明するための図であり、(a)は、回転された文字記入領域の一例、および、(b)は、回転された文字記入領域に記載される文字群の一例である。 Is a diagram for explaining a relationship of a character to be recognized and rotated character entry area in the first embodiment, (a) represents an example of the rotated character entry area, and, (b) is rotated and it is an example of a character group which are described in the character entry area. 第1実施形態の情報処理システムにおける回転制御処理を含む表示処理の動作を示すフローチャートである。 Is a flow chart showing the operation of the display processing including rotation control process in the information processing system of the first embodiment. 第1実施形態の情報処理システムにおける文字認識処理の動作を示すフローチャートである。 Is a flowchart showing the operation of the character recognition processing in the information processing system of the first embodiment. 第2実施形態における情報処理システムの構成を示すシステム構成図である。 Is a system configuration diagram showing the configuration of an information processing system in the second embodiment.

以下、本発明の各実施形態について、図面を参照しながら説明する。 Hereinafter, each embodiment of the present invention will be described with reference to the drawings.

なお、以下に説明する実施形態は、プロジェクターなどの投影手段によって予め定められたコード化パターンを有するスクリーンに所定の画像を投影させつつ、記入者によってスクリーンおよび後述する所定の電子ペンを用いて記入された記入情報を当該画像に重畳させる情報処理システムに本発明の情報処理システムおよび表示処理プログラムを適用した場合の実施形態である。 Incidentally, the embodiments described below, while projecting a predetermined image on a screen having a predetermined code pattern by the projection means, such as a projector, using a predetermined electronic pen screen and below the registrant fill the entry information is an embodiment of a case for the information processing system and a display processing program of the present invention to an information processing system to be superimposed on the image.

<第1実施形態> <First Embodiment>
はじめに、図1〜図9の各図を用いて本発明に係る情報処理システムの第1実施形態について説明する。 First, a first embodiment of an information processing system according to the present invention will be described with reference to the drawings of FIGS. 9.

[情報処理システムのシステム構成] [System Configuration of Information Processing System]
まず、本実施形態における情報処理システム10の構成について説明する。 First, the configuration of the information processing system 10 in this embodiment. なお、図1は、本実施形態における情報処理システム10の構成を示すシステム構成図である。 Incidentally, FIG. 1 is a system configuration diagram showing the configuration of an information processing system 10 in this embodiment.

本実施形態における情報処理システム10は、図1に示すように、ユーザが使用する電子ペン1と、当該電子ペン1を用いて文字、記号または図形などユーザの手書きによりスクリーン4に記入された記入情報を受信して処理するコンピュータ装置2と、コンピュータ装置2から画像信号を受信して、コンピュータ装置2の表示手段26に表示されると同じ画像をスクリーン4に投影するプロジェクター3とから構成される。 The information processing system 10 in this embodiment, as shown in FIG. 1, filled by the user with the digital pen 1 to be used, which is filled with the electronic pen 1 character, the user's handwriting, such as symbols or graphics on the screen 4 from the computer device 2 for receiving and processing the information, it receives the image signal from the computer unit 2, a projector 3 for projecting the same image when it is displayed on the display unit 26 of the computer device 2 to the screen 4 .

なお、例えば、本実施形態の電子ペンは、本発明の読取手段および算出手段を構成するとともに、コンピュータ装置2が本発明の回転制御手段および認識手段を構成し、プロジェクター3は、本発明の投影手段を構成する。 Incidentally, for example, an electronic pen in this embodiment, with a reading means and calculating means of the present invention, the computer device 2 constitutes the rotation control means and the recognition means of the present invention, the projector 3 is projected to the present invention constitute a means.

[スクリーン] [screen]
次に、本実施形態におけるスクリーン4について説明する。 Next, a description will be given screen 4 in this embodiment.

スクリーン4は、電子ペン1に十分に筆圧がかかる程度に硬いマグネット板401と、後述するドットパターン(コード化パターン)が印刷により全面に形成された用紙402とから構成される。 Screen 4, a hard magnetic plate 401 to the extent that sufficiently pen pressure is applied to the digital pen 1, and a dot pattern (coding pattern) formed on the entire surface by a printing paper sheet 402. described later. 特に、用紙402は、マグネット板401の前面に、当該用紙402の上からマグネットにて押さえ付けることによって、または、糊、粘着剤等で貼りつけることによって固定されている。 In particular, the paper 402 on the front surface of the magnet plate 401, by pressing at the magnet from the top of the sheet 402, or glue, is fixed by pasting an adhesive or the like. なお、マグネット板401の代わりにホワイトボードやパーティションボードや部屋の壁面等を利用してもよい。 It is also possible to use the wall surface or the like of a white board or partition board and room in place of the magnet plate 401. また、用紙402の代わりに、ドットパターンが印刷されたシートでもよく、あるいは、スクリーン4にドットパターンが直接形成されていてもよい。 In place of the sheet 402 may be a sheet having a dot pattern is printed, or a dot pattern may be formed directly on the screen 4.

[ドットパターン] [Dot pattern]
次に、図2および図3を用いて本実施形態におけるスクリーン4の用紙402に印刷されているアノト方式のドットパターン(コード化パターン)について説明する。 Next, the dot pattern Anoto method that is printed on the sheet 402 of the screen 4 in the present embodiment (encoding patterns) will be described with reference to FIGS. なお、図2は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。 Incidentally, FIG. 2 is a view for explaining the relationship between the dot and the value to which the dot is converted dot pattern. また、図3は、ドットパターンを説明するための図である。 3 is a diagram for explaining a dot pattern.

図2に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。 As shown in FIG. 2, each dot of the dot pattern are associated with a predetermined value by its position. すなわち、ドットの位置を仮想格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトするかによって、各ドットは、0〜3の値に対応付けられている。 That is, depending on whether shifts in any direction of up, down, left and right positions of the dot from the reference position of the virtual grid (vertical and horizontal line intersections), each dot is associated with a value of 0-3. また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できるようになっており、このようにして対応付けられた情報の組合せにより、スクリーン4上の位置座標が決定されるよう構成されている。 The value of each dot is further being adapted to be converted into a second bit value for a first bit value and the Y coordinate for X-coordinate, the combination of information associated in this way, the screen position coordinates on 4 is configured to be determined. なお、このドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されている。 Incidentally, the dot pattern is printed with ink containing carbon that absorbs infrared radiation.

図3(a)は、ある位置のドットパターンの配列を示している。 FIGS. 3 (a) shows the arrangement of the dot pattern of a certain position. 図3(a)に示すように、縦横約2mmの範囲内に6×6の36個のドット(以下、「6×6ドット」という。)が、スクリーン4(用紙402)上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。 As shown in FIG. 3 (a), 36 dots of 6 × 6 in the range of aspect about 2 mm (hereinafter, referred to as "6 × 6 dots".) Is, from any part of the screen 4 (Paper 402) take the 6 × 6 dots are arranged such that the unique pattern. これら36個のドットにより形成されるドットパターンは、当該スクリーン4(用紙402)上における相対的な位置座標を保持している。 Dot pattern formed by these 36 dots retains the relative position coordinates in the screen 4 (sheet 402) on. なお、図3(b)は、図3(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図2に示す規則性に基づいて対応づけられた値に変換したものである。 Incidentally, FIG. 3 (b), each dot shown in FIG. 3 (a), the shift direction from the reference position of the grating is obtained by converting the value associated based on the regularity shown in FIG. 2 . この変換は、ドットパターンの画像を撮影する電子ペン1によって行われる。 This conversion is performed by an electronic pen 1 for capturing an image of a dot pattern.

[電子ペン] [Electronic pen]
次に、図4を用いて本実施形態における電子ペン1の構造とその動作について説明する。 Next, the structure and operation electronic pen 1 in the present embodiment will be described with reference to FIG. なお、図4は、電子ペン1の構造を示す概略図であるとともに、その機能を示すブロック図である。 Incidentally, FIG. 4, along with a schematic diagram showing a structure of an electronic pen 1 is a block diagram showing the function.

電子ペン1は、プロジェクター3により画像投影されるスクリーン4への、タップ(ペン先部103によるスクリーン4への軽叩)および文字や記号または図形の記入に用いられる。 Electronic pen 1 to the screen 4 on which an image is projected by the projector 3, is used to fill in the tap (light 叩 of by nib unit 103 to the screen 4) and characters, symbols or graphics. また、記入者となるユーザによって電子ペン1を用いてスクリーン4上にタップされたり、文字、記号または図形が描かれると、当該電子ペン1は、後述するペン先部103のスクリーン4上の移動経路(以下、「筆跡」、「ストローク」ともいう。)に沿って、用紙402に印刷されたドットパターンを局所的、かつ、連続的に読み取る。 Also, or tapped on the screen 4 with the digital pen 1 by a user as a registrant, characters and symbols, or graphics are drawn, the electronic pen 1 is moved on the screen 4 of the pen tip portion 103 to be described later route (hereinafter, also referred to as "handwriting", "stroke".) along, local dot patterns printed on the paper 402, and read continuously. そして、この電子ペン1は、スクリーン4におけるその局所位置の座標を算出するとともに、その算出した位置座標データをコンピュータ装置2へ送信する。 Then, the electronic pen 1, and calculates the coordinates of the local position on the screen 4, and transmits the position coordinate data thus calculated to the computer device 2.

具体的には、電子ペン1は、図4に示すように、その筐体101の内部に、ペン部104、LED105、CMOSカメラ106、圧力センサ107、CPU等により構成されるプロセッサ108、ROMやRAMといったメモリ109、リアルタイムクロック110、アンテナ等により構成される通信ユニット111及びバッテリー112を備える。 Specifically, the electronic pen 1, as shown in FIG. 4, the interior of the housing 101, the pen unit 104, LED 105, CMOS camera 106, a processor 108, ROM Ya constituted by the pressure sensor 107, CPU or the like memory 109 such RAM, a real time clock 110, a communication unit 111 and the battery 112 constituted by an antenna or the like. ペン部104の先端は、ペン先部103となっており、このペン先部103は、文字などの記入、または、タップを行う際に、ユーザによってスクリーン4の用紙402に当接される。 Tip of the pen unit 104 has a pen tip 103, the nib unit 103, entry of characters, or, when performing a tap, is brought into contact with the sheet 402 of the screen 4 by the user. なお、電子ペン1によって、スクリーン4に記入された筆跡は、コンピュータ装置2の処理によりプロジェクター3によって投影されるため、ペン部104には、インクが充填されていないものがよいが、消去可能なインクが充填されたものであってもよい。 Incidentally, the digital pen 1, handwriting entered in screen 4, to be projected by the projector 3 by the processing of the computer device 2, the pen unit 104, but it is what the ink is not filled, erasable ink or may be filled.

バッテリー112は、電子ペン1内の各部材に電力を供給するためのものであり、例えば、電子ペン1のキャップ(図示せず)の脱着により電子ペン1自体の電源のオン/オフを行うように構成されている。 Battery 112 is used to supply power to each member in the electronic pen 1, for example, to perform an electronic pen 1 itself power on / off by desorption of the electronic pen 1 cap (not shown) It is configured. リアルタイムクロック110は、現在時刻(タイムスタンプ)を示す時刻情報を発信し、プロセッサ108に供給する。 Real-time clock 110 transmits the time information indicating the current time (time stamp) to the processor 108. 圧力センサ107は、ユーザが電子ペン1によりスクリーン4に文字などを記入したりタップしたりする際に、ペン先部103からペン部104を通じて与えられる圧力、すなわち、筆圧を検出し、その値をプロセッサ108へ伝送する。 The pressure sensor 107, when a user to tap or write the characters on a screen 4 by the electronic pen 1, the pressure from the pen point portion 103 is provided through the pen unit 104, i.e., detects the pen pressure, the value the transmission to the processor 108.

プロセッサ108は、圧力センサ107から与えられる筆圧データに基づいて、電子ペン1のペンダウン(スクリーン4に最初に接触すること)およびペンアップ(接触している状態からペン先部103が離れること)を判定してLED105およびCMOSカメラ106のスイッチのオン/オフを切換える。 The processor 108, based on the writing pressure data supplied from the pressure sensor 107, (it first contacts the screen 4) of the electronic pen 1 pen down and (leaving the pen tip portion 103 from contact with that state) pen-up It determines switching the LED105 and on / off switch of the CMOS camera 106. すなわち、ユーザが電子ペン1にてスクリーン4に文字などを記入すると、ペン先部103に筆圧がかかり、圧力センサ107によって所定値以上の筆圧が検出されるので、プロセッサ108は、ユーザが記入を開始したと判定して、LED105およびCMOSカメラ106を作動させる。 That is, when the user fills out the characters on the screen 4 by the electronic pen 1, takes writing pressure to the pen tip portion 103, since the writing pressure of greater than a predetermined value by the pressure sensor 107 is detected, the processor 108, the user It determines that it has begun to fill, to actuate the LED105 and CMOS camera 106. そして、ユーザがスクリーン4から電子ペン1を離すと、圧力センサ107によって所定値以上の筆圧の検出がされなくなるので、その際には、プロセッサ108は、ユーザが1つの筆跡の記入を終了したと判定して、LED105およびCMOSカメラ106の作動を終了させるようになっている。 When the user releases the electronic pen 1 from the screen 4, so no longer detection of a predetermined value or more writing pressure by a pressure sensor 107, At this time, the processor 108, the user has finished filling in one handwriting it is determined that, so as to terminate the operation of the LED105 and CMOS camera 106.

LED105およびCMOSカメラ106は、電子ペン1のペン先部103付近に取り付けられており、筐体101におけるLED105およびCMOSカメラ106と対向する部分には、開口部102が形成されている。 LED105 and CMOS camera 106 is mounted in the vicinity of the pen tip portion 103 of the electronic pen 1, the portion facing the LED105 and CMOS camera 106 of the housing 101, openings 102 are formed. LED105は、スクリーン4上のペン先部103近傍に向けて赤外線を照射する。 LED105 emits infrared rays toward the pen point portion 103 near on the screen 4. 赤外線が照射される領域は、ペン先部103がスクリーン4に接触する位置とはわずかにずれるように構成されている。 Region infrared rays are irradiated, the pen tip portion 103 is configured to be shifted slightly from the position in contact with the screen 4. CMOSカメラ106は、LED105によって照明された領域内における上述したドットパターンを撮影し、そのドットパターンの画像データをプロセッサ108に供給する。 CMOS camera 106 captures a dot pattern described above in the illuminated area by the LED 105, and supplies the image data of the dot pattern to the processor 108.

上述のように、ドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されているので、LED105によって照射された赤外線は、ドットの位置においては吸収される。 As described above, the dot pattern, since it is printed with ink containing carbon to absorb infrared radiation, infrared radiation emitted by the LED105 is absorbed in the dot position. その結果、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多くなる。 As a result, portions of the dots, the amount of reflected infrared radiation is small, portions other than the dot becomes large reflection amount of infrared. このため、CMOSカメラ106の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。 Therefore, the photographing of the CMOS camera 106, by providing a threshold value from a difference infrared reflection amount can be distinguished area and other areas of the dots containing carbon. なお、CMOSカメラ106による撮影領域は、図3(a)に示すような約2mm×約2mmの大きさを含む範囲であり、CMOSカメラ106の撮影は毎秒50〜100回程度の定間隔で行われる。 The image-capturing area by CMOS camera 106 is a range that includes the size of about 2mm × about 2mm as shown in FIG. 3 (a), taking CMOS camera 106 lines at regular intervals of about every second 50 to 100 times divide.

プロセッサ108は、ユーザによってスクリーン4に文字等が記入されている間、すなわち、圧力センサ107から与えられる筆圧データに基づいてLED105およびCMOSカメラ106のスイッチがオンの状態のときに、CMOSカメラ106によって供給される各画像データのドットパターン毎に、スクリーン4上におけるX、Y座標(以下、単に「位置座標」、「座標データ」ともいう。)を個々に演算していく。 Processor 108, while characters, etc. on a screen 4 by the user is entered, i.e., when on the basis of the writing pressure data supplied from the pressure sensor 107 LED 105 and the switch of the CMOS camera 106 is in the ON state, CMOS camera 106 for each dot pattern of each image data supplied by, X on the screen 4, Y coordinates (hereinafter, simply "position coordinates", also referred to as "coordinate data".) individually go calculates the. すなわち、プロセッサ108は、CMOSカメラ106によって供給される、図3(a)に示されるようなドットパターンの画像データを、図3(b)に示すデータ配列に変換し、さらに、X座標ビット値及びY座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データを演算する。 That is, the processor 108 is provided by a CMOS camera 106, the image data of the dot pattern as shown in FIG. 3 (a), into a data sequence shown in FIG. 3 (b), further, X-coordinate bit value and is converted into Y-coordinate bit values, X by a predetermined calculation method from the data sequence, and calculates the Y coordinate data.

なお上述のように、スクリーン4における6×6のドットパターンは、スクリーン4内で重複することはないため、ユーザが電子ペン1で文字等を記入すると、記入された位置がスクリーン4のどの位置に当たるかを、プロセッサ108による座標演算により特定することができる。 Incidentally, as described above, the dot pattern of 6 × 6 in screen 4, since not be duplicated in the screen 4, when the user entered the characters or the like with the electronic pen 1, the position of the screen 4 throat filled position or it hits the can be identified by the coordinate calculation by the processor 108. そして、プロセッサ108は、リアルタイムクロック110から発信される現在時刻(T)と、筆圧データ(P)と、X,Y座標データとを関連付けて一の座標属性情報を生成する。 Then, the processor 108, the current time (T) originating from real time clock 110, the pen pressure data (P), X, associates the Y coordinate data to generate a coordinate attribute information.

メモリ109には、電子ペン1を識別するための「pen01」といったペンID(電子ペン識別情報)、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。 The memory 109, a pen ID such as "pen01" for identifying the digital pen 1 (electronic pen identification information), a pen manufacturer number, the property information of the versions such as pen software is stored. そして、通信ユニット111は、座標属性情報等にペンIDが関連付けられた各記入情報をコンピュータ装置2へ順次送信する。 The communication unit 111 sequentially transmits each entry information pen ID is associated with a coordinate attribute information and the like to the computer device 2. 通信ユニット111によるコンピュータ装置2への送信は、Bluetooth(登録商標)などの無線送信によって、即時的かつ逐次的に行われる。 Transmission by the communication unit 111 to the computer device 2, by wireless transmission such as Bluetooth (registered trademark), immediate and performed sequentially.

次に、電子ペン1よりコンピュータ装置2へ送信される記入情報について説明する。 Next, a description will be given entry information transmitted from the electronic pen 1 to the computer device 2. ユーザが電子ペン1を用いてスクリーン4にストローク(筆跡)を記入する際、まず、電子ペン1をスクリーン4に接触させる。 When a user fills a stroke (handwriting) on ​​a screen 4 with the digital pen 1, it is first contacted with the electronic pen 1 on the screen 4. すると、電子ペン1の圧力センサ107によってペン先部103にかかる筆圧を検出する。 Then, to detect the writing pressure applied to the pen tip portion 103 by the pressure sensor 107 of the electronic pen 1. 電子ペン1のプロセッサ108は、圧力センサ107によって所定値以上の筆圧が検出されたと判断すると、電子ペン1の記入用紙4への接触を示すペンダウン情報PDと、電子ペン1の識別情報であるペンID等とを関連付けた記入情報を生成して、通信ユニット111に、その記入情報をコンピュータ装置2へ送信させる。 Processor 108 of the electronic pen 1 determines that the writing pressure of greater than a predetermined value by the pressure sensor 107 is detected, the pen down information PD indicating the contact to the fill sheet 4 of the electronic pen 1 is the identification information of the electronic pen 1 and generates entry information that associates the pen ID and the like, the communication unit 111 to transmit the entry information to the computer device 2.

ユーザは、電子ペン1のペン先部103の記入用紙4への接触後、ペン先部103を移動させてストロークを描くが、電子ペン1のプロセッサ108も引き続き、演算により求めた座標情報(X,Y)と、圧力センサ107により検出される筆圧データ(P)、リアルタイムクロック110により発信された時刻情報(T)とを含む座標属性情報、及びペンIDを関連付けた記入情報を、CMOSカメラ106によるドットパターンの撮影周期に応じて、逐次生成し、通信ユニット111に当該記入情報を順次、コンピュータ装置2へ送信させる。 The user, after exposure to fill paper 4 nib portion 103 of the electronic pen 1, move the pen tip portion 103 draws a stroke, but the processor 108 of the electronic pen 1 continue, coordinate information (X obtained by calculating , and Y), the pen pressure data (P) detected by the pressure sensor 107, coordinate attribute information including the time information transmitted (T) by real time clock 110, and the entry information which associates the pen ID, CMOS camera 106 depending on the shooting period of the dot pattern by, sequentially generates, the entry information sequentially to transmit to the computer device 2 to the communication unit 111.

ユーザがストロークを描き終え、電子ペン1を記入用紙4から離すと、圧力センサ107は筆圧を検出しなくなるため、プロセッサ108は、圧力センサ107によって所定値以上の筆圧が検出されなくなったと判断して、電子ペン1の記入用紙4への離脱を示すペンアップ情報PUと、電子ペン1の識別情報であるペンID等とを関連付けた記入情報を生成して、通信ユニット111に、その記入情報をコンピュータ装置2へ送信させる。 User has finished drawing a stroke, release the electronic pen 1 from input form 4, since the pressure sensor 107 is no longer detecting the pen pressure, the processor 108 determines that the pen pressure above a predetermined value by the pressure sensor 107 is no longer detected to a pen-up information PU indicating the withdrawal of the fill sheet 4 of the electronic pen 1, and generates the entry information that associates the pen ID and the like is the identification information of the electronic pen 1, the communication unit 111, the entry to transmit the information to the computer device 2. このように、電子ペン1がペンダウンと判定してからペンアップと判定するまでに、すなわち、ユーザの一つのストロークの記入により、電子ペン1によって生成される座標属性情報の集合をストローク情報と呼ぶ。 Thus, it referred to the electronic pen 1 from the determined pen down until it is determined that the pen-up, i.e., the entry of one stroke of the user, a set of coordinate attribute information generated by the electronic pen 1 and stroke information .

[コンピュータ装置] [Computer system]
次に、図1および図5の各図を用いて本実施形態のコンピュータ装置2について説明する。 Next, the computer device 2 of this embodiment will be described with reference to the drawings of FIGS. 1 and 5. なお、図5は、コンピュータ装置2の各機能を示す機能ブロック図である。 Incidentally, FIG. 5 is a functional block diagram illustrating the functions of the computer device 2.

コンピュータ装置2は、例えば、パーソナルコンピュータであって、ハードウェアとして、電子ペン1とのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、ディスプレイ、マウスやキーボード等によって構成される。 Computer device 2, for example, a personal computer, as hardware, data communication possible antenna device of the electronic pen 1 is composed processor such as a CPU, a memory such as ROM and a RAM, a display, a mouse and a keyboard that. また、コンピュータ装置2は、図5を示すように、機能的には、マウスやキーボードといった入力手段21、受信手段22、処理手段24、記憶手段25、表示手段26及び送信手段27を備え、電子ペン1から受信した各記入情報に基づいて所定の処理を行う。 The computer device 2, as shown the FIG. 5 functionally includes an input means 21 such as a mouse or a keyboard, the receiving means 22, processing means 24, memory means 25 includes a display unit 26 and the transmitting unit 27, an electronic performing a predetermined process based on the entry information received from the pen 1.

受信手段22は、アンテナや受信回路等により構成され、電子ペン1から送信された各記入情報を順次受信し、処理手段24に伝送する。 Receiving means 22 is constituted by an antenna and receiving circuits or the like, sequentially receives each entry information transmitted from the electronic pen 1 is transmitted to the processing means 24.

処理手段24は、CPU等のプロセッサによって構成され、図5に示すように、後述するキャリブレーション処理を実行するキャリブレーション処理部241、キャリブレーション処理の結果に基づいて表示手段26に表示するための座標変換を行う座標変換部242、文字や記号が入力される文字記入領域206を制御する文字記入領域制御部243、文字記入領域206内における文字や記号の認識を行う文字認識処理部244及び表示手段26の表示制御を行う表示制御部245を有している。 Processing means 24 is constituted by a processor such as a CPU, as shown in FIG. 5, the calibration processing unit 241 executes the calibration process to be described later, to be displayed on the display unit 26 based on the result of the calibration process coordinate conversion unit 242 performs coordinate conversion, character entry area control unit 243 for controlling the character entry area 206 where characters and symbols are input, character recognition processing unit 244 and display for recognizing the characters and symbols in the character entry area 206 and a display control unit 245 for controlling the display means 26. 特に、文字記入領域制御部243は、文字記入領域206の回転制御処理を行うようになっており、ユーザが電子ペン1によりスクリーン4上に描いたストロークの記入情報に基づいて文字記入領域206を回転させる。 In particular, character entry area control unit 243 is adapted to control the rotation processing of the character entry area 206, the character entry area 206 based on the entry information of strokes that the user has drawn on the screen 4 by the electronic pen 1 rotate. なお、文字記入領域制御部243を含めて、処理手段24の各部の詳細については後述する。 Incidentally, including the character entry area control unit 243 will be described later in detail of each part of the processing means 24.

記憶手段25は、ハードディスクやROM、RAMなどのメモリによって構成され、キャリブレーション処理を実行するためのプログラム(以下、「キャリブレーションプログラム」という。)と、文字記入領域206を回転させるためのプログラム(以下、「文字記入領域回転プログラム」という。)と、文字認識処理を実行するためのプログラム(以下、「文字認識プログラム」という。)とが記憶されている。 Storage means 25 is constituted by a hard disk or a ROM, a memory of the RAM, etc. program for executing the calibration process (hereinafter, "calibration program" hereinafter.) And a program for rotating the character entry area 206 ( hereinafter, a. referred to as "character entry area rotation program"), a program for executing a character recognition processing (hereinafter, referred to as "character recognition program".) are stored. また、記憶手段25は、電子ペン1から受信した記入情報や後述する処理手段24の処理によって生成された各種データを記憶する。 The storage unit 25 stores various data generated by the processing of the processing means 24 to be described later entered information received or from the electronic pen 1.

さらに、記憶手段25には、キャリブレーションプログラムに関して、表示手段26に表示するキャリブレーション用マークの表示画面201上の位置座標および形状等の情報、スクリーン4の用紙に印刷されているドットパターンの座標領域の値が記憶されており、キャリブレーション処理の結果、求められた座標変換関数を記憶する。 Further, the storage unit 25, with respect to the calibration program, the coordinates of the dot pattern printed position coordinates and shape information on the display screen 201 of the calibration marks to be displayed on the display unit 26, the sheet of the screen 4 and the value of the area is stored, the result of the calibration process, and stores the coordinate transformation function determined.

さらに、記憶手段25には、文字記入領域回転プログラムに関して、表示手段26に表示する文字記入領域206の座標領域の初期値、その範囲を画定表示するためのマーク(以下、「画定マーク」ともいう。)207の形状等の情報、文字記入領域の回転制御に用いるマーク(以下、「回転制御マーク」という。)208の文字記入領域における相対的な位置および形状等の情報、その他の文字記入領域206の回転制御に必要な各情報が記憶されている。 Further, the storage unit 25, with respect to the character entry area rotation program, the initial value of the coordinate region of the character entry area 206 to be displayed on the display unit 26, the mark for defining display the range (hereinafter, also referred to as "defining mark" .) 207 shape information of a mark used in the rotation control of the character entry area (hereinafter, the relative position and shape information of the character entry area of ​​"rotation control mark" hereinafter.) 208, other character entry area 206 each information required for rotation control of are stored. また、記憶手段25は、ユーザの電子ペン1による操作によって回転された後における文字記入領域206の座標領域の値、回転角度、文字記入領域206等に記入されたストローク情報等を記憶する。 The storage unit 25 stores the value of the coordinate region of the character entry area 206 in after being rotated by the operation by the electronic pen 1 users, the rotation angle, the stroke information written in the character entry area 206 or the like or the like.

さらに、記憶手段25には、文字認識プログラムに関して、スクリーン4上に投影された文字記入領域406内に描かれ、文字記入領域206への記入として取り込まれたストローク群の形状パターンを照合するための各文字や記号のパターンの情報(以下、「パターン情報」という。)その他の文字認識処理に必要な情報が記憶されている。 Further, the storage unit 25, with respect to the character recognition program, is depicted in the character entry area 406 that is projected on the screen 4, for matching the stroke group shape pattern captured as filling out a character entry area 206 information of the pattern of the characters and symbols (hereinafter, referred to as "pattern information".) other information necessary for the character recognition processing is stored.

表示手段26は、ディスプレイ等によって構成され、処理手段24によって指示された内容を表示するものであり、図1に示すように、表示手段26の表示画面201には、処理手段24の表示制御部245の処理により、認識文字表示位置マーク205と、文字記入領域206と、画定マーク207と、回転制御マーク208とを表示する。 Display means 26 is constituted by a display or the like, which displays the contents instructed by the processing means 24, as shown in FIG. 1, the display screen 201 of the display unit 26, the display control unit of the processing unit 24 the process 245 displays the recognition character display position mark 205, the character entry area 206, and defines the mark 207, and a rotation control mark 208.

送信手段27は、処理手段24の指示によって、表示手段26の画像表示に用いられる画像信号をプロジェクター3に送信する。 Transmission means 27, an instruction processing unit 24 transmits the image signal used for image display of the display unit 26 to the projector 3. したがって、スクリーン4には、コンピュータ装置2の表示画面201に表示された画像と同じ画像が、プロジェクター3によって画像投影領域403に拡大されて投影されている。 Thus, the screen 4, the same image as the image displayed on the display screen 201 of the computer device 2, is enlarged in the image projection area 403 are projected by the projector 3. 図1に示す例では、表示画面201に表示された、画定マーク207により画定された文字記入領域206及び回転制御マーク208は、それぞれスクリーン4上に、対応する画定マーク407により画定された文字記入領域406及び回転制御マーク408として投影されている。 In the example shown in FIG. 1, it is displayed on the display screen 201, character entry region 206 and the rotation control mark 208 defined by defining the mark 207 on the screen 4, respectively, character entry defined by the corresponding defining mark 407 It is projected as regions 406 and rotation control mark 408. なお、送信手段27によるプロジェクター3へのデータ送信方式は、有線式であっても無線式であってもよい。 The data transmission method to the projector 3 by the transmitting means 27 may be a wireless even wired.

[処理手段] [Processing means]
次に、図6および図7の各図を用いてコンピュータ装置2における処理手段24の各部の詳細について説明する。 Next, details of the respective parts of the processing means 24 in the computer device 2 with reference to the drawings of FIGS. なお、図6は、文字記入領域406とその回転および回転制御マーク408を説明するための図であり、(a)は、プロジェクター3によってスクリーン4に投影された文字記入領域406、画定マーク407及び回転制御マーク408を示し、(b)は、回転された文字記入領域406を示す。 Incidentally, FIG. 6 is a diagram for explaining a character entry area 406 the rotation and rotation control mark 408, (a) is the character entry area 406 projected on the screen 4 by the projector 3, defining mark 407 and It shows the rotary control mark 408, (b) shows a character entry area 406 is rotated. また、図7は、回転された文字記入領域406と認識される文字の関係を説明するための図であり、(a)は、回転された文字記入領域406を示し、(b)は、回転された文字記入領域406に電子ペン1により記入されているストロークが表示されている様子を示す。 Further, FIG. 7 is a diagram for explaining a relationship of a character to be recognized as the character entry area 406 is rotated, (a) shows a character entry area 406 is rotated, (b), the rotation It shows how the stroke is entered by the electronic pen 1 is displayed in the character entry area 406.

キャリブレーション処理部241は、スクリーン4上のドットパターンによる位置座標をコンピュータ装置2の表示手段26における表示画面201上の位置座標に変換するための座標変換関数を求める処理を実行する。 Calibration processing unit 241 executes a process for obtaining the coordinate conversion function for converting the position coordinates by the dot patterns on the screen 4 to the position coordinates on the display screen 201 of the display unit 26 of the computer device 2. 具体的には、例えばキャリブレーション処理部241は、表示手段26の表示画面201にキャリブレーション用マークを2箇所以上表示させることで、スクリーン4に対してプロジェクター3によりキャリブレーション用マークを投影させる。 Specifically, for example, the calibration processing unit 241, and display the display screen 201 a calibration mark 2 or more places in the display means 26, projecting the calibration marks by the projector 3 to the screen 4. そして、電子ペン1によってスクリーン4に投影されたキャリブレーション用マークをタップすることで生成されたスクリーン4上の座標データを受信手段22が受信すると、キャリブレーション処理部241は、キャリブレーション用マークに係る表示手段26の表示画面201上の位置座標と、スクリーン4上におけるドットパターンの位置座標との対応関係を取得して、座標変換関数を求める。 When receiving the receiving means 22 the coordinate data on the screen 4 which is generated by tapping the calibration marks projected on the screen 4 by an electronic pen 1, the calibration processor 241, a calibration mark the position coordinates on the display screen 201 of the display unit 26 according, to obtain the corresponding relationship between the position coordinates of the dot pattern on a screen 4, obtains the coordinate transformation function.

座標変換部242は、キャリブレーション処理部241によって求めた座標変換関数に基づいて、電子ペン1から送信されて受信した各記入情報毎に、当該各記入情報に含まれるスクリーン4上のX、Y座標データを表示手段26における表示画面201上のストロークのX、Y座標に変換して、記憶手段25に記憶する。 Coordinate conversion unit 242, based on the coordinate transformation function determined by the calibration processing unit 241, for each entry information received is transmitted from the electronic pen 1, X on the screen 4 included in the respective entry information, Y converts the coordinate data X of the stroke on the display screen 201 of the display unit 26, the Y coordinate in the storage unit 25. このとき、座標変換部242は、当該変換後のX,Y座標(以降、「較正座標」ともいう。)が、文字記入領域206の座標領域の範囲内であると認識すると、当該較正座標を、文字記入領域206への記入によるストローク情報として、記憶手段25に記憶する。 At this time, the coordinate transformation unit 242, X after the transformation, Y coordinates (hereinafter, also referred to as "calibration coordinates".) Is, when recognizing that the range of coordinates region of the character entry area 206, the calibration coordinates as the stroke information by filling out the character entry area 206 in the storage unit 25.

文字記入領域制御部243は、記憶手段25に記憶された文字記入領域206の座標領域の初期値、その範囲を画定表示するための画定マーク207の情報、文字記入領域206の回転制御に用いる回転制御マーク208の文字記入領域206における相対的な位置に基づいて、図1に示すように、表示手段26の表示画面201に、文字記入領域206、画定マーク207、回転制御マーク208を表示させる。 Character entry area control unit 243, the rotation using the initial value of the coordinate region of the character entry area 206 stored in the storage unit 25, information defining the mark 207 for defining display the range, the rotation control of the character entry area 206 based on the relative position in the character entry area 206 of the control mark 208, as shown in FIG. 1, the display screen 201 of the display unit 26, character entry area 206, defining the mark 207, and displays the rotation control mark 208. 送信手段27は、この画像と同じ画像を投影させるための画像信号をプロジェクター3へ送信し、プロジェクター3は、その画像信号に基づいて、スクリーン4へ画像を投影する。 Transmitting means 27 transmits the image signal for projecting the same image as the image to the projector 3, the projector 3 based on the image signal and projects the image onto the screen 4. そのため、表示手段26の表示画面201における、文字記入領域206、画定マーク207、回転制御マーク208と同じ画像が、図1及び図6(a)に示すように、文字記入領域406、画定マーク407、回転制御マーク408としてスクリーン4へ投影される。 Therefore, the display screen 201 of the display unit 26, character entry area 206, defining the mark 207, the same image as the rotation control mark 208, as shown in FIG. 1 and FIG. 6 (a), the character entry area 406, defining the mark 407 , it is projected as a rotation control mark 408 to the screen 4.

ここで、文字記入領域206は、横長の長方形状に表示され、回転制御マーク208は、文字記入領域206の四つ角にそれぞれ小さい正方形状に表示されている。 Here, the character entry area 206 is displayed in a horizontally long rectangular shape, the rotation control mark 208 is displayed in each small square in the four corners of the character entry area 206. すなわち、文字記入領域206内の左上に回転制御マーク208A、左下に回転制御マーク208B、右上に回転制御マーク208C、右下に回転制御マーク208Dが表示されている。 That is, the rotation control mark 208A in the upper left corner of the character entry area 206, the rotation control mark 208B in the lower left, the rotation control mark 208C in the upper right, the rotation control mark 208D on the lower right is displayed. したがって、スクリーン4には、プロジェクター3により、横長で長方形状の文字記入領域406が投影され、文字記入領域406内の左上に回転制御マーク408A、左下に回転制御マーク408B、右上に回転制御マーク408C、右下に回転制御マーク408Dが表示されている(図1及び図6(a))。 Thus, the screen 4, the projector 3, a rectangular character entry region 406 is projected in landscape, the rotation control mark in the upper left corner of the character entry area 406 408A, the rotation control mark 408B in the lower left, the rotation control mark 408C in the upper right rotation control mark 408D on the lower right is displayed (FIGS. 1 and 6 (a)).

なお、この例示においては、文字記入領域406(206)を外枠表示しているが、文字記入領域406(206)を黄色その他の色を用いて強調表示してもよく、記入情報の記入を促すための罫線(下線)によって文字記入領域406(206)を表示するようにしてもよい。 Incidentally, in this example, although the character entry area 406 (206) are displayed outer frame may be character entry region 406 (206) to highlight with a yellow other colors, the entry of entry information it may be displayed the character entry area 406 (206) by ruled lines (underlined) for prompting.

また、文字記入領域制御部243は、ユーザによって電子ペン1を用いてスクリーン4に記入されたストロークの開始位置(ペンダウン)における位置座標が、座標変換関数によって変換された結果、一の回転制御マーク208の座標領域内にある場合、当該入力されたストロークが文字記入領域206の回転を指示したものであると判断し、ペンダウンにより指定された回転制御マーク408(以下、「基準マーク」という。)とは異なる他の回転制御マーク408を回転の中心点(以下、「中心点マーク」という。)として、文字記入領域206の大きさ・形状を保持しつつ、当該入力されたストロークに基づいて文字記入領域206の回転制御を行う。 The character entry area control unit 243, the position coordinates of the start position of the stroke entered in the screen 4 with the digital pen 1 (pen down) by the user, the result converted by the coordinate conversion function, one rotation control mark when in 208 coordinate region of the input stroke is determined to be one who has instructed the rotation of the character entry area 206, the specified rotation control mark 408 by the pen-down (hereinafter, referred to as "reference mark".) the center point of rotation of the other different rotation control mark 408 (hereinafter, referred to as. "center point marks") as, while maintaining the size and shape of the character entry area 206, based on the stroke which is the input character controlling the rotation of the entry area 206. このとき、各回転制御マーク208A〜208Dの投影画像は、回転制御マーク408A〜408Dに対応するため、ユーザは、スクリーン4上の回転制御マーク408A〜408Dのいずれかに電子ペン1をペンダウンさせてストロークを描くことにより、文字記入領域制御部243は、文字記入領域206を回転させ、その画像は、そのままプロジェクター3により投影されることとなる。 At this time, the projected image of each rotation control marks 208A~208D, in order to correspond to the rotation control mark 408A~408D, the user may either by pen-down to pen 1 in the rotation control marks 408A~408D on the screen 4 by drawing a stroke, character entry area control unit 243 rotates the character entry area 206, the image becomes to be directly projected by the projector 3.

ここで、中心点マークの設定に関し、回転制御マーク408A(208A)が基準マークとして指定された場合には、文字記入領域制御部243は、回転制御マーク408C(208C)を回転中心として設定し、回転制御マーク408B(208B)が基準マークとして指定された場合には、回転制御マーク408D(208D)を回転中心として設定する。 Here relates setting the center point mark, when the rotation control mark 408A (208A) is designated as a reference mark, character entry area control unit 243 sets the rotation control mark 408C and (208C) as the center of rotation, when the rotation control mark 408B (208B) is designated as the reference mark is set rotation control mark 408D the (208D) as the center of rotation. また、回転制御マーク408C(208C)が基準マークとして指定された場合には、文字記入領域制御部243は、回転制御マーク408A(208A)を回転中心として設定し、回転制御マーク408D(208D)が基準マークとして指定された場合には、回転制御マーク408D(208D)を回転中心として設定するものとする。 Further, when the rotation control mark 408C (208C) is designated as a reference mark, character entry area control unit 243 sets the rotation control marks 408A and (208A) as the center of rotation, rotation control mark 408D (208D) is If specified as a reference mark shall be set rotation control mark 408D the (208D) as the center of rotation.

したがって例えば、この文字記入領域制御部243は、図6(b)に示すように、ユーザによってスクリーン4に記入された一のストロークに基づいて回転制御マーク408C(208C)が基準マークになると、回転制御マーク408A(208A)を中心点マークに設定するとともに、電子ペン1のストロークに従って文字記入領域406(206)を回転させる。 Thus, for example, the character entry area control unit 243, as shown in FIG. 6 (b), when the rotation control mark 408C (208C) is a reference mark according to one of strokes entered on the screen 4 by a user, the rotation control marks 408A and (208A) and sets the center point mark, to rotate the text entry region 406 (206) in accordance with the stroke of the electronic pen 1. そして、この文字記入領域制御部243は、ストロークの終了位置において文字記入領域406(206)の回転を停止し、中心点マークの座標、基準マークの開始位置(初期値)の座標、および基準マークの終了位置の座標から回転角度(θ)を算出して、文字記入領域406(206)が回転していることを示す回転フラグ情報とともに記憶手段25に記憶する。 Then, the coordinates of the character entry area control unit 243 stops the rotation of the character entry area 406 at the end position of the stroke (206), the coordinates of the center point mark, the starting position of the reference mark (initial value), and the reference mark and calculates the rotation angle from the end position coordinates of (theta), the character entry area 406 (206) is stored in the storage unit 25 together with the rotation flag information indicating that it is rotated. したがって、電子ペン1によるストロークが、設定された中心点マークを中心とする正確な弧を描かなくとも、回転角度(θ)は、中心点マークの座標、基準マークの開始位置の座標、および基準マークの終了位置の座標によって決定され、文字記入領域406(206)も、その大きさ・形状を保持しつつ、回転角度(θ)だけ回転することとなる。 Thus, stroke due to the electronic pen 1, without drawn accurate arc around the center point mark is set, the rotational angle (theta) is the coordinates of the center point mark, the coordinates of the starting position of the reference mark, and the reference It is determined by the coordinates of the end position of the mark, the character entry area 406 (206) also, while retaining its size and shape, and be rotated by the rotation angle (theta).

さらに、文字記入領域制御部243は、中心点マーク及び基準マーク以外の2つの回転制御マーク408(208)の回転角度(θ)による回転後の座標データを算出して、中心点マークの座標データ及び基準マークの座標データとともに、回転後の文字記入領域406(206)の座標領域データとして記憶手段25に記憶する。 Further, character entry area control unit 243 calculates the coordinate data after the rotation rotation by angle (theta) of the center point mark and the reference mark other than the two rotation control mark 408 (208), the center point mark coordinate data and along with the coordinate data of the reference marks in the storage unit 25 as the coordinate region data after rotated character entry area 406 (206). したがって、文字記入領域406(206)が回転している場合であっても、座標変換部242は、電子ペン1から受信したストローク情報が、回転後の文字記入領域406(206)への記入によるものであるか否かを判別することができる。 Therefore, even when the character entry area 406 (206) is rotating, the coordinate transformation unit 242, by filling in the stroke information received from the electronic pen 1, to the rotated character entry area 406 (206) it is possible to determine whether the whether those.

文字認識処理部244は、所定の指示に基づいて、文字記入領域406内に記入された電子ペン1のストロークについて文字認識処理を実行する。 Character recognition processing unit 244, based on a predetermined instruction, executes the character recognition process for the stroke of the electronic pen 1 entered in the character entry area 406. 具体的には、本実施形態の文字認識処理部244は、文字記入領域406に文字や記号などの手書き記入が実行された後にコンピュータ装置2などの図示しない認識開始キーまたは座標入力領域403内の図示しない認識開始領域または電子ペン1の文字記入領域406内でのタップ動作を検知した場合に、文字記入領域406内の記入情報として記憶手段25に記憶されている較正座標(すなわち、電子ペン1のスクリーン4上のストロークの座標データに対応する、表示手段26の表示画面上における当該ストロークの座標データ)を回転角度(θ)及び回転中心の座標データにより逆回転させる(−θの回転行列をかける)、その座標変換後の座標データに基づいて文字認識を行う。 Specifically, the character recognition processing unit 244 of the present embodiment, not shown, such as a computer device 2 after the hand-written entry of characters, symbols, etc. is executed in the character entry area 406 recognition start key or the coordinate input region 403 of the when detecting the tapping operation in the character entry area 406 of the recognition start region or electronic pen 1 is not shown, the calibration coordinates stored in the storage unit 25 as the entry information in the character entry area 406 (i.e., the electronic pen 1 of corresponding to the coordinate data of the stroke on the screen 4, the coordinate data) the rotation angle (theta) and reversely rotated by the coordinate data of the center of rotation (- [theta] of the rotation matrix of the stroke on the display screen of the display unit 26 applied), performing character recognition on the basis of the coordinate data after the coordinate transformation. すなわち、文字認識処理部244は、OCR(Optical Character Reader)などの文字認識を行うプログラムと同様に、文字認識対象ストローク(文字記入領域406(206)に電子ペン1で記入されたストローク)における座標変換されたX、Y座標のパターンと記憶手段25に予め記憶された各文字や記号のパターン情報とを照合して文字または記号を特定する。 That is, the character recognition processing unit 244, OCR (Optical Character Reader) similar to the program for character recognition, such as coordinates in the character recognition target stroke (stroke entered in the character entry area 406 (206) with the electronic pen 1) transformed X, identifies the collation to character or symbol and pattern information of the characters and symbols previously stored in the pattern storage means 25 of the Y coordinate.

ここで、図7(a)および(b)に示すように、文字認識処理を行う際に、文字記入領域406が回転していると判断された場合には(例えば、記憶手段25にて回転フラグ情報が記憶されている場合には)、文字記入領域406内に記入されて得られたストローク情報として記憶手段25に記憶されている較正座標群に対して、設定された中心点マークの位置を回転中心として、記憶されている回転角度(θ)の分、逆回転させる(−θの回転行列をかける)ことによって各ストロークの較正座標を正規化して、正規化後のX,Y座標群によるパターンに対して文字認識処理を実行する。 Here, as shown in FIG. 7 (a) and (b) rotating, when performing character recognition process, if the character entry area 406 is determined to be rotating at (e.g., storage means 25 when the flag information is stored), relative to the calibration coordinates group stored in the storage means 25 as the stroke information obtained is entered in the text entry area 406, the set position of the center point mark as the center of rotation, the minute rotational angle stored (theta), (applying a rotation matrix - [theta]) for reverse rotation is normalized and calibrated coordinates of each stroke by, X after normalization, Y coordinate group executing character recognition processing on the pattern by. これにより、傾斜して記入された文字や記号を水平に書かれた状態に直して、文字等の特定における精度、すなわち、認識精度を向上させることができる。 Thus, the inclined characters and symbols entered in mended state written horizontally, the accuracy of a particular character or the like, i.e., it is possible to improve the recognition accuracy.

表示制御部245は、キャリブレーション処理の際、キャリブレーション処理部241の指示により、キャリブレーション用マークを表示手段26の表示画面201に表示させる。 The display control unit 245, when the calibration process, according to an instruction of the calibration processing unit 241, and displays the calibration marks on the display screen 201 of the display unit 26. また、表示制御部245は、文字記入領域制御部243の指示により、文字記入領域206、画定マーク207、回転制御マーク208を表示させたり、電子ペン1を用いた操作による回転中及び回転後の状態をリアルタイムで表示手段26の表示画面201に表示させる。 Further, the display controller 245, an instruction character entry area control unit 243, the character entry area 206, defining the mark 207, or to display the rotation control mark 208, after the rotation in and rotation by operation using the electronic pen 1 state on the display screen 201 of the display unit 26 in real time. また、表示制御部245は、座標変換部242によって電子ペン1から送信された記入情報の座標データが座標変換された位置座標(較正座標)によるストロークを、表示手段26の表示画面201に表示させる。 The display control unit 245, a stroke of the position coordinates (calibration coordinates) coordinate data entry information transmitted from the electronic pen 1 by the coordinate transformation unit 242 is the coordinate transformation on the display screen 201 of the display unit 26 .

また、この表示制御部245は、文字認識が実行された場合は、文字記入領域206に表示されている文字、記号およびその他の図形などの手書きストロークの表示を消去し、文字認識によって特定された文字および記号のテキストデータを、文字入力する位置として定められた場所に表示させる。 Further, the display control unit 245, when the character recognition is executed to erase the display of the handwritten strokes, such as letters, symbols and other graphics which are displayed in the character entry area 206, identified by the character recognition text data of letters and symbols, are displayed in a location defined as a position for character input. 具体的には、コンピュータ装置2がテキストエディタ等のプログラムを実行中で、表示手段26の表示画面にそのプログラムウインドウを表示している場合、表示制御部245は、文字認識によって特定された文字等のテキストデータを、文字入力用のカーソルのある位置に表示させる。 Specifically, the computer device 2 is running a program such as a text editor, when viewing the program window on the display screen of the display unit 26, the display control unit 245, a character or the like which is identified by character recognition the text data, to be displayed on the cursor for character input position. このとき、文字認識後のテキストデータ候補を一旦、文字記入領域406(206)に表示して、コンピュータ装置2などの図示しない確定キーまたは座標入力領域403内の図示しない確定領域または電子ペン1の文字記入領域406内でのタップ動作を検知することで、定められた文字入力位置に表示させるように構成してもよい。 In this case, once the text data candidates after character recognition, and displayed in the character entry area 406 (206), not shown, such as a computer device 2 enter key or not shown in the coordinate input region 403 determination area or the electronic pen 1 by detecting the tapping operation in the character entry area 406 may be configured to display the prescribed text input position.

なお、表示制御部245は、スクリーン4に種々の画像を投影して表示させるために、表示画面201に表示する各画像を同期させてプロジェクター3に投影させるための画像信号をそれぞれ送信手段27に出力して、プロジェクター3へ送信させる。 The display control unit 245, in order to display by projecting various images on a screen 4, an image signal to be projected in synchronization with each image to be displayed on the display screen 201 to the projector 3 to each transmitting means 27 output to, is transmitted to the projector 3.

また、プロジェクター3は、コンピュータ装置2の送信手段27から受信した画像信号に基づいて、表示手段26に表示された画像と同様の画像をスクリーン4の画像投影領域403に映し出す。 Further, the projector 3 based on the image signal received from the transmitting unit 27 of the computer device 2, displaying an image similar to the display image on the display unit 26 in the image projection area 403 of the screen 4.

[回転制御処理] Rotation Control Processing]
次に、図8を用いて情報処理システム10における回転制御処理の動作について、記入情報の受信に伴う各種の処理とともに説明する。 Next, the operation of the rotation control process in the information processing system 10 with reference to FIG. 8, will be described together with various kinds of processing associated with the reception of the entry information. なお、図8は、本実施形態の情報処理システム10における回転制御処理を含む表示処理を示すフローチャートである。 Incidentally, FIG. 8 is a flowchart showing a display processing including rotation control process in the information processing system 10 of the present embodiment.

本動作処理においては、予めキャリブレーション処理部241によりキャリブレーション処理が実行され、座標変換関数が求められて記憶手段25に記憶されており、座標変換部242による座標変換が行われる状態にある。 In this operation process, the calibration process is executed in advance by the calibration processing unit 241, are stored in the storage means 25 are required coordinate transformation function, is in a state of coordinate transformation by the coordinate transformation unit 242 is performed. そして、文字記入領域制御部243は、記憶手段25に記憶された文字記入領域206の座標領域の初期値を参照して、図1に示すように、表示手段26の表示画面201の左下に、長方形状の画定マーク207によって画される文字記入領域206及び回転制御マーク208を表示させている。 The character entry area control unit 243 refers to the initial value of the stored coordinate area of ​​the character entry area 206 which in the storage means 25, as shown in FIG. 1, the lower left of the display screen 201 of the display unit 26, the rectangular defining mark 207 to display the character entry area 206 and the rotation control mark 208 bounded. この画像と同じ画像を示すための画像信号が、送信手段27からプロジェクター3へ送信されているため、プロジェクター3により、スクリーン4の画像投影領域403の左下には、画定マーク407によって画される文字記入領域406及び回転制御マーク408A〜408Dが投影されて表示されている。 Character image signal to indicate the same image as the image is because it is transmitted from the transmitting means 27 to the projector 3, by the projector 3, the bottom left of the image projection area 403 of the screen 4, which is bounded by defining mark 407 fill area 406 and the rotation control mark 408A~408D are displayed are projected.

まず、記入者であるユーザによってスクリーン4上に一のストロークが記入されると、電子ペン1は、この記入されたストロークの各記入情報をコンピュータ装置2に送信する(ステップS101)。 First, when one stroke on the screen 4 is entered by the user is a registrant, the electronic pen 1 transmits each entry information of the entry strokes to the computer device 2 (step S101).

具体的には、電子ペン1は、ユーザによってストロークの開始を圧力センサ107によって検出した筆圧に基づいてペンダウンを検知すると、LED105およびCMOSカメラ106をオンにし、圧力センサ107にてペンアップが検出されるまで、所定の時間間隔毎にスクリーン4のドットパターンを撮影して、当該撮影された画像毎にX,Y座標データを含む記入情報を生成して順次コンピュータ装置2に送信する。 Specifically, the electronic pen 1 detects the pen-down on the basis of the writing pressure detected by the pressure sensor 107 to start the stroke by the user, check the LED105 and CMOS camera 106, a pen-up detected by the pressure sensor 107 until, by photographing the dot pattern of the screen 4 at every predetermined time interval, and transmits each the captured image X, successively to the computer device 2 to generate entry information including Y coordinate data.

コンピュータ装置2において電子ペン1から送信された記入情報(ストローク情報)の受信を開始すると、処理手段24は、当該記入情報をペンIDに対応づけて記憶手段25に順次記憶させる(ステップS201)。 When starting the reception of the entry information transmitted from the electronic pen 1 in the computer device 2 (stroke information), the processing unit 24, and sequentially stored in the entry information in association with each unit in the pen ID 25 (step S201).

次いで、座標変換部242は、記憶手段25に記憶されている座標変換関数に基づいて、受信した各記入情報の座標データを表示手段26の表示エリア201に表示するための座標に順次変換して、座標変換後の較正座標をペンIDに対応付けて記憶手段25に順次記憶させる(ステップS202)。 Then, the coordinate transformation unit 242, based on the coordinate conversion function stored in the storage unit 25, sequentially converted to the coordinates for displaying the coordinate data of each entry information received in the display area 201 of the display unit 26 sequentially in the storage unit 25 in association with the calibration coordinates after coordinate transformation to the pen ID (step S202).

次いで、文字記入領域制御部243は、座標変換部242によって座標変換された座標(較正座標)のうち、ストロークの開始位置を示す座標、即ち、ペンダウン情報を含む記入情報の直後の記入情報に対応する較正座標(以下、「ストローク開始位置座標」という。)が、回転制御マーク208A〜208Dのうちいずれかの座標領域にあるか否か(すなわち、基準マークとして指定されているか否か)を判断する(ステップS203)。 Then, character entry area control unit 243, among the coordinate transformed coordinates (calibration coordinates) by the coordinate transformation unit 242, coordinates indicating the starting position of the stroke, i.e., corresponding to the entry information immediately following the entry information including the pen down information calibration coordinates (hereinafter, referred to as "stroke start position coordinates".) is, determines whether there is any of the coordinate region of the rotation control mark 208A~208D (i.e., whether they are designated as reference marks) (step S203). この場合、スクリーン4上の回転制御マーク408A〜408Dは、表示手段26の表示画面201の回転制御マーク208A〜208Dに対応する。 In this case, the rotation control marks 408A~408D on the screen 4 corresponds to the rotation control mark 208A~208D of the display screen 201 of the display unit 26. そのため、ユーザがスクリーン4上の回転制御マーク408A〜408Dのいずれかを電子ペン1で指定することで送信された記入情報の座標データから、座標変換部242による座標変換により、表示画面201の回転制御マーク208A〜208Dのうち、対応する回転制御マーク208が基準マークとして指定されたことが分かる。 Therefore, from the coordinate data of the entry information that a user of one of the rotation control marks 408A~408D on the screen 4 is transmitted by specifying with the electronic pen 1, the coordinate transformation by the coordinate transformation unit 242, the rotation of the display screen 201 of the control mark 208A~208D, it can be seen that corresponding rotation control mark 208 is designated as a reference mark.

このステップS203の処理において、文字記入領域制御部243が、いずれかの回転制御マーク208がユーザによって指示されていると判断した場合には(ステップS203:Yes)、ステップS204の文字記入領域206の回転処理に移行する。 In the process of step S203, the character entry area control unit 243, if any of the rotation control mark 208 is determined to be instructed by the user (step S203: Yes), the character entry area 206 in step S204 to migrate to the rotation process. 文字記入領域制御部243が、いずれの回転制御マーク208もユーザによって指示されていないと判断した場合には(ステップS203:No)、ステップS206の処理に移行する。 Character entry area control unit 243, when determining that the one of the rotation control mark 208 also not instructed by the user (step S203: No), the process proceeds to step S206.

文字記入領域制御部243は、文字記入領域206の回転処理において、指定された回転制御マーク208に対応して予め定められている他の回転制御マーク208を中心点マークに設定し、順次受信して記憶される各較正座標に基づいて、ペンアップ情報PUを含む記入情報の受信により一のストロークの記入が終了したこと検知するまで文字記入領域206を回転させる(ステップS204)。 Character entry area control unit 243, in the rotation process of the character entry area 206, and sets the other rotational control markings 208 that are predetermined corresponding to the specified rotation control mark 208 to the center point mark, sequentially receives based on the calibration coordinates stored Te, rotate the text entry area 206 to fill one of the strokes by the reception of the entry information including the pen-up information PU detects that it has ended (step S204). この間、プロジェクター3によって、スクリーン4に、表示手段206の表示画面201と同じ画像が同期して投影されているため、文字記入領域206の回転に合わせて、スクリーン4上の文字記入領域406も、電子ペン1によるストロークに追従しつつ回転して表示される。 During this time, the projector 3, the screen 4, since the same image as the display screen 201 of the display unit 206 is projected in synchronization, in accordance with the rotation of the character entry area 206, character entry area 406 on the screen 4 also, It is displayed by rotating while following the stroke with the electronic pen 1. 文字記入領域206の回転は、当該ストロークの各記入情報におけるそれぞれの座標位置と、中心点マークの座標および当該基準マークの開始位置における座標とに基づいて記入情報毎に回転角度が算出されて行われる。 Rotation of the character entry area 206, the rotation angle is calculated rows for each entry information based on the respective coordinate positions, and the coordinate in the coordinate and the start position of the reference mark of the center point mark in each entry information of the stroke divide.

そして、ストロークが終了し、ペンアップ情報PUを含む記入情報を受信手段22により受信すると、文字記入領域406の回転を終了させる。 Then, the stroke is completed, when receiving the entry information including the pen-up information PU by the receiving means 22 terminates the rotation of the character entry area 406. 次いで、文字記入領域制御部243は、回転が終了した際の基準マークの座標(例えば、基準マークの中心点の座標)と、中心点マークと基準マークの開始位置の座標(例えば、ストローク開始位置座標)とに基づいて文字記入領域406の最終的な回転角度θを算出して記憶させ(ステップS205)、本動作を終了させる。 Then, character entry area control unit 243, the coordinates of the reference marks during the rotation has been completed (e.g., coordinates of the center point of the reference mark) and the coordinates (e.g., stroke start position of the center point mark and the reference mark coordinates) and calculates and stores the final rotation angle θ of the character entry area 406 based on (step S205), and terminates the present operation. なお、文字記入領域206の回転を指示するためのストロークは、表示領域201に表示しないようにするか、回転角度θの確定後に消去するように構成するとよい。 Incidentally, the stroke for instructing the rotation of the character entry area 206, either do not appear in the display area 201, it may be configured to erase after the determination of the rotation angle theta.

一方、文字記入領域制御部243が、いずれの回転制御マーク208もユーザによって指示されていないと判断した場合には(ステップS203:No)、各較正座標を記憶手段25に記憶するとともに、表示制御部245は、当該較正座標に基づいて所定の画像を表示手段26に表示させる(ステップS206)。 On the other hand, if the character entry area control unit 243, any rotation control mark 208 was also determined that it is not instructed by the user (step S203: No), it stores the respective calibration coordinates in the storage unit 25, display control part 245 causes the display unit 26 a predetermined image based on the calibration coordinates (step S206). この間、プロジェクター3によって、スクリーン4に、表示手段206の表示画面201と同じ画像が同期して投影されているため、スクリーン4の画像投影領域403上に、電子ペン1によるストロークに追従しつつストロークが投影して表示される。 During this time, the projector 3, the screen 4, since the same image as the display screen 201 of the display unit 206 is projected in synchronization, on the image projection area 403 of the screen 4, while following the stroke with the electronic pen 1 Stroke There is displayed by projection.

[文字認識処理] [Character recognition processing]
次に、図9を用いて情報処理システム10における文字認識処理の動作について説明する。 Next, the operation of the character recognition processing in the information processing system 10 will be described with reference to FIG. なお、図9は、文字認識処理の動作を示すフローチャートである。 Incidentally, FIG. 9 is a flowchart showing the operation of the character recognition process.

まず、コンピュータ装置2において当該コンピュータ装置2に設けられた図示しない認識開始キーが認識される等、所定の動作に基づく文字認識処理開始の指示を認識すると(ステップS301)、文字認識処理部244は、文字認識対象ストローク(文字記入領域406(206)に電子ペン1で記入されたストローク)の各較正座標に対して、ステップS205において算出された回転角度(θ)の分、逆回転させる(−θの回転行列をかける)ことによって各ストロークを正規化する(ステップS302)。 First, such recognition start key (not shown) provided in the computer device 2 in the computer device 2 is recognized, recognizing the instruction of the character recognition processing starts based on a predetermined operation (step S301), the character recognition processing unit 244 for each calibration coordinates of the character recognition target strokes (text entry region 406 (206) strokes entered by the electronic pen 1), the rotation angle min (theta) calculated in step S205, reversely rotated (- multiplying the rotation matrix theta) normalizing each stroke by (step S302). なお、このときに、文字記入領域206を初期値、すなわち、記憶手段25に記憶されている初期の座標の位置に戻してもよいし、そのままの位置を保持してもよい。 Incidentally, in this case, the initial character entry area 206 values, i.e., may be returned to the position of the initial coordinates stored in the storage unit 25 may hold the same position.

そして、文字認識処理部244は、記憶手段25に記録されているパターン情報を照合して、正規化された文字記入領域206内のX,Y座標群によるパターン(各ストロークの形状)から一または複数の文字または記号を認識する認識処理を行う(ステップS303)。 Then, the character recognition processing unit 244 matches the pattern information stored in the storage unit 25, the normalized X of character entry area 206, one or a pattern (shape of each stroke) by Y coordinate group It performs recognizing processing a plurality of characters or symbols (step S303). この後、文字認識された文字、記号等を文字記入領域206から消去し、文字認識後に特定された文字および記号のテキストデータを、文字入力する位置として定められた場所に表示させる(ステップS304)。 Thereafter, erase character recognized character, the symbol or the like from the character entry area 206, the text data of the identified characters and symbols after character recognition, is displayed in the location defined as a position of the character input (step S304) . そして、本処理を終了させる。 Then, this processing is completed.

[第1実施形態の作用効果] * Effect of the First Embodiment
以上のように、本実施形態の情報処理システム10は、ユーザによって、電子ペン1をスクリーン4上の回転制御マーク408にペンダウンしてストロークを描けば、中心点マークを基準に文字記入領域406を回転させることができるので、文字記入領域406を回転させる際に中心点を設定するなどの他の操作をすることなく、直接的に文字記入領域406を回転させることができる。 As described above, the information processing system 10 of the present embodiment, the user, be drawn stroke by pen-down to pen 1 to the rotation control markings 408 on the screen 4, the character entry area 406 with respect to the center point mark can be rotated without the other operations, such as setting the center point when rotating the character entry area 406, can be directly rotate text entry area 406. そして、この情報処理システム10は、文字記入領域406を投影して表示させつつ、当該文字記入領域406を回転させるので、手書きされる文字または記号の記入に対する書きにくさを解消させるための文字記入領域406の記入をユーザが要望する位置に確実に回転させることができる。 Then, the information processing system 10, while displayed by projecting the character entry area 406, because rotating the character entry area 406, character entry in order to eliminate the writing difficulty for entry of characters or symbols are handwritten it can be reliably rotated to the position desired by the user to fill in regions 406. したがって、この情報処理システム10は、ユーザの操作を簡易にしつつ、記入される文字に対する書きにくさを解消させ、文字記入領域406の回転角度に対して記入者の要望を確実に反映させることができる。 Therefore, the information processing system 10, while the operation of the user in a simple, to eliminate the writing difficulty for the character to be entered, is possible to reliably reflect the needs of registrant with respect to the rotation angle of the character entry area 406 it can.

また、本実施形態の情報処理システム10は、回転制御マーク408が視認可能に表示されているので、文字記入領域406の回転イメージを記入者に容易に着想させることができるとともに、文字記入領域406の中心以外に中心点マークを配設しているので、様々なパターンによって文字記入領域406を回転させることができ、各ユーザの要望に合わせて当該文字記入領域406を回転させることができる。 The information processing system 10 of this embodiment, the rotation control mark 408 is visibly displayed, it is possible to easily conceive the rotated image of the character entry area 406 to the registrant, the character entry area 406 since disposed the center point mark in addition to the center of, can rotate the text entry area 406 by a variety of patterns, it can be rotated the character entry area 406 to fit the needs of each user.

また、本実施形態の情報処理システム10は、文字記入領域406を回転させる際に中心点を設定するなどの他の操作をすることなく、文字記入領域406を回転させることができるので、ユーザの操作を簡易にすることができるとともに、文字記入領域406を回転させる際に回転制御マーク408を替えれば、当該文字記入領域406の回転を異なるパターンにて実行することができる。 The information processing system 10 of the present embodiment, without the other operations, such as setting the center point when rotating the character entry area 406, it is possible to rotate the character entry area 406, the user operation it is possible to simplify the, in other rotation control mark 408 when rotating the character entry area 406, the rotation of the character entry area 406 can be performed in different patterns. したがって、この情報処理システム10は、ユーザの要望に合わせて文字記入領域406を確実に回転させることができる。 Therefore, the information processing system 10 can be reliably rotated to the character entry area 406 in accordance with the needs of the user.

また、本実施形態の情報処理システム10は、文字記入領域406の回転角度に基づいて、電子ペン1の移動経路(ストローク)を、回転する前の文字記入領域406に相当する移動経路に変換することができるので、記入された記入情報そのものから回転しているか否かの判別を行うより、迅速な認識処理の実行が可能で、かつ、その認識精度を向上させることができる。 The information processing system 10 of the present embodiment, based on the rotation angle of the character entry area 406, converts the moving path of the electronic pen 1 (stroke), the movement path corresponding to the previous character entry area 406 that rotates it is possible, than makes a decision as to whether or not rotating from the filled-in entry information itself can be executed rapid recognition process, and can improve the recognition accuracy.

なお、本実施形態の情報処理システム10は、記入者であるユーザの確定指示に基づいて当該認識された文字や記号を特定するように構成でき、ワードプロセッサなどの外部アプリケーションと連動させて当該アプリケーションの記入に用いることも可能である。 The information processing system 10 of the present embodiment, based on the user's settlement instruction is the registrant can be configured to identify the recognized characters and symbols, of the application in conjunction with an external application such as a word processor it is also possible to use the entry.

[変形例] [Modification]
上記実施形態において、文字記入領域206は、コンピュータ装置2の表示手段26の画面左下に表示するようになっているが、この位置に限らず、画面右上、画面右下または画面左上に配設されてもよいし、また、配設される位置を、電子ペン1を用いてまたはコンピュータ装置2の入力手段21を用いて文字記入領域406の配設される位置(座標)を設定することができるようにしてもよい。 In the above embodiment, character entry area 206 is adapted to display on the lower left of the display unit 26 of the computer device 2 is not limited to this position, the upper right corner, it is disposed on the top left of the screen bottom right or screen may be, also be a position which is disposed sets disposed is the position of the electronic pen 1 character entry area 406 and used or an input means 21 of the computer device 2 using (coordinates) it may be so. この場合には、設定後の座標を記憶手段25に記憶させておく。 In this case, allowed to store the coordinates after setting in the storage means 25.

また、回転制御マーク208は、視認可能に文字記入領206の各隅に配設されているが、当該回転制御マーク208が視認不能に設定されていてもよい。 The rotation control mark 208 is visibly are disposed at each corner of the character entry territory 206, the rotation control mark 208 may be set to invisible. ただし、この場合には、例えば、本実施形態と同様の場所に回転制御マーク208を設定し、当該付近が電子ペン1によって指定された場合に、本実施形態と同様に文字記入領域206を回転させるようになる。 However, in this case, for example, to set the rotation control mark 208 similar locations as the present embodiment, when the vicinity of the is specified by the electronic pen 1, rotating the character entry area 206 as with the embodiment so to be.

また、上記実施形態においては、文字記入領域206を基準に水平方向に隣接する回転制御マーク208を中心点マークに設定しているが、例えば、右上の回転制御マーク208Cが基準マークとして指定された場合に、左下の回転制御マーク208Bを中心点マークに設定する等、基準マークと対角にある回転制御マーク208を中心点マークに設定してもよい。 In the above embodiment has been set to the center point mark the rotation control mark 208 adjacent in the horizontal direction relative to the character entry area 206, for example, the upper right of the rotation control mark 208C is designated as a reference mark If it may be set equal to set to the center point mark at the lower left of the rotation control mark 208B, the rotation control mark 208 on the reference mark and the diagonal to the center point mark. また、図6(b)に示すように、上述の長方形の文字記入領域206(406)において回転制御マーク208(408)が各角に複数設定されているが、これに限定されず、また文字記入領域206においても長方形に限定されない。 Further, as shown in FIG. 6 (b), the rotating control mark 208 (408) has a plurality of sets each corner in the above rectangular character entry area 206 (406), not limited to this, also characters not limited to a rectangle even in entry region 206. さらには、このような基準マークと中心点マークに限らず、どのような組み合わせでもよい。 Furthermore, not limited to such a reference mark and the center point mark, or any combination.

また、上記実施形態のドットパターン(コード化パターン)は、アノト方式に限らなくともよい。 Further, the dot pattern of the embodiment (encoding pattern) may not limited to the Anoto scheme.

<第2実施形態> <Second Embodiment>
次に、図10の各図を用いて本発明に係る情報処理システムの第2実施形態について説明する。 Next, a second embodiment of an information processing system according to the present invention will be described with reference to the drawings of FIG. なお、図10は、本第2実施形態における情報処理システム100の構成を示すシステム構成図である。 Incidentally, FIG. 10 is a system configuration diagram showing the configuration of an information processing system 100 according to the second embodiment.

本第2実施形態の情報処理システム100は、第1実施形態においてプロジェクター3を用いてスクリーン4に画像を表示するとともに当該スクリーン4を用いてストロークの記入を行う点に代えて、コンピュータ装置2上に配設された透明又は半透明の光透過性シートを用いてストロークの記入を行う点に特徴がある。 The information processing system of the second embodiment 100, instead of the point of performing the fill stroke by using the screen 4 displays an image on the screen 4 with the projector 3 in the first embodiment, the computer device 2 above it is characterized in that performing the fill stroke by using a light transmitting sheet of disposed a transparent or translucent. なお、本実施形態において、第1実施形態と同一の部材については、同一の符号を付してその説明を省略する。 In the present embodiment, the same members as the first embodiment, description thereof is omitted are denoted by the same reference numerals.

本第2実施形態の情報処理システム100は、図10に示すように、電子ペン1によって読取可能なドットパターン(コード化パターン)が印刷された光透過性シート9を有している。 The information processing system 100 of the second embodiment, as shown in FIG. 10, has a light transmitting sheet 9 can be a dot pattern read by the electronic pen 1 (coding pattern) is printed. この光透過性シート9は、コンピュータ装置2の表示画面201の前面に貼り付けられるとともに、表示画面201に表示された画像が当該光透過性シート9の前面から視覚可能に表示される。 The light transmitting sheet 9 is put on the front of the display screen 201 of the computer device 2, an image displayed on the display screen 201 is visible in the display from the front of the light transmitting sheet 9. このドットパターンは、赤外線を選択的に反射する特性を有するインキによって光透過性シート9に印刷されている。 The dot pattern is printed on the light transmitting sheet 9 by the ink having a property of selectively reflecting infrared radiation.

電子ペン1では、プロセッサ108には、CMOSカメラ106によって撮像された画像データから、赤外線反射の強い部分領域をドットであると認識するよう閾値を設けて判定される。 In the electronic pen 1, the processor 108, the image data captured by the CMOS camera 106, is determined by providing a threshold value to recognize as a dot strong partial regions infrared reflection. その閾値は、ディスプレイから光透過性シート9を透過してくる赤外線のみの場合と、電子ペン1のLED105から照射した赤外線がドットによって反射されることによる赤外線が含まれる場合とを区別できるよう設定される。 The threshold is set up to distinguish the case from the display of the infrared only coming through the light transmitting sheet 9, and a case where infrared rays irradiated from LED105 electronic pen 1 includes infrared by being reflected by the dot It is.

また、電子ペン1のCMOSカメラ106によって撮像された画像データからドットを認識しやすくするため、CMOSカメラ106に照射される光が赤外線だけとなるように、赤外線透過フィルターを電子ペン1の開口部102付近に設けてもよい。 Further, in order to easily recognize the dot from the image data captured by the CMOS camera 106 of the electronic pen 1, so that the light irradiated to the CMOS camera 106 is only an infrared, an infrared transmission filter of the electronic pen 1 opening 102 may be provided in the vicinity.

さらに、本実施形態のドットパターンは、アノト方式に限らなくともよい。 Further, the dot pattern of the present embodiment may not limited to the Anoto scheme.

本発明の情報処理システムは、学校の授業や企業等での会議、講演会、プレゼンテーション、ワードプロセッサ等の外部アプリケーションでのペン入力操作などで利用することができる。 The information processing system of the present invention, it is possible to use a conference of in the classroom and companies such as schools, lectures, presentations, and the like pen input operation of the external application such as a word processor.

1 … 電子ペン2 … コンピュータ装置3 … プロジェクター4 … スクリーン9 … 光透過性シート21 … 入力手段22 … 受信手段24 … 処理手段25 … 記憶手段26 … 表示手段27 … 送信手段201 … 表示画面206 … 文字記入領域207 … 画定マーク208 … 回転制御マーク241 … キャリブレーション処理部242 … 座標変換部243 … 文字記入領域制御部244 … 文字認識処理部245 … 表示制御部401 … マグネット板(ホワイトボード) 1 ... electronic pen 2 ... computer 3 ... Projector 4 ... Screen 9 ... light transmitting sheet 21 ... input means 22 ... receiving unit 24 ... processing means 25 ... storage means 26 ... display unit 27 ... transmitting unit 201 ... display screen 206 ... character entry area 207 ... define marks 208 ... rotation control mark 241 ... calibration processing unit 242 ... coordinate conversion unit 243 ... character entry area control unit 244 ... the character recognition processing unit 245 ... display control unit 401 ... magnet plate (whiteboard)
402 … 用紙403 … 座標入力領域(画像投影領域) 402 ... sheet 403 ... coordinate input region (image projection area)
406 … 文字記入領域407 … 画定マーク408 … 回転制御マーク10,100 … 情報処理システム 406 ... character entry area 407 ... define marks 408 ... rotation control marks 10, 100 ... information processing system

Claims (8)

  1. 位置座標を示すコード化パターンが形成されたスクリーン上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、 When coding pattern indicating the position coordinates is moved across the screen formed, and reading means for reading said coded pattern along the movement path,
    前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、 Calculation means for calculating the coordinates of the movement path on the basis of the data of the coding pattern read by said reading means,
    前記算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記スクリーンに投影する投影手段に出力する投影出力手段と、 A projection output means for outputting the projection means for projecting said screen the shape of the moving path as an image based on the coordinates of the calculated movement route,
    文字を記入するための文字記入領域を画定する画定マークを前記スクリーンに表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段と を備え、 While the defining mark defining the character entry area for entering the character to be displayed on the screen, the rotation control means the character entry area to rotate the character entry area using the rotation control mark as a reference when rotating It equipped with a door,
    前記読取手段が前記回転制御マークの位置から前記スクリーン上を移動した場合に、前記回転制御手段が、所定の点を回転の中心点に設定し、当該設定された中心点と当該読取手段の移動経路とに基づいて前記文字記入領域を回転させることを特徴とする情報処理システム。 When the reading unit moves over the screen from the position of the rotary control mark movement, the rotation control means sets the center point of the rotation of the predetermined point of the set center point and the reading means the information processing system characterized by rotating the character entry area on the basis of the path.
  2. 位置座標を示すコード化パターンが形成された光透過性シート上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、 An optically transparent upper sheet coded pattern is formed which indicates the position coordinates when moving, reading means for reading said coded pattern along the movement path,
    前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、 Calculation means for calculating the coordinates of the movement path on the basis of the data of the coding pattern read by said reading means,
    前記算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段と、 From the rear of the light transmitting sheet the shape of the moving path as an image based on the coordinates of the calculated movement route, and a display output means for outputting to the display means for visible display from the front of the light transmitting sheet ,
    文字を記入するための文字記入領域を画定する画定マークを前記表示手段に表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段と を備え、 While the defining mark defining the character entry area for entering a character is displayed on the display means, rotation control of the character entry area to rotate the character entry area using the rotation control mark as a reference when rotating and means,
    前記読取手段が前記回転制御マークの位置から前記光透過性シート上を移動した場合に、前記回転制御手段が、所定の点を回転の中心点に設定し、当該設定された中心点と当該読取手段の移動経路とに基づいて前記文字記入領域を回転させることを特徴とする情報処理システム。 When the reading unit moves the light permeable top sheet from the position of the rotary control mark, the rotation control means sets the center point of the rotation of a predetermined point, the set center point and the reading the information processing system characterized by rotating the character entry area based on the moving path of the unit.
  3. 請求項1または2に記載の情報処理システムにおいて、 The information processing system according to claim 1 or 2,
    前記回転制御マークは複数あり、 Said rotation control mark is more,
    前記回転制御手段は、前記文字記入領域が回転する際に、前記移動経路の開始位置の座標を有する回転制御マークとは異なる回転制御マークを前記回転の中心点に設定することを特徴とする情報処理システム。 Said rotation control means, the information the character entry area when rotating, and sets a different rotational control marks the center point of the rotation and the rotation control marks having a coordinate of the start position of the moving path processing system.
  4. 請求項1乃至3の何れか一項に記載の情報処理システムにおいて、 The information processing system according to any one of claims 1 to 3,
    前記文字記入領域内に含まれる前記移動経路の座標に基づいて文字認識を実行する文字認識処理手段を更に有し、 Further comprising character recognition means for performing character recognition on the basis of the coordinates of the movement path included in the character entry area,
    前記文字認識処理手段が、前記文字記入領域が回転している場合に、当該文字記入領域の回転角度に基づいて、前記読取手段の移動経路を回転する前の文字記入領域に相当する移動経路に変換して前記文字認識を実行することを特徴とする情報処理システム。 Said character recognition processing means, when the character entry area is rotating based on the rotation angle of the character entry area, the movement path corresponding to the character entry area before rotating the moving path of said reading means information processing system and executes the character recognition converted to.
  5. 請求項1に記載の情報処理システムにおいて、 The information processing system according to claim 1,
    前記投影出力手段は、表示手段の表示画面に表示させるための画像信号を出力し、 It said projection output means outputs the image signal to be displayed on the display screen of the display means,
    前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換部をさらに備え、 The coordinates calculated by said calculating means, further comprising a coordinate converter for converting the coordinates of the display screen of said display means,
    前記回転制御手段は、前記座標変換部によって変換された座標に基づいて、前記回転制御マークの座標が指示されたことを認識することを特徴とする情報処理システム。 It said rotation control means, the information processing system characterized in that to recognize that on the basis of the coordinates converted by the coordinate conversion unit, coordinates of the rotation control mark is instructed.
  6. 請求項2に記載の情報処理システムにおいて、 The information processing system according to claim 2,
    前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換部をさらに備え、 The coordinates calculated by said calculating means, further comprising a coordinate converter for converting the coordinates of the display screen of said display means,
    前記回転制御手段は、前記座標変換部によって変換された座標に基づいて、前記回転制御マークの座標が指示されたことを認識することを特徴とする情報処理システム。 It said rotation control means, the information processing system characterized in that to recognize that on the basis of the coordinates converted by the coordinate conversion unit, coordinates of the rotation control mark is instructed.
  7. 位置座標を示すコード化パターンを読み取り移動経路の座標を算出する電子ペンが、当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、 Display coordinate electronic pen to calculate the read movement path coded pattern indicating the position coordinates, when you move across the screen in which the coding pattern is formed, the shape shown a movement path of the electronic pen on the screen the display processing program executed by a computer that performs information processing for,
    前記コンピュータを、 The computer,
    前記電子ペンにより算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記スクリーンに投影する投影手段に出力する投影出力手段、 Projecting output means for outputting the projection means for projecting said screen the shape of the moving path as an image on the basis of the coordinates of the movement path calculated by the electronic pen,
    文字を記入するための文字記入領域を画定する画定マークを前記スクリーンに表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段、 While the defining mark defining the character entry area for entering the character to be displayed on the screen, the rotation control means the character entry area to rotate the character entry area using the rotation control mark as a reference when rotating ,
    として機能させるとともに、 With to function as,
    前記電子ペンが前記回転制御マークの位置から前記スクリーン上を移動した場合に、所定の点を回転の中心点に設定し、当該設定された中心点と当該電子ペンの移動経路とに基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として機能させることを特徴とする表示処理プログラム。 Wherein when the electronic pen moves on the screen from the position of the rotary control mark, and set to the center point of the rotation of the predetermined point based on the moving path of the set center point and the electronic pen display processing program, characterized in that the computer so that the character entry area is rotated to function as the rotation control means.
  8. 位置座標を示すコード化パターンを読み取り移動経路の座標を算出する電子ペンが、当該コード化パターンが形成された光透過性シート上を移動した際に、当該電子ペンの移動経路を示す形状を当該光透過性シートに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、 Electronic pen for calculating the coordinates of the read movement path coded pattern indicating the position coordinates, when you move the coded pattern is formed light transmitting top sheet, the shape indicating a moving path of the electronic pen the display processing program executed by a computer that performs information processing for displaying on the light transmitting sheet,
    前記コンピュータを、 The computer,
    前記電子ペンにより算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段、 Display for outputting the shape of the movement path based on the coordinates of the movement path calculated by the electronic pen from the rear of the light transmitting sheet as an image, a display means for visible display from the front of the light transmitting sheet output means,
    文字を記入するための文字記入領域を画定する画定マークを前記表示手段に表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段、 While the defining mark defining the character entry area for entering a character is displayed on the display means, rotation control of the character entry area to rotate the character entry area using the rotation control mark as a reference when rotating means,
    として機能させるとともに、 With to function as,
    前記電子ペンが前記回転制御マークの位置から前記光透過性シート上を移動した場合に、所定の点を回転の中心点に設定し、当該設定された中心点と当該電子ペンの移動経路とに基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として機能させることを特徴とする表示処理プログラム。 When the electronic pen moves the light permeable top sheet from the position of the rotary control mark, and set to the center point of the rotation of the predetermined point in the moving path of the set center point and the electronic pen based display processing program for causing the computer to function so as to rotate the character entry area as the rotation control means.
JP2009210718A 2009-09-11 2009-09-11 Information processing system and display processing program Pending JP2011060115A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009210718A JP2011060115A (en) 2009-09-11 2009-09-11 Information processing system and display processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009210718A JP2011060115A (en) 2009-09-11 2009-09-11 Information processing system and display processing program

Publications (1)

Publication Number Publication Date
JP2011060115A true JP2011060115A (en) 2011-03-24

Family

ID=43947653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009210718A Pending JP2011060115A (en) 2009-09-11 2009-09-11 Information processing system and display processing program

Country Status (1)

Country Link
JP (1) JP2011060115A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210781A (en) * 2014-04-30 2015-11-24 株式会社三菱東京Ufj銀行 Information input system and information input method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0573203A (en) * 1991-09-11 1993-03-26 Toshiba Corp Handwriting input device
JPH0850530A (en) * 1994-08-05 1996-02-20 Fujitsu Ltd Handwritten character input method
JPH09120461A (en) * 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd Graphic editing device
JP2004289516A (en) * 2003-03-24 2004-10-14 Konica Minolta Holdings Inc Method, device, and program for image processing, and image scanning device
JP2008250679A (en) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd Navigation device
JP3151886U (en) * 2009-04-28 2009-07-09 大日本印刷株式会社 Information processing system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0573203A (en) * 1991-09-11 1993-03-26 Toshiba Corp Handwriting input device
JPH0850530A (en) * 1994-08-05 1996-02-20 Fujitsu Ltd Handwritten character input method
JPH09120461A (en) * 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd Graphic editing device
JP2004289516A (en) * 2003-03-24 2004-10-14 Konica Minolta Holdings Inc Method, device, and program for image processing, and image scanning device
JP2008250679A (en) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd Navigation device
JP3151886U (en) * 2009-04-28 2009-07-09 大日本印刷株式会社 Information processing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210781A (en) * 2014-04-30 2015-11-24 株式会社三菱東京Ufj銀行 Information input system and information input method

Similar Documents

Publication Publication Date Title
US7936339B2 (en) Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
US6992655B2 (en) Input unit arrangement
JP4188920B2 (en) Optical system and an input device for computing an input device
CN100390720C (en) Interactive device and method
EP1684160A1 (en) System and method for identifying termination of data entry
EP1866735B1 (en) Combined detection of position-coding pattern and bar codes
CN100405278C (en) Character reader and character reading method
CN1156745C (en) calendar
CN101401059B (en) System for input to information processing device
US20030034961A1 (en) Input system and method for coordinate and pattern
US7701446B2 (en) Method for making a product
CA2781652C (en) Handwritten input/output system, handwriting input sheet, information input system, and information input assistance sheet
US20010024193A1 (en) Written command
US9454262B2 (en) Information output device
JP2008538472A (en) Automatic projection calibration
KR20030022414A (en) Digital pen
CN1206584C (en) Notepad
JP2005196795A (en) Computing input device and computing system
US7249716B2 (en) Position-coding pattern
EP2560079A1 (en) Handwriting input board and information processing system using a handwriting input board
WO2006076076A2 (en) Providing a user interface having interactive elements on a writable surface
JP2000105671A (en) Coordinate input and detecting device, and electronic blackboard system
JP4991154B2 (en) An image display device, image display method, and command inputting method
US6985643B1 (en) Device and method for recording hand-written information
ES2329439T3 (en) System and device for electronic recording of handwritten information.

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120809

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130205