JP2009181514A - Handwriting information creation device, program, and handwriting information management system - Google Patents
Handwriting information creation device, program, and handwriting information management system Download PDFInfo
- Publication number
- JP2009181514A JP2009181514A JP2008022097A JP2008022097A JP2009181514A JP 2009181514 A JP2009181514 A JP 2009181514A JP 2008022097 A JP2008022097 A JP 2008022097A JP 2008022097 A JP2008022097 A JP 2008022097A JP 2009181514 A JP2009181514 A JP 2009181514A
- Authority
- JP
- Japan
- Prior art keywords
- information
- handwriting
- handwriting information
- generation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、筆跡情報生成装置、プログラムおよび筆跡情報管理システムに関する。 The present invention relates to a handwriting information generation device, a program, and a handwriting information management system.
近年、用紙等の媒体上に筆記された文字や図形等が電子データに変換され、それがパソコンや携帯電話等に転送されて、筆記内容が記憶等される技術が注目されている。
例えば特許文献1に記載された技術では、微細なドットによる様々なパターンの符号画像が印刷された媒体と、例えば撮像素子が内蔵されたペンデバイスとを用いて、ペンデバイスにより筆記された文字や図形等の位置の符号画像を撮像素子に読み込む。それにより、文字や図形等の位置座標を特定して、筆記された文字や図形等からなる電子文書の生成や、所定の電子文書への文字や図形等の付加等を行う。
また、例えば特許文献2に記載された技術では、ペンデバイスにより媒体上の所定の領域に印刷された符号画像を読み取ることで、例えば、コンピュータにウェブブラウザプログラムを開くように指示するコマンドを作成し、所定のウェブアドレス等にリンクさせる。
2. Description of the Related Art In recent years, attention has been paid to a technique in which characters, figures, and the like written on a medium such as paper are converted into electronic data, which is transferred to a personal computer, a mobile phone, etc., and the written contents are stored.
For example, in the technique described in
For example, in the technique described in
ここで一般に、媒体上の符号画像を読み取って筆跡情報を生成するペンデバイス等の筆跡情報生成装置では、所定の時間間隔で符号画像を読み取っている。そのため、ユーザの筆記操作の速度が変わると、生成される筆跡に関する情報量も変動することとなり、筆記内容の再現性が低下する場合がある。
本発明は、媒体上の符号画像を読み取って筆跡情報を生成する筆跡情報生成装置において、筆記内容の再現性の低下を抑制することを目的とする。
Here, generally, in a handwriting information generation apparatus such as a pen device that reads a code image on a medium and generates handwriting information, the code image is read at a predetermined time interval. For this reason, when the speed of the user's writing operation changes, the amount of information related to the generated handwriting also fluctuates, and the reproducibility of the written content may decrease.
An object of the present invention is to suppress a decrease in reproducibility of written contents in a handwriting information generation apparatus that reads a code image on a medium and generates handwriting information.
請求項1に記載の発明は、符号画像が印刷された媒体から読み取られた当該符号画像を取得する符号画像取得手段と、前記符号画像取得手段にて取得された前記符号画像から前記媒体上での位置を示す位置情報を取得する位置情報取得手段と、前記位置情報取得手段にて取得された前記位置情報に基づき前記媒体へのユーザの筆記操作に関連した情報である筆跡情報を生成する複数の生成方法から一の生成方法を選択して、選択された当該生成方法により当該筆跡情報を生成する筆跡情報生成手段とを備えたことを特徴とする筆跡情報生成装置である。 According to the first aspect of the present invention, a code image acquisition unit that acquires the code image read from the medium on which the code image is printed, and the code image acquired by the code image acquisition unit on the medium. A plurality of position information acquisition means for acquiring position information indicating the position of the document, and a plurality of handwriting information that is information related to a user's writing operation on the medium based on the position information acquired by the position information acquisition means This is a handwriting information generation device comprising handwriting information generation means for selecting one generation method from among the generation methods and generating the handwriting information by the selected generation method.
請求項2に記載の発明は、前記筆跡情報生成手段は、前記筆跡情報が生成される筆跡上での位置を直線で結ぶことで当該筆跡情報を生成する前記生成方法と当該位置を曲線で結ぶことで当該筆跡情報を生成する当該生成方法との何れかを選択することを特徴とする請求項1記載の筆跡情報生成装置である。
請求項3に記載の発明は、前記筆跡情報生成手段は、前記筆跡情報が生成される筆跡上での位置相互の間隔を前記位置情報取得手段にて取得された前記位置情報に基づき算出し、算出された当該位置の間隔に基づき前記生成方法を選択することを特徴とする請求項1記載の筆跡情報生成装置である。
請求項4に記載の発明は、前記筆跡情報生成手段は、算出された前記位置相互の間隔が所定値以上である場合に、前記筆跡情報が生成される筆跡上での複数の当該位置または当該複数の位置の近傍を通る曲線を算出し、算出された当該曲線により当該位置を結ぶことで当該筆跡情報を生成する前記生成方法を選択することを特徴とする請求項3記載の筆跡情報生成装置である。
The handwritten information generating means connects the generation method for generating the handwritten information by connecting the positions on the handwriting where the handwritten information is generated with a straight line, and connects the position with a curve. The handwriting information generation apparatus according to
The invention according to
The invention according to
請求項5に記載の発明は、前記筆跡情報生成手段は、生成した前記筆跡情報がエラー情報であるか否かを判定し、当該筆跡情報がエラー情報である場合には当該筆跡情報を補正することを特徴とする請求項1記載の筆跡情報生成装置である。
請求項6に記載の発明は、前記筆跡情報生成手段は、前記エラー情報であると判定された前記筆跡情報を、当該筆跡情報に隣接する前記筆跡情報の平均値で置き換える前記補正を行うことを特徴とする請求項5記載の筆跡情報生成装置である。
In the invention according to
The invention according to claim 6 is characterized in that the handwriting information generation means performs the correction to replace the handwriting information determined to be the error information with an average value of the handwriting information adjacent to the handwriting information. The handwriting information generation apparatus according to
請求項7に記載の発明は、コンピュータに、符号画像が印刷された媒体から読み取られた当該符号画像を取得する機能と、取得された前記符号画像から前記媒体上での位置を示す位置情報を取得する機能と、取得された前記位置情報に基づき前記媒体へのユーザの筆記操作に関連した情報である筆跡情報を生成する複数の生成方法から一の生成方法を選択する機能と、選択された前記生成方法により前記筆跡情報を生成する機能とを実現させることを特徴とするプログラムである。 According to a seventh aspect of the present invention, the computer has a function of acquiring the code image read from the medium on which the code image is printed, and position information indicating a position on the medium from the acquired code image. A function to acquire, a function to select one generation method from a plurality of generation methods to generate handwriting information that is information related to a user's writing operation on the medium based on the acquired position information, and the selected A program for realizing the function of generating the handwriting information by the generation method.
請求項8に記載の発明は、前記生成方法を選択する機能は、前記筆跡情報が生成される筆跡上での位置を直線で結ぶことで当該筆跡情報を生成する前記生成方法と当該位置を曲線で結ぶことで当該筆跡情報を生成する当該生成方法との中から選択することを特徴とする請求項7記載のプログラムである。
請求項9に記載の発明は、前記生成方法を選択する機能は、前記筆跡情報が生成される筆跡上での位置相互の間隔を前記位置情報に基づき算出し、算出された当該位置の間隔に基づき前記生成方法を選択することを特徴とする請求項7記載のプログラムである。
請求項10に記載の発明は、前記生成方法を選択する機能は、算出された前記位置相互の間隔が所定値以上である場合に、前記筆跡情報が生成される筆跡上での複数の当該位置または当該複数の位置の近傍を通る曲線を算出し、算出された当該曲線で当該位置を結ぶことで当該筆跡情報を生成する前記生成方法を選択することを特徴とする請求項9記載のプログラムである。
The invention according to claim 8 is characterized in that the function for selecting the generation method is to generate the handwriting information by connecting the positions on the handwriting where the handwriting information is generated with a straight line, and the position is a curve. The program according to claim 7, wherein the program is selected from the generation method for generating the handwriting information by linking.
The invention according to claim 9 is characterized in that the function of selecting the generation method calculates an interval between positions on the handwriting where the handwriting information is generated based on the position information, and sets the calculated interval between the positions. 8. The program according to claim 7, wherein the generation method is selected based on the program.
According to a tenth aspect of the present invention, in the function of selecting the generation method, when the calculated interval between the positions is equal to or greater than a predetermined value, a plurality of the positions on the handwriting on which the handwriting information is generated The program according to claim 9, further comprising: calculating a curve passing through the vicinity of the plurality of positions, and selecting the generation method for generating the handwriting information by connecting the positions with the calculated curve. is there.
請求項11に記載の発明は、生成した前記筆跡情報がエラー情報であるか否かを判定する機能と、当該筆跡情報がエラー情報である場合には当該筆跡情報を補正する機能とをさらに実現することを特徴とする請求項7記載のプログラムである。
請求項12に記載の発明は、前記筆跡情報を補正する機能は、前記エラー情報であると判定された前記筆跡情報を、当該筆跡情報に隣接する前記筆跡情報の平均値で置き換える前記補正を行うことを特徴とする請求項11記載のプログラムである。
The invention according to claim 11 further realizes a function of determining whether or not the generated handwriting information is error information, and a function of correcting the handwriting information when the handwriting information is error information. The program according to claim 7, wherein:
According to a twelfth aspect of the present invention, the function of correcting the handwriting information performs the correction by replacing the handwriting information determined to be the error information with an average value of the handwriting information adjacent to the handwriting information. The program according to claim 11, wherein:
請求項13に記載の発明は、電子文書に基づく文書画像と符号画像とが印刷された媒体へのユーザの筆記操作に関連した情報である筆跡情報を生成し、当該符号画像から所定の情報を取得する筆跡情報生成装置と、前記筆跡情報生成装置から前記所定の情報および/または前記筆跡情報を取得し、取得した当該所定の情報および/または当該筆跡情報を当該媒体または当該媒体に印刷された前記電子文書に関連付けて管理する筆跡情報管理装置とを有し、前記筆跡情報生成装置は、前記符号画像が印刷された媒体から読み取られた当該符号画像を取得する符号画像取得手段と、前記符号画像取得手段にて取得された前記符号画像から前記媒体上での位置を示す位置情報を取得する位置情報取得手段と、前記位置情報取得手段にて取得された前記位置情報に基づき前記媒体へのユーザの筆記操作に関連した情報である筆跡情報を生成する複数の生成方法から一の生成方法を選択して、選択された当該生成方法により当該筆跡情報を生成する筆跡情報生成手段とを備えたことを特徴とする筆跡情報管理システムである。 The invention according to claim 13 generates handwriting information which is information related to a user's writing operation on a medium on which a document image and a code image based on an electronic document are printed, and predetermined information is obtained from the code image. The handwriting information generation device to be acquired, the predetermined information and / or the handwriting information is acquired from the handwriting information generation device, and the acquired predetermined information and / or the handwriting information is printed on the medium or the medium A handwriting information management device that manages the electronic document in association with the handwriting information generation device, the handwriting information generation device, a code image acquisition unit that acquires the code image read from the medium on which the code image is printed, and the code Position information acquisition means for acquiring position information indicating a position on the medium from the code image acquired by the image acquisition means, and the position information acquisition means acquired by the position information acquisition means One generation method is selected from a plurality of generation methods for generating handwriting information that is information related to a user's writing operation on the medium based on position information, and the handwriting information is generated by the selected generation method. A handwriting information management system comprising handwriting information generating means.
本発明の請求項1によれば、本発明を採用しない場合に比べて、筆記内容の再現性の低下を抑制することができる。
本発明の請求項2によれば、本発明を採用しない場合に比べて、ユーザの筆記操作の速度に応じてユーザによる筆跡との乖離の少ない筆跡情報を生成することができる。
本発明の請求項3によれば、ユーザの筆記操作の速度を検出でき、本発明を採用しない場合に比べて、筆跡情報の情報量に適した筆跡情報の生成方法を選択することができる。
本発明の請求項4によれば、ユーザの筆記操作の速度が速い場合に、本発明を採用しない場合に比べて、ユーザによる筆跡との乖離の少ない筆跡情報を生成することができる。
本発明の請求項5によれば、異常な筆跡情報を排除することができる。
本発明の請求項6によれば、エラー情報が生じた筆跡情報に隣接する筆跡情報の平均値により、本発明を採用しない場合に比べて、連続線として形成される本来の筆跡情報としての確度が高い補正値を生成することができる。
According to
According to the second aspect of the present invention, it is possible to generate handwriting information with less deviation from the handwriting by the user in accordance with the speed of the user's writing operation as compared with the case where the present invention is not adopted.
According to the third aspect of the present invention, it is possible to detect the speed of the user's writing operation, and it is possible to select a handwriting information generation method suitable for the amount of handwriting information compared to the case where the present invention is not adopted.
According to the fourth aspect of the present invention, when the speed of the user's writing operation is fast, handwriting information with less deviation from the handwriting by the user can be generated compared to the case where the present invention is not adopted.
According to
According to claim 6 of the present invention, the average value of the handwriting information adjacent to the handwriting information in which the error information has occurred is more accurate as the original handwriting information formed as a continuous line than when the present invention is not adopted. Can generate a high correction value.
本発明の請求項7によれば、本発明を採用しない場合に比べて、筆記内容の再現性の低下を抑制することができる。
本発明の請求項8によれば、本発明を採用しない場合に比べて、ユーザの筆記操作の速度に応じてユーザによる筆跡との乖離の少ない筆跡情報を生成することができる。
本発明の請求項9によれば、ユーザの筆記操作の速度を検出でき、本発明を採用しない場合に比べて、筆跡情報の情報量に適した筆跡情報の生成方法を選択することができる。
本発明の請求項10によれば、ユーザの筆記操作の速度が速い場合に、本発明を採用しない場合に比べて、ユーザによる筆跡との乖離の少ない筆跡情報を生成することができる。
本発明の請求項11によれば、異常な筆跡情報を排除することができる。
本発明の請求項12によれば、エラー情報が生じた筆跡情報に隣接する筆跡情報の平均値により、本発明を採用しない場合に比べて、連続線として形成される本来の筆跡情報としての確度が高い補正値を生成することができる。
本発明の請求項13によれば、筆跡情報生成装置を備えた筆跡情報管理システムにおいて、本発明を採用しない場合に比べて、筆記内容の再現性の低下を抑制することができる。
According to the seventh aspect of the present invention, it is possible to suppress a decrease in reproducibility of written contents as compared with the case where the present invention is not adopted.
According to the eighth aspect of the present invention, it is possible to generate handwriting information with less divergence from the handwriting by the user according to the speed of the user's writing operation, compared to the case where the present invention is not adopted.
According to the ninth aspect of the present invention, the speed of the user's writing operation can be detected, and a handwriting information generation method suitable for the amount of handwriting information can be selected as compared with the case where the present invention is not adopted.
According to the tenth aspect of the present invention, when the speed of the user's writing operation is high, handwriting information with less deviation from the handwriting by the user can be generated compared to the case where the present invention is not adopted.
According to claim 11 of the present invention, abnormal handwriting information can be eliminated.
According to the twelfth aspect of the present invention, the average value of the handwriting information adjacent to the handwriting information in which error information has occurred is more accurate as the original handwriting information formed as a continuous line than when the present invention is not adopted. Can generate a high correction value.
According to the thirteenth aspect of the present invention, in the handwriting information management system provided with the handwriting information generation device, it is possible to suppress a decrease in reproducibility of written contents as compared with the case where the present invention is not adopted.
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
まず、本実施の形態における筆跡情報管理システムの全体構成について説明する。
図1は、本実施の形態の筆跡情報管理システムの構成の一例を示した図である。図1に示したように、この筆跡情報管理システムは、端末装置10と、筆跡情報管理装置の一例としての文書サーバ20と、筆跡情報管理装置の一例としての識別情報サーバ30と、画像形成装置40と、端末装置50とがネットワーク80に接続されることにより構成されている。また、端末装置50には、筆跡情報生成装置の一例としてのデジタルペン60が通信可能に接続されている。
The best mode for carrying out the present invention (hereinafter referred to as “embodiment”) will be described below in detail with reference to the accompanying drawings.
First, the overall configuration of the handwriting information management system in the present embodiment will be described.
FIG. 1 is a diagram showing an example of the configuration of the handwriting information management system of the present embodiment. As shown in FIG. 1, the handwriting information management system includes a
本実施の形態の筆跡情報管理システムでは、端末装置10から電子文書の印刷要求が行われると、筆跡情報管理装置の一例である文書サーバ20は端末装置10からの印刷要求を受け取り、画像形成装置40に対して印刷要求の対象となった電子文書の印刷指示を行う。それにより、画像形成装置40は、この電子文書の文書画像を紙等の媒体に印刷するが、その際に、画像形成装置40は文書画像に加えて符号画像を媒体上に印刷する。
ここでの符号画像とは、識別情報および位置情報を符号化して得られる識別符号および位置符号を画像化したものである。識別情報とは、媒体を一意に特定するための情報であり、本実施の形態では筆跡情報管理装置の一例である識別情報サーバ30が発行する。また、位置情報は、媒体上の座標位置を特定するための情報であり、本実施の形態では文書サーバ20が生成する。
そして、文書画像と符号画像とが印刷された媒体に対し、ユーザが筆跡情報生成装置の一例であるデジタルペン60を用いて筆記(手書き)すると、デジタルペン60は符号画像に含まれる情報の一例である位置情報に基づいて手書き情報(筆跡情報)を生成する。またそれと同時に、デジタルペン60は符号画像に含まれる情報の一例である識別情報を認識する。そして、認識された識別情報と筆跡情報とは、外部装置の一例である端末装置50を介して文書サーバ20に送られる。識別情報と筆跡情報とを受け取った文書サーバ20は、識別情報に基づいて媒体に印刷された電子文書を特定し、この特定された電子文書と筆跡情報とを関連付けて記憶する。
また、デジタルペン60には、筆跡情報を生成する代わりに、符号画像に含まれる位置情報と識別情報とを所定情報にリンクするための参照情報とする機能が設定されている。例えば、端末装置50に対して所定のウェブブラウザプログラムを開いて所定のウェブアドレス等にリンクさせるコマンドを生成させるための情報として位置情報および識別情報を用いる。その場合には、端末装置50は、位置情報と識別情報とに基づき所定のウェブアドレスにリンクし、所定情報を取得する。
In the handwriting information management system of the present embodiment, when a print request for an electronic document is made from the
The code image here is an image of the identification code and the position code obtained by encoding the identification information and the position information. The identification information is information for uniquely identifying a medium, and is issued by the
Then, when the user writes (handwriting) on the medium on which the document image and the code image are printed using the digital pen 60 which is an example of a handwriting information generation device, the digital pen 60 is an example of information included in the code image. Handwritten information (handwriting information) is generated based on the positional information. At the same time, the digital pen 60 recognizes identification information that is an example of information included in the code image. The recognized identification information and handwriting information are sent to the
In addition, the digital pen 60 is set with a function of using the position information and identification information included in the code image as reference information for linking to predetermined information instead of generating handwriting information. For example, the position information and the identification information are used as information for generating a command for opening a predetermined web browser program and linking the
なお、本明細書では、媒体に記録する画像の元となる電子データを「電子文書」と表記するが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、データベース管理ソフトウェアや表計算ソフトウェアで記録されるデータ、その他の印刷可能な電子データも含めて「電子文書」としている。
また、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、OHPシート等といったプラスチックシートや金属板等であっても構わない。
さらに、本明細書では、電子文書、媒体、さらにはデジタルペン60やユーザについて、それぞれを一意に識別するための識別情報を用いて処理を行うが、単に「識別情報」という場合には、媒体に関する識別情報を意味するものとする。すなわち、本実施の形態では、媒体に固有に付与される媒体識別情報の一例として、この識別情報を用いる。
In this specification, electronic data that is the basis of an image recorded on a medium is expressed as “electronic document”. However, this does not mean only data obtained by digitizing a “document” including text. For example, "electronic document" including image data (regardless of raster data or vector data) such as pictures, photographs, figures, etc., data recorded by database management software or spreadsheet software, and other printable electronic data It is said.
In the present specification, the “medium” may be any material as long as it can print an image. A typical example is paper, but it may be a plastic sheet such as an OHP sheet or a metal plate.
Furthermore, in this specification, processing is performed using identification information for uniquely identifying each of the electronic document, the medium, and the digital pen 60 and the user. It shall mean the identification information. That is, in the present embodiment, this identification information is used as an example of medium identification information uniquely given to the medium.
続いて、本実施の形態の筆跡情報管理システムを構成する各構成要素について詳細に説明する。
端末装置10は、文書サーバ20に対して電子文書の印刷を要求するコンピュータ装置である。ここで、端末装置10としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
文書サーバ20は、筆跡情報管理装置の一例であって、電子文書を記憶し管理するコンピュータ装置である。また、端末装置10から電子文書の印刷要求があると、電子文書の画像と、識別情報および位置情報を表す符号画像とを生成し、これらを合成した合成画像を媒体に印刷する印刷命令を画像形成装置40に対して出力する。ここで、文書サーバ20としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
Then, each component which comprises the handwriting information management system of this Embodiment is demonstrated in detail.
The
The
識別情報サーバ30は、筆跡情報管理装置の一例であって、媒体に付与する識別情報を発行するコンピュータ装置である。そして、発行した識別情報を、その識別情報が付与される媒体に印刷される電子文書と関連付けて記憶する。ここで、識別情報サーバ30としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
画像形成装置40は、媒体に画像を印刷し、印刷文書として出力する装置である。この画像形成装置40は、単体のプリンタや印刷機であってもよいし、他にスキャナや通信の機能を備えた所謂「複合機」であってもよい。ここで、画像形成装置40における画像形成方式としては、例えば、電子写真方式を用いるとよいが、その他の方式を用いてもよい。
The
The
端末装置50は、印刷文書に対する筆記を電子化した情報(以下、「筆跡情報」という)を、印刷文書に記録された画像の元となる電子文書に反映させるために識別情報サーバ30に送信するコンピュータ装置である。また、筆跡情報を反映する対象の電子文書をディスプレイ等の表示部(不図示)に表示し、その上に筆跡情報を重ねて表示するようにしてもよい。ここで、端末装置50としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。なお、本実施の形態では、筆記の内容を電子化した筆跡情報の一例として筆跡情報を用いている。また、筆跡情報を主に手書き情報として説明するが、これに限らず、例えば、建築や機械等の図面データを出力する装置であるプロッタ等によって機械的に描画された情報等を含むものである。
また、端末装置50は、デジタルペン60から送られた位置情報と識別情報とに基づいて所定情報にリンクするコンピュータ装置でもある。端末装置50は、例えば、位置情報および識別情報から所定のウェブブラウザプログラムを開いて所定のウェブアドレス等にリンクさせるコマンドを生成する。そして、位置情報と識別情報とに基づき所定のウェブアドレスにリンクし、所定情報を取得する。
端末装置50は、デジタルペン60と例えばUSB(Universal Serial Bus)ケーブルで接続され、デジタルペン60との間で通信を行う。そして、デジタルペン60から識別情報、および筆跡情報または位置情報を取得する。ここで、デジタルペン60と端末装置50との間の通信の方式としては、USBケーブル等の有線方式の他に、Bluetooth(登録商標)、赤外線通信機能等の無線方式を用いてもよい。
The
The
The
デジタルペン60は、筆跡情報生成装置の一例であり、印刷文書上に文字または図形を筆記するために用いられるペンデバイスである。また、媒体に印刷された符号画像を読み取る撮像素子を備える。そして、撮像素子で読み取った符号画像から取得される情報の一例である位置情報を検出する。さらには、位置情報から筆記した文字または図形をイメージデータ化した筆跡情報をこの位置情報に基づいて生成し記憶する。また、撮像素子で読み取った符号画像から取得される情報の一例である識別情報を検出し記憶する。 The digital pen 60 is an example of a handwriting information generation device, and is a pen device used for writing characters or figures on a printed document. An image sensor that reads a code image printed on the medium is provided. And the positional information which is an example of the information acquired from the code | cord image read with the image pick-up element is detected. Furthermore, handwriting information obtained by converting character or graphics written from the position information into image data is generated and stored based on the position information. Further, identification information which is an example of information acquired from the code image read by the image sensor is detected and stored.
引き続いて、筆跡情報管理システムを構成する各構成要素の詳細を説明する。
まず、文書サーバ20の構成について説明する。
図2は、文書サーバ20の機能構成の一例を示したブロック図である。図2に示したように、文書サーバ20は、受信部21と、識別情報取得部22と、電子文書管理部23と、筆跡情報管理部24と、文書/筆跡情報記憶部25とを備える。また、識別符号生成部27aと、位置符号生成部27bと、符号配置部27cと、パターン画像記憶部27dと、符号画像生成部27eとを備える。さらに、文書画像生成部26と、画像合成部28と、送信部29とを備える。
Subsequently, details of each component constituting the handwriting information management system will be described.
First, the configuration of the
FIG. 2 is a block diagram illustrating an example of a functional configuration of the
受信部21は、端末装置10から印刷要求を受信する。ここで、印刷要求には、電子文書に加えて、印刷対象となる電子文書の識別情報(以下、「文書ID」という)と、印刷される媒体上での電子文書のレイアウトを定めるための各種設定(以下、「印刷設定」という)とが含まれる。文書IDは、端末装置10にて電子文書毎に付与されるが、文書サーバ20にて付与してもよい。また、受信部21は、印刷文書が印刷される媒体に固有に付与される識別情報を識別情報サーバ30から受信する。さらに、印刷文書に対する筆記が行われた際には、識別情報サーバ30から、印刷文書に埋め込まれた識別情報と、印刷文書に対する筆記の内容(筆記画像)を電子化した筆跡情報とを受信する。
識別情報取得部22は、受信部21から文書IDおよび印刷設定を取得し、これを送信部29に渡して識別情報の発行要求の送信を指示し、これを文書画像生成部26に渡して文書画像の生成を指示する。また、受信部21から媒体の識別情報を取得し、これを識別符号生成部27aに渡して識別符号の生成を指示する。
The receiving
The identification
電子文書管理部23は、受信部21が受信した識別情報と電子文書とを取得し、文書IDに基づき両者を対応付けて文書/筆跡情報記憶部25に登録する。また、文書/筆跡情報記憶部25に記憶された電子文書についての、印刷設定に従って媒体上に印刷された状態を反映した新たな電子文書(第2の電子文書)を生成し、生成された第2の電子文書を文書/筆跡情報記憶部25に記憶する。さらに、電子文書の表示や印刷が指示された際には、対応する識別情報と電子文書とを、文書/筆跡情報記憶部25から取り出す。
The electronic
筆跡情報管理部24は、受信部21が受信した識別情報と筆跡情報とを取得し、識別情報に基づき筆跡情報を電子文書に対応付けて文書/筆跡情報記憶部25に登録する。また、筆跡情報の表示が指示された際には、対応する識別情報と筆跡情報とを、文書/筆跡情報記憶部25から取り出す。
文書/筆跡情報記憶部25は、電子文書管理部23によって管理される電子文書と、筆跡情報管理部24によって管理される筆跡情報とを記憶する。ここで、本実施の形態では、識別情報と電子文書と筆跡情報とを関連付けて記憶する記憶手段の一例として、文書/筆跡情報記憶部25を設けている。
The handwriting
The document / handwriting
識別符号生成部27aは、媒体を特定する識別情報を符号化して識別符号を生成する。
位置符号生成部27bは、媒体上の座標位置を示す位置情報を符号化して位置符号を生成する。
符号配置部27cは、識別符号生成部27aにて生成された識別符号や、位置符号生成部27bにて生成された位置符号等を所定のレイアウト(後段の図3参照)に従って2次元平面に配置し2次元の符号配列を生成する。
パターン画像記憶部27dは、符号配列に格納される各符号の符号値に対応するパターン画像を記憶する。
符号画像生成部27eは、符号配置部27cが生成した2次元の符号配列を参照し、各符号値に対応したパターン画像を選択して符号画像を生成する。
The identification
The position
The
The pattern
The code
文書画像生成部26は、識別情報取得部22から文書IDおよび印刷設定を取得し、この文書IDで特定される電子文書を文書/筆跡情報記憶部25から読み出す。そして、印刷設定に従ってその電子文書の文書画像を生成する。
画像合成部28は、符号画像生成部27eが生成した符号画像と、文書画像生成部26が生成した文書画像とを合成し、合成画像を生成する。
送信部29は、識別情報サーバ30に対して識別情報の発行要求を送信する。また、画像形成装置40に対して媒体に対する画像の印刷命令を送信する。さらに、筆跡情報の表示が指示された際には、識別情報サーバ30に対して識別情報と筆跡情報とを送信する。
The document
The
The
ここで、本実施の形態の文書サーバ20で生成される符号画像について説明する。
図3は、符号画像を構成する画像等の一例を示した図である。まず、符号画像を構成する単位パターンについて説明する。図3(a)は、単位パターンの一例を示したものである。
単位パターンとは、情報埋め込みの最小単位である。図3(a)では、黒塗りの領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒塗りの領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。すなわち、図3(a)は、ドットを配置可能な9箇所の中から選択した2箇所(黒塗りの領域)にドットを配置することで単位パターンを構成した例を示したものである。ここで、9箇所の中から2箇所を選択する組み合わせは36(=9C2)通りなので、単位パターンは、36種類存在する。このうち、4種類の単位パターンは、同期パターンとして使用される。同期パターンとは、画像の回転を検出したり、識別符号および位置符号の相対的な位置を特定したりするためのパターンである。特に、画像の回転を検出する必要があることから、4種類の同期パターンとしては、そのうちの1つの同期パターンを90度回転するとそのうちの別の同期パターンになるようなものが選ばれる。また、この4種類の単位パターンを除く32種類の単位パターンは、識別符号および位置符号を表現する情報パターンとして使用され、5ビットの情報が表現される。
Here, the code image generated by the
FIG. 3 is a diagram illustrating an example of an image constituting the code image. First, unit patterns constituting a code image will be described. FIG. 3A shows an example of the unit pattern.
The unit pattern is the minimum unit for embedding information. In FIG. 3A, a black area and a shaded area are areas where dots can be arranged, and a white area between them is an area where dots cannot be arranged. In addition, among the areas where dots can be arranged, dots are arranged in black areas, and dots are not arranged in hatched areas. That is, FIG. 3A shows an example in which a unit pattern is configured by arranging dots at two places (black areas) selected from nine places where dots can be arranged. Here, since there are 36 (= 9 C 2 ) combinations for selecting 2 locations out of 9 locations, there are 36 types of unit patterns. Of these, four types of unit patterns are used as synchronization patterns. The synchronization pattern is a pattern for detecting the rotation of the image and specifying the relative positions of the identification code and the position code. In particular, since it is necessary to detect the rotation of the image, the four types of synchronization patterns are selected such that when one of the synchronization patterns is rotated 90 degrees, another synchronization pattern is obtained. Further, the 32 types of unit patterns other than the 4 types of unit patterns are used as information patterns expressing the identification code and the position code, and 5-bit information is expressed.
ところで、図3(a)に示したドットは、あくまで情報表現のためのドットであり、画像を構成する最小の点を意味するドットとは必ずしも一致しない。本実施の形態において、情報表現のためのドット(図3(a)の最小の四角)は、600dpiにおける2ドット×2ドットの大きさを有している。600dpiにおける1ドットの大きさは0.0423mmなので、情報表現のためのドット(図3(a)の最小の四角)の一辺は、84.6μm(=0.0423mm×2)である。情報表現のためのドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、情報表現のためのドットの大きさとして、50μmより大きく100μmより小さい上記の値を採用している。ただし、上記の値84.6μmは、あくまで計算上の数値であり、実際に印刷されたトナー像では100μm程度になる。なお、本明細書で「ドット」というときは、特に明示しない限り、画像を構成する最小の点を意味するドットではなく、情報表現のためのドットを指すものとする。 By the way, the dots shown in FIG. 3A are only for information representation, and do not necessarily coincide with the dots that mean the minimum points constituting the image. In the present embodiment, dots for information expression (the minimum square in FIG. 3A) have a size of 2 dots × 2 dots at 600 dpi. Since the size of one dot at 600 dpi is 0.0423 mm, one side of a dot for information expression (the minimum square in FIG. 3A) is 84.6 μm (= 0.0423 mm × 2). The larger the dot for information expression, the more likely it is to be noticeable. Therefore, it is preferable that the dot is as small as possible. However, if it is too small, printing with a printer becomes impossible. Therefore, the above values larger than 50 μm and smaller than 100 μm are employed as the size of dots for information expression. However, the above value 84.6 μm is a numerical value to the last, and is about 100 μm in the actually printed toner image. In the present specification, the term “dot” refers to a dot for information expression, not a dot that means the minimum point constituting an image unless otherwise specified.
次に、このような単位パターンから構成される符号ブロックについて説明する。図3(b)に、符号ブロックのレイアウトの一例を示す。なお、ここでは、画像ではなく、パターン画像によって置き換えられる直前の符号配列で示している。すなわち、図3(b)の最小の四角(以下、「単位ブロック」という)に、図3(a)のような単位パターン(36通りの単位パターンのいずれか)が配置され、その画像が媒体に形成されることになる。
図3(b)のレイアウトでは、符号ブロックの左上の1つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の4つの単位ブロックにX位置符号が配置され、同期符号が配置された単位ブロックの下側の4つの単位ブロックにY位置符号が配置されている。さらに、これらの位置符号が配置された単位ブロックに囲まれた16(=4×4)個の単位ブロックに識別符号が配置されている。
Next, a code block composed of such unit patterns will be described. FIG. 3B shows an example of the layout of the code block. Here, not the image but the code arrangement immediately before being replaced by the pattern image is shown. That is, a unit pattern as shown in FIG. 3A (any one of 36 unit patterns) is arranged in the smallest square (hereinafter referred to as “unit block”) in FIG. Will be formed.
In the layout of FIG. 3B, the synchronization code is arranged in one unit block at the upper left of the code block. Further, the X position code is arranged in the four unit blocks on the right side of the unit block in which the synchronization code is arranged, and the Y position code is arranged in the four unit blocks on the lower side of the unit block in which the synchronization code is arranged. . Furthermore, identification codes are arranged in 16 (= 4 × 4) unit blocks surrounded by unit blocks in which these position codes are arranged.
ここで、識別情報の符号化について述べる。
識別情報を符号化する場合、識別情報を構成するビット列は、RS符号化を行うために複数のブロックに分割される。符号化には、いくつかの方法があるが、本実施の形態では、RS符号化が適している。RS符号は多値の符号法であり、この場合、単位ブロックで表現される値がRS符号の多値に対応するからである。例えば、1つの単位ブロックで5ビットの情報を表現する場合、60ビットの識別情報は、ブロック長が5ビットの12個のブロックに分割される。そして、2ブロックの誤りを訂正可能なRS符号を採用したとすると、符号長は16ブロックとなり、図3(b)の符号ブロックにおける識別符号が配置される単位ブロックに収まることになる。なお、符号化方式はRS符号に限定するものでなく、その他の符号化方式、例えば、BCH符号等を使用してもよい。
Here, encoding of identification information will be described.
When encoding identification information, the bit string which comprises identification information is divided | segmented into a some block in order to perform RS encoding. Although there are several methods for encoding, RS encoding is suitable in this embodiment. This is because the RS code is a multi-value coding method, and in this case, the value represented by the unit block corresponds to the multi-value of the RS code. For example, when 5-bit information is expressed by one unit block, the 60-bit identification information is divided into 12 blocks having a block length of 5 bits. If an RS code capable of correcting two blocks of errors is employed, the code length is 16 blocks, which can be accommodated in a unit block in which the identification code in the code block of FIG. Note that the encoding method is not limited to the RS code, and other encoding methods such as a BCH code may be used.
引き続いて、位置情報の符号化について述べる。
位置情報の符号化には、擬似乱数系列の一種であるM系列符号が使用される。ここで、M系列とは、ある長さのシフトレジスタとフィードバックによって生成される符号系列とのうち、その周期が最長になる系列をいう。Kをシフトレジスタの段数とすると、M系列の系列長は2K−1となる。このM系列から取り出した任意の連続したKビットは、同じM系列中の他の位置に現れない性質を持つ。そこで、この性質を利用して位置情報を符号化する。
ところで、本実施の形態では、符号化すべき位置情報の長さから、必要なM系列の次数を求め、M系列を生成している。しかしながら、符号化する位置情報の長さが予め分かっている場合は、M系列を毎回生成する必要はない。すなわち、固定のM系列を予め生成しておき、それをメモリ等に格納しておけばよい。
例えば、系列長8191のM系列(K=13)を使用したとする。この場合、位置符号も5ビット単位で埋め込むため、系列長8191のM系列から5ビットずつ取り出してブロック化する。
Subsequently, encoding of position information will be described.
For encoding the position information, an M-sequence code, which is a kind of pseudo-random sequence, is used. Here, the M sequence refers to a sequence having the longest period among a shift register having a certain length and a code sequence generated by feedback. When K is the number of stages in the shift register, the sequence length of the M sequence is 2 K −1. Arbitrary consecutive K bits extracted from the M sequence have a property that they do not appear at other positions in the same M sequence. Therefore, the position information is encoded using this property.
By the way, in the present embodiment, a necessary M-sequence order is obtained from the length of position information to be encoded, and an M-sequence is generated. However, if the length of the position information to be encoded is known in advance, it is not necessary to generate the M sequence each time. That is, a fixed M sequence may be generated in advance and stored in a memory or the like.
For example, it is assumed that an M sequence (K = 13) having a sequence length of 8191 is used. In this case, since the position code is also embedded in units of 5 bits, 5 bits are taken out from the M sequence having a sequence length of 8191 and blocked.
なお、本明細書では、説明を簡単にするために、識別情報と位置情報とは明確に区別して用いている。しかしながら、広範な位置情報を用意しておき、媒体ごとに異なる範囲から位置情報を切り出して埋め込み、位置情報の違いによって媒体を識別するという手法もある。そこで、このような手法においては、媒体を識別する機能が位置情報に備わっているものと見て、位置情報を識別情報としても考えるものとする。 In this specification, the identification information and the position information are clearly distinguished and used for the sake of simplicity. However, there is a technique in which a wide range of position information is prepared, the position information is cut out and embedded from different ranges for each medium, and the medium is identified by the difference in position information. Therefore, in such a method, it is assumed that the position information has a function for identifying the medium, and the position information is also considered as the identification information.
次に、識別情報サーバ30の構成について説明する。
図4は、識別情報サーバ30の機能構成の一例を示したブロック図である。図4に示したように、識別情報サーバ30は、受信部31と、識別情報管理部32と、識別情報記憶部33と、表示情報生成部34と、送信部39とを備える。
受信部31は、文書サーバ20から識別情報の発行要求を受信する。また、受信部31は、印刷文書に対する筆記が行われた際には、媒体の識別情報と筆跡情報とを端末装置50から受信する。ここで、本実施の形態では、端末装置50から媒体の識別情報と筆跡情報とを受信し、さらに筆跡情報の表示が指示された際に、文書サーバ20から媒体の識別情報と筆跡情報とを受信する受信手段の一例として、受信部31を設けている。
Next, the configuration of the
FIG. 4 is a block diagram illustrating an example of a functional configuration of the
The receiving
識別情報管理部32は、識別情報の発行要求があると、識別情報を重複することなく発行し、その際に指定された文書IDおよび印刷設定を識別情報に関連付けて記憶する。また、識別情報の指定を受けて、その識別情報に対応する文書IDおよび印刷設定を取り出す。
識別情報記憶部33は、識別情報を、その使用/未使用の状態、それが付与された媒体に印刷された電子文書の文書ID、それが付与された媒体に電子文書が印刷された際の印刷設定を関連付けて記憶するデータベースである。
表示情報生成部34は、筆跡情報の表示が指示された際に、文書サーバ20から取得した情報に基づいて、筆跡情報を表示するための表示情報を生成する。この表示情報としては、例えば、端末装置50で表示するイメージを生成する元となるデータを生成する。
When there is a request for issuing identification information, the identification
The identification
The display
送信部39は、文書サーバ20からの要求に応じて発行した識別情報を文書サーバ20に送信する。また、印刷文書に対する筆記が行われた際には、媒体の識別情報と筆跡情報とを文書サーバ20に送信する。さらに、筆跡情報の表示が指示された際には、端末装置50に対して表示情報を送信する。ここで、本実施の形態では、媒体の識別情報と筆跡情報とを送信する送信手段の一例として、送信部39を設けている。
The
次に、デジタルペン60について説明する。
図5は、デジタルペン60の構成を説明する図である。図5に示したように、デジタルペン60は、本体筐体68内部に、媒体に筆記を行うペンチップ64、ペン全体の動作を制御する制御部61、媒体上に赤外光を照射する赤外LED62、媒体からの反射光を検知することによって符号画像を読み取って符号画像を取得する符号画像取得手段の一例としての赤外CMOS63、識別情報や筆跡情報や位置情報を記憶する情報メモリ65、外部装置と通信する通信部66を備えている。さらには、デジタルペン60の各部を駆動するための電力を供給する充電可能なバッテリ67を備えている。
Next, the digital pen 60 will be described.
FIG. 5 is a diagram illustrating the configuration of the digital pen 60. As shown in FIG. 5, the digital pen 60 has a
また、デジタルペン60は、ユーザが行う各種操作に対応した信号を出力する信号出力手段の一例として、デジタルペン60にペンチップ64を保護するためのキャップ69が装着されているか否かを検知するキャップスイッチSW1、デジタルペン60による筆記操作等をペンチップ64に加わる圧力(筆圧)によって検知する筆圧検知スイッチSW2、ユーザ操作によるオン/オフの入力を受け付けるユーザスイッチSW3を備えている。キャップスイッチSW1およびユーザスイッチSW3は本体筐体68の側面部にそれぞれ設けられ、筆圧検知スイッチSW2は本体筐体68内部に設けられている。
そして、赤外LED62、赤外CMOS63、情報メモリ65、通信部66、さらにはキャップスイッチSW1、筆圧検知スイッチSW2、ユーザスイッチSW3は、制御部61に接続されている。
The digital pen 60 is a cap that detects whether or not a
The
赤外LED62は、700〜1000μmの波長の赤外光を出射する1または複数のLED(Light Emitting Diode)で構成されている。そして、後述する制御部61内の照明駆動部614から送信される駆動信号に基づいてパルス点灯する。
赤外CMOS63は、赤外領域に感度があるCMOSセンサ(Complementary Metal Oxide Semiconductor)であって、撮像した画像を同時に転送できるグローバルシャッタ方式を用いている。そして、赤外CMOS63は、50fps〜100fps(frame per second)程度の周期(フレームレート)で送信される画像取込信号に同期して、媒体に印刷された符号画像をフレーム単位で撮像する。なお、「フレーム」とは、赤外CMOS63がフレームレート毎に1回で撮像する媒体上の領域(撮像領域)である。そして、1フレームから符号画像に関する所定のデータ長からなるデータ群が生成される。また、画像取込信号は、後述する制御部61内の画像取込信号生成部615にて生成され、赤外CMOS63に送信される。
通信部66は、端末装置50と通信を行い、識別情報と、筆跡情報または位置情報とを端末装置50に送信する。なお、通信部66が端末装置50とUSBケーブルで接続される方式を用いる場合には、USBケーブルを介して端末装置50から電力供給を受けるように構成してもよい。さらに、USBケーブルを介して供給される電力によりバッテリ67を充電するように構成してもよい。
The
The
The
次に、デジタルペン60に設けられた制御部61について説明する。
図6は、制御部61の機能構成の一例を示したブロック図である。図6に示したように、制御部61は、赤外CMOS63にて読み取った符号画像を処理する画像処理部611、画像処理部611での処理結果から識別情報および位置情報を取得し、さらには筆跡情報を生成するデータ処理部612、データ処理部612にて取得・生成された識別情報と筆跡情報または位置情報とを情報メモリ65または通信部66に出力する出力部613、赤外LED62を駆動する照明駆動部614、赤外CMOS63に送信する所定周期の画像取込信号を生成する画像取込信号生成部615、各部の動作を制御する動作制御部616、ペンの識別情報(ペンID)を記憶するペンIDメモリ617を備えている。
Next, the
FIG. 6 is a block diagram illustrating an example of a functional configuration of the
画像処理部611には、画像取得部611aと、ドット配列生成部611bとが備えられる。
画像取得部611aは、赤外CMOS63により印刷文書から読み取られた符号画像をフレーム単位で取得する。また、必要に応じて、符号画像に含まれるノイズを除去する。
ドット配列生成部611bは、符号画像におけるドットの位置を参照して、1フレーム毎のドット配列を生成する。すなわち、2次元の配列上で、例えば、ドットがある位置に「1」を、ドットがない位置に「0」を記憶することにより、画像として検出したドットをデジタルデータに置き換える。そして、この2次元の配列をドット配列としてフレーム毎に出力する。
The
The
The dot array generation unit 611b generates a dot array for each frame with reference to the dot positions in the code image. That is, on a two-dimensional array, for example, “1” is stored at a position where there is a dot and “0” is stored at a position where there is no dot, thereby replacing the dot detected as an image with digital data. Then, this two-dimensional array is output as a dot array for each frame.
データ処理部612には、符号配列生成部612aと、識別情報取得部612bと、位置情報取得部612cと、筆跡情報生成部612dと、生成方法選択部612eとが備えられる。
符号配列生成部612aは、ドット配列上で、符号ブロック内の単位パターンに対応するブロックを検出する。具体的には、単位パターンが配置されるブロックと同じ形状および大きさの枠をドット配列上で動かし、枠内のドット数が均等になる位置で枠を固定する。例えば、図3(a)の単位パターンを用いる場合であれば、3ドット×3ドットに対応する大きさの枠を動かし、枠内に含まれるドット数が2となる位置で枠を固定する。そして、その枠で区切られた各ブロック内のドット位置から定まる符号値を格納した符号配列をフレーム毎に生成する。また、この符号配列が生成されると、予め定められた同期符号の符号値を検索することによって、同期符号の位置が特定される。
The
The code
識別情報取得部612bは、符号配列から同期符号の位置を基準にして識別符号を検出する。そして、画像生成時にRS符号化処理で用いたパラメータを用いて識別符号を復号し、識別情報をフレーム毎に取得する。
位置情報取得部612cは、位置情報取得手段の一例であって、符号配列から同期符号の位置を基準にして位置符号を検出する。そして、位置符号からM系列の部分系列を取り出し、画像生成時に使用したM系列におけるこの部分系列の位置を参照し、この位置を同期符号によるオフセットで補正した値を位置情報としてフレーム毎に取得する。なお、オフセットで補正するのは、位置符号の間に同期符号が配置されているためである。
筆跡情報生成部612dは、筆跡情報生成手段の一部を構成する機能部であって、位置情報取得部612cが取得した位置情報を連結した筆跡情報をフレーム毎に生成する。ここでの筆跡情報とは、ペンチップ64による筆記(手書き)が行われた際のペンチップ64先端の軌跡を連結して電子化したデータである。
生成方法選択部612eは、筆跡情報生成部612dが位置情報取得部612cが取得した位置情報を連結して筆跡情報を生成する際に、筆跡情報を生成する際に用いる複数の生成方法から、ユーザの筆記操作の速度に応じて一の生成方法を選択する。そして、選択された生成方法を用いることを筆跡情報生成部612dに指示する。生成方法選択部612eは、筆跡情報生成手段の一部を構成する機能部である。
The identification information acquisition unit 612b detects the identification code based on the position of the synchronization code from the code array. Then, the identification code is decoded using the parameters used in the RS encoding process at the time of image generation, and the identification information is acquired for each frame.
The position information acquisition unit 612c is an example of a position information acquisition unit, and detects a position code based on the position of the synchronization code from the code array. Then, an M-sequence partial sequence is extracted from the position code, the position of this partial sequence in the M-sequence used at the time of image generation is referenced, and a value obtained by correcting this position with an offset using a synchronization code is acquired for each frame as position information. . The reason for correcting with the offset is that a synchronization code is arranged between the position codes.
The handwriting
The generation
ところで、デジタルペン60には、異なる複数の動作モードを使い分けて使用できる機能が設定されている。例えば、本実施の形態のデジタルペン60では、ペンチップ64により媒体上に描かれた筆記画像を筆跡情報として端末装置50に送信する動作モードである「筆記モード」と、媒体から得られた識別情報および位置情報の一方または双方を特定の情報にリンクするための参照情報として用いる動作モードである「参照モード」とが設定される。「参照モード」での動作例としては、端末装置50に対して例えば所定のウェブブラウザプログラムを開いて特定情報が保存・記述されたウェブアドレス等にリンクさせるコマンドを生成させるための参照情報として、位置情報取得部612cにて取得した位置情報および識別情報取得部612bにて取得された識別情報を用いる。なお、「参照モード」において、位置情報および識別情報のいずれか一方だけを用いるように構成してもよい。
By the way, the digital pen 60 is set with a function capable of using a plurality of different operation modes. For example, in the digital pen 60 of the present embodiment, the “writing mode” that is an operation mode in which a writing image drawn on the medium by the
デジタルペン60における「筆記モード」や「参照モード」等の動作モードは、ユーザの操作に対応した信号(オン/オフ信号)を出力するキャップスイッチSW1、筆圧検知スイッチSW2およびユーザスイッチSW3のオン/オフ状態に基づき、動作制御部616が設定する。そして、動作制御部616は、データ処理部612に対して、「筆記モード」または「参照モード」の設定を指示する制御信号を送る。その際に、「筆記モード」や「参照モード」の開始は筆圧検知スイッチSW2のオン信号により、また「筆記モード」や「参照モード」の終了は筆圧検知スイッチSW2のオフ信号によりそれぞれ設定される。
The operation mode such as “writing mode” and “reference mode” in the digital pen 60 is such that the cap switch SW1, the writing pressure detection switch SW2, and the user switch SW3 that output a signal (ON / OFF signal) corresponding to a user operation are ON. The
そして、筆跡情報生成部612dは、動作制御部616からの「筆記モード」の設定を指示する制御信号により動作する。それにより、「筆記モード」では、識別情報取得部612bにて取得された識別情報と、筆跡情報生成部612dにて生成された筆跡情報とが出力部613に送られる。
それに対して、動作制御部616からの制御信号にて「参照モード」が設定されている場合には、筆跡情報生成部612dは機能を停止する。それにより、「参照モード」では、識別情報取得部612bにて取得された識別情報と、位置情報取得部612cが取得した位置情報とが出力部613に出力される。
なお、「筆記モード」および「参照モード」の双方において筆跡情報生成部612dを動作させ、位置情報から筆跡情報を生成してもよい。その際には、「筆記モード」が設定されている場合には筆跡情報はペンチップ64先端の軌跡を連結した筆跡情報としてそのまま使用される。また、「参照モード」が設定されている場合には筆跡情報は参照情報として使用される。
The handwriting
On the other hand, when the “reference mode” is set by the control signal from the
The handwriting
また、データ処理部612において、動作制御部616にて設定された「筆記モード」および「参照モード」に対応させて、データ処理部612にて生成する識別情報、位置情報、および筆跡情報の一または複数に、「筆記モード」または「参照モード」にて生成されたことを示す「動作モード情報」を付加してもよい。それにより、動作モード情報が付加された識別情報や位置情報や筆跡情報を取得した端末装置50では、動作モード情報に基づき、媒体上の本来筆記できない領域での筆記や、参照情報となる位置情報が印刷されていない領域での符号画像の読み取り等といった不都合動作が行われたことが認識される。そして、端末装置50からデジタルペン60に対して、送信された識別情報や位置情報や筆跡情報は不都合動作に基づくものであり、筆記情報または参照情報として使用できないことを通知する。
さらに、データ処理部612において、識別情報取得部612bにて識別情報を取得する際に発生したエラー情報、位置情報取得部612cにて位置情報を取得する際に発生したエラー情報、筆跡情報生成部612dにて筆跡情報を生成する際に発生したエラー情報を識別情報や位置情報や筆跡情報に付加してもよい。それにより、エラー情報が付加された識別情報や位置情報や筆跡情報を取得した端末装置50では、これらの情報の取得処理時や生成処理時にエラーが発生したことが認識される。そして、端末装置50は、ユーザに対して、エラー通知や、個々のエラーに対する対応策を指示する。
Further, in the
Further, in the
続いて、出力部613は、識別情報と、筆跡情報または位置情報とをフレーム単位で情報メモリ65または通信部66に出力する。すなわち、通信部66と端末装置50との間の通信が確立されている場合には、出力部613は、識別情報と筆跡情報または位置情報とを通信部66に出力する。一方、通信部66と端末装置50との間の通信が確立されていない場合には、出力部613は、識別情報と筆跡情報または位置情報とを情報メモリ65に出力する。情報メモリ65では、取得した識別情報と、筆跡情報または位置情報とを記憶する。
また出力部613は、通信部66と端末装置50との間の通信が確立された際に、情報メモリ65から識別情報および筆跡情報を読み出し、通信部66に出力する。
なお、出力部613は、識別情報と、筆跡情報または位置情報とのいずれか一方を情報メモリ65または通信部66に出力するように構成してもよい。
Subsequently, the
The
Note that the
画像取込信号生成部615は、例えば50fps〜100fpsの周期(フレームレート)の画像取込信号を生成して、赤外CMOS63に送信する。赤外CMOS63では、送信される画像取込信号により設定されるフレームレートで、媒体に印刷された符号画像をフレーム毎に順次撮像する。さらに、画像取込信号生成部615は、生成した画像取込信号を照明駆動部614に送信する。
照明駆動部614は、赤外LED62を駆動するための駆動信号を生成し、赤外LED62をパルス点灯させる。その際には、赤外CMOS63でのフレームレートに対応させるため、画像取込信号生成部615にて生成される画像取込信号に同期させて駆動信号を出力する。それにより、赤外LED62における消費電力の低減を図っている。
The image capture
The
デジタルペン60では、まず、照明駆動部614にて駆動される赤外LED62が媒体に対して赤外光を照射すると、画像取込信号生成部615からの画像取込信号に同期して赤外CMOS63がその反射光を受光し、媒体に印刷された符号画像をフレーム毎に読み取る。そして、赤外CMOS63にて読み取られた符号画像は、制御部61内の画像処理部611に送られる。
画像処理部611では、画像取得部611aがこの読み取った符号画像を取得する。その際に、符号画像にノイズが含まれていれば、これを除去する。引き続いて、ドット配列生成部611bが、符号画像に含まれるドット位置をデジタルデータ化し、ドット配列を生成する。そして、生成されたドット配列はデータ処理部612に送られる。
In the digital pen 60, first, when the
In the
次のデータ処理部612では、符号配列生成部612aが、ドット配列生成部611bにて生成されたドット配列からブロックを検出し、ブロックごとの符号値を格納した符号配列を生成する。そして、符号配列において、同期符号の位置を特定する。その後、識別情報取得部612bが、同期符号の位置に基づいて識別符号を検出し、これを復号して識別情報を取得する。識別情報取得部612bにて取得された識別情報は、出力部613に送られる。
また、位置情報取得部612cが、同期符号の位置に基づいて位置符号を検出し、これを復号して位置情報を取得する。そして、「筆記モード」が設定されている場合には、位置情報取得部612cにて取得された位置情報は、筆跡情報生成部612dに送られ、筆跡情報生成部612dが、位置情報を連結して筆跡情報をフレーム毎に生成する。筆跡情報生成部612dにて生成された筆跡情報は、出力部613に送られる。一方、「参照モード」が設定されている場合には、位置情報取得部612cにて取得された位置情報は、そのまま出力部613に送られる。
In the next
Further, the position information acquisition unit 612c detects the position code based on the position of the synchronization code, decodes this, and acquires the position information. When the “writing mode” is set, the position information acquired by the position information acquisition unit 612c is sent to the handwriting
そして、出力部613は、通信部66と端末装置50との間の通信が確立されている場合には、識別情報と、筆跡情報または位置情報とを通信部66に出力する。一方、通信部66と端末装置50との間の通信が確立されていない場合には、出力部613は、識別情報と、筆跡情報または位置情報とを情報メモリ65に出力する。情報メモリ65は、出力部613から送られた識別情報と、筆跡情報または位置情報とを記憶することにより、通信が不調でも、識別情報、および筆跡情報または位置情報が失われない。
When the communication between the
次に、筆跡情報生成部612dでの筆跡情報の生成処理に関して説明する。
上記したように、赤外CMOS63は、画像取込信号生成部615からの画像取込信号によって設定された所定のフレームレートで、媒体に印刷された符号画像をフレーム毎に順次撮像する。そして、1フレームレート毎に撮像された1フレーム毎の符号画像を撮像順に制御部61に送り、画像処理部611およびデータ処理部612にて、1フレーム毎の符号画像から識別情報および位置情報を取得する。また、1フレーム毎の位置情報から筆跡情報生成部612dは筆跡情報を生成する。
このように、筆跡情報生成部612dでは、所定のフレームレート毎に1フレーム毎の位置情報から筆跡情報が生成される。したがって、ユーザの筆記操作が速ければ、筆跡上での筆跡情報が生成される位置相互の間隔は広がり、ユーザの筆記操作が遅ければ、筆跡上での筆跡情報が生成される位置相互の間隔は狭くなる。
Next, handwriting information generation processing in the handwriting
As described above, the
In this way, the handwriting
図7は、ユーザの筆記操作の速度と筆跡情報が生成される位置相互の間隔との関係を示した図である。図7での各点は、1フレーム毎の位置情報から生成された筆跡情報における座標位置(以下、「筆跡情報座標位置」ともいう)を示している。図7(a)に示したように、ユーザの筆記操作速度が速ければ、筆跡情報座標位置相互の間隔dは広い。それに対して、図7(b)に示したように、ユーザの筆記操作速度が遅くなるほどに筆跡情報座標位置相互の間隔dは狭くなり、さらに筆記操作速度が遅くなると、図7(c)に示したように、筆跡情報座標位置相互の間隔dは近接することとなる。
その場合に、筆跡情報座標位置での筆跡情報を生成する方法として、各筆跡情報座標位置をそのまま連結していく生成方法がある。すなわち、各筆跡情報座標位置相互を直線で結ぶことで筆跡情報を生成する生成方法である。この生成方法によれば、筆跡情報生成部612dでの演算処理の回数を低減でき、筆跡情報生成処理の高速化が図られる。なお、その際に、各フレーム毎の筆跡情報生成時の誤差やユーザの筆記操作時の手振れ等を補正するために、筆跡情報座標位置を中心とする周辺の数個の筆跡情報を抽出し、抽出した複数の筆跡情報における位置座標を平均化した移動平均値を各筆跡情報における座標位置として用いてもよい。
FIG. 7 is a diagram showing the relationship between the speed of the user's writing operation and the interval between positions where handwriting information is generated. Each point in FIG. 7 represents a coordinate position in handwriting information generated from position information for each frame (hereinafter also referred to as “handwriting information coordinate position”). As shown in FIG. 7A, if the user's writing operation speed is fast, the interval d between the handwriting information coordinate positions is wide. On the other hand, as shown in FIG. 7 (b), the interval d between the handwriting information coordinate positions becomes narrower as the user's writing operation speed becomes slower, and when the writing operation speed becomes slower, as shown in FIG. 7 (c). As shown, the interval d between the handwriting information coordinate positions is close.
In this case, as a method for generating handwriting information at handwriting information coordinate positions, there is a generation method in which the handwriting information coordinate positions are connected as they are. In other words, the handwriting information is generated by connecting handwriting information coordinate positions with a straight line. According to this generation method, the number of calculation processes in the handwriting
このような直線を用いる生成方法では、例えば図7(c)に示したような筆跡情報座標位置相互の間隔dが近接する(小さい)場合には、筆跡情報生成部612dにて生成される筆跡情報とユーザによる実際の筆跡とは、極めて近似したものとなる。ところが、例えば図7(a)に示したようなユーザの筆記操作速度が速いために、筆跡情報座標位置相互の間隔dが広くなる(大きい)場合には、生成される筆跡情報とユーザによる実際の筆跡との間の乖離が大きくなる。
図8は、ユーザの筆記操作の速度と、位置情報をそのまま連結させる生成方法により生成された筆跡情報との関係を図7に対応させて示した図である。図7および図8に示したような曲率を持った筆跡が形成される場合には、図8(a)に示したように、筆跡情報座標位置相互の間隔dが大きい場合に、筆跡の曲線と、筆跡情報座標位置相互を結んだ直線からなる筆跡情報との間の乖離が目立つものとなる。その一方で、図8(b)に示したように、筆跡情報座標位置相互の間隔dが小さくなるに従って、筆跡と筆跡情報との間の乖離が減少して、図8(c)に示したように筆跡情報座標位置相互の間隔dが近接すると、筆跡と筆跡情報とは殆ど一致する。
In the generation method using such a straight line, for example, when the distance d between the handwriting information coordinate positions is close (small) as shown in FIG. 7C, the handwriting generated by the handwriting
FIG. 8 is a diagram showing the relationship between the speed of the user's writing operation and the handwriting information generated by the generation method for connecting the position information as they are, corresponding to FIG. When a handwriting having a curvature as shown in FIG. 7 and FIG. 8 is formed, as shown in FIG. 8A, when the distance d between the handwriting information coordinate positions is large, the handwriting curve And the handwriting information consisting of straight lines connecting the handwriting information coordinate positions become conspicuous. On the other hand, as shown in FIG. 8 (b), as the distance d between the handwriting information coordinate positions becomes smaller, the divergence between the handwriting and the handwriting information is reduced, as shown in FIG. 8 (c). As described above, when the interval d between the handwriting information coordinate positions is close, the handwriting and the handwriting information almost coincide with each other.
そのため、筆跡情報座標位置相互の間隔dを小さくするような筆記操作速度によりユーザが筆記操作を行う場合には、筆跡情報生成部612dは、例えば、各筆跡情報座標位置相互を直線で結ぶ上記した生成方法を用いて筆跡情報を生成する。それにより、ユーザによる筆跡と殆ど一致する筆跡情報が高速に生成される。
それに対して、筆跡情報座標位置相互の間隔dを大きくするような筆記操作速度によりユーザが筆記操作を行う場合には、筆跡情報生成部612dは、筆跡情報座標位置に隣接する1個または複数個の筆跡情報座標位置を例えばベジエ曲線等の曲線で結ぶ円滑化処理を用いて筆跡情報を生成する。それにより、筆跡と筆跡情報との間の乖離を低減して、筆跡と筆跡情報とを近似させる。この場合には、円滑化処理を用いることから筆跡情報生成部612dでの演算処理の回数は増加するが、逆に演算処理の対象となる筆跡情報座標位置の数が少ないことから、処理速度の低下は限定的なものとなる。なお、ここでのユーザの筆記操作速度が筆跡情報座標位置相互の間隔dを大きくする場合とは、例えば、ユーザによる筆跡と筆跡情報との間の乖離が目立つ程度に筆跡情報座標位置相互の間隔dを大きくするような筆記操作速度により、ユーザが筆記操作を行う場合である。
Therefore, when the user performs a writing operation at a writing operation speed that reduces the interval d between the handwriting information coordinate positions, the handwriting
On the other hand, when the user performs a writing operation at a writing operation speed that increases the interval d between the handwriting information coordinate positions, the handwriting
次の図9は、筆跡情報生成部612dが曲線を用いて筆跡情報を生成する際に用いる円滑化処理を説明する図である。図9に示したように、筆跡情報が生成される座標位置をPmとすると、筆跡情報生成部612dでは、例えば座標位置Pmに隣接する座標位置Pm+1および座標位置Pm−1とを抽出する。ここで、座標位置Pm+1は、座標位置Pmの次に筆跡情報が生成される座標位置であり、座標位置Pm−1は、座標位置Pmの前に筆跡情報が生成された座標位置である。そして、筆跡情報生成部612dは、座標位置Pmと、座標位置Pm+1および座標位置Pm−1とに関する位置座標を算出する。すなわち、座標位置Pmの位置座標(xm,ym)、座標位置Pmに隣接する座標位置Pm+1の位置座標(xm+1,ym+1)、座標位置Pm−1の位置座標(xm−1,ym−1)を算出する。そして、これらの位置座標 (xm+1,ym+1)、(xm,ym)、(xm−1,ym−1)を通る近似曲線を算出し、算出された近似曲線を用いて各位置座標(xm+1,ym+1)、(xm,ym)、(xm−1,ym−1)での筆跡情報を生成する。
FIG. 9 is a diagram for explaining a smoothing process used when the handwriting
続いて、筆跡情報生成部612dが筆跡情報を生成する際に行われる、各筆跡情報座標位置相互を直線で結ぶ生成方法を用いるか円滑化処理を用いるかの選択処理について述べる。筆跡情報生成部612dが筆跡情報を生成する際に直線で結ぶ生成方法か円滑化処理を用いるかの選択は、生成方法選択部612eが位置情報取得部612cから取得した位置情報に基づいて行う。
上記したように、筆跡情報生成部612dは、筆跡情報座標位置相互の間隔dを小さくするような筆記操作速度によりユーザが筆記操作を行う場合には、例えば、各筆跡情報座標位置相互を直線で結ぶ上記した生成方法を用いて筆跡情報を生成する。それに対して、筆跡情報座標位置相互の間隔dを大きくするような筆記操作速度によりユーザが筆記操作を行う場合には、各筆跡情報座標位置相互を曲線で結ぶ円滑化処理を用いて筆跡情報を生成する。そして、生成方法選択部612eは、位置情報取得部612cにて取得された位置情報に基づいてユーザの筆記操作速度を選択する。
Subsequently, a selection process, which is performed when the handwriting
As described above, when the user performs a writing operation at a writing operation speed that reduces the interval d between the handwriting information coordinate positions, for example, the handwriting
ここで、図10は、生成方法選択部612eが筆跡情報の生成方法を選択する際の処理の手順の一例を示したフローチャートである。図10に示したように、生成方法選択部612eは、筆跡情報を生成するフレーム毎の位置情報を位置情報取得部612cから取得する(ステップ11)。そして、取得した位置情報に基づき隣接するフレーム間の距離を算出する(ステップ12)。すなわち、図7に示した筆跡情報座標位置相互の間隔dを算出する。
フレーム毎の位置情報は、赤外CMOS63でのフレームレートに従って一定の周期で取得されることから、各筆記情報を生成したフレーム間の距離が長い場合には、ユーザの筆記操作速度は速いと判断できる。また、各筆記情報を生成したフレーム間の距離が短い場合には、ユーザの筆記操作速度は遅いと判断できる。そこで、生成方法選択部612eは、各筆記情報を生成するフレーム間の距離を算出し、算出されたフレーム間の距離が所定値以上であるか否かを調べる。
Here, FIG. 10 is a flowchart illustrating an example of a processing procedure when the generation
Since the position information for each frame is acquired at a constant cycle according to the frame rate in the
ステップ12にて算出されたフレーム間の距離が所定値以上である場合(ステップ13)には、生成方法選択部612eは、筆跡情報生成部612dにて円滑化処理を用いて筆跡情報を生成することを選択する(ステップ14)。ここで、円滑化処理を用いるか否かを選択する際に用いるフレーム間の距離(筆跡情報座標位置相互の間隔d)に関する所定値は、各筆跡情報座標位置相互を直線で結ぶとした場合に、ユーザによる筆跡と筆跡情報との間の乖離が目立つ程度のフレーム間の距離として設定される。そして、筆跡情報生成部612dに対して円滑化処理を用いて筆跡情報を生成するように指示する(ステップ15)。
一方、ステップ12にて算出されたフレーム間の距離が所定値よりも小さい場合(ステップ13)には、生成方法選択部612eは、各筆跡情報座標位置相互を直線で結ぶ生成方法を用いて筆跡情報を生成することを選択する(ステップ16)。そして、筆跡情報生成部612dに対して直線で結ぶ生成方法を用いて筆跡情報を生成するように指示する(ステップ17)。
When the distance between frames calculated in step 12 is equal to or greater than a predetermined value (step 13), the generation
On the other hand, when the distance between frames calculated in step 12 is smaller than the predetermined value (step 13), the generation
次に、筆跡情報生成部612dにて行われる筆跡情報に関するエラー判定について述べる。筆跡情報生成部612dでは、生成された筆跡情報を検査し、生成された筆跡情報にエラー情報が含まれていないかを判定する。そして、筆跡情報にエラー情報が含まれていると判定した場合には、その筆跡情報を補正する。
図11は、筆跡情報に生じたエラー情報を説明する図である。上記したように、筆跡情報生成部612dは、位置情報取得部612cにて取得された位置情報から筆跡情報をフレーム毎に生成する。その筆跡情報を生成する際の演算処理にて、筆跡情報におけるx座標値およびy座標値の何れか一または双方にエラーが発生する場合がある。図11(a)に示した例では、生成された筆跡情報の内の一つの筆跡情報のx座標値にエラーが生じている場合を示している。このようなエラー情報は、それ以外の他の周辺の筆跡情報のx座標値やy座標値を参照すると、ユーザによる通常の筆記操作から生じるとは考え難い位置を表す筆跡情報として生成されている。
Next, error determination regarding handwriting information performed by the handwriting
FIG. 11 is a diagram for explaining error information generated in handwriting information. As described above, the handwriting
そこで、筆跡情報生成部612dは、検査対象である筆跡情報の周辺の複数の筆跡情報座標位置における筆跡情報を抽出し、抽出された複数の筆跡情報のx座標値やy座標値を平均化した移動平均値を算出する。例えば図11(a)に示した例では、検査対象である筆跡情報の筆跡情報座標位置Pm周辺の10個の筆跡情報を抽出する。すなわち、筆跡情報座標位置Pm−5から筆跡情報座標位置Pm+5までの筆跡情報を抽出する。そして、検査対象である筆跡情報と、筆跡情報座標位置Pm−5から筆跡情報座標位置Pm+5までの筆跡情報とに関するx座標値およびy座標値を平均化した移動平均値を算出する。
そして、算出されたx座標値およびy座標値の移動平均値の何れか一方または双方が所定値以上である場合には、検査対象である筆跡情報はエラー情報であると判定する。
さらに、エラー情報であると判定された場合には、図11(b)に示したように、例えば検査対象である筆跡情報を除き、筆跡情報座標位置Pm−5から筆跡情報座標位置Pm+5までの筆跡情報に関するx座標値およびy座標値を平均化した移動平均値を算出する。そして、検査対象である筆跡情報を、算出された移動平均値からなる補正筆跡情報によって置き換える補正を行う。それにより、異常な筆跡情報が排除される。
なお、エラー情報であると判定する際に用いる所定値は、検査対象である筆跡情報以外の他の周辺の筆跡情報のx座標値やy座標値を参照して、ユーザによる通常の筆記操作から生じるとは考え難い位置を表す大きさに設定される。
Therefore, the handwriting
When one or both of the calculated x-coordinate values and moving average values of the y-coordinate values are equal to or greater than a predetermined value, it is determined that the handwriting information that is the inspection target is error information.
Further, when it is determined that the error information is present, as shown in FIG. 11B, for example, the handwriting information to be inspected is excluded from the handwriting information coordinate position Pm-5 to the handwriting information coordinate position Pm + 5. A moving average value obtained by averaging the x coordinate value and the y coordinate value related to the handwriting information is calculated. And the correction which replaces the handwriting information which is a test object with the correction handwriting information which consists of the calculated moving average value is performed. Thereby, abnormal handwriting information is eliminated.
In addition, the predetermined value used when determining that it is error information refers to the x-coordinate value and y-coordinate value of peripheral handwriting information other than the handwriting information to be inspected, and the normal writing operation by the user. It is set to a size that represents a position that is unlikely to occur.
次に、図12は、デジタルペン60の制御部61のハードウェア構成を示した図である。
図12に示したように、制御部61は、機能モジュールとして、デジタルペン60の動作制御を行うに際して予め定められた動作制御プログラム(ファームウェア)に従ってデジタル演算処理を実行するCPU101、CPU101により実行される処理プログラム等が格納されるRAM102、CPU101により実行される処理プログラム等にて用いられる設定値等のデータが格納されるROM103、書き換え可能で電源供給が途絶えた場合にもデータを保持できるEEROMやフラッシュメモリ等の不揮発性メモリ104、制御部61に接続される各部との信号の入出力を制御するインターフェース部105を備えている。
また、外部記憶装置106には、制御部61により実行される動作制御プログラムが格納されており、制御部61がこの動作制御プログラムを読み込むことによって、デジタルペン60に関する動作制御が実行される。
Next, FIG. 12 is a diagram illustrating a hardware configuration of the
As illustrated in FIG. 12, the
Further, the
すなわち、上記した画像処理部611、データ処理部612、出力管理部613、動作制御部616の各機能を実現する動作制御プログラムを外部記憶装置106から制御部61内のRAM102に読み込む。そして、RAM102に読み込まれた動作制御プログラムに基づいて、CPU101が各種処理を行う。この動作制御プログラムは、デジタルペン60と通信する例えば端末装置50に備えられたハードディスクやDVD−ROM等がデジタルペン60の外部記憶装置106として機能して、端末装置50から通信回線を介してRAM102にロードされて提供される。また、その他の提供形態として、予めROM103にインストールされた状態にて提供される形態がある。さらに、デジタルペン60がアッセンブリされた後に、動作制御プログラムが不揮発性メモリ104にインストールされ、不揮発性メモリ104からRAM102にロードされる形態がある。また、インターネット等のネットワークを介してデジタルペン60にプログラムが伝送され、RAM102にインストールされる形態がある。
That is, an operation control program that realizes the functions of the
次に、本実施の形態の筆跡情報管理システムにて電子文書に関して行われる各種処理について説明しておく。
[印刷文書の生成処理]
図13は、筆跡情報管理システムにて印刷文書が生成される際の動作の一例を示したシーケンス図である。
まず、ユーザは端末装置10から電子文書の印刷指示を文書サーバ20に送信する(ステップ101)。その際には、端末装置10は、印刷対象となる電子文書と、電子文書の識別情報(文書ID)と、ユーザが指定した印刷設定とを送信する。ここで、印刷設定は、印刷の対象とするページ、印刷部数、媒体である用紙のサイズ、拡大縮小率、Nアップ (電子文書のNページを媒体の1ページに割り付ける印刷)、余白領域の大きさ等の設定を含む。
Next, various processes performed on the electronic document in the handwriting information management system of this embodiment will be described.
[Print document generation processing]
FIG. 13 is a sequence diagram illustrating an example of an operation when a print document is generated in the handwriting information management system.
First, the user transmits an instruction to print an electronic document from the
文書サーバ20は、端末装置10から電子文書の印刷指示を受信する(ステップ201)。印刷指示に含まれる印刷対象となる電子文書は、電子文書管理部23に送られ、電子文書管理部23が、電子文書を文書IDと関連付けて文書/筆跡情報記憶部25に登録する(ステップ202)。
また、文書サーバ20は、印刷を指示された電子文書の文書IDと印刷設定とを識別情報サーバ30に送信する(ステップ203)。ここで、文書IDとしては、例えば、URL(Uniform Resource Locator)を用いるとよいが、電子文書を一意に特定することができるものであれば他の情報を用いてもよい。
それにより、識別情報サーバ30は、文書IDと印刷設定とを受信する(ステップ301)。そして、媒体識別情報を管理する識別情報管理部32が識別情報記憶部33から未使用の媒体識別情報を取得する(ステップ302)。ここで、取り出す媒体識別情報の数は、印刷設定に応じて決められる。つまり、基本的には、印刷するページ数に印刷部数を乗じて得られる数の媒体識別情報が取り出される。ただし、印刷設定情報の中に、Nアップ印刷の指定等がある場合は、それも考慮される。例えば、10ページの電子文書を2アップ印刷で5部印刷する場合は、25(=10÷2×5)個の媒体識別情報が取り出される。
次に、識別情報サーバ30は、識別情報と文書IDと印刷設定とを関連付けて識別情報記憶部33に登録する(ステップ303)。そして、識別情報サーバ30は、文書サーバ20に対し、識別情報を送信する(ステップ304)。
The
Further, the
Thereby, the
Next, the
それにより、文書サーバ20は、識別情報を受信する(ステップ204)。そして、識別情報および位置情報を表す符号画像を生成する(ステップ205)。
すなわち、文書サーバ20では、受信部21が媒体識別情報を受信する。そして、受信部21は、受信した媒体識別情報を識別情報取得部22に受け渡す。すると、まず識別情報取得部22が、取得した媒体識別情報を識別符号生成部27aに渡し、識別符号生成部27aが、上記した方法を用いて媒体の識別情報を符号化し、識別符号を生成する。
また、位置符号生成部27bは、受信部21から印刷設定を受け取り、印刷設定に応じた範囲の位置情報を上記した方法を用いて符号化し、位置符号を生成する。
そして、符号配置部27cが、媒体識別符号と位置符号とを所定のレイアウトに従って配置し、これを符号画像生成部27eが、パターン画像記憶部27dに記憶されたパターン画像を用いて画像化することで符号画像を生成する。
Thereby, the
That is, in the
In addition, the position
Then, the
その後、文書サーバ20では、文書画像生成部26が、電子文書の文書画像を生成する(ステップ206)。その際に、文書画像生成部26は、ステップ201で識別情報取得部22が取得した文書IDを受け取り、文書IDに基づいて印刷対象となる電子文書を文書/筆跡情報記憶部25から読み出す。また、ステップ201で識別情報取得部22が取得した印刷設定を受け取り、これに基づいて文書画像を生成する。
そして、画像合成部28は、ステップ205で生成された符号画像と、ステップ206で生成された文書画像とを合成し、合成画像を生成する(ステップ207)。
その後、合成画像は送信部29に渡され、送信部29が、合成画像の印刷命令を画像形成装置40に送信する(ステップ208)。ここで、合成画像の印刷命令は、例えば、文書画像の印刷命令の列からなるPDL(Page Description Language)ファイルに対し、符号画像として印刷する内容をPDLコマンドとして設定したPDLの形式で送信される。
Thereafter, in the
Then, the
Thereafter, the composite image is transferred to the
画像形成装置40は、文書サーバ20から合成画像(電子文書の文書画像および符号画像)を受信する(ステップ401)。そして、画像形成装置40は、文書画像をY(イエロー)、M(マゼンタ)、C(シアン) により画像に展開する(ステップ402)。次に、文書画像はC、M、Yのトナーを用いて、符号画像はK(カーボンを含む黒)のトナーを用いて、それぞれ画像形成を行う(ステップ403)。
The
ところで、上述した例では、識別情報サーバ30は識別情報を発行するだけで、文書サーバ20が、識別情報を含む符号画像を生成し、画像形成装置40に画像形成を指示する構成とした。しかしながら、識別情報サーバ30が、符号画像を生成し、画像形成装置40に画像形成を指示する構成としてもよい。
また、符号画像を画像形成装置40で生成する構成を採用してもよい。その場合には、文書サーバ20または識別情報サーバ30が、電子文書から生成したPDLに識別情報を付加して画像形成装置40へ送信し、画像形成装置40が識別情報を含む符号画像を生成することになる。
In the above-described example, the
Further, a configuration in which the code image is generated by the
また、上記の例では、識別情報と文書IDと印刷設定とが関連付けられて構成されたデータベース(識別情報記憶部33)を識別情報サーバ30に置く構成について説明した。これは、かかるデータベースを共有可能な装置(識別情報サーバ30)に置くことで、複数ユーザへの対応や、サーバのアクセス制御技術を利用した電子文書のセキュリティ確保が可能となるからである。しかしながら、必ずしもこのような構成を採用する必要はなく、端末装置10や文書サーバ20に上記のデータベースを置く構成を採用してもよい。
In the above example, the configuration in which the database (identification information storage unit 33) configured by associating the identification information, the document ID, and the print setting is placed in the
また、上記した画像形成装置40では、符号画像をK(カーボンを含む黒) のトナーを用いて形成するようにした。これは、Kのトナーが、C(シアン)、M(マゼンタ)、Y(イエロー)のトナーよりも赤外光の吸収量が多く、デジタルペン60での符号画像の読み取りが容易となるからである。しかしながら、符号画像は、特殊トナーを用いて形成することも可能である。
ここで、特殊トナーとしては、可視光領域(400nm〜700nm)における最大吸収率が7%以下であり、近赤外領域(800nm〜1000nm)における吸収率が30%以上の不可視トナーが例示される。ここで、「可視」および「不可視」は、目視により認識できるかどうかとは関係しない。印刷文書における画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが人間の目で認識し難いものも、「不可視」に含める。
In the
Here, as the special toner, an invisible toner having a maximum absorption rate of 7% or less in the visible light region (400 nm to 700 nm) and an absorption rate of 30% or more in the near infrared region (800 nm to 1000 nm) is exemplified. . Here, “visible” and “invisible” are not related to whether they can be recognized visually. “Visible” and “invisible” are distinguished depending on whether or not an image in a printed document can be recognized by the presence or absence of color development due to absorption of a specific wavelength in the visible light region. Also, “invisible” includes those that have some color developability due to absorption of a specific wavelength in the visible light region but are difficult to be recognized by human eyes.
なお、ここでは、電子文書の画像に符号画像を合成して印刷することとしたが、白紙(ノートや付箋等)に符号画像を印刷する構成としてもよい。その場合は、ステップ201で受信する印刷要求に文書IDを含めないようにし、ステップ303で識別情報と文書IDおよび印刷設定との関連付けを行わないようにし、ステップ206における文書画像の生成は実行しないようにすればよい。 Here, the code image is combined with the image of the electronic document and printed. However, the code image may be printed on white paper (notebook, tag, etc.). In that case, the document ID is not included in the print request received in step 201, the identification information is not associated with the document ID and the print setting in step 303, and the generation of the document image in step 206 is not executed. What should I do?
[筆跡情報の登録処理]
次に、デジタルペン60が筆跡情報を生成して文書サーバ20に登録する際の動作について説明する。
上記したように、デジタルペン60では、識別情報取得部612bが識別情報を取得する。また、位置情報取得部612cが位置情報を取得する。さらに、筆跡情報生成部612dが位置情報を相互に連結して筆跡情報を生成する。そして、通信部66が、識別情報および筆跡情報を端末装置50を介して識別情報サーバ30へ送信する。そして、識別情報サーバ30が筆跡情報を文書サーバ20に登録する。
図14は、筆跡情報を登録する際の識別情報サーバ30および文書サーバ20の動作の一例を示したシーケンス図である。
識別情報サーバ30では、まず、受信部31が、デジタルペン60からの識別情報および筆跡情報を受信する(ステップ311)。次に、識別情報および筆跡情報は識別情報管理部32に渡され、識別情報管理部32は、渡された識別情報に関連付けられた文書IDを識別情報記憶部33から取り出す。そして、ステップ311で受信した識別情報および筆跡情報の送信先となる文書サーバ20(文書IDで特定される電子文書が存在する文書サーバ20)を決定する(ステップ312)。なお、識別情報記憶部33において識別情報に文書IDが関連付けられていなければ、その識別情報は白紙(ノートや付箋)に割り当てられたものであると考えられる。その場合は、白紙に対する筆跡情報を管理する文書サーバ20を送信先として決定すればよい。
その後、識別情報および筆跡情報は送信部39に渡され、送信部39が、ステップ312で送信先として決定した文書サーバ20に対し、識別情報および筆跡情報を送信する(ステップ313)。
[Handwriting information registration process]
Next, an operation when the digital pen 60 generates handwriting information and registers it in the
As described above, in the digital pen 60, the identification information acquisition unit 612b acquires identification information. In addition, the position information acquisition unit 612c acquires position information. Further, the handwriting
FIG. 14 is a sequence diagram illustrating an example of operations of the
In the
Thereafter, the identification information and the handwriting information are transferred to the
これにより、文書サーバ20では、受信部21が、識別情報および筆跡情報を受信する(ステップ211)。そして、受信部21は、受信した識別情報を筆跡情報管理部24に渡す。すると、筆跡情報管理部24は、識別情報と筆跡情報とを対応付けて文書/筆跡情報記憶部25に記憶する(ステップ212)。
Thereby, in the
以上説明したように、本実施の形態の筆跡情報管理システムに用いるデジタルペン60では、位置情報取得部612cから取得した位置情報に基づき、隣接するフレームの位置情報により生成された筆跡情報における座標位置の間隔を算出する。そして、算出した筆跡情報の座標位置の間隔からユーザの筆記操作の速度を把握する。そして、ユーザの筆記操作の速度に応じて筆跡情報の生成方法を選択する。すなわち、ユーザによる筆記操作の速度が所定値よりも遅い場合には、筆跡情報生成部612dは、例えば、各筆跡情報座標位置相互を直線で結ぶことにより筆跡情報を生成する生成方法を用いて筆跡情報を生成する。それにより、ユーザによる筆跡と殆ど一致する筆跡情報が高速に生成される。また、ユーザによる筆記操作の速度が所定値よりも速い場合には、筆跡情報生成部612dは、筆跡情報座標位置に隣接する1個または複数個の筆跡情報座標位置を例えばベジエ曲線等の曲線で結ぶ円滑化処理を用いて筆跡情報を生成する。それにより、筆跡と筆跡情報との間の乖離を低減して、筆跡と筆跡情報とを近似させる。
As described above, in the digital pen 60 used in the handwriting information management system of the present embodiment, the coordinate position in the handwriting information generated from the position information of the adjacent frame based on the position information acquired from the position information acquisition unit 612c. The interval is calculated. And the speed of a user's writing operation is grasped | ascertained from the space | interval of the coordinate position of the calculated handwriting information. Then, a method for generating handwriting information is selected according to the speed of the user's writing operation. That is, when the speed of the writing operation by the user is slower than a predetermined value, the handwriting
10…端末装置、20…文書サーバ、30…識別情報サーバ、40…画像形成装置、50…端末装置、60…デジタルペン、61…制御部、63…赤外CMOS、66…通信部、611…画像処理部、612…データ処理部、612c…位置情報取得部、612d…筆跡情報生成部、612e…生成方法選択部、613…出力部、614…照明駆動部、616…動作制御部
DESCRIPTION OF
Claims (13)
前記符号画像取得手段にて取得された前記符号画像から前記媒体上での位置を示す位置情報を取得する位置情報取得手段と、
前記位置情報取得手段にて取得された前記位置情報に基づき前記媒体へのユーザの筆記操作に関連した情報である筆跡情報を生成する複数の生成方法から一の生成方法を選択して、選択された当該生成方法により当該筆跡情報を生成する筆跡情報生成手段と
を備えたことを特徴とする筆跡情報生成装置。 Code image acquisition means for acquiring the code image read from the medium on which the code image is printed;
Position information acquisition means for acquiring position information indicating a position on the medium from the code image acquired by the code image acquisition means;
One generation method is selected from a plurality of generation methods for generating handwriting information that is information related to a user's writing operation on the medium based on the position information acquired by the position information acquisition unit. A handwriting information generating device comprising handwriting information generating means for generating the handwriting information by the generating method.
符号画像が印刷された媒体から読み取られた当該符号画像を取得する機能と、
取得された前記符号画像から前記媒体上での位置を示す位置情報を取得する機能と、
取得された前記位置情報に基づき前記媒体へのユーザの筆記操作に関連した情報である筆跡情報を生成する複数の生成方法から一の生成方法を選択する機能と、
選択された前記生成方法により前記筆跡情報を生成する機能と
を実現させることを特徴とするプログラム。 On the computer,
A function of acquiring the code image read from the medium on which the code image is printed;
A function of acquiring position information indicating a position on the medium from the acquired code image;
A function of selecting one generation method from a plurality of generation methods for generating handwriting information that is information related to a user's writing operation on the medium based on the acquired position information;
A program for realizing the function of generating the handwriting information by the selected generation method.
前記筆跡情報生成装置から前記所定の情報および/または前記筆跡情報を取得し、取得した当該所定の情報および/または当該筆跡情報を当該媒体または当該媒体に印刷された前記電子文書に関連付けて管理する筆跡情報管理装置とを有し、
前記筆跡情報生成装置は、
前記符号画像が印刷された媒体から読み取られた当該符号画像を取得する符号画像取得手段と、
前記符号画像取得手段にて取得された前記符号画像から前記媒体上での位置を示す位置情報を取得する位置情報取得手段と、
前記位置情報取得手段にて取得された前記位置情報に基づき前記媒体へのユーザの筆記操作に関連した情報である筆跡情報を生成する複数の生成方法から一の生成方法を選択して、選択された当該生成方法により当該筆跡情報を生成する筆跡情報生成手段と
を備えたことを特徴とする筆跡情報管理システム。 A handwriting information generating device that generates handwriting information that is information related to a user's writing operation on a medium on which a document image and a code image based on an electronic document are printed, and obtains predetermined information from the code image;
The predetermined information and / or the handwriting information is acquired from the handwriting information generation device, and the acquired predetermined information and / or the handwriting information is managed in association with the medium or the electronic document printed on the medium. A handwriting information management device,
The handwriting information generation device
Code image acquisition means for acquiring the code image read from the medium on which the code image is printed;
Position information acquisition means for acquiring position information indicating a position on the medium from the code image acquired by the code image acquisition means;
One generation method is selected from a plurality of generation methods for generating handwriting information that is information related to a user's writing operation on the medium based on the position information acquired by the position information acquisition unit. A handwriting information management system comprising handwriting information generation means for generating the handwriting information by the generation method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008022097A JP2009181514A (en) | 2008-01-31 | 2008-01-31 | Handwriting information creation device, program, and handwriting information management system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008022097A JP2009181514A (en) | 2008-01-31 | 2008-01-31 | Handwriting information creation device, program, and handwriting information management system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009181514A true JP2009181514A (en) | 2009-08-13 |
Family
ID=41035409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008022097A Pending JP2009181514A (en) | 2008-01-31 | 2008-01-31 | Handwriting information creation device, program, and handwriting information management system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009181514A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013068982A (en) * | 2011-09-20 | 2013-04-18 | Fuji Xerox Co Ltd | Writing information generation device, writing information generation system, and program |
KR20150117137A (en) * | 2014-04-09 | 2015-10-19 | 삼성전자주식회사 | Method and device for recognizing handwriting |
WO2017138283A1 (en) * | 2016-02-12 | 2017-08-17 | Wacom Co., Ltd. | Method and system for generating and selectively outputting two types of ink vector data |
-
2008
- 2008-01-31 JP JP2008022097A patent/JP2009181514A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013068982A (en) * | 2011-09-20 | 2013-04-18 | Fuji Xerox Co Ltd | Writing information generation device, writing information generation system, and program |
KR20150117137A (en) * | 2014-04-09 | 2015-10-19 | 삼성전자주식회사 | Method and device for recognizing handwriting |
KR102205903B1 (en) * | 2014-04-09 | 2021-01-21 | 삼성전자주식회사 | Method and device for recognizing handwriting |
WO2017138283A1 (en) * | 2016-02-12 | 2017-08-17 | Wacom Co., Ltd. | Method and system for generating and selectively outputting two types of ink vector data |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008077538A (en) | Print information management device, image formation apparatus, print information management system and program | |
JP4107346B1 (en) | Reading apparatus, writing information processing system, and program | |
JP2009181514A (en) | Handwriting information creation device, program, and handwriting information management system | |
JP5444946B2 (en) | WRITING INFORMATION PROCESSING DEVICE, WRITING INFORMATION PROCESSING SYSTEM, AND PROGRAM | |
JP2008009833A (en) | Document management device and program | |
JP4888428B2 (en) | Electronic writing instrument and program | |
JP2009181521A (en) | Handwriting information creation device, program, and handwriting information management system | |
JP2009181360A (en) | Handwriting information-generating device, program, and handwriting information management system | |
JP5186935B2 (en) | Handwriting information management system and handwriting information generation device | |
JP2009181243A (en) | Handwriting information processor and program | |
JP2009237769A (en) | Handwriting information creation device and handwriting information management system | |
JP5316104B2 (en) | WRITING INFORMATION PROCESSING DEVICE AND PROGRAM | |
JP5181700B2 (en) | Handwriting information generation apparatus, program, and handwriting information management system | |
JP5130930B2 (en) | Electronic writing instrument | |
JP2008117252A (en) | Document management system and program | |
JP2008077218A (en) | Writing information processing system, pen device and program | |
JP2009181353A (en) | Handwriting information-generating device, program, and handwriting information management system | |
JP2009170979A (en) | Document management system, document management apparatus and program | |
JP2009237825A (en) | Handwriting information creation device and handwriting information management system | |
JP5169369B2 (en) | Handwriting information processing apparatus and program | |
JP2008048285A (en) | Document managing device, writing processing apparatus, and program | |
JP2009181516A (en) | Handwriting information creation device, program, and handwriting information management system | |
JP5251252B2 (en) | Information processing apparatus, document management system, and program | |
JP2008046988A (en) | Document management apparatus, identification information generation device, and program | |
JP2008071247A (en) | Print information management and program |