JP2014081681A - 情報処理装置、プログラム及び情報処理システム - Google Patents

Abstract

【課題】記録媒体の向きを間違って筆記しても、予め定められた向きの記録媒体に筆記された筆跡画像と同じ向きの筆跡画像が取得される情報処理装置、プログラム及び情報処理システムを提供する。
【解決手段】筆記方向に対して向きが予め定められた記録媒体上での筆記具による筆記軌跡を表す筆跡情報を取得する第１の取得手段と、筆記具による筆記の流れに基づいて記録媒体の向きを表す向き情報を取得する第２の取得手段と、第２の取得手段で取得された向き情報に基づいて記録媒体の向きが予め定められた向きか否かを判定する判定手段と、筆跡情報に基づいて筆跡画像に係る筆跡画像情報を生成する生成手段と、記録媒体の向きが予め定めた向きではない場合に、予め定められた向きの記録媒体に筆記された筆跡画像の向きとなるように筆跡画像情報を補正する補正手段と、を有する情報処理装置とする。
【選択図】図１１

Description

本発明は、情報処理装置、プログラム及び情報処理システムに関する。

特許文献１には、ペン先を有するペン型形状の文字入力装置であって、文字筆記の際の筆記面上におけるペン先の垂直及び水平方向の動きに基づき、ペン先の二次元移動方向を時系列で検出する時系列移動方向検出手段と、この時系列移動方向検出手段により時系列で検出されたペン先の二次元移動方向に基づいて、筆記されたとみなされる文字の文字コードを抽出する文字コード抽出手段と、この文字コード抽出手段により抽出された文字コードを電子情報機器に対して出力する文字コード出力手段と、を備えることを特徴とする文字入力装置が開示されている。

特開２００３−１５０９０４

本発明の目的は、筆記方向に対して向きが予め定められた記録媒体に筆記した筆跡画像を取得する場合に、記録媒体の向きを間違って筆記しても、予め定められた向きの記録媒体に筆記された筆跡画像と同じ向きの筆跡画像が取得される情報処理装置、プログラム及び情報処理システムを提供することにある。

請求項１に記載の発明は、筆記方向に対して向きが予め定められた記録媒体上での筆記具による筆記軌跡を表す筆跡情報を取得する第１の取得手段と、前記筆記具による筆記の流れに基づいて前記記録媒体の向きを表す向き情報を取得する第２の取得手段と、前記第２の取得手段で取得された前記向き情報に基づいて、前記記録媒体の向きが予め定められた向きか否かを判定する判定手段と、前記筆跡情報に基づいて筆跡画像に係る筆跡画像情報を生成する生成手段と、記録媒体の向きが予め定めた向きではない場合に、予め定められた向きの記録媒体に筆記された筆跡画像の向きとなるように前記筆跡画像情報を補正する補正手段と、を有する情報処理装置である。

請求項２の発明は、前記記録媒体が位置座標を表す符号化画像を有し且つ前記筆跡情報が複数の位置座標で与えられる場合には、前記第２の取得手段が、複数の位置座標に係る座標値の筆記方向での増加又は減少に基づいて前記向き情報を取得する請求項１に記載の情報処理装置である。

請求項３の発明は、前記第２の取得手段が、複数の位置座標に係る座標値の筆記方向での増加又は減少の回数と予め定めた閾値回数とを比較して前記向き情報を取得する請求項２に記載の情報処理装置である。

請求項４の発明は、前記第２の取得手段が、前記複数の位置座標のうち一部の位置座標を用いて前記向き情報を取得する請求項２又は請求項３に記載の情報処理装置である。

請求項５の発明は、前記一部の位置座標が、筆記単位に応じて予め定めた時間が経過する毎に取得される請求項４に記載の情報処理装置である。

請求項６の発明は、前記一部の位置座標が、筆記単位に係る筆記の開始を検出する毎に取得される請求項４に記載の情報処理装置である。

請求項７の発明は、筆記対象の記録媒体を識別する識別情報を取得する第３の取得手段と、前記第２の取得手段で取得された向き情報を前記識別情報と関連付けて記憶する記憶手段と、を更に備えた請求項１から請求項６までのいずれか１項に記載の情報処理装置である。

請求項８の発明は、コンピュータを、筆記方向に対して向きが予め定められた記録媒体上での筆記具による筆記軌跡を表す筆跡情報を取得する第１の取得手段と、前記筆記具による筆記の流れに基づいて前記記録媒体の向きを表す向き情報を取得する第２の取得手段と、前記第２の取得手段で取得された前記向き情報に基づいて、前記記録媒体の向きが予め定められた向きか否かを判定する判定手段と、前記筆跡情報に基づいて筆跡画像に係る筆跡画像情報を生成する生成手段と、記録媒体の向きが予め定めた向きではない場合に、予め定められた向きの記録媒体に筆記された筆跡画像の向きとなるように前記筆跡画像情報を補正する補正手段と、して機能させるプログラムである。

請求項９の発明は、請求項１から請求項７までのいずれか１項に記載の情報処理装置と、前記記録媒体に筆記を行うと共に、前記記録媒体上での筆記軌跡を表す筆跡情報を取得して前記情報処理装置に送信する筆記具と、を有する情報処理システムである。

請求項１０の発明は、補正後の筆跡画像情報に係る筆跡画像を出力する出力装置を更に備えた請求項９に記載の情報処理システムである。

請求項１、８、９に記載の発明によれば、筆記方向に対して向きが予め定められた記録媒体に筆記した筆跡画像を取得する場合に、記録媒体の向きを間違って筆記しても、予め定められた向きの記録媒体に筆記された筆跡画像と同じ向きの筆跡画像が取得される。

請求項２に記載の発明によれば、複数の位置座標に係る座標値の筆記方向での増加又は減少に基づいて、記録媒体の向きを表す向き情報が取得される。

請求項３に記載の発明によれば、本構成を備えない場合と比較して、記録媒体の向きを表す向き情報がより正確に取得される。

請求項４に記載の発明によれば、筆跡画像に係る筆跡画像情報を生成する場合と比較して、より少ない情報量で記録媒体の向きを表す向き情報が取得される。

請求項５、６に記載の発明によれば、文字や文節などの筆記単位毎に取得された位置座標を用いて、記録媒体の向きを表す向き情報がより正確に取得される。

請求項７に記載の発明によれば、記録媒体の向きを表す向き情報が取得されると、当該向き情報は記録媒体を識別する識別情報と関連付けられる。

請求項１０に記載の発明によれば、補正後の筆跡画像情報に係る筆跡画像が出力される。

本発明の実施の形態に係る情報処理システムの全体構成の一例を示す概略図である。 複数の記録媒体の筆跡画像を一覧した様子を示す模式図である。 符号化画像の一部を拡大して示す部分拡大図である。 符号化画像を構成する単位パターンの一例を示す模式図である。 符号化画像を構成する符号パターンの一例を示す模式図である。 電子ペンの構成の一例を示す概略構成図である。 電子ペンの制御系の構成の一例を示すブロック図である。 符号化画像から特定情報を復号する原理を説明するための模式図である。 筆跡情報取得処理の処理ルーチンの一例を示すフローチャートである。 本発明の実施の形態に係る情報処理装置の制御系の構成の一例を示すブロック図である。 筆跡画像情報取得処理の処理ルーチンの一例を示すフローチャートである。 向き情報取得処理の処理ルーチンの一例を示すフローチャートである。 （Ａ）〜（Ｄ）は記録媒体の向きのパターンを示す模式図である。 向き情報取得処理の処理ルーチンの他の一例を示すフローチャートである。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。

＜情報処理システム＞
まず、本実施の形態に係る情報処理システムの一例について説明する。
図１は情報処理システムの全体構成の一例を示す概略図である。図１に示すように、情報処理システム１０は、情報処理装置２０と電子ペン３０とを備えている。電子ペン３０は、有線又は無線の通信回線（図示せず）を介して、情報処理装置２０と通信を行う。情報処理装置２０は、ユーザが使用するコンピュータ等の情報処理装置及び周辺装置である。電子ペン３０は、インクを用いて記録媒体５０上に筆記する筆記具である。同時に、電子ペン３０は、筆記時のペン先周辺の記録媒体５０の画像を撮影して、撮影画像から筆跡情報を取得するペン型の画像読取装置である。

本実施の形態では、符号化画像が予め印刷された記録媒体５０が使用される。ここで、「符号化画像」とは、特定情報を符号化した画像である。特定情報は、符号化画像を読み取って復号（デコード）される。本実施の形態では、特定情報として、記録媒体上での位置座標を表す「位置情報」及び記録媒体を識別する「識別情報」が符号化されている。なお、符号化画像については、後で詳細に説明する。また、「記録媒体」とは、情報が保持される媒体であればよく、用紙や樹脂シート等が用いられる。

上記の情報処理システム１０では、利用者が電子ペン３０を用いて記録媒体５０上に筆記する。電子ペン３０は、筆記時のペン先周辺の記録媒体５０上の符号化画像を撮影し、撮影された符号化画像から位置情報及び識別情報を復号する。電子ペン３０は、位置情報を含む筆跡情報及び記録媒体５０の識別情報を取得する。取得された筆跡情報等は情報処理装置２０に送信される。情報処理装置２０は、受信した筆跡情報に基づいて筆跡画像情報を生成する。筆跡画像情報は、識別情報により筆記対象である記録媒体５０と関連付けて管理される。

本実施の形態では、記録媒体５０には位置座標を表す符号化画像が予め印刷されている。換言すれば、筆記方向に対して記録媒体５０の向きが予め定められている。例えば、図１３（Ａ）及び（Ｂ）では、縦置きの記録媒体５０に左から右へと横書きすること（筆記方向）を前提として、ｘｙ座標が設定されている。座標上の原点（０，０）は左上角に配置され、座標上の終点（１００，１００）は右下角に配置されることになる。図１３（Ａ）に示す例では、矢印で図示した通り、左上角に配置された座標上の原点（０，０）から、右下角に配置された座標上の終点（１００，１００）に向かって筆記されることになる。この通り、筆記方向に対して予め定められた記録媒体５０の向きを「正方向」という。

一方、図１３（Ｂ）に示すように、記録媒体５０が上下を逆さまにして使用されると、矢印で示すように、右下角に配置された座標上の終点（１００，１００）から、左上角に配置された座標上の原点（０，０）に向かって筆記されることになる。この結果、上下が反転した筆跡画像が取得される。この通り、予め定めた向きと逆向きである記録媒体５０の向きを「逆方向」という。なお、図１３（Ａ）及び（Ｂ）においては、記録媒体５０の使用時に右下になる角に折り目を付しているが、記録媒体５０は上下の識別が困難な状態で利用者に提供されることがある。また、上下が識別される状態で提供されても、利用者が間違って逆さまに使用する場合もある。

例えば、以下のような場合には、記録媒体５０に上下を識別する目印が付されていても、利用者が間違えてしまう。（１）目印が目立たない場合（用紙の上または下だけに目印が付いている、目印が小さい、目印が薄い等）、（２）目印が２回対象の場合（上から見ても下から見ても同じ記号が用いられている）、（３）目印を目立たなくしてしまった場合（位置座標付きの用紙に、筆記前に印刷を施したところ、その印刷画像によって隠されてしまう・目立たなくされてしまうような場合）（４）既に目印が無視されてしまっている場合（位置座標付きの用紙に、筆記前に上下逆に画像を印刷してしまった場合）などである。

図２は複数の記録媒体の筆跡画像を一覧した様子を示す模式図である。図２に示すように、複数の記録媒体５０_１から５０_Ｎを配布して、利用者に電子ペンで筆記させる。逆方向で使用された記録媒体５０_４については、上下が反転した筆跡画像が取得される。記録媒体５０の上下の識別が困難である場合、利用者は情報処理装置２０のディスプレイ等で筆跡画像を頁毎に確認しなければならない。或いは、記録媒体５０に予め目印を付ける、試し書きを行う等により、事前に記録媒体５０の向きを確認しなければならない。これ等の事後確認、事前確認は、利用者にとって負担となる。記録媒体５０の枚数が多くなるほど利用者の負担が増加する。

本実施の形態では、情報処理装置２０側で記録媒体５０の向きを取得して、記録媒体５０の向きが予め定められた向きでない場合には、予め定められた向きの記録媒体５０に筆記された筆跡画像の向きとなるように筆跡画像情報を補正する。従って、記録媒体の向きを間違って筆記しても、予め定められた向きの記録媒体に筆記された筆跡画像と同じ向きの筆跡画像が取得される。利用者は事後確認や事前確認を行う必要がない。

補正後の筆跡画像情報に係る筆記画像は、情報処理装置２０の後述する情報出力部２５により出力される。例えば、ディスプレイに筆記画像を表示してもよく、プリンタにより筆記画像を記録媒体上に印刷してもよい。

＜符号化画像＞
次に、本実施の形態で使用される符号化画像について説明する。
図３は符号化画像の一部を拡大して示す部分拡大図である。図４は符号化画像を構成する単位パターンの一例を示す模式図である。図５は符号化画像を構成する符号パターンの一例を示す模式図である。符号化画像は、記録媒体５０の全面に印刷されていてもよく、記録媒体５０の特定の領域に印刷されていてもよい。また、記録媒体５０の表裏両面に、符号化画像が印刷されていてもよい。

図３に示すように、記録媒体５０の一部分５０Ａに印刷された符号化画像は、二次元状に配列された複数の符号パターン５２を含んで構成されている。また、複数の符号パターン５２の各々は、二次元状に配列された複数の単位パターン５４を含んで構成されている。符号パターン５２は、位置情報、識別情報等の特定情報を復号するための読取単位である。例えば、ＱＲコード（登録商標）であれば、１個のＱＲコード（登録商標）に相当する。符号パターン５２毎に特定情報が復号される。単位パターン５４は、符号パターン５２を構成する最小単位であり、１ビット又は複数ビットの情報を表現する。

本実施の形態では、符号パターン５２は複数の単位パターン５４を含んでおり、複数の単位パターン５４の各々を読み取って、符号パターン５２に対応する特定情報が復号される。また、本実施の形態では、符号パターン５２及び単位パターン５４として、複数のドットが二次元状に配列された二次元コード（ドットパターン）が用いられる。ここで「ドット」とは、印刷用色材を用いて印字される部分であり、図３では黒い四角（■）で表されている。

また、本実施の形態では、位置情報及び識別情報を特定情報としているが、筆跡情報を取得するには少なくとも位置情報を含んでいればよい。なお、筆跡情報に基づく筆跡画像情報を記録媒体５０と関連付けて管理するためには、記録媒体５０の識別情報も必要となる。

図４は符号化画像を構成する単位パターン５４の一例を示す模式図である。図４に示すように、単位パターン５４は、ドットが配置されるドット配置領域と、ドットが配置されない非配置領域とに区分されている。黒色領域５６Ａは、ドット配置領域にドットが配置されていることを示す。グレー領域５６Ｂは、ドット配置領域にドットが配置されていないことを示す。白色領域５６Ｃは、ドットが配置されない非配置領域であることを示す。図４に示す単位パターン５４では、ドット配置領域は９箇所あり、９箇所中から選択された２箇所にドットが配置される。９箇所の中から２箇所を選択する組合せは３６通り（＝９Ｃ２）あるので、３６種類の単位パターン５４があることになる。例えば、このうち３２種類の単位パターン５４を用いることで、５ビットの情報が表現される。

また、図４に示す例では、単位パターン５４の１ドットのサイズは「２画素×２画素」である。１インチ当たり６００画素を印字できる解像度の画像形成装置を用いて、上記の単位パターン５４を有する符号化画像を印刷する場合には、単位パターン５４の１ドットの大きさは「８４．６μｍ×８４．６μｍ」となる。ここで、１ドットの一辺の長さ又は直径を「ドットサイズ」とする。単位パターン５４のドットサイズは、５０μｍ以上１００μｍ以下の範囲とするとよい。ドットサイズが小さい方が、符号化画像の視認性が低下すると共に単位面積当たりの情報量が多くなる。一方、ドットサイズが小さ過ぎると、読み取り精度が低下する。

図５に示すように、符号パターン５２には、複数の単位パターン５４が所定のレイアウトで配列されている。ここで単位パターン５４が配置される位置を「単位ブロック」という。この例では、２５（＝５×５）個の単位ブロックが配列されており、各単位ブロックには、いずれかの単位パターン５４が配置される。この例では、４種類の単位パターン５４が、画像の回転を検出する同期符号５４として使用されている。また、残り３２種類の単位パターン５４が、Ｘ座標を表すＸ位置符号５４Ｂ、Ｙ座標を表すＹ位置符号５４Ｃ、識別符号５４Ｄとして使用されている。

図５に示すレイアウトでは、符号パターン５２の左上の単位ブロックには、同期符号５４Ａが配置されている。同期符号５４Ａの右側に並ぶ４つの単位ブロックには、Ｘ座標を表すＸ位置符号５４Ｂが配置されている。同期符号５４Ａの下側に並ぶ４つの単位ブロックには、Ｙ座標を表すＹ位置符号５４Ｃが配置されている。また、Ｘ位置符号５４Ｂ及びＹ位置符号５４Ｃに囲まれた領域に在る１６（＝４×４）個の単位ブロックには、識別符号５４Ｄが配置されている。なお、図５は単位パターン５４のレイアウトの一例を示すものであり、同期符号５４Ａ、Ｘ位置符号５４Ｂ、Ｙ位置符号５４Ｃ、及び識別符号５４Ｄの各々は、いずれかの単位パターン５４に置き換えられる。

＜電子ペン＞
（電子ペンの構成）
次に、電子ペンの構成について説明する。
図６は電子ペンの構成の一例を示す概略構成図である。図７は電子ペンの制御系の構成の一例を示すブロック図である。図６及び図７に示すように、電子ペン３０は、ペン先３２を有するペンチップ３４、画像読取部３６、制御部３８、圧力検知部４０、電源供給部４２、通信部４４、及び記憶部４６を備えている。ペンチップ３４から記憶部４６までの各々は、筒状の筐体４８内に収納されている。なお、以下で説明する電子ペンの構成は一例であり、種々の変形例が可能である。

ペン先３２を有するペンチップ３４は、ボールペンのレフィルのようなものである。ペンチップ３４は、ペン先３２からインクが供給されるように、図示しない保持機構によって筐体４８に保持されている。筒状のインク収容部であるペンチップ３４は、その先端部にインクを供給するペン先３２を有している。電子ペン３０による筆記時には、ペン先３２から記録媒体５０上にインクが供給される。

画像読取部３６は、記録媒体５０に照明光を照射する光源３６Ａと、記録媒体５０に印刷された符号化画像を撮影する撮影部３６Ｂを有している。光源３６Ａは、筆記時にペン先３２周辺の記録媒体５０に照明光を照射するように配置され、図示しない保持機構により筐体４８に保持されている。撮影部３６Ｂは、筆記時にペン先３２周辺の記録媒体５０から反射された光を検出して符号化画像を撮影するように配置され、図示しない保持機構により筐体４８に保持されている。

光源３６Ａは、光源３６Ａを駆動する駆動部（図示せず）を介して制御部３８に接続されている。光源３６Ａは、制御部３８により駆動制御される。光源３６Ａとしては、ＬＥＤ（Light Emitting Diode）等の発光素子が用いられる。撮影部３６Ｂは、制御部３８に接続されている。撮影部３６Ｂは、制御部３８にディジタルの画像信号を出力する。撮影部３６Ｂとしては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等のイメージセンサが用いられる。

制御部３８は、装置全体の制御及び各種演算を行うコンピュータ（マイクロ・プロセッサ）として構成されている。即ち、制御部３８は、ＣＰＵ（中央処理装置; Central Processing Unit）３８Ａ、各種プログラムを記憶したＲＯＭ（Read Only Memory）３８Ｂ、プログラムの実行時にワークエリアとして使用されるＲＡＭ（Random Access Memory）３８Ｃ、各種情報を記憶する不揮発性メモリ３８Ｄ、及び入出力インターフェース（Ｉ／Ｏ）３８Ｅを備えている。

ＣＰＵ３８Ａ、ＲＯＭ３８Ｂ、ＲＡＭ３８Ｃ、不揮発性メモリ３８Ｄ、及びＩ／Ｏ３８Ｅの各々は、バス３８Ｆを介して接続されている。画像読取部３６、圧力検知部４０、電源供給部４２、通信部４４、及び記憶部４６の各々は、制御部３８のＩ／Ｏ３８Ｅに接続されている。制御部３８は、画像読取部３６、圧力検知部４０、電源供給部４２、通信部４４、及び記憶部４６の各部との間で情報の授受を行い、各部を制御する。

電源供給部４２は、電子ペン３０を駆動するためのバッテリー電源である圧力検知部４０は、ペン先３２に掛かる圧力の増減に基づいて、筆記動作を検出する圧力センサである。即ち、ペン先３２が記録媒体５０に接触して筆記が開始されると、ペン先３２に掛かる圧力が増加するので、筆記動作が検出される。圧力検知部４０は、ペン先３２に掛かる圧力が閾値を超えると、制御部３８に検出信号を出力する。

通信部４４は、有線又は無線の通信回線を介して外部装置と通信を行うためのインターフェースである。一般に、通信部４４は、ＬＡＮ（Local Area Network）等のネットワークに接続されたコンピュータと通信を行うためのインターフェースとして機能する。本実施の形態では、通信部４４は、主に、取得された筆跡情報を情報処理装置２０に送信する送信手段として機能する。

記憶部４６は、ハードディスク等の記憶装置である。記憶部４６には、筆跡情報、符号化画像に含まれる二次元コードの検出や復号に必要な各種情報、制御プログラム等が記憶される。本実施の形態では、後述する「筆記情報取得処理」の制御プログラムが、記憶部４６に予め記憶されている場合について説明する。予め記憶された制御プログラムは、ＣＰＵ３８Ａにより読み出されて実行される。なお、制御プログラムは、ＲＯＭ３８Ｂ等の他の記憶装置に記憶されていてもよい。

（電子ペンの動作）
次に、電子ペン３０で実行される「筆記情報取得処理」について説明する。
図９は「筆跡情報取得処理」の処理ルーチンの一例を示すフローチャートである。「筆跡情報取得処理」は、制御部３８のＣＰＵ３８Ａにより実行される。「筆跡情報取得処理」は、電子ペン３０のペン先３２が記録媒体５０に接触して筆記が開始され、圧力検知部４０から制御部３８に検出信号が出力されると開始される。

まず、ステップ１００で、電子ペン３０の筆記動作を検出する。即ち、圧力検知部４０からの検出信号を受信する。筆記動作が開始（ペンンダウン）されると、電子ペン３０のペン先３２からインクが記録媒体５０上に供給される。

次に、ステップ１０２で、画像読取部３６から画像情報を取得する。ペン先３２周辺の記録媒体５０に照明光を照射するように光源３６Ａを点灯させる。また、撮影部３６Ｂにより、ペン先３２周辺の記録媒体５０上の符号化画像を撮影させる。そして、撮影部３６Ｂから画像信号を取得して、ペン先３２周辺の符号化画像に係る画像情報を取得する。

次に、ステップ１０４で、取得された画像情報に基づいて、符号パターンを検出する。次に、ステップ１０６で、検出された符号パターンに基づいて、位置符号及び識別符号を抽出する。次に、ステップ１０８で、抽出された位置符号に基づいて位置情報（位置座標）を復号し、抽出された識別符号に基づいて識別情報を復号する。ここでは説明は省略するが、ペン先３２の移動に伴い位置座標が連続して取得され、筆跡情報が取得される。

次に、ステップ１１０で、取得された筆跡情報を記憶部４６に記憶する。次に、ステップ１１２で、取得された筆跡情報を情報処理装置２０に送信して、ルーチンを終了する。本実施の形態では、筆跡情報と識別情報とが、通信部４４により情報処理装置２０に送信される。記録媒体５０に対する筆跡情報は、情報処理装置２０により、筆記対象である記録媒体５０の識別情報と関連付けて管理される。

ここで、符号パターン単位での復号原理について簡単に説明する。
図８は符号化画像から特定情報を復号する原理を説明するための模式図である。図８に示すように、符号化画像の一部分５０Ａから読み取られたドット配列５０Ｂに対し、符号パターン５２と同じ大きさのフレーム５８を重ね合わせる。フレーム５８は、単位ブロックと同じ大きさの複数の開口を有している。複数の開口は、単位ブロックと同じレイアウトで配列されている。ドット配列５０Ｂに対しフレーム５８を移動させながら、各開口内のドット数が２となるようにフレーム５８の位置を調整する。これにより、１つの符号パターン５２に対応するドット配列が検出される。

符号パターン５２に対応するドット配列が検出されると、検出されたドット配列の中から同期符号５４Ａを検出して、画像の回転を判定する。判定結果に応じてドット配列を回転させて、ドット配列を正しい向きに設定する。これにより、符号パターン５２と同じレイアウトで単位パターン５４が配列された正規のドット配列が取得される。次に、取得された正規のドット配列から、Ｘ位置符号５４Ｂ、Ｙ位置符号５４Ｃ、及び識別符号５４Ｄの各々に対応する単位パターン５４を検出して、位置情報及び識別情報を復号する。

１つの符号パターン５２の復号処理が終了すると、ドット配列５０Ｂに対しフレーム５８を矢印Ａ方向に移動させて、次の符号パターン５２に対応するドット配列を検出し、上記手順を繰り返し行って、次の符号パターン５２から位置情報及び識別情報を復号する。これにより、符号パターン５２毎に、位置情報及び識別情報が復号される。なお、フレーム５８は、符号パターン５２を読み取る順序に従って移動する。フレーム５８の移動方向は、電子ペン３０のペン先３２の移動方向である。

＜情報処理装置＞
（情報処理装置の構成）
次に、情報処理装置の構成について説明する。
図１０は本発明の実施の形態に係る情報処理装置の制御系の構成の一例を示すブロック図である。図１０に示すように、情報処理装置２０は、制御部２２、情報取得部２４、情報出力部２５、通信部２６、及び記憶部２８を備えている。なお、情報処理装置２０の構成は一例であり、不要な機能部を削除したり、新たな機能部を追加したり、各部の構成、配置を変更してもよい。

制御部２２は、装置全体の制御及び各種演算を行うコンピュータとして構成されている。即ち、制御部２２は、ＣＰＵ２２Ａ、各種プログラムを記憶したＲＯＭ２２Ｂ、プログラムの実行時にワークエリアとして使用されるＲＡＭ２２Ｃ、各種情報を記憶する不揮発性メモリ２２Ｄ、及びＩ／Ｏ２２Ｅを備えている。ＣＰＵ２２Ａ、ＲＯＭ２２Ｂ、ＲＡＭ２２Ｃ、不揮発性メモリ２２Ｄ、及びＩ／Ｏ２２Ｅの各々は、バス２２Ｆを介して接続されている。

情報取得部２４、情報出力部２５、通信部２６、及び記憶部２８の各部は、制御部２２のＩ／Ｏ２２Ｅに接続されている。制御部２２は、情報取得部２４、情報出力部２５、通信部２６、及び記憶部２８の各部との間で情報の授受を行い、各部を制御する。

情報取得部２４は、利用者に操作に応じて情報を取得する情報取得手段である。情報出力部２５は、利用者に操作に応じて情報を出力する情報出力手段である。取得される情報及び出力される情報には、電子情報、画像情報、音声情報等の各種情報が含まれる。情報取得部２４としては、マウス、キーボード、スキャナ、マイク、カメラ等が挙げられる。情報出力部２５としては、ディスプレイ、プリンタ、スピーカ等が挙げられる。

通信部２６は、有線又は無線の通信回線を介して外部装置と通信を行うためのインターフェースである。本実施の形態では、通信部２６は、主に、筆跡情報及び識別情報を電子ペン３０から受信する受信手段として機能する。

記憶部２８は、ハードディスク等の記憶装置である。記憶部２８には、筆跡情報に基づいて取得された筆跡画像情報、後述する「向き情報取得処理」に必要な閾値等の各種情報、制御プログラム等が記憶される。本実施の形態では、後述する「筆跡画像情報取得処理」の制御プログラムが、記憶部２８に予め記憶されている場合について説明する。予め記憶された制御プログラムは、ＣＰＵ２２Ａにより読み出されて実行される。

なお、制御プログラムは、記憶部２８等の他の記憶装置に記憶されていてもよい。また、制御プログラムは、通信部２８を介して外部から取得してもよく、各種ドライブ（図示せず）を介してＣＤ−ＲＯＭ等の情報記録媒体から取得してもよい。

（筆跡画像情報取得処理）
次に、情報処理装置２０で実行される「筆跡画像情報取得処理」について説明する。
図１１は「筆跡画像情報取得処理」の処理ルーチンの一例を示すフローチャートである。「筆跡画像情報取得処理」は、制御部２２のＣＰＵ２２Ａにより実行される。「筆跡画像情報取得処理」は、電子ペン３０から１頁分の筆跡情報を受信すると開始される。

まず、ステップ２００で、筆跡情報及び識別情報を取得する。即ち、通信部２６を介して電子ペン３０から送信された筆跡情報及び識別情報を受信して、ＲＡＭ２２Ｃに記憶する。次に、ステップ２０２で、筆跡情報に基づいて筆跡画像情報を生成する。即ち、筆跡情報は筆記に伴い連続して取得される複数の位置座標であるが、これら複数の位置座標を繋げることで筆跡画像情報が生成される。

次に、ステップ２０４で、記録媒体の向きを表す向き情報を取得する「向き情報取得処理」を実行する。「向き情報取得処理」については後述する。次に、ステップ２０６で、取得された向き情報に基づいて、記録媒体の向きが予め定めた向きか否かを判断する。予め定めた向きでない場合には、ステップ２０８に進む。ステップ２０８で、予め定められた向きの記録媒体に筆記された筆跡画像の向きとなるように、筆跡画像情報を補正する。

次に、ステップ２１０で、筆跡画像情報を識別情報と関連付けて記憶して、ルーチンを終了する。ステップ２０８で補正が行われた場合は、補正後の筆跡画像情報を識別情報と関連付けて記憶する。一方、記録媒体の向きが予め定めた向きであると判断された場合には、ステップ２０８を飛ばして、補正を行わずにステップ２１０に進む。この場合には、ステップ２０２で生成された筆跡画像情報を識別情報と関連付けて記憶する。

（向き情報取得処理）
ここで「向き情報取得処理」について説明する。
図１２は「向き情報取得処理」の処理ルーチンの一例を示すフローチャートである。「向き情報取得処理」は、制御部２２のＣＰＵ２２Ａにより「筆跡画像情報取得処理」のサブルーチンとして実行される。

まず、ステップ３００で、ｋ番目の位置座標（ｘ_ｋ，ｙ_ｋ）を取得する。次に、ステップ３０２で、ｋ＋１番目の位置座標（ｘ_ｋ＋１，ｙ_ｋ＋１）を取得する。「向き情報取得処理」では、筆跡情報として取得された複数の位置座標の中から、ｎ個の位置座標を選択して使用する。「ｋ番目」とは、ｎ個の位置座標の中でｋ番目という意味である。１番目（ｋ＝１）から開始する。ｎ個の位置座標は、例えば、２〜３秒等の予め定めた時間間隔で選択する等して、文字や文節などの筆記単位毎に選択される。

次に、ステップ３０４で、ｋ＋１番目のｘ座標値ｘ_ｋ＋１とｋ番目のｘ座標値ｘ_ｋとの差（ｘ_ｋ＋１−ｘ_ｋ）が０より大きいか否かを判断する。ｘ_ｋ＋１−ｘ_ｋ＞０の場合はステップ３０６に進み、ｘ_ｋ＋１−ｘ_ｋ≦０の場合はステップ３０８に進む。

次に、ステップ３０６で、ｋ＋１番目のｙ座標値ｙ_ｋ＋１とｋ番目のｙ座標値ｙ_ｋとの差（ｙ_ｋ＋１−ｙ_ｋ）が０より大きいか否かを判断する。ｙ_ｋ＋１−ｙ_ｋ＞０の場合はステップ３１０に進む。ｙ_ｋ＋１−ｙ_ｋ≦０の場合はステップ３１２に進む。また、ステップ３０８で、ｋ＋１番目のｙ座標値ｙ_ｋ＋１とｋ番目のｙ座標値ｙ_ｋとの差（ｙ_ｋ＋１−ｙ_ｋ）が０より大きいか否かを判断する。ｙ_ｋ＋１−ｙ_ｋ＞０の場合はステップ３１４に進む。ｙ_ｋ＋１−ｙ_ｋ≦０の場合はステップ３１６に進む。

ステップ３１０では、ｘ座標値の増加回数とｙ座標値の増加回数とをカウントする。ステップ３１２では、ｘ座標値の増加回数とｙ座標値の減少回数とをカウントする。ステップ３１４では、ｘ座標値の減少回数とｙ座標値の増加回数とをカウントする。ステップ３１６では、ｘ座標値の減少回数とｙ座標値の減少回数とをカウントする。

カウントが終了すると、ステップ３１８に進み、ｎ番目に到達したか否か（ｋ＝ｎ？）を判断する。ｎ番目に到達した場合は、ステップ３２０に進む。ｎ番目に到達していない場合は、ステップ３１９でｋを１だけ増やして、ステップ３００に戻る。

次に、ステップ３２０で、ｘ座標値の増加回数が予め定めたｓ_ｘ回（閾値回数）以上か否かを判断する。ｓ_ｘ回以上の場合はステップ３２２に進み、ｓ_ｘ回未満の場合はステップ３２４に進む。次に、ステップ３２２で、ｙ座標値の増加回数が予め定めたｓ_ｙ回（閾値回数）以上か否かを判断する。ｓ_ｙ回以上の場合はステップ３２６に進み、ｓ_ｙ回未満の場合はステップ３２８に進む。また、ステップ３２４で、ｙ座標値の増加回数が予め定めたｓ_ｙ回（閾値回数）以上か否かを判断する。ｓ_ｙ回以上の場合はステップ３３０に進み、ｓ_ｙ回未満の場合はステップ３３２に進む。

ステップ３２６では、ｘ座標値が増加し且つｙ座標値が増加しているので、記録媒体５０は縦置きで且つ正方向と判定する。ステップ３２８では、ｘ座標値が増加し且つｙ座標値が減少しているので、記録媒体５０は横置きで且つ逆方向と判定する。ステップ３３０では、ｘ座標値が減少し且つｙ座標値が増加しているので、記録媒体５０は横置きで且つ正方向と判定する。ステップ３３２では、ｘ座標値が減少し且つｙ座標値が減少しているので、記録媒体５０は縦置きで且つ逆方向と判定する。

次に、ステップ３３４で、判定結果（向き情報）を識別情報と関連付けて記憶し、ルーチンを終了する。

（向きの判定）
ここで、記録媒体の向きの判定について説明する。
図１３（Ａ）〜（Ｄ）は記録媒体の向きのパターンを示す模式図である。
図１３（Ａ）及び（Ｂ）では、縦置きの記録媒体５０に左から右へと横書きすること（筆記方向）を前提として、ｘｙ座標が設定されている。座標上の原点（０，０）は左上角に配置され、座標上の終点（１００，１００）は右下角に配置されることになる。

図１３（Ａ）に示すように、記録媒体５０の向きが予め定めた向き（正方向）である場合には、矢印で示すように、左上角に配置された座標上の原点（０，０）から、右下角に配置された座標上の終点（１００，１００）に向かって筆記されることになる。従って、筆記の流れを見れば、ｘ座標は改行時以外は筆記に伴い増加し、ｙ座標は改行筆記に伴い増加する。換言すれば、ｘ座標値が増加し且つｙ座標値が増加すると、記録媒体５０の向きは縦置きで且つ正方向と判定される。

図１３（Ｂ）に示すように、記録媒体５０の向きが予め定めた向きと上下が逆さ（逆方向）である場合には、矢印で示すように、右下角に配置された座標上の終点（１００，１００）から、左上角に配置された座標上の原点（０，０）に向かって筆記されることになる。従って、筆記の流れを見れば、ｘ座標は改行時以外は筆記に伴い減少し、ｙ座標は改行筆記に伴い減少する。換言すれば、ｘ座標値が減少し且つｙ座標値が減少すると、記録媒体５０の向きは縦置きで且つ逆方向と判定される。

一方、図１３（Ｃ）及び（Ｄ）では、上記の通りｘｙ座標が設定された記録媒体５０が横置きにされて、左から右へと横書きすること（筆記方向）を前提とする。座標上の原点（０，０）は左下角に配置され、座標上の終点（１００，１００）は右上角に配置されることになる。

図１３（Ｃ）に示すように、記録媒体５０の向きが予め定めた向き（正方向）である場合には、矢印で示すように、左上角に配置された座標上の点（１００，０）から、右下角に配置された座標上の点（０，１００）に向かって筆記されることになる。従って、筆記の流れを見れば、ｘ座標は改行筆記に伴い減少し、ｙ座標は改行時以外は筆記に伴い増加する。換言すれば、ｘ座標値が減少し且つｙ座標値が増加すると、記録媒体５０の向きは横置きで且つ正方向と判定される。

図１３（Ｄ）に示すように、記録媒体５０の向きが予め定めた向きと上下が逆さ（逆方向）である場合には、矢印で示すように、右下角に配置された座標上の点（０，１００）から、左上角に配置された座標上の点（１００，０）に向かって筆記されることになる。従って、筆記の流れを見れば、ｘ座標は改行筆記に伴い増加し、ｙ座標は改行時以外は筆記に伴い減少する。換言すれば、ｘ座標値が増加し且つｙ座標値が減少すると、記録媒体５０の向きは横置きで且つ逆方向と判定される。

なお、図１３（Ｂ）及び（Ｄ）に示すように、記録媒体５０の向きが「逆方向」の場合には、例えば、筆跡画像が１８０°回転するように筆跡画像情報を補正することで、「正方向」の記録媒体に筆記された筆跡画像の向きとなる。

また、上記の判定手順から分かるように、筆記の流れから記録媒体５０の向きを判定する。従って、向きの判定に用いるｎ個の位置座標が連続していたのでは、１文字内での座標値の増減を見ることになり記録媒体５０の向きが正確に求められない。記録媒体５０の向きを正確に求めるために、ｎ個の位置座標は、予め定めた時間間隔で選択する、ペン先の再接触（予め定めた時間以上「非接触」となった後に再度「接触」する）のタイミングで選択する等して、文字や文節などの筆記単位毎に選択される。

また、位置座標の個数が少ないほど情報処理装置２０の処理負担は軽減されるが、記録媒体５０の向きの判定に用いる位置座標の個数が少な過ぎると、筆記の流れを見ることができず記録媒体５０の向きが正確に求められない。従って、少なくとも複数回の改行が含まれるように、ｎ個の位置座標を選択する。

例えば、２〜３秒間隔で位置座標を選択するとする。２〜３秒間隔で４文字程度記載されると仮定すると、１行４０文字では１０個の位置座標が得られる。１０行分だと１００個の位置座標が得られる。このように、筆記の流れを判定するのに必要な位置座標の個数を設定した上で、座標値の増加回数及び減少回数を積算し、積算数が閾値以上か否かで座標値の増減を判断した方が、記録媒体５０の向きがより正確に求められる。例えば、座標値の増加回数及び減少回数を１００回分取得して、閾値を５０回とする。

なお、上記各実施の形態で説明した情報処理装置、プログラム及び情報処理システムの構成は一例であり、本発明の主旨を逸脱しない範囲内においてその構成を変更してもよいことは言うまでもない。

例えば、上記の実施の形態では、頁単位で筆跡情報が取得される例について説明したが、筆記の流れを見るのに必要な複数の位置座標が得られていればよく、頁の途中までの筆跡情報を取得して「筆跡画像情報取得処理」を実行してもよい。取得された「向き情報」は記録媒体の識別情報と関連付けて記憶されるため、記録媒体について「向き情報」が一度取得されると、再度取得する必要はない。

また、上記では、用紙等の記録媒体に付加された位置座標を電子ペンで撮影して筆跡情報を取得する例について説明したが、筆記方向に対して向きが予め定められた記録媒体上で筆跡情報を取得されればよく、筆跡情報の取得方法はこれに限定されるわけではない。例えば、タブレット端末にスタイラスペンで筆記する場合のように、筆記時の接触により位置座標が得られる構成でもよい。また、筆記具に設けられた発信機からの発信情報を基に位置座標が得られる構成でもよい。

また、「向き情報」は複数の処理により取得されてもよい。
ここで、「向き情報取得処理」の変形例について説明する。この処理は、筆記の流れに基づく記録媒体の「向き情報取得処理」に加えて実施される。図１４は「向き情報取得処理」の処理ルーチンの他の一例を示すフローチャートである。変形例では、筆跡画像に対し文字認識処理を実施し、文字認識率から記録媒体の向きを判断する。筆記の流れに加えて文字認識率から記録媒体の向きを判断することで、向き情報の精度が向上する。

まず、ステップ４００で、筆跡画像情報に係る筆跡画像を取得する。即ち、文字認識処理の対象となる画像データに変換する。次に、ステップ４０２で、筆跡画像に対し文字認識処理を実施する。文字認識処理は、文字辞書を用いて文字を判別する文字認識用のアプリケーション・ソフトウエアを用いて実行される。例えば、文字認識用のアプリケーション・ソフトウエアは、制御部２２のＲＯＭ２２Ｂに記憶され、ＣＰＵ２２Ａにより読み出されて実行される。

次に、ステップ４０４で、文字認識の認識率を取得する。文字認識率は、文字認識用のアプリケーション・ソフトウエアを用いて算出される。記録媒体の向きが予め定めた向きである場合には認識率が向上し、記録媒体の向きが予め定めた向きでない場合には認識率が低下する。

次に、ステップ４０６で、認識率が予め定めた閾値以下か否かを判断する。閾値としては、例えば３０％等、文字認識されていないと判断される数値を設定する。文字列が斜めに傾いて記載されている場合でも、許容範囲であれば文字認識が行われる。

認識率が予め定めた閾値以下である場合には、ステップ４０８に進み、記録媒体５０の向きが予め定めた向きではない（逆方向）と判定する。一方、認識率が予め定めた閾値より大きい場合には、ステップ４１０で、記録媒体の向きが予め定めた向き（正方向）であると判定する。次に、ステップ４１２で、判定結果（向き情報）を識別情報と関連付けて記憶し、ルーチンを終了する。

１０ 情報処理システム
２０ 情報処理装置
２２ 制御部
２４ 情報取得部
２５ 情報出力部
２６ 通信部
２８ 記憶部
３０ 電子ペン
３２ ペン先
３４ ペンチップ
３６ 画像読取部
３６Ａ 光源
３６Ｂ 撮影部
３８ 制御部
４０ 圧力検知部
４２ 電源供給部
４４ 通信部
４６ 記憶部
４８ 筐体
５０ 記録媒体
５２ 符号パターン
５４ 単位パターン
５６Ａ 黒色領域
５６Ｂ グレー領域
５６Ｃ 白色領域
５８ フレーム

Claims (10)

1. 筆記方向に対して向きが予め定められた記録媒体上での筆記具による筆記軌跡を表す筆跡情報を取得する第１の取得手段と、
   前記筆記具による筆記の流れに基づいて前記記録媒体の向きを表す向き情報を取得する第２の取得手段と、
   前記第２の取得手段で取得された前記向き情報に基づいて、前記記録媒体の向きが予め定められた向きか否かを判定する判定手段と、
   前記筆跡情報に基づいて筆跡画像に係る筆跡画像情報を生成する生成手段と、
   記録媒体の向きが予め定めた向きではない場合に、予め定められた向きの記録媒体に筆記された筆跡画像の向きとなるように前記筆跡画像情報を補正する補正手段と、
   を有する情報処理装置。
2. 前記記録媒体が位置座標を表す符号化画像を有し且つ前記筆跡情報が複数の位置座標で与えられる場合には、前記第２の取得手段が、複数の位置座標に係る座標値の筆記方向での増加又は減少に基づいて前記向き情報を取得する請求項１に記載の情報処理装置。
3. 前記第２の取得手段が、複数の位置座標に係る座標値の筆記方向での増加又は減少の回数と予め定めた閾値回数とを比較して前記向き情報を取得する請求項２に記載の情報処理装置。
4. 前記第２の取得手段が、前記複数の位置座標のうち一部の位置座標を用いて前記向き情報を取得する請求項２又は請求項３に記載の情報処理装置。
5. 前記一部の位置座標が、筆記単位に応じて予め定めた時間が経過する毎に取得される請求項４に記載の情報処理装置。
6. 前記一部の位置座標が、筆記単位に係る筆記の開始を検出する毎に取得される請求項４に記載の情報処理装置。
7. 筆記対象の記録媒体を識別する識別情報を取得する第３の取得手段と、
   前記第２の取得手段で取得された向き情報を前記識別情報と関連付けて記憶する記憶手段と、
   を更に備えた請求項１から請求項６までのいずれか１項に記載の情報処理装置。
8. コンピュータを、
   筆記方向に対して向きが予め定められた記録媒体上での筆記具による筆記軌跡を表す筆跡情報を取得する第１の取得手段と、
   前記筆記具による筆記の流れに基づいて前記記録媒体の向きを表す向き情報を取得する第２の取得手段と、
   前記第２の取得手段で取得された前記向き情報に基づいて、前記記録媒体の向きが予め定められた向きか否かを判定する判定手段と、
   前記筆跡情報に基づいて筆跡画像に係る筆跡画像情報を生成する生成手段と、
   記録媒体の向きが予め定めた向きではない場合に、予め定められた向きの記録媒体に筆記された筆跡画像の向きとなるように前記筆跡画像情報を補正する補正手段と、
   して機能させるプログラム。
9. 請求項１から請求項７までのいずれか１項に記載の情報処理装置と、
   前記記録媒体に筆記を行うと共に、前記記録媒体上での筆記軌跡を表す筆跡情報を取得して前記情報処理装置に送信する筆記具と、
   を有する情報処理システム。
10. 補正後の筆跡画像情報に係る筆跡画像を出力する出力装置を更に備えた請求項９に記載の情報処理システム。