JP2016191986A - 電子筆記処理プログラム及び電子筆記装置 - Google Patents

Abstract

【課題】所望の処理を確実に実行させることができ、操作者にとっての利便性を向上することができる電子筆記処理プログラム及び電子筆記装置を提供する。【解決手段】電子ペン２０による紙媒体１２への記載に対応して生成されたストロークデータ及び専用ペン３０による紙媒体１２０への記載に対応して生成されたストロークデータ、を送信する電子筆記装置１００に接続されたスマートフォン１０の演算装置１２に対し、電子筆記装置１００から送信されたストロークデータを受信し、受信したストロークデータのうち、電子ペン２０によるストロークデータを筆記データ（通常文字）とするとともに、専用ペン３０によるストロークデータを筆記データに対する所望の処理の指示とみなす。【選択図】図１

Description

本発明は、操作者による筆記内容を電子データ化する電子筆記処理プログラム及び電子筆記装置に関する。

操作者（ユーザ）が筆記具を用いて筆記した内容を電子データ化する電子筆記処理プログラム及び電子筆記装置（筆記入力装置）が既に知られている（例えば、特許文献１参照）。

この従来技術では、操作者による筆記内容を、操作者の意図する分類で仕分けして外部記憶装置（パソコンやスマートフォン等）に保存される。

特開２０１３−０９７５０９公報

上記のようにして、操作者は、筆記そのものとは別に、操作者の筆記動作に関連付けして所望の処理を行うことができれば、操作者にとって利便性を図ることができる。

しかしながら、上記従来技術では、保存に関する特別なアクションを実行するものであって、例えば、筆記内容に付随するような所望の処理までは対応しきれていなかった。

本発明の目的は、所望の処理を確実に実行させることができ、操作者にとっての利便性を向上することができる電子筆記プログラム及び電子筆記装置を提供することにある。

上記目的を達成するために、本願発明は、第１周波数の第１筆記信号を発する第１筆記手段による被筆記媒体への記載に対応して生成された第１ストロークデータ、及び、第２周波数の第２筆記信号を発する第２筆記手段による前記被筆記媒体への記載に対応して生成された第２ストロークデータ、を送信する電子筆記装置に接続された操作端末の演算手段に対し、前記電子筆記装置から送信された前記第１ストロークデータ及び前記第２ストロークデータを受信するストロークデータ受信手順と、前記ストロークデータ受信手順で受信した前記第１ストロークデータ及び前記第２ストロークデータのうち、前記第１ストロークデータを記憶対象とする内容の記載に対応した筆記データとするとともに、前記第２ストロークデータを前記筆記データに対する所望の処理の指示とみなすデータ処理手順と、を実行させることを特徴とする。

本願発明においては、操作者が筆記手段（第１筆記手段）を用いて筆記した内容を電子データ化することができる。すなわち、操作者が、所定の紙媒体などからなる被筆記媒体に対し第１筆記手段を用いて所望の記載を行うと、電子筆記装置が、筆記動作により移動する第１筆記手段の複数の位置情報を用いて上記被筆記媒体への記載に対応したストロークデータ（第１ストロークデータ）を生成する。

ここで、本願発明では、上記のようにして生成された第１ストロークデータに対し、所望の処理（例えば筆記内容を電子データ化する場合に操作者が意図するような分類に仕分けて保存する場合の仕分け先の振り分け等）を行うことが可能である。その際には、操作者は、上記筆記用の第１筆記手段とは別の、第２筆記手段により適宜の図像等を上記被筆記媒体に対し記載する（描かれる図像の種類とこれに対応する上記処理の内容とは、所定の相関によって予め事前に対応づけられている）。電子筆記装置は、上記と同様、上記図像等の記載に対応したストロークデータ（第２ストロークデータ）を生成する。

そして、本願発明の電子筆記処理プログラムが操作端末の演算手段で実行されると、まず、ストロークデータ受信手順で、電子筆記装置から送信された上記第１ストロークデータ及び第２ストロークデータが受信される。その後、データ処理手順で、上記第１ストロークデータについては記憶対象とする内容の記載に対応した筆記データであると識別され、その一方で、上記第２ストロークデータについてはその筆記データに対する所望の処理の指示であるとみなされる。

このように、筆記データ用の第１ストロークデータを生成するための第１筆記手段と、処理の指示用の第２ストロークデータを生成するための第２筆記手段とを別々に構成することで、それらを区別せず共用する場合に発生しうる、ストロークデータの混同（所望の指示をしたにもかかわらずそのように認識されない状態）を防止することができる。これにより、上記所望の処理を確実に実行させることができ、操作者にとっての利便性を向上することができる。

本発明によれば、所望の処理を確実に実行させることができ、操作者にとっての利便性を向上することができる。

本発明の実施の形態の電子筆記処理プログラムを備えた操作端末と電子筆記装置との関係を示すシステムの全体構成の説明図である。 本発明の実施の形態の電子筆記装置に適用される電子筆記装置の電気的構成を表す機能ブロック図である。 ストロークデータの一例を説明する説明図である。 ストロークデータにおけるペン位置番号と座標データとの対応付けの一例を説明する説明図である。 本発明の実施の形態の電子筆記処理プログラムにおけるノート書き込み例の説明図である。 本発明の実施の形態の電子筆記処理プログラムにおけるアクション識別の例を示す表示例の説明図である。 本発明の実施の形態の電子筆記処理プログラムにおけるアクション識別の例を示す表示例の説明図である。 本発明の実施の形態の電子筆記処理プログラムにおけるアクション識別の例を示す表示例の説明図である。 本発明の実施の形態において電子筆記装置の演算手段（ＣＰＵ）により実行される制御手順を示すフロー図である。 本発明の実施の形態において操作端末の演算装置により実行される制御手順を示すフロー図である。 本発明の実施の形態の電子ペン及び専用ペンの他の例の説明図である。

以下、本発明の実施の形態を図面を参照しつつ説明する。

＜システム概略＞
本実施の形態のシステムＳは、図１に示すように、操作端末としてのスマートフォン１０と、操作者の筆記動作を検出してスマートフォン１０にストロークデータを送信する電子筆記装置１００と、を有する。これらスマートフォン１０と電子筆記装置１００とは、相互に無線通信インターフェース（例えば、ＷｉＦｉダイレクト、ＢｌｕｅＴｏｏｔｈ（登録商標）等）を介した無線通信ネットワークＮＴを通じて情報を送受可能となっている。

＜スマートフォン１０の概略構成＞
スマートフォン１０は、内部に、マイクロコンピュータ等の演算装置（演算手段）１２と、メモリ装置１４と、を備える。また、スマートフォン１０は、タッチパネル方式の表示部１６を主たる操作部として兼用している。また、演算装置１２には、電話機能等の他、例えば、メモリ装置１４に格納した本実施の形態にかかる電子筆記処理プログラムを実行する機能を備えている。なお、メモリ装置１４は、内蔵メモリのほか、着脱可能（例えば、マイクロＳＤ−ＣＡＲＤ等）な各種メモリ等を用いてもよい。

＜電子筆記装置１００の概略構成＞
次に、本実施の形態の電子筆記装置１００の概略構成を説明する。以下の説明では、図１の左上側、右下側、上側、下側、右上側、及び左下側を、電子筆記装置１００の左側、右側、上側、下側、後側、及び前側として説明する。

図１において、電子筆記装置１００は、公知の電磁誘導式の筆記具である第１筆記手段として電子ペン２０を用いた操作者の筆記動作を検出する。つまり、操作者が電子ペン２０を用いて、電子筆記装置１００を見開いた状態のときの支持体１１０Ｌ，１１０Ｒに装着したノート状の紙媒体１２０に情報を筆記した際に、電子ペン２０の位置を経時的に検出し電子化する、薄型軽量の手書き入力装置である。また、本実施の形態では、電子ペン２０とは別の、第２筆記手段としてのアクション専用の電子ペン（以下、「専用ペン」と称する。）３０を用いて操作者の筆記動作を検出する。

＜電子ペン２０、専用ペン３０＞
電子ペン２０と専用ペン３０とは、例えば、電子ペン２０のインク色を黒、専用ペン３０のインク色を赤、などのように色を異ならせることにより、通常の筆記用の筆記動作と、アクション指令用の筆記動作とを使い分けることができる。なお、電子ペン２０と専用ペン３０とは、例えば、発信周波数を異ならせることによって電子筆記装置１００でのペン種類の識別が可能となっている。また、電子ペン２０と専用ペン３０とは、電子筆記装置１００でのペン種類のための識別信号（発信周波数）やインクの色が異なるのみで、その他の機能等は同一であるが、必要に応じて異ならせてもよい。したがって、以下の説明においては、特に断りのない限り、電子ペン２０の構成を説明し、専用ペン３０に関しては符号のみをカッコ内に付して省略する。なお、電子ペン２０から発信されるペン種類識別のための発信周波数が特許請求の範囲における第１周波数として使用され、専用ペン３０から発信されるペン種類識別のための発信周波数が特許請求の範囲における第２周波数として使用される。したがって、電子ペン２０及び専用ペン３０を用いた筆記動作時における筆記信号も、電子ペン２０では第１周波数の第１筆記信号となり、専用ペン３０では第２周波数の第２筆記信号となる。

電子ペン２０（３０）の、芯２２（３２）は、コイルスプリング等の導電性の弾性部材２４（３４）により常に先端方向に付勢されている。芯２２（３２）は、ユーザが紙媒体１２０に文字等を筆記する場合の押圧力によって、弾性部材２４（３４）の付勢力に抗して電子ペン２０（３０）の内部にやや退入する。この退入によって、芯２２（３２）の後端部に配置した検出スイッチ２６（３６）をオン状態とする。これによって、電池２８（３８）と弾性部材２４（３４）とが導通して電池２８（３８）から弾性部材２４（３４）に向かって電流が流れ、弾性部材２４（３４）に磁界を発生させる。

＜電子筆記装置１００＞
電子筆記装置１００は、平面視で上下方向に長い薄型の直方体状の形状を呈する左右見開きタイプであり、その見開き状態において左側の支持体１１０Ｌと、右側の支持体１１０Ｒと、支持体１１０Ｌと支持体１１０Ｒとを見開き状態と閉じ状態とで開閉可能に保持するヒンジ部１１０Ｈと、備えている。

電子筆記装置１００の支持体１１０Ｒの上部には、表示通信ユニット部１３０を備える。表示通信ユニット部１３０は、３つのＬＥＤ表示部１３２，１３４，１３６，１３８を備える。ＬＥＤ表示部１３２は、点灯することで電源ＯＮ状態にあることを提示する。ＬＥＤ表示部１３４は、点灯することでＢｌｕｅＴｏｏｔｈ（登録商標）の通信中状態にあることを提示する。ＬＥＤ表示部１３６は、点灯することで電子ペン２０によるペンタッチの筆記検出中にあることを提示する。ＬＥＤ表示部１３８は、点灯することで専用ペン３０によるペンタッチの筆記検出中にあることを提示する。

なお、ＬＥＤ表示部１３６とＬＥＤ表示部１３８とは、電子ペン２０及び専用ペン３０とで共用し、例えば、電子ペン２０のペンタッチの筆記検出中は緑色で点灯、専用ペン３０のペンタッチの筆記検出中は赤色で点灯のように切り替えることで識別可能としてもよい。

また、例えば、ＬＥＤ表示部１３２は点滅することでバッテリ容量が残り僅かであることを提示し、ＬＥＤ表示部１３４は点滅することで電波状態が弱いことを提示し、ＬＥＤ表示部１３６及びＬＥＤ表示部１３８は点滅することで後述する待機時間の最中であることを提示する待機時間報知部としても機能する。

支持体１１０Ｌ及び支持体１１０Ｒには、被筆記媒体としての紙媒体１２０が載置されるとともに、支持体１１０Ｌ及び支持体１１０Ｒとほぼ同一の範囲となるように座標検出部１１２Ｌ及び座標検出部１１２Ｒ（以下、左右両方を含めて「座標検出部１１２」とも称する。図２参照）を有する。

座標検出部１１２Ｌ及び座標検出部１１２Ｒは、電子ペン２０の位置を表す座標情報を検出する。そして、支持体１１０Ｌ及び支持体１１０Ｒは、紙媒体１２０を支持体１１０Ｌ及び支持体１１０Ｒに適正に載置したときに、左ページ１２０Ｌ及び右ページ１２０Ｒとして利用可能となる。この際、支持体１１０Ｌ及び支持体１１０Ｒのそれぞれの左上部をＸＹ座標の原点（０，０）とする。したがって、左右の支持体１１０Ｌ及び支持体１１０Ｒは、それぞれに載置した左ページ１２０Ｌ及び右ページ１２０Ｒの左上の隅部が原点（０，０）に一致する姿勢で保持する。なお、紙媒体１２０がノート状である場合には、厚さに起因するページずれによる原点ずれは、手動又は自動で補正するのが好ましい。

＜電子ペン２０（及び専用ペン３０）の座標情報の検出＞
電子筆記装置１００の座標検出部１１２は、弾性部材２４（３４）から発生する磁界を電磁誘導に基づき検出する。なお、この検出は公知の手法で足りるので、詳細な説明は省略する。

ＣＰＵ１４０は、この座標検出部１１２の検出結果に基づき、ユーザが電子ペン２０（３０）を用いて紙媒体１２０へ筆記動作を行ったときの電子ペン２０（３０）の移動に対応する、複数の位置情報（すなわち、上記座標情報）を取得する。なお、前述したように、本実施の形態では、座標検出部１１２の左上部の座標（Ｘ，Ｙ）を原点（０，０）とし、右方向をＸ軸、下方向をＹ軸とする座標系を用いる。すなわち、Ｘ座標の値が座標検出部１１２における左右方向の位置を表し、Ｙ座標の値が上下方向の位置を表す。

＜電子筆記装置１００の電気的構成＞
図２を参照して、電子筆記装置１００の電気的構成について説明する。図２に示すように、電子筆記装置１００は、ＣＰＵ１４０と、ＲＯＭ１４２と、ＲＡＭ１４４と、フラッシュメモリ１４８と、ＬＥＤ表示部１３０と、駆動回路１５２Ｌ，１５２Ｒと、通信制御部１５４と、を備えている。なお、通信制御部１５４は、ネットワーク通信回線ＮＴを介した電子筆記装置１００とスマートフォン（通信端末）１０との情報送受信の制御を行う。

ＲＯＭ１４２、ＲＡＭ１４４、及びフラッシュメモリ１４８は、ＣＰＵ１４０に電気的に接続されている。ＲＯＭ１４２は、プログラム記憶領域１４２Ａと、画像データ記憶領域１４２Ｂと、を備えている。プログラム記憶領域１４２Ａには、ＣＰＵ１４０が電子筆記装置１００を制御するために実行する各種プログラムが記憶されている。画像データ記憶領域１４２Ｂには、後述する紙媒体１２０のフォーマット情報に対応した画像のデータが記憶されている。

ＲＡＭ１４４は、種々のデータを一時的に記憶する記憶領域として使用する。フラッシュメモリ１４８は、座標情報記憶領域１４８Ａを備える。座標情報記憶領域１４８Ａは、座標情報データテーブルを記憶する。

＜紙媒体１２０の構成＞
紙媒体１２０は、ノート状に綴じられており、見開き状態で左ページ１２０Ｌ及び右ページ１２０Ｒとして使用できるよう、両面に所定の枠や文字等が書誌的事項として印刷されている。また、紙媒体１２０は、例えば、書誌的事項の記入欄の全部又は一部を、左ページ１２０Ｌ及び右ページ１２０Ｒの原点（０，０）対する厚さに起因するページずれにおけるずれ補正値を算出するための所定エリア枠線として使用してもよい。

＜ストロークデータの生成＞
次に、ストロークデータについて説明する。ストロークデータは、座標検出部１１２の検出結果に基づきＣＰＵ１４０で取得された複数の座標情報からなる、ペン位置データ列である。図３及び図４は、２つの文字「ａ」「ｂ」の例を示している。

図３及び図４において、文字「ａ」は第１ストロークデータに区分されており、電子ペン２０による文字「ａ」の書き始めから書き終わりまでの一筆書き部分の軌跡を表すデータである。

文字「ａ」は、時系列に沿って、ペン位置番号Ｔ１，Ｔ２，・・，Ｔ１１それぞれに対応した、１１個の座標情報（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），・・，（Ｘ１１，Ｙ１１）を含む。

文字「ｂ」は、第２ストロークデータに区分されており、電子ペン３０による文字「ｂ」の書き始めから書き終わりまでの一筆書き部分の軌跡を表すデータである。文字「ｂ」は、時系列に沿って、ペン位置番号Ｔ１２，Ｔ１３，・・，Ｔ２１それぞれに対応した、１０個の座標情報（Ｘ１２，Ｙ１２），（Ｘ１３，Ｙ１３），・・（Ｘ２１，Ｙ２１）を含む。

このようにして、ＣＰＵ１４０は、座標検出部１１２の検出結果に応じた複数の座標情報を用いて、ユーザ（操作者）が電子ペン２０（３０）を用いて紙媒体１２０へ筆記した内容に対応した、ストロークデータを生成する。なお、本実施の形態においては。電子ペン２０を用いた筆記動作によるストロークデータ（第１ストロークデータ）と、専用ペン３０を用いた筆記動作によるストロークデータ（第２ストロークデータ）とは区別する。

なお、本実施の形態においては、例えば、文字「ａ」における位置Ｔ１，Ｔ２，・・，Ｔ１１それぞれに対応した、１１個の座標情報（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），・・，（Ｘ１１，Ｙ１１）の各々をストロークデータとする。また、文字「ａ」を構成する位置Ｔ１，Ｔ２，・・，Ｔ１１それぞれに対応した、１１個の座標情報（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），・・，（Ｘ１１，Ｙ１１）の全体、すなわち、第１ストロークデータを文字「ａ」を構成するためのストロークデータの集合体とする。そして、文字「ａ」及び文字「ｂ」を構成するためのストロークデータの全てをストロークデータ群とする。

＜手書き入力から文字認識までの流れ＞
以上説明した本実施の形態のシステムにおいて、ユーザ（操作者）の手書き入力から文字認識するまでの概略的な流れを説明する。

＜電子ペン２０の通常文字認識＞
例えば、支持体１１０Ｒの右ページ１２０Ｒに対して操作者が電子ペン２０を用いた筆記動作により任意の文字列を手書き入力する。そして、操作者が電子ペン２０を用いて電子筆記装置１００に対して所定の操作を行うことで、電子筆記装置１００が右ページ１２０Ｒに手書きした文字列に対するストロークデータを生成する。さらに、電子筆記装置１００は、このストロークデータをスマートフォン１０に送信する。本実施の形態においては、電子筆記装置１００は、このストロークデータの生成までを実行する。

＜専用ペン３０のアクション認識＞
例えば、支持体１１０Ｒの右ページ１２０Ｒに対して操作者が専用ペン３０を用いた筆記動作により任意のアクションを手書き入力する。そして、操作者が専用ペン３０を用いて電子筆記装置１００に対して所定の操作を行うことで、電子筆記装置１００が右ページ１２０Ｒに手書きしたアクションに対するストロークデータを生成する。さらに、電子筆記装置１００は、このストロークデータをスマートフォン１０に送信する。本実施の形態においては、電子筆記装置１００は、このストロークデータの生成までを実行する。

ストロークデータを受信したスマートフォン１０は、ストロークデータの集合体から認識を行い、その認識結果をページ単位を１画面として表示部１６に画面表示する。なお、表示状態の拡大縮小等はスマートフォン１０の公知の機能によって実現可能である。

＜本実施の形態の特徴＞
ところで、本発明の特徴は、電子ペン２０とは異なるアクション用の専用ペン３０を用いた筆記及び認識（解析）を可能としている点である。

そこで、スマートフォン１０は、操作者による筆記が電子ペン２０を用いたものであるのか、専用ペン３０を用いたものであるのかを識別したうえで、ストロークデータの集合体からアクションを特定し、アクション内容を実行する。この際、スマートフォン１０は、専用ペン３０を用いた筆記動作が、例えば、アクション実行としての筆記操作であるのか、色違いのペンを用いたことによる筆記操作であるのかを識別するようになっている。

例えば、図５に示すように、「３／６ １４：００〜 Ｂ社打合 ＲＧＢ」と電子ペン２０を用いていた筆記に対し、文字列「Ｂ社打合」の下に、専用ペン３０を用いた所定のアクション（例えば、指定範囲の文字をボールド（太字）にする）の指定を行った場合、形状が微妙に異なっていると、アクションと認識するのか、アンダーラインを引いたのかの識別が困難となる。同様に、文字「Ｒ」を○で囲んだ場合、文字「Ｒ」に対するアクションの指定なのか、強調の囲みなのかの識別が困難となる。

そこで、本実施の形態では、例えば、図６に示すように、文字列「Ｂ社打合」の下に引かれた一連の線分からなるストロークデータが、上の文字列「Ｂ社打合」の最下端のＹ座標と下のラインの最上端のＹ座標とが所定以上に離間している場合には、アンダーラインとして扱って赤色のアンダーラインを表示する。

一方、図７に示すように、文字列「Ｂ社打合」の下に引かれた一連の線分からなるストロークデータが、上の文字列「Ｂ社打合」の最下端のＹ座標と下のラインの最上端のＹ座標とが所定以上に接近している場合には、アクションの指定として扱って文字列「Ｂ社打合」を太文字で表示する。

また、図８に示すように、文字等の記載のない空白エリアにアクションの指令と類似する２重の○（楕円）が書かれていた場合、所定時間経過してもその中に何も筆記がなされなかった（又はなされていなかった）場合には、例外適用条件であるとして単なる図柄として識別し、所定時間経過前に文字（例えば、「３／１３ 見積」）が記載された場合、その文字に対するアクションの指令として扱うこともできる。なお、アクションの種類は特に限定されるものではないので、以下の説明においては、単なるアクションとして説明する。また、以下の説明においては、電子ペン２０を用いた通常の筆記文字は「通常文字」、専用ペン３０を用いたアクション以外のアンダーラインや２重の○のような図柄等は「特殊文字」、専用ペン３０を用いたアクションの指令は「アクション」として説明する。また、専用ペン３０を用いた筆記に対するストロークデータには、直前に使用した電子ペン２０の最後の筆記終了から専用ペン３０における最初の筆記開始までの時間が図示しないタイマにより計測され、その計測結果を待機時間として含んでいる。

まず、図９のフロー図に基づいて、電子筆記装置１００のＣＰＵ１４０が処理する処理ルーチンを説明する。

（ステップＳ１）
ステップＳ１において、ＣＰＵ１４０は、初期化処理を実行し、ステップＳ２へと移行する。

（ステップＳ２）
ステップＳ２において、ＣＰＵ１４０は、例えば、支持体１１０Ｒの右ページ１２０Ｒに対して操作者が電子ペン２０を用いた筆記動作により任意の文字列を手書き入力する等、入力操作（書き込み操作）があったか否かを判定する。そして、ＣＰＵ１４０は、入力ありを判定した場合（Ｙｅｓ）にはステップＳ３へと移行し、入力ありを判定しなかった場合（Ｎｏ）には継続してこのルーチンを監視する。

（ステップＳ３）
ステップＳ３において、ＣＰＵ１４０は、入力が専用ペン３０によるものなのか否かを判定する。そして、ＣＰＵ１４０は、専用ペン３０による筆記であると判定した場合（Ｙｅｓ）にはステップＳ４へと移行し、専用ペン３０による筆記であると判定しなかった場合（Ｎｏ）にはステップＳ５へと移行する。

（ステップＳ４）
ステップＳ４において、ＣＰＵ１４０は、専用ペン３０による書き込みであることから、アクション用のストロークデータを生成してステップＳ６へと移行する。

（ステップＳ５）
ステップＳ５において、ＣＰＵ１４０は、電子ペン２０による書き込みであることから、通常文字用のストロークデータを生成してステップＳ６へと移行する。

（ステップＳ６）
ステップＳ６において、ＣＰＵ１４０は、紙媒体１２０に予め設けた書誌的事項の記入欄の「保存」にチェックマークが記入されたか否かを判定する。なお、チェックマークの記入は電子ペン２０と専用ペン３０との何れでもよい。そして、ＣＰＵ１４０は、チェックマークが記入されたと判定した場合（Ｙｅｓ）には、ステップＳ７へと移行し、チェックマークが記入されたと判定しなかった場合（Ｎｏ）には、ステップＳ２にループして、以降、チェックマークが記入されたと判定するまで、上記のルーチンを繰り返す。

（ステップＳ７）
ステップＳ７において、ＣＰＵ１４０は、通信制御部１５４からネットワーク通信回線ＮＷを介してスマートフォン（通信端末）１０にストロークデータを送信する。

次に、第１周波数の第１筆記信号を発する電子ペン２０による紙媒体１２０への記載に対応して生成された第１ストロークデータ（ステップＳ５）、及び、第２周波数の第２筆記信号を発する専用ペン３０による紙媒体１２０への記載に対応して生成された第２ストロークデータ（ステップＳ４）、を送信する電子筆記装置１００に接続されたスマートフォン１０の演算装置１２におけるストロークデータの処理ルーチンを説明する。

（ステップＳ１１）
ステップＳ１１において、演算装置１２は、電子筆記装置１００から送信された第１ストロークデータ及び第２ストロークデータを受信し（ストロークデータ受信手順）、ステップＳ１２へと移行する。

（ステップＳ１２）
ステップＳ１２において、演算装置１２は、ステップＳ１１（ストロークデータ受信手順）で受信した第１ストロークデータ及び第２ストロークデータのうち、第１ストロークデータを記憶対象として、スマートフォン１０のメモリ装置１４に記憶し（図示しないサーバ装置へ転送して記憶してもよい）、ステップＳ１３へと移行する。

（ステップＳ１３）
ステップＳ１３において、演算装置１２は、ステップＳ１１（ストロークデータ受信手順）で受信した第１ストロークデータ及び第２ストロークデータのうち、第２ストロークデータを記憶対象として、スマートフォン１０のメモリ装置１４に記憶し（図示しないサーバ装置へ転送して記憶してもよい）、ステップＳ１４へと移行する。

（ステップＳ１４）
ステップＳ１４において、演算装置１２は、全てのストロークデータにおける記憶処理が終了したか否かを判定し、全てのストロークデータに対する記憶処理が終了したと判定した場合（Ｙｅｓ）にはステップＳ１５へと移行し、全てのストロークデータに対する記憶処理が終了したと判定しなかった場合（Ｎｏ）にはステップＳ１２へとループして、以降全てのストロークデータに対する記憶処理が終了したと判定するまでこのルーチンを繰り返す。

（ステップＳ１５）
ステップＳ１５において、演算装置１２は、メモリ装置１４に記憶した第２ストロークデータが、筆記データに対する所望の処理の指示アクションであるのか、特殊文字であるのか、を解析し、ステップＳ１６に移行する。なお、このステップＳ１５におけるアクションの解析ステップが、特許請求の範囲におけるデータ処理手順に準ずる。

また、このアクション解析ルーチンであるステップＳ１５では、演算装置１２は、上記各ステップでは、電子筆記装置１００における第１ストロークデータの生成と第２ストロークデータの生成との時間的前後関係を問わず、第１ストロークデータを筆記データとするとともに、第２ストロークデータを筆記データに対する所望の処理（アクションの指定）の指示とみなしている。

そこで、このステップＳ１６の解析では、第２ストロークデータが、所定の条件を含んでいるか否かによってアクションの指定であるか特殊文字であるかを解析する。

具体的には、
（１）ストロークデータがアクションの種類として予め登録してあるストロークデータに類するものであるか否かによって解析を行う。
（２）第１ストロークデータの直前（上行）又は直後（下行）の筆記に含まれるストロークデータの最下位又は最上位のＹ座標と、第２ストロークデータの最上位又は最下位のＹ座標とが所定距離（しきい値）だけ接近しているか否かによって解析を行う。
（３）第２ストロークデータの集合体（例えば、２重の○全体）のＸＹ座標エリアに第１ストロークデータが含まれる場合、第１ストロークデータ及び第２ストロークデータの先後と、先の書き終わりから後の書き始めまでの時間が所定時間以内か否かによって解析を行う。

そして、演算装置１２は、これらの所定の条件のうち、（１）と（２）又は（１）と（３）とを満たしている場合には、アクションとしての解析を行い、それ以外の場合（否）には例外適用条件であるとして特殊文字の解析を行う。なお、上記（１）〜（３）は、これらに限定されるものではなく、単なる例示であって、アクションの種類やアクション記号等によって異なる。

（ステップＳ１６）
ステップＳ１６において、演算装置１２は、第２ストロークデータに基づくアクション解析の全てが終了したか否かを判定し、全てのアックション解析が終了したと判定した場合（Ｙｅｓ）にはステップＳ１７へと移行し、全てのアックション解析が終了したと判定しなかった場合（Ｎｏ）にはステップＳ１６のルーチンを繰り返して実行する。

（ステップＳ１７）
ステップＳ１７において、演算装置１２は、ステップＳ１５による解析結果に応じて、第１ストロークデータに基づく通常文字に、例えば、太字等のアクションを実行した文字、或は、アンダーライン等の特殊文字を適宜反映させて表示部１６に表示してこのルーチンを終了する。なお、特殊文字の表示には、専用ペン３０を用いた紙媒体１２０への書き込みと同様に、電子ペン２０の黒文字とは異なる赤色で表示する。

このように、操作者が筆記手段（電子ペン２０）を用いて筆記した内容を電子データ化することができる。すなわち、操作者が、所定のノート等の紙媒体１２０に対して電子ペン２０を用いて所望の記載を行うと、電子筆記装置１００が、筆記動作により移動する電子ペン２０の複数の位置情報を用いて上記紙媒体１２０への記載に対応したストロークデータ（第１ストロークデータ）を生成する。

そして、生成した第１ストロークデータに対し、スマートフォン１０では、所望の処理（例えば、筆記内容を電子データ化する場合に操作者が意図するような分類に仕分けて保存する場合の仕分け先の振り分け等）を行うことが可能である。その際、操作者は、電子ペン２０とは別の専用ペン３０により適宜の図像等を紙媒体１２０に対し記載する。なお、描かれる図像の種類とこれに対応するアクションの処理内容とは、所定の相関によって予め事前に対応づけられている。電子筆記装置１００は、第１ストロークデータと同様に、専用ペン３０による図像等の記載に対応したストロークデータ（第２ストロークデータ）を生成する。

そして、電子筆記処理プログラムをスマートフォン１０の演算装置１２で実行すると、まず、ストロークデータ受信手順で、電子筆記装置１００から送信した第１ストロークデータ及び第２ストロークデータを受信する。

その後、データ処理手順で、第１ストロークデータについては記憶対象とする内容の記載に対応した筆記データであると識別する一方、第２ストロークデータについてはその筆記データに対する所望の処理の指示であるとみなす。

このように、筆記データ用の第１ストロークデータを生成するための電子ペン２０と、アクションの処理のための第２ストロークデータを生成するための専用ペン３０とを別々に構成することで、それらを区別せず共用する場合に発生しうる、ストロークデータの混同（所望の指示をしたにもかかわらずそのように認識されない状態）を防止することができる。これにより、所望の処理を確実に実行させることができ、操作者にとっての利便性を向上することができる。

また、アクション指定の専用操作やチェックマーク等を不要として、アクションか特殊文字かの識別を電子ペン２０と専用ペン３０との書き込みの先後にかかわらず、確実に識別することが可能となる。

ところで、上記実施の形態では、図１０のフローに示した処理をスマートフォン１０において行い、図９のフローに示した処理を電子筆記装置１００で行ったが、これに限られない。すなわち、図９のフロー及び図１０のフローに示した処理をすべて電子筆記装置１００で行ってもよい。

この場合、電子筆記装置１００で取得したストロークデータを、ＣＰＵ１４０が上記バッファに展開する。その後、ＣＰＵ１４０によって上記図１０のステップＳ１５と同等のアクション解析手順が実行され、ストロークデータのアクションを実行する。なお、この場合、このような処理を実行するためのプログラムが、上記ＲＯＭ１４２に記憶されている。この場合も、上記と同様の効果を得ることができる。

また、以上既に述べた以外にも、上記実施の形態や各変形例による手法を適宜組み合わせて利用しても良い。

また、電子ペン２０及び専用ペン３０は、それぞれ別のものとして使い分けてもよいが、例えば、図１１に示すように、１本のペンの両端を使用し、その一端を電子ペン２０、他端を専用ペン３０としてもよい。また、公知の多色ペン（２色ペン）のように、スライド式で出し入れするものでもよい。

その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１０ スマートフォン（操作端末）
１２ 演算装置（演算手段）
２０ 電子ペン（第１筆記手段）
３０ 専用ペン（第２筆記手段）
１００ 電子筆記装置
１２０ 被筆記媒体

Claims (14)

1. 第１周波数の第１筆記信号を発する第１筆記手段による被筆記媒体への記載に対応して生成された第１ストロークデータ、及び、第２周波数の第２筆記信号を発する第２筆記手段による前記被筆記媒体への記載に対応して生成された第２ストロークデータ、を送信する電子筆記装置に接続された操作端末の演算手段に対し、
   前記電子筆記装置から送信された前記第１ストロークデータ及び前記第２ストロークデータを受信するストロークデータ受信手順と、
   前記ストロークデータ受信手順で受信した前記第１ストロークデータ及び前記第２ストロークデータのうち、前記第１ストロークデータを記憶対象とする内容の記載に対応した筆記データとするとともに、前記第２ストロークデータを前記筆記データに対する所望の処理の指示とみなすデータ処理手順と、
   を実行させるための、電子筆記処理プログラム。
2. 請求項１記載の電子筆記処理プログラムにおいて、
   前記データ処理手順では、
   前記電子筆記装置における前記第１ストロークデータの生成と前記第２ストロークデータの生成との時間的前後関係を問わず、前記第１ストロークデータを前記筆記データとするとともに、前記第２ストロークデータを前記筆記データに対する所望の処理の指示とみなす
   ことを特徴とする電子筆記処理プログラム。
3. 請求項１又は請求項２記載の電子筆記処理プログラムにおいて、
   前記演算手段に対し、さらに
   前記第２ストロークデータが、所定の例外適用条件を満たすか否かを判定する判定手順を実行させ、
   前記データ処理手順では、
   前記判定手順で前記例外適用条件が満たされると判定された場合には、前記第１ストロークデータに加え、前記第２ストロークデータを前記筆記データとする
   ことを特徴とする電子筆記処理プログラム。
4. 請求項３記載の電子筆記処理プログラムにおいて、
   前記判定手順では、
   前記第２ストロークデータにより構成される図像と、この図像に対し最も近い、前記第１ストロークデータにより構成されるテキスト文字との距離が、予め定められたしきい値以上である場合には、前記例外適用条件が満たされると判定する
   ことを特徴とする電子筆記処理プログラム。
5. 請求項３記載の電子筆記処理プログラムにおいて、
   前記判定手順では、
   前記第２ストロークデータにより構成される図像が、前記第１ストロークデータにより構成されるテキスト文字を包囲しない場合には、前記例外適用条件が満たされると判定する
   ことを特徴とする電子筆記処理プログラム。
6. 請求項１乃至請求項５記載の電子筆記処理プログラムにおいて、
   前記第１筆記手段は、前記被筆記媒体に筆記するための第１インク色を備えており、前記第２筆記手段は、前記被筆記媒体に筆記するための、前記第１インク色とは異なる第２インク色を備えている
   ことを特徴とする電子筆記処理プログラム。
7. 請求項１乃至請求項６記載の電子筆記処理プログラムにおいて、
   前記演算手段に対し、さらに、
   前記第１ストロークデータに対し第１表示色で表示するための第１表示識別子を付与するとともに、前記第２ストロークデータに対し前記第１表示色とは異なる第２表示色で表示するための第２表示識別子を付与する、表示識別子付与手順を実行させる
   ことを特徴とする電子筆記処理プログラム。
8. 被筆記媒体を保持する保持手段と、
   第１筆記手段から発せられた第１周波数の第１筆記信号、及び、第２筆記手段から発せられた、前記第１周波数とは異なる第２周波数の第２筆記信号をそれぞれ受信する受信手段と、
   前記受信手段による受信結果に基づき、前記被筆記媒体に対する前記第１筆記手段又は前記第２筆記手段の移動に伴う複数の位置情報を取得する位置取得手段と、
   前記位置取得手段で取得した前記複数の位置情報を含み、前記第１筆記手段による前記被筆記媒体への記載に対応した、第１ストロークデータを生成する第１ストロークデータ生成手段と、
   前記位置取得手段で取得した前記複数の位置情報を含み、前記第２筆記手段による前記被筆記媒体への記載に対応した、第２ストロークデータを生成する第２ストロークデータ生成手段と、
   を有する電子筆記装置であって、
   前記ストロークデータ生成手段により生成した前記第１ストロークデータ及び前記第２ストロークデータのうち、外部記憶対象とする内容の記載に対応した筆記データを一時的に記憶する記憶手段と、
   前記記憶手段に記憶した前記筆記データを、外部記憶装置へ記憶するために通信により送信する通信手段と、
   前記第１ストロークデータを前記筆記データとするとともに、前記第２ストロークデータを前記筆記データに対する所望の処理の指示とみなすデータ処理手段と、
   を有することを特徴とする電子筆記装置。
9. 請求項８記載の電子筆記装置において、
   前記データ処理手段は、
   前記第１ストロークデータの生成と前記第２ストロークデータの生成との時間的前後関係を問わず、前記第１ストロークデータを前記筆記データとするとともに、前記第２ストロークデータを前記筆記データに対する所望の処理の指示とみなす
   ことを特徴とする電子筆記装置。
10. 請求項８又は請求項９記載の電子筆記装置において、
    前記第２ストロークデータ生成手段により生成された前記第２ストロークデータが、所定の例外適用条件を満たすか否かを判定する判定手段を有し、
    前記データ処理手段は、
    前記判定手段により前記例外適用条件が満たされると判定された場合には、前記第１ストロークデータに加え、前記第２ストロークデータを前記筆記データとする
    ことを特徴とする電子筆記装置。
11. 請求項１０記載の電子筆記装置において、
    前記判定手段は、
    前記第２ストロークデータにより構成される図像と、この図像に対し最も近い、前記第１ストロークデータにより構成されるテキスト文字との距離が、予め定められたしきい値以上である場合には、前記例外適用条件が満たされると判定する
    ことを特徴とする電子筆記装置。
12. 請求項１０記載の電子筆記装置において、
    前記判定手段は、
    前記第２ストロークデータにより構成される図像が、前記第１ストロークデータにより構成されるテキスト文字を包囲しない場合には、前記例外適用条件が満たされると判定する
    ことを特徴とする電子筆記装置。
13. 請求項８乃至請求項１２記載の電子筆記装置において、
    前記第１筆記手段は、前記被筆記媒体に筆記するための第１インク色を備えており、前記第２筆記手段は、前記被筆記媒体に筆記するための、前記第１インク色とは異なる第２インク色を備えている
    ことを特徴とする電子筆記装置。
14. 請求項８乃至請求項１３記載の電子筆記装置において、
    前記第１ストロークデータに対し第１表示色で表示するための第１表示識別子を付与するとともに、前記第２ストロークデータに対し前記第１表示色とは異なる第２表示色で表示するための第２表示識別子を付与する、表示識別子付与手段を有する
    ことを特徴とする電子筆記装置。

Images