JP2015141481A - 筆記データ処理装置 - Google Patents
筆記データ処理装置 Download PDFInfo
- Publication number
- JP2015141481A JP2015141481A JP2014012922A JP2014012922A JP2015141481A JP 2015141481 A JP2015141481 A JP 2015141481A JP 2014012922 A JP2014012922 A JP 2014012922A JP 2014012922 A JP2014012922 A JP 2014012922A JP 2015141481 A JP2015141481 A JP 2015141481A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- cpu
- data
- stroke data
- reading device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】ストロークデータのうちユーザが必要とする一部を容易に取得することが可能な筆記データ処理装置を提供する。
【解決手段】筆記データ処理装置のCPUは、第1読取装置に近接した筆記具の位置を示す第1ストロークデータを取得する(S49)。CPUは、第2読取装置に近接した筆記具の位置を示す第2ストロークデータを取得する(S55)。CPUは、第2ストロークデータによって示される第2文字列のうち、第1ストロークデータによって示される第1文字列と異なる第3文字列を特定する(S57)。CPUは、3文字列に対応する第3ストロークデータを、第1ストロークデータに追加することによって、第1文字列と第3文字列とを含む文字列の合成ストロークデータを作成する(S57)。CPUは、合成ストロークデータに基づいて合成画像ファイルを作成する(S59)。
【選択図】図5
【解決手段】筆記データ処理装置のCPUは、第1読取装置に近接した筆記具の位置を示す第1ストロークデータを取得する(S49)。CPUは、第2読取装置に近接した筆記具の位置を示す第2ストロークデータを取得する(S55)。CPUは、第2ストロークデータによって示される第2文字列のうち、第1ストロークデータによって示される第1文字列と異なる第3文字列を特定する(S57)。CPUは、3文字列に対応する第3ストロークデータを、第1ストロークデータに追加することによって、第1文字列と第3文字列とを含む文字列の合成ストロークデータを作成する(S57)。CPUは、合成ストロークデータに基づいて合成画像ファイルを作成する(S59)。
【選択図】図5
Description
本発明は、紙媒体に筆記する動作に基づき、筆記具の移動の軌跡を電子化する筆記データ処理装置に関する。
台座上に載置された紙媒体に筆記具で筆記する場合の筆記具の動作に基づいて、筆記具の移動の軌跡を筆跡として電子化することが可能な筆記データ処理装置が知られている。例えば特許文献1に記載された電子筆記装置は、タッチパネル及び通信制御部を備えている。電子筆記装置は、タッチパネルに載置された紙媒体にペンで筆記された場合、ペンの位置を示す複数の座標データを検出する。電子筆記装置は、ペンの移動の軌跡を表すデータとして、検出した複数の座標データを含むストロークデータを生成する。電子筆記装置は、生成したストロークデータを、通信制御部を介してサーバに送信する。
筆記データ処理装置のユーザが、他の筆記データ処理装置によって作成されたストロークデータの一部の取得を所望する場合がある。このような場合の一例として、複数の筆記データ処理装置の夫々のユーザが、共通の板書を、夫々の筆記データ処理装置を用いて書き写す場合が挙げられる。特定の筆記データ処理装置のユーザが板書の一部を書き写すことができなかった場合、ユーザは、他のユーザの使用する他の筆記データ処理装置から、板書の一部に対応するストロークデータの取得を望む。
上記の電子筆記装置は、サーバを介して他の電子筆記装置からストロークデータを取得することも可能である。しかしながら、サーバを介して取得されるストロークデータには、ユーザにとって不要な部分も含まれる。従ってユーザは、取得されたストロークデータから必要な一部を抽出しなければならない。このためユーザは、ストロークデータのうち必要な一部を容易に取得できないという問題点がある。
本発明の目的は、ストロークデータのうちユーザが必要とする一部を容易に取得することが可能な筆記データ処理装置を提供することである。
本発明の筆記データ処理装置は、第1検出装置における紙媒体が載置される第1検出領域の何れかの位置に近接した筆記具の位置を示す複数の第1座標データを取得する第1取得手段と、第2検出装置における紙媒体が載置される第2検出領域の何れかの位置に近接した筆記具の位置を示す複数の第2座標データを取得する第2取得手段と、前記第2取得手段によって取得された前記複数の第2座標データによって示される複数の線分である第2線分のうち、前記第1取得手段によって取得された前記複数の第1座標データによって示される複数の線分である第1線分と異なる複数の線分である第3線分を特定する特定手段と、前記特定手段によって特定された前記第3線分に対応する複数の第3座標データを、前記複数の第1座標データに追加することによって、前記第1線分及び前記第3線分を示す複数の座標データを含むストロークデータを作成する作成手段とを備えている。
本発明によれば、筆記データ処理装置は、第2線分のうち第1線分と異なる第3線分に対応する複数の第3座標データを特定できる。この場合、筆記データ処理装置は、第1線分に足りない線分に対応するデータを、第3線分に対応する複数の第3座標データとして容易に取得できるので、ユーザが必要とする線分に対応するデータを容易に取得できる。更に、筆記データ処理装置は、特定した複数の第3座標データと第1座標データとを含むストロークデータを作成できる。このため筆記データ処理装置は、第1線分に第3線分が追加された線分に対応する複数の座標データを容易に取得できる。
以下、本発明の実施形態について、図面を参照して説明する。図1を参照して、本実施形態に係る手書入力システム1の概要を説明する。以下の説明では、図1の左上側、右下側、上側、下側、右上側、左下側を、各々、読取装置2の左側、右側、前側、後側、上側、下側と定義して説明する。図1に示すように、手書入力システム1は、読取装置2A、読取装置2B(以下、総称して、読取装置2ともいう。)、電子ペン3、スマートフォン19A、スマートフォン19B等(以下、総称して、スマートフォン19ともいう。)を主に備える。読取装置2A及びスマートフォン19Aは、ユーザ8Aによって使用される。読取装置2B及びスマートフォン19Bは、ユーザ8Bによって使用される。以下、ユーザ8A、8Bを総称して、ユーザ8ともいう。
読取装置2は、折り畳んで携行可能な、薄型軽量の手書き入力装置である。手書入力システム1では、ユーザは電子ペン3を用いて、読取装置2に装着された紙媒体100の用紙111に点や線画を筆記する。以下では、線画が筆記される場合について説明する。線画には、文字、数値、記号、図形等が含まれる。読取装置2は、筆記の過程における電子ペン3の複数の位置を特定する。
スマートフォン19は、読取装置2によって特定された複数の位置を、読取装置2と通信を行うことによって取得する。なお、スマートフォン19Aは、ユーザ8Aによって使用される読取装置2Aだけでなく、ユーザ8Bによって使用される読取装置2Bからも複数の位置を取得できる。同様に、スマートフォン19Bは、ユーザ8Bによって使用される読取装置2Bだけでなく、ユーザ8Aによって使用される読取装置2Aからも複数の位置を取得できる。スマートフォン19は、取得した複数の位置に基づき、電子ペン3によって用紙111に筆記された線画を特定する。スマートフォン19は、特定された線画を少なくとも含む画像の画像ファイルを作成する。スマートフォン19は、作成した画像ファイルに対応する画像を、ディスプレイ192に表示させる。ユーザ8は、電子ペン3によって用紙111に筆記された線画と同一形状の線画を含む画像を、ディスプレイ192を介して視認できる。
読取装置2は、左右一対の左読取装置2L,右読取装置2R,及びカバー4を構成の主体とする。左読取装置2L及び右読取装置2Rは、矩形薄板状である。左読取装置2L及び右読取装置2Rは、カバー4の前面に左右方向に見開き可能に配置されている。左読取装置2L及び右読取装置2Rは、フラットケーブル(図示略)によって電気的に接続されている。右読取装置2Rは、3つのLED5を上端に備える。LED5は、読取装置2の状態をユーザ8に通知可能である。カバー4は、袋状の袋部4Aを左側に備える。左読取装置2Lは、袋部4A内に差し込まれることでカバー4に着脱可能に装着される。右読取装置2Rは、両面テープ及び粘着性を有する樹脂フィルム等によって、カバー4の右前面に貼り付けられる。
読取装置2の前面には紙媒体100が着脱可能に装着される。紙媒体100は、左右方向に見開き可能な冊子状である。紙媒体100では、一対の表紙(表表紙110L及び裏表紙110R)と複数の用紙111が、各々の縁部の一部で綴じられている。一例として、紙媒体100はA5サイズのノートである。用紙111に予め印刷された図柄のレイアウト等を示すフォーマットは、紙媒体100の種別毎に異なる。紙媒体100は、表表紙110Lが左読取装置2Lの前面に載置され、且つ、裏表紙110Rが右読取装置2Rの前面に載置されるように、読取装置2に装着される。本実施形態では、紙媒体100は、両面テープ及び粘着性を有する樹脂フィルム等によって、紙媒体100が読取装置2に位置決めされた状態で装着される。即ち、左読取装置2L及び右読取装置2Rは各々、表表紙110L及び裏表紙110Rと一体的に移動する。ユーザ8は電子ペン3を用いて紙媒体100の用紙111に線画を筆記できる。
電子ペン3は、公知の電磁誘導式の電子ペンであり、筒体30、芯体31、コイル32、可変容量コンデンサ33、基板34、コンデンサ35、及びインク収納部36を主に備える。筒体30は、円柱状の形状を有し、芯体31の一部、コイル32,可変容量コンデンサ33,基板34,コンデンサ35,及びインク収納部36を内部に収容する。芯体31は、電子ペン3の先端部に設けられている。芯体31は図示外の弾性部材によって、電子ペン3の先端側に付勢されている。芯体31の先端部は、筒体30の外部に突出している。芯体31の後端側は、インクが収納されているインク収納部36に接続されている。インク収納部36は、芯体31にインクを供給する。ユーザ8が電子ペン3を用いて用紙111に筆記すると、インクによって用紙111に線画が形成される。
コイル32は、インク収納部36の周囲に巻回された状態で、芯体31と可変容量コンデンサ33との間に保持されている。可変容量コンデンサ33は、基板34によって電子ペン3の内部に固定されている。基板34には、コンデンサ35が搭載されている。コンデンサ35及び可変容量コンデンサ33はコイル32に並列に接続され、周知の共振(同調)回路を構成する。
スマートフォン19は、タッチパネル191及びディスプレイ192を備える。タッチパネル191は、各種指示を入力するために使用される。ディスプレイ192は、画像ファイルに対応する画像を表示可能である。なお、スマートフォン19の代わりに汎用PCやタブレットPCが用いられてもよい。
図2を参照して、手書入力システム1の電気的構成を説明する。まず、読取装置2の電気的構成と、読取装置2が座標データを検出する原理の概要とを説明する。読取装置2は、センサ基板7L,7R,メイン基板20,センサ制御基板28,29、入力部25、及び3つのLED5を備える。センサ基板7L,7Rは、夫々、左読取装置2L,右読取装置2R内に設けられる。入力部25及び3つのLED5は、右読取装置2Rに設けられる。
メイン基板20は、CPU21、RAM22、フラッシュROM23、及び無線通信部24を備える。RAM22、フラッシュROM23、及び無線通信部24は、CPU21に電気的に接続されている。CPU21は、読取装置2の制御を行う。RAM22は、演算データ等の各種データを一時的に記憶する。フラッシュROM23には、CPU21が読取装置2を制御するために実行するプログラムが記憶される。また、フラッシュROM23には、用紙111のフォーマット毎にレイアウトデータが複数記憶される。無線通信部24は、外部の電子機器と近距離無線通信を実行するためのコントローラである。入力部25及び3つのLED5は、CPU21に電気的に接続されている。入力部25は、読取装置2に対する指示を入力するためのスイッチである。3つのLED5の夫々の色は、黄色、緑色、及び赤色である。
センサ基板7L、7Rには、上下方向及び左右方向の各々に細長いループコイルが多数配列されている。センサ基板7Lは、センサ制御基板28のASIC28Aに電気的に接続されている。ASIC28Aは、電子ペン3による筆記動作がセンサ基板7L上で行われた場合に、電子ペン3の位置を示す座標データを検出する。センサ基板7Rは、センサ制御基板29のASIC29Aに電気的に接続されている。ASIC29Aは、電子ペン3による筆記動作がセンサ基板7R上で行われた場合に、電子ペン3の位置を示す座標データを検出する。ASIC28A,29Aのうち、マスター側のASIC28AはCPU21に直接接続され、スレーブ側のASIC29AはASIC28Aを介してCPU21に接続されている。
センサ基板7L,7R上で電子ペン3による筆記動作が行われた場合に座標データが検出される原理を、概略的に説明する。CPU21は、ASIC28A,29Aを制御して、センサ基板7L,7Rの各々のループコイルに、一本ずつ特定の周波数の電流(励磁用送信電流)を流す。これにより、センサ基板7L,7Rの各々のループコイルから磁界が発生する。この状態で、例えばユーザ8が電子ペン3を用いて、読取装置2に装着された紙媒体100の用紙111に線画を筆記する動作を行うと、電子ペン3はセンサ基板7L,7Rに近接する。そのため、電子ペン3の共振回路は電磁誘導によって共振し、誘導磁界を生じる。
次に、CPU21はASIC28A,29Aを制御して、センサ基板7L,7Rの各々のループコイルからの磁界の発生を停止させる。センサ基板7L,7Rの各々のループコイルは、電子ペン3の共振回路から発せられる誘導磁界を受信する。CPU21はASIC28A,29Aを制御して、センサ基板7L,7Rの各々のループコイルに流れる信号電流(受信電流)を検出させる。ASIC28A,29Aがこの動作を全てのループコイルについて一本ずつ実行し、受信電流を検出することによって、電子ペン3の位置を示す座標データが検出される。
更に、電子ペン3を用いて用紙111に線画を筆記する動作が行われている状態では、芯体31に筆圧が付与される。コイル32のインダクタンスは、芯体31に付与される筆圧に応じて変化する。これにより、芯体31に付与される筆圧に応じて、電子ペン3の共振回路の共振周波数が変化する。CPU21は、共振周波数の変化(位相変化)を検出して、電子ペン3に付与された筆圧を特定する。つまりCPU21は、特定した筆圧によって、紙媒体100の用紙111に線画が筆記されている状態であるか否かを判断できる。
次に、スマートフォン19の電気的構成を説明する。スマートフォン19は、CPU41,RAM42,フラッシュROM43,無線通信部44,入力回路45,出力回路46,タッチパネル191,及びディスプレイ192を主に備える。CPU41は、スマートフォン19の制御を行う。CPU41は、RAM42、フラッシュROM43、無線通信部44、入力回路45、及び出力回路46と電気的に接続している。
RAM42は、種々の一時データを記憶する。無線通信部44は、外部の電子機器と近距離無線通信を実行するためのコントローラである。入力回路45は、CPU41へタッチパネル191からの指示を送る制御を行う。出力回路46は、CPU41からの指示に応じてディスプレイ192に画像を表示する制御を行う。フラッシュROM43には、CPU41が実行するプログラム、及び、後述するテーブル431(図6参照)が記憶される。スマートフォン19は、図示外の媒体読取装置(例えば、メモリカードスロット)を備える。スマートフォン19は、記憶媒体(例えば、メモリカード)に記憶されているプログラムを、媒体読取装置で読み取ってフラッシュROM43にインストールできる。また、スマートフォン19に接続されている外部機器(図示外)またはネットワークからプログラムを受信して、フラッシュROM43にインストールしてもよい。
図3を参照し、紙媒体100の用紙111の一例である用紙123について説明する。図3の左側、右側、上側、下側を、夫々、用紙111の左側、右側、上側、下側と定義して説明する。図3(A)は、読取装置2Aに装着された用紙123を示し、図3(B)は、読取装置2Bに装着された用紙123を示している。図3(A)(B)の夫々は、紙媒体100の1頁分の用紙123を示している。
図3に示すように、用紙123は、メモを筆記するためのメモ用紙である。用紙123は、記入領域123A、及び、チェックボックス123Bを有する。記入領域123Aには、左右方向に延びる複数の罫線が上下方向に等間隔に並んで印刷されている。記入領域123Aは、ユーザ8がメモを筆記するための領域である。チェックボックス123Bは、記入領域123Aの右下に印刷されている。チェックボックス123Bの形状は、矩形状の1重線である。チェックボックス123Bは、記入領域123Aに筆記された線画を確定させるためにユーザ8が線画を筆記する領域を示す。
読取装置2のCPU21が、用紙123に筆記された線画に基づいてストロークデータを作成する場合の処理の概要を説明する。読取装置2のCPU21は、電子ペン3に対して筆圧が付与されている間、ASIC28A,29Aを介して電子ペン3の位置を示す座標データを一定周期で繰り返し取得する。CPU21は、取得された複数の座標データの夫々に、座標データが取得された時刻を示す時間データを関連付けて、RAM22の第1領域に記憶する。電子ペン3に対する筆圧の付与が終了した時点でRAM22の第1領域に記憶されている複数の座標データ及び複数の時間データは、電子ペン3によって用紙123に筆記された線画を構成する1つの線分の位置を示す。以下、1つの線分の位置を示す複数の座標データ、及び、複数の座標データの夫々に関連付けられた複数の時間データを、総称して線分データという。
CPU21は、RAM22の第1領域に記憶された線分データに基づいて、用紙123の記入領域123A、及び、チェックボックス123Bの何れに線画が筆記されたかを判断する。CPU21は、記入領域123Aに線画が筆記されたと判断した場合、RAM22の第1領域に記憶された線分データを、RAM22の第2領域に記憶し、RAM22の第1領域をクリアする。ユーザ8が電子ペン3を用いて記入領域123Aに線分を1つずつ筆記する毎に、RAM22の第2領域に線分データが順に記憶される。
CPU21は、チェックボックス123Bに線画が筆記されたと判断した場合、RAM22の第2領域に記憶された少なくとも1つの線分データを含むストロークデータを作成する。ストロークデータには、チェックボックス123Bに線画が筆記されてから、次にチェックボックス123Bに線画が筆記されるまでに取得された少なくとも1つの線分データが含まれる。CPU21は、作成したストロークデータをフラッシュROM23に記憶する。
スマートフォン19のCPU41が、読取装置2からストロークデータを取得して画像ファイルを作成する場合の処理の概要を説明する。スマートフォン19のCPU41は、ストロークデータの送信を要求するデータ要求コマンド(後述)を、読取装置2に送信する。読取装置2のCPU21は、スマートフォン19からデータ要求コマンドを受信した場合、フラッシュROM23に記憶したストロークデータをスマートフォン19に送信する。スマートフォン19のCPU41は、読取装置2から送信されたストロークデータを受信し、RAM42に記憶する。
CPU41は、RAM42に記憶したストロークデータに含まれる少なくとも1つの線分データを1つずつ抽出する。CPU41は、抽出した線分データに対応する複数の座標データによって示される複数の位置の間を、関連付けられた複数の時間データによって示される時刻の順番に直線で結ぶ。CPU41は、線分データ毎に1つずつ得られる線分を結合し、線画として特定する。CPU41は、特定した線画の近傍のみを含む画像の画像ファイルを作成する。画像ファイルは、線画をデシタル画像によって示すデータファイルである。デジタル画像の例として、ベクター画像やラスター画像が挙げられる。画像ファイルとしてJPEGファイル、GIFファイル、PNGファイル、BMPファイルが挙げられる。
ユーザ8Aが読取装置2Aを使用して、板書(文字列「ABC・・・XYZ、abc・・・xyz、123・・・890」)の一部を筆記し、同時に、ユーザ8Bが読取装置2Bを使用して同じ板書を全て筆記した場合を例に挙げる。読取装置2Aに装着された用紙123の記入領域123Aには、文字列「ABC・・・XYZ」(点線枠124A、図3参照)、及び、文字列「123・・・890」(点線枠124C、図3参照)が筆記されたとする。また、読取装置2Bに装着された用紙123の記入領域123Aには、文字列「ABC・・・XYZ」(点線枠125A、図3参照)、文字列「abc・・・xyz」(点線枠125B、図3参照)、及び、文字列「123・・・890」(点線枠125C、図3参照)が筆記されたとする。ユーザ8Aは、板書のうち文字列「abc・・・xyz」の筆記をすることができなかったことになる。この場合、スマートフォン19AのCPU41は、板書に対応するストロークデータのうち、文字列「abc・・・xyz」分のストロークデータを読取装置2Aから受信できない。この場合、CPU41は、板書の全てを含む画像ファイルを作成できない。
これに対し、本実施形態において、スマートフォン19AのCPU41は、ユーザ8Aによる操作に応じて読取装置2Bと通信を行い、文字列「abc・・・xyz」を含む板書のストロークデータを読取装置2Bから受信できる。スマートフォン19AのCPU41は、読取装置2Aから受信したストロークデータ(文字列「ABC・・・XYZ、123・・・890」)と、読取装置2Bから受信したストロークデータ(文字列「「ABC・・・XYZ、abc・・・xyz、123・・・890」)とに基づいて、板書の全てを含む画像ファイルを作成できる。以下、詳細を説明する。
図4を参照し、読取装置2のCPU21によって実行される第1メイン処理を説明する。CPU21は、読取装置2の電源がONされた場合に、フラッシュROM23に記憶されたプログラムに基づいて動作することで、第1メイン処理を開始する。
はじめにCPU21は、次の初期化処理を実行する(S10)。CPU21は、RAM22に記憶されたデータをクリアする。CPU21は、ASIC28A,29Aの制御を開始する。これによってCPU21は、読取装置2に装着された紙媒体100の用紙111に電子ペン3を用いて線画が筆記されているか否かを判断できる状態になる。また、CPU21は、電子ペン3を用いて線画が筆記されている状態であると判断した場合に、電子ペン3の位置を示す座標データを取得できる状態になる。
CPU21は、読取装置2に装着された紙媒体100の用紙111のフォーマットを特定する(S11)。具体的には、CPU21は次のようにしてフォーマットを特定する。はじめにユーザ8は、用紙111の隅に印刷された図示外の複数のキャリブレーションマークの位置に、用紙111のフォーマットに対応する順番で電子ペン3によって線画を筆記する。CPU21は、線画が筆記された位置を示す複数の座標データを順番に取得し、線画が筆記された位置、及び、線画が筆記された順番を特定する。CPU21は、特定した位置及び順番に対応する用紙111のフォーマットを特定する。CPU21は、特定された用紙111のフォーマットを示すフォーマット情報をRAM22に記憶する(S11)。以下、用紙123(図3参照)が読取装置2に装着され、用紙123のフォーマットが特定された場合を例に挙げて具体的に説明する。
CPU21は、特定したフォーマットに対応する情報であって、用紙123の記入領域123A及びチェックボックス123Bの夫々の位置を特定することが可能なレイアウトデータを、フラッシュROM23から読み出してRAM22に記憶する(S12)。CPU21は、用紙123が装着される領域、即ち読取装置2の前面のうち、チェックボックス123Bに対応する領域を、S12でRAM22に記憶したレイアウトデータに基づいて特定する。以下、チェックボックス123Bを構成する矩形状の領域に対応する読取装置2の前面の領域を、チェック領域という。
CPU21は、入力部25に対する入力操作を検出したか判断する(S13)。CPU21は、入力部25に対する入力操作を検出したと判断した場合(S13:YES)、検出した入力操作に対応する処理の内容を特定する。処理の内容の具体例は、異常発生時のリスタート処理、用紙111のフォーマットを再度特定する処理等である。CPU21は、特定した処理の内容に基づいて処理を実行する(S15)。CPU21は、処理をS13に戻す。
CPU21は、入力部25に対する入力操作を検出しないと判断した場合(S13:NO)、電子ペン3に付与された筆圧に基づいて、用紙123に線画が筆記されている状態であるかを判断する(S17)。CPU21は、用紙123に線画が筆記されている状態であると判断した場合(S17:YES)、座標データを取得する。CPU21は、更に、取得された座標データが検出された時刻を示す時間データを取得する(S24)。CPU21は、取得した座標データ及び時間データを関連付け、RAM22の第1領域に記憶する(S24)。CPU21は、電子ペン3による1つの線分の筆記が終了するまで、取得した座標データ及び時間データをRAM22の第1領域に記憶する処理を繰り返す。電子ペン3による線分の筆記が終了した場合、1つの線分に対応する複数の座標データ及び複数の時間データが線分データとしてRAM22の第1領域に記憶された状態になる。
CPU21は、チェックボックス123Bに線画が筆記されたかを、S24でRAM22の第1領域に記憶した少なくとも1つの線分データに基づいて判断する(S25)。具体的には、CPU21は、取得した少なくとも1つの線分データの複数の座標データの少なくとも1つが、チェック領域内の位置を示している場合、チェックボックス123Bに線画が筆記されたと判断する(S25:YES)。一方、CPU21は、複数の座標データの全てが、チェック領域外の位置を示している場合、チェックボックス123Bに線画が筆記されていないと判断する(S25:NO)。
CPU21は、チェックボックス123Bに線画が筆記されていないと判断した場合(S25:NO)記入領域123Aに線画が筆記されたと判断する。CPU21は、S24の処理によってRAM22の第1領域に記憶した少なくとも1つの線分データを、RAM22の第2領域に記憶する(S29)。CPU21は、RAM22の第2領域に記憶した少なくとも1つの線分データを、RAM22の第1領域から削除する(S30)。CPU21は処理をS13に戻す。
一方、CPU21は、チェックボックス123Bに線画が筆記されたと判断した場合(S25:YES)、RAM22の第2領域に記憶された少なくとも1つの線分データを含むストロークデータを作成する(S27)。CPU21は、作成したストロークデータをフラッシュROM23に記憶する(S27)。CPU21は、作成したストロークデータに含まれる少なくとも1つの線分データを、RAM22の第2領域から削除する(S28)。CPU21は処理をS13に戻す。
CPU21は、S17の処理において、用紙123に線画が筆記されていない状態であると判断した場合(S17:NO)、スマートフォン19から無線送信されたデータ要求コマンドを、無線通信部24を介して受信したか判断する(S19)。CPU21は、データ要求コマンドを受信していないと判断した場合(S19:NO)、処理をS13に戻す。CPU21は、データ要求コマンドを受信したと判断した場合(S19:YES)、S27の処理によってフラッシュROM23に記憶したストロークデータを、無線通信部24を介してスマートフォン19に無線送信する(S21)。CPU21は、スマートフォン19に送信したストロークデータを、フラッシュROM23から削除する(S22)。CPU21は処理をS13に戻す。
図5を参照し、スマートフォン19のCPU41によって実行される第2メイン処理を説明する。CPU41は、読取装置2と無線接続するためのアプリケーションの起動操作が、タッチパネル191を介して行われた場合に、フラッシュROM43に記憶されたプログラムに基づいて動作することで第2メイン処理を開始する。以下、ユーザ8Aによって使用されるスマートフォン19AのCPU41によって第2メイン処理が実行される場合を例に挙げて具体的に説明する。また、以下では、読取装置2Aに装着された用紙123に対してユーザ8Aが文字列「ABC・・・XYZ、123・・・890」(図3(A)参照)を筆記し、読取装置2Bに装着された用紙123に対してユーザ8Bが文字列「ABC・・・XYZ、abc・・・xyz、123・・・890」(図3(B)参照)を筆記した場合を例に挙げて説明する。
はじめにCPU41は、次の初期化処理を実行する(S41)。CPU41は、RAM42に記憶されたデータをクリアする。CPU41は、読取装置2との無線通信を開始するために、読取装置2との間でID等の送受信を行う。次に、CPU41は、タッチパネル191を介して、(a)ユーザ8Aによって使用される読取装置2Aに記憶されたストロークデータの取得を要求するためのボタン、(b)ユーザ8Bによって使用される読取装置2Bに記憶されたストロークデータの取得を要求するためのボタン、及び、(c)読取装置2BのIDを入力可能なウィンドウを、ディスプレイ192に表示させる。CPU41は、タッチパネル191を介して検出される入力操作を監視する。
CPU41は、(a)のボタンを選択する操作を検出したと判断した場合(S43:YES)、読取装置2Aから次のようにしてストロークデータを取得する。CPU41は、無線通信部44を介して、ストロークデータの取得を要求するデータ要求コマンドを読取装置2Aに対して無線送信する(S47)。CPU41は、送信したデータ要求コマンドに応じて読取装置2Aから無線送信されるストロークデータを、無線通信部44を介して受信する(S49)。CPU41は、受信したストロークデータをRAM42に記憶する。
CPU41は、RAM42に記憶されたストロークデータに含まれる複数の座標データに基づいて、筆記された文字列を特定する。CPU41は、特定した文字列を示す画像の画像ファイルを作成する(S51)。CPU41は、作成した画像ファイルを、図6に示すテーブル431に格納する。また、CPU41は、格納した画像ファイルに、画像ファイルの作成時に使用したストロークデータ、及び、画像ファイルを作成した作成日時を対応付けて、テーブル431に格納する(S51)。図6に示すように、テーブル431は、画像ファイル、ストロークデータ、及び作成日時を含む。図5に示すように、CPU41は、S51の処理の終了後、処理をS43に戻す。
一方、CPU41は、(b)のボタンを選択する操作を検出したと判断した場合(S43:NO、S52:YES)、(c)のウィンドウに入力されたIDを取得する(S53)。CPU41は、取得したIDの読取装置2Bに対して、データ要求コマンドを無線送信する(S54)。CPU41は、送信したデータ要求コマンドに応じて読取装置2Bから無線送信されるストロークデータを、無線通信部44を介して受信する(S55)。CPU41は、受信したストロークデータをRAM42に記憶する。
CPU41は、(d)テーブル431(図6参照)に記憶された少なくとも1つの画像ファイルの何れかを選択可能なボタンを、ディスプレイ192に表示させる。CPU41は、(d)のボタンが選択された場合、選択された画像ファイルを特定する。CPU41は、(d)のボタンによって選択された画像ファイルに対応するストロークデータと、読取装置2Bから受信してRAM42に記憶したストロークデータとを合成して合成ストロークデータを作成する処理(合成処理、図7参照)を実行する(S57)。
図7を参照し、合成処理について説明する。以下、(d)のボタンによって選択された画像ファイルに対応するストロークデータを、第1ストロークデータという。読取装置2Bから受信されてRAM42に記憶されたストロークデータを、第2ストロークデータという。CPU41は、第1ストロークデータに対応する画像ファイルに対し、周知のパターンマッチング技術を適用させる。これによってCPU41は、第1ストロークデータに対応する文字列「ABC・・・XYZ、123・・・890」(図3(A)参照)を特定する。以下、第1ストロークデータに対応する文字列を、第1文字列という。また、CPU41は、第2ストロークデータに対応する画像ファイルを、S51(図5参照)と同一の方法によって作成する。CPU41は、作成した画像ファイルに対し、周知のパターンマッチング技術を適用させる。これによってCPU41は、第2ストロークデータに対応する文字列「ABC・・・XYZ、abc・・・xyz、123・・・890」(図3(B)参照)を特定する。以下、第2ストロークデータに対応する文字列を、第2文字列という。CPU41は、第1文字列と第2文字列との夫々に含まれる文字を1文字ずつ比較し(S63)、双方で相違する文字列を特定する。
CPU41は、第2文字列のうち第1文字列に含まれていない文字列「abc・・・xyz」を、不足分の文字列として特定可能か判断する(S65)。CPU41は、特定可能と判断した場合(S65:YES)、不足分の文字列「abc・・・xyz」を特定する(S66)。以下、特定された不足分の文字列を、第3文字列という。CPU41は、第3文字列「abc・・・xyz」に対応するストロークデータ(以下、第3ストロークデータという。)を、第1ストロークデータのうち文字列「ABC・・・XYZ」に対応するストロークデータと、文字列「123・・・890」に対応するストロークデータとの間に追加した新たなストロークデータを作成する(S75)。以下、作成されるストロークデータを、合成ストロークデータという。CPU41は、作成した合成ストロークデータを、RAM42に記憶する。CPU41は合成処理を終了させ、処理を第2メイン処理(図5参照)に戻す。
一方、例えば、第1文字列及び第2文字列を特定するためのパターンマッチングに失敗した場合、CPU41は、第3文字列を特定できないと判断する(S65:NO)。この場合、CPU41は、(e)開始文字列及び終了文字列を入力可能なウィンドウを、ディスプレイ192に表示させる。開始文字列は、第1文字列のうち、第2文字列中の第3文字列「abc・・・xyz」の前の5つの文字列「VWXYZ」と同じ文字列である。終了文字列は、第1文字列のうち、第2文字列中の第3文字列「abc・・・xyz」の後の5つの文字列「12345」と同じ文字列である。CPU41は、開始文字列及び終了文字列を入力する操作を、タッチパネル191を介して検出した場合、入力された開始文字列及び終了文字列を取得する(S67)。
CPU41は、第2文字列のうち開始文字列及び終了文字列との間に挟まれた文字列を、第3文字列として、第2文字列から1つ特定可能か判断する(S69)。CPU41は、第3文字列を第2文字列から1つ特定可能と判断した場合(S69:YES)、処理をS66に進める。CPU41は、開始文字列及び終了文字列との間に挟まれた第3文字列を1つ特定する(S66)。CPU41は、第1ストロークデータと第3ストロークデータと含む合成ストロークデータを作成する(S75)。CPU41は、作成した合成ストロークデータを、RAM42に記憶する。CPU41は合成処理を終了させ、処理を第2メイン処理(図5参照)に戻す。
CPU41は、第2文字列から第3文字列を1つ特定できないと判断した場合(S69:NO)、第2文字列から第3文字列を複数特定可能か判断する(S71)。CPU41は、第2文字列から第3文字列を1つも特定できないと判断した場合(S71:NO)、合成処理を終了させ、処理を第2メイン処理(図5参照)に戻す。
第2文字列から第3文字列を複数特定可能と判断した場合(S71:YES)、複数の第3文字列のうち1つを特定する(S73)。具体的な方法は次の通りである。CPU41は、複数の第3文字列の夫々に対応するストロークデータを、RAM42に記憶された第2ストロークデータから取得する。CPU41は、取得した複数のストロークデータの夫々に含まれる時間データを取得する。以下、取得された複数の時間データを、複数の第2時間データという。複数の第2時間データの夫々によって示される時刻を、第2時刻という。また、CPU41は、開始文字列及び終了文字列の夫々に対応するストロークデータに含まれる時間データを、テーブル431のうち(d)のボタンによって選択された画像ファイルに対応する第1ストロークデータから取得する。以下、開始文字列に対応する時間データを、第1開始時間データという。第1開始時間データによって示される時刻を、第1開始時刻という。終了文字列に対応する時間データを、第1終了時間データという。第1終了時間データによって示される時刻を、第1終了時刻という。
CPU41は、複数の第2時間データのうち、第1開始時刻及び第1終了時刻にもっとも近い第2時刻の第2時間データを特定する。CPU41は、開始文字列及び終了文字列によって特定可能な複数の第3文字列のうち、第1開始時刻及び第1終了時刻にもっとも近い第2時間データを含むストロークデータに対応する第3文字列を特定する(S73)。CPU41は、第1ストロークデータと、S73の処理によって特定された第3文字列に対応する第3ストロークデータと含む合成ストロークデータを作成する(S75)。CPU41は、作成した合成ストロークデータを、RAM42に記憶する。CPU41は合成処理を終了させ、処理を第2メイン処理(図5参照)に戻す。
図5に示すように、CPU41は、合成処理(S57)の終了後、合成処理によって作成された合成ストロークデータに基づいて、画像ファイルを作成する(S59)。以下、作成された画像ファイルを、合成画像ファイルという。合成画像ファイルによって示される文字列には、板書の全ての文字列「ABC・・・XYZ、abc・・・XYZ、123・・・890」が含まれている。CPU41は、合成画像ファイルに、合成ストロークデータ、及び、合成画像ファイルを作成した作成日時を対応付けて、テーブル431に格納する(S59)。CPU41は処理をS43に戻す。
以上説明したように、スマートフォン19AのCPU41は、第2文字列のうち第1文字列と異なる第3文字列に対応する第3ストロークデータを、スマートフォン19Bから取得した第2ストロークデータから特定できる。従ってCPU41は、第1文字列に足りない文字列に対応する座標データを、第3ストロークデータに含まれる複数の座標データとして容易に取得できる。このためCPU41は、第1文字列に不足する文字列としてユーザが必要とする第3文字列を容易に特定できる。また、CPU41は、第1ストロークデータと第3ストロークデータとを含む合成ストロークデータを作成し、合成ストロークデータに基づいて合成画像ファイルを作成できる。このためCPU41、第1文字列に第3文字列が追加された文字列を含む画像を、合成画像ファイルに基づいてディスプレイ192に表示させることができる。
CPU41は、開始文字列及び終了文字列をユーザから受け付ける。CPU41は、第2文字列のうち、受け付けた開始文字列と終了文字列との間に挟まれた文字列を、第3文字列として特定できる。従ってCPU41は、第2文字列から第3文字列を適切かつ容易に特定できる。
CPU41は、開始文字列と終了文字列との間に挟まれた第3文字列が複数ある場合、複数の第3文字列のうち、開始文字列及び終了文字列に対応する複数の座標データが取得された時刻に近い時刻に取得された第3文字列を特定できる。例えば、読取装置2A、2Bの夫々に装着された用紙123に対して、ユーザ8A、8Bの夫々が電子ペン3を用いて筆記操作を行った場合を例に挙げる。この場合、読取装置2Aに装着された用紙123に対して筆記された第1文字列に足りない文字列は、開始文字列または終了文字列を筆記した時刻と略同一時刻に、第2文字列の一部として、読取装置2Bに装着された用紙123に対して筆記されている可能性が高い。従ってCPU41は、開始文字列または終了文字列が筆記された時刻に近い時刻に筆記された第3文字列を特定することによって、第1文字列に足りない文字列として適切な第3文字列に対応するストロークデータを取得できる。
CPU41は、(c)のウィンドウに入力されたIDの読取装置2に対して、データ要求コマンドを送信し、ストロークデータを受信する。これによってCPU41は、第1文字列に足りない第3文字列に対応するストロークデータを、ユーザによって指定されたIDの読取装置2から容易に取得できる。
なお、本発明は上記実施形態に限定されず、種々の変更が可能である。上記実施形態では、用紙123に文字列が筆記される場合について具体的に説明した。本発明は、文字列以外の線画、例えば、数値、記号、図形等が筆記された場合についても適用できる。上記実施形態では、スマートフォン19Aが読取装置2A、2Bの夫々からストロークデータを取得し、合成ストロークデータ及び合成画像ファイルを作成する場合を例に挙げた。これに対してスマートフォン19Aは、3台以上の読取装置2からストロークデータを取得し、上記の方法に基づいて、合成ストロークデータ及び合成画像ファイルを作成してもよい。
上記実施形態では、合成ストロークデータに基づいて合成画像ファイルが作成され、テーブル431に記憶された。CPU41は、合成ストロークデータを作成し、合成画像ファイルは作成しなくてもよい。CPU41は、ユーザによってディスプレイ192に文字列を表示させるための指示の入力操作を検出した場合、合成ストロークデータに基づいて合成画像ファイルを作成し、ディスプレイ192に表示させてもよい。
上記実施形態において、CPU41は、第3文字列を特定できないと判断した場合、開始文字列及び終了文字列を取得した。CPU41は、開始文字列及び終了文字列の何れか一方を取得してもよい。CPU41は、取得した開始文字列及び終了文字列の何れか一方によって、第2文字列のうち第3文字列が含まれる部分を特定してもよい。CPU41は、第2文字列のうち、第3文字列が含まれる部分と、第1文字列とを比較することによって、第3文字列を特定してもよい。
上記実施形態では、S73の処理において、複数の第2時間データのうち、第1開始時刻及び第1終了時刻にもっとも近い第2時刻の第2時間データを特定した。CPU41は、開始文字列及び終了文字列によって特定可能な複数の第3文字列のうち、第1開始時刻及び第1終了時刻にもっとも近い第2時間データを含むストロークデータに対応する第3文字列を特定した。これに対して、CPU41は、第1開始時刻又は第2開始時刻の何れかに最も近い第2時刻の第2時間データを特定してもよい。CPU41は、開始文字列及び終了文字列によって特定可能な複数の第3文字列のうち、第1開始時刻又は第1終了時刻にもっとも近い第2時間データを含むストロークデータに対応する第3文字列を特定してもよい。
上記の第2メイン処理の一部は、読取装置2のCPU21によって実行されてもよい。例えばCPU21は、他の読取装置2と通信を行い、第2ストロークデータを取得してもよい。CPU21は、取得した第2ストロークデータに基づいて第2文字列を特定してもよい。また、CPU21は、フラッシュROM23に記憶されたストロークデータを第1ストロークデータとし、第1文字列を特定してもよい。CPU21は、第1文字列と第2文字列とを比較することによって、第3文字列を特定してもよい。CPU21は、特定した第3文字列に対応する第3ストロークデータと第1ストロークデータとを含む合成ストロークデータを作成し、作成した合成ストロークデータに基づいて合成画像ファイルを作成してもよい。CPU21は、作成した合成画像ファイルを、スマートフォン19に送信してもよい。
なお、読取装置2Aは本発明の「第1検出装置」の一例である。読取装置2Aのうち、用紙123が装着される前面の領域は本発明の「第1検出領域」の一例である。読取装置2Bは本発明の「第1検出装置」の一例である。S49の処理を行うCPU41は本発明の「第1取得手段」の一例である。S55の処理を行うCPU41は本発明の「第2取得手段」の一例である。読取装置2Bのうち、用紙123が装着される前面の領域は本発明の「第2検出領域」の一例である。電子ペン3は本発明の「筆記具」の一例である。S66、S73の処理を行うCPU41は本発明の「特定手段」の一例である。S75の処理を行うCPU41は本発明の「作成手段」の一例である。S67の処理を行うCPU41は本発明の「受付手段」の一例である。S53の処理を行うCPU41は本発明の「第3取得手段」の一例である。
1 手書入力システム
2 読取装置
2A 読取装置
2B 読取装置
3 電子ペン
19 スマートフォン
19A スマートフォン
19B スマートフォン
21 CPU
41 CPU
100 紙媒体
123 用紙
123A 記入領域
123B チェックボックス
231 テーブル
431 テーブル
2 読取装置
2A 読取装置
2B 読取装置
3 電子ペン
19 スマートフォン
19A スマートフォン
19B スマートフォン
21 CPU
41 CPU
100 紙媒体
123 用紙
123A 記入領域
123B チェックボックス
231 テーブル
431 テーブル
Claims (5)
- 第1検出装置における紙媒体が載置される第1検出領域の何れかの位置に近接した筆記具の位置を示す複数の第1座標データを取得する第1取得手段と、
第2検出装置における紙媒体が載置される第2検出領域の何れかの位置に近接した筆記具の位置を示す複数の第2座標データを取得する第2取得手段と、
前記第2取得手段によって取得された前記複数の第2座標データによって示される複数の線分である第2線分のうち、前記第1取得手段によって取得された前記複数の第1座標データによって示される複数の線分である第1線分と異なる複数の線分である第3線分を特定する特定手段と、
前記特定手段によって特定された前記第3線分に対応する複数の第3座標データを、前記複数の第1座標データに追加することによって、前記第1線分及び前記第3線分を示す複数の座標データを含むストロークデータを作成する作成手段と
を備えたことを特徴とする筆記データ処理装置。 - 前記特定手段は、
前記第2線分によって示される複数の連続した文字である第2文字列のうち、前記第1線分によって示される複数の連続した文字である第1文字列に含まれていない複数の連続した文字である第3文字列を特定することを特徴とする請求項1に記載の筆記データ処理装置。 - 前記第1文字列に含まれる連続した所定数分の文字である開始文字列及び終了文字列を受け付ける受付手段を備え、
前記特定手段は、
前記第2文字列のうち、前記開始文字列と前記終了文字列との間の連続した複数の文字を前記第3文字列として特定することを特徴とする請求項2に記載の筆記データ処理装置。 - 前記第1取得手段は、
前記複数の第1座標データの夫々が取得された時刻を示す複数の第1時間データを更に取得し、
前記第2取得手段は、
前記複数の第2座標データの夫々が取得された時刻を示す複数の第2時間データを更に取得し、
前記特定手段は、
前記第3文字列が複数ある場合、複数の前記第3文字列のうち、前記開始文字列または前記終了文字列に対応する第1時間データに最も近い第2時間データに対応する前記第3文字列を特定することを特徴とする請求項3に記載の筆記データ処理装置。 - 前記第2検出装置を示す装置情報を取得する第3取得手段を備え、
前記第2取得手段は、
前記第3取得手段によって取得された前記装置情報によって示される前記第2検出装置から、前記複数の第2座標データを取得することを特徴とする請求項1から4の何れかに記載の筆記データ処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014012922A JP2015141481A (ja) | 2014-01-28 | 2014-01-28 | 筆記データ処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014012922A JP2015141481A (ja) | 2014-01-28 | 2014-01-28 | 筆記データ処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015141481A true JP2015141481A (ja) | 2015-08-03 |
Family
ID=53771809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014012922A Pending JP2015141481A (ja) | 2014-01-28 | 2014-01-28 | 筆記データ処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015141481A (ja) |
-
2014
- 2014-01-28 JP JP2014012922A patent/JP2015141481A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2793106B1 (en) | Identification of paper medium format in an input apparatus using a paper medium | |
US9064169B2 (en) | Information management apparatus and non-transitory computer-readable medium | |
US20150160733A1 (en) | Paper Medium, Information Input Device, and Non-Transitory Computer Readable Medium | |
US20150160734A1 (en) | Written Data Processing Apparatus | |
JP6424506B2 (ja) | データ処理装置およびデータ処理プログラム | |
JP6171676B2 (ja) | 入力装置 | |
JP6331816B2 (ja) | 情報入力装置、制御方法及び制御プログラム | |
EP2725461B1 (en) | Information management apparatus and storage medium storing information management program | |
US20150253879A1 (en) | Data Processing Device | |
JP6123597B2 (ja) | 筆記データ処理装置 | |
WO2016158023A1 (ja) | 情報入力装置及び制御プログラム | |
JP2015141481A (ja) | 筆記データ処理装置 | |
JP2015114751A (ja) | 筆記データ処理装置 | |
JP6531602B2 (ja) | 筆記データ処理プログラム、筆記データ処理装置、及び筆記データ処理システム | |
JP6380205B2 (ja) | 情報入力装置及び制御プログラム | |
JP2015084215A (ja) | 紙媒体及び入力装置 | |
JP6268056B2 (ja) | 筆記データ処理プログラム、及び、筆記データ処理装置 | |
JP2015056052A (ja) | 筆記データ処理装置 | |
JP2015109052A (ja) | 筆記データ処理装置 | |
JP2015194920A (ja) | 筆記データ処理装置および紙媒体 | |
JP2017146690A (ja) | データ処理装置及び制御プログラム | |
JP2015215823A (ja) | 筆記データ処理装置 | |
JP2015109051A (ja) | 情報入力装置及び情報入力プログラム | |
JP2015141655A (ja) | 筆記データ処理装置 | |
JP2015114772A (ja) | 表示制御装置 |