JP2015148951A - 手書入力装置及び手書入力方法 - Google Patents

Abstract

【課題】ユーザの利便性を向上させることができる手書入力装置及び手書入力方法を提供する。
【解決手段】手書入力装置は、手書き入力が可能な表示面を備え、ユーザがペン又は指等でタッチ操作を行った場合、タッチ操作が行われた表示面上の位置情報を取得する。手書入力装置は、一のファイルを構成する１又は複数の頁を表示面に表示するファイル表示部と、ファイル表示部で表示された１又は複数の頁に入力された手書き文字を文字データに変換する文字変換部と、文字変換部で変換した文字データ及び手書き入力された手書き文字それぞれとファイルとを関連付けて記憶する記憶部とを備える。
【選択図】図２

Description

本発明は、手書き入力が可能な表示面を備える手書入力装置及び手書入力方法に関する。

ユーザが手書きした手書き文字列をクエリーとして検索を行うことができる文字検索装置がある。例えば、このような文字検索装置は、手書きにより得られた個々のストロークから特徴量を抽出するとともに、例えば、取得したストローク列を行ブロック及び文字ブロックのように集合に統合し、その集合中のストローク群全体からも特徴量を抽出し、それらを組み合わせて検索を行うものがある（特許文献１参照）。

特開２０１３−２４６７３１号公報

しかし、特許文献１の手書き文字検索装置にあっては、手書き入力により検索を行うことができるものの、手書き入力により書込んだ文字を検索対象とすることまでは考慮されていないため、手書き入力で書込んだ文字を検索することができない。

また、ファイルなどに手書き入力で文字を書込んだ場合、書込んだ文字を検索することができるよう、ファイル名に手書き入力で書込んだ文字の全部又は一部を含めることはできる。しかし、ファイル名に含まれる文字数には限度があるので、検索対象とする文字数も必然的に制限され、効率良く検索することができず、ユーザの利便性を向上させることができない。

本発明は斯かる事情に鑑みてなされたものであり、ユーザの利便性を向上させることができる手書入力装置及び手書入力方法を提供することを目的とする。

本発明に係る手書入力装置は、手書き入力が可能な表示面を備える手書入力装置であって、一のファイルを構成する１又は複数の頁を前記表示面に表示するファイル表示部と、該ファイル表示部で表示された１又は複数の頁に入力された手書き文字を文字データに変換する文字変換部と、該文字変換部で変換した文字データと前記ファイルとを関連付けて記憶する記憶部とを備えることを特徴とする。

本発明に係る手書入力装置は、前記ファイルを検索するための検索文字を受け付ける受付部と、該受付部で受け付けた検索文字に基づいて前記記憶部に記憶したファイルを検索する検索部とを備えることを特徴とする。

本発明に係る手書入力装置は、前記受付部は、前記検索文字として手書き文字を入力するための検索画面を前記表示面に表示するようにしてあり、前記文字変換部は、前記検索画面に入力された手書き文字を検索のための検索文字データに変換するようにしてあり、前記検索部は、前記文字変換部で変換した検索文字データに基づいて前記記憶部に記憶したファイルを検索するようにしてあることを特徴とする。

本発明に係る手書入力装置は、前記検索部で検索した文字データと一致する文字データに関連付けられたファイルが特定された場合、該ファイルを縮小画像で表示する縮小画像表示部を備えることを特徴とする。

本発明に係る手書入力装置は、前記検索部で検索した文字データと一致する文字データに関連付けられた複数のファイルが特定された場合、該複数のファイルの縮小画像を選択する操作を受け付けるファイル選択部を備え、前記縮小画像表示部は、前記ファイル選択部で前記操作を受け付けた場合、選択された縮小画像に対応するファイルを構成する頁のうち、前記検索文字データと一致する文字データを含む１又は複数の頁それぞれの縮小画像を表示するようにしてあることを特徴とする。

本発明に係る手書入力装置は、前記表示面に表示された１又は複数の頁それぞれの縮小画像を選択する操作を受け付ける頁選択部と、該頁選択部で前記操作を受け付けた場合、選択された縮小画像に対応する頁に含まれる前記検索文字データと一致する文字データを、該頁に含まれる他の文字データと異なる表示態様で表示する表示制御部とを備えることを特徴とする。

本発明に係る手書入力装置は、前記ファイル表示部が一のファイルを構成する１又は複数の頁を前記表示面に表示した場合、該ファイルに含まれ、手書き文字を変換した文字データと異なる文字データを抽出する抽出部と、該抽出部で抽出した文字データと前記ファイルとを関連付けて記憶する記憶部とを備えることを特徴とする。

本発明に係る手書入力方法は、手書き入力が可能な表示面を備える手書入力装置による手書入力方法であって、一のファイルを構成する１又は複数の頁をファイル表示部が前記表示面に表示するステップと、表示された１又は複数の頁に入力された手書き文字を文字変換部が文字データに変換するステップ、変換された文字データと前記ファイルとを関連付けて記憶部に記憶するステップとを含むことを特徴とする。

本発明によれば、ユーザの利便性を向上させることができる。

実施の形態１の手書入力装置の外観の一例を示す説明図である。 本実施の形態の手書入力装置の構成の一例を示すブロック図である。 ファイルの一例を示す説明図である。 元ファイルテキストＤＢの構成の一例を示す説明図である。 手書き文字入力の第１実施例を示す説明図である。 手書き文字ＤＢの構成の一例を示す説明図である。 手書き文字入力の第２実施例を示す説明図である。 手書き文字入力の第３実施例を示す説明図である。 手書き文字ＤＢの構成の他の例を示す説明図である。 手書き文字を入力するための検索画面の一例を示す説明図である。 ファイルのサムネイル表示の一例を示す説明図である。 頁のサムネイル表示の一例を示す説明図である。 検索された文字の表示の一例を示す説明図である。 本実施の形態の手書入力装置によるファイルの編集又は作成時の処理手順の一例を示すフローチャートである。 本実施の形態の手書入力装置によるファイルの編集又は作成時の処理手順の一例を示すフローチャートである。 本実施の形態の手書入力装置による検索処理の手順の一例を示すフローチャートである。 本実施の形態の手書入力装置による検索処理の手順の一例を示すフローチャートである。 本実施の形態の手書入力装置による検索処理の手順の一例を示すフローチャートである。 実施の形態２の手書入力装置の外観の一例を示す説明図である。

（実施の形態１）
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は実施の形態１の手書入力装置１００の外観の一例を示す説明図であり、図２は本実施の形態の手書入力装置１００の構成の一例を示すブロック図である。手書入力装置１００は、手書き入力が可能な表示部１６、表示部１６を収容するケース２０などを備える。手書入力装置１００は、例えば、タブレット端末、ノート型パーソナルコンピュータ、スマートフォンなどの携帯電話機、あるいは会議室や教室などで情報を共有することができる大型の表示面を備える表示装置又は情報処理装置などであってもよい。

図２に示すように、手書入力装置１００は、ＣＰＵ、メモリ及びタイマーなどで構成され装置全体を制御する制御部１０、画面制御部１１、タッチ検出部１２、手書き入力部１３、文字変換部１４、記憶部１５、表示部１６、検索部１７、サムネイル制御部１８、抽出部１９などを備える。

表示部１６は、例えば、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ等であり、表示面に画像を表示することができる。

タッチ検出部１２は、静電容量方式タッチパネル、抵抗膜方式タッチパネル等で構成される。タッチ検出部１２は、表示部１６の表示面に対して、ユーザがペン又は指等でタッチ操作を行った場合、タッチ操作が行われた表示面上の位置を示す情報、すなわちタッチ操作により押圧された箇所を示す位置情報（例えば、表示面をｘｙ座標で表す場合、タッチ箇所のｘ座標及びｙ座標などの座標データ）を取得する。

また、タッチ検出部１２は、表示部１６の表示面に対して、ユーザがペン又は指等で線（直線又は曲線）を描いた場合（例えば、ドラッグ操作など）、線を構成する複数の点の位置も同様に取得する。また、タッチ検出部１２は、離隔した２つ以上の箇所が押圧された場合、それぞれの箇所の位置情報も取得することができ、いわゆるマルチタッチ操作が可能である。なお、タッチ検出部１２は、フリック操作を検出することもできる。タッチ検出部１２は、取得した位置情報を制御部１０へ出力する。

手書き入力部１３は、タッチ検出部１２で取得した位置情報（座標データ）に基づいてストローク情報（手書きストロークデータ）を生成する。ストローク情報は、表示部１６の表示面に対して、ユーザがペン又は指等で線（直線又は曲線）を描いた場合、ペン又は指等を表示面に接触した箇所からペン又は指等を表示面から離すまでに描かれた直線又は曲線を構成する複数の点の位置情報の集合である。

記憶部１５は、ＤＤＲ、ＳＤＲＡＭ（Double Data Rate Synchronous Dynamic Random Access Memory）などの揮発性メモリ、フラッシュＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（登録商標）、ＨＤＤ（Hard Disk Drive）などの不揮発性メモリなどで構成される。記憶部１５は、後述の元ファイルテキストＤＢ、手書き文字ＤＢなどの情報、手書入力装置１００を制御するためのプログラム、表示部１６の表示面に表示される画像、後述のサムネイル（縮小画像）、ファイル（ノートとも称する）のデータ、ファイルを編集するプログラム、ファイルを管理するプログラムなどを記憶する。

画面制御部１１は、表示部１６の表示面に表示する操作画面の生成、表示などの制御を行う。画面制御部１１は、ファイル表示部としての機能を有し、一のファイルを構成する１又は複数の頁を表示部１６の表示面に表示する。一のファイルは、新規に作成するために表示するものでもよく、あるいは、既に作成されたものを、例えば、編集するために表示するものでもよい。

図３はファイルの一例を示す説明図である。図３は、本実施の形態の手書入力装置１００による手書入力が行われる前に、既に作成されているファイルを示す。図３に示すファイル名（ノート名）は、NewsReleaseFileとする。図３に示すように、ファイルは４頁で構成され、各頁には、キーボード入力（手書き入力ではない）の文字が文字変換された文字データが記載されているとする。

抽出部１９は、画面制御部１１が一のファイルを構成する１又は複数の頁を表示面に表示した場合、表示したファイルに含まれ、手書き文字を変換した文字データと異なる文字データ（テキストデータとも称する）を抽出する。手書き文字を変換した文字データと異なる文字データとは、手書き入力された文字が変換された文字データではなく、キーボード等により入力された文字が変換された文字データである。抽出部１９は、抽出した文字データを制御部１０へ出力する。

制御部１０は、抽出部１９で抽出した文字データをファイルと関連付けた元ファイルテキストＤＢを生成し、記憶部１５に記憶する。

図４は元ファイルテキストＤＢの構成の一例を示す説明図である。図４に例示する元ファイルテキストＤＢは、図３に例示したファイルに基づいて生成されたものである。図４に示すように、元ファイルテキストＤＢは、記録番号、ノート名、ページ（ページ番号）、文字データ（テキストデータ）、文字データのスタート座標、文字のフォントサイズなどで構成されている。スタート座標は、文字データの先頭位置の座標である。また、同じ頁において、文字列が１行空けて改行されている場合には、２つの文字データとして記憶してある。

すなわち、図４に示すように、抽出部１９で抽出した文字データをファイルと関連付けて記憶するとは、例えば、ファイルが１又は複数の頁で構成される場合、キーボード入力された文字を変換して得られた文字データそれぞれを、ファイル名（ノート名とも称する）、頁（ページ、ページ番号とも称する）、頁での位置（例えば、頁をｘｙ座標で表す場合、文字データの位置のｘ座標及びｙ座標）、フォントサイズ等と関連付けることである。

文字変換部１４は、表示面に表示された１又は複数の頁に入力された手書き文字を文字データ（テキストデータとも称する）に変換する。すなわち、手書き入力が可能な表示面に頁を表示させ、表示させた頁に対して、ユーザがペン又は指等で手書き文字を書込むとする。表示面に手書き文字が書込まれると、画面制御部１１はペン又は指の軌跡を表示面に描画するとともに、手書き入力部１３は軌跡に応じたストローク情報を生成する。文字変換部１４は、ストローク情報に基づいて文字を認識し、手書き文字を文字データに変換する。文字変換部１４は、変換した文字データを制御部１０へ出力する。なお、手書き入力部１３は、生成したストローク情報を記憶部１５に記憶する。これにより、表示面に描画された手書き文字を、そのままの状態（手書き文字の状態）で記憶することができる。

図５は手書き文字入力の第１実施例を示す説明図である。図５に例示するファイルは図３に例示したファイルと同じものである。図５に示すように、ユーザが、１頁目、３頁目に「重要」と手書き入力し、２頁目、４頁目に「参考」と手書き入力したとする。

制御部１０は、文字変換部１４で変換し文字データをファイルと関連付けた手書き文字ＤＢを生成し、記憶部１５に記憶する。また、制御部１０は、手書き入力部１３で生成したストローク情報（手書き文字）をファイルと関連付けた手書き文字ＤＢを生成し、記憶部１５に記憶する。

図６は手書き文字ＤＢの構成の一例を示す説明図である。図６に例示する手書き文字ＤＢは、図５に例示したファイルに対する手書き入力の結果生成されたものである。図６に示すように、手書き文字ＤＢは、記録番号、ノート名、ページ（ページ番号）、文字データ（テキストデータ）、手書き文字、手書きオブジェクト座標などで構成されている。手書き文字は、文字変換される前のストローク情報で構成される手書きの状態のままの文字である。手書きオブジェクト座標は、例えば、手書き文字を囲む矩形の対角線上の座標とすることができ、テキストデータ又はテキストデータに変換されていない手書き文字を囲む矩形の対角線上の座標とすることができる。

図６に示すように、手書き入力した文字を変換した文字データをファイルと関連付けて記憶するとは、例えば、ファイルが１又は複数の頁で構成される場合、手書き入力を変換して得られた文字データそれぞれを、ファイル名、頁、頁での位置（例えば、頁をｘｙ座標で表す場合、文字データのｘ座標、ｙ座標）等と関連付けることである。また、テキストデータに変換されていない手書き文字をファイルと関連付けて記憶するとは、例えばファイルが１又は複数の頁で構成される場合、手書き文字それぞれを、ファイル名、頁、頁での位置（例えば、頁をｘｙ座標で表す場合、手書き文字のｘ座標、ｙ座標）等と関連付けることである。

図７は手書き文字入力の第２実施例を示す説明図である。図７に例示するファイルはユーザが新規のファイル（ノート）を作成する場合を示し、空白の１頁目に「重要」と手書きで入力する様子を示す。

図８は手書き文字入力の第３実施例を示す説明図である。図８の例では、ファイルは４つあり、ファイル名（ノート名）は、それぞれ「新しいノート」、「アイデアメモ」、「デザイン検討」、「NewsReleaseFile」である。そして、図８に示すように、「新しいノート」というファイルに対しては、「重要」と手書き入力し、「アイデアメモ」というファイルに対しては、「アイデアメモ」と手書き入力し、「デザイン検討」というファイルに対しては、「背面」と手書き入力し（図８では不図示）、「NewsReleaseFile」というファイルに対しては、「重要」及び「参考」と手書き入力（図８では一部不図示）する様子を示す。

図９は手書き文字ＤＢの構成の他の例を示す説明図である。図９に例示する手書き文字ＤＢは、図８に例示した各ファイルに対する手書き入力の結果生成されたものである。図９に示すように、「新しいノート」というファイルに対しては、「重要」という文字データ（テキストデータ）及び「重要」という手書き文字が対応付けられ、「アイデアメモ」というファイルに対しては、「アイデア」及び「メモ」という文字データ並びに「アイデア」及び「メモ」という手書き文字が対応付けられ、「デザイン検討」というファイルに対しては、「背面」と文字データ及び「背面」という手書き文字が対応付けられ、「NewsReleaseFile」というファイルに対しては、「重要」及び「参考」という文字データ及び「重要」及び「参考」という手書き文字が対応付けられている。

上述のように、手書き入力された文字が文字データに変換されてファイルに関連付けて記憶されるので、例えば、記憶された文字データを検索用の検索文字データ（検索キーワードとも称する）で検索することができる。これにより、ファイル名に手書き入力で書込んだ文字の全部又は一部を含める必要がなく、また、検索対象とする文字数に何らの制限もないので、ファイルを効率良く検索することができ、ユーザの利便性が向上する。

また、ユーザ自身が自分で書いた手書き文字であれば、手書き文字を書いたときの状況を容易に思い出すことができるので、手書き文字そのものをファイルに関連付けて記憶することで、手書き文字を元にファイルを容易に探し出すことができる。

画面制御部１１及びタッチ検出部１２は、受付部としての機能を有し、ファイルを検索するための検索文字を受け付ける。検索文字は、手書き入力される文字でもよく、キーボード等により入力される文字でもよい。

検索部１７は、画面制御部１１及びタッチ検出部１２で受け付けた検索文字に基づいて記憶部１５に記憶した手書き文字ＤＢを参照してファイルを検索する。ファイルには、手書き入力を変換した文字データが関連付けられているので、ファイルを効率良く検索することができ、ユーザの利便性が向上する。

また、検索部１７は、画面制御部１１及びタッチ検出部１２で受け付けた検索文字に基づいて記憶部１５に記憶した元ファイルテキストＤＢを参照してファイルを検索する。キーボード入力された文字が文字データに変換されてファイルに関連付けて元ファイルテキストＤＢとして記憶されるので、例えば、記憶された文字データを検索用の検索文字データ（検索キーワードとも称する）で検索することができる。これにより、文字データを有するファイルを効率良く検索することができ、ユーザの利便性が向上する。

より具体的には、画面制御部１１は、検索文字として手書き文字を入力するための検索画面を表示面に表示する。

図１０は手書き文字を入力するための検索画面の一例を示す説明図である。図１０の例では、手書き文字を入力するための所要の大きさの検索画面が表示され、ユーザが「重要」という検索文字を入力する様子を示す。これにより、ユーザは、検索画面内でペン又は指で文字を書くことにより検索文字を入力することができる。

そして、文字変換部１４は、検索画面に入力された手書き文字を検索文字データに変換する。検索部１７は、文字変換部１４で変換した検索文字データに基づいて記憶部１５に記憶した手書き文字ＤＢを参照してファイルを検索する。ファイルには、手書き入力を変換した文字データ及び手書き文字が関連付けられているので、手書きでファイルを効率良く検索することができ、ユーザの利便性が向上する。

また、検索画面に入力された手書き文字に基づいてファイルを検索する場合、検索画面に入力された手書き文字と、ファイルに関連付けられた手書き文字とをパターンマッチング等の処理により検索するようにしてもよい。

サムネイル制御部１８は、縮小画像表示部としての機能を有する。サムネイル制御部１８は、検索部１７で検索した文字データと一致する文字データに関連付けられたファイルが特定された場合、特定されたファイルを縮小画像（サムネイルとも称する）で表示する。ファイルの縮小画像は、例えば、ファイルの１頁目の画像を縮小したものでもよく、検索文字データと一致する文字データを含む頁の縮小画像でもよい。また、複数のファイルが特定された場合には、複数のファイルそれぞれの縮小画像を表示することができる。

図１１はファイルのサムネイル表示の一例を示す説明図である。図１１は、図９に例示した手書き文字ＤＢを参照して、図１０に例示する「重要」という検索文字で検索した結果、「重要」という文字データ又は手書き文字を有するファイルをサムネイルで表示したものである。図９に示すように、４つのファイル「新しいノート」、「アイデアメモ」、「デザイン検討」及び「NewsReleaseFile」のうち、「重要」という文字を含むファイルは、「新しいノート」及び「NewsReleaseFile」という２つのファイルであるので、図１１に示すように、これらの２つのファイルのサムネイルが表示されている。なお、図１１の例では、簡便のためサムネイル表示されているファイルの数は２であるが、ファイルの数はこれに限定されるものではない。

ファイルの縮小画像を表示することにより、多くのファイルを検索する場合、あるいは１つのファイルが多くの頁で構成されている場合に、検索文字データと一致する文字データ又は手書き文字に関連付けられたファイルが多く特定されたときにも、多くのファイルを同時に一覧として表示することができる。そして、所望のファイルを容易に見つけることができるので、ユーザの利便性が向上する。

画面制御部１１及びタッチ検出部１２は、ファイル選択部としての機能を有する。画面制御部１１及びタッチ検出部１２は、検索部１７で検索した文字データと一致する文字データ又は手書き文字に関連付けられた複数のファイルが特定された場合（例えば、図１１の例示）、特定された複数のファイルの縮小画像を選択する操作を受け付ける。例えば、ユーザが、表示面に表示されたファイルの縮小画像に触れる（タッチする）ことにより、縮小画像を選択することができる。

サムネイル制御部１８は、ファイルの選択操作を受け付けた場合、選択された縮小画像に対応するファイルを構成する頁のうち、検索文字データと一致する文字データ又は手書き文字を含む１又は複数の頁それぞれの縮小画像を表示する。

図１２は頁のサムネイル表示の一例を示す説明図である。図１２の例は、図１１の例示において、「NewsReleaseFile」というファイルを選択した場合を示す。図９に示すように、「NewsReleaseFile」というファイルを構成する頁のうち、検索文字データである「重要」という文字データ又は手書き文字を含む頁は、１頁と３頁である。従って、図１２に示すように、「NewsReleaseFile」というファイルの１頁及び３頁の画像がサムネイルで表示されている。なお、図１２の例では、簡便のためサムネイル表示されている頁数は２であるが、頁の数はこれに限定されるものではない。

ファイルを構成する頁の縮小画像を表示することにより、多くのファイルを検索する場合、あるいは１つのファイルが多くの頁で構成されている場合に、検索文字データと一致する文字データ又は手書き文字に関連付けられた頁が多く特定されたときにも、多くの頁を同時に一覧として表示することができる。そして、所望の頁を容易に見つけることができるので、ユーザの利便性が向上する。

画面制御部１１及びタッチ検出部１２は、頁選択部としての機能を有する。画面制御部１１及びタッチ検出部１２は、表示面に表示された１又は複数の頁それぞれの縮小画像を選択する操作を受け付ける。例えば、ユーザが、表示面に表示された頁の縮小画像に触れる（タッチする）ことにより、縮小画像を選択することができる。

画面制御部１１は、表示制御部としての機能を有する。画面制御部１１は、頁の選択操作を受け付けた場合、選択された縮小画像に対応する頁に含まれる検索文字データと一致する文字データ又は手書き文字を、選択された縮小画像に対応する頁に含まれる他の文字データ（すなわち、検索文字データと一致しない文字データ）又は手書き文字と異なる表示態様で表示する。

図１３は検索された文字の表示の一例を示す説明図である。図１３の例は、図１２の例で１頁目が選択された場合を示す。図１３に示すように、検索文字である「重要」という文字が他の文字と異なる態様で強調されて表示されている。すなわち、検索文字データと一致する文字データ又は手書き文字と、一致しない文字データ又は手書き文字とを異なる表示態様で表示する。異なる表示態様で表示するとは、例えば、検索文字データと一致する文字データ又は手書き文字は強調して表示し、一致しない文字データ又は手書き文字は強調することなく表示することである。強調して表示するには、文字を囲む矩形状の領域をハイライト表示すること、文字の色を変更すること、文字のフォント又はサイズを変更することなどを含む。強調して表示させることにより、ユーザが認識しやすくなり、検索する文字を素早く見つけることができ、ユーザの利便性が向上する。

次に、本実施の形態の手書入力装置１００の動作について説明する。図１４及び図１５は本実施の形態の手書入力装置１００によるファイルの編集又は作成時の処理手順の一例を示すフローチャートである。なお、以下の説明では、簡便のため処理の主体を制御部１０とする。制御部１０は、編集又は新規作成のためのファイルを表示し（Ｓ１１）、ファイルのテキスト情報（文字データ、テキストデータとも称する）があるか否かを判定する（Ｓ１２）。

テキスト情報がある場合（Ｓ１２でＹＥＳ）、制御部１０は、ノート名、ページ、テキスト情報、テキスト情報の座標、テキストのフォントサイズを元ファイルテキストＤＢに記憶する（Ｓ１３）。テキスト情報がない場合（Ｓ１２でＮＯ）、例えば、ファイルが新規作成のファイルの場合、制御部１０は、ステップＳ１３の処理を行うことなく後述のステップＳ１４の処理を行う。

制御部１０は、手書き入力を受け付け（Ｓ１４）、ペン又は指が移動したか否かを判定する（Ｓ１５）。なお、ペンの代わりに指等でもよい。ペンが移動した場合（Ｓ１５でＹＥＳ）、制御部１０は、ペンの軌跡を画面上（表示面上）に描画し（Ｓ１６）、描画した軌跡に応じたストローク情報を記録する（Ｓ１７）。ペンが移動していない場合（Ｓ１５でＮＯ）、制御部１０は、ステップＳ１６、Ｓ１７の処理を行うことなく後述のステップＳ１８の処理を行う。

制御部１０は、ペンが表示面から離れたか否かを判定し（Ｓ１８）、ペンが離れていない場合（Ｓ１８でＮＯ）、ステップＳ１５以降の処理を続ける。ペンが離れた場合（Ｓ１８でＹＥＳ）、制御部１０は、タイマーを起動し（Ｓ１９）、所定時間経過したか否かを判定する（Ｓ２０）。所定時間は、例えば、１秒程度とすることができる。

所定時間経過した場合（Ｓ２０でＹＥＳ）、制御部１０は、ストローク情報に基づいて文字認識を行い、手書き文字をテキストデータ（文字データ）に変換する（Ｓ２１）。制御部１０は、編集中又は新規作成中のファイルのノート名（ファイル名）、ページ、変換したテキストデータ、手書きオブジェクトの座標を手書き文字ＤＢに記憶する（Ｓ２２）。制御部１０は、一旦記録したストローク情報を消去する（Ｓ２３）。所定時間経過していない場合（Ｓ２０でＮＯ）、制御部１０は、ステップＳ２１〜Ｓ２３の処理を行うことなく後述のステップＳ２４の処理を行う。

制御部１０は、ペンダウンがあるか否かを判定する（Ｓ２４）。ペンダウンとは、ユーザが表示面から離したペンを表示面にタッチさせる操作である。ペンダウンがない場合（Ｓ２４でＮＯ）、制御部１０は、ステップＳ２０以降の処理を行う。ペンダウンがあった場合（Ｓ２４でＹＥＳ）、制御部１０は、タイマーをクリアし（Ｓ２５）、終了処理があるか否かを判定する（Ｓ２６）。終了処理は、例えば、開いているファイルを閉じる操作、保存する操作などである。終了処理がない場合（Ｓ２６でＮＯ）、制御部１０は、ステップＳ１５以降の処理を続け、終了処理があった場合（Ｓ２６でＹＥＳ）、処理を終了する。

図１６、図１７及び図１８は本実施の形態の手書入力装置１００による検索処理の手順の一例を示すフローチャートである。制御部１０は、検索処理を行うための管理画面（例えば、図１０に例示）を表示し（Ｓ４１）、検索キーワード（検索文字情報）の入力（例えば、手書き入力）の有無を判定する（Ｓ４２）。検索キーワードの入力がない場合（Ｓ４２でＮＯ）、制御部１０は、ステップＳ４２の処理を続ける。

検索キーワードの入力があった場合（Ｓ４２でＹＥＳ）、制御部１０は、手書きＤＢ及び元ファイルテキストＤＢを参照して検索キーワードをテキストデータに含んでいるノート（ファイル）を検索する（Ｓ４３）。制御部１０は、検索キーワードと一致するテキストデータを含むノート（ファイル）の有無を判定する（Ｓ４４）。

検索キーワードと一致するテキストデータを含むノート（ファイル）がある場合（Ｓ４４でＹＥＳ）、制御部１０は、ノートのサムネイルとノート名を表示する（Ｓ４５）。検索キーワードと一致するテキストデータを含むノート（ファイル）がない場合（Ｓ４４でＮＯ）、制御部１０は、該当するノート（ファイル）がない旨を表示し（Ｓ４６）、処理を終了する。制御部１０は、ノートの選択の有無を判定し（Ｓ４７）、ノート（ファイル）の選択がない場合（Ｓ４７でＮＯ）、ステップＳ４７の処理を続ける。

ノート（ファイル）の選択があった場合（Ｓ４７でＹＥＳ）、制御部１０は、手書きＤＢ及び元ファイルテキストＤＢを参照して選択されたノート（ファイル）を対象に検索キーワードをテキストデータに含んでいるページを検索する（Ｓ４８）。制御部１０は、検索キーワードと一致するテキストデータを含むページ（頁）の有無を判定する（Ｓ４９）。

検索キーワードと一致するテキストデータを含むページ（頁）がある場合（Ｓ４９でＹＥＳ）、制御部１０は、ページのサムネイルとページ番号を表示する（Ｓ５０）。検索キーワードと一致するテキストデータを含むページがない場合（Ｓ４９でＮＯ）、制御部１０は、該当するページがない旨を表示し（Ｓ５１）、処理を終了する。制御部１０は、ページの選択の有無を判定し（Ｓ５２）、ページの選択がない場合（Ｓ５２でＮＯ）、ステップＳ５２の処理を続ける。

ページの選択があった場合（Ｓ５２でＹＥＳ）、制御部１０は、手書きＤＢ及び元ファイルテキストＤＢを参照して選択されたページを対象に検索キーワードと一致する最初のテキストデータを検索する（Ｓ５３）。制御部１０は、テキストデータの有無を判定する（Ｓ５４）。

テキストデータがない場合（Ｓ５４でＮＯ）、制御部１０は、処理を終了する。テキストデータがある場合（Ｓ５４でＹＥＳ）、制御部１０は、テキストデータは、手書き文字を変換したものであるか否かを判定し（Ｓ５５）、手書き文字を変換したものである場合（Ｓ５５でＹＥＳ）、手書きオブジェクト座標で特定されるエリアをハイライト表示（強調表示）してページを表示し（Ｓ５６）、処理を終了する。

手書き文字を変換したものでない場合（Ｓ５５でＮＯ）、制御部１０は、スタート座標、テキストデータ数、フォントサイズで特定されるエリアをハイライト表示（強調表示）してページを表示し（Ｓ５７）、処理を終了する。スタート座標、テキストデータ数、フォントサイズで特定されるエリアとは、キーボード等により入力された文字を変換した文字データを囲む領域であり、文字データのスタート座標（先頭位置の座標）、文字数、フォントサイズにより特定することができる。

本実施の形態の手書入力装置１００が行う処理は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図１４から図１８に示すような各処理手順を定めたコンピュータプログラムを記録した記録媒体を、コンピュータに備えられた記録媒体読取装置で読み取ることにより、当該コンピュータプログラムをＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で手書入力装置を実現することができる。

（実施の形態２）
実施の形態１では、手書入力装置として、タブレット端末のような装置を例として挙げて説明したが、手書入力装置は、タブレット端末などに限定されるものではなく、複数のユーザで情報を共有することができる大型の表示面を備える表示装置にも適用することができる。

図１９は実施の形態２の手書入力装置１２０の外観の一例を示す説明図である。実施の形態２では、手書入力装置１２０は、大型（例えば、６０インチ、７０インチ、８０インチなど）の表示部２１６を備えるタッチパネル装置である。

表示部２１６の周囲には、赤外光を発する発光ダイオードを複数有する発光部、及び赤外光を受光するフォトダイオードを複数有する受光部を周設してある。ユーザが、タッチペン又は指などで表示部１６をタッチ（接触）すると、タッチした位置に応じて発光部からの赤外光が遮光され、タッチ位置を検出することができる。なお、実施の形態２の手書入力装置１２０においても、図２から図１８で例示したのと同等の作用効果を奏するので、説明は省略する。

上述のとおり、実施の形態１、２の手書入力装置にあっては、手書き入力により書込んだ文字を対象に検索することができ、手書き文字が記録されたファイル、ファイルの中の頁、頁中の文字を容易に見つけることができ、データの整理又は管理を簡単に行うことができユーザの利便性が向上する。また、本発明の上述の各実施の形態で記載されている技術特徴は、お互いに組み合わせて新しい技術方案を形成することができる。

本実施の形態の手書入力装置（１００、１２０）は、手書き入力が可能な表示面（１６、２１６）を備える手書入力装置であって、一のファイルを構成する１又は複数の頁を前記表示面に表示するファイル表示部（１１）と、該ファイル表示部で表示された１又は複数の頁に入力された手書き文字を文字データに変換する文字変換部（１４）と、該文字変換部で変換した文字データと前記ファイルとを関連付けて記憶する記憶部（１５）とを備えることを特徴とする。

本実施の形態の手書入力装置（１００、１２０）による手書入力方法は、手書き入力が可能な表示面（１６、２１６）を備える手書入力装置による手書入力方法であって、一のファイルを構成する１又は複数の頁をファイル表示部（１１）が前記表示面に表示するステップと、表示された１又は複数の頁に入力された手書き文字を文字変換部（１４）が文字データに変換するステップ、変換された文字データと前記ファイルとを関連付けて記憶部（１５）に記憶するステップとを含むことを特徴とする。

本実施の形態にあっては、ファイル表示部（１１）は、一のファイルを構成する１又は複数の頁を表示面（１６、２１６）に表示する。一のファイル（ノートとも称する）は、新規に作成するために表示するものでもよく、あるいは、既に作成されたものを、例えば、編集するために表示するものでもよい。文字変換部（１４）は、表示面に表示された１又は複数の頁に入力された手書き文字を文字データに変換する。すなわち、手書き入力が可能な表示面に頁を表示させ、表示させた頁にペン又は指等で手書き文字を書込む。表示面に手書き文字を書込むと、ペン又は指の軌跡が表示面に描画されるとともに、軌跡に応じたストローク情報が取得される。文字変換部は、ストローク情報に基づいて文字を認識し、手書き文字を文字データ（テキストデータとも称する）に変換する。

変換された文字データは、ファイルと関連付けて記憶部（１５）に記憶する。ファイルと関連付けて記憶するとは、例えば、ファイルが１又は複数の頁で構成される場合、手書き入力を変換して得られた文字データそれぞれを、ファイル名（ノート名とも称する）、頁（ページ、ページ番号とも称する）、頁での位置（例えば、頁をｘｙ座標で表す場合、文字データのｘ座標、ｙ座標）等と関連付けることである。手書き入力された文字が文字データに変換されてファイルに関連付けて記憶されるので、例えば、記憶された文字データを検索用の検索文字データ（検索キーワードとも称する）で検索することができる。これにより、ファイル名に手書き入力で書込んだ文字の全部又は一部を含める必要がなく、また、検索対象とする文字数に何らの制限もないので、ファイルを効率良く検索することができ、ユーザの利便性が向上する。

本実施の形態の手書入力装置（１００、１２０）は、前記ファイルを検索するための検索文字を受け付ける受付部（１１、１２）と、該受付部で受け付けた検索文字に基づいて前記記憶部に記憶したファイルを検索する検索部（１７）とを備えることを特徴とする。

本実施の形態にあっては、受付部（１１、１２）は、ファイルを検索するための検索文字を受け付ける。検索文字は、手書き入力される文字でもよく、キーボード等により入力される文字でもよい。検索部（１７）は、受付部で受け付けた検索文字に基づいて記憶部に記憶したファイルを検索する。ファイルには、手書き入力を変換した文字データが関連付けられているので、ファイルを効率良く検索することができ、ユーザの利便性が向上する。

本実施の形態の手書入力装置（１００、１２０）は、前記受付部（１１、１２）は、前記検索文字として手書き文字を入力するための検索画面を前記表示面に表示するようにしてあり、前記文字変換部（１４）は、前記検索画面に入力された手書き文字を検索のための検索文字データに変換するようにしてあり、前記検索部（１７）は、前記文字変換部で変換した検索文字データに基づいて前記記憶部（１５）に記憶したファイルを検索するようにしてあることを特徴とする。

本実施の形態にあっては、受付部（１１、１２）は、検索文字として手書き文字を入力するための検索画面を表示面に表示する。これにより、ユーザは、検索画面内でペン又は指で文字を書くことにより検索文字を入力することができる。文字変換部（１４）は、検索画面に入力された手書き文字を検索文字データに変換する。検索部（１７）は、文字変換部で変換した検索文字データに基づいて記憶部（１５）に記憶したファイルを検索する。ファイルには、手書き入力を変換した文字データが関連付けられているので、手書きでファイルを効率良く検索することができ、ユーザの利便性が向上する。

本実施の形態の手書入力装置（１００、１２０）は、前記検索部（１７）で検索した文字データと一致する文字データに関連付けられたファイルが特定された場合、該ファイルを縮小画像で表示する縮小画像表示部（１８）を備えることを特徴とする。

本実施の形態にあっては、縮小画像表示部（１８）は、検索部（１７）で検索した文字データと一致する文字データに関連付けられたファイルが特定された場合、特定されたファイルを縮小画像（サムネイルとも称する）で表示する。ファイルの縮小画像は、例えば、ファイルの１頁目の画像を縮小したものでもよく、検索文字データと一致する文字データを含む頁の縮小画像でもよい。また、複数のファイルが特定された場合には、複数のファイルそれぞれの縮小画像を表示することができる。ファイルの縮小画像を表示することにより、多くのファイルを検索する場合、あるいは１つのファイルが多くの頁で構成されている場合に、検索文字データと一致する文字データに関連付けられたファイルが多く特定されたときにも、多くのファイルを同時に一覧として表示することができる。そして、所望のファイルを容易に見つけることができるので、ユーザの利便性が向上する。

本実施の形態の手書入力装置（１００、１２０）は、前記検索部（１７）で検索した文字データと一致する文字データに関連付けられた複数のファイルが特定された場合、該複数のファイルの縮小画像を選択する操作を受け付けるファイル選択部（１２）を備え、前記縮小画像表示部（１８）は、前記ファイル選択部で前記操作を受け付けた場合、選択された縮小画像に対応するファイルを構成する頁のうち、前記検索文字データと一致する文字データを含む１又は複数の頁それぞれの縮小画像を表示するようにしてあることを特徴とする。

本実施の形態にあっては、ファイル選択部（１２）は、検索部（１７）で検索した文字データと一致する文字データに関連付けられた複数のファイルが特定された場合、特定された複数のファイルの縮小画像を選択する操作を受け付ける。例えば、ユーザが、表示面に表示されたファイルの縮小画像に触れる（タッチする）ことにより、縮小画像を選択することができる。縮小画像表示部（１８）は、ファイル選択部で選択操作を受け付けた場合、選択された縮小画像に対応するファイルを構成する頁のうち、検索文字データと一致する文字データを含む１又は複数の頁それぞれの縮小画像を表示する。頁の縮小画像を表示することにより、多くのファイルを検索する場合、あるいは１つのファイルが多くの頁で構成されている場合に、検索文字データと一致する文字データに関連付けられた頁が多く特定されたときにも、多くの頁を同時に一覧として表示することができる。そして、所望の頁を容易に見つけることができるので、ユーザの利便性が向上する。

本実施の形態の手書入力装置（１００、１２０）は、前記表示面に表示された１又は複数の頁それぞれの縮小画像を選択する操作を受け付ける頁選択部（１２）と、該頁選択部で前記操作を受け付けた場合、選択された縮小画像に対応する頁に含まれる前記検索文字データと一致する文字データを、該頁に含まれる他の文字データと異なる表示態様で表示する表示制御部（１１）とを備えることを特徴とする。

本実施の形態にあっては、頁選択部（１２）は、表示面に表示された１又は複数の頁それぞれの縮小画像を選択する操作を受け付ける。例えば、ユーザが、表示面に表示された頁の縮小画像に触れる（タッチする）ことにより、縮小画像を選択することができる。表示制御部（１１）は、頁選択部で選択操作を受け付けた場合、選択された縮小画像に対応する頁に含まれる検索文字データと一致する文字データを、選択された縮小画像に対応する頁に含まれる他の文字データ（すなわち、検索文字データと一致しない文字データ）と異なる表示態様で表示する。すなわち、検索文字データと一致する文字データと、一致しない文字データとを異なる表示態様で表示する。異なる表示態様で表示するとは、例えば、検索文字データと一致する文字データは強調して表示し、一致しない文字データは強調することなく表示することである。強調して表示させることにより、ユーザが認識しやすくなり、検索する文字を素早く見つけることができ、ユーザの利便性が向上する。

本実施の形態の手書入力装置（１００、１２０）は、前記ファイル表示部（１１）が一のファイルを構成する１又は複数の頁を前記表示面に表示した場合、該ファイルに含まれ、手書き文字を変換した文字データと異なる文字データを抽出する抽出部（１９）と、該抽出部で抽出した文字データと前記ファイルとを関連付けて記憶する記憶部（１５）とを備えることを特徴とする。

本実施の形態にあっては、抽出部（１９）は、ファイル表示部（１１）が一のファイルを構成する１又は複数の頁を表示面に表示した場合、表示したファイルに含まれ、手書き文字を変換した文字データと異なる文字データを抽出する。手書き文字を変換した文字データと異なる文字データとは、手書き入力された文字が変換された文字データではなく、キーボード等により入力された文字が変換された文字データである。

抽出された文字データは、ファイルと関連付けて記憶部（１５）に記憶する。ファイルと関連付けて記憶するとは、例えば、ファイルが１又は複数の頁で構成される場合、キーボード入力された文字を変換して得られた文字データそれぞれを、ファイル名（ノート名とも称する）、頁（ページ、ページ番号とも称する）、頁での位置（例えば、頁をｘｙ座標で表す場合、文字データの位置のｘ座標及びｙ座標）、フォントサイズ等と関連付けることである。キーボード入力された文字が文字データに変換されてファイルに関連付けて記憶されるので、例えば、記憶された文字データを検索用の検索文字データ（検索キーワードとも称する）で検索することができる。これにより、文字データを有するファイルを効率良く検索することができ、ユーザの利便性が向上する。

１０ 制御部
１１ 画面制御部
１２ タッチ検出部
１３ 手書き入力部
１４ 文字変換部
１５ 記憶部
１６、２１６ 表示部
１７ 検索部
１８ サムネイル制御部
１９ 抽出部

Claims (8)

1. 手書き入力が可能な表示面を備える手書入力装置であって、
   一のファイルを構成する１又は複数の頁を前記表示面に表示するファイル表示部と、
   該ファイル表示部で表示された１又は複数の頁に入力された手書き文字を文字データに変換する文字変換部と、
   該文字変換部で変換した文字データと前記ファイルとを関連付けて記憶する記憶部と
   を備えることを特徴とする手書入力装置。
2. 前記ファイルを検索するための検索文字を受け付ける受付部と、
   該受付部で受け付けた検索文字に基づいて前記記憶部に記憶したファイルを検索する検索部と
   を備えることを特徴とする請求項１に記載の手書入力装置。
3. 前記受付部は、
   前記検索文字として手書き文字を入力するための検索画面を前記表示面に表示するようにしてあり、
   前記文字変換部は、
   前記検索画面に入力された手書き文字を検索のための検索文字データに変換するようにしてあり、
   前記検索部は、
   前記文字変換部で変換した検索文字データに基づいて前記記憶部に記憶したファイルを検索するようにしてあることを特徴とする請求項２に記載の手書入力装置。
4. 前記検索部で検索した文字データと一致する文字データに関連付けられたファイルが特定された場合、該ファイルを縮小画像で表示する縮小画像表示部を備えることを特徴とする請求項３に記載の手書入力装置。
5. 前記検索部で検索した文字データと一致する文字データに関連付けられた複数のファイルが特定された場合、該複数のファイルの縮小画像を選択する操作を受け付けるファイル選択部を備え、
   前記縮小画像表示部は、
   前記ファイル選択部で前記操作を受け付けた場合、選択された縮小画像に対応するファイルを構成する頁のうち、前記検索文字データと一致する文字データを含む１又は複数の頁それぞれの縮小画像を表示するようにしてあることを特徴とする請求項４に記載の手書入力装置。
6. 前記表示面に表示された１又は複数の頁それぞれの縮小画像を選択する操作を受け付ける頁選択部と、
   該頁選択部で前記操作を受け付けた場合、選択された縮小画像に対応する頁に含まれる前記検索文字データと一致する文字データを、該頁に含まれる他の文字データと異なる表示態様で表示する表示制御部と
   を備えることを特徴とする請求項５に記載の手書入力装置。
7. 前記ファイル表示部が一のファイルを構成する１又は複数の頁を前記表示面に表示した場合、該ファイルに含まれ、手書き文字を変換した文字データと異なる文字データを抽出する抽出部と、
   該抽出部で抽出した文字データと前記ファイルとを関連付けて記憶する記憶部と
   を備えることを特徴とする請求項１から請求項６までのいずれか１項に記載の手書入力装置。
8. 手書き入力が可能な表示面を備える手書入力装置による手書入力方法であって、
   一のファイルを構成する１又は複数の頁をファイル表示部が前記表示面に表示するステップと、
   表示された１又は複数の頁に入力された手書き文字を文字変換部が文字データに変換するステップ、
   変換された文字データと前記ファイルとを関連付けて記憶部に記憶するステップと
   を含むことを特徴とする手書入力方法。

Images