JP2017107488A - スキャンシステム、スキャン画像処理装置及びスキャン方法 - Google Patents

Abstract

【課題】簡便な操作で、スキャン対象の媒体における種類の異なる情報を適切な形式で保存すること。
【解決手段】本発明に係るスキャンシステム９は、スキャン対象の媒体を連続的にスキャンすることで生成された複数の画像情報を取得する画像取得部９１と、画像取得部９１が取得した複数の画像情報に基づいて、媒体をスキャンした軌跡を算出する軌跡算出部９２と、軌跡算出部９２が算出した軌跡に応じて、複数の画像情報の処理方法を決定する処理方法決定部９３と、処理方法決定部９３が決定した処理方法で複数の画像情報を処理することで、当該複数の画像情報を当該処理方法に応じた形式の情報に変換する処理部９４とを備える。
【選択図】図３６

Description

本発明は、スキャンシステム、スキャン画像処理装置及びスキャン方法に関し、例えば、媒体をスキャンする技術に関する。

読書をする際、文章（本文）中の重要だと感じた部分又は疑問に思った部分、もしくは、図面など、紙書籍中に含まれる情報に対して、ペンによってマーキングを行っている人が多い。

一方で、電子書籍では、マーキング（ハイライト）機能が提供されている。電子書籍では、書籍の内容が既に電子データ化されているため、ハイライト機能を使用することで、ユーザーが抜粋した本文の保存及び検索などを簡便に行うことができる。

紙書籍でも、電子書籍のように、簡便に紙書籍の一部を電子化して保存したいというニーズがある。このようなニーズに対して、特許文献１には、簡単なシステムを用いて文書と電子化文書との間でのデータの変換を可能にすることを目的とした技術が開示されている。

特許文献１に開示のカレンダーブックシステムは、ペン装置と親機で構成されている。このペン装置は、３つの光学センサ（ＣＣＤアレイ）を有している。１つ目の光学センサは、ペン装置の長さに沿って直線的な側面に取り付けられている。２つ目の光学センサは、ペン装置のペン先又はペン先の一側面に取り付けられている。３つ目の光学センサは、ペン装置の後方端部に取り付けられている。例えば、ページの大きい部分を走査するためには、１つ目の光学センサが用いられる。例えば、予め印刷してあるマークを認識することにより文書の局部的内容を識別するためには、２つ目の光学センサが用いられる。

光センサの出力は、ペン装置の送信機によってセンサ信号として親機に送信される。親機は、ペン装置と通信し、センサ信号を受信する。これにより、親機は、ユーザーの文書を電子化文書として取り込むことができる。

特開２００４−３０３２５４号公報

ここで、紙書籍においては、本文、図面、及び、その本文又は図面が記載されたページのページ番号等のように、種類の異なる情報が存在する。そして、これらの種類の異なる情報のそれぞれに対し、その種類に応じて適切な形式で保存をしたいというニーズが存在する。例えば、ユーザーによっては、本文とページ番号は電子テキストで保存し、図面は電子画像で保存したい、といったことを望む場合もある。

しかしながら、特許文献１に開示の技術は、スキャンした文章を、電子化文書のみでしか保存することができない。すなわち、特許文献１には、スキャン対象の媒体における種類の異なる情報を適切な形式で保存する技術は開示されていない。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施の形態によれば、スキャンシステムは、スキャン対象の媒体を連続的にスキャンすることで生成された複数の画像情報を、前記媒体をスキャンした軌跡に応じて決定した処理方法で処理することで、当該処理方法に応じた形式の情報に変換するものである。

前記一実施の形態によれば、簡便な操作で、スキャン対象の媒体における種類の異なる情報を適切な形式で保存することができる。

実施の形態１に係るスキャンシステムの概要構成を示す図である。 実施の形態１に係るペン型スキャナのハードウェア構成を示す図である。 実施の形態１に係るペン型スキャナのペンアップ時及びペンダウン時の状態を示す図である。 実施の形態１に係るペン型スキャナの状態遷移図である。 実施の形態１に係るペン型スキャナの移動軌跡及びベクトルの算出方法を示す図である。 実施の形態１に係るペン型スキャナの移動軌跡の算出方法をより具体的に示す図である。 実施の形態１に係るスキャンシステムの詳細構成を示す図である。 実施の形態１に係るペン型スキャナの移動軌跡のベクトルの算出方法、及び、その移動軌跡の判定方法を示す図である。 実施の形態１に係るスキャンシステムのスキャン処理を示すフローチャートである。 実施の形態１に係るスキャンシステムの効果を説明するための図である。 実施の形態２に係るペン型スキャナのハードウェア構成を示す図である。 本実施の形態２に係る動作状態及び移動軌跡と、処理方法との関係を示す図である。 実施の形態２に係るスキャンシステムの詳細構成を示す図である。 実施の形態２に係るスキャンシステムのスキャン処理を示すフローチャートである。 実施の形態３に係るスキャンシステムの詳細構成を示す図である。 実施の形態３に係るスキャンシステムのスキャン処理を示すフローチャートである。 実施の形態３に係るサーバーの記憶手段に格納される情報の一例を示す図である。 実施の形態４に係るスキャンシステムの詳細構成を示す図である。 実施の形態４に係るスキャンシステムのスキャン処理を示すフローチャートである。 実施の形態５に係るスキャンシステムの詳細構成を示す図である。 実施の形態５に係るスキャンシステムの前処理を示すフローチャートである。 実施の形態５に係るスキャンシステムのスキャン処理を示すフローチャートである。 実施の形態５に係るサーバーの記憶手段に格納される情報の一例を示す図である。 実施の形態５の変形例１に係るスキャンシステムの詳細構成を示す図である。 実施の形態５の変形例１に係るスキャンモード時のスキャン処理を示すフローチャートである。 実施の形態５の変形例１に係るサーバーの詳細構成を示す図である。 実施の形態６に係るペン型スキャナのハードウェア構成を示す図である。 実施の形態６に係るスキャンシステムの詳細構成を示す図である。 実施の形態７に係るスキャンシステムの詳細構成を示す図である。 実施の形態７に係る閲覧モードにおいて、スキャンで入力する情報と、その情報に応じて出力される情報との関係を示す図である。 実施の形態７に係るスキャンシステムの効果を説明するための図である。 実施の形態８に係るスキャンシステムの処理方法を示す図である。 実施の形態８に係るスキャンシステムの詳細構成を示す図である。 実施の形態８の変形例１に係るスキャンモード時のスキャン処理を示すフローチャートである。 実施の形態８の変形例１に係るスキャンモード時のスキャン処理を示すフローチャートである。 実施の形態の概略構成となるスキャンシステムの構成を示す図である。

以下、図面を参照しながら、好適な実施の形態について説明する。以下の実施の形態に示す具体的な数値などは、実施の形態の理解を容易とするための例示にすぎず、特に断る場合を除き、それに限定されるものではない。また、以下の記載及び図面では、説明の明確化のため、当業者にとって自明な事項などについては、適宜、省略及び簡略化がなされている。

＜実施の形態１＞
まず、図１を参照して、本実施の形態１に係るスキャンシステム１の概要構成について説明する。図１に示すように、スキャンシステム１は、ペン型スキャナ２と、スマートフォン３と、サーバー４とを有する。

ペン型スキャナ２とスマートフォン３は、例えば、任意の無線通信を介して、相互に任意の情報を送受信する。この無線通信には、Ｂｌｕｅｔｏｏｔｈ又は無線ＬＡＮ（Local Area Network）などの近距離無線通信を利用することができる。また、スマートフォン３とサーバー４は、例えば、任意の無線通信及び任意の有線通信を介して、相互に任意の情報を送受信する。この無線通信には、例えば、３ＧＰＰ（Third Generation Partnership Project）又はＬＴＥ（Long Term Evolution）などの移動体通信（長距離無線通信）を利用することができる。この有線通信には、例えば、インターネットによる通信を利用することができる。

ペン型スキャナ２は、スキャン対象となる媒体（以下、単に「媒体」とも呼ぶ）をスキャンする装置である。ペン型スキャナ２は、ユーザーからの操作に応じて、媒体における任意の部分をスキャンし、スキャンした部分が電子画像化された画像情報を生成する。ユーザーがペン型スキャナ２によって媒体においてスキャンする部分をなぞることで、ペン型スキャナ２は、その部分を連続的にスキャンし、複数の画像情報を生成する。ペン型スキャナ２は、生成した複数の画像情報をスマートフォン３に送信する。

この際に、ペン型スキャナ２は、生成した複数の画像情報に基づいて、媒体をスキャンしたときのペン型スキャナ２の移動軌跡を算出する。ペン型スキャナ２は、算出した移動軌跡に関する情報もスマートフォン３に送信する。

ここで、スキャン対象となる媒体は、典型的には、紙書籍である。ユーザーは、電子化された情報としてサーバー４上に保存したい場合、紙書籍中の任意の部分（本文、ページ番号、図など）を、ペン型スキャナ２によってスキャンする。

スマートフォン３は、ペン型スキャナ２から受信した複数の画像情報に対して、所定の処理を実行する情報処理装置である。ここで、スマートフォン３は、ペン型スキャナ２から受信した移動軌跡に関する情報に基づいて、予め用意された複数の処理方法のうちから、複数の画像情報に対して実行する処理方法を決定する。そして、スマートフォン３は、決定した処理方法で複数の画像情報を処理することで、その処理方法に応じた形式の情報に変換する。

ここで、情報を変換するための所定の処理として、光学文字認識（ＯＣＲ：Optical Character Recognition）及びｊｐｇ化（Joint Photographic experts Group）等の処理が用意されている。すなわち、ユーザーが、種類の異なる情報を異なる移動軌跡でスキャンすることで、種類の異なる情報を異なる形式の情報に変換することができる。よって、種類の異なる情報を、それぞれに適した形式で保存することができる。

スマートフォン３は、この変換後の情報に属性を付与し、サーバー４に送信する。すなわち、スマートフォン３は、変換後の情報に対して、その情報の種類（本文か、図面か、ページ番号か、等）を示す属性情報を含め、サーバー４に送信する。

以下、本実施の形態では、ペン型スキャナ２が生成した画像情報を処理してサーバー４に送信する情報処理装置として、スマートフォンを用いた例について説明するが、情報処理装置の種類は、これに限られない。この情報処理装置として、例えば、ＰＣ（Personal Computer）又は一般に「タブレット」と呼称される、タッチパネルを備えた情報端末等を用いてもよい。情報処理装置がＰＣである場合には、ＰＣとサーバー４は、例えば、有線通信（例えばインターネットによる通信）を介して通信可能とされる。また、情報処理装置がタブレットである場合には、タブレットとサーバー４は、例えば、無線通信（例えば無線ＬＡＮ）、及び、有線通信（例えばインターネット）を介して通信可能とされる。

サーバー４は、スマートフォン３から受信した変換後の情報を保存する情報処理装置である。ここで、サーバー４は、複数のユーザーのそれぞれがスキャンをすることで得られた複数の変換後の情報をまとめて保存することもできる。

例えば、上述のペン型スキャナ２及びスマートフォン３は、同一のユーザーによって所有される。他のユーザーも、上述のペン型スキャナ２及びスマートフォン３を所有することができる。よって、サーバー４は、異なるユーザーによって所有される複数のスマートフォン３のそれぞれから受信した複数の変換後の情報を保存することもできる。

続いて、図２を参照して、本実施の形態１に係るペン型スキャナ２のハードウェア構成について説明する。図２に示すように、ペン型スキャナ２は、レンズ１０と、イメージセンサ１１と、ペンダウン検出装置１２と、ＭＣＵ１３と、メモリ１４と、送受信機１５とを有する。

レンズ１０は、光源（図示せず）によって照らされた媒体の一部の像をイメージセンサ１１上に結像する。イメージセンサ１１は、レンズによって結像された像を光電変換し、画像情報を生成する。言い換えると、イメージセンサ１１は、媒体の一部（例えば紙書籍の紙面の一部）を撮像（スキャン）し、その媒体の一部を、電子化された画像として示す画像情報を生成し、ＭＣＵ１３に出力する。１つの画像情報が示す１つの画像は、例えば、紙書籍に記載された文章の一部の文字（例えば、１文字もしくは１文字の一部）、又は、図面の一部を示す画像となる。ここで、イメージセンサ１１は、所定時間間隔毎にスキャンをして画像情報を生成する。以下、この所定時間間隔毎の各画像を「フレーム」とも呼ぶ。

ペンダウン検出装置１２は、ペン型スキャナ２がペンダウンされていることを検出する装置である。言い換えると、ペンダウン検出装置１２は、ペン型スキャナ２のペン先に設けられた撮像部（レンズ１０及びイメージセンサ１１）が媒体に対して、所定距離以下まで近接しているか否かを判定する。ペンダウン検出装置１２として、例えば、スイッチ又は圧力センサを利用することができる。

（１）ペンダウン検出装置１２として、スイッチを利用した場合
スイッチは、スイッチが押下されているか否かを示す通知信号を生成し、ＭＣＵ１３に出力する。スイッチの接触面が媒体に押し付けられている場合、すなわち、スイッチが押下されている場合、スイッチは、スイッチが押下されていることを示す通知信号を生成し、ＭＣＵ１３に出力する。一方、スイッチの接触面が媒体に押し付けられていない場合、すなわち、スイッチが押下されていない場合、スイッチが押下されていないことを示す通知信号を生成してＭＣＵ１３に出力する。

ＭＣＵ１３は、スイッチが押下されていることを示す通知信号が、スイッチから入力されている場合、ペン型スキャナ２がペンダウンされていると判定する。一方、ＭＣＵ１３は、スイッチが押下されていないことを示す通知信号が、スイッチから入力されている場合、ペン型スキャナ２がペンアップされていると判定する。

（２）ペンダウン検出装置１２として、圧力センサを利用した場合
圧力センサは、媒体から加えられている圧力を検出し、検出した圧力を示す通知信号を生成し、ＭＣＵ１３に出力する。圧力センサから入力される通知信号が示す圧力が所定の閾値以上である場合、ペン型スキャナ２がペンダウンされていると判定する。一方、ＭＣＵ１３は、圧力センサから入力される通知信号が示す圧力が所定の閾値未満である場合、ペン型スキャナ２がペンアップされていると判定する。

ＭＣＵ１３は、ペン型スキャナ２を制御する装置である。例えば、ＭＣＵ１３は、イメージセンサ１１が生成した画像情報を取得し、メモリ１４に格納する。メモリ１４は、各種データが格納される記憶装置である。

送受信機１５は、スマートフォン３との間で、無線によって各種データを送受信する装置である。例えば、送受信機１５は、メモリ１４に格納された画像情報を、電気信号から無線信号に変換し、スマートフォン３に送信する。

これによれば、図３の右図に示すように、ユーザーが媒体をスキャンするために、ペン型スキャナ２のペン先を媒体に近づけた場合には、ペンダウン検出装置１２が媒体から押圧される。これにより、ＭＣＵ１３は、ペン型スキャナ２のペンダウンを認識することができる。一方、図３の左図に示すように、ユーザーが媒体のスキャンを止めるために、ペン型スキャナ２のペン先を媒体から遠ざけた場合には、ペンダウン検出装置１２が媒体から押圧されない。これにより、ＭＣＵ１３は、ペン型スキャナ２のペンアップを認識することができる。

続いて、図４を参照して、本実施の形態１に係るペン型スキャナ２の状態遷移について説明する。ペン型スキャナ２は、「アイドル状態」、「初期化状態」、「画像及び軌跡取得状態」、「分析実行状態」の４つの状態を遷移する。ここでは、ペン型スキャナ２の初期状態が「アイドル状態」であるものとして説明する。

「アイドル状態」では、ペン型スキャナ２のＭＣＵ１３は、イメージセンサ１１によって生成される画像情報をメモリ１４に保存しない。ＭＣＵ１３は、ペンダウン検出装置１２からの通知信号に基づいて、ペン型スキャナ２がペンダウンされたと判定した場合、「初期化状態」に遷移する（Ｓ１）。

「初期化状態」では、ＭＣＵ１３は、メモリ１４を初期化する。より具体的には、前回のスキャンにおいて、メモリ１４に格納された画像情報、軌跡情報及びベクトル情報を、メモリ１４から削除する。なお、軌跡情報及びベクトル情報については、後述する。ＭＣＵ１３は、メモリ１４の初期化後、「画像及び軌跡取得状態」に遷移する（Ｓ２）。

「画像及び軌跡取得状態」では、ＭＣＵ１３は、随時、イメージセンサ１１によって生成される画像情報をメモリ１４に格納する。すなわち、上述したように、イメージセンサ１１は、所定時間間隔毎に画像情報を生成する。ＭＣＵ１３は、画像情報が生成される毎に、順次、画像情報をメモリ１４に格納する。ＭＣＵ１３は、ペンダウン検出装置１２からの通知信号に基づいて、ペン型スキャナ２がペンアップされたと判定した場合、「分析実行状態」に遷移する（Ｓ３）。

「分析実行状態」に遷移した場合、ＭＣＵ１３は、イメージセンサ１１によって生成される画像情報のメモリ１４への格納を止める。よって、メモリ１４には、ペン型スキャナ２がペンダウンされてからペンアップされるまでの間に、イメージセンサ１１によって生成された複数の画像情報が格納される。

「分析実行状態」では、ＭＣＵ１３は、「画像及び軌跡取得状態」中にメモリ１４に格納された複数の画像情報を分析し、ペン型スキャナ２の移動軌跡及びそのベクトルを算出する。より具体的には、図５に示す手順で分析を実行する。

（１）まず、ＭＣＵ１３は、複数の画像情報が示す複数の画像（複数のフレーム）のそれぞれにおいて、特徴点を抽出する。（２）次に、ＭＣＵ１３は、複数のフレーム間で同一の特徴点を照合することで、ペン型スキャナ２の移動軌跡を算出する。例えば、ＭＣＵ１３は、複数のフレーム間で同一の特徴点の位置を合わせて、それら複数のフレームを重ね合わせた場合における、各フレーム内における同一の座標位置の点（図５の例では各フレームの左上の黒点）を繋ぎ合わせた線を、ペン型スキャナ２の移動軌跡として算出する。ＭＣＵ１３は、算出した移動軌跡を示す軌跡情報を生成し、その軌跡情報の算出に使用した複数の画像情報と関連付けてメモリ１４に格納する。（３）そして、ＭＣＵ１３は、ペン型スキャナ２の移動軌跡を直線近似して、ペン型スキャナ２の動きを示すベクトル（いわゆる、動きベクトル）を算出する。ＭＣＵ１３は、算出したベクトルを示すベクトル情報を生成し、そのベクトル情報の算出に使用した複数の画像情報と関連付けてメモリ１４に格納する。

このベクトルの算出は、所定数のフレーム単位で行われる。言い換えると、ＭＣＵ１３は、メモリ１４に格納された複数の画像情報について、所定数の画像情報単位で、移動軌跡として算出した点からベクトルを算出する。これは、メモリ１４に格納された複数の画像情報を、時系列順に所定数単位に分けて、分けた単位毎に移動軌跡及びベクトルを算出してもよい。また、移動軌跡及びベクトルを算出する単位となる所定数の画像情報は、その一部が他の移動軌跡及びベクトルを算出する単位となる所定数の画像情報と重複していてもよい。なお、図５では、この所定数が５である例（例えば、図５の時間ｔ＝０〜時間ｔ＝４）について説明したが、これに限られない。

ここで、図６を参照して、ペン型スキャナ２の移動軌跡の算出方法について、より具体的に説明する。ペン型スキャナ２の移動軌跡の算出方法として、ここで説明するように、光学マウスで用いられる方法を利用することができる。

図６に示すように、フレームは、複数のピクセルを含む。図６では、説明の簡略化のため、６×６ピクセルのフレームを示しているが、実際のフレームのサイズはこれよりも大きいことは言うまでもない。また、図６では、上下方向と平行な軸がＹ軸であり、左右方向と平行な軸がＸ軸であると仮定する。図６に示すように、ＭＣＵ１３は、媒体において、濃淡差によって周辺と区別して識別できる点を、特徴点として抽出する。この濃淡差は、例えば、媒体の凹凸、又は、文字の有無などによって生じる。

図６では、時刻ｔ＝０から時刻ｔ＝１までに、フレーム内で、特徴点がＸ方向に＋２、Ｙ方向に＋１だけ動いている。時刻ｔ＝１から時刻ｔ＝２までに、フレーム内で、特徴点がＸ方向に＋２、Ｙ方向に−１だけ動いている。この場合、複数のフレーム間で同一の特徴点の位置を合わせて、それら複数のフレームを重ね合わせた場合における、各フレーム内の同一の座標位置（図６の例では最も右上のピクセル）の移動軌跡が、ペン型スキャナ２の移動軌跡として得られる。すなわち、ペン型スキャナ２の移動軌跡として、時刻ｔ＝０から時刻ｔ＝１までにＸ方向に−２、Ｙ方向に−１だけ移動し、時刻ｔ＝１から時刻ｔ＝２までにＸ方向に−２、Ｙ方向に＋１だけ移動した移動軌跡が得られる。

ＭＣＵ１３は、ベクトルの算出が終了したときに、メモリ１４に格納された複数の画像情報及び複数のベクトル情報を、送受信機１５を介してスマートフォン３に送信する。これによって、スマートフォン３は、ペン型スキャナ２から受信した複数のベクトル情報に基づいて、複数の画像情報に対して実行する処理方法を決定する。

なお、ここでは、軌跡情報をＭＣＵ１３が生成する例について説明したが、これに限られない。例えば、イメージセンサ１１として、光学マウスのイメージセンサを流用し、そのイメージセンサが有するＤＳＰ（Digital Signal Processor）によって生成される軌跡情報を取得するようにしてもよい。

続いて、図７を参照して、本実施の形態１に係るスキャンシステム１の詳細構成について説明する。

図７に示すように、ペン型スキャナ２は、画像取得手段２０と、軌跡算出手段２１と、ベクトル算出手段２２とを有する。

画像取得手段２０は、ペン型スキャナ２がペンダウンされている間、媒体をスキャンすることで、その媒体を画像として示す画像情報を順次生成し、保持する。すなわち、画像取得手段２０は、ペン型スキャナ２がペンダウンされている間にスキャンされた媒体の一部を複数の画像として示す複数の画像情報を生成し、保持する。画像取得手段２０は、ペン型スキャナ２がペンアップされたときに、保持していた複数の画像情報をスマートフォン３に送信する。すなわち、レンズ１０と、イメージセンサ１１、ペンダウン検出装置１２、ＭＣＵ１３、メモリ１４及び送受信機１５が、画像取得手段２０として動作する。

軌跡算出手段２１は、ペン型スキャナ２がペンアップされたときに、画像取得手段２０が保持している複数の画像情報に基づいて、ペン型スキャナ２の移動軌跡を算出する。すなわち、ペンダウン検出装置１２、ＭＣＵ１３及びメモリ１４が、軌跡算出手段２１として動作する。

ベクトル算出手段２２は、軌跡算出手段２１が算出したペン型スキャナ２の移動軌跡に基づいて、ペン型スキャナ２の移動軌跡における複数のベクトルを算出し、算出した複数のベクトルを示す複数のベクトル情報を生成する。ベクトル算出手段２２は、生成した複数のベクトル情報をスマートフォン３に送信する。すなわち、ＭＣＵ１３、メモリ１４及び送受信機１５が、ベクトル算出手段２２として動作する。

また、図７に示すように、スマートフォン３は、処理方法決定手段３０と、第１の選択手段３１と、第１の処理手段３２と、第２の処理手段３３と、第２の選択手段３４とを有する。

処理方法決定手段３０は、ペン型スキャナ２のベクトル算出手段２２から送信された複数のベクトル情報を受信する。処理方法決定手段３０は、受信した複数のベクトル情報が示す複数のベクトルに基づいて、ペン型スキャナ２の移動軌跡が直線であるか非直線であるかを判定する。

処理方法決定手段３０は、ペン型スキャナ２の移動軌跡が直線であると判定した場合、第１の処理手段３２が実行する第１の処理方法によって、ペン型スキャナ２から受信した複数の画像情報を処理すると判定する。一方、処理方法決定手段３０は、ペン型スキャナ２の移動軌跡が非直線であると判定した場合、第２の処理手段３３が実行する第２の処理方法によって、ペン型スキャナ２から受信した複数の画像情報を処理すると判定する。

ここで、図８を参照して、ペン型スキャナ２の移動軌跡のベクトルの算出方法、及び、ペン型スキャナ２の移動軌跡が直線であるか非直線であるかの判定方法について、より具体的に説明する。

例えば、図８に示すように、ペンダウンからペンアップまでの間、ユーザーが媒体を連続的にスキャンしたものとする。上述したように、所定数のフレーム単位毎に、ペン型スキャナ２の移動軌跡の複数のベクトルが算出される。処理方法決定手段３０は、例えば、このようにして算出されたベクトルの内積を算出することで、ペン型スキャナ２の移動軌跡が直線であるか非直線であるかを判定する。

処理方法決定手段３０は、複数のベクトルのうち、２つのベクトルを選択し、選択した２つのベクトルの内積を算出する。ここで、単純には、２つのベクトルの内積が、それら２つのベクトルの大きさの積と等しい場合、それら２つのベクトルが直線であると判定することができ、そうでない場合には、それら２つのベクトルが非直線であると判定することができる。しかしながら、このような判定方法によって非直線であると判定した場合には、ユーザーがペン型スキャナ２を直線的に移動させたつもりであっても、その移動軌跡が少しでも曲がっている場合には、全て非直線であると判定されてしまう。そのため、好ましくは、２つのベクトルの内積が、それら２つのベクトルの大きさの積の所定割合以上である場合、それら２つのベクトルが直線であると判定する。一方、２つのベクトルの内積が、それら２つのベクトルの大きさの積の所定割合未満である場合には、それら２つのベクトルが非直線であると判定するとよい。例えば、ユーザーがペン型スキャナ２によって媒体をスキャンする際に直線とみなす誤差を１５°とする場合、上記所定割合を０．９６６（＝ｃｏｓ１５°）としてもよい。

言い換えると、処理方法決定手段３０は、２つのベクトルの角度差が所定角度以下である場合、それら２つのベクトルが直線であると判定する。一方、処理方法決定手段３０は、２つのベクトルの角度差が所定角度よりも大きい場合、それら２つのベクトルが非直線であると判定する。

ここで、内積を算出する２つのベクトルの組み合わせとして、任意の組み合わせを採用することができる。例えば、複数のベクトルから２つのベクトルを選択する全ての組み合わせについて内積を算出するようにしてもよく、時間的に前後に隣接する２つのベクトルを選択する組み合わせについて内積を算出するようにしてもよい。

そして、処理方法決定手段３０は、全ての組み合わせについて、２つのベクトルの角度差が所定角度以下である場合、ペン型スキャナ２の移動軌跡が直線であると判定する。一方、処理方法決定手段３０は、少なくともいずれか１つの組み合わせについて、２つのベクトルの角度差が所定角度よりも大きい場合、ペン型スキャナ２の移動軌跡が非直線であると判定する。

第１の選択手段３１は、ペン型スキャナ２の画像取得手段２０から送信された複数の画像情報を受信する。第１の選択手段３１は、受信した複数の画像情報を、処理方法決定手段３０の判定結果に応じて、第１の処理手段３２及び第２の処理手段３３のうち、いずれか１つに出力する。より具体的には、第１の選択手段３１は、処理方法決定手段３０が第１の処理方法によって複数の画像情報を処理すると判定した場合、複数の画像情報を第１の処理手段３２に出力する。一方、第１の選択手段３１は、処理方法決定手段３０が第２の処理方法によって複数の画像情報を処理すると判定した場合、複数の画像情報を第２の処理手段３３に出力する。

第１の処理手段３２は、第１の処理方法として、複数の画像情報が示す複数の画像を結合し、結合によって生成された画像に含まれる文字列に対してＯＣＲを施して、その文字列が電子テキスト化されたテキスト情報を生成し、生成したテキスト情報に属性を付与する。テキスト情報は、例えば、テキストファイル（例えば拡張子が「ｔｘｔ」）、又は、任意のテキストエディタで使用できるファイル（例えば拡張子が「ｄｏｃ」、「ｄｏｃｘ」等）である。

第２の処理手段３３は、第２の処理方法として、複数の画像情報が示す複数の画像を結合し、結合によって生成された画像を圧縮して、圧縮された画像を示す圧縮画像情報を生成し、生成した圧縮画像情報に属性を付与する。この生成される圧縮画像情報は、例えば、ＪＰＧファイル、ＧＩＦ（Graphics Interchange Format）ファイル、又は、ＰＮＧ（Portable Network Graphics）ファイル等である。以下、本実施の形態では、圧縮画像情報として、ＪＰＧファイルを生成する例について説明する。

ここで、第１の処理手段３２及び第２の処理手段３３のそれぞれは、複数の画像間で同一の特徴点の位置を合わせて重ね合わせた状態で、それら複数の画像を結合する。これによれば、複数の画像間で同一の内容となる部分を重ね合わせて、それら複数の画像を結合することができる。

第２の選択手段３４は、処理方法決定手段３０の判定結果に応じて、第１の処理手段３２が実行する第１の処理方法、及び、第２の処理手段３３が実行する第２の処理方法のうち、いずれか１つによって生成されたテキスト情報又は圧縮画像情報を取得する。第２の選択手段３４は、取得したテキスト情報又は圧縮画像情報をサーバー４に送信する。

ここで、例えば、スマートフォン３が有するＣＰＵ（Central Processing Unit）が、スマートフォン３が有する記憶手段（図示せず）に格納されたプログラムを実行することで、上述の各手段３０〜３４として動作する。すなわち、このプログラムは、上述の各手段３０〜３４としての処理をＣＰＵに実行させる複数の命令を含んでいる。また、記憶手段は、例えば、揮発性メモリ、ハードディスク、及び、フラッシュメモリ（不揮発性メモリ）等の記憶装置のうち、少なくとも１つを含む。

図７に示すように、サーバー４は、情報制御手段４０と、記憶手段４１とを有する。

情報制御手段４０は、スマートフォン３の第２の選択手段３４から送信されたテキスト情報又は圧縮画像情報を受信する。情報制御手段４０は、受信したテキスト情報又は圧縮画像情報を記憶手段４１に格納する。

記憶手段４１は、上述したように、テキスト情報又は圧縮画像情報が格納される。記憶手段４１は、例えば、揮発性メモリ、ハードディスク、及び、フラッシュメモリ（不揮発性メモリ）等の記憶装置のうち、少なくとも１つを含む。

ここで、例えば、サーバー４が有するＣＰＵが、サーバー４が有する記憶手段４１に格納されたプログラムを実行することで、上述の情報制御手段４０として動作する。すなわち、このプログラムは、上述の情報制御手段４０としての処理をＣＰＵに実行させる複数の命令を含んでいる。

続いて、図９を参照して、実施の形態１に係るスキャンシステム１のスキャン処理について説明する。ここでの説明では、ユーザーは、紙書籍のページ番号をスキャンする場合には、ペン型スキャナ２を直線的な移動軌跡で移動させてページ番号をスキャンするものとする。また、ユーザーは、紙書籍の本文をスキャンする場合には、ペン型スキャナ２を非直線的な移動軌跡で移動させて本文をスキャンするものとする。

ペン型スキャナ２の画像取得手段２０は、ユーザーからペン型スキャナ２に対して媒体をスキャンする操作が行われるのを待ち合わせる（Ｓ１１、Ｓ１２：Ｎｏ）。すなわち、画像取得手段２０は、ペン型スキャナ２がペンダウンされるのを待ち合わせる。

画像取得手段２０は、ユーザーからペン型スキャナ２に対して媒体をスキャンする操作が行われた場合（Ｓ１２：Ｙｅｓ）、媒体のスキャンを開始する（Ｓ１３）。画像取得手段２０は、ユーザーからペン型スキャナ２に対して媒体のスキャンを終了する操作が行われるまで、スキャンした媒体の画像を示す画像情報の生成・保持を繰り返す（Ｓ１３、Ｓ１４：Ｎｏ）。

画像取得手段２０は、ユーザーからペン型スキャナ２に対して媒体のスキャンを終了する操作が行われた場合（Ｓ１４：Ｙｅｓ）、媒体のスキャンを終了する。すなわち、画像取得手段２０は、ペン型スキャナ２がペンアップされた場合、画像情報の生成・保持を停止する。

軌跡算出手段２１は、画像取得手段２０が保持している複数の画像情報に基づいて、ペン型スキャナ２の移動軌跡を算出する（Ｓ１５）。ベクトル算出手段２２は、軌跡算出手段２１が算出したペン型スキャナ２の移動軌跡に基づいて、ペン型スキャナ２の移動軌跡における複数のベクトルを算出し、算出した複数のベクトルを示す複数のベクトル情報を生成する。スマートフォン３の処理方法決定手段３０は、ベクトル算出手段２２が生成した複数のベクトル情報が示す複数のベクトルに基づいて、ペン型スキャナ２の移動軌跡が直線であるか否かを判定する（Ｓ１６）。

処理方法決定手段３０によってペン型スキャナ２の移動軌跡が直線であると判定された場合（Ｓ１６：Ｙｅｓ）、第１の選択手段３１は、画像取得手段２０によって生成された複数の画像情報を処理する処理手段として、第１の処理手段３２を選択する。第１の処理手段３２は、複数の画像情報が示す画像を結合し（Ｓ１７）、結合によって得られた画像に含まれるページ番号の文字列に対してＯＣＲを実施する（Ｓ１８）。これにより、第１の処理手段３２は、結合によって得られた画像に含まれるページ番号の文字列を、電子テキストとして示すテキスト情報を生成する。第１の処理手段３２は、生成したテキスト情報に、属性「ページ番号」を示す属性情報を付与する。これにより、第１の処理手段３２によって、テキスト情報が、ページ番号を示すページ番号情報として生成される。

第２の選択手段３４は、第１の処理手段３２によって生成されたページ番号情報を取得する。情報制御手段４０は、第２の選択手段３４が取得したページ番号情報を記憶手段４１に格納する（Ｓ１９）。そして、スキャンシステム１は、ステップＳ１１から動作を再開する。

処理方法決定手段３０によってペン型スキャナ２の移動軌跡が非直線であると判定された場合（Ｓ１６：Ｎｏ）、第１の選択手段３１は、画像取得手段２０によって生成された複数の画像情報を処理する処理手段として、第２の処理手段３３を選択する。第２の処理手段３３は、複数の画像情報が示す画像を結合し（Ｓ２０）、結合によって得られた画像を示す画像情報を生成する。第２の処理手段３３は、生成した画像情報を圧縮して、圧縮された画像を示す圧縮画像情報を生成する（Ｓ２１）。例えば、第２の処理手段３３は、結合によって得られた画像を示す非圧縮で示すファイルを、ＪＰＧファイルに変換する。第２の処理手段３３は、生成した圧縮画像情報に、属性「本文」を示す属性情報を付与する。これにより、第２の処理手段３３によって、圧縮画像情報が、本文を示す本文情報として生成される。

第２の選択手段３４は、第２の処理手段３３によって生成された本文情報を取得する。情報制御手段４０は、第２の選択手段３４が取得した本文情報を記憶手段４１に格納する（Ｓ２２）。そして、スキャンシステム１は、ステップＳ１１から動作を再開する。

続いて、図１０を参照して、本実施の形態１の効果について説明する。本実施の形態１に係るスキャンシステム１によれば、ユーザーがペン型スキャナ２を直線的に移動させて媒体をスキャンした場合、媒体においてスキャンした部分に記載されている文字列を電子テキスト化してサーバー４に保存することができる。

また、本実施の形態１に係るスキャンシステム１によれば、ユーザーがペン型スキャナ２を非直線的に移動させて媒体をスキャンした場合、媒体においてスキャンした部分に記載されている文字列又は図を電子画像化した後に圧縮してサーバー４に保存することができる。

これによれば、例えば、図１０に示すように、ユーザーが、紙書籍のページ番号をスキャンしたいときには、ペン型スキャナ２を直線的に移動させてスキャンし、紙書籍の本文をスキャンしたいときには、ペン型スキャナ２を非直線的に移動させてスキャンするようにすることで、ページ番号と本文のそれぞれを異なる形式で保存することができる。すなわち、ユーザーが、ページ番号を電子テキストで保存し、本文を電子画像で保存したい、と望んでいる場合に、それに適した形式でページ番号と本文を保存することができる。

このように、本実施の形態１によれば、（１）情報の取得、（２）取得した情報に対する変換処理と属性の付与、（３）保存を、ペン型スキャナ２によって媒体をスキャンするという１つのアクションで行うことができる。例えば、媒体における情報をスキャンする前に、その情報の種類（属性）を指定するといった操作の手間を省くことができる。すなわち、スキャン操作以外の操作を不要とし、利便性を向上することができる。よって、本実施の形態１に係るスキャンシステム１によれば、簡便な操作で、スキャン対象の媒体における種類の異なる情報を適切な形式で保存することができる。

なお、以上の説明では、ペン型スキャナ２の移動軌跡及びベクトルの算出をペン型スキャナ２で実施する例について説明したが、これに限られない。例えば、スマートフォン３が、ペン型スキャナ２の移動軌跡とベクトルの算出を行うようにしてもよい。すなわち、スマートフォン３が、軌跡算出手段２１と、ベクトル算出手段２２を有するようにしてもよい。

また、以上の説明では、画像情報の処理方法の決定、及び、決定した処理方法による画像情報の処理をスマートフォン３で実施する例について説明したが、これに限られない。例えば、ペン型スキャナ２が、画像情報の処理方法の決定、及び、決定した処理方法による画像情報の処理を行うようにしてもよい。すなわち、ペン型スキャナ２が、上述の説明でスマートフォン３が有していた各手段３０〜３４を有するようにしてもよい。この場合、スマートフォン３は、ペン型スキャナ２によって生成されたテキスト情報及び圧縮画像情報をサーバー４に中継する装置として動作する。また、この場合には、テキスト情報及び圧縮画像情報をサーバー４に送信せず、ペン型スキャナ２に格納するようにしてもよい。

また、例えば、ペン型スキャナ２の移動軌跡及びベクトルの算出、画像情報の処理方法の決定、及び、決定した処理方法による画像情報の処理の全てをサーバー４で行うようにしてもよい。すなわち、サーバー４が、上述の各手段２１、２２、３０〜３４を有するようにしてもよい。この場合、スマートフォン３は、ペン型スキャナ２によって生成された画像情報をサーバー４に中継する装置として動作する。

また、以上の説明では、テキスト情報及び圧縮画像情報をサーバー４に格納する例について説明したが、これに限られない。例えば、テキスト情報及び圧縮画像情報をサーバー４に送信せず、スマートフォン３に格納するようにしてもよい。

以上に説明したように、本実施の形態１では、図３６に概略構成として示すように、画像取得部９１（画像取得手段２０に対応）は、スキャン対象の媒体を連続的にスキャンすることで生成された複数の画像情報を取得する。軌跡算出部９２（軌跡算出手段２１に対応）は、画像取得部９１が取得した複数の画像情報に基づいて、媒体をスキャンした軌跡を算出する。処理方法決定部９３（処理方法決定手段３０に対応）は、軌跡算出部９２が算出した軌跡に応じて、複数の画像情報の処理方法を決定する。そして、処理部９４（第１の処理手段３２及び第２の処理手段３３に対応）は、処理方法決定部９３が決定した処理方法で複数の画像情報を処理することで、それら複数の画像情報をその処理方法に応じた形式の情報に変換する。

これによれば、媒体をスキャンする操作で、スキャンにより得られる画像情報の変換方法の指定も兼ねることができる。よって、本実施の形態１によれば、簡便な操作で、スキャン対象の媒体における種類の異なる情報を適切な形式で保存することができる。

＜実施の形態２＞
次に、実施の形態２について説明する。以下、実施の形態１と同様の内容については、同一の符号を付す等して、説明を省略する。実施の形態２に係るスキャンシステム１の概要構成は、実施の形態１に係るスキャンシステム１の概要構成と同様であるため、その説明を省略する。

続いて、図１１を参照して、本実施の形態２に係るペン型スキャナ２のハードウェア構成について説明する。実施の形態２に係るペン型スキャナ２は、実施の形態１に係るペン型スキャナ２と比較して、さらに、動作状態切替ボタン１６を有する点が異なる。

動作状態切替ボタン１６は、ユーザーからペン型スキャナ２の動作状態を切り替える操作が行われる入力装置である。動作状態切替ボタン１６は、ユーザーによって押下されているか否かを示す通知信号を生成し、ＭＣＵ１３に出力する。動作状態切替ボタン１６は、押下されている場合、押下されていることを示す通知信号を生成し、ＭＣＵ１３に出力する。一方、動作状態切替ボタン１６は、押下されていない場合、押下されていないことを示す通知信号を生成し、ＭＣＵ１３に出力する。

ＭＣＵ１３は、媒体のスキャン時に、動作状態切替ボタン１６が押下されていることを示す通知信号が、動作状態切替ボタン１６から入力されている場合、複数の画像情報及び複数のベクトル情報とともに、媒体のスキャン時のペン型スキャナ２の動作状態が第１の状態であることを示す通知情報をスマートフォン３に送信する。一方、ＭＣＵ１３は、媒体のスキャン時に、動作状態切替ボタン１６が押下されていないことを示す通知信号が、動作状態切替ボタン１６から入力されている場合、複数の画像情報及び複数のベクトル情報とともに、媒体のスキャン時のペン型スキャナ２の動作状態が第２の状態であることを示す通知情報をスマートフォン３に送信する。

続いて、図１２を参照して、本実施の形態２に係る処理方法の決定方法について説明する。

実施の形態１では、媒体をスキャンした際におけるペン型スキャナ２の移動軌跡を直線とするか否かによって、スキャンによって入力する情報の種類を指定するようにしていた。それに対して、本実施の形態２では、さらに、媒体をスキャンした際に動作状態切替ボタン１６が押下されているか否か（ペン型スキャナ２が第１の状態であるか第２の状態であるか）によっても、スキャンによって入力する情報の種類を指定可能とする。すなわち、本実施の形態２では、図１２に示すように、ペン型スキャナ２の移動軌跡が直線であるか否かと、動作状態切替ボタン１６が押下されているか否かとの組み合わせによって、スキャンによって入力する情報の種類として、４種類の情報を指定可能としている。

つまり、本実施の形態２に係るスキャンシステム１は、以下の（１）〜（４）に説明するように、スキャンによって入力する情報の種類を判定する。
（１）ペン型スキャナ２の移動軌跡が直線であり、かつ、動作状態切替ボタン１６が押下されている場合（ペン型スキャナ２の動作状態が第１の動作状態である場合）には、スマートフォン３は、スキャンによって入力する情報がページ番号であると判定する。
（２）ペン型スキャナ２の移動軌跡が非直線であり、かつ、動作状態切替ボタン１６が押下されている場合（ペン型スキャナ２の動作状態が第１の動作状態である場合）には、スマートフォン３は、スキャンによって入力する情報が図面であると判定する。
（３）ペン型スキャナ２の移動軌跡が直線であり、かつ、動作状態切替ボタン１６が押下されていない場合（ペン型スキャナ２の動作状態が第２の動作状態である場合）には、スマートフォン３は、スキャンによって入力する情報が本文であると判定する。
（４）ペン型スキャナ２の移動軌跡が非直線であり、かつ、動作状態切替ボタン１６が押下されていない場合（ペン型スキャナ２の動作状態が第２の動作状態である場合）には、スマートフォン３は、スキャンによって入力する情報がメモ書きであると判定する。

なお、ペン型スキャナ２の移動軌跡が直線であるか否か、及び、動作状態切替ボタン１６が押下されているか否かとの組み合わせと、スキャンによって入力する情報の種類との対応関係については、上述した例に限られない。例えば、ペン型スキャナ２の移動軌跡が直線であり、かつ、動作状態切替ボタン１６が押下されている場合に、スキャンによって入力する情報を本文とし、ペン型スキャナ２の移動軌跡が直線であり、かつ、動作状態切替ボタン１６が押下されていない場合に、スキャンによって入力する情報をページ番号としてもよい。例えば、ペン型スキャナ２の移動軌跡が非直線であり、かつ、動作状態切替ボタン１６が押下されている場合に、スキャンによって入力する情報をメモ書きとし、ペン型スキャナ２の移動軌跡が非直線であり、かつ、動作状態切替ボタン１６が押下されていない場合に、スキャンによって入力する情報を図面としてもよい。

また、本実施の形態２では、ＭＣＵ１３は、ベクトルの算出が終了したときに、メモリ１４に格納された複数の画像情報及び複数のベクトル情報とともに、メモリ１４に格納された軌跡情報もスマートフォン３に送信する。

続いて、図１３を参照して、本実施の形態２に係るスキャンシステム１の詳細構成について説明する。

図１３に示すように、本実施の形態２に係るペン型スキャナ２は、実施の形態１に係るペン型スキャナ２と比較して、さらに、状態設定手段２３と、状態判定手段２４とを有する点が異なる。

本実施の形態２に係る軌跡算出手段２１は、生成した軌跡情報をスマートフォン３に送信する。

状態設定手段２３は、ユーザーからペン型スキャナ２の状態を設定する操作が行われる。言い換えると、ユーザーは、状態設定手段２３によって、ペン型スキャナ２の状態を、第１の状態もしくは第２の状態に設定する。すなわち、動作状態切替ボタン１６が、状態設定手段２３として動作する。

状態判定手段２４は、ユーザーから状態設定手段２３に対して行われた操作に基づいて、ペン型スキャナ２の動作状態が第１の状態であるか第２の状態であるかを判定する。状態判定手段２４は、ペン型スキャナ２の動作状態が第１の状態であるか第２の状態であるかを示す通知情報を生成し、スマートフォン３に送信する。すなわち、ＭＣＵ１３が、状態判定手段２４として動作する。

上述したように、この通知情報は、１回のスキャンにおけるペンダウンからペンアップまでに生成された複数の画像情報と対応付けられて送信されるが、状態判定手段２４は、そのスキャンに対して動作状態切替ボタン１６が押下されているか否かを、任意の判定基準によって判定するようにしてもよい。例えば、状態判定手段２４は、そのペンダウンからペンアップまでにおいて、ペンダウン時に動作状態切替ボタン１６が押下されている場合に第１の状態を示す通知情報を生成してもよく、ペンアップ時に動作状態切替ボタン１６が押下されている場合に第１の状態を示す通知情報を生成してもよく、ペンダウンからペンアップまでの間に継続して動作状態切替ボタン１６が押下されている場合に第１の状態を示す通知情報を生成してもよい。そして、状態判定手段２４は、それ以外の場合に、第２の状態を示す通知情報を生成すればよい。

図１３に示すように、本実施の形態２に係るスマートフォン３は、実施の形態１に係るスマートフォン３と比較して、さらに、第３の処理手段３５と、第４の処理手段３６とを有する点が異なる。

実施の形態２に係る処理方法決定手段３０は、実施の形態１に係る処理方法決定手段３０と比較して、ペン型スキャナのベクトル算出手段２２から受信する複数のベクトル情報に加えて、ペン型スキャナの状態判定手段２４から受信する通知情報に基づいて、ペン型スキャナの画像取得手段２０から受信した複数の画像情報又は軌跡情報の処理方法を決定する。

処理方法決定手段３０は、ペン型スキャナ２の移動軌跡が直線であり、かつ、ペン型スキャナ２の動作状態が第１の状態である場合、第１の処理手段３２が実行する第１の処理方法で、ペン型スキャナ２から受信した複数の画像情報を処理すると判定する。処理方法決定手段３０は、ペン型スキャナ２の移動軌跡が非直線であり、かつ、ペン型スキャナ２の動作状態が第１の状態である場合、第２の処理手段３３が実行する第２の処理方法で、ペン型スキャナ２から受信した複数の画像情報を処理すると判定する。処理方法決定手段３０は、ペン型スキャナ２の移動軌跡が直線であり、かつ、ペン型スキャナ２の動作状態が第２の状態である場合、第３の処理手段３５が実行する第３の処理方法で、ペン型スキャナ２から受信した複数の画像情報を処理すると判定する。処理方法決定手段３０は、ペン型スキャナ２の移動軌跡が非直線であり、かつ、ペン型スキャナ２の動作状態が第２の状態である場合、第４の処理手段３６が実行する第４の処理方法で、ペン型スキャナ２から受信した軌跡情報を処理すると判定する。

第１の選択手段３１は、ペン型スキャナ２の画像取得手段２０から送信された複数の画像情報及び軌跡情報を受信する。第１の選択手段３１は、受信した複数の画像情報又は軌跡情報を、処理方法決定手段３０の判定結果に応じて、第１の処理手段３２、第２の処理手段、第３の処理手段３５及び第４の処理手段３６のうち、いずれか１つに出力する。より具体的には、第１の選択手段３１は、処理方法決定手段３０が第３の処理方法によって複数の画像情報又は軌跡情報を処理すると判定した場合、複数の画像情報を第３の処理手段３５に出力する。一方、第１の選択手段３１は、処理方法決定手段３０が第４の処理方法によって複数の画像情報又は軌跡情報を処理すると判定した場合、軌跡情報を第４の処理手段３６に出力する。処理方法決定手段３０が第１の処理方法によって複数の画像情報を処理すると判定した場合、及び、処理方法決定手段３０が第２の処理方法によって複数の画像情報を処理すると判定した場合については、実施の形態１と同様である。

第３の処理手段３５は、第３の処理方法として、複数の画像情報が示す複数の画像を結合し、結合によって生成された画像に含まれる文字列に対してＯＣＲを施して、その文字列が電子テキスト化されたテキスト情報を生成し、生成したテキスト情報に属性を付与する。

第４の処理手段３６は、第４の処理方法として、軌跡情報が示すペン型スキャナの移動軌跡をメモ書きとして示す画像を生成し、生成された画像を圧縮して、圧縮された画像を示す圧縮画像情報を生成し、生成した圧縮画像情報に属性を付与する。

ここで、第３の処理手段３５も、第１の処理手段３２及び第２の処理手段３３と同様に、複数の画像間で同一の特徴点の位置を合わせて重ね合わせた状態で、それら複数の画像を結合する。その理由については、上述した通りである。

第２の選択手段３４は、処理方法決定手段３０の判定結果に応じて、第１の処理手段３２、第２の処理手段３３、第３の処理手段３５及び第４の処理手段３６のうち、いずれか１つによって生成されたテキスト情報又は圧縮画像情報を取得する。第２の選択手段３４は、取得したテキスト情報又は圧縮画像情報をサーバー４に送信する。

ここで、例えば、スマートフォン３が有するＣＰＵが、スマートフォン３が有する記憶手段に格納されたプログラムを実行することで、上述の手段３０〜３４と同様に、第３の処理手段３５及び第４の処理手段３６として動作する。

続いて、図１４を参照して、本実施の形態２に係るスキャンシステム１のスキャン処理について説明する。ここでは、次のように動作する例について説明する。

ユーザーは、紙書籍のページ番号をスキャンする場合には、動作状態切替ボタン１６を押下しつつ、直線的な移動軌跡でペン型スキャナ２を移動させてページ番号をスキャンするものとする。また、ユーザーは、紙書籍の図面をスキャンする場合には、動作状態切替ボタン１６を押下しつつ、非直線的な移動軌跡でペン型スキャナ２を移動させて図面をスキャンするものとする。また、ユーザーは、本文をスキャンする場合には、動作状態切替ボタン１６を押下せずに、直線的な移動軌跡でペン型スキャナ２を移動させて本文をスキャンするものとする。また、ユーザーは、メモ書きを入力する場合には、動作状態切替ボタン１６を押下せずに、非直線的な移動軌跡でペン型スキャナ２を移動させてメモ書きを入力するものとする。

ステップＳ１１〜Ｓ１５の処理については、実施の形態１で説明した通りである。ステップＳ１５の処理後、処理方法決定手段３０は、状態判定手段２４が生成した通知情報が示すペン型スキャナ２の動作状態が、第１の状態か、第２の状態かを判定する（Ｓ３１）。上述したように、この通知情報は、スキャン中におけるペン型スキャナ２の状態が、動作状態切替ボタン１６が押下された第１の状態であるか、動作状態切替ボタン１６が押下されていない第２の状態であるかを示す情報となる。言い換えると、ステップＳ３１では、処理方法決定手段３０は、スキャン中におけるペン型スキャナ２の動作状態が、第１の状態であったか、第２の状態であったかを判定する。

ペン型スキャナ２の動作状態が、動作状態切替ボタン１６が押下された第１の状態であると判定した場合（Ｓ３１：Ｙｅｓ）、ステップＳ１６〜Ｓ２２の処理については、実施の形態１で説明した通りである。ただし、本実施の形態２では、第２の処理手段３３は、生成した圧縮画像情報に、属性「図面」を示す属性情報を付与する。これにより、これにより、第２の処理手段３３によって、圧縮画像情報が、図面を示す図面情報として生成される。

ペン型スキャナ２の動作状態が、動作状態切替ボタン１６が押下されなかった第２の状態であると判定した場合（Ｓ３１：Ｎｏ）、処理方法決定手段３０は、ベクトル算出手段２２が生成した複数のベクトル情報が示す複数のベクトルに基づいて、ペン型スキャナ２の移動軌跡が直線であるか否かを判定する（Ｓ３２）。

処理方法決定手段３０によってペン型スキャナ２の移動軌跡が直線であると判定された場合（Ｓ３２：Ｙｅｓ）、第１の選択手段３１は、画像取得手段２０によって生成された複数の画像情報を処理する処理手段として、第３の処理手段３５を選択する。第３の処理手段３５は、複数の画像情報が示す画像を結合し（Ｓ３３）、結合によって得られた画像に含まれる本文の文字列に対してＯＣＲを実施する（Ｓ３４）。これにより、第３の処理手段３５は、結合によって得られた画像に含まれる本文の文字列を、電子テキストとして示すテキスト情報を生成する。第３の処理手段３５は、生成したテキスト情報に、属性「本文」を示す属性情報を付与する。これにより、第３の処理手段３５によって、テキスト情報が、本文を示す本文情報として生成される。

第２の選択手段３４は、第３の処理手段３５によって生成された本文情報を取得する。情報制御手段４０は、第２の選択手段３４が取得した本文情報を記憶手段４１に格納する（Ｓ３５）。そして、スキャンシステム１は、ステップＳ１１から動作を再開する。

処理方法決定手段３０によってペン型スキャナ２の移動軌跡が非直線であると判定された場合（Ｓ３２：Ｎｏ）、第１の選択手段３１は、軌跡算出手段２１によって生成された軌跡情報を処理する処理手段として、第４の処理手段３６を選択する。第４の処理手段３６は、軌跡情報が示す移動軌跡を、メモ書きの筆跡とした画像を示す画像情報を生成する（Ｓ３６）。第４の処理手段３６は、生成した画像情報を圧縮して、圧縮された画像を示す圧縮画像情報を生成する（Ｓ３７）。例えば、第４の処理手段３６は、結合によって得られた画像を示す非圧縮で示すファイルを、ＪＰＧファイルに変換する。第４の処理手段３６は、生成した圧縮画像情報に、属性「メモ書き」を示す属性情報を付与する。これにより、第４の処理手段３６によって、圧縮画像情報が、メモ書きを示すメモ書き情報として生成される。

第２の選択手段３４は、第４の処理手段３６によって生成されたメモ書き情報を取得する。情報制御手段４０は、第４の処理手段３６が取得したメモ書き情報を記憶手段４１に格納する（Ｓ３８）。そして、スキャンシステム１は、ステップＳ１１から動作を再開する。

以上の説明では、メモ書き情報が画像情報である例について説明したが、これに限られない。例えば、メモ書き情報は、移動軌跡（メモ書き）における各線の起終点の位置などを示すベクターデータ（座標情報）であってもよい。すなわち、メモ書き情報は、媒体をスキャンした軌跡を、メモ書きとして示す情報であれば、どのような形式の情報であってもよい。

また、以上の説明では、動作状態の設定をペン型スキャナ２で実施する例について説明したが、これに限られない。例えば、スマートフォン３が、動作状態の設定を行うようにしてもよい。すなわち、スマートフォン３が、状態設定手段２３及び状態判定手段２４を有するようにしてもよい。この場合、スマートフォン３の入力手段（例えばタッチパネル）が状態設定手段２３として動作する。

以上に説明したように、本実施の形態２に係るスキャンシステム１は、実施の形態１と比較して、ユーザーから押下される動作状態切替ボタン１６を備えている点が異なる。そして、本実施の形態２に係る処理方法決定手段３０は、実施の形態１と比較して、さらに、媒体をスキャンしているときに、ボタンが押下されているか否かで異なる処理方法を決定するようにしている点が異なる。

これによれば、ユーザーがボタンを押下しながらスキャンをするという簡便な操作で、より多くの種類の情報を指定してスキャンし、変換処理を行うことができる。すなわち、よって、本実施の形態２に係るスキャンシステム１によれば、簡便な操作で、より多くの種類の異なる情報を適切な形式で保存することができる。

また、本実施の形態２において用意された複数の処理方法は、第１の処理方法〜第４の処理方法を含んでいる。第１の処理方法は、複数の画像情報を変換後の情報を、媒体としてスキャンした紙書籍のページ番号を示すページ番号情報として生成する。第２の処理方法は、複数の画像情報を変換後の情報を、媒体としてスキャンした紙書籍の図面を示す図面情報として生成する。第３の処理方法は、複数の画像情報を変換後の情報を、媒体としてスキャンした紙書籍の本文を示す本文情報として生成する。第４の処理方法は、複数の画像情報を変換後の情報を、当該複数の画像情報に基づいて算出した媒体をスキャンした軌跡を、メモ書きとして示すメモ書き情報として生成する。

これによれば、紙書籍に含まれる異なる種類の情報、及び、それに関するメモ書きを区別して保存することができる。

（実施の形態２の変形例）
ここで、上述の実施の形態２においては、２回の本文のスキャンの間におけるペン型スキャナ２をペンアップしている状態で動作状態切替ボタン１６が押下された場合には、その入力を改行入力として処理し、２回の本文のスキャンの間に動作状態切替ボタン１６が瞬間的に押下されなかった場合には、２回の本文を改行なしで連結するように処理してもよい。

例えば、状態判定手段２４は、ペン型スキャナ２がペンアップされてからペンダウンされるまでの間に、状態設定手段２３に対して操作が行われた場合（動作状態切替ボタン１６が押下された場合）、改行入力がされたことを示す通知情報を生成し、スマートフォン３に送信する。

スマートフォン３の第２の選択手段３４は、第３の処理手段３５から本文情報を取得したときに、ペン型スキャナ２から改行入力がされたことを示す通知情報を受信している場合には、その本文情報に、改行入力がされたことを示す通知情報を付与して、サーバー４に送信する。一方、第２の選択手段３４は、第３の処理手段３５から本文情報を取得したときに、ペン型スキャナ２から改行入力がされたことを示す通知情報を受信していない場合には、その本文情報に、改行入力がされたことを示す通知情報を付与せず、サーバー４に送信する。

サーバー４の情報制御手段４０は、スマートフォン３から受信した本文情報に、改行入力がされたことを示す通知情報が付与されている場合、記憶手段４１に格納されている本文情報を、その本文情報が示す本文と、改行文字と、受信した本文情報が示す本文と連結した本文を示す情報に更新する。一方、サーバー４の情報制御手段４０は、スマートフォン３から受信した本文情報に、改行入力がされたことを示す通知情報が付与されていない場合、記憶手段４１に格納されている本文情報を、その本文情報が示す本文と、本文情報が示す本文とを、それらの間に改行文字を入れずに連結した本文を示す情報に更新する。

＜実施の形態３＞
次に、実施の形態３について説明する。以下、実施の形態２と同様の内容については、同一の符号を付す等して、説明を省略する。実施の形態３に係るスキャンシステム１の概要構成、及び、ペン型スキャナ２のハードウェア構成は、実施の形態２に係るスキャンシステム１の概要構成、及び、ペン型スキャナ２のハードウェア構成と同様であるため、その説明を省略する。

本実施の形態３では、最も新しく生成されたページ番号情報に関連付けて、図面情報及び本文情報を保存する。また、最も新しく生成されたページ番号情報と最も新しく生成された本文情報の組に関連付けて、メモ書き情報を保存する。これにより、ユーザーがページ番号のスキャン後に、そのページ番号のページ内の図面及び本文をスキャンすることで、サーバー４に格納された図面情報が示す図面、及び、本文情報が示す本文が、紙書籍において、どのページに記載されたものであるのかをページ番号情報から容易に把握可能となる。また、ユーザーがページ番号及び本文のスキャン後に、その本文についてのメモ書きを入力することで、メモ書き情報が示すメモ書きが、紙書籍において、どのページのどの本文に対するメモ書きであるのかをページ番号情報及び本文情報から容易に把握可能となる。

続いて、図１５を参照して、本実施の形態３に係るスキャンシステム１の詳細構成について説明する。なお、図１５では、上述したスマートフォン３が有する記憶手段を、「記憶手段３９」として明示している。

図１５に示すように、実施の形態３に係るサーバー４は、実施の形態３に係るサーバー４と比較して、さらに、情報制御手段４０に代えて、構造化手段４２を有する点が異なる。

本実施の形態３では、第２の選択手段３４は、ページ番号情報をサーバー４に送信したときに、そのページ番号情報を記憶手段３９に一時的に格納する。また、第２の選択手段３４は、本文情報をサーバー４に送信したときも、その本文情報を記憶手段３９に一時的に格納する。これにより、最も新しく生成されたページ番号情報及び本文情報が記憶手段３９に保持される。

そして、第２の選択手段３４は、図面情報をサーバー４に送信するとき、その図面情報に対して記憶手段３９に格納したページ番号情報を付与してから、サーバー４に送信する。同様に、第２の選択手段３４は、本文情報をサーバー４に送信するとき、その本文情報に対して記憶手段３９に格納したページ番号情報を付与してから、サーバー４に送信する。また、第２の選択手段３４は、メモ書き情報をサーバー４に送信するとき、そのメモ書き情報に対して記憶手段３９に格納したページ番号情報及び本文情報を付与してから、サーバー４に送信する。

構造化手段４２は、スマートフォン３の第２の選択手段３４から送信されたページ番号情報、本文情報、図面情報及びメモ書き情報を受信し、記憶手段４１に格納する。ここで、構造化手段４２は、本文情報を記憶手段４１に格納する場合、記憶手段４１に格納されたページ番号情報のうち、その本文情報に付されたページ番号情報と同一のページ番号を示すページ番号情報に関連付けてその本文情報を格納する。これについては、図面情報についても同様である。また、構造化手段４２は、メモ書き情報を記憶手段４１に格納する場合、記憶手段４１に格納されたページ番号情報及び本文情報のうち、そのメモ書き情報に付与されたページ番号情報及び本文情報と同一のページ番号を示すページ番号情報及び同一の本文を示す本文情報に関連付けてそのメモ書き情報を記憶手段４１に格納する。

続いて、図１６を参照して、本実施の形態３に係るスキャンシステム１のスキャン処理について説明する。

ステップＳ１１〜Ｓ２１の処理については、実施の形態２と同様である。ただし、本実施の形態３では、ステップＳ１８の処理とステップＳ１９の処理の間で、第２の選択手段３４は、第１の処理手段３２によって生成されたページ番号情報を記憶手段３９に格納する。すなわち、最も新しくスキャンしたページ番号を、現在スキャン中のページ（現在読書中のページ）のページ番号として更新する（Ｓ４１）。

一方、ステップＳ２１の処理後、第２の選択手段３４は、第２の処理手段３３によって生成された図面情報とともに、記憶手段３９に格納されたページ番号情報を取得する（Ｓ４２）。構造化手段４２は、記憶手段４１に格納されているページ番号情報のうち、第２の選択手段３４が取得したページ番号情報と一致するページ番号情報に、第２の選択手段３４が取得した図面情報を関連付けて記憶手段４１に格納する（Ｓ４３）。

ステップＳ３２〜Ｓ３４、Ｓ３６、Ｓ３７の処理については、実施の形態２で説明した通りである。ステップＳ３４の処理後、第２の選択手段３４は、第３の処理手段３５によって生成された本文情報を記憶手段３９に格納する。すなわち、最も新しくスキャンした本文を、現在スキャン中のページにおいてスキャンした本文（現在読書中のページにおいて読んだ本文）として更新する（Ｓ４４）。

第２の選択手段３４は、第３の処理手段３５によって生成された本文情報とともに、記憶手段３９に格納されたページ番号情報を取得する（Ｓ４５）。構造化手段４２は、記憶手段４１に格納されているページ番号情報のうち、第２の選択手段３４が取得したページ番号情報と一致するページ番号情報に、第２の選択手段３４が取得した本文情報を関連付けて記憶手段４１に格納する（Ｓ４６）。

一方、ステップＳ３７の処理後、第２の選択手段３４は、第４の処理手段３６によって生成されたメモ書き情報とともに、記憶手段３９に格納されたページ番号情報及び本文情報を取得する（Ｓ４７）。構造化手段４２は、記憶手段４１に格納されているページ番号情報及び本文情報の組のうち、第２の選択手段３４が取得したページ番号情報及び本文情報の組と一致するページ番号情報及び本文情報の組に、第２の選択手段３４が取得したメモ書き情報を関連付けて記憶手段４１に格納する（Ｓ４８）。

上述の処理によれば、図１７に示すように、ページ番号をスキャンした後に、本文をスキャンすることで、そのページ番号を示すページ番号情報に、その本文を示す本文情報を関連付けて保存することができる。また、図１７に示すように、ページ番号をスキャンした後に、図面をスキャンするとこで、そのページ番号を示すページ番号情報に、その図面を示す図面情報を関連付けて保存することができる。すなわち、スキャンした本文及び図面が、どのページに記載されたものであるかを記録することができる。

また、図１７に示すように、ページ番号及び本文をスキャンした後に、メモ書きを入力することで、そのページ番号及び本文を示すページ番号情報及び本文情報に、そのメモ書きを示すメモ書き情報を関連付けて保存することができる。すなわち、入力したメモ書きが、どのページにおける、どの本文に対して記載したものであるかを記録することができる。

ここで、以上の説明では、最も新しく生成されたページ番号情報と、最も新しく生成された本文情報との組に関連付けて、メモ書き情報を保存する例について説明したが、これに限られない。例えば、最も新しく生成されたページ番号情報と、最も新しく生成された図面情報との組に関連付けて、メモ書き情報を保存するようにしてもよい。この場合、ステップ２１の処理後、第２の選択手段３４は、第２の処理手段３３によって生成された図面情報を記憶手段３９に格納すればよい。ステップＳ４７の処理として、第２の選択手段３４は、第４の処理手段３６によって生成されたメモ書き情報とともに、記憶手段３９に格納されたページ番号情報及び本文情報を取得すればよい。そして、ステップＳ４８の処理として、構造化手段４２は、記憶手段４１に格納されているページ番号情報及び図面情報の組のうち、第２の選択手段３４が取得したページ番号情報及び図面情報の組と一致するページ番号情報及び図面情報の組に、第２の選択手段３４が取得したメモ書き情報を関連付けて記憶手段４１に格納すればよい。この場合、ステップＳ４４の処理は不要である。

また、上述のページ番号情報と本文情報との組と関連付けてのメモ書き情報の保存と、上述のページ番号情報と図面情報との組と関連付けてのメモ書き情報の保存との両方を実施するようにしてもよい。この場合、上述のステップＳ４４の処理と、上述のステップ２１の処理後における図面情報の記憶手段３９への格納の両方を実施するようにすればよい。ステップＳ４７の処理として、第２の選択手段３４は、最も新しく生成された本文情報と、最も新しく生成された図面情報のうち、最も新しく生成された情報（本文情報又は図面情報）を取得すればよい。そして、ステップＳ４８の処理として、構造化手段４２は、第２の選択手段３４が取得したページ番号情報と本文情報又は図面情報との組と一致するページ番号情報と本文情報又は図面情報との組に、第２の選択手段３４が取得したメモ書き情報を関連付けて記憶手段４１に格納すればよい。

以上に説明したように、本実施の形態３に係るスキャンシステム１は、最も新しく生成されたページ番号情報に、そのページ番号情報の生成後に生成された図面情報、本文情報、又は、メモ書き情報を関連付けて記憶手段４１に格納する構造化手段４２を有している。また、さらに、構造化手段４２は、最も新しく生成されたページ番号情報と、最も新しく生成された本文情報又は図面情報との組に、それらページ番号情報及び本文情報の生成後に生成されたメモ書き情報を関連付けて記憶手段４１に格納するようにしている。

これによれば、ユーザーがスキャンしたデータが相互に関連付けられて保存されるため、ユーザーがサーバー４に格納された情報を検索・参照などする際に、情報を利用し易くすることができる。

＜実施の形態４＞
次に、実施の形態４について説明する。以下、実施の形態３と同様の内容については、同一の符号を付す等して、説明を省略する。実施の形態４に係るスキャンシステム１の概要構成、及び、ペン型スキャナ２のハードウェア構成は、実施の形態３に係るスキャンシステム１の概要構成、及び、ペン型スキャナ２のハードウェア構成と同様であるため、その説明を省略する。

本実施の形態４では、ペン型スキャナ２の移動軌跡として、非線形の軌跡を検出した場合には、その移動軌跡が予め定義されたジェスチャに該当するか否かを判定する。そして、ペン型スキャナ２の移動軌跡がジェスチャに該当する場合、そのジェスチャに対応する処理を実行する。ジェスチャとして、例えば、任意の記号（丸、四角、三角など）、又は、アルファベットなどを定義することができる。

続いて、図１８を参照して、本実施の形態４に係るスキャンシステム１の詳細構成について説明する。

図１８に示すように、実施の形態４に係るスマートフォン３は、実施の形態３に係るスマートフォン３は、実施の形態３に係るスマートフォン３と比較して、さらに、参照手段３７と、ジェスチャ定義ＤＢ３８と、第１のサブ処理手段５０と、第２のサブ処理手段５１と、第３のサブ処理手段５２とを有する点が異なる。

本実施の形態４に係る処理方法決定手段３０は、処理方法決定手段３０は、ペン型スキャナ２の移動軌跡が非直線であり、かつ、ペン型スキャナ２の動作状態が第２の状態である場合、その移動軌跡が所定のジェスチャに該当するか否かを参照手段３７によって判定させる。

参照手段３７は、ペン型スキャナ２の移動軌跡が非直線であり、かつ、ペン型スキャナ２の動作状態が第２の状態である場合、ペン型スキャナ２から受信した軌跡情報が示すペン型スキャナ２の移動軌跡が、ジェスチャ定義ＤＢ３８に含まれる複数のジェスチャ情報が示すジェスチャのいずれかに該当するか否かを判定する。

参照手段３７は、ペン型スキャナ２の移動軌跡が、複数のジェスチャ情報が示すジェスチャのいずれかに該当すると判定した場合、第１のサブ処理手段５０〜第３のサブ処理手段５２のうち、そのジェスチャに対応するサブ処理手段に処理を実行させる。

すなわち、本実施の形態３では、複数のジェスチャ情報として、第１のサブ処理手段５０〜第３のサブ処理手段５２のそれぞれに対応する３つのジェスチャ情報がジェスチャ定義ＤＢ３８に含まれている。なお、本実施の形態３では、ジェスチャ情報及びサブ処理手段が３つの例について示しているが、これに限られない。

ジェスチャ定義ＤＢ３８には、上述したように、複数のジェスチャ情報が含まれている。ジェスチャ定義ＤＢ３８は、スマートフォン３の記憶手段３９に格納されている。ここで、ジェスチャ情報は、ジェスチャとして定められた移動軌跡のテンプレートを示す情報である。

例えば、参照手段３７は、ペン型スキャナ２から受信した軌跡情報が示すペン型スキャナ２の移動軌跡と、ジェスチャ情報が示す移動軌跡のテンプレートとの類似度が、所定の閾値以上である場合、ペン型スキャナ２の移動軌跡が、ジェスチャ情報が示すジェスチャに該当すると判定する。一方、参照手段３７は、ペン型スキャナ２から受信した軌跡情報が示すペン型スキャナ２の移動軌跡と、ジェスチャ情報が示す移動軌跡のテンプレートとの類似度が、所定の閾値未満である場合、ペン型スキャナ２の移動軌跡が、ジェスチャ情報が示すジェスチャに該当しないと判定する。なお、移動軌跡とジェスチャの類似度の判定する方法には、任意の方法を採用してよいため、詳細な説明は省略する。

第１のサブ処理手段５０〜第３のサブ処理手段５２のそれぞれは、所定の処理を実行する。第１のサブ処理手段５０〜第３のサブ処理手段５２のそれぞれが実行する処理として、任意の処理を予め定めることができる。例えば、第１のサブ処理手段５０〜第３のサブ処理手段５２のそれぞれが実行する処理として、スキャンシステム１の動作モードを変更する処理を定義してもよい。

例えば、第１のサブ処理手段５０の処理として、スキャンシステム１の動作モードを「読書モード」と「辞書モード」の間で切り替える処理を実行してもよい。なお、「読書モード」では、スキャンシステム１は、これまでに説明したように、紙書籍を読書中のユーザーがスキャンした情報を変換して保存する動作を行う。この場合、ユーザーによってペン型スキャナ２の移動軌跡として、第１のサブ処理手段５０に対応するジェスチャが入力された場合、第１のサブ処理手段５０は、スキャンシステム１の動作モードを、「読書モード」から「辞書モード」に移行する。次に、ユーザーが本文をスキャンする操作で、意味が分からない単語をスキャンした場合、第３の処理手段３５によって得られるテキスト情報が示す単語を、スマートフォン３が有する辞書ＤＢ（図示せず）から検索する。例えば、辞書ＤＢは、スマートフォン３の記憶手段３９に予め格納されている。辞書ＤＢは、複数の単語と、複数の単語のそれぞれの意味が対応付けられている情報である。スマートフォン３は、辞書ＤＢにおいて、検索した単語に対応する意味をスマートフォン３が有する表示手段（図示せず）に表示する。この表示手段は、例えば、タッチパネルである。この後、再度、ユーザーによってペン型スキャナ２の移動軌跡として、第１のサブ処理手段５０に対応するジェスチャが入力された場合、第１のサブ処理手段５０は、スキャンシステム１の動作モードを、「辞書モード」から「通常モード」に移行する。

なお、辞書ＤＢは、上述したように、スマートフォン３が有する例に限られない。例えば、サーバー４が有する記憶手段４１に格納されていてもよい。この場合、スマートフォン３は、第３の処理手段３５によって得られるテキスト情報を送信して、サーバー４に検索を指示する。サーバー４は、スマートフォン３から受信したテキスト情報が示す単語を辞書ＤＢから検索し、検索した単語に対応する意味を示す情報をスマートフォン３に送信する。そして、スマートフォン３は、サーバー４から受信した情報が示す意味を表示手段に表示すればよい。

ここで、例えば、スマートフォン３が有するＣＰＵが、スマートフォン３が有する記憶手段３９に格納されたプログラムを実行することで、上述の手段３０〜３６と同様に、参照手段３７及びサブ処理手段５０〜５２として動作する。

続いて、図１９を参照して、本実施の形態４に係るスキャンシステム１のスキャン処理について説明する。ここでは、次のように動作する例について説明する。

ステップＳ１１〜Ｓ２１、Ｓ３１〜Ｓ３４、Ｓ３６、Ｓ３７、Ｓ４１〜４８については、実施の形態３と同様である。処理方法決定手段３０によってペン型スキャナ２の移動軌跡が非直線であると判定された場合（Ｓ３２：Ｎｏ）、参照手段３７は、ジェスチャ定義ＤＢ３８を参照し（Ｓ５１）、軌跡情報が示すペン型スキャナ２の移動軌跡が、ジェスチャ定義ＤＢ３８に含まれる複数のジェスチャ情報が示すジェスチャのいずれかに該当するか否かを判定する（Ｓ５２）。

軌跡情報が示すペン型スキャナ２の移動軌跡が、複数のジェスチャ情報が示すジェスチャのいずれかに該当すると判定した場合（Ｓ５２：Ｙｅｓ）、第１のサブ処理手段５０〜第３のサブ処理手段５２のうち、ペン型スキャナ２の移動軌跡に該当すると判定されたジェスチャに対応するサブ処理手段は、処理を実行する（Ｓ５３）。一方、軌跡情報が示すペン型スキャナ２の移動軌跡が、複数のジェスチャ情報が示すジェスチャのいずれにも該当しないと判定した場合（Ｓ５２：Ｎｏ）、ステップＳ３６以降の処理を実行する。

なお、上述したように、画像情報の処理方法の決定、及び、決定した処理方法による画像情報の処理を、ペン型スキャナ２又はサーバー４で行うようにしてもよく、この場合には、上述のジェスチャに関する処理も、画像情報の処理方法の決定、及び、決定した処理方法による画像情報の処理を行うペン型スキャナ２又はサーバー４で行うようにすればよい。すなわち、ジェスチャに関する各手段３７、３８、５０〜５２を、ペン型スキャナ２又はサーバー４に有するようにしてもよい。

また、以上の説明では、ペン型スキャナ２の移動軌跡が非直線であり、かつ、ペン型スキャナ２の動作状態が第２の状態である場合、その移動軌跡が所定のジェスチャに該当するか否かを判定する例について説明したが、これに限られない。例えば、処理方法決定手段３０は、ペン型スキャナ２の移動軌跡が非直線であり、かつ、ペン型スキャナ２の動作状態が第１の状態である場合、その移動軌跡が所定のジェスチャに該当するか否かを参照手段３７によって判定させるようにしてもよい。

以上に説明したように、本実施の形態４では、スマートフォン３の記憶手段３９は、媒体をスキャンする軌跡のテンプレートであるジェスチャを示すジェスチャ情報が格納されている。そして、参照手段３７は、媒体をスキャンした軌跡が、ジェスチャ情報が示すジェスチャに該当すると判定した場合、所定のサブ処理（第１のサブ処理手段５０〜第３のサブ処理手段５２のそれぞれが実行する処理に対応）を実行するようにしている。

これによれば、ペン型スキャナ２によるスキャン操作によって、より多くの種類の処理（上記実施の形態４では５種類以上の処理）を実行することが可能となる。また、上記実施の形態４では、スキャンシステム１の使用用途において、頻度が高い処理（ページ番号、本文及び図面のスキャン、及び、メモ書きの入力に応じた処理）は、簡便な操作で実行できる処理として割り当てられている。一方、頻度の低い処理（動作モードの変更）は、ペン型スキャナ２が若干複雑となるジェスチャに対応するサブ処理として割り当てればよい。よって、ユーザーによる利便性を低下させることなく、実行できる処理の種類を増加させることができる。

＜実施の形態５＞
次に、実施の形態５について説明する。以下、実施の形態４と同様の内容については、同一の符号を付す等して、説明を省略する。実施の形態５に係るスキャンシステム１の概要構成、及び、ペン型スキャナ２のハードウェア構成は、実施の形態４に係るスキャンシステム１の概要構成、及び、ペン型スキャナ２のハードウェア構成と同様であるため、その説明を省略する。

本実施の形態５では、ユーザーから最も新しく指定されたＩＳＢＮ（International Standard Book Number）を示すＩＳＢＮ情報に関連付けて、ページ番号情報、図面情報、本文情報及びメモ書き情報を保存する。これにより、ユーザーがＩＳＢＮの指定後に、そのＩＳＢＮで特定される紙書籍のページ番号、図面及び本文をスキャンすることで、サーバー４に格納されたページ番号情報、図面情報及び本文情報が示すページ番号、図面及び本文が、どの紙書籍に記載されたものであるのかをＩＳＢＮ情報から容易に把握可能とする。また、ユーザーがＩＳＢＮの指定後に、メモ書きを入力することで、そのメモ書きが、どの紙書籍に対するメモ書きであるのかをＩＳＢＮ情報から容易に把握することができる。

続いて、図２０を参照して、本実施の形態５に係るスキャンシステム１の詳細構成について説明する。

図２０に示すように、実施の形態５に係るペン型スキャナ２は、実施の形態４に係るペン型スキャナ２と比較して、さらに、ＩＤ記憶手段２５と、ＩＤ送信手段２６とを有する点が異なる。

ＩＤ記憶手段２５は、ペン型スキャナ２を一意に識別するＩＤを示すＩＤ情報が格納される。ＩＤ記憶手段２５は、例えば、ＭＣＵ１３が有する不揮発性メモリ（例えばフラッシュメモリ）に予め格納されている。

ＩＤ送信手段２６は、ＩＤ記憶手段２５に格納されたＩＤ情報を取得し、スマートフォン３に送信する。

図２０に示すように、実施の形態５に係るスマートフォン３は、実施の形態４に係るスマートフォン３と比較して、さらに、入力手段５３と、情報制御手段５４と、ＩＳＢＮ ＤＢ５５と、表示手段５６とを有する点が異なる。

入力手段５３は、ユーザーから任意の内容の入力を受ける。入力手段５３は、ユーザーからの入力に応じて、その入力内容を示す入力信号を生成し、情報制御手段５４に出力する。

情報制御手段５４は、ペン型スキャナ２から送信されたＩＤ情報を取得し、保持する。また、情報制御手段５４は、ユーザーがＩＳＢＮを入力手段５３に入力した場合、その入力に応じて入力手段５３から入力される入力信号に基づいて、ユーザーが入力したＩＳＢＮを示すＩＳＢＮ情報を生成し、保持する。例えば、情報制御手段５４は、ＩＤ情報及びＩＳＢＮ情報をメモリ１４に格納することで保持する。

ＩＳＢＮ ＤＢ５５は、ＩＳＢＮを示すＩＳＢＮ情報と、そのＩＳＢＮ情報が示すＩＳＢＮで特定される紙書籍のタイトルを示すタイトル情報との組が、異なる複数の紙書籍について予め格納されている。なお、タイトル情報は、さらに、紙書籍の版数を含んでいてもよい。

表示手段５６は、任意の内容を示す画像を表示する。表示手段５６は、例えば、情報制御手段５４から表示が指示された画像を表示する。スマートフォン３が有するタッチパネル（図示せず）が、入力手段５３及び表示手段５６として動作する。

ここで、例えば、スマートフォン３が有するＣＰＵが、スマートフォン３が有する記憶手段３９に格納されたプログラムを実行することで、上述の手段３０〜３７、５０〜５２と同様に、情報制御手段５４として動作する。

続いて、図２１を参照して、本実施の形態５に係るスキャンシステム１の前処理について説明する。

スマートフォン３のＣＰＵは、アプリケーションプログラムの実行を開始すると、スマートフォン３の各手段３０〜３７、５０〜５４としての動作を開始する。スマートフォン３の情報制御手段５４は、ペン型スキャナ２からのペアリング情報を待ち合わせる（Ｓ１０１）。

ペン型スキャナ２のＩＤ送信手段２６は、その電源が投入されて起動すると、ペン型スキャナ２とスマートフォン３とをペアリングするためのペアリング情報をスマートフォン３に送信する（Ｓ１０２）。このペアリング情報には、ＩＤ記憶手段２５に格納されるＩＤ情報が含まれる。

スマートフォン３の情報制御手段５４は、ペン型スキャナ２から送信されたペアリング情報を受信する（Ｓ１０３）。情報制御手段５４は、受信したペアリング情報に基づいて、スマートフォン３とペン型スキャナ２とをペアリングする。また、情報制御手段５４は、ペアリング情報に含まれるＩＤ情報を記憶手段３９に格納する。すなわち、受信したＩＤ情報が示すＩＤを、現在スキャンに利用しているペン型スキャナ２のＩＤとして保存する（Ｓ１０４）。

情報制御手段５４は、書籍リストを示す画像の表示を表示手段５６に指示する。表示手段５６は、情報制御手段５４からの指示に応じて、書籍リストを表示する（Ｓ１０５）。ここで、書籍リストは、これまでにユーザーがスキャンした紙書籍のＩＳＢＮ及びタイトルの組の一覧を示すリストである。書籍リストを示す書籍リスト情報が、スマートフォン３が有する記憶手段３９に格納されている。情報制御手段５４は、記憶手段３９に格納される書籍リスト情報に基づいて、書籍リストを示す画像を生成する。書籍リスト情報は、情報制御手段５４によって更新される。

ユーザーは、表示手段５６に表示された書籍リスト中に、これからスキャンを行う紙書籍が存在する場合（Ｓ１０６：Ｙｅｓ）、その書籍リスト中からその紙書籍を選択する入力を入力手段５３に行う（Ｓ１０７）。情報制御手段５４は、その入力に応じて入力手段５３から入力される入力信号に基づいて、書籍リスト中においてユーザーが選択した紙書籍を特定する。情報制御手段５４は、特定した紙書籍のＩＳＢＮを書籍リストから取得し、取得したＩＳＢＮを示すＩＳＢＮ情報を記憶手段３９に格納する。すなわち、最も新しく入力されたＩＳＢＮを、現在ユーザーがスキャン中（読書中）の紙書籍のＩＳＢＮとして更新する（Ｓ１０８）。

一方、ユーザーは、表示手段５６に表示された書籍リスト中に、これからスキャンを行う紙書籍が存在しない場合（Ｓ１０６：Ｎｏ）、これからスキャンを行う紙書籍のＩＳＢＮを入力手段５３に入力する（Ｓ１０９）。情報制御手段５４は、その入力に応じて入力手段５３から入力される入力信号に基づいて、ユーザーが入力したＩＳＢＮを取得する。情報制御手段５４は、取得したＩＳＢＮを、ＩＳＢＮ ＤＢ５５から検索する（Ｓ１１１、Ｓ１１２）。

取得したＩＳＢＮをＩＳＢＮ ＤＢ５５で検出した場合（Ｓ１１２：Ｙｅｓ）、取得したＩＳＢＮと、ＩＳＢＮ ＤＢ５５において、そのＩＳＢＮに対応するタイトルの組を追加するように書籍リストを更新する（Ｓ１１３）。

一方、取得したＩＳＢＮをＩＳＢＮ ＤＢ５５で検出しなかった場合（Ｓ１１２：Ｎｏ）、情報制御手段５４は、タイトルの入力を促すが画像の表示を表示手段５６に指示する。表示手段５６は、情報制御手段５４からの指示に応じて、タイトルの入力を促すが画像を表示する（Ｓ１１４）。

ユーザーは、これからスキャンを行う紙書籍のタイトルを入力手段５３に入力する（Ｓ１１５）。情報制御手段５４は、その入力に応じて入力手段５３から入力される入力信号に基づいて、ユーザーが入力したタイトルを取得する。情報制御手段５４は、取得したＩＳＢＮと、取得したタイトルの組を追加するように書籍リストを更新する（Ｓ１１３）。

ステップＳ１１３の実行後、情報制御手段５４は、取得したＩＳＢＮを示すＩＳＢＮ情報を記憶手段３９に格納する。すなわち、最も新しく入力されたＩＳＢＮを、現在ユーザーがスキャン中（読書中）の紙書籍のＩＳＢＮとして更新する（Ｓ１０８）。

情報制御手段５４は、スキャンする紙書籍の設定が完了したことを通知する通知情報を、ペン型スキャナ２に送信する（Ｓ１１５）。ペン型スキャナ２の画像取得手段２０は、スマートフォン３からの通知情報の受信に応じて、ページ番号のスキャンを待ち合わせる（Ｓ１１６）。これは、図２２を参照して、次に説明するスキャン処理におけるステップＳ１１に相当する。

続いて、図２２を参照して、本実施の形態５に係るスキャンシステム１のスキャン処理について説明する。

実施の形態５に係るスキャンシステム１のスキャン処理は、実施の形態４に係るスキャンシステム１のスキャン処理と比較して、ステップＳ４２、Ｓ４３、Ｓ４５、Ｓ４６、Ｓ４７、Ｓ４８のそれぞれに代えて、ステップＳ６１、Ｓ６２、Ｓ６３、Ｓ６４、Ｓ６５、Ｓ６６を有する。

ステップＳ２１の処理後、第２の選択手段３４は、第２の処理手段３３によって生成された図面情報とともに、記憶手段３９に格納されたＩＤ情報、ＩＳＢＮ情報及びページ番号情報を取得する（Ｓ６１）。構造化手段４２は、記憶手段４１に格納されているＩＤ情報、ＩＳＢＮ情報及びページ番号情報の組のうち、第２の選択手段３４が取得したＩＤ情報、ＩＳＢＮ情報及びページ番号情報の組と一致するＩＤ情報、ＩＳＢＮ情報及びページ番号情報の組に、第２の選択手段３４が取得した図面情報を関連付けて記憶手段４１に格納する（Ｓ６２）。

ステップＳ４４の処理後、第２の選択手段３４は、第３の処理手段３５によって生成された本文情報とともに、記憶手段３９に格納されたＩＤ情報、ＩＳＢＮ情報及びページ番号情報を取得する（Ｓ６３）。構造化手段４２は、記憶手段４１に格納されているＩＤ情報、ＩＳＢＮ情報及びページ番号情報の組のうち、第２の選択手段３４が取得したＩＤ情報、ＩＳＢＮ情報及びページ番号情報の組と一致するＩＤ情報、ＩＳＢＮ情報及びページ番号情報の組に、第２の選択手段３４が取得した本文情報を関連付けて記憶手段４１に格納する（Ｓ６４）。

ステップＳ３７の処理後、第２の選択手段３４は、第４の処理手段３６によって生成されたメモ書き情報とともに、記憶手段３９に格納されたＩＤ情報、ＩＳＢＮ情報、ページ番号情報及び本文情報を取得する（Ｓ６５）。構造化手段４２は、記憶手段４１に格納されているＩＤ情報、ＩＳＢＮ情報、ページ番号情報及び本文情報の組のうち、第２の選択手段３４が取得したＩＤ情報、ＩＳＢＮ情報、ページ番号情報及び本文情報の組と一致するＩＤ情報、ＩＳＢＮ情報、ページ番号情報及び本文情報の組に、第２の選択手段３４が取得したメモ書き情報を関連付けて記憶手段４１に格納する（Ｓ６６）。

なお、以上の説明では、ＩＳＢＮをスマートフォン３で入力するようにしているが、これに限られない。例えば、ＩＳＢＮをペン型スキャナ２で入力するようにしてもよい。すなわち、ペン型スキャナ２が、入力手段５３と、情報制御手段５４の一部とを有するようにしてもよい。この場合、例えば、入力手段５３として、ＩＳＢＮを入力可能な操作ボタンをペン型スキャナ２に有するようにする。そして、ペン型スキャナ２の情報制御手段５４が、ＩＳＢＮ情報を生成してスマートフォン３に送信し、スマートフォン３の情報制御手段５４が、ペン型スキャナ２から受信したＩＳＢＮ情報に基づいて上述と同様の処理を行うようにすればよい。

上述した処理によれば、ペアリングによりペン型スキャナ２のＩＤを送信し、ＩＳＢＮを入力し、ページ番号をスキャンした後に、本文をスキャンすることで、図２３に示すように、それらのＩＤ、ＩＳＢＮ及びページ番号を示すＩＤ情報、ＩＳＢＮ情報及びページ番号情報に、その本文を示す本文情報を関連付けて保存することができる。また、ペアリングによりペン型スキャナ２のＩＤを送信し、ＩＳＢＮを入力し、ページ番号をスキャンした後に、図面をスキャンするとこで、図２３に示すように、それらのＩＤ、ＩＳＢＮ及びページ番号を示すＩＤ情報、ＩＳＢＮ情報及びページ番号情報に、その図面を示す図面情報を関連付けて保存することができる。すなわち、スキャンした本文及び図面が、どの紙書籍における、どのページに記載されたものであるかを記録することができる。

また、図２３に示すように、ペアリングによりペン型スキャナ２のＩＤを送信し、ＩＳＢＮを入力し、ページ番号及び本文をスキャンした後に、メモ書きを入力することで、それらのＩＤ、ＩＳＢＮ、ページ番号及び本文を示すＩＤ情報、ＩＳＢＮ情報、ページ番号情報及び本文情報に、そのメモ書きを示すメモ書き情報を関連付けて保存することができる。すなわち、入力したメモ書きが、どの紙書籍における、どのページにおける、どの本文に対して記載したものであるかを記録することができる。

ここで、以上の説明では、ＩＤ情報と、最も新しく生成されたＩＳＢＮ情報と、最も新しく生成されたページ番号情報と、最も新しく生成された本文情報との組に関連付けて、メモ書き情報を保存する例について説明したが、これに限られない。例えば、ＩＤ情報と、最も新しく生成されたＩＳＢＮ情報と、最も新しく生成されたページ番号情報と、最も新しく生成された図面情報との組に関連付けて、メモ書き情報を保存するようにしてもよい。この場合、ステップ２１の処理後、第２の選択手段３４は、第２の処理手段３３によって生成された図面情報を記憶手段３９に格納すればよい。ステップＳ６５の処理として、第２の選択手段３４は、第４の処理手段３６によって生成されたメモ書き情報とともに、記憶手段３９に格納されたＩＤ情報、ＩＳＢＮ情報、ページ番号情報及び図面情報を取得すればよい。そして、ステップＳ６６の処理として、構造化手段４２は、記憶手段４１に格納されているＩＤ情報、ＩＳＢＮ情報、ページ番号情報及び図面情報の組のうち、第２の選択手段３４が取得したＩＤ情報、ＩＳＢＮ情報、ページ番号情報及び図面情報の組と一致するＩＤ情報、ＩＳＢＮ情報、ページ番号情報及び図面情報の組に、第２の選択手段３４が取得したメモ書き情報を関連付けて記憶手段４１に格納すればよい。この場合、ステップＳ４４の処理は不要である。

また、上述のページ番号情報と本文情報との組と関連付けてのメモ書き情報の保存と、上述のページ番号情報と図面情報との組と関連付けてのメモ書き情報の保存との両方を実施するようにしてもよい。この場合、上述のステップＳ４４の処理と、上述のステップ２１の処理後における図面情報の記憶手段３９への格納の両方を実施するようにすればよい。ステップＳ６５の処理として、最も新しく生成された本文情報と、最も新しく生成された図面情報のうち、最も新しく生成された情報（本文情報又は図面情報）を取得すればよい。そして、ステップＳ６６の処理として、構造化手段４２は、第２の選択手段３４が取得したＩＤ情報とＩＳＢＮ情報とページ番号情報と本文情報又は図面情報との組と一致するＩＤ情報とＩＳＢＮ情報とページ番号情報と本文情報又は図面情報との組に、第２の選択手段３４が取得したメモ書き情報を関連付けて記憶手段４１に格納すればよい。

以上に説明したように、本実施の形態５では、入力手段５３は、媒体としてスキャンする紙書籍のＩＳＢＮを指定する入力が行われる。構造化手段４２は、最も新しく指定されたＩＳＢＮを示すＩＳＢＮ情報と、最も新しく生成されたページ番号情報とに、そのＩＳＢＮの指定及びそのページ番号情報の生成後に、生成された図面情報、本文情報、又は、メモ書き情報を関連付けて記憶手段４１に格納するようにしている。

これによれば、異なる紙書籍ごとにスキャンした情報群を構築することができるため、サーバー４に格納された情報を検索・参照などする際に、情報を利用し易くすることができる。

また、本実施の形態５では、ペン型スキャナ２は、ペン型スキャナ２を一意に識別するＩＤ情報が予め格納されるＩＤ記憶手段２５と、ＩＤ記憶手段２５に格納されたＩＤ情報を送信するＩＤ送信手段２６とを有している。構造化手段４２は、ＩＤ送信手段２６から送信されたＩＤ情報と、最も新しく指定されたＩＳＢＮを示すＩＳＢＮ情報と、最も新しく生成されたページ番号情報とに、そのＩＤ情報の受信、そのＩＳＢＮの指定及びそのページ番号情報の生成後に、生成された図面情報、本文情報、又は、メモ書き情報を関連付けて記憶手段４１に格納するようにしている。

これによれば、さらに、異なるペン型スキャナ２毎に（すなわち、異なるユーザー毎に）にスキャンした情報群を構築することができるため、サーバー４に格納された情報を検索・参照などする際に、情報を利用し易くすることができる。

（実施の形態５の変形例１）
ここで、上述の実施の形態５においては、スキャンする紙書籍を変更する場合、ユーザーは、操作対象をペン型スキャナ２からスマートフォン３に変更し、スマートフォン３に対して、書籍リストから紙書籍を選択する操作、又は、ＩＳＢＮを入力する手間が必要となる。そのため、このような手間を省くため、次に説明するように、スキャンシステム１の動作モードとして、ジェスチャを入力することで移行することができ、かつ、スキャンによってＩＳＢＮを入力することができる「ＩＳＢＮスキャンモード」を用意するようにしてもよい。

続いて、図２４を参照して、本実施の形態５の変形例１に係るスキャンシステム１の詳細構成について説明する。

実施の形態５の変形例１に係るスキャンシステム１は、実施の形態５に係るスキャンシステム１と比較して、さらに、第５の処理手段５７を有する点が異なる。

実施の形態５に係る第１のサブ処理手段５０は、スキャンシステム１の動作モードを「読書モード」と「ＩＳＢＮスキャンモード」の間で切り替える処理を実行する。

スキャンシステム１の動作モードが「読書モード」である場合、スマートフォン３は、上述したように、ペン型スキャナ２からの複数の画像情報の受信に応じて、第１の処理手段３２、第２の処理手段、第３の処理手段３５及び第４の処理手段３６のうち、処理方法決定手段３０によって決定された処理手段を動作させる。一方、スキャンシステム１の動作モードが「ＩＳＢＮスキャンモード」である場合、スマートフォン３は、ペン型スキャナ２からの複数の画像情報の受信に応じて、第５の処理手段５７を動作させる。

第５の処理手段５７は、複数の画像情報が示す複数の画像を結合し、結合によって生成された画像に含まれる文字列に対してＯＣＲを施して、その文字列が電子テキスト化されたテキスト情報を、ＩＳＢＮを示すＩＳＢＮ情報として生成する。

続いて、実施の形態５の変形例１に係るスキャンシステム１のＩＳＢＮスキャンモード時のスキャン処理について説明する。

ペン型スキャナ２の画像取得手段２０は、ユーザーからペン型スキャナ２に対して媒体として紙書籍のＩＳＢＮをスキャンする操作が行われるのを待ち合わせる（Ｓ１２０、Ｓ１２１：Ｎｏ）。すなわち、画像取得手段２０は、ペン型スキャナ２がペンダウンされるのを待ち合わせる。

画像取得手段２０は、ユーザーからペン型スキャナ２に対して媒体をスキャンする操作が行われた場合（Ｓ１２１：Ｙｅｓ）、媒体のスキャンを開始する（Ｓ１２２）。画像取得手段２０は、ユーザーからペン型スキャナ２に対して媒体のスキャンを終了する操作が行われるまで、スキャンした媒体の画像を示す画像情報の生成・保持を繰り返す（Ｓ１２２、Ｓ１２３：Ｎｏ）。

第５の処理手段５７は、画像取得手段２０によって生成された複数の画像情報が示す画像を結合し（Ｓ１２４）、結合によって得られた画像に含まれるＩＳＢＮの文字列に対してＯＣＲを実施する（Ｓ１２５）。これにより、第５の処理手段５７は、結合によって得られた画像に含まれるＩＳＢＮの文字列を電子テキストとして示すテキスト情報を、ＩＳＢＮ情報として生成する。

情報制御手段５４は、記憶手段に格納される書籍リスト情報が示す書籍リスト中に、第５の処理手段５７が生成したＩＳＢＮ情報が示すＩＳＢＮが存在するか否かを判定する（Ｓ１２６）。情報制御手段５４は、書籍リスト中にＩＳＢＮ情報が示すＩＳＢＮが存在する場合（Ｓ１２６：Ｙｅｓ）、そのＩＳＢＮ情報を記憶手段３９に格納する。すなわち、最も新しくスキャンされたＩＳＢＮを、現在ユーザーがスキャン中（読書中）の紙書籍のＩＳＢＮとして更新する（Ｓ１２７）。

書籍リスト中にＩＳＢＮ情報が示すＩＳＢＮが存在しない場合（Ｓ１２６：Ｎｏ）、情報制御手段５４は、そのＩＳＢＮ情報が示すＩＳＢＮを、ＩＳＢＮ ＤＢ５５から検索する（Ｓ１２９）。以下、実行されるステップＳ１３０〜Ｓ１３２、Ｓ１２７、Ｓ１３３、Ｓ１３４は、実施の形態５で説明したステップＳ１１３〜Ｓ１１５、Ｓ１０８、Ｓ１１５、Ｓ１１６と同様であるため、説明を省略する。

以上に説明したように、本実施の形態５の変形例１では、参照手段３７は、媒体をスキャンした軌跡が、ジェスチャ情報が示すジェスチャに該当すると判定した場合、スキャンシステム１の動作モードを、通常モードからＩＳＢＮスキャンモードに移行させるサブ処理を実行する。第５の処理手段５７は、スキャンシステムの動作モードがＩＳＢＮスキャンモードである場合、複数の画像情報を所定の形式の情報に変換し、変換後の情報を、媒体としてスキャンした紙書籍のＩＳＢＮを示すＩＳＢＮ情報として生成する。構造化手段４２は、最も新しく生成されたＩＳＢＮ情報と、最も新しく生成されたページ番号情報と、そのＩＳＢＮ情報及びそのページ番号情報の生成後に、生成された図面情報、本文情報、又は、メモ書き情報を関連付けて記憶手段４１に格納するようにしている。

これによれば、ペン型スキャナ２を操作するのみ（ジェスチャの入力及びＩＳＢＮのスキャン）で、ＩＳＢＮを入力して、スキャン対象の紙書籍（読書対象の本）を切り替えることができる。すなわち、より簡便な操作で、スキャン対象の紙書籍（読書対象の本）を切り替えることができる。

（実施の形態５の変形例２）
また、上述の実施の形態５において、より正確な本文のスキャン結果を得るために、本文のスキャンを行った場合に、他者のスキャン結果、又は、正規の電子書籍に基づいて、ＯＣＲで誤って認識された本文の補正を行えるようにしてもよい。

続いて、図２６を参照して、本実施の形態５の変形例２に係るサーバー４の詳細構成について説明する。

図２６に示すように、本実施の形態５の変形例２に係るサーバー４は、実施の形態５に係るサーバー４と比較して、さらに、参照手段４３と、記憶手段４４と、書籍ＤＢ４５とを有する点が異なる。

本実施の形態５の変形例２に係る構造化手段４２は、スマートフォン３からＩＤ情報、ＩＳＢＮ情報、ページ番号情報及び本文情報の組を受信した場合、そのＩＳＢＮ情報、ページ番号情報及び本文情報を参照手段４３に出力して、その本文情報が示す本文の補正を参照手段４３に指示する。

参照手段４３は、記憶手段４４及び記憶手段４５に格納された情報に基づいて、構造化手段４２から出力された本文情報が示す本文を補正する。

記憶手段４４は、複数の他者のそれぞれについて、記憶手段４１に格納される情報と同様の情報が格納されている。すなわち、他者が、他のペン型スキャナ２及び他のスマートフォン３を使用することで、上述と同様に、ＩＤ情報、ＩＳＢＮ情報、ページ番号情報、本文情報、図面情報及びメモ書き情報が、記憶手段４４に格納される。

記憶手段４５は、複数の紙書籍のそれぞれが電子テキスト化された複数の電子書籍が格納される。この電子書籍は、紙書籍が正確に電子テキスト化された正規の電子書籍となる。例えば、この電子書籍は、紙書籍の出版社によって提供される。電子書籍は、そのＩＳＢＮを示すＩＳＢＮ情報と対応付けられている。また、電子書籍の各ページは、そのページ番号を示すページ番号情報と対応付けられている。

記憶手段４４及び記憶手段４５のそれぞれは、例えば、揮発性メモリ、ハードディスク、及び、フラッシュメモリ（不揮発性メモリ）等の記憶装置のうち、少なくとも１つを含む。記憶手段４１、記憶手段４４及び記憶手段４５のそれぞれに含まれる記憶装置は、その全部又は一部が供給されていてもよい。

参照手段４３は、構造化手段４２から出力された本文情報が示す本文を、構造化手段４２から出力されたＩＳＢＮ情報が示すＩＳＢＮで特定される電子書籍のうち、構造化手段４２から出力されたページ番号情報が示すページ番号のページにおける本文から、部分一致検索する。

参照手段４３は、それらの本文が完全一致する場合、構造化手段４２から出力された本文情報が示す本文を補正しない。参照手段４３は、それらの本文が部分一致する場合、電子書籍の本文と一致するように、構造化手段４２から出力された本文情報が示す本文を補正する。

一方、構造化手段４２から出力されたＩＳＢＮ情報が示すＩＳＢＮで特定される電子書籍が、記憶手段４５に存在しない場合、参照手段４３は、構造化手段４２から出力された本文情報が示す本文を、記憶手段４４に格納された本文情報のうち、構造化手段４２から出力されたＩＳＢＮ情報及びページ番号情報の組と同一のＩＳＢＮ情報及びページ番号情報と対応付けられている本文情報が示す本文から、部分一致検索する。このとき、参照手段４３は、複数の他者の本文情報が示す本文から、部分一致検索する。

参照手段４３は、構造化手段４２から出力された本文情報が示す本文（自分の本文情報が示す本文）が、複数の他者の本文情報が示す本文の全てと完全一致する場合、構造化手段４２から出力された本文情報が示す本文を補正しない。参照手段４３は、自分の本文情報が示す本文が、複数の他者の本文情報が示す本文の少なくとも１つと部分一致する場合、他者の本文情報が示す本文と一致するように、構造化手段４２から出力された本文情報が示す本文を補正する。このとき、多数決によって、最も一致する数の多い本文に完全一致するように、自分の本文情報が示す本文を補正する。

構造化手段４２は、参照手段４３によって本文情報が補正された場合、記憶手段４１に格納する本文情報を、補正後の本文情報に置き換える。

以上に説明したように、本実施の形態５に係る変形例１では、記憶手段４５は、複数の紙書籍から正規に生成された複数の電子書籍が格納されている。参照手段４３は、生成した本文情報が示す本文と、最も新しく指定されたＩＳＢＮに対応する電子書籍のうち、最も新しく生成されたページ情報が示すページ番号のページにおける本文とが部分一致する場合、生成された本文情報が示す本文を、最も新しく生成されたページ情報が示すページ番号のページにおける本文と完全一致するように補正するようにしている。

また、本実施の形態５に係る変形例１では、記憶手段４４は、他のユーザーが媒体をスキャンすることで生成されたＩＳＢＮ情報、ページ情報及び本文情報の組が複数格納されている。参照手段４３は、最も新しく指定されたＩＳＢＮに対応する電子書籍が記憶手段４５に存在せず、生成された本文情報が示す本文が、最も新しく指定されたＩＳＢＮが示すＩＳＢＮ情報及び最も新しく生成されたページ番号情報と同一のＩＳＢＮ情報及びページ番号情報に関連付けられている複数の他のユーザーの本文情報が示す本文の少なくとも１つと部分一致する場合、当該複数の他のユーザーの本文情報が示す本文において最も一致する数の多い本文と完全一致するように、生成した本文情報が示す本文を補正するようにしている。

これらによれば、スキャンによって得られた本文がＯＣＲにおいて誤変換されてしまった場合であっても、正しい本文に補正することができる。

＜実施の形態６＞
次に、実施の形態６について説明する。以下、実施の形態２と同様の内容については、同一の符号を付す等して、説明を省略する。実施の形態６に係るスキャンシステム１の概要構成は、実施の形態１に係るスキャンシステム１の概要構成と同様であるため、その説明を省略する。

続いて、図２７を参照して、実施の形態６に係るペン型スキャナ２のハードウェア構成について説明する。実施の形態６に係るペン型スキャナ２は、実施の形態２に係るペン型スキャナ２と比較して、さらに、表示装置１７を有する点が異なる。

表示装置１７は、スマートフォン３の処理方法決定手段３０によって決定された処理方法の通知を表示する装置である。表示装置１７は、例えば、予め用意された複数の処理方法のそれぞれに対応するＬＥＤを含んでおり、処理方法決定手段３０によって決定された処理方法に対応するＬＥＤを点灯させるものであってもよい。この場合、表示装置１７は、第１の処理方法〜第４の処理方法のそれぞれに対応する４つのＬＥＤを有する。また、表示装置１７は、例えば、液晶ディスプレイパネル及び有機ＥＬディスプレイパネル等のように、処理方法決定手段３０によって決定された処理方法を通知する画像を表示するディスプレイパネルであってもよい。

本実施の形態６に係るスマートフォン３は、処理方法を決定したときに、決定した処理方法を示す通知情報を生成し、ペン型スキャナ２に送信する。ペン型スキャナ２のＭＣＵ１３は、スマートフォン３から送受信機１５を介して受信した通知情報が示す処理方法の通知を表示装置１７に表示する。

続いて、図２８を参照して、本実施の形態６に係るスキャンシステム１の詳細構成について説明する。

図２８に示すように、実施の形態６に係るペン型スキャナ２は、実施の形態３に係るペン型スキャナ２と比較して、さらに、表示制御手段２７と、表示手段２８とを有する点が異なる。

本実施の形態６に係る処理方法決定手段３０は、第１の処理方法〜第４の処理方法から、複数の画像情報又は軌跡情報を処理する処理方法を決定したとき、決定した処理方法を示す通知情報を生成し、ペン型スキャナ２に送信する。

表示制御手段２７は、スマートフォン３から受信した通知情報が示す処理方法の通知を表示するように表示手段２８に指示する。すなわち、ＭＣＵ１３、メモリ１４及び送受信機１５が、表示制御手段２７として動作する。

表示手段２８は、表示制御手段２７からの指示に応じて、決定された処理方法の通知を表示する。すなわち、表示装置１７が、表示手段２８として動作する。

なお、実施の形態６に係るスキャンシステム１のスキャン処理については、上述したように、ユーザーに対して、決定した処理方法を通知すること以外は、実施の形態２に係るスキャンシステム１のスキャン処理と同様であるため、説明を省略する。

なお、上述の説明では、表示制御手段２７（表示装置１７）及び表示手段２８を、実施の形態２に対して適用した形態について説明したが、これに限られない。実施の形態１〜５のいずれかに対して、表示制御手段２７（表示装置１７）及び表示手段２８を適用した形態も実施可能である。ただし、第１の処理方法及び第２の処理方法のいずれかを示す通知情報が通知されることとなるが、それは自明であるため、詳細な説明は省略する。

以上に説明したように、本実施の形態６では、表示制御手段２７は、処理方法決定手段３０が決定した処理方法の通知を表示手段２８に表示するようにしている。

これによれば、スキャンした情報が、ユーザーが意図した通りの情報に変換されているか否かを知ることができる。よって、例えば、スキャンシステム１の動作不良を検出することが容易となる。

＜実施の形態７＞
次に、実施の形態７について説明する。以下、実施の形態５と同様の内容については、同一の符号を付す等して、説明を省略する。実施の形態７に係るスキャンシステム１の概要構成、及び、ペン型スキャナ２のハードウェア構成は、実施の形態５に係るスキャンシステム１の概要構成、及び、ペン型スキャナ２のハードウェア構成と同様であるため、その説明を省略する。

本実施の形態７では、スキャンシステム１の動作モードとして、紙書籍の情報をスキャンする「読書モード」と、ソーシャルリーディングサービス（又は書籍通販サイト）において紙書籍に対して他者が入力した情報を閲覧する「閲覧モード」とを有している。これにより、ソーシャルリーディングサービスにおいて紙書籍に対して他者が入力した情報を検索するための検索キーを、紙書籍の情報をスキャンすることで、その検索を容易とする。

続いて、図２９を参照して、本実施の形態７に係るスキャンシステム１の詳細構成について説明する。

図２９に示すように、実施の形態７に係るサーバー４は、実施の形態５に係るサーバー４と比較して、さらに、参照手段４６と、記憶手段４７とを有する点が異なる。

本実施の形態７に係る構造化手段４２は、スキャンシステム１の動作モードが「閲覧モード」である場合、スマートフォン３からＩＤ情報、ＩＳＢＮ情報及びページ情報の組を受信したとき、ＩＳＢＮ情報及びページ情報を参照手段４６に出力する。また、構造化手段４２は、スキャンシステム１の動作モードが「閲覧モード」である場合、スマートフォン３からＩＤ情報、ＩＳＢＮ情報、ページ情報及び本文情報の組を受信したとき、ＩＳＢＮ情報、ページ情報及び本文情報を参照手段４６に出力する。

参照手段４６は、構造化手段４２から出力された情報に基づいて、記憶手段４７から紙書籍に対して他者が入力した情報を取得し、スマートフォン３に送信する。

記憶手段４７は、複数の他者のそれぞれについて、ソーシャルリーディングサービスにおいて紙書籍に対して他者が入力した情報が格納されている。この情報は、例えば、他者が、他のスマートフォン３で入力してサーバー４に送信することで、サーバー４の記憶手段４７に格納される。なお、記憶手段４７に格納するための情報をサーバー４に送信する情報処理装置は、スマートフォン３に限られず、上述したようにＰＣ又はタブレットであってもよい。

ここで、例えば、サーバー４が有するＣＰＵが、サーバー４が有する記憶手段４１に格納されたプログラムを実行することで、上述の構造化手段４２と同様に、参照手段４６として動作する。

より具体的には、記憶手段４７は、例えば、紙書籍全体に対するコメントを示すコメント情報又はＱ＆Ａ（質問＆回答）を示すＱ＆Ａ情報と、紙書籍の各ページの記載に対するコメントを示すコメント情報又はＱ＆Ａを示すＱ＆Ａ情報と、各ページの記載における所定単位ずつ（例えば所定数の段落毎）の本文の記載に対するコメントを示すコメント情報又はＱ＆Ａを示すＱ＆Ａ情報とが格納される。

紙書籍全体に対するコメント情報又はＱ＆Ａ情報は、その紙書籍のＩＳＢＮを示すＩＳＢＮ情報に関連付けられて記憶手段４７に格納されている。ある紙書籍における、あるページの記載に対するコメント情報又はＱ＆Ａ情報は、その紙書籍のＩＳＢＮを示すＩＳＢＮ番号と、そのページのページ番号を示すページ番号情報の組と関連付けられて記憶手段４７に格納されている。ある書籍における、あるページにおける、ある単位の本文の記載に対するコメント情報又はＱ＆Ａ情報は、その紙書籍のＩＳＢＮを示すＩＳＢＮ番号と、そのページのページ番号を示すページ番号情報と、その本文を示す本文情報との組に関連付けられて記憶手段４７に格納されている。

よって、図３０に示すように、参照手段４６は、構造化手段４２からＩＳＢＮ情報及びページ番号情報が出力された場合、そのＩＳＢＮ情報及びページ番号情報と同一のＩＳＢＮ情報及びページ番号情報の組に関連付けられたコメント情報又はＱ＆Ａ情報を、記憶手段４７から取得し、スマートフォン３に送信する。

また、図３０に示すように、参照手段４６は、構造化手段４２からＩＳＢＮ情報、ページ情報及び本文情報が出力された場合、そのＩＳＢＮ情報及びページ番号情報と同一のＩＳＢＮ情報及びページ番号情報と、その本文情報が示す本文を含む本文を示す本文情報との組に関連付けられたコメント情報又はＱ＆Ａ情報を、記憶手段４７から取得し、スマートフォン３に送信する。

図２９に示すように、実施の形態７に係るスマートフォン３は、実施の形態５に係るスマートフォン３と比較して、さらに、表示制御手段５８を有する点が異なる。

表示制御手段５８は、サーバー４から受信したコメント情報又はＱ＆Ａ情報が示すコメント又はＱ＆Ａの画像を表示手段５６に表示する。

ここで、例えば、スマートフォン３が有するＣＰＵが、スマートフォン３が有する記憶手段３９に格納されたプログラムを実行することで、上述の手段３０〜３７、５０〜５２、５４と同様に、表示制御手段５８として動作する。

本実施の形態７に係る入力手段５３は、ユーザーからスキャンシステム１の動作モードを「読書モード」から「閲覧モード」に切り替える指示の入力が行われる。情報制御手段５４は、ユーザーからスキャンシステム１の動作モードを「読書モード」から「閲覧モード」に切り替える指示が入力手段５３に入力された場合、スキャンシステム１の動作モードを「読書モード」から「閲覧モード」に切り替える。

スキャンシステム１の動作モードが「閲覧モード」である場合、第２の選択手段３４は、ＩＤ情報、ＩＳＢＮ情報、ページ情報及び本文情報などをサーバー４に送信する場合、それらの情報とともに、スキャンシステム１の動作モードが「閲覧モード」であることを示す通知情報も送信する。この通知情報により、サーバー４の構造化手段４２が、スキャンシステム１の動作モードが「閲覧モード」であるか否かを認識可能とする。

続いて、図３１を参照して、本実施の形態７の効果について説明する。図３１の左図に示すように、一般的なソーシャルリーディングサービス又は書籍通販サイトでは、コメントなどの情報を呈示する単位が、書籍単位である。それに対して、本実施の形態７によれば、図３１の右図に示すように、書籍のページ単位毎、もしくは、書籍のページを所定単位で区切った本文の単位毎で、ソーシャルリーディングサービス又は書籍通販サイトにおけるコメントなどの情報を呈示することができる。すなわち、一般的なソーシャルリーディングサービス又は書籍通販サイトと比較して、より粒度の細かい情報を呈示することができる。

なお、以上の説明では、スキャンシステム１の動作モードを、スマートフォン３への入力によって切り替える例について説明したが、これに限られない。スキャンシステム１の動作モードを、ペン型スキャナ２によるジェスチャの入力によって切り替えるようにしてもよい。例えば、第１のサブ処理手段５０が、スキャンシステム１の動作モードを「読書モード」と「閲覧モード」の間で切り替える処理を実行するようにしてもよい。

また、例えば、第２のサブ処理手段５１が、スキャンシステム１の動作モードを「読書モード」と「第２の閲覧モード」の間で切り替える処理を実行するようにしてもよい。そして、「第２の閲覧モード」では、スマートフォン３の他の処理手段（図示せず）が、複数の画像情報が示す複数の画像を結合し、結合によって生成された画像に含まれる文字列に対してＯＣＲを施して、その文字列が電子テキスト化されたテキスト情報を、ＩＳＢＮを示すＩＳＢＮ情報として生成するようにしてもよい。第２の選択手段３４は、生成されたＩＳＢＮ情報をサーバー４に送信する。

構造化手段４２は、スマートフォン３から受信したＩＳＢＮ情報を、参照手段４６に送信する。そして、図３０に示すように、参照手段４６は、構造化手段４２からＩＳＢＮ情報が出力された場合、そのＩＳＢＮ情報と同一のＩＳＢＮ情報に関連付けられたコメント情報又はＱ＆Ａ情報を、記憶手段４７から取得し、スマートフォン３に送信するようにしてもよい。

また、この他の処理手段によって、生成するテキスト情報を、レビュワー名を示すレビュワー名情報として生成し、サーバー４に送信するようにしてもよい。この場合、コメント情報又はＱ＆Ａ情報は、そのコメント情報又はＱ＆Ａ情報が示すコメント又はＱ＆Ａを入力したレビュワー名を示すレビュワー名情報と関連付けられて記憶手段４７に格納されているようにする。そして、参照手段３６は、スマートフォン３から受信したレビュワー名情報と同一のレビュワー名情報に関連付けられたコメント情報又はＱ＆Ａ情報を、記憶手段４７から取得し、スマートフォン３に送信するようにしてもよい。

また、この他の処理手段によって、生成するテキスト情報を、章の見出しを示す章見出し情報として生成し、サーバー４に送信するようにしてもよい。この場合、章見出し情報と、その章見出し情報が示す見出しの章に対するコメント又はＱ＆Ａを示すコメント情報又はＱ＆Ａ情報とが関連付けられて記憶手段４７に格納されているようにする。そして、参照手段３６は、スマートフォン３から受信した章見出し情報と同一の章見出し情報に関連付けられたコメント情報又はＱ＆Ａ情報を、記憶手段４７から取得し、スマートフォン３に送信するようにしてもよい。

以上に説明したように、本実施の形態７では、記憶手段４７は、複数の紙書籍のそれぞれについて、当該紙書籍の各ページの記載に対して他者が入力した情報が格納されている。参照手段４６は、最も新しく指定されたＩＳＢＮに対応する紙書籍のうち、生成されたページ番号情報が示すページ番号におけるページの記載に対して他者が入力した情報を取得する。表示制御手段５８は、参照手段４６が取得した情報を表示手段５６に表示する。

これによれば、複雑な操作を行うことなく、紙書籍に対して他者が入力した情報を参照することができる。よって、例えば、記憶手段４７に格納される情報としてソーシャルリーディングサービスにおける情報を採用することで、ソーシャルリーディングサービスを活性化することができる。

＜実施の形態８＞
次に、実施の形態８について説明する。以下、実施の形態３と同様の内容については、同一の符号を付す等して、説明を省略する。実施の形態８に係るスキャンシステム１の概要構成、及び、ペン型スキャナ２のハードウェア構成は、実施の形態１に係るスキャンシステム１の概要構成、及び、ペン型スキャナ２のハードウェア構成と同様であるため、その説明を省略する。

本実施の形態８では、図３２に示すように、本文のスキャンを終了してから、次の本文のスキャンを開始するまでの時間を計測し、計測した時間が所定の時間間隔以内である場合には、それらの本文を連結して保存する。これによれば、例えば、図３２に示すように、「あああああああああいいいいいいいいいいううう。」からなる一文が複数行にまたがる場合であっても、それを一文として保存することが可能となる。

すなわち、図３２に示すように、紙書籍において、「あああああああああ」が１行目に記載されており、「いいいいいいいいいい」が２行目に記載されており、「ううう。」が３行目に記載されているものとする。この場合、１行目の終点ｂまでスキャンが終了してから、２行目の始点ｃからスキャンが開始されるまでの時間と、２行目の終点ｄまでスキャンが終了してから、３行目の始点ｅからスキャンが開始されるまでの時間のそれぞれが、所定の時間間隔以内である場合には、各行の文字列が一文に連結して保存する。

続いて、図３３を参照して、本実施の形態８に係るスキャンシステム１の詳細構成について説明する。

図３３に示すように、本実施の形態８に係るペン型スキャナ２は、実施の形態３に係るペン型スキャナ２と比較して、さらに、時間計測手段２９を有する点が異なる。

時間計測手段２９は、媒体のスキャンが終了した時点から、次に媒体のスキャンが開始される時点までの時間を計測する。言い換えると、時間計測手段２９は、ペン型スキャナ２がペンアップされてから、ペン型スキャナ２がペンダウンされるまでの時間を計測する。例えば、タイマ（図示せず）を有するＭＣＵ１３が、時間計測手段２９として動作する。時間計測手段２９は、計測した時間を示す時間情報を生成し、スマートフォン３に送信する。

図３３に示すように、本実施の形態８に係るスマートフォン３は、実施の形態３に係るスマートフォン３と比較して、さらに、入力手段５３と、時間判定手段５９と、しきい値設定手段６０とを有する点が異なる。

本実施の形態８に係る処理方法決定手段３０は、前回にスキャンした情報の属性が「本文」であり、今回にスキャンした情報の属性も「本文」である場合、前回の本文のスキャン終了から今回の本文のスキャン開始までの時間の判定を時間判定手段５９に指示する。言い換えると、処理方法決定手段３０は、前回も今回も第３の処理手段３５で実行される処理方法で複数の画像情報を処理すると判定した場合、前回の本文のスキャン終了から今回の本文のスキャン開始までの時間の判定を時間判定手段５９に指示する。

時間判定手段５９は、ペン型スキャナ２から受信した時間情報が示す時間が、しきい値以下であるか否かを判定する。時間判定手段５９は、時間情報が示す時間がしきい値以下であると判定した場合、本文の連結を指示する指示情報を第２の選択手段３４に出力する。

第２の選択手段３４は、時間判定手段５９から本文の連結を指示する指示情報が出力されている場合、第３の処理手段３５によって今回生成された本文情報が示す本文と、前回生成されて記憶手段３９に格納されている本文情報が示す本文とを連結した本文を示す本文情報を生成する。そして、第２の選択手段３４は、その本文情報をサーバー４に送信するときに、その本文情報に対して、本文情報の置き換え指示する指示情報を付与してからサーバー４に送信する。

本実施の形態８に係る構造化手段４２は、スマートフォン３から受信した本文情報に指示情報が付与されている場合、前回に記憶手段４１に格納した本文情報を、スマートフォン３から受信した本文情報に更新する。

入力手段５３は、実施の形態５〜７と同様である。ただし、本実施の形態８に係る入力手段５３は、生成した入力信号を、しきい値設定手段６０に出力する。

しきい値設定手段６０は、ユーザーがしきい値を入力手段５３に入力した場合、その入力に応じて入力手段５３から入力される入力信号に基づいて、ユーザーが入力したしきい値を取得し、取得したしきい値を時間判定手段５９に設定する。すなわち、時間判定手段５９が使用するしきい値が、ユーザーが入力したしきい値に更新される。

ここで、例えば、スマートフォン３が有するＣＰＵが、スマートフォン３が有する記憶手段３９に格納されたプログラムを実行することで、上述の手段３０〜３６と同様に、時間判定手段５９及びしきい値設定手段６０として動作する。

続いて、図３４及び図３５を参照して、実施の形態８に係るスキャンシステム１のスキャン処理について説明する。

ステップＳ１１〜Ｓ１５の処理については、実施の形態３と同様である。ただし、本実施の形態８では、時間計測手段２９は、ステップＳ１４の処理とステップＳ１５の処理の間で、計測時間をリセットし（Ｓ７２）、ステップＳ１２の処理とステップＳ１３の処理の間で、計測時間を取得する（Ｓ７１）。これにより、時間計測手段２９は、前回スキャンを終了した時点から（Ｓ１４：Ｙｅｓ）、今回スキャンを開始した時点まで（Ｓ１２：Ｙｅｓ）の時間を取得する。

ステップＳ１６〜Ｓ２１、Ｓ３１〜Ｓ３４、Ｓ３６、Ｓ３７、Ｓ４１〜Ｓ４８の処理については、実施の形態３と同様である。ステップＳ３４の処理後、時間判定手段５９は、時間計測手段２９が取得した時間が、しきい値以下であるか否かを判定する（Ｓ７３）。

時間計測手段２９が取得した時間が、しきい値以下でない場合（Ｓ７３：Ｎｏ）、ステップＳ４４〜Ｓ４６の処理が実行される。

一方、時間計測手段２９が取得した時間が、しきい値以下である場合（Ｓ７３：Ｙｅｓ）、第２の選択手段３４は、記憶手段３９に格納された本文情報が示す本文と、第３の処理手段３５によって生成された本文情報が示す本文とを連結した本文を示す本文情報を生成する（Ｓ７４）。第２の選択手段３４は、生成した本文情報を記憶手段３９に格納する。すなわち、最も新しくスキャンした本文を、新たにスキャンされた本文に更新する（Ｓ７５）。構造化手段４２は、前回に記憶手段４１に格納した本文情報を、第２の選択手段３４が生成した本文情報に更新する（Ｓ７６）。

なお、以上の説明では、計測した時間がしきい値以下である場合、本文情報を連結し、計測した時間がしきい値以下でない場合、本文情報を連結せず、別々の本文情報（例えば別々のテキストファイル）として記憶手段４１に格納する例について説明したが、これに限られない。例えば、計測した時間がしきい値以下である場合、２つの本文情報が示す本文の間に改行文字を入れずに連結して１つの本文情報（例えば１つのテキストファイル）とし、計測した時間がしきい値以下でない場合、２つの本文情報が示す本文の間に改行文字を入れて連結して１つの本文情報とするようにしてもよい。

なお、以上の説明では、時間計測手段２９が取得した時間がしきい値以下であるか否かの判定、及び、しきい値の設定をスマートフォン３で行う例について説明したが、これに限られない。例えば、時間計測手段２９が取得した時間がしきい値以下であるか否かの判定、及び、しきい値の設定をペン型スキャナ２で行うようにしてもよい。すなわち、ペン型スキャナ２が、入力手段５３、時間判定手段５９及びしきい値設定手段６０を有するようにしてもよい。この場合、例えば、入力手段５３として、しきい値を入力可能な操作ボタンをペン型スキャナ２に有するようにする。

また、上述の説明では、時間計測手段２９、入力手段５３、時間判定手段５９及びしきい値設定手段６０を、実施の形態３に対して適用した形態について説明したが、これに限られない。実施の形態４〜７のいずれかに対して、時間計測手段２９、入力手段５３、時間判定手段５９及びしきい値設定手段６０を適用した形態も実施可能である。

以上に説明したように、本実施の形態８では、時間計測手段２９は、前回の媒体のスキャンを終了した時点から、今回の媒体のスキャンを開始した時点までの時間を計測する。時間判定手段５９は、前回と今回に本文情報を生成した場合に、時間計測手段２９が計測した時間が所定の閾値以下であるか否かを判定する。構造化手段４２は、時間判定手段５９が計測した時間が所定の閾値以下であると判定された場合、前回に生成した本文情報を、その本文情報が示す本文と、今回に生成した本文情報が示す本文とを連結した本文を示す本文情報に更新する。構造化手段４２は、時間計測手段２９が計測した時間が所定の閾値以下でないと判定された場合、前回に生成した本文情報には連結せず、今回に生成した本文情報を記憶手段４１に格納する。

これによれば、複雑な操作を行うことなく、複数行にまたがる本文を連結して保存することができる。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

例えば、以上の説明では、第２の処理手段３３と第４の処理手段３６は、複数の画像情報が示す複数の画像を結合し、結合によって生成された画像を圧縮するようにしているが、これに限られない。結合によって生成された画像を示す画像情報を圧縮せずに、サーバー４に送信して保存するようにしてもよい。

１ スキャンシステム
２ ペン型スキャナ
３ スマートフォン
４ サーバー
１０ レンズ
１１ イメージセンサ
１２ ペンダウン検出装置
１３ ＭＣＵ
１４ メモリ
１５ 送受信機
１６ 動作状態切替ボタン
２０ 画像取得手段
２１ 軌跡算出手段
２２ ベクトル算出手段
２３ 状態設定手段
２４ 状態判定手段
２５ ＩＤ記憶手段
２６ ＩＤ送信手段
２７ 表示制御手段
２８ 表示手段
２９ 時間計測手段
３０ 処理方法決定手段
３１ 第１の選択手段
３２ 第１の処理手段
３３ 第２の処理手段
３４ 第２の選択手段
３５ 第３の処理手段
３６ 第４の処理手段
３７ 参照手段
３８ ジェスチャ定義ＤＢ
３９ 記憶手段
４０ 情報制御手段
４１、４４、４５、４７ 記憶手段
４２ 構造化手段
４３、４６ 参照手段
５０ 第１のサブ処理手段
５１ 第２のサブ処理手段
５２ 第３のサブ処理手段
５３ 入力手段
５４ 情報制御手段
５５ ＩＳＢＮ ＤＢ
５６ 表示手段
５７ 第５の処理手段
５８ 表示制御手段
５９ 時間判定手段
６０ しきい値設定手段

Claims (18)

1. スキャン対象の媒体を連続的にスキャンすることで生成された複数の画像情報を取得する画像取得部と、
   前記画像取得部が取得した複数の画像情報に基づいて、前記媒体をスキャンした軌跡を算出する軌跡算出部と、
   前記軌跡算出部が算出した軌跡に応じて、前記複数の画像情報の処理方法を決定する処理方法決定部と、
   前記処理方法決定部が決定した処理方法で前記複数の画像情報を処理することで、当該複数の画像情報を当該処理方法に応じた形式の情報に変換する処理部と、
   を備えたスキャンシステム。
2. 前記処理方法決定部は、前記媒体をスキャンした軌跡が直線であるか否かで異なる処理方法を決定する、
   請求項１に記載のスキャンシステム。
3. 前記処理方法決定部は、予め用意された複数の処理方法から前記複数の画像情報の処理方法を決定し、
   前記複数の処理方法は、
   前記複数の画像情報を、当該複数の画像情報が示す複数の画像を結合した画像に光学文字認識を施してテキスト情報に変換する第１の処理方法と、
   前記複数の画像情報を、当該複数の画像情報が示す複数の画像を結合した画像を示す画像情報に変換する第２の処理方法と、を含む、
   請求項１に記載のスキャンシステム。
4. 前記スキャンシステムは、さらに、ユーザーから押下されるボタンを備え、
   前記処理方法決定部は、さらに、前記媒体をスキャンしているときに、前記ボタンが押下されているか否かで異なる処理方法を決定する、
   請求項２に記載のスキャンシステム。
5. 前記処理方法決定部は、予め用意された複数の処理方法から、前記複数の画像情報の処理方法を決定し、
   前記複数の処理方法は、
   前記複数の画像情報の変換後の情報を、前記媒体としてスキャンした紙書籍のページ番号を示すページ番号情報として生成する第１の処理方法と、
   前記複数の画像情報の変換後の情報を、前記媒体としてスキャンした紙書籍の図面を示す図面情報として生成する第２の処理方法と、
   前記複数の画像情報の変換後の情報を、前記媒体としてスキャンした紙書籍の本文を示す本文情報として生成する第３の処理方法と、
   前記複数の画像情報の変換後の情報を、当該複数の画像情報に基づいて算出した前記媒体をスキャンした軌跡を、メモ書きとして示すメモ書き情報として生成する第４の処理方法と、を含む、
   請求項４に記載のスキャンシステム。
6. 前記スキャンシステムは、さらに、
   記憶部と、
   最も新しく生成されたページ番号情報に、当該ページ番号情報の生成後に生成された図面情報、本文情報、又は、メモ書き情報を関連付けて前記記憶部に格納する構造化部と、を備えた
   請求項５に記載のスキャンシステム。
7. 前記構造化部は、最も新しく生成されたページ番号情報と、最も新しく生成された本文情報または図面情報とに、当該ページ番号情報及び当該本文情報の生成後に生成されたメモ書き情報を関連付けて前記記憶部に格納する、
   請求項６に記載のスキャンシステム。
8. 前記スキャンシステムは、さらに、
   前記媒体をスキャンする軌跡のテンプレートであるジェスチャを示すジェスチャ情報が格納される記憶部と、
   前記媒体をスキャンした軌跡が、前記ジェスチャ情報が示すジェスチャに該当すると判定した場合、所定のサブ処理を実行する参照部と、を備えた、
   請求項３に記載のスキャンシステム。
9. 前記スキャンシステムは、さらに、
   前記媒体としてスキャンする紙書籍のＩＳＢＮ（International Standard Book Number）を指定する入力が行われる入力部と、
   前記構造化部は、最も新しく指定されたＩＳＢＮを示すＩＳＢＮ情報と、最も新しく生成されたページ番号情報とに、当該ＩＳＢＮの指定及び当該ページ番号の生成後に生成された図面情報、本文情報、又は、メモ書き情報を関連付けて前記記憶部に格納する、
   請求項６に記載のスキャンシステム。
10. 前記スキャンシステムは、さらに、前記画像取得部を有するペン型スキャナを備え、
    前記ペン型スキャナは、さらに、
    前記ペン型スキャナを一意に識別するＩＤ情報が予め格納されるＩＤ記憶部と、
    前記ＩＤ記憶部に格納されたＩＤ情報を送信するＩＤ送信部と、を備え、
    前記構造化部は、前記ＩＤ送信部から送信されたＩＤ情報と、最も新しく指定されたＩＳＢＮを示すＩＳＢＮ情報と、最も新しく生成されたページ番号情報とに、当該ＩＤ情報の受信、当該ＩＳＢＮの指定及び当該ページ番号情報の生成後に生成された図面情報、本文情報、又は、メモ書き情報を関連付けて前記記憶部に格納する、
    請求項９に記載のスキャンシステム。
11. 前記スキャンシステムは、さらに、
    前記媒体をスキャンする軌跡のテンプレートであるジェスチャを示すジェスチャ情報が格納される記憶部と、
    前記媒体をスキャンした軌跡が、前記ジェスチャ情報が示すジェスチャに該当すると判定した場合、前記スキャンシステムの動作モードを、通常モードからＩＳＢＮスキャンモードに移行させるサブ処理を実行する参照部と、
    前記スキャンシステムの動作モードがＩＳＢＮスキャンモードである場合、前記複数の画像情報を所定の形式の情報に変換し、変換後の情報を、前記媒体としてスキャンした紙書籍のＩＳＢＮを示すＩＳＢＮ情報として生成する処理手段と、を備え、
    前記構造化部は、最も新しく生成されたＩＳＢＮ情報と、最も新しく生成されたページ番号情報と、当該ＩＳＢＮ情報及び当該ページ番号情報の生成後に生成された図面情報、本文情報、又は、メモ書き情報を関連付けて前記記憶部に格納する、
    請求項６に記載のスキャンシステム。
12. 前記記憶部は、さらに、前記複数の紙書籍から正規に生成された複数の電子書籍が格納されており、
    前記スキャンシステムは、さらに、前記生成した本文情報が示す本文と、前記最も新しく指定されたＩＳＢＮに対応する電子書籍のうち、前記最も新しく生成されたページ情報が示すページ番号のページにおける本文とが部分一致する場合、前記生成された本文情報が示す本文を、前記最も新しく生成されたページ情報が示すページ番号のページにおける本文と完全一致するように補正する参照部を備えた、
    請求項１０に記載のスキャンシステム。
13. 前記記憶部は、さらに、他のユーザーが前記媒体をスキャンすることで生成された前記ＩＳＢＮ情報、前記ページ情報及び前記本文情報の組が複数格納されており、
    前記参照部は、前記最も新しく指定されたＩＳＢＮに対応する電子書籍が前記記憶部に存在せず、前記生成された本文情報が示す本文が、前記最も新しく指定されたＩＳＢＮが示すＩＳＢＮ情報及び前記最も新しく生成されたページ番号情報と同一のＩＳＢＮ情報及びページ番号情報に関連付けられている複数の他のユーザーの本文情報が示す本文の少なくとも１つと部分一致する場合、当該複数の他のユーザーの本文情報が示す本文において最も一致する数の多い本文と完全一致するように、前記生成した本文情報が示す本文を補正する、
    請求項１２に記載のスキャンシステム。
14. 前記スキャンシステムは、さらに、
    表示装置と、
    前記処理方法決定部が決定した処理方法の通知を前記表示装置に表示する表示制御部を備えた、
    請求項３に記載のスキャンシステム。
15. 前記記憶部は、さらに、前記複数の紙書籍のそれぞれについて、当該紙書籍の各ページの記載に対して他者が入力した情報が格納されており、
    前記スキャンシステムは、さらに、
    表示装置と、
    前記最も新しく指定されたＩＳＢＮに対応する紙書籍のうち、前記生成されたページ番号情報が示すページ番号におけるページの記載に対して他者が入力した情報を取得する参照部と、
    前記参照部が取得した情報を前記表示装置に表示する表示制御部と、を備えた、
    請求項９に記載のスキャンシステム。
16. 前記スキャンシステムは、さらに、
    前回の前記媒体のスキャンを終了した時点から、今回の前記媒体のスキャンを開始した時点までの時間を計測する時間計測部と、
    前回と今回に本文情報を生成した場合に、前記時間計測部が計測した時間が所定の閾値以下であるか否かを判定する時間判定部と、を備え、
    前記構造化部は、
    前記時間計測部が計測した時間が所定の閾値以下であると判定された場合、前回に生成した本文情報を、その本文情報が示す本文と、今回に生成した本文情報が示す本文とを連結した本文を示す本文情報に更新し、
    前記時間計測部が計測した時間が所定の閾値以下でないと判定された場合、前回に生成した本文情報とは連結せず、今回に生成した本文情報を前記記憶部に格納する、
    請求項６に記載のスキャンシステム。
17. ペン型スキャナがスキャン対象の媒体を連続的にスキャンすることで生成した複数の画像情報を、前記ペン型スキャナから受信する受信部と、
    前記受信部が受信した複数の画像情報に基づいて算出された前記媒体をスキャンした軌跡に応じて、前記複数の画像情報の処理方法を決定する処理方法決定部と、
    前記処理方法決定部が決定した処理方法で前記複数の画像情報を処理することで、当該複数の画像情報を当該処理方法に応じた形式の情報に変換する処理部と、
    を備えたスキャン画像処理装置。
18. スキャン対象の媒体を連続的にスキャンすることで生成された複数の画像情報を取得し、
    前記取得した複数の画像情報に基づいて、前記媒体をスキャンした軌跡を算出し、
    前記算出した軌跡に応じて、前記複数の画像情報の処理方法を決定し、
    前記決定した処理方法で前記複数の画像情報を処理することで、当該複数の画像情報を当該処理方法に応じた形式の情報に変換する、
    スキャン方法。