JP2016081426A - 文書処理装置、その制御方法、およびプログラム - Google Patents

Abstract

【課題】複数のストロークで入力された手書き情報を適切に関連付けること。
【解決手段】電子文書に、図形９１１および図形９１２が手書き入力される。図形９１１と図形９１２とは別々のストロークで入力される。図形９１１と図形９１２が入力されたことによって、当該電子文書から範囲９９１が切り出される。範囲９９１は、図形９１１と図形９１２とが互いに位置を変更することなく組み合わされた図形に基づいて設定された範囲である。
【選択図】図４

Description

本開示は、文書処理装置、その制御方法、およびプログラムに関し、特に、手書き情報の入力を受け付ける文書処理装置およびその制御方法、ならびに手書き情報の入力を受け付ける文書処理装置において実行されるプログラムに関する。

従来、電子文書にアノテーション等の情報の取り扱いに関する技術が種々提案されてきた。たとえば、特開２００５−３３９２９５号公報（特許文献１）には、電子文書の同一頁に対して複数のアノテーション（付加情報）が添付されているときに、当該複数の付加情報が付加されているそれぞれ位置の間の距離が所定距離以下となっている場合に、当該複数の付加情報を結合（マージ）する、文書処理装置が開示されている。

また、近年、電子文書に手書き情報を追加する技術が実用化されている。特許文献２（特開２００６−２８５８９６号公報）には、動的レイアウト型の電子文書の本文に手書きメモが追加入力された場合に、当該文書を、異なる環境下でも適切に表示するための技術が開示されている。

特開２００５−３３９２９５号公報 特開２００６−２８５８９６号公報

電子文書に手書き情報が追加される場合、１つの意味を成す情報が複数のストロークに分けて追加される場合がある。このことから、１のストロークの手書きで入力された情報を個々に管理するよりも、複数のストロークの手書きで入力された情報を、１つの意味をなすグループとして互いに関連付けることは、手書き情報の管理において有益である場合がある。

ここで、特許文献１に記載された技術が結合するのは、テキスト等の付加情報であって、手書き情報ではない。手書き情報は、その形状等が不特定であるなど、単純に結合することが容易ではない場合がある。したがって、特許文献１に記載の技術は、複数のストロークの手書きで入力された情報を互いに関連付けることに向けて単純に応用することはできないと考えられる。

特許文献２に記載された技術は、各付加情報と、それぞれが追加された電子文書との関係を維持するのであって、付加情報を他の付加情報と関連付けるものではない。

本開示は係る実情に鑑み考え出されたものであり、その目的は、複数のストロークで入力された手書き情報を適切に関連付けることである。

ある局面に従うと、電子文書に関連付けて２以上のストロークで入力された手書き情報の入力を受け付けるための手書入力手段と、２以上のストロークの手書き情報の位置関係に基づいて、当該２以上のストロークの手書き情報を互いに関連付けるかどうかを判定するための判定手段と、判定手段が２以上のストロークの手書き情報を互いに関連付けると判定した場合に、電子文書を当該２以上のストロークの手書き情報のすべてを用いて処理するための文書処理手段とを備える、文書処理装置が提供される。

好ましくは、文書処理装置は、手書入力手段に入力された各ストロークの手書き情報のそれぞれについて、当該手書き情報によって特定される図形を内包する判定用図形を生成するための図形生成手段をさらに備え、判定手段は、２以上のストロークの手書き情報の位置関係として、２以上のストロークの手書き情報のそれぞれの判定用図形の位置関係に基づいて、当該２以上のストロークの手書き情報を互いに関連付けるかどうかを判定する。

好ましくは、判定手段は、２以上のストロークの手書き情報の判定用図形が互いに重なる場合に、当該２以上のストロークの手書き情報を互いに関連付ける。

好ましくは、判定用図形は、手書き情報によって特定される図形に外接する矩形である。

好ましくは、判定用図形は、手書き情報によって特定される図形に外接する矩形を、予め定められた量オフセットされることによって生成される矩形である。

好ましくは、判定用図形は、手書き情報によって特定される図形が予め定められた量オフセットされることによって生成される図形に外接する矩形である。

好ましくは、文書処理装置はオフセットの値を入力するための情報入力手段をさらに備える。

好ましくは、文書処理装置は、手書入力手段に手書き情報を入力するユーザーを特定するためのユーザー特定手段と、ユーザーとオフセットの値とを関連付けて記憶するためのオフセット値記憶手段とをさらに備え、図形生成手段は、オフセット値記憶手段において、ユーザー特定手段によって特定されたユーザーに関連付けられたオフセットの値を用いて、判定用図形を生成する。

好ましくは、文書処理手段は、互いに関連付けられた２以上のストロークの手書き情報のすべてを利用して、電子文書から切り出す画像の範囲を特定し、切り出される画像の範囲は、電子文書の属性に基づいて補正される。

好ましくは、電子文書の属性が当該電子文書において連続する符号が配列される方向を特定するものである場合には、文書処理手段によって特定される範囲は、電子文書における当該方向の一端から他端に及ぶ。

好ましくは、文書処理装置は、情報を格納するための格納手段をさらに備え、文書処理手段は、範囲の画像を格納手段に格納するように構成されている。

好ましくは、判定手段は、３以上のストロークの手書き情報を互いに関連付けると判定した場合に、当該３以上のストローク手書き情報のうち２以上のストローク手書き情報によって特定される図形の間に位置する図形を特定する手書き情報を当該関連付けから削除する。

他の局面に従うと、手書き情報の入力を受け付ける文書処理装置を制御するための方法であって、電子文書に関連付けて２以上のストロークで入力された手書き情報の入力を受け付けるステップと、２以上のストロークの手書き情報の位置関係に基づいて、当該２以上のストロークの手書き情報を互いに関連付けるかどうかを判定するステップと、判定によって２以上のストロークの手書き情報が互いに関連付けられた場合に、電子文書を２以上のストロークの手書き情報のすべてを利用して処理するステップとを備える、文書処理装置の制御方法が提供される。

さらに他の局面に従うと、手書き情報の入力を受け付ける文書処理装置のコンピュータによって実行されるプログラムが提供される。プログラムは、コンピュータに、電子文書に関連付けて２以上のストロークで入力された手書き情報の入力を受け付けるステップと、２以上のストロークの手書き情報の位置関係に基づいて、当該２以上のストロークの手書き情報を互いに関連付けるかどうかを判定するステップと、判定によって２以上のストロークの手書き情報が互いに関連付けられた場合に、電子文書を２以上のストロークの手書き情報のすべてを利用して処理するステップとを実行させる。

手書き情報として入力された一群の図形の一例を示す図である。 図１の６個の図形に対して生成される矩形を示す図である。 電子文書の切り出しの具体例を説明するための図である。 電子文書の切り出しの具体例を説明するための図である。 画像表示システムの構成の一例を模式的に示す図である。 サーバーのハードウェア構成の一例を示す図である。 タブレット端末のハードウェア構成の一例を示す図である。 タブレット端末の機能構成の一例を示す図である。 タブレット端末において実行される処理のフローチャートである。 判定用図形の生成の具体例を説明するための図である。 図９の処理内容の具体例を説明する図である。 判定用図形の生成の変形例を説明するための図である。 判定用図形の生成の変形例を説明するための図である。 文書処理装置の機能構成の変形例を示す図である。 電子文書から切り出される画像の範囲設定の変形例を説明するための図である。

以下、本開示に係る文書処理装置の一例について、図面を参照して説明する。なお、各図において、同様の作用および機能を奏する構成要素については、同じ符号を付し、その説明は繰返さない。

［実施の形態の概要］
本実施の形態の文書処理装置は、電子文書を表示し、また、当該電子文書に対して手書きでの情報（図形）の入力を受け付ける。当該入力に応じて、文書処理装置は、当該電子文書から、入力された図形に対応する範囲を切り出す。

さらに、本実施の形態の文書処理装置は、２以上のストロークで別々に入力された情報（図形）を、一定の条件で互いに関連付ける。そして、文書処理装置は、互いに関連付けた図形を１つの図形として認識し、当該１つの図形に対応する範囲を電子文書から切り出す。つまり、本実施の形態の文書処理装置は、２以上のストロークで別々に入力された図形のそれぞれに対応する範囲を、１つの範囲としてまとめて切出すことができる。

図１は、手書き情報として入力された一群の図形の一例を示す図である。図１には、６個の図形９０１〜９０６が示されている。本実施の形態において、「図形」は、たとえば、１のストロークで文書処理装置のタッチパネルにタッチされた軌跡を意味する。図形９０１は、横長の楕円に似た形状を有している。図形９０２は、矢印の先端を構成するような、屈曲した線を構成する形状を有している。図形９０３は、矢印の軸を構成するような線を構成する形状を有している。図形９０４〜９０６は、ほぼ水平方向に延びる波線を構成するような形状を有している。

文書処理装置は、図形９０１〜９０６のそれぞれに対して、それぞれの図形を内包するような矩形を仮想的に生成する。図２は、図１の図形９０１〜９０６に対して生成される矩形を示す図である。図２に示されるように、図形９０１〜９０６のそれぞれに対して、矩形８０１〜８０６のそれぞれが生成される。

そして、文書処理装置は、２以上の手書き情報の間で、その矩形が重なりを持つもの同士を互いに関連付ける。図２に示された例では、６個の図形９０１〜９０６のすべてが同じグループに分類される。これは、矩形８０１と矩形８０２が重なりを持ち、矩形８０２と矩形８０３が重なりを持ち、そして、矩形８０３と矩形８０４〜８０６が重なりを持つためである。つまり、矩形８０１〜８０６のすべてが直接的または間接的に重なりを持つためである。

文書処理装置は、互いに同じグループに分類された図形９０１〜９０６を１つの図形として認識する。そして、文書処理装置は、図形９０１〜９０６を入力された電子文書から、図形９０１〜９０６の個々に対応する範囲の代わりに、または、図形９０１〜９０６の個々に対応する範囲に加えて、上記のように認識された１つの図形に対応する箇所を切り出す。「図形に対応する範囲」とは、たとえば、図形に対して垂直方向および水平方向のそれぞれにおいて一定の距離だけ離間した位置に外縁を有する矩形によって特定される範囲である。

図３および図４は、電子文書の切り出しの具体例を説明するための図である。図３には、電子文書９９０（タイトル「被控訴人らの準備書面（２）」）に対して入力された手書き情報として、２つの図形９１１，９１２が示されている。当該手書き情報は、２のストロークによる入力を含む。あるストロークは図形９１１に対応し、他のストロークは図形９１２に対応する。

図３の例において図形９１１と図形９１２のそれぞれに対して図２を参照して説明されたような矩形が生成された場合に、当該２つの矩形が重なりを持つとする。このことに基づいて、文書処理装置は、図形９１１と図形９１２を互いに関連付ける。これにより、文書処理装置は、図形９１１および図形９１２を１つの図形と認識し、当該１つの図形に対応する範囲を電子文書９９０から切出す。

図４に示された例では、電子文書９９０に図形９１１および図形９１２が入力されたことによって切り出される範囲が、範囲９９１として示されている。範囲９９１は、図形９１１と図形９１２とが互いに位置を変更することなく組み合わされた図形から垂直方向および水平方向のそれぞれにおいて一定の距離だけ離間した位置に外縁を有する矩形によって特定される範囲である。

より具体的には、図形９１１と図形９１２とが組み合わされた図形において、上端と左端は図形９１１の上端と左端のそれぞれであり、下端と右端は図形９１２の下端と右端のそれぞれである。そして、範囲９９１を構成する長方形において、辺９９１Ａと図形９１１の上端との距離、辺９９１Ｂと図形９１１の左端との距離、辺９９１Ｃと図形９１２の下端との距離、および、辺９９１Ｄと図形９１２の右端との距離は、いずれも距離Ｄ１である。

［画像表示システム］
本実施の形態では、文書処理装置は、画像表示システム上のサーバーに蓄積された電子文書を取得して表示する。そして、文書処理装置は、電子文書に関連して入力される手書き情報の入力を受け付ける。図５は、画像表示システムの構成の一例を模式的に示す図である。

図５を参照して、画像表示システムは、サーバー１００と、タブレット端末２００と、ノート型パーソナルコンピューター（ノートＰＣ）３００と、画像処理装置４００とを含む。サーバー１００、タブレット端末２００、ノートＰＣ３００、および画像処理装置４００は、画像表示システムにおいて、有線または無線で、互いに通信可能に構成されている。タブレット端末２００、ノートＰＣ３００、および画像処理装置４００は、本実施の形態における文書処理装置の一例である。タブレット端末２００、ノートＰＣ３００、および画像処理装置４００は、サーバー１００に蓄積されている電子文書を読出して表示し、手書き入力を受け付け、そして、２以上のストロークによって入力された手書き情報を所定の条件下で互いに関連付ける。なお、タブレット端末２００、ノートＰＣ３００、および画像処理装置４００は、自装置に格納されている電子文書を表示し、それに対する手書き情報の入力を受け付け、そして、２以上のストロークによって入力された手書き情報を互いに関連付けてもよい。

［サーバーのハードウェア構成］
図６は、サーバー１００のハードウェア構成の一例を示す図である。

図６を参照して、サーバー１００は、サーバー１００全体を制御するための演算装置であるＣＰＵ（Central Processing Unit）１０と、ＣＰＵ１０で実行されるプログラムなどを記憶するためのＲＯＭ（Read Only Memory）１１と、ＣＰＵ１０でプログラムを実行する際の作業領域として機能するためのＲＡＭ（Random Access Memory）１２と、液晶ディスプレイ等の表示装置によって実現される表示部１４と、サーバー１００に対する操作入力を受付けるための操作部１５と、ＣＰＵ１０によって実行されるプログラム等を保存するための記憶装置１６と、記憶媒体にアクセスしてそこからファイルを読み出したり書き込んだりするためのメディアコントローラー１７と、上記したＬＡＮ等のネットワークを介した通信の制御のためにモデム等により構成される通信装置１８とを含む。

操作部１５は、たとえばキーボードやマウスなどの入力装置によって実現される。なお、操作部１５は、タッチセンサーによって実現され、表示部１４と一体的に、タッチパネルとして実現される場合も有り得る。

本実施の形態では、たとえば、ＣＰＵ１０が適切なプログラムを実行することにより、本明細書に記載されたサーバー１００の機能の少なくとも一部が実現される。

ＣＰＵ１０が実行するプログラムは、上記記憶媒体に記憶されていても良い。記憶媒体としては、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk - Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリー、メモリーカード、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、ＭＯ（Magnetic Optical Disc）、ＭＤ（Mini Disc）、ＩＣ（Integrated Circuit）カード（メモリーカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）などの、不揮発的にプログラムを格納する媒体が挙げられる。また、ＣＰＵ１０によって実行されるプログラムは、ネットワークを介して記憶装置１６にインストールされる場合も有り得る。

サーバー１００では、たとえば記憶装置１６に電子文書が格納される。そして、ＣＰＵ１０は、タブレット端末２００、ノートＰＣ３００、および画像処理装置４００から電子文書の送信を要求されると、要求元に当該電子文書のデータを送信する。電子文書のデータは、当該電子文書の属性（縦書き、横書き、等）を含む場合がある。

［文書処理装置のハードウェア構成］
文書処理装置のハードウェア構成の一例として、タブレット端末２００のハードウェア構成を説明する。図７は、タブレット端末２００のハードウェア構成の一例を示す図である。

図７を参照して、タブレット端末２００は、全体を制御するための演算装置であるＣＰＵ２０と、ＣＰＵ２０で実行されるプログラムなどを記憶するためのＲＯＭ２１と、ＣＰＵ２０でプログラムを実行する際の作業領域として機能するためのＲＡＭ２２と、液晶表示装置等の表示装置を含むタッチパネル２３と、当該タブレット端末２００に対する操作入力を受付けるための操作ボタン２５と、上記したようなプログラムや各種データを記憶するための記憶装置２６と、当該タブレット端末２００に対して着脱可能な記憶媒体（ＵＳＢメモリー等）との間で情報の読み書きをするためのメディアコントローラー２７と、上記ＬＡＮに接続するための通信装置（モデム等）２８とを含む。

タッチパネル２３は、タッチセンサーをさらに含む。タッチパネル２３は、タッチセンサーにおけるタッチ位置を特定する情報を、ＣＰＵ２０に送信する。

操作ボタン２５は、数値などの種々の情報の入力を受け付ける。操作ボタン２５は、入力された情報をＣＰＵ２０に送信する。

ＣＰＵ２０が実行するプログラムは、上記記憶媒体に記憶されていても良い。記憶媒体としては、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリー、メモリーカード、ＦＤ、ハードディスク、磁気テープ、カセットテープ、ＭＯ、ＭＤ、ＩＣカード（メモリーカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの、不揮発的にプログラムを格納する媒体が挙げられる。また、ＣＰＵ２０が実行されるプログラムは、ネットワークを介して記憶装置２６にインストールされる場合も有り得る。

タブレット端末２００は、通信装置２８を介して、サーバー１００と通信する。
ノートＰＣ３００は、たとえばタブレット端末２００と同様のハードウェア構成を備える。画像処理装置４００は、たとえばタブレット端末２００が備えるようなハードウェア構成に、さらにスキャン機能およびプリント機能を実現するためのハードウェア構成を備える。なお、ノートＰＣ３００および画像処理装置４００のいずれも、タブレット端末２００と同様に、手書き情報の入力を受け付け、そして、２以上のストロークで入力された手書き情報を互いに関連付けることができる。

［文書処理装置の機能構成］
図８は、タブレット端末２００の機能構成の一例を示す図である。図８を参照して、文書処理装置の機能構成の一例を説明する。

図８に示されるように、タブレット端末２００は、手書入力部２０１と、手書図形情報保持部２０２と、判定用図形生成部２０３と、重なり判定部２０４と、紐付け情報格納部２０５と、文書切出処理部２０６とを含む。手書入力部２０１は、たとえばタッチパネル２３によって実現され、ユーザーからの手書き情報の入力を受け付ける。

手書図形情報保持部２０２は、たとえば記憶装置２６によって実現され、手書入力部２０１が入力を受け付けた手書き情報（手書きされた図形等）を格納する。より具体的には、手書図形情報保持部２０２に格納される手書き情報は、たとえば、「ストロークＩＤ」と「画像情報」とを含む。ストロークＩＤは、手書き情報が入力されたときのストロークを特定する。画像情報は、図２の図形９０１等で示されるような軌跡を特定する。手書き情報は、たとえば次のような形式で格納される。

判定用図形生成部２０３は、たとえば予め定められたプログラムを実行するＣＰＵ２０によって実現され、図１の矩形８０１〜８０６として示されたような、手書きされた図形のそれぞれに対して図形を生成する。本実施の形態では、手書きされた図形に対して生成される図形を、「判定用図形」ともいう。

重なり判定部２０４は、たとえば予め定められたプログラムを実行するＣＰＵ２０によって実現され、２以上の判定用図形が重なるかどうかを判定する。

紐付け情報格納部２０５は、たとえば記憶装置２６によって実現され、２以上の手書き情報を関連付けるための情報（紐付け情報）を格納する。紐付け情報は、たとえば、関連付けられたすべてのストロークのＩＤと、関連付けられたすべてのストロークに基づいて切り出された範囲の画像（たとえば、図４の図形９１１，９１２に基づいて切り出された範囲９９１の画像）とを含む。当該画像は、入力された手書き情報の画像を含んでいてもよい。紐付け情報は、切出された範囲の画像の代わりに、電子文書を特定する情報および当該電子文書において当該範囲を特定する情報（座標等）を含んでもよい。

文書切出処理部２０６は、たとえば予め定められたプログラムを実行するＣＰＵ２０によって実現され、電子文書から、手書き情報に基づいて画像を切り出す。切出された画像は、たとえば紐付け情報格納部２０５に格納される。

［処理の流れ］
図９は、タブレット端末２００のＣＰＵ２０が実行する処理のフローチャートである。図９に示された処理は、たとえば、タッチパネル２３または操作ボタン２５に対して、電子文書の閲覧中に入力された手書き情報に対応する部分の切り出しを指示する操作がなされたときに実行される。

図９を参照して、ステップＳ１０で、ＣＰＵ２０は、それまでに入力された手書き情報を受け付ける。より具体的には、タブレット端末２００では、手書き情報は、入力されるたびにＲＡＭ２２等に保存される。そして、ステップＳ１０では、ＣＰＵ２０は、当該保存された手書き情報を読み出す。そして、制御はステップＳ２０へ進められる。

ステップＳ２０で、ＣＰＵ２０は、各手書き情報に対して判定用図形を生成する。図１０は、判定用図形の生成の具体例を説明するための図である。図１０を参照して、図形９０１に対する判定用図形（矩形８０１）の生成の一例を具体的に説明する。

図１０を参照して、ＣＰＵ２０は、判定用図形の対象となる図形（図形９０１）の上端、下端、左端、および右端を特定する。そして、４つの端部のそれぞれから予め定められた距離だけ離れたところに４本の直線を設定する。そして、当該４つの直線によって形成される矩形（矩形８０１）を特定することにより、判定用図形を生成する。つまり、判定用図形は、当該矩形（矩形８０１）である。図１０では、予め定められた距離は、オフセット距離ＯＦ０１として示されている。

なお、図１０に示された例では上下左右の予め定められた距離はすべて同じ距離であるが、判定用図形の生成の際に利用される上下左右の４つの距離は必ずしも同じでなくともよい。

図９に戻って、ステップＳ３０で、ＣＰＵ２０は、注目ストロークを設定する。注目ストロークは、たとえば、まだ図９の処理対象となっていない手書き情報の中の最も早いタイミングで入力されたものである。そして、制御はステップＳ４０へ進められる。

ステップＳ４０で、ＣＰＵ２０は、注目ストロークが他のストロークと重なっているかどうかを判断する。ステップＳ４０において、「注目ストローク」とは、注目ストロークの手書き情報で特定される図形に対応する。「他のストローク」とは、ステップＳ１０で読み込まれた手書き情報の中の、注目ストローク以外のストロークで入力された手書き情報によって特定される図形（以下、「手書き図形」ともいう）に対応する。そして、ＣＰＵ２０は、注目ストロークが他のストロークと重なっていると判断すると（ステップＳ４０でＹＥＳ）、ステップＳ５０へ制御を進める。一方、ＣＰＵ２０は、注目ストロークが他のストロークと重なっていないと判断すると（ステップＳ４０でＮＯ）、ステップＳ６０へ制御を進める。

ステップＳ４０において「重なっている」とは、２以上のストロークのそれぞれに対して生成された判定用図形が互いに重なっていることを意味する。つまり、たとえば図２に示された例において、注目ストロークが図形９０１である場合、ＣＰＵ２０は、当該注目ストロークが図形９０２のストロークと図形９０３のストロークと重なっていると判断する。矩形８０１が、矩形８０２および矩形８０３と重なっているからである。また、ＣＰＵ２０は、当該注目ストロークが図形９０４〜９０６のそれぞれのストロークとは重なっていないと判断する。矩形８０１が、矩形８０４〜８０６とは重なっていないからである。

図９に戻って、ステップＳ５０で、ＣＰＵ２０は、互いに重なっているストロークを結合する。そして、制御はステップＳ６０へ進められる。

ステップＳ５０における「結合」とは、たとえば、互いに重なっていると判断されたストローク（図形）を、それらの位置を移動させることなく、それらを一つの図形と認識するための情報を生成することである。より具体的には、ＣＰＵ２０は、たとえば図形９０１（矩形８０１）が図形９０２（矩形８０２）および図形９０３（矩形８０３）と重なっていると判断した場合に、図形９０１と図形９０２と図形９０３とを結合するための情報（紐付け情報）を生成する。そして、ＣＰＵ２０は、当該紐付け情報を紐付け情報格納部２０５に格納する。

ステップＳ３０〜ステップＳ５０の制御は、ステップＳ１０で読み出されたすべての手書き情報（ストローク）のそれぞれが処理対象となるまで続けられる。つまり、ステップＳ３０〜ステップＳ５０の１回目の制御では図形９０１が処理対象になり、２回目の制御では図形９０２が制御対象になり、３〜６回目のそれぞれの制御では図形９０３〜９０６のそれぞれが処理対象になる。

図２の例において、図形９０３が処理対象になったとき、図形９０３は図形９０４〜９０６に結合される。矩形８０３が矩形８０４〜８０６と重なっているからである。また、図形９０３は、図形９０１が注目ストロークになったときに、図形９０１と図形９０２に結合されている。これにより、図２の例では、図形９０１〜９０６が結合される。

図９に戻って、ステップＳ６０で、ＣＰＵ２０は、手書き情報に基づいて、タブレット端末２００において表示されている電子文書から切り出される範囲を特定する。そして、制御はステップＳ７０へ進められる。

ステップＳ６０では、より具体的には、当該範囲は、たとえば、手書き情報の図形の上下左右のそれぞれの端部から一定の距離だけ離れたところに４辺を有する矩形である。当該範囲は判定用図形と同じであってもよい。

ステップＳ３０〜ステップＳ５０の制御によって複数のストロークの手書き情報が結合されているときには、当該結合された手書き図形の上下左右のそれぞれの端部から一定の距離だけ離れたところに４辺を有する矩形が、切り出される範囲として特定される。たとえば、図４に示されたように図形９１１と図形９１２が結合されているときには、当該結合されたものの上下左右のそれぞれの端部から一定の距離だけ離れたところに４辺を有する矩形（範囲９９１）が特定される。

ステップＳ７０では、ＣＰＵ２０は、電子文書から、ステップＳ６０で特定された範囲の画像を切り出して、紐付け情報格納部２０５に格納する。これにより、図９の処理は終了する。

なお、ステップＳ７０において、ＣＰＵ２０は、切り出された画像を紐付け情報格納部２０５に格納する代わりに、サーバー１００へ送信してもよい。この場合、当該切り出された画像は、タブレット端末２００を操作するユーザーを特定する情報と関連付けられて送信されることが好ましい。また、切り出された画像の代わりに、電子文書における当該画像の範囲を特定する情報（座標等）が送信されてもよい。

切り出された画像は、手書き図形が含んでいてもよいし、含んでいなくとも（つまり、電子文書の一部分のみであっても）よい。

以上説明された図９の処理により、２以上のストロークで入力された手書き図形が、互いに関連付けられる。そして、互いに関連付けられた２以上の図形が１つの図形として認識される。そして、電子文書から、当該１つの図形に対応する範囲が切り出される。なお、上記範囲の画像の切り出しは、互いに関連付けられた２以上の図形を利用した処理の一例である。また、切り出された画像は必ずしもタブレット端末２００内に格納されなくてもよい。文書処理装置（ＣＰＵ２０）は、当該切り出された画像を、サーバー１００に送信してもよい。

なお、図９の処理では、互いに離れて入力された複数のストロークは、関連付けられることはない。図１１は、図９の処理内容の具体例を説明する図である。図１１には、手書き入力された２つの図形９２１，９２２が示されている。図形９２１には判定用図形として矩形８２１が生成される。図形９２２には判定用図形として矩形８２２が生成される。矩形８２１と矩形８２２は重ならない。したがって、図形９２１と図形９２２は、関連付けられず、これらは結合されない。

［変形例（１）］
図９の処理では、ステップＳ３０〜ステップＳ５０において、入力されたすべてのストロークを注目ストロークとして関連付けが行なわれた後で、ステップＳ６０で切り出される範囲が特定された。なお、注目ストロークが切り替えられるたびに、注目ストロークについて、または、その時点で関連付けられている２以上のストロークの図形に基づいて、画像が切り出されてもよい。

［変形例（２）］
以上説明された本実施の形態では、判定用図形同士が重なるかどうかに基づいて、２以上の手書き情報を関連付けるかどうかの判定がなされた。なお、判定用図形同士が重なるかどうかの代わりに、判定用図形同士が特定の距離内に位置するかどうかに基づいて、上記判定がなされてもよい。

［変形例（３）］
以上説明された本実施の形態では、判定用図形は矩形であった。なお、判定用図形の形状は、矩形以外の形状であってもよい。たとえば入力される手書き図形が円形の場合が多い等、ユーザーの特性や電子文書の特性によっては、判定用図形の形状は他の形状とされる場合もあり得る。

［変形例（４）］
一方、判定用図形用ではなく手書き図形そのもの同士の位置関係に基づいて、２以上の手書き情報を関連付けるかどうかの判定がなされてもよい。これにより、より確実に手書き情報を入力された位置関係に基づいて、当該判定がなされる。

［変形例（５）］
また、上記の説明では、判定用図形は、手書き図形の上下左右端のそれぞれから一定の距離だけ離れた位置に判定用図形の矩形の４辺を配置することにより生成された。なお、まず、手書き図形に外接する予備の矩形を生成し、当該予備の矩形の４辺に対して所定のオフセット量だけ外側に位置するところに４辺を有する矩形を生成することにより、判定用図形が生成されてもよい。

［変形例（６）］
また、判定用図形は、手書き図形そのものから所定のオフセット量だけ外側に端部を有する図形、つまり、手書き図形が拡大されることによって生成される図形であってもよい。図１２および図１３は、判定用図形の生成の変形例を説明するための図である。

図１２では、図１の図形９０１〜９０６のそれぞれに対して、変形例（６）に沿った方法で生成された判定用図形８５１〜８５６が示されている。図１２に示された例においても、判定用図形８５１〜８５６は直接的または間接的に重なりを有するため、図形９０１〜９０６に対応する手書き情報は互いに関連付けられる。

図１３では、図１１の図形９２１，９２２のそれぞれに対して、変形例（６）に沿った方法で生成された判定用図形８６１，８６２が示されている。図１２に示された例においても、判定用図形８６１と判定用図形８６２とは直接的にも間接的にも重ならない。このため、図１３の例では、図形９２１に対応する手書き情報は図形９２２に対応する手書き情報とは関連付けられない。

［変形例（７）］
図１０を参照して説明されたオフセット距離ＯＦ０１や、変形例（５）および変形例（６）で設定されたオフセットの量は、手動で変更されてもよいし、自動で変更されてもよい。図１４は、変形例（７）に従った文書処理装置の機能構成の一例を示す図である。

図８に示された機能構成と比較して、図１４に示された機能構成では、文書処理装置の一例であるタブレット端末２００は、情報入力部２０７と、認証部２０８と、ユーザー情報保持部２０９と、オフセット値保持部２１０とをさらに含む。

情報入力部２０７は、たとえば操作ボタン２５によって実現され、オフセットの値を設定または変更するための情報の入力を受けて付ける。オフセットの値は、たとえば記憶装置２６に格納される。タブレット端末２００のＣＰＵ２０は、情報入力部２０７に入力された情報に基づいて、記憶装置２６に格納されているオフセットの値を変更する。

認証部２０８は、たとえば予め定められたプログラムを実行するＣＰＵ２０によって実現され、タブレット端末２００を操作するユーザーの認証処理を実行する。より具体的には、認証部２０８は、たとえば入力されたユーザーＩＤとパスワードとに基づいて、ユーザーを認証する。

ユーザー情報保持部２０９は、たとえば記憶装置２６によって実現され、認証部２０８によるユーザー認証に利用される情報（たとえば、ユーザーＩＤとパスワード）を格納する。

オフセット値保持部２１０は、たとえば記憶装置２６によって実現され、各ユーザーＩＤに関連付けられたオフセットの値を格納する。

変形例（７）では、ステップＳ２０（図９参照）における判定用図形の生成の際に、ＣＰＵ２０（判定用図形生成部２０３）は、オフセット値保持部２１０において、その時点で認証部２０８によって認証されているユーザーと関連付けられて格納されたオフセットの値を読み出し、当該オフセットの値を用いて判定用図形を生成する。

また、変形例（７）では、ステップＳ７０（図９参照）における画像の切り出しにおける範囲の設定において、上記のようにオフセット値保持部２１０から読み出されたオフセットの値を利用する。

上記のようにオフセットの値をユーザーごとに設定することにより、ユーザーごとの手書き情報の入力の特性に応じて、判定用図形を生成し、また、切り出しの範囲を設定することができる。

［変形例（８）］
本実施の形態では、電子文書から切り出される画像の範囲は、手書き図形の形状（大きさ等）に基づいて設定される。なお、当該範囲は、さらに電子文書の属性に基づいて設定されてもよい。つまり、たとえば電子文書において文字が横書きにされている場合、切り出される範囲の縦方向の寸法は手書き図形の縦方向の寸法に基づいて設定され、当該範囲の横方向の寸法は当該文書の横方向の寸法とされてもよい。

図１５は、電子文書から切り出される画像の範囲設定の変形例を説明するための図である。そして、変形例（８）は、図１５ならびに図３および図４を参照してより具体的に説明される。

上記された実施の形態では、図３に示された判定用図形（図形９１１，９１２）に基づいて、図３の電子文書９９０から、図４の範囲９９１が切り出される。ここで、電子文書９９０では、「横書き」という属性を有する。つまり、電子文書９９０では、連続する符号（文字）が横向きに配列されている、という属性を有する。このことに応じて、変形例（８）では、ＣＰＵ２０（文書切出処理部２０６）は、切り出す範囲を補正する。

これにより、切り出される範囲が、図１５において範囲９９１Ａとして示されるように、電子文書９９０の横方向全域（横方向の一端から他端）を含むように補正される。つまり、範囲９９１Ａの横方向の寸法Ｗ０１は、電子文書９９０の横方向の寸法と同じである。このように、文字が配列される方向の全域を含むように画像が切り出されることにより、ユーザーは、切り出された画像のみによって、電子文書のうち手書き図形を入力した範囲に対応した内容を把握できるようになる。

［変形例（９）］
以上説明された本実施の形態では、たとえば図１の６個の図形９０１〜９０６が関連付けられたように、３以上のストロークの手書き情報を互いに関連付ける場合がある。このような場合、互いに関連付けられる手書き情報では、一部の手書き情報が削除されてもよい。つまり、手書き情報の関連付けは、紐付け情報格納部２０５に、「紐付け情報」として格納される。当該紐付け情報は、一旦互いに関連付けられた３以上のストロークの手書き情報の中の一部の手書き情報を含んでいなくてもよい。

たとえば、ＣＰＵ２０は、互いに関連付けた３以上のストローク手書き情報のうち、２以上のストローク手書き情報によって特定される図形の間に位置する図形を特定する手書き情報を、紐付け情報から削除する。このことを、図１の６個の図形９０１〜９０６を参照して、より詳細に説明する。

図１に示されるように、図形９０２および図形９０３は、図形９０１と図形９０４との間に位置している。また、図形９０５は、図形９０４と図形９０６との間に位置している。これにより、図形９０１〜９０６を関連付ける紐付け情報から、図形９０２，９０３，９０５に対応する手書き情報が削除される。これにより、紐付け情報によって関連付けられる一群の図形の外郭を変更することなく、紐付け情報における情報量を削減することができる。

今回開示された各実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。

１０，２０ ＣＰＵ、１６，２６ 記憶装置、１７，２７ メディアコントローラー、１８，２８ 通信装置、２２ ＲＡＭ、２３ タッチパネル、２５ 操作ボタン、１００ サーバー、２００ タブレット端末、２０１ 手書入力部、２０２ 手書図形情報保持部、２０３ 判定用図形生成部、２０４ 判定部、２０５ 紐付け情報格納部、２０６ 文書切出処理部、２０７ 情報入力部、２０８ 認証部、２０９ ユーザー情報保持部、２１０ オフセット値保持部、３００ ノートＰＣ、４００ 画像処理装置。

Claims (14)

1. 電子文書に関連付けて２以上のストロークで入力された手書き情報の入力を受け付けるための手書入力手段と、
   前記２以上のストロークの手書き情報の位置関係に基づいて、当該２以上のストロークの手書き情報を互いに関連付けるかどうかを判定するための判定手段と、
   前記判定手段が前記２以上のストロークの手書き情報を互いに関連付けると判定した場合に、前記電子文書を当該２以上のストロークの手書き情報のすべてを用いて処理するための文書処理手段とを備える、文書処理装置。
2. 前記手書入力手段に入力された各ストロークの手書き情報のそれぞれについて、当該手書き情報によって特定される図形を内包する判定用図形を生成するための図形生成手段をさらに備え、
   前記判定手段は、２以上のストロークの手書き情報の位置関係として、２以上のストロークの手書き情報のそれぞれの判定用図形の位置関係に基づいて、当該２以上のストロークの手書き情報を互いに関連付けるかどうかを判定する、請求項１に記載の文書処理装置。
3. 前記判定手段は、２以上のストロークの手書き情報の前記判定用図形が互いに重なる場合に、当該２以上のストロークの手書き情報を互いに関連付ける、請求項２に記載の文書処理装置。
4. 前記判定用図形は、前記手書き情報によって特定される図形に外接する矩形である、請求項２または請求項３に記載の文書処理装置。
5. 前記判定用図形は、前記手書き情報によって特定される図形に外接する矩形を、予め定められた量オフセットされることによって生成される矩形である、請求項２または請求項３に記載の文書処理装置。
6. 前記判定用図形は、前記手書き情報によって特定される図形が予め定められた量オフセットされることによって生成される図形に外接する矩形である、請求項２または請求項３に記載の文書処理装置。
7. 前記オフセットの値を入力するための情報入力手段をさらに備える、請求項５または請求項６に記載の文書処理装置。
8. 前記手書入力手段に手書き情報を入力するユーザーを特定するためのユーザー特定手段と、
   ユーザーと前記オフセットの値とを関連付けて記憶するためのオフセット値記憶手段とをさらに備え、
   前記図形生成手段は、前記オフセット値記憶手段において、前記ユーザー特定手段によって特定されたユーザーに関連付けられたオフセットの値を用いて、前記判定用図形を生成する、請求項５または請求項６に記載の文書処理装置。
9. 前記文書処理手段は、互いに関連付けられた前記２以上のストロークの手書き情報のすべてを利用して、前記電子文書から切り出す画像の範囲を特定し、
   前記切り出される画像の範囲は、前記電子文書の属性に基づいて補正される、請求項１〜請求項８のいずれか１項に記載の文書処理装置。
10. 前記電子文書の属性が当該電子文書において連続する符号が配列される方向を特定するものである場合には、前記文書処理手段によって特定される前記範囲は、前記電子文書における当該方向の一端から他端に及ぶ、請求項９に記載の文書処理装置。
11. 情報を格納するための格納手段をさらに備え、
    前記文書処理手段は、前記範囲の画像を前記格納手段に格納するように構成されている、請求項９または請求項１０に記載の文書処理装置。
12. 前記判定手段は、３以上のストロークの手書き情報を互いに関連付けると判定した場合に、当該３以上のストローク手書き情報のうち２以上のストローク手書き情報によって特定される図形の間に位置する図形を特定する手書き情報を当該関連付けから削除する、請求項１〜請求項１１のいずれか１項に記載の文書処理装置。
13. 手書き情報の入力を受け付ける文書処理装置を制御するための方法であって、
    電子文書に関連付けて２以上のストロークで入力された手書き情報の入力を受け付けるステップと、
    前記２以上のストロークの手書き情報の位置関係に基づいて、当該２以上のストロークの手書き情報を互いに関連付けるかどうかを判定するステップと、
    前記判定によって前記２以上のストロークの手書き情報が互いに関連付けられた場合に、前記電子文書を前記２以上のストロークの手書き情報のすべてを利用して処理するステップとを備える、文書処理装置の制御方法。
14. 手書き情報の入力を受け付ける文書処理装置のコンピュータによって実行されるプログラムであって、
    前記プログラムは、前記コンピュータに、
    電子文書に関連付けて２以上のストロークで入力された手書き情報の入力を受け付けるステップと、
    前記２以上のストロークの手書き情報の位置関係に基づいて、当該２以上のストロークの手書き情報を互いに関連付けるかどうかを判定するステップと、
    前記判定によって前記２以上のストロークの手書き情報が互いに関連付けられた場合に、前記電子文書を前記２以上のストロークの手書き情報のすべてを利用して処理するステップとを実行させる、プログラム。

Images