JP2014215911A - 注目領域推定装置、方法およびプログラム - Google Patents

Abstract

【課題】範囲指定における自由度を確保しつつ、選択範囲を特定できる。
【解決手段】本実施形態に係る注目領域推定装置は、第１取得部、第２取得部、変換部および推定部を含む。第１取得部は、複数の要素により構成される文書を取得する。第２取得部は、画面に表示される前記文書へのストロークの入力を受け付け、前記画面上の座標値で表される前記ストロークのサンプリング点を得る。変換部は、前記サンプリング点を、前記画面に表示された部分に対応する前記文書中での位置または該位置を含む前記文書中の要素を示す、対応点に変換する。推定部は、前記対応点に応じて、ユーザが関心を持つ領域である注目領域を前記要素から推定する。
【選択図】図１

Description

本発明の実施形態は、注目領域推定装置、方法およびプログラムに関する。

電子機器に対してペン入力などを用いた手書きによる文字入力方式は従来から広く利用されている。ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：携帯用情報端末）だけでなく、スマートフォンやタブレット型端末、ゲーム機の広がりに伴い、ペン入力機能を備えた機器も増えている。

こうした環境において、ユーザが文書中で注目した内容を手書きで下線を引いたり、丸で囲んだりすることで、領域を指定する方法がある。これは、従来から利用されるマウスによる文字列の始点と終点とをドラッグすることで文字列を選択するよりも、自由度が高く、ユーザがより直感的に注目する領域を指定することができる。

特開２００６−８５６９５号公報

しかし、ユーザが注目した領域を、ペンなどによる手書きのストロークやマウスのフリーフォームなどで指定する場合、自由度が高いためにストロークによる指定範囲が明確ではなく、どの部分までを選択された範囲とするかが困難である。

本開示は、上述の課題を解決するためになされたものであり、範囲指定における自由度を確保しつつ、選択範囲を特定することができる注目領域推定装置、方法およびプログラムを提供することを目的とする。

本実施形態に係る注目領域推定装置は、第１取得部、ストローク取得部、変換部および推定部を含む。第１取得部は、複数の要素により構成される文書を取得する。ストローク取得部は、画面に表示される前記文書へのストロークの入力を受け付け、前記画面上の座標値で表される前記ストロークのサンプリング点を得る。変換部は、前記サンプリング点を、前記画面に表示された部分に対応する前記文書中での位置または該位置を含む前記文書中の要素を示す、対応点に変換する。推定部は、前記対応点に応じて、ユーザが関心を持つ領域である注目領域を前記要素から推定する。

第１の実施形態に係る注目領域推定装置を示すブロック図。 入力されるストロークの具体例を示す図。 ストローク情報の一例を示すテーブル。 注目領域の推定方法を示す図。 注目領域の推定方法の別例を示す図。 文字区切り推定部おける検出および推定処理の一例を示す図。 注目領域推定部の動作を示すフローチャート。 第２の実施形態に係る注目領域推定装置を示すブロック図。 判定部および領域修正部における修正処理の一例を示す図。 文の行頭へのマーキング例を示す図。 第３の実施形態に係る注目領域推定装置を示すブロック図。 検索部におけるキーワード検索の一例を示す図。 閲覧内容に関連する文書の表示例を示す図。

以下、図面を参照しながら本実施形態に係る注目領域推定装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。
（第１の実施形態）
第１の実施形態に係る注目領域推定装置について図１のブロック図を参照して説明する。
第１の実施形態に係る注目領域推定装置１００は、閲覧情報取得部１０１、ストローク取得部１０２、位置変換部１０３および注目領域推定部１０４を含む。

閲覧情報取得部１０１は、外部から複数の要素により構成される文書、例えば構造化文書を取得する。構造化文書は、ＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）文書、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）文書、ＥＰＵＢ（登録商標）（Ｅｌｅｃｔｒｏｎｉｃ ＰＵＢｌｉｃａｔｉｏｎ）文書、または文書作成アプリケーションなどにより作成された文書である。構造化文書は、例えば、ＨＴＭＬ文書であれば、タグによって記述された複数のＨＴＭＬ要素を有し、これらのＨＴＭＬ要素は、開始タグ及び終了タグ、並びにこれらに囲まれる文字列（テキストデータ）から構成される。また、構造化文書が電子書籍の場合は、章、節、段落などの章立てを要素とする。なお、本実施形態では、ユーザが閲覧する構造化文書の一例としてＨＴＭＬ構造であるＷｅｂページを対象として説明する。ここで、Ｗｅｂページには、テキスト情報に加え、静止画像及び動画像が含まれてもよい。

ストローク取得部１０２は、表示画面に対して描かれたストロークを一定間隔でサンプリングしてサンプリング点を得ることで、ユーザからのストロークを取得する。また、サンプリング点から、ストロークが入力された画面上の２次元の座標値と座標値を取得した時刻とを対応付けた情報であるストローク情報を得る。ストローク情報については、図３を参照して後述する。
ユーザから入力されるストロークは、例えば、タブレット端末やスマートフォンなどの表示画面にペンや指により入力される手書きストロークでもよく、ユーザがマウスを操作することによりフリーハンドで描かれるストロークでもよい。

位置変換部１０３は、閲覧情報取得部１０１から構造化文書を、ストローク取得部１０２からストローク情報をそれぞれ取得する。位置変換部１０３は、サンプリング点を、ストローク情報に含まれる座標に基づいて対応点に変換する。対応点は、画面に表示された部分に対応する構造化文書中での位置、または、その位置を含む構造化文書中の要素を示す。なお、位置変換部１０３における変換処理は、ｗｅｂページを画面に表示する際に、画面に表示される画像が構造化文書中のどの部分であるかを抽出する既存の処理であればよく、ここでの詳細な説明は省略する。
注目領域推定部１０４は、位置変換部１０３から対応点を受け取り、構造化文書中の要素と対応点との関係に応じて、ストロークを入力したユーザが関心を持つ領域である注目領域を推定する。

次に、入力されるストロークの具体例について図２を参照して説明する。
ユーザは、注目する文字列または範囲に対して、下線を引いたり、線で囲むことにより、範囲を指定することができる。
例えば、図２（ａ）に示すように、ユーザが、文字列「ペンでスラスラと手書きできる端末」に興味があれば、下線を引くことで、興味がある文字列を指定することができる。また、図２（ｂ）に示すように、ユーザが、文字列「ペンでスラスラと手書きできる端末」を線で囲んでもよい。このようにすることで、ユーザが興味がある文の範囲を指定することができる。

次に、ストローク取得部１０２で得られるストローク情報の一例について図３を参照して説明する。
ストローク取得部１０２は、図３に示すような、ストロークＩＤ３０１と座標値および時刻からなるストローク情報３０２との対応付けを得る。
ストロークＩＤ３０１は、ストロークの識別番号を示す。ストローク情報３０２は、画面にペンや指などが接触したときから、画面からペンや指などが離れる時までの、ストロークの一定の時間間隔によるサンプリング点の２次元座標値、および２次元座標値をサンプリングした時刻である。すなわち、１つのストロークＩＤ３０１により、ストロークの始点から終点までの一筆書きを表す。
具体的には、例えば、ストロークＩＤ３０１「１」とストローク情報３０２「（ｘ_１，ｘ_１，ｔ_１）、（ｘ_２，ｘ_２，ｔ_２）、・・・」とが対応付けられて、バッファ（図示せず）などに格納される。

次に、注目領域推定部１０４における注目領域の推定方法について図４を参照して説明する。
図４（ａ）は、画面に表示されるｗｅｂページ上でのストローク４０１を示し、黒丸はストロークの代表点となるサンプリング点である。図４（ｂ）は、画面に表示されるｗｅｂページのＨＴＭＬ構造上での、ストロークの対応点４０２を示す。

注目領域の推定は、例えば、構造化文書の要素に含まれるストロークの対応点４０２の数が一番多い要素のブロック領域を注目領域として推定する。
図４（ｂ）を参照すると、ＨＴＭＬタグの要素４０３に含まれる対応点４０２の数と、ＨＴＭＬタグの要素４０４に含まれる対応点４０２の数とを比較する。要素４０３に含まれる対応点４０２の数が、要素４０４に含まれる対応点４０２の数よりも多いので、要素４０３をユーザが注目する注目領域として推定すればよい。

次に、注目領域推定部１０４における注目領域の推定方法の別例について図５を参照して説明する。
図５（ａ）は、画面に表示されるｗｅｂページ上でのストローク５０１を示し、黒丸はストロークの代表点となるサンプリング点である。図５（ｂ）は、画面に表示されるｗｅｂページのＨＴＭＬ構造上での、ストロークの対応点５０２を示す。

図５（ａ）に示すように、ストロークのサンプリング点（対応点）の隣接する密度が高い場合、ゆっくりとストロークが引かれていることを表す。このような場合は、ストロークのサンプリング点（対応点）の密度が低い、すなわち素早く範囲を指定している場合に比べ、ユーザが注目するキーワードまたは文のみを指定してマーキングしている可能性が高い。よって、このような場合は、要素に含まれる文字列を文字単位で注目領域として推定する。

次に、ＨＴＭＬ要素の画面表示範囲とＨＴＭＬソースの構造との関係に基づく注目領域の判定について、図６を参照して説明する。
図６は、Ｗｅｂページを表示したときのページ全体６０１、画面の表示範囲６０２、表示範囲６０２に一部が表示されるｗｅｂページの段落６０３およびストロークで囲まれた注目領域６０４と、ＨＴＭＬ構造を用いて記述された文書（ｗｅｂページのソース）との関係を示す。Ｗｅｂページの内容に対するユーザの注目の仕方としては、まずページ全体の中で画面に表示しているかどうかの第１段階がある。次に画面に表示されるページの中でストロークが入力された範囲があるかどうか第２段階がある。

図６（ａ）で示される画面の表示範囲６０２において「スラスラと書ける」という言葉をペンによるストロークで囲った時点では、ページ内の単語「ＩＴニュース」は、画面の表示範囲６０２にもｗｅｂページの段落６０３にも表示されていないページ全体６０１に含まれる文章であるため、ユーザには注目されていない。

一方、単語「新端末」「広告」「文字認識」および「スラスラと書ける」は、画面の表示範囲６０２に表示されているため、第１段階の注目領域に含まれることがわかる。さらに、単語「スラスラと書ける」はストロークで囲まれた注目領域６０４であり、第１段階より優先度が高い第２段階の注目領域となる。このように、表示範囲と段階を設けて、段階に応じた優先度と対応付けて注目領域を推定してもよい。

次に、第１の実施形態に係る注目領域推定部１０４の動作について、図７のフローチャートを参照して説明する。
ステップＳ７０１では、閲覧情報取得部１０１が、構造化文書を取得する。
ステップＳ７０２では、ストローク取得部１０２が、ユーザからのストロークを取得する。
ステップＳ７０３では、位置変換部１０３が、画面上のストロークのサンプリング点を構造化文書中の対応点に変換する。

ステップＳ７０４では、注目領域推定部１０４が、対応点の密度が閾値以上であるかどうかを判定する。対応点の密度が閾値以上であれば、ステップＳ７０５に進み、対応点の密度が閾値未満であれば、ステップＳ７０６へ進む。
ステップＳ７０５では、構造化文書の要素中の文字列を、対応点に応じて文字単位で抽出し、注目領域と推定する。
ステップＳ７０６では、対応点が複数の要素にまたがって含まれるかどうかを判定する。対応点が複数の要素にまたがる場合は、ステップＳ７０７へ進み、対応点が複数の要素にまたがらない、すなわち、１つの要素に収まる場合は、ステップＳ７０８へ進む。

ステップＳ７０７では、最も多い対応点を含む要素中の文字列を注目領域として推定する。
ステップＳ７０８では、対応点を含む要素中の文字列を注目領域として推定する。以上で、第１の実施形態に係る注目領域推定装置の動作を終了する。

以上に示した第１の実施形態によれば、入力されたストロークの位置および密度に応じて、ユーザが注目する注目領域を推定することで、範囲指定における自由度を確保しつつ、選択範囲を特定することができる。

（第２の実施形態）
第２の実施形態では、新たに取得したストロークに応じて注目領域を調整する点が第１の実施形態と異なる。
一度注目領域を推定しても、ユーザが再びストロークを入力し、注目領域を書き直したり、注目領域の一部を削除したりすることが考えられる。このような場合、注目領域を修正可能とすることで、より柔軟にユーザが選択範囲を特定することができる。

第２の実施形態に係る注目領域推定装置を図８のブロック図を参照して説明する。
第２の実施形態に係る注目領域推定装置８００は、閲覧情報取得部１０１、ストローク取得部１０２、位置変換部１０３、注目領域推定部１０４、判定部８０１および領域修正部８０２を含む。
閲覧情報取得部１０１、ストローク取得部１０２、位置変換部１０３および注目領域推定部１０４については、第１の実施形態に係る注目領域推定装置１００の構成と同様の動作を行うため、ここでの説明を省略する。

判定部８０１は、位置変換部１０３から対応点を受け取り、ユーザが注目領域に対してどのような処理を加えたかを判定する。ユーザが注目領域へ加える処理としては、例えば、別の注目領域の追加、注目領域の拡大、注目領域の全削除または一部削除が挙げられる。判定部８０１は、対応点の位置および密度に応じて、ユーザが加えた処理を判定する。
領域修正部８０２は、判定部８０１から判定結果を受け取り、判定結果に応じて注目領域を修正する。

次に、判定部８０１および領域修正部８０２における修正処理について図９を参照して説明する。
図９は、画面上で表示されるテキストと、ユーザにより入力されるストロークとを示し、破線が注目領域外のテキスト、実線が注目領域内のテキスト、フリーハンドにより囲まれた楕円状の実線がストロークをそれぞれ示す。

判定部８０１では、ストロークが追記されると、追記されたストロークの種類および領域に応じて、既存のストロークによる注目領域の位置との関係からどの処理が必要であるかを判定する。
例えば図９（ａ）は、既存の注目領域に、別の注目領域が追加される例である。まず、（ａ１）に示すように、既存の注目領域が推定されている場合を想定する。続いて、（ａ２）に示すように、既存の注目領域から離れた領域にストロークが入力された場合、別の注目領域と判定される。この場合は、（ａ３）に示すように、最初のストロークが入力された場合と同様に、新しい注目領域が追加される。

図９（ｂ）は、注目領域を書き足す場合の例である。まず、（ｂ１）のように、既存の注目領域が推定されており、（ｂ２）のように、既存の注目領域に隣接する領域にストロークが記入された場合、追加範囲を包含する領域を新たに注目領域として設定する。領域の重なりの判定は、例えば既存のストロークに外接する最小の矩形と重なる点または面積が閾値以上であるかどうかにより判定することができる。結果として、（ｂ３）のように、注目領域を拡大できる。
なお、領域が拡大されたことを明確にするため、例えば、（ｂ４）のように、２つのストロークに内接する最大の矩形に含まれる部分のストロークを非表示とすることで、領域が結合されたことをわかりやすく表示してもよい。

図９（ｃ）は、削除を表現するストロークにより、注目領域を縮小する例である。（ｃ１）のような注目領域に対して、（ｃ２）のように波線などで取り消しを示すストロークが入力された場合、（ｃ３）のように注目領域が縮小される。取り消しを示す入力であることを判定する方法としては、塗りつぶしのように、短時間に狭い領域内を埋めることにより、対応点の密度が高くなるようなストロークが記入された場合に、削除を表現するストロークと判定すればよい。

また、注目領域の一部取り消しを行った場合の扱いとして、取り消された領域の優先度を、図６の表示範囲６０２と同じ第１段階としてもよいし、画面に表示されない領域と同様の優先度としてもよい。

次に、行頭へのマーキング例について図１０を参照して説明する。
図１０に示すように、文書の行頭にマーキングがされる場合は、マーキングされた行および、マーキングされた行を含む段落を注目領域と推定すればよい。
また、文の一部へマーキングされる場合は、線が引かれた単語および線で囲まれた単語、および、マーキングされた単語を含む文を注目領域と推定すればよい。
また、文全体へマーキングされる場合は、線が引かれた文および線で囲まれた文を注目領域とすればよい。

以上に示した第２の実施形態によれば、追加されるストロークがどのようなユーザの意図で記入されたかを判定することで、より柔軟な注目領域の推定をおこなうことができる。

（第３の実施形態）
第３の実施形態では、注目領域を含む文書をキーワードにより検索する点が上述の実施形態と異なる。ユーザのマーキングがされた注目領域からキーワードを検索することで、ユーザの要求に沿った情報を提供することができる。

第３の実施形態に係る注目領域推定装置を図１１のブロック図を参照して説明する。
第３の実施形態に係る注目領域推定装置１１００は、閲覧情報取得部１０１、ストローク取得部１０２、位置変換部１０３、注目領域推定部１０４、判定部８０１、領域修正部８０２、注目キーワード抽出部１１０１、注目領域格納部１１０２、検索部１１０３および表示部１１０４を含む。なお、第３の実施形態に係る注目領域推定装置１１００は、判定部８０１および領域修正部８０２を含まない構成でもよい。
閲覧情報取得部１０１、ストローク取得部１０２、位置変換部１０３、注目領域推定部１０４、判定部８０１および領域修正部８０２については、第２の実施形態に係る注目領域推定装置１００の構成と同様の動作を行うため、ここでの説明を省略する。

注目キーワード抽出部１１０１は、注目領域推定部１０４から注目領域を受け取り、注目領域に含まれる文字列からキーワードを抽出する。キーワードの抽出は、形態素解析処理、固有表現抽出処理、予め登録された辞書に含まれる単語とのマッチングによる抽出処理などの一般的なキーワード抽出方法を用いればよく、ここでの説明を省略する。
注目領域格納部１１０２は、注目キーワード抽出部１１０１からキーワードと、注目領域に対応する構造化文書中の要素と、表示範囲に対応する構造化文書中の要素とを受け取って格納する。

検索部１１０３は、ユーザから検索対象とされる文字列である検索ワードの入力を受け取り、注目領域格納部１１０２に格納されるキーワードから、検索ワードと一致するキーワードを検索し、一致するキーワードとそのキーワードが含まれる注目領域を検索結果として得る。また、検索ワードと一致するキーワードが表示される表示範囲を検索結果としてもよい。
表示部１１０４は、検索部１１０３から検索対象とされる文字列、キーワード、および注目領域を受け取り、優先度に応じて画面に表示する。

なお、検索結果を得る際、キーワードを含む領域が、注目領域であるか、表示範囲であるか、または注目領域および表示範囲以外であるかに応じて、ユーザに提示するキーワードの優先度を設定してもよい。
例えば、図６を参照すれば、注目領域６０４に含まれるキーワードの優先度を最も高くし、表示範囲６０２に含まれるキーワードの優先度を２番目に高くし、注目領域および表示範囲以外で、表示範囲６０２に一部が表示されるｗｅｂページの段落６０３に含まれるキーワードの優先度を３番目に高くし、上記以外のページ全体６０１に含まれるキーワードの優先度を４番目に設定してもよい。

また、第３の実施形態に係る注目領域推定装置１１００に注目領域格納部１１０２を含まず、外部にある記憶装置にキーワードと、注目領域に対応する構造化文書中の要素と、表示範囲に対応する構造化文書中の要素とを格納してもよい。

次に、第３の実施形態に係るキーワード検索の一例について図１２を参照して説明する。
図１２は、検索された注目領域を含む文書をキーワードにより検索する例である。本実施形態では、検索は手書きタブレット端末の内部ストレージまたは外部のｗｅｂ文書を検索することを示す。図１２の例では、キーワード「実施」で検索した場合、注目領域として、ユーザが「実施」という単語をマーキングした注目領域の文書１２０１および文書１２０２が検索結果の上位として表示される。また、マーキングした範囲は異なるが表示画面の注目領域にキーワード「実施」を含む文書１２０３が表示される。すなわち、文書１２０３では、特許法第６７条第１項の「特許出願の日から二十年」をマーキングしているが、文書１２０３中の特許法第６７条第２項に「実施」という文言があるため、検索結果として、特許法第６７条第１項および第２項を合わせて表示される。

このようにすることで、例えば手書きタブレット端末を利用した学習において、検索したキーワードに関連した部分の文書も合わせて表示することができ、ユーザの学習効率を向上させることができる。

次に、閲覧内容に関連する文書の表示例について図１３を参照して説明する。
図１３（ａ）の例では、文書閲覧画面において、「公然実施」という単語がマーキングされた文書を閲覧している場合を示す。ユーザが閲覧している文書の内容に関連する情報を知りたい場合、関連資料検索ボタン１３０１を押すと、図１３（ｂ）に示すように、現在閲覧している文書と関連する内容の文書が「関連資料一覧」として表示される。
なお、現在閲覧している文書中の「公然実施」を含む文書が上位に表示されるが、マーキングされていない文書中のキーワードに関連する語を表示してもよい。例えば、「関連資料一覧」の右側にあるスクロールバー１３０２を下にスクロールさせることにより、現在の閲覧文書とつながりがある文書を順次表示させる。これによって、注目領域推定装置を含むタブレット端末などを利用するユーザの学習効率を向上させることができる。

以上に示した第３の実施形態に係る注目領域推定装置によれば、蓄積された注目領域からキーワードを検索することで、ユーザがマーキングした、自身が興味がある注目領域からキーワードを提示し、さらに関連する注目領域の文書も提示することができるので、ユーザの関心項目を拡げ、学習の場合は学習効率を向上させることができる。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した注目領域推定装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の注目領域推定装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，８００，１１００・・・注目領域推定装置、１０１・・・閲覧情報取得部、１０２・・・ストローク取得部、１０３・・・位置変換部、１０４・・・注目領域推定部、３０１・・・ストロークＩＤ、３０２・・・ストローク情報、４０１，５０１・・・ストローク、４０２，５０２・・・対応点、４０３，４０４・・・要素、６０１・・・ページ全体、６０２・・・表示範囲、６０３・・・段落、６０４・・・注目領域、８０１・・・判定部、８０２・・・領域修正部、１１０１・・・注目キーワード抽出部、１１０２・・・注目領域格納部、１１０３・・・検索部、１１０４・・・表示部、１２０１，１２０２，
１２０３・・・文書、１３０１・・・関連資料検索ボタン、１３０２・・・スクロールバー。

Claims (11)

1. 複数の要素により構成される文書を取得する第１取得部と、
   画面に表示される前記文書へのストロークの入力を受け付け、前記画面上の座標値で表される前記ストロークのサンプリング点を得る第２取得部と、
   前記サンプリング点を、前記画面に表示された部分に対応する前記文書中での位置または該位置を含む前記文書中の要素を示す、対応点に変換する変換部と、
   前記対応点に応じて、ユーザが関心を持つ領域である注目領域を前記要素から推定する推定部と、を具備することを特徴とする注目領域推定装置。
2. 前記第１取得部は、複数の要素を含む構造化文書を取得し、
   前記推定部は、前記構造化文書において、前記座標値を該構造化文書中の対応する位置にマッピングすることで前記対応点を得、該対応点を含む前記要素ごとのブロック領域を注目領域として推定することを特徴とする請求項１に記載の注目領域推定装置。
3. 第２取得部は、前記座標値と前記座標値を取得した時刻とを対応付けたストローク情報を得、
   前記推定部は、前記ストローク情報に基づいて、前記ストロークの入力時間が短くかつ前記サンプリング点の隣接する密度が閾値未満である場合は、最も多くの対応点を含む要素に含まれるブロック領域を注目領域として推定し、前記ストロークの入力時間が長くかつ前記サンプリング点の隣接する密度が前記閾値以上である場合は、前記要素に含まれる文字列を文字単位で注目領域として推定することを特徴とする請求項１または請求項２に記載の注目領域推定装置。
4. 前記推定部は、前記画面全体に表示される前記文書の一部分である表示範囲と、前記注目領域とを抽出し、該注目領域は、前記表示範囲よりも優先度が高くなるように重み付けることを特徴とする請求項１から請求項３までのいずれか１項に記載の注目領域推定装置。
5. 新たに取得したストロークが、既存の注目領域を拡大するものであるか、既存の注目領域の一部または全てを削除するものであるか、別のストロークであるかを判定する判定部と、
   前記新たに取得したストロークが、既存の注目領域を拡大するものである場合または既存の注目領域の一部または全てを削除するものである場合、前記注目領域の範囲を修正する修正部と、をさらに具備することを特徴とする請求項１から請求項４のいずれか１項に記載の注目領域推定装置。
6. 前記注目領域に含まれる文字列に対し、形態素解析および固有表現抽出処理を行ない、キーワードを抽出するキーワード抽出部をさらに具備することを特徴とする請求項１から請求項５のいずれか１項に記載の注目領域推定装置。
7. ユーザにより入力された文字列を検索ワードとして、キーワードの検索を行なう検索部をさらに具備し、
   前記検索部は、前記検索ワードと一致するキーワードを抽出した領域が前記注目領域であれば、該キーワードを前記ユーザに提示する優先度を最も高く設定し、該キーワードを抽出した領域が前記表示範囲であれば、該優先度を該注目領域よりも低く設定し、該キーワードを抽出した領域が該注目領域および該表示範囲以外であれば、該優先度を該表示範囲よりも低く設定して、ことを特徴とする請求項６に記載の注目領域推定装置。
8. 前記表示範囲に対応する前記文書中の要素と、前記注目領域に対応する該文書中の要素とを格納する格納部をさらに具備することを特徴とする請求項４または請求項７に記載の注目領域推定装置。
9. 前記表示範囲に対応する前記文書中の要素と、前記注目領域に対応する該文書中の要素とは、外部に存在する記憶装置に格納されることを特徴とする請求項４または請求項７に記載の注目領域推定装置。
10. 複数の要素により構成される文書を取得し、
    画面に表示される前記文書へのストロークの入力を受け付け、前記画面上の座標値で表される前記ストロークのサンプリング点を得、
    前記サンプリング点を、前記画面に表示された部分に対応する前記文書中での位置または該位置を含む前記文書中の要素を示す、対応点に変換し、
    前記対応点に応じて、ユーザが関心を持つ領域である注目領域を前記要素から推定することを特徴とする注目領域推定方法。
11. コンピュータを、
    複数の要素により構成される文書を取得する文書取得手段と、
    画面に表示される前記文書へのストロークの入力を受け付け、前記画面上の座標値で表される前記ストロークのサンプリング点を得るストローク取得手段と、
    前記サンプリング点を、前記画面に表示された部分に対応する前記文書中での位置または該位置を含む前記文書中の要素を示す、対応点に変換する変換手段と、
    前記対応点に応じて、ユーザが関心を持つ領域である注目領域を前記要素から推定する推定手段として機能させるための注目領域推定プログラム。

Images