JP2012174007A

JP2012174007A - 表示箇所抽出装置及び表示箇所抽出方法

Info

Publication number: JP2012174007A
Application number: JP2011035700A
Authority: JP
Inventors: Yosuke Kojima; 洋介小島
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2011-02-22
Filing date: 2011-02-22
Publication date: 2012-09-10
Anticipated expiration: 2031-02-22
Also published as: JP5201541B2; US8913079B2; US20120212514A1

Abstract

【課題】ユーザにとって必要性の高い情報が表示されている箇所を抽出する。
【解決手段】画面提供システムから提供される第１の画面に含まれるユーザ操作可能な箇所である操作箇所を検出し、検出された操作箇所の操作に応じて第１の画面から遷移する第２の画面の表示情報を、画面提供システムから複数回取得し、取得された第２の画面の複数回の表示情報を第２の画面間で比較することにより、第２の画面に含まれる複数の表示対象箇所について、表示装置に表示する際の優先順位を判定し、該優先順位を示す優先順位情報を第２の画面を示す画面情報と対応付けて表示箇所情報記憶部に格納し、第２の画面を表示するためのユーザ操作に応じて、該第２の画面の表示情報と、該第２の画面に対応する優先順位情報とに基づいて、第２の画面に含まれる複数の表示対象箇所のうちの少なくとも１つの表示対象箇所を表示装置に表示する。
【選択図】図１

Description

本発明は、表示箇所抽出装置及び表示箇所抽出方法に関する。

近年、広い画面を有する機器が多くなり、それに併せて画面の文字や画像、動画などの情報を見やすく表示するソフトウェアも多くなってきている。また、画面が広くなったことに伴い、例えば図１３に示すように、１つの画面に複数のウインドウやアプリケーションを表示することにより、作業の効率化が図られている。一方で、このような利用ケースでは、画面内における個々のウインドウやアプリケーションの表示範囲は小さくなってしまう。そのため、図１３に示すように、Ｗｅｂページやメールソフト、スケジューラなど、画面全体ないしは画面の８割程度の領域への表示を想定して作成されたグラフィカル・ユーザ・インタフェース（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ：以下「ＧＵＩ」と記す）では、画面に表示できる範囲よりも情報量が多く、一部の情報しか表示されない。そのため、ユーザが見たい情報を得るにはスクロール操作などが必要となり、かえって効率が悪くなる場合もある。この問題は、広い画面を有する機器に限らず、携帯電話やＰＤＡなどの画面の小さいポータブル端末を利用している場合においてもあてはまる。

この問題に対処する方法として、例えば、端末情報を取得して表示制御情報を生成する方法や（特許文献１参照）、外部からの操作により情報をグループ化して抽出する方法（特許文献２参照）、事前に履歴や属性、検索式などを登録することで必要な情報を抽出する方法（特許文献３参照）などが考えられている。

特開２０００−８２０３９号公報特開２００９−２６６１８８号公報特開２００２−３５８３９６号公報

しかしながら、特許文献１に開示されている方法では、表示サイズのみを制御しているため、表示する情報量は変化しない。また、特許文献２に開示されている方法では、事前に表示される情報のグループ化を実施する必要があるため、新規にアクセスするＧＵＩに対しては適用することができない。また、特許文献３に開示されている方法では、事前に利用者毎に登録作業が必要であり、個々にプロファイルデータの設定や保持が必要となる。

本発明はこのような事情に鑑みてなされたものであり、事前に登録された情報を利用することなく、ユーザにとって必要性の高い情報が表示されている箇所を抽出することを目的とする。

本発明の一側面に係る表示箇所抽出装置は、画面提供システムから提供される第１の画面に含まれるユーザ操作可能な箇所である操作箇所を検出する操作箇所検出部と、検出された操作箇所の操作に応じて第１の画面から遷移する第２の画面の表示情報を、画面提供システムから複数回取得する表示情報取得部と、取得された第２の画面の複数回の表示情報を第２の画面間で比較することにより、第２の画面に含まれる複数の表示対象箇所について、表示装置に表示する際の優先順位を判定し、該優先順位を示す優先順位情報を第２の画面を示す画面情報と対応付けて表示箇所情報記憶部に格納する優先順位判定部と、第２の画面を表示するためのユーザ操作に応じて、該第２の画面の表示情報と、該第２の画面に対応する優先順位情報とに基づいて、第２の画面に含まれる複数の表示対象箇所のうちの少なくとも１つの表示対象箇所を表示装置に表示する表示制御部と、を備える。

なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、事前に登録された情報を利用することなく、ユーザにとって必要性の高い情報が表示されている箇所を抽出することができる。

本発明の一実施形態である表示箇所抽出装置の構成を示す図である。画面遷移の一例を示す図である。エミュレーションの一例を示す図である。同じユーザ操作が行われた場合の画面間でＧＵＩ情報を比較する場合の一例を示す図である。異なるユーザ操作が行われた場合の画面間でＧＵＩ情報を比較する場合の一例を示す図である。現在画面と異なる画面領域に表示画面が表示される一例を示す図である。表示画面に表示する表示対象箇所を抽出する一例を示す図である。現在画面と同じ画面領域に表示画面が表示される一例を示す図である。表示画面に表示する表示対象箇所を抽出する一例を示す図である。表示対象箇所の優先順位を判定する処理の一例を示すフローチャートである。表示画面を生成する処理の一例を示すフローチャートである。優先順位の判定可否を考慮して表示対象箇所の優先順位を判定する処理の一例を示すフローチャートである。複数のウインドウやアプリケーションが表示された画面の一例を示す図である。

以下、図面を参照して本発明の一実施形態について説明する。

＝＝構成＝＝
まず、システム構成について説明する。図１は、本発明の一実施形態である表示箇所抽出装置の構成を示す図である。表示箇所抽出装置１０は、ＧＵＩ提供システム２０から提供されるＧＵＩのうち、ユーザにとって必要性の高い情報が表示されている箇所を抽出して表示する情報処理装置である。

ここで、ＧＵＩ提供システム２０とは、例えば、Ｗｅｂサーバや各種アプリケーションによって生成されるＧＵＩ情報（表示情報）をユーザからの要求に応じて生成するシステムである。ＧＵＩ情報は、例えば、ＨＴＭＬやＸＭＬ等の形式で作成された情報であり、画面に表示する対象となる複数の表示対象箇所の情報を含んでいる。例えば、表示対象箇所の情報には画像やテキストが含まれる。なお、ＧＵＩ提供システム２０は、１つ又は複数のシステムによって構成されたものとすすことができる。例えば、あるＷｅｂサイトから別のＷｅｂサイトにリンクしている場合であれば、ＧＵＩ提供システム２０には、リンク元のＷｅｂサイトのシステムと、リンク先のＷｅｂサイトのシステムとが含まれることとすることができる。なお、本実施形態では、ＧＵＩ提供システム２０は、ユーザに対してインターネット等のネットワーク経由でＷｅｂページ等のＧＵＩ情報を提供するものとして説明するが、ＧＵＩ提供システム２０はこれに限られず、例えば、ユーザ端末内で動作するものであってもよい。

また、図１には、入力装置２２及び表示装置２４が示されている。入力装置２２は、例えば、マウスやキーボード、タッチパネル等の入力インタフェースである。表示装置２４は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等の表示インタフェースである。

図１に示すように、表示箇所抽出装置１０は、操作箇所検出部３０、表示情報取得部３２、優先順位判定部３４、優先順位情報データベース（ＤＢ）３６、ユーザインタフェース（ＵＩ）監視部３８、表示箇所抽出部４０、画面生成部４２、及び動作設定記憶部４４を含んで構成される。

表示箇所抽出装置１０は、例えば、パーソナルコンピュータや携帯端末等のユーザ端末内に構成することも可能であるし、ユーザ端末とは別の情報処理装置として構成することも可能である。いずれの場合においても、操作箇所検出部３０、表示情報取得部３２、優先順位判定部３４、ＵＩ監視部３８、表示箇所抽出部４０、及び画面生成部４２は、例えば、メモリに格納されているプログラムをプロセッサが実行することにより実現することができる。また、優先順位情報ＤＢ３６及び動作設定記憶部４４は、メモリや記憶装置等の記憶領域を用いて実現することができる。なお、優先順位情報ＤＢ３６及び動作設定記憶部４４は、表示箇所抽出装置１０の内部に設けられていてもよいし、外部に設けられていてもよい。なお、本実施形態では、ＵＩ監視部３８、表示箇所抽出部４０、及び画面生成部４２によって、表示制御部が構成されている。

操作箇所検出部３０は、表示装置２４に現在表示されている画面（現在画面）のＧＵＩ情報を参照し、現在画面の中にある、ユーザ操作が可能な箇所（操作箇所）を検出する。ここで、操作箇所とは、例えば、ラジオボタンやチェックボックス、テキストボックス、リンク等、入力装置２２によるユーザ操作が可能な箇所である。なお、操作箇所を調べる方法については、ＧＵＩを画像として分析する手法やＨＴＭＬなどのソースを解析する手法など一般的に知られている手法を用いることができる。

図２には、画面遷移の一例が示されている。図２に示すように、Ｗｅｂページが表示された検索画面６０（現在画面）には、検索キーワードを入力するための操作箇所６２が含まれている。この操作箇所６２において検索キーワードが入力されると、検索結果を示す画面６４（表示画面）が表示される。このように、画面６０でのユーザ操作に応じて画面６４が表示されることとなる。本実施形態では、先に表示されている画面を「現在画面」、現在画面でのユーザ操作に応じて表示される画面を「表示画面」として説明する。

図１に戻り、表示情報取得部３２は、操作箇所検出部３０において検出された操作箇所に対して、様々なユーザ操作を実行した際に表示される表示画面のＧＵＩ情報をＧＵＩ提供システム２０から取得する。つまり、表示情報取得部３２は、ユーザ操作のエミュレータとして機能する。図３には、表示情報取得部３２によるエミュレーションの一例が示されている。例えば、現在画面７０において、「Ａ」〜「Ｃ」の３つの選択肢を有する操作箇所７２が検出されたとする。この場合、表示情報取得部３２は、各選択肢を選択した場合のＧＵＩ情報を、各選択肢について複数回、ＧＵＩ提供システム２０から取得する。図３の例では、操作箇所７２で「Ａ」〜「Ｃ」を選択した場合のＧＵＩ情報によって表示される画面７４Ａ〜７４Ｃが示されている。なお、「Ａ」を選択して表示される画面７４Ａを、単に「画面Ａ」とも表す。また、画面Ａのうち、ｎ回目に取得されたＧＵＩ情報に対応する画面を「画面Ａｎ」と表す。画面７４Ｂ，７４Ｃについても同様である。

優先順位判定部３４は、表示情報取得部３２で取得された複数回のＧＵＩ情報を画面間で比較することにより、表示画面に含まれる複数の表示対象箇所について、表示装置に表示する際の優先順位を判定する。そして、優先順位判定部３４は、優先順位を示す優先順位情報を表示画面を示す画面情報と対応付けて優先順位情報ＤＢ３６に格納する。なお、表示画面を示す画面情報には、例えば、現在画面の識別情報（例えばＵＲＬ）と、現在画面における操作箇所を示す情報とが含まれる。また、表示画面を示す画面情報には、表示画面自身の識別情報（例えばＵＲＬ）が含まれることとしてもよい。

図４には、同じユーザ操作が行われた場合の画面間でＧＵＩ情報を比較することによって優先順位を判定する場合の一例が示されている。優先順位判定部３４は、画面Ａ１，Ａ２間で対応する表示対象箇所の表示内容を比較し、表示内容の相違有無を検出する。例えば、図４の例では、対応する表示対象箇所８０−１，８０−２の表示内容が異なっている。この場合、優先順位判定部３４は、表示対象箇所８０−１，８０−２に表示されている情報は、例えばＷｅｂ広告や天気など、ユーザ操作との関連が低い情報であるとみなし、この表示対象箇所を不要箇所と判断する。すなわち、優先順位判定部３４は、この表示対象箇所を表示装置２４に表示する際の優先順位を低く設定する。

また、図５には、異なるユーザ操作が行われた場合の画面間でＧＵＩ情報を比較することによって優先順位を判定する場合の一例が示されている。優先順位判定部３４は、画面Ａ〜Ｃ間で対応する表示対象箇所の表示内容を比較し、表示内容の相違有無を検出する。例えば、図５の例では、対応する表示対象箇所９０Ａ〜９０Ｃの表示内容が異なっている。この場合、優先順位判定部３４は、すべての操作パターンで相違する部分については、ユーザ操作との関連が高い情報であるとみなし、この表示対象箇所を中心箇所と判断する。すなわち、優先順位判定部３４は、この表示対象箇所を表示装置２４に表示する際の優先順位を高く設定する。また、優先順位判定部３４は、図３に示した現在画面７０に含まれる操作箇所７２と同一のユーザ操作が可能な表示対象箇所９２Ａ〜９２Ｃについては、固定的に表示される固定箇所と判断する。また、優先順位判定部３４は、画面Ａ〜Ｃ間で表示内容が同一である表示対象箇所９４Ａ〜９４Ｃについては、ユーザ操作との関連が低い情報が表示されている箇所とみなし、この表示対象箇所を不要箇所と判断する。なお、優先順位判定部３４は、画面Ａ〜Ｃの一部の画面間でのみ表示情報に相違がある表示対象箇所については、例えば、表示情報に相違のある操作パターンが少なく、中心箇所からの距離が遠いものから順に優先順位を高く設定することができる。なお、中心箇所、固定箇所、不要箇所はそれぞれ連続した１つの部分とは限らず、不連続の複数部分であってもよい。

図１に戻り、ＵＩ監視部３８は、入力装置２２から出力される操作情報を監視し、現在画面から表示画面への遷移が発生するユーザ操作を検出し、どの画面のどの操作箇所が操作されたかを示すステータスを表示箇所抽出部４０に通知する。

表示箇所抽出部４０は、ＵＩ監視部３８からの通知に基づいて、ユーザ操作が行われた操作箇所を検出する。そして、表示箇所抽出部４０は、ユーザ操作が行われた操作箇所に対応する優先順位情報を優先順位情報ＤＢ３６から取得し、表示画面のＧＵＩ情報とともに画面生成部４２に出力する。なお、表示画面のＧＵＩ情報は、例えば、操作箇所検出部３０を介して取得することができる。操作箇所検出部３０では、この表示画面を新たな現在画面として操作箇所の検出が行われることとなる。

画面生成部４２は、表示画面のＧＵＩ情報と、優先順位情報とに基づいて、表示画面に含まれる表示対象箇所のうち、表示装置２４に表示する表示対象箇所を選択し、選択された表示対象箇所を表示装置２４に表示するための画面生成処理を実行する。図６〜図９を参照して、表示対象箇所の選択の一例を説明する。図６には、現在画面と異なる画面領域に、ポップアップ画面やダイアログ画面として表示画面が表示される例が示されている。この場合、画面生成部４２は、例えば、図７に示すように、表示画面に含まれる表示対象箇所のうちの中心箇所を、表示が必須な箇所である必須表示箇所として表示する。さらに、画面生成部４２は、表示画面の画面領域がまだ空いていれば、その他の表示対象箇所を優先順位に従って表示する。また、図８には、現在画面と同じ画面領域に表示画面が表示される例が示されている。つまり、同一画面内で表示内容が更新される場合である。この場合、画面生成部４２は、例えば、図９に示すように、表示画面に含まれる表示対象箇所のうちの中心箇所及び固定箇所を、表示が必須な箇所である必須表示箇所として表示する。さらに、画面生成部４２は、表示画面の画面領域がまだ空いていれば、その他の表示対象箇所を優先順位に従って表示する。

動作設定記憶部４４には、表示箇所抽出装置１０での各種動作を制御するためのパラメータ等が記憶される。

＝＝処理＝＝
次に、本実施形態における処理の一例について説明する。図１０は、表示対象箇所の優先順位を判定する処理の一例を示すフローチャートである。まず、操作箇所検出部３０は、ＧＵＩ提供システム２０から現在画面のＧＵＩ情報を受信する（Ｓ１００１）。操作箇所検出部３０は、現在画面に含まれる表示対象箇所の中に、ユーザ操作が可能な操作箇所があるかどうか確認する（Ｓ１００２）。操作箇所がある場合（Ｓ１００２：Ｙ）、操作箇所検出部３０は、操作箇所をそれぞれグループ化（ａグループ，ｂグループ，ｃグループ，・・・）した操作箇所情報を生成し、現在画面のＧＵＩ情報とともに表示情報取得部３２に出力する（Ｓ１００３）。ここで、グループ化とは、例えば、図３に示したように、「Ａ」〜「Ｃ」を選択するためのラジオボタンと、選択結果を確定するための「決定」ボタンとをひとまとまりの操作箇所とすることである。なお、操作箇所がない場合は（Ｓ１００２：Ｎ）、優先順位の判定が不要であるとして処理を終了する。

表示情報取得部３２は、現在画面に含まれる操作箇所における全てのユーザ操作パターンを抽出する。例えば、ラジオボタン等、１つのみのユーザ操作が可能な操作箇所であれば、各ユーザ操作に対応するユーザ操作パターンが抽出される。また、例えば、チェックボックス等、複数のユーザ操作が可能な操作箇所であれば、可能なユーザ操作の全ての組み合わせに対応するユーザ操作パターンが抽出される。なお、ユーザ操作パターンを抽出する処理には、例えば、特開平１０−１９８５８６号公報に記載されているような手法を用いることが可能である。また、操作箇所が複数ある場合には、各操作箇所に対して同様の処理が実行される。そして、表示情報取得部３２は、例えば、図３に示すように、各ユーザ操作パターンによる操作の入力をＧＵＩ提供システム２０に対して送信し、操作入力への応答画面となる表示画面のＧＵＩ情報を受信する処理をバックグラウンドで２回以上（ｎ回）繰り返す。表示情報取得部３２は、あるユーザ操作パターンで１回目に取得したＧＵＩ情報（Ａ１，Ｂ１，Ｃ１，・・・）とｎ回目に取得したＧＵＩ情報（Ａｎ，Ｂｎ，Ｃｎ，・・・）を２次元配列などを用いてユーザ操作パターン毎に管理し、操作箇所を示す操作箇所情報（ａグループ，ｂグループ，ｃグループ，・・・）と併せて優先順位判定部３４に送信する（Ｓ１００４）。

優先順位判定部３４では２段階の判定を行なう。まず１段階目として、優先順位判定部３４は、例えば図４に示すように、同じユーザ操作パターンで取得したＧＵＩ情報を比較する（Ｓ１００５）。なお、図４には、「Ａ」が選択された場合の画面Ａにおける比較しか示されていないが、その他のユーザ操作パターンによって遷移した画面についても同様にＧＵＩ情報の比較が行われる。１段階目の比較は、同じユーザ操作パターンで時間が異なるタイミングに受信したＧＵＩ情報の比較である。したがって、優先順位判定部３４は、表示内容に相違がある表示対象箇所があれば（Ｓ１００６：Ｙ）、その表示対象箇所はユーザ操作との関連性が低い情報が表示されている箇所であると判断し、不要箇所（１）と判断する（Ｓ１００７）。

そして、優先順位判定部３４は、各ユーザ操作パターンに対応する表示データ（Ａ，Ｂ，・・・）を、不要箇所（１）の表示箇所がわかるように、画面Ａ１から画面Ａｎまでを表示データＡ、画面Ｂ１から画面Ｂｎまでを表示データＢ、・・・として生成する（Ｓ１００８）。なお、相違箇所の判定についての精度（単語レベル、文章レベル、範囲など）や位置関係の精度（相対的、絶対的など）については、利用用途に応じて様々な方法を用いることができる。例えば、画面Ａ１では画面の一番上にある表示が画面Ａｎでは画面の一番下にあるというように、検索エンジンの検索結果など、表示順序が入れ替わるような場合に対応するために、リンク単位などで比較対象を特定するなど、用途に合わせた精度が出る方法を採用することができる。

次に２段階目として、優先順位判定部３４は、例えば図５に示すように、各ユーザ操作パターンに対応する表示データ（Ａ，Ｂ，・・・）の間で表示対象箇所を比較する（Ｓ１００９）。２段階目では、異なるユーザ操作パターンに応じて受信したＧＵＩ情報の比較であるため、全パターンで相違する表示対象箇所については、１段階目の判断とは異なり、ユーザ操作と最も関連が高い情報が表示されている箇所であると判断し、その箇所を中心箇所と判断する（Ｓ１０１０）。

また、優先順位判定部３４は、現在画面の操作箇所（ａグループ，ｂグループ，ｃグループ，・・・）と同一のユーザ操作が可能な表示対象箇所がある場合には、このような箇所を固定箇所と判断する（Ｓ１０１１）。なお、優先順位判定部３４は、あるユーザ操作パターンにおいて不要箇所（１）とされている箇所があれば、他のユーザ操作パターンにおいても、その箇所を不要箇所（１）と判断する。

また、優先順位判定部３４は、表示データ全体で相違のない箇所は、ユーザ操作とは関係ない共通の表示対象箇所であると判断し、その箇所を不要箇所（２）と判断する（Ｓ１０１２）。さらに、優先順位判定部３４は、一部の表示データ間でのみ相違がある箇所については、相違のあるユーザ操作パターン数と中心箇所からの距離を要素として判断し、相違のあるユーザ操作パターンが少なく、中心箇所からの距離が遠いものから順に不要箇所（３）、不要箇所（４）、不要箇所（５）、・・・不要箇所（ｍ）と判断する（Ｓ１０１２）。

そして、優先順位判定部３４は、中心箇所と固定箇所、不要箇所を示す情報と、操作箇所情報とを対応づけた優先順位情報を優先順位情報ＤＢ３６に格納する（Ｓ１０１３）。

図１１は、表示画面を生成する処理の一例を示すフローチャートである。まず、表示箇所抽出部４０は、現在画面のＧＵＩ情報を受信する（Ｓ１１０１）。この現在画面のＧＵＩ情報は、操作箇所検出部３０がＧＵＩ提供システム２０から取得したものである。表示箇所抽出部４０は、画面遷移の起こるユーザ操作がどの画面のどの操作箇所で行われたのかを示すステータスをＵＩ監視部３８から受信して保持している。そして、表示箇所抽出部４０は、ＧＵＩ情報（現在画面）に対するステータスを確認する（Ｓ１１０２）。

表示箇所抽出部４０は、ＧＵＩ情報（現在画面）に対してＵＩ監視部３８から一定時間ステータスの通知がないまま、操作箇所検出部３０から他のＧＵＩ情報を受信した場合には、最初に受信したＧＵＩ情報に対するＵＩ監視部３８からのステータスを確認する処理を破棄する。表示箇所抽出部４０は、ＵＩ監視部３８から、ＧＵＩ情報（現在画面）に対するユーザ操作のステータスを受信した場合には、該当する操作箇所の優先順位情報を優先順位情報ＤＢ３６から取得し、表示画面のＧＵＩ情報とともに画面生成部４２に送信し、現在画面のＧＵＩ情報に対するＵＩ監視部３８からのステータスを「無」に変更する（Ｓ１１０３）。

なお、該当する操作箇所の優先順位情報が優先順位情報ＤＢ３６に存在しない場合には、表示箇所抽出部４０は、ＧＵＩ情報のみを画面生成部４２に送信する。これにより、優先順位の判定が完了していない場合や、エミュレートの動作禁止設定が行なわれている表示に対応することができる。

画面生成部４２は、表示装置２４内で表示画面を描画する画面領域（ウインドウやポップアップ、ダイアログ、ポートレットなど）のサイズと、必須表示箇所の表示サイズとを比較する（Ｓ１１０４）。「画面領域＜必須表示箇所」となる場合は（Ｓ１１０４：Ｎ）、「画面領域≧必須表示箇所」となるまで必須表示箇所の表示サイズを例えばアスペクト比固定で縮小する（Ｓ１１０５）。この際、例えば、文字の視認性を確保するために最低フォントサイズなどの閾値を示す情報が動作設定記憶部４４に格納されており、この情報に基づいて縮小処理が制御されることとしてもよい。また、このような情報は表示箇所抽出装置１０の外部にあるものとしてもよい。例えば、Ｗｅｂページに設定されている情報を用いることも可能である。なお、例えば、上述した閾値に応じた最小サイズまで縮小しても「画面領域≧必須表示箇所」とならない場合は、必須表示箇所の表示サイズが画面領域のサイズになったものとみなし、縮小処理を終了する。

そして、「画面領域≧必須表示箇所」となる場合は（Ｓ１１０４：Ｙ）、画面生成部４２は、必須表示箇所を画面領域に表示させた上で、不要箇所（ｍ）、不要箇所（ｍ−１）、・・・の順に「画面領域≦（必須表示箇所＋不要箇所（ｍ）＋不要箇所（ｍ−１）＋・・・・）」を満たす範囲で、画面領域の空白部分に不要箇所を付加して、画面領域全体が描画されるように表示装置２４に表示画面を表示する（Ｓ１１０６）。

なお、用途によっては、不要箇所をすべて表示させたい場合もある。そのため、表示画面内に、すべての箇所を表示するためのボタンや、元のページを表示するためのボタンなどを設けることで、必要に応じて不要箇所を表示させることも可能である。

＝＝変形例＝＝
図１０及び図１１に示した処理では、検出された全ての操作箇所について、表示対象箇所を表示する際の優先順位を判定し、表示画面を表示する際に表示される表示対象箇所を優先順位に従って抽出することとした。ただし、例えば、システムに影響を与える登録系の画面などにおいては、一部の表示対象箇所を抽出して表示することが望ましくない場合もある。そのため、表示箇所抽出装置１０では、優先順位の判定可否を制御することも可能である。

図１２は、優先順位の判定可否を考慮して表示対象箇所の優先順位を判定する処理の一例を示すフローチャートである。ここでは、ユーザ操作のエミュレート動作を制御する設定情報（判定可否情報）が動作設定記憶部４４に格納されていることとする。なお、動作設定記憶部４４には、エミュレート動作を禁止するための条件として、文字列や数値などを登録することが可能である。また、エミュレート動作を禁止する条件を示す情報として、表示される画面のＩＤやＵＲＬなどを動作設定記憶部４４に登録することも可能である。

まず、操作箇所検出部３０は、ＧＵＩ提供システム２０から現在画面のＧＵＩ情報を受信する（Ｓ１２０１）。操作箇所検出部３０は、現在画面に含まれる表示対象箇所の中に、ユーザ操作が可能な操作箇所があるかどうか確認する（Ｓ１２０２）。操作箇所がない場合は（Ｓ１２０２：Ｎ）、優先順位の判定が不要であるとして処理を終了する。

操作箇所がある場合（Ｓ１２０２：Ｙ）、操作箇所検出部３０は、動作設定記憶部４４を参照（Ｓ１２０３）し、エミュレートが禁止されている操作箇所に該当するかを確認する（Ｓ１２０４）。例えば、動作設定記憶部４４には、エミュレートを禁止する条件となる語句が登録されており、この語句が操作箇所に含まれる場合にはエミュレートが禁止されるようにすることができる。

エミュレートを禁止する動作設定に該当する場合には（Ｓ１２０４：Ｙ）、操作箇所検出部３０は、該当の操作箇所をエミュレート対象から除外するフラグ情報をＧＵＩ情報に付加して表示情報取得部３２に出力する（Ｓ１２０５）。該当しない場合は（Ｓ１２０４：Ｎ）、操作箇所検出部３０は、表示情報取得部３２にＧＵＩ情報をそのまま転送する。

表示情報取得部３２は、フラグ情報で除外されている箇所以外の操作箇所について、各ユーザ操作パターンにおける表示画面のＧＵＩ情報をバックグラウンドで２回以上（ｎ回）取得する（Ｓ１２０６）。以降は図１０に示した処理（Ｓ１００９〜Ｓ１０１３）と同様である。

以上、本実施形態の表示箇所抽出システム１０について説明した。本実施形態によれば、事前に登録された情報を利用することなく、ユーザにとって必要性の高い情報が表示されている箇所を抽出することができる。つまり、ユーザに適切なＧＵＩ情報の提供を個人の属性に依存することなく実現することができる。そのため、例えば、ユーザ毎の個別設定や個人の嗜好による表示データの偏りなどを発生させたくない共通的な基盤技術として組み込んで利用することができる。

なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。

本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）画面提供システムから提供される第１の画面に含まれるユーザ操作可能な箇所である操作箇所を検出する操作箇所検出部と、検出された前記操作箇所の操作に応じて前記第１の画面から遷移する第２の画面の表示情報を、前記画面提供システムから複数回取得する表示情報取得部と、取得された前記第２の画面の複数回の表示情報を前記第２の画面間で比較することにより、前記第２の画面に含まれる複数の表示対象箇所について、表示装置に表示する際の優先順位を判定し、該優先順位を示す優先順位情報を前記第２の画面を示す画面情報と対応付けて表示箇所情報記憶部に格納する優先順位判定部と、前記第２の画面を表示するためのユーザ操作に応じて、該第２の画面の表示情報と、該第２の画面に対応する前記優先順位情報とに基づいて、前記第２の画面に含まれる前記複数の表示対象箇所のうちの少なくとも１つの表示対象箇所を、前記優先順位に従って前記表示装置に表示する表示制御部と、を備える表示箇所抽出装置。
（付記２）付記１に記載の表示箇所抽出装置であって、前記表示情報取得部は、前記操作箇所の操作が行われる前に前記第２の画面の表示情報を複数回取得する、表示箇所抽出装置。
（付記３）付記１又は２に記載の表示箇所抽出装置であって、前記優先順位判定部は、取得された前記第２の画面の複数回の表示情報を相互に比較することにより、前記複数の表示対象箇所のうち、前記複数回の第２の画面間において表示内容に相違のある表示対象箇所を前記優先順位が低い表示対象箇所と判定する、表示箇所抽出装置。
（付記４）付記１〜３の何れか一項に記載の表示箇所抽出装置であって、前記表示制御部は、さらに、前記第２の画面の表示領域の大きさに基づいて、前記表示装置に表示される表示対象箇所を前記優先順位に従って選択する、表示箇所抽出装置。
（付記５）付記１〜４の何れか一項に記載の表示箇所抽出装置であって、前記表示制御部は、さらに、前記第２の画面が前記第１の画面と同じ表示領域に表示されるか前記第１の画面とは別の表示領域に表示されるかに基づいて、前記表示装置に表示される表示対象箇所を前記優先順位に従って選択する、表示箇所抽出装置。
（付記６）付記１〜５の何れか一項に記載の表示箇所抽出装置であって、前記優先順位判定部は、さらに、前記第２の画面の表示情報を前記第１の画面の表示情報と比較することにより前記優先順位を判定する、表示箇所抽出装置。
（付記７）付記１〜６の何れか一項に記載の表示箇所抽出装置であって、前記操作箇所の操作には複数の操作パターンが含まれ、前記表示情報取得部は、前記操作パターンごとに、前記第２の画面の表示情報を複数回取得し、前記優先順位判定部は、前記操作パターンごとに、前記第２の画面の表示情報を前記第２の画面間で比較することにより前記優先順位を判定する、表示箇所抽出装置。
（付記８）付記７に記載の表示箇所抽出装置であって、前記優先順位判定部は、さらに、前記複数の操作パターン間で前記第２の画面の表示情報を比較することにより前記優先順位を判定する、表示箇所抽出装置。
（付記９）付記１〜８の何れか一項に記載の表示箇所抽出装置であって、前記表示情報取得部は、前記優先順位の判定可否を前記操作箇所ごとに判断するための判定可否情報が記憶されている判定可否情報記憶部を参照し、前記優先順位の判定が禁止されている前記操作箇所については、該操作箇所に応じて前記第１の画面から遷移する前記第２の画面の表示情報を取得しない、表示箇所抽出装置。
（付記１０）画面提供システムから提供される第１の画面に含まれるユーザ操作可能な箇所である操作箇所を検出し、検出された前記操作箇所の操作に応じて前記第１の画面から遷移する第２の画面の表示情報を、前記画面提供システムから複数回取得し、取得された前記第２の画面の複数回の表示情報を前記第２の画面間で比較することにより、前記第２の画面に含まれる複数の表示対象箇所について、表示装置に表示する際の優先順位を判定し、該優先順位を示す優先順位情報を前記第２の画面を示す画面情報と対応付けて表示箇所情報記憶部に格納し、前記第２の画面を表示するためのユーザ操作に応じて、該第２の画面の表示情報と、該第２の画面に対応する前記優先順位情報とに基づいて、前記第２の画面に含まれる前記複数の表示対象箇所のうちの少なくとも１つの表示対象箇所を、前記優先順位に従って前記表示装置に表示する、表示箇所抽出方法。

１０表示箇所抽出装置
２０ＧＵＩ提供システム
２２入力装置
２４表示装置
３０操作箇所検出部
３２表示情報取得部
３４優先順位判定部
３６優先順位情報データベース
３８ユーザインタフェース監視部
４０表示箇所抽出部
４２画面生成部
４４動作設定記憶部

Claims

画面提供システムから提供される第１の画面に含まれるユーザ操作可能な箇所である操作箇所を検出する操作箇所検出部と、
検出された前記操作箇所の操作に応じて前記第１の画面から遷移する第２の画面の表示情報を、前記画面提供システムから複数回取得する表示情報取得部と、
取得された前記第２の画面の複数回の表示情報を前記第２の画面間で比較することにより、前記第２の画面に含まれる複数の表示対象箇所について、表示装置に表示する際の優先順位を判定し、該優先順位を示す優先順位情報を前記第２の画面を示す画面情報と対応付けて表示箇所情報記憶部に格納する優先順位判定部と、
前記第２の画面を表示するためのユーザ操作に応じて、該第２の画面の表示情報と、該第２の画面に対応する前記優先順位情報とに基づいて、前記第２の画面に含まれる前記複数の表示対象箇所のうちの少なくとも１つの表示対象箇所を、前記優先順位に従って前記表示装置に表示する表示制御部と、
を備える表示箇所抽出装置。
請求項１に記載の表示箇所抽出装置であって、
前記表示情報取得部は、前記操作箇所の操作が行われる前に前記第２の画面の表示情報を複数回取得する、
表示箇所抽出装置。
請求項１又は２に記載の表示箇所抽出装置であって、
前記優先順位判定部は、取得された前記第２の画面の複数回の表示情報を相互に比較することにより、前記複数の表示対象箇所のうち、前記複数回の第２の画面間において表示内容に相違のある表示対象箇所を前記優先順位が低い表示対象箇所と判定する、
表示箇所抽出装置。
請求項１〜３の何れか一項に記載の表示箇所抽出装置であって、
前記表示制御部は、さらに、前記第２の画面の表示領域の大きさに基づいて、前記表示装置に表示される表示対象箇所を前記優先順位に従って選択する、
表示箇所抽出装置。
請求項１〜４の何れか一項に記載の表示箇所抽出装置であって、
前記表示制御部は、さらに、前記第２の画面が前記第１の画面と同じ表示領域に表示されるか前記第１の画面とは別の表示領域に表示されるかに基づいて、前記表示装置に表示される表示対象箇所を前記優先順位に従って選択する、
表示箇所抽出装置。
請求項１〜５の何れか一項に記載の表示箇所抽出装置であって、
前記優先順位判定部は、さらに、前記第２の画面の表示情報を前記第１の画面の表示情報と比較することにより前記優先順位を判定する、
表示箇所抽出装置。
請求項１〜６の何れか一項に記載の表示箇所抽出装置であって、
前記操作箇所の操作には複数の操作パターンが含まれ、
前記表示情報取得部は、前記操作パターンごとに、前記第２の画面の表示情報を複数回取得し、
前記優先順位判定部は、前記操作パターンごとに、前記第２の画面の表示情報を前記第２の画面間で比較することにより前記優先順位を判定する、
表示箇所抽出装置。
請求項７に記載の表示箇所抽出装置であって、
前記優先順位判定部は、さらに、前記複数の操作パターン間で前記第２の画面の表示情報を比較することにより前記優先順位を判定する、
表示箇所抽出装置。
請求項１〜８の何れか一項に記載の表示箇所抽出装置であって、
前記表示情報取得部は、前記優先順位の判定可否を前記操作箇所ごとに判断するための判定可否情報が記憶されている判定可否情報記憶部を参照し、前記優先順位の判定が禁止されている前記操作箇所については、該操作箇所に応じて前記第１の画面から遷移する前記第２の画面の表示情報を取得しない、
表示箇所抽出装置。
画面提供システムから提供される第１の画面に含まれるユーザ操作可能な箇所である操作箇所を検出し、
検出された前記操作箇所の操作に応じて前記第１の画面から遷移する第２の画面の表示情報を、前記画面提供システムから複数回取得し、
取得された前記第２の画面の複数回の表示情報を前記第２の画面間で比較することにより、前記第２の画面に含まれる複数の表示対象箇所について、表示装置に表示する際の優先順位を判定し、該優先順位を示す優先順位情報を前記第２の画面を示す画面情報と対応付けて表示箇所情報記憶部に格納し、
前記第２の画面を表示するためのユーザ操作に応じて、該第２の画面の表示情報と、該第２の画面に対応する前記優先順位情報とに基づいて、前記第２の画面に含まれる前記複数の表示対象箇所のうちの少なくとも１つの表示対象箇所を、前記優先順位に従って前記表示装置に表示する、
表示箇所抽出方法。