JP2017146729A

JP2017146729A - 情報処理装置、操作支援方法および操作支援プログラム

Info

Publication number: JP2017146729A
Application number: JP2016027143A
Authority: JP
Inventors: 弘毅中西; Koki Nakanishi; 志朗小笠原; Shiro Ogasawara
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2016-02-16
Filing date: 2016-02-16
Publication date: 2017-08-24
Anticipated expiration: 2036-02-16
Also published as: JP6434435B2

Abstract

【課題】アプリケーションソフトウェアの操作方法に関する情報と、実際の操作画面とを適切に連携させる。
【解決手段】作成装置１０は、アプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されているＧＵＩ要素の構造に関する構造情報とからなる操作画面情報を取得し、取得されたキャプチャ画像と、該操作画面に表示されたＧＵＩ要素の構造に関する構造情報とを対応付けて操作情報記憶部１４ａに格納する。そして、作成装置１０は、取得された操作画面情報を、アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入し、挿入された操作画面情報のＧＵＩ要素と、該ＧＵＩ要素に関連するコンテンツ要素とを対応付けてコンテンツ情報記憶部１４ｂに格納する。
【選択図】図２

Description

本発明は、情報処理装置、操作支援方法および操作支援プログラムに関する。

従来、アプリケーションソフトウェアを操作する場合において、アプリケーションソフトウェアの対象分野やアプリケーションソフトウェアの操作方法に精通していない実施者は、どのようにアプリケーションソフトウェアの操作を行えばよいのかわからない場合があり、操作の正確性や効率性の低下を招く要因となっている。従来の技術では操作の正確性や効率性を確保、向上するために、マニュアルを用意したり、操作方法に関する情報を表示したりする手法が知られている。

例えば、アプリケーションソフトウェアの対象分野や作業の進め方やアプリケーションソフトウェアの操作方法が記載されたマニュアル(以下、手順書)を用意し、実施者がその作業に着手する前に読ませ、理解、記憶させるとともに、必要に応じて参照させる。従来はデジタルコンテンツ管理装置では、デジタルコンテンツにアプリケーションソフトウェア操作画面情報を挿入して手順書を作成していた。

その場合、アプリケーションソフトウェア操作画面キャプチャを画像としてデジタルコンテンツに挿入して表示を行っていた。またデジタルコンテンツを検索する方法として全文検索技術を使ってキーワードを入力して検索したり、画像を検索キーとして検索をしたりしていた。例えば、ＧＵＩ（Graphical User Interface）を持つソフトウェアの利用方法に関するコンテンツの作成において、利用方法を図示する際に利用されている従来のコンテンツ作成技術としては、キャプチャした操作画面の画像をコンテンツに挿入するものがある。また、そのようにして作成されたコンテンツの中から、利用者が必要とする部分を参照する際に利用されている従来のコンテンツ有効活用技術としては、利用者が指定した、キーワードに合致する部分を全文検索技術等により検索する技術や、画像と合致する部分を画像検索技術等により検索する技術がある。

アプリケーションソフトウェア実施者が必要とする対象分野の知識やアプリケーションソフトウェアの操作方法に関する情報が、ソフトウェア利用時に適宜表示される仕組みを、ソフトウェア開発時にそのソフトウェア自体の機能として用意しておく。このような方法としてオンラインヘルプやバルーンヘルプやポップアップヘルプのようなものを利用する方法がとられていた。

"Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｏｆｆｉｃｅ"、［online］、［平成２８年１月２２日検索］、インターネット＜http://www.microsoft.com/ja-jp/office＞ "無料でサイトを作成"、［online］、［平成２８年１月２２日検索］、インターネット＜https://ja.wordpress.com/＞ "ドキュメント／コンテンツ制作ツール"、［online］、［平成２８年１月２２日検索］、インターネット＜http://www.toshiba-toac.co.jp/service/digital-contents/tool/index_j.htm＞ "バルーン"、［online］、［平成２８年１月２２日検索］、インターネット＜https://msdn.microsoft.com/ja-jp/library/windows/desktop/aa511451.aspx＞

しかしながら、従来の技術では、アプリケーションソフトウェアの操作方法に関する情報と、実際のアプリケーションソフトウェアの操作画面とが適切に連携できなかったという課題がある。例えば、ユーザが実際のアプリケーションソフトウェア操作画面を見ながら、デジタルコンテンツにアプリケーションソフトウェア操作画面情報が挿入された手順書を参照する際に、操作中にユーザが知りたい情報がどこに書いてあるかわからないため、探すのに手間がかかる場合があった。また、例えば、ユーザが実際のアプリケーションソフトウェアの操作画面と手順書に挿入されたアプリケーションソフトウェアの操作画面とを比較したい場合に、実際の操作画面と手順書とを手動で比較する必要があるため手間がかかる場合があった。

上述した課題を解決し、目的を達成するために、本発明の情報処理装置は、アプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されているＧＵＩ要素の構造に関する構造情報とからなる操作画面情報を取得する取得部と、前記取得部によって取得されたアプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されたＧＵＩ要素の構造に関する構造情報とを対応付けて操作情報記憶部に格納する操作画面情報格納部と、前記取得部によって取得された操作画面情報を、前記アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入する挿入部と、前記挿入部によって挿入された操作画面情報のＧＵＩ要素と、該ＧＵＩ要素に関連する前記コンテンツ要素とを対応付けてコンテンツ情報記憶部に格納するコンテンツ情報格納部と、を備えることを特徴とする。

また、本発明の情報処理装置は、アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入された該アプリケーションソフトウェアの各操作画面に対応付けて、該操作画面情報の操作画面に表示された各ＧＵＩ要素の構造に関する構造情報をそれぞれ記憶する操作情報記憶部と、前記各ＧＵＩ要素に対応付けて、該各ＧＵＩ要素に関連するアプリケーションソフトウェアの操作方法が記載されたコンテンツ要素をそれぞれ記憶するコンテンツ情報記憶部と、現在表示されている操作画面のＧＵＩ要素の構造に関する構造情報を抽出し、該抽出した構造情報と、前記操作情報記憶部に記憶された構造情報との類似度を、前記コンテンツに挿入された操作画面ごとに比較し、前記操作情報記憶部に記憶された各構造情報のうち、最も類似度が高い構造情報に対応する前記コンテンツに挿入された操作画面を特定する特定部と、前記特定部によって特定された操作画面の各ＧＵＩ要素の構造情報と、前記現在表示されている操作画面の各ＧＵＩ要素の構造情報とを比較し、前記特定部によって特定された操作画面の各ＧＵＩ要素と、該各ＧＵＩ要素にそれぞれ対応する現在表示されている操作画面の各ＧＵＩ要素とを関連付けてＧＵＩ要素記憶部に格納するＧＵＩ要素格納部と、を備えることを特徴とする。

また、本発明の操作支援方法は、情報処理装置で実行される操作支援方法であって、アプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されているＧＵＩ要素の構造に関する構造情報とからなる操作画面情報を取得する取得工程と、前記取得工程によって取得されたアプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されたＧＵＩ要素の構造に関する構造情報とを対応付けて操作情報記憶部に格納する操作画面情報格納工程と、前記取得工程によって取得された操作画面情報を、前記アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入する挿入工程と、前記挿入工程によって挿入された操作画面情報のＧＵＩ要素と、該ＧＵＩ要素に関連する前記コンテンツ要素とを対応付けてコンテンツ情報記憶部に格納するコンテンツ情報格納工程と、を含んだことを特徴とする。

また、本発明の操作支援プログラムは、アプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されているＧＵＩ要素の構造に関する構造情報とからなる操作画面情報を取得する取得ステップと、前記取得ステップによって取得されたアプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されたＧＵＩ要素の構造に関する構造情報とを対応付けて操作情報記憶部に格納する操作画面情報格納ステップと、前記取得ステップによって取得された操作画面情報を、前記アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入する挿入ステップと、前記挿入ステップによって挿入された操作画面情報のＧＵＩ要素と、該ＧＵＩ要素に関連する前記コンテンツ要素とを対応付けてコンテンツ情報記憶部に格納するコンテンツ情報格納ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、アプリケーションソフトウェアの操作方法に関する情報と、実際の操作画面とを適切に連携させることができるという効果を奏する。

図１は、第一の実施の形態に係る操作支援システムの全体構成を示す概略構成図である。図２は、第一の実施の形態に係る作成装置の構成を示すブロック図である。図３は、操作情報記憶部に記憶される情報の一例を示す図である。図４は、ＧＵＩ要素の構造情報を説明する図である。図５は、コンテンツ情報記憶部に記憶されるテーブルの一例を示す図である。図６は、コンテンツへ操作画面を挿入する処理を説明する図である。図７は、コンテンツ上に表示されたＧＵＩ要素の境界を表示する処理を説明する図である。図８は、コンテンツ要素とＧＵＩ要素とを結合する処理を説明する図である。図９は、第一の実施の形態に係るユーザ端末の構成を示すブロック図である。図１０は、操作中の操作画面と類似した操作画面をコンテンツ内から特定する処理を説明する図である。図１１は、操作中の操作画面内のＧＵＩ要素とコンテンツ内のＧＵＩ要素とを対応付ける処理を説明する図である。図１２は、操作中の操作画面にコンテンツ要素を表示する処理を説明する図である。図１３は、操作中の操作画面におけるＧＵＩ要素に入力された情報をチェックする処理を説明する図である。図１４は、操作中の操作画面におけるＧＵＩ要素に入力された情報をチェックする処理を説明する図である。図１５は、操作中の操作画面におけるＧＵＩ要素に自動的に入力する処理を説明する図である。図１６は、操作中の操作画面におけるＧＵＩ要素に入力された情報を記録する処理を説明する図である。図１７は、第一の実施の形態に係る作成装置によるＧＵＩ要素とコンテンツ要素の対応付け処理の流れを示すフローチャートである。図１８は、第一の実施の形態に係るユーザ端末による操作画面へのコンテンツ要素の表示処理の流れを示すフローチャートである。図１９は、操作支援プログラムを実行するコンピュータを示す図である。

以下に、本願に係る情報処理装置、操作支援方法および操作支援プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る情報処理装置、操作支援方法および操作支援プログラムが限定されるものではない。

［第一の実施の形態］
以下の実施の形態では、第一の実施の形態に係る操作支援システムの構成、作成装置およびユーザ端末の構成、作成装置およびユーザ端末の処理の流れを順に説明し、最後に第一の実施の形態による効果を説明する。

［第一の実施の形態に係る操作支援システムの構成］
まず、図１を用いて、第一の実施の形態に係る操作支援システムについて説明する。図１は、第一の実施の形態に係る操作支援システムの全体構成を示す概略構成図である。

図１に示すように、操作支援システムは、ネットワーク３０を介して、作成装置１０およびユーザ端末２０と接続されている。なお、ネットワーク３０は、接続される各装置が相互に通信可能に構成されていればよく、例えばインターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等で構成することができる。また、図１の例では、作成装置１０およびユーザ端末２０がそれぞれ１台であるが、これに限定されるものではなく、作成装置１０およびユーザ端末２０が複数であってもよい。また、作成装置１０およびユーザ端末２０は、例えばパーソナルコンピュータ、スマートフォン等の情報処理装置である。

作成装置１０は、アプリケーションソフトウェアの操作方法が記載されたコンテンツを作成する情報処理装置であり、コンテンツを作成するためのソフトウェアがインストールされているものとする。ここで、アプリケーションソフトウェアの操作方法が記載されたコンテンツとは、例えば、アプリケーションソフトウェアの操作方法が記載された説明文を含むデジタルコンテンツ（文書作成ソフトの電子ファイル）である。

作成装置１０は、アプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されているＧＵＩ要素の構造に関する構造情報とからなる操作画面情報を取得し、取得したキャプチャ画像と、該操作画面情報の操作画面に表示されたＧＵＩ（Graphical User Interface）要素の構造に関する構造情報とを対応付けて後述する操作情報記憶部１４ａに格納する。ここで、上記の操作画面情報とは、作成装置１０の操作者が実際にアプリケーションの操作画面を表示させてアプリケーションを操作した際にキャプチャされた操作画面のログ情報である。

また、作成装置１０は、操作画面情報を、アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入し、挿入した操作画面情報のＧＵＩ要素と、該ＧＵＩ要素に関連するコンテンツ要素とを対応付けて後述するコンテンツ情報記憶部１４ｂに格納する。ここで、コンテンツ要素とは、例えば、デジタルコンテンツに含まれる図形やテキスト文書などの描画オブジェクトである。

ユーザ端末２０は、アプリケーションソフトウェアの操作画面を表示する情報処理装置であり、アプリケーションソフトウェアとコンテンツ内のアプリケーションソフトウェア操作画面情報を連携させるためのソフトウェアがインストールされているものとする。また、ユーザ端末２０は、作成装置１０によって作成されたデジタルコンテンツを記憶している。さらに、作成装置１０によって構築された操作画面情報とＧＵＩ要素の構造情報とを関連付けた情報、およびＧＵＩ要素とコンテンツ要素とを関連付けた情報とを記憶しているものとする。

ユーザ端末２０は、コンテンツに含まれるコンテンツオブジェクト（コンテンツ要素）を実際のアプリケーションソフトウェア操作画面に表示したり、コンテンツに記述したルールや手順を使って実際の操作画面を自動操作したり、逆に実際のアプリケーションソフトウェア操作画面の情報をコンテンツに記録する。

このように、作成装置１０側では、操作画面に表示されたＧＵＩ要素とコンテンツに含まれる図形やテキスト文書などのコンテンツ要素を関連付けることを可能とし、これにより、ユーザ端末２０が、デジタルコンテンツと実行中のアプリケーションソフトウェアを連携させ、アプリケーションソフトウェアの操作支援を様々な形態（ワンソースマルチユース）で行うことができる。

［作成装置の構成］
次に、図２を用いて、図１に示した作成装置１０の構成を説明する。図２は、第一の実施の形態に係る作成装置の構成を示すブロック図である。図２に示すように、この作成装置１０は、入力部１１、出力部１２、制御部１３、記憶部１４を有する。以下にこれらの各部の処理を説明する。

入力部１１は、作成装置１０の操作者からの各種操作を受付けるものであり、マウスやキーボードなどを備えて構成される。ここで操作者とは、例えば、コンテンツを作成する者である。また、出力部１２は、デジタルコンテンツ等を表示するものであり、モニタ（若しくはディスプレイ、タッチパネル）やスピーカを備えて構成される。

また、記憶部１４は、制御部１３による各種処理に必要なデータおよびプログラムを格納するが、特に本発明に密接に関連するものとしては、操作情報記憶部１４ａと、コンテンツ情報記憶部１４ｂとを有する。例えば、記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。

操作情報記憶部１４ａは、アプリケーションソフトウェアの操作画面をキャプチャした操作画面情報と、該操作画面情報の操作画面に表示されたＧＵＩ要素の構造に関する構造情報とを対応付けて記憶する。つまり、操作情報記憶部１４ａは、図３に例示するように、作成装置１０の操作者が実際にアプリケーションの操作画面を表示させてアプリケーションを操作した際のキャプチャ画像と、該操作画面に表示されたＧＵＩ要素の構造情報とを記憶する。

ここで、図４の例を用いて、ＧＵＩ要素の構造情報を説明する。図４は、ＧＵＩ要素の構造情報を説明する図である。図４に例示するように、操作画面のキャプチャ画像内に表示された操作画面（ウィンドウ）には、ＧＵＩ要素として、テキストボックスと、チェックボックスと、ボタンとが表示されている。操作情報記憶部１４ａは、テキストボックス、チェックボックス、およびボタンの各構造情報をキャプチャ画像と対応付けて記憶する。例えば、操作情報記憶部１４ａは、構造情報として、位置や大きさ、ＧＵＩ部品の種別、入力値を記憶する。

図４の例を挙げて具体的に説明すると、例えば、操作情報記憶部１４ａは、テキストボックスの構造情報として、テキストボックスの高さを示す「boundingRectangleH」が「１５」、テキストボックスの横幅を示す「boundingRectangleW」が「３４７」、テキストボックスの左上のＸ座標を示す「boundingRectangleX」が「２０２」、テキストボックスの左上のＹ座標を示す「boundingRectangleY」が「３７２」、ＧＵＩ部品の種別を示す「ClassName」が「TextBox」、テキストボックスの名前を示す「name」が「備考欄」、テキストボックスに入力された値を示す「Value」が「AAA」であることを記憶している。

コンテンツ情報記憶部１４ｂは、アプリケーションソフトウェアの操作画面をキャプチャした操作画面情報のＧＵＩ要素と、アプリケーションソフトウェアの操作方法の説明文等が記載されたコンテンツ要素とを対応付けて記憶する。例えば、図５に例示するように、コンテンツ情報記憶部１４ｂは、コンテンツ要素を一意に識別する「コンテンツオブジェクトＩＤ」と、ＧＵＩ要素を一意に識別する「ＧＵＩ部品識別ＩＤ」とを対応付けて記憶する。図５の例では、コンテンツオブジェクトＩＤ「１１１１」と、ＧＵＩ部品識別ＩＤ「２２２２」とが対応付けて記憶されている。これは、コンテンツオブジェクトＩＤ「１１１１」のコンテンツ要素と、ＧＵＩ部品識別ＩＤ「２２２２」のＧＵＩ要素とが関連するものとして紐付けて記憶されていることを意味する。

制御部１３は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行するが、特に本発明に密接に関連するものとしては、取得部１３ａ、操作画面情報格納部１３ｂ、挿入部１３ｃ、表示部１３ｄおよびコンテンツ情報格納部１３ｅを有する。ここで、制御部１３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路である。

取得部１３ａは、アプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されているＧＵＩ要素の構造に関する構造情報とからなる操作画面情報を取得する。ここで、アプリケーションソフトウェアの操作画面のキャプチャ画像とは、例えば、作成装置１０の操作者が実際にアプリケーションの操作画面を表示させてアプリケーションを操作した際にキャプチャされた操作画面のログ情報であり、事前に記憶部１４に記憶されているものとする。この操作画面は、例えば、操作者の指示を受け付けた際、画面が切り替わった際、または、所定の時間間隔で、キャプチャされ、ログ情報として記憶されたものとする。また、例えば、取得部１３ａは、コンテンツ作成者がコンテンツを作成する際に文書作成ソフトの電子ファイルを開いた場合や、コンテンツに挿入する操作画面のキャプチャ画像の選択指示を受け付けた場合に、操作画面情報を取得する。

操作画面情報格納部１３ｂは、取得部１３ａによって取得されたアプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されたＧＵＩ要素の構造に関する構造情報とを対応付けて操作情報記憶部１４ａに格納する。例えば、前述した図４の例では、操作画面情報格納部１３ｂは、テキストボックス、チェックボックス、およびボタンの各構造情報をキャプチャ画像と対応付けて記憶する。

挿入部１３ｃは、取得部１３ａによって取得された操作画面情報を、アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入する。ここで、図６を用いて、コンテンツへ操作画面を挿入する処理を説明する。図６は、コンテンツへ操作画面を挿入する処理を説明する図である。例えば、取得部１３ａは、図６に例示するように、操作者がコンテンツを表示して手順書等を作成している際に、操作情報記憶部１４ａに記憶されている情報から、コンテンツに挿入する操作画面のキャプチャ画像の選択指示を受け付けると、選択されたキャプチャ画像とともに該キャプチャ画像の構造情報をコンテンツに挿入する。なお、図６における「説明文」とは、操作者によりコンテンツ内に入力された文書であり、図６の例では、説明文の右横にキャプチャ画面が挿入されている。

このように、操作画面のキャプチャ画像をコンテンツに挿入する際に、挿入される操作画面のキャプチャ画像内に表示された操作画面の構造情報（操作画面に表示されているテキストボックスやボタンなどのＧＵＩ要素の表示位置や入力情報・表示情報などの状態の情報）を操作情報記憶部１４ａに格納しておく。

表示部１３ｄは、挿入部１３ｃによって挿入された操作画面情報のＧＵＩ要素の選択を受け付けた場合に、該選択されたＧＵＩ要素の構造情報に含まれる操作画面に表示された座標を用いて、選択されたＧＵＩ要素が表示された領域と他の領域との境界を表示する。

ここで、図７を用いて、コンテンツ上に表示されたＧＵＩ要素の境界を表示する処理について説明する。図７は、コンテンツ上に表示されたＧＵＩ要素の境界を表示する処理を説明する図である。図７に示すように、表示部１３ｄは、コンテンツ上でのマウスクリック位置（図７の（１）参照）を過去において実際に表示したときの画面キャプチャ画像内の座標（図７の（２）参照）に変換し、この値を含んでいるＧＵＩ要素（図７の（３）参照）をＧＵＩ要素構造情報の中から検索し、検索したＧＵＩ要素（図７の例では、「テキストボックス」）の境界値の座標（図７の（４）参照）をコンテンツ表示システム上の座標に変換してマウスクリックで選択したＧＵＩ要素を赤色で矩形表示（図７の（５）参照）する。

具体的な処理例を説明すると、表示部１３ｄは、コンテンツがパワーポイントの場合に、ＯＳからスライドの表示位置と挿入した画像の表示位置とクリックした座標位置とを取得し、座標位置から挿入した画像におけるクリックした位置の相対座標を取得する。そして、表示部１３ｄは、挿入した画像の表示倍率を取得し、上記の座標に表示倍率をかけて、操作画面キャプチャ上の座標を取得する。続いて、表示部１３ｄは、操作画面キャプチャ上に表示されていたＧＵＩ要素の構造情報にある座標情報を検索して、配下にあるＧＵＩ要素（図７の例では、「テキストボックス」）を取得する。そして、表示部１３ｄは、配下のＧＵＩ要素の座標情報を取得し、取得したＧＵＩ要素に表示倍率をかけて、さらに画像の表示位置を加算してＧＵＩ要素のコンテンツ上の座標を取得して、コンテンツ上にＧＵＩ要素が表示されている領域とその他の領域との境界を示す赤色の矩形を表示する。

このように、コンテンツで操作画面キャプチャ画像を表示した際のコンテンツ上の座標系と操作画面キャプチャ画像上の座標系の間の相互の座標変換を行う。そして、座標変換により、コンテンツ表示システム上に表示された操作画面のキャプチャ画像上の任意の点から対応する操作画面キャプチャ画像上の座標を算出し、各ＧＵＩ要素の境界の座標を比較することにより、当該の点が、どのＧＵＩ要素上にあるか判定する。

コンテンツ情報格納部１３ｅは、挿入部１３ｃによって挿入された操作画面情報のＧＵＩ要素と、該ＧＵＩ要素に関連するコンテンツ要素とを対応付けてコンテンツ情報記憶部１４ｂに格納する。具体的には、コンテンツ情報格納部１３ｅは、ＧＵＩ要素に関連するコンテンツ要素の選択を受け付けた場合に、該選択されたＧＵＩ要素とコンテンツ要素とを対応付けてコンテンツ情報記憶部１４ｂに格納する。

図８の例を用いて説明すると、例えば、説明文１とテキストボックスが選択された場合には、説明文１のコンテンツオブジェクトＩＤ「１１１１」と、テキストボックスの識別ＩＤ（図５のＧＵＩ部品識別ＩＤに相当）「２２２２」とを対応付けてコンテンツ情報記憶部１４ｂに格納する。

このように、マウスクリック等によりコンテンツ作成者が指定した点から、コンテンツシステム上に表示された操作画面キャプチャ画像内のＧＵＩ要素を選択し、一方コンテンツ内に表示されたコンテンツ要素を選択し、その対応関係をコンテンツ要素とＧＵＩ要素の対応を保持するコンテンツ情報記憶部１４ｂ内のテーブルに保存する。

［ユーザ端末の構成］
次に、図９を用いて、図１に示したユーザ端末２０の構成を説明する。図９は、第一の実施の形態に係るユーザ端末の構成を示すブロック図である。図９に示すように、このユーザ端末２０は、入力部２１、出力部２２、制御部２３、記憶部２４を有する。以下にこれらの各部の処理を説明する。なお、ユーザ端末２０は、作成装置１０によって作成されたコンテンツをアプリケーションソフトウェアの手順書として記憶しているものとする。

入力部２１は、ユーザ端末２０を所有するユーザからの各種操作を受付けるものであり、マウスやキーボードなどを備えて構成される。ここでユーザとは、アプリケーションソフトウェアを利用する者である。また、出力部２２は、アプリケーションソフトウェアの操作画面等を表示するものであり、モニタ（若しくはディスプレイ、タッチパネル）やスピーカを備えて構成される。

また、記憶部２４は、制御部２３による各種処理に必要なデータおよびプログラムを格納するが、特に本発明に密接に関連するものとしては、操作情報記憶部２４ａと、コンテンツ情報記憶部２４ｂと、ＧＵＩ要素記憶部２４ｃとを有する。例えば、記憶部２４は、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。

操作情報記憶部２４ａは、アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入された該アプリケーションソフトウェアの各操作画面に対応付けて、該操作画面情報の操作画面に表示された各ＧＵＩ（Graphical User Interface）要素の構造に関する構造情報をそれぞれ記憶する。ここで、操作情報記憶部２４ａは、前述した操作情報記憶部１４ａと同様の情報を記憶している。また、ここで、コンテンツに挿入された該アプリケーションソフトウェアの各操作画面とは、コンテンツ作成者が実際に操作を行った際に作成装置１０に表示された画面であり、作成装置１０によりコンテンツに挿入された画面である。

また、コンテンツ情報記憶部２４ｂは、各ＧＵＩ要素に対応付けて、該各ＧＵＩ要素に関連するアプリケーションソフトウェアの操作方法が記載されたコンテンツ要素をそれぞれ記憶する。コンテンツ情報記憶部２４ｂは、前述したコンテンツ情報記憶部１４ｂと同様の情報を記憶している。つまり、操作情報記憶部２４ａおよびコンテンツ情報記憶部２４ｂは、作成装置１０によって構築された操作画面情報とＧＵＩ要素の構造情報とを関連付けた情報、およびＧＵＩ要素とコンテンツ要素を関連付けた情報とを記憶しているものとする。

ＧＵＩ要素記憶部２４ｃは、コンテンツ作成者が実際にアプリケーションを操作したことでコンテンツに挿入された操作画面の各ＧＵＩ要素と、ユーザ端末２０において現在表示されている操作画面の各ＧＵＩ要素とが紐づけられて記憶されている。例えば、ＧＵＩ要素記憶部２４ｃは、コンテンツに挿入された操作画面のテキストボックスの識別子と、ユーザ端末２０において現在表示されている操作画面のテキストボックスの識別子とが対応付けられて記憶されている。また、例えば、コンテンツに挿入された操作画面のチェックボックスやボタンの識別子と、ユーザ端末２０において現在表示されている操作画面のチェックボックスやボタンの識別子とが対応付けられて記憶されている。

制御部２３は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行するが、特に本発明に密接に関連するものとしては、特定部２３ａ、ＧＵＩ要素格納部２３ｂ、コンテンツ表示部２３ｃ、報知部２３ｄ、自動入力部２３ｅおよび記録部２３ｆを有する。ここで、制御部２３は、ＣＰＵやＭＰＵなどの電子回路やＡＳＩＣやＦＰＧＡなどの集積回路である。

特定部２３ａは、現在表示されている操作画面のＧＵＩ要素の構造に関する構造情報を抽出し、該抽出した構造情報と、操作情報記憶部２４ａに記憶された構造情報との類似度を、コンテンツに挿入された操作画面ごとに比較し、操作情報記憶部２４ａに記憶された各構造情報のうち、最も類似度が高い構造情報に対応するコンテンツに挿入された操作画面を特定する。

ここで、図１０を用いて、操作中の操作画面と類似した操作画面をコンテンツ内から特定する処理を説明する。図１０は、操作中の操作画面と類似した操作画面をコンテンツ内から特定する処理を説明する図である。図１０に示すように、特定部２３ａは、実際に操作している操作画面に付随するＧＵＩ要素の構造情報とコンテンツ内の操作画面に付随するＧＵＩ要素構造情報とを比較して類似度を評価する。そして、特定部２３ａは、最も類似度が高い構造情報に対応するコンテンツ内の過去に表示された操作画面を特定する。

例えば、図１０の例では、特定部２３ａは、実際に操作している操作画面のＧＵＩ要素であるテキストボックス、チェックボックスおよびボタンが表示されている操作画面を、コンテンツ内から検索する。そして、特定部２３ａは、テキストボックス、チェックボックスおよびボタンが表示されている操作画面が複数ある場合には、テキストボックスに入力されている情報（文字列や値）、チェックボックスの状態（オン・オフ）が類似しているものを類似度が高いものとして評価してもよいし、各ＧＵＩ要素の構造情報として、例えば、より大きさ（高さと長さ）が類似しているＧＵＩ要素を類似度が高いものとして評価してもよい。そして、特定部２３ａは、最も類似度が高い構造情報に対応するコンテンツ内に挿入された操作画面を特定する。なお、上記した類似度の評価の方法は、一例であって、どのような方法であってもよく、適宜変更可能なものとする。

このように、実行中の操作画面から操作画面キャプチャ画像及び操作画面に表示されているボタンやテキスト等のＧＵＩ要素の構造情報を抽出し、抽出したＧＵＩ要素の構造情報を使ってコンテンツ内に挿入された操作画面のキャプチャ画像とそのＧＵＩ要素の構造情報のセットの集合から類似した操作画面のキャプチャ画像とそのＧＵＩ要素の構造情報のセットを検索する。このため、例えば、コンテンツ内のアプリケーションソフトウェア操作画面に対して実際に操作しているアプリケーションソフトウェア操作画面情報を検索条件として用語を入力することなく表示されているテキスト文字列やチェックボックスのオン・オフ、スライダの位置などのＧＵＩ要素の種別や状態を考慮した検索ができる。

ＧＵＩ要素格納部２３ｂは、特定部２３ａによって特定された操作画面の各ＧＵＩ要素の構造情報と、現在表示されている操作画面の各ＧＵＩ要素の構造情報とを比較し、特定部２３ａによって特定された操作画面の各ＧＵＩ要素と、該各ＧＵＩ要素にそれぞれ対応する現在表示されている操作画面の各ＧＵＩ要素とを関連付けてＧＵＩ要素記憶部２４ｃに格納する。

例えば、図１１に例示するように、コンテンツに挿入された操作画面のテキストボックス、チェックボックスおよびボタンと、ユーザ端末２０において現在表示されている操作画面のテキストボックス（図１１の（１）参照）、チェックボックス（図１１の（２）参照）およびボタン（図１１の（３）参照）とをそれぞれ対応付けてＧＵＩ要素記憶部２４ｃに格納する。このように、挿入された操作画面のキャプチャ画像と実行中の操作画面とを比較し、挿入された操作画面のキャプチャ画像内のＧＵＩ要素に対応する実行中の操作画面内のＧＵＩ要素を、両方の操作画面の構造情報を使って特定して対応付けを行う。

コンテンツ表示部２３ｃは、現在表示されている操作画面の各ＧＵＩ要素に対応するコンテンツに挿入された操作画面の各ＧＵＩ要素をＧＵＩ要素記憶部２４ｃからそれぞれ取得し、該取得した各ＧＵＩ要素に対応するコンテンツ要素をコンテンツ情報記憶部２４ｂから取得し、該コンテンツ要素を、現在表示されている操作画面に表示する。

例えば、図１２に例示されるように、コンテンツ表示部２３ｃは、現在表示されている操作画面（図１２の右側の画面）のＧＵＩ要素である「テキストボックス」、「チェックボックス」および「ボタン」に対応するコンテンツに挿入された操作画面（図１２の左側の画面）の各ＧＵＩ要素である「テキストボックス」、「チェックボックス」および「ボタン」をＧＵＩ要素記憶部２４ｃから取得する。そして、コンテンツ表示部２３ｃは、取得した各ＧＵＩ要素「テキストボックス」、「チェックボックス」および「ボタン」に対応するコンテンツ要素「説明文Ａ」、「説明文Ｂ」および「説明文Ｃ」をコンテンツ情報記憶部２４ｂから取得する。そして、コンテンツ表示部２３ｃは、現在表示されている操作画面の「テキストボックス」の近傍に「説明文Ａ」を表示し、現在表示されている操作画面の「チェックボックス」の近傍に「説明文Ｂ」を表示し、現在表示されている操作画面の「ボタン」の近傍に「説明文Ｃ」を表示する。

このように、ユーザ端末２０では、実行中の操作画面内のＧＵＩ要素に対応する、コンテンツ内に挿入された操作画面キャプチャ画像内に表示されているＧＵＩ要素を取得し、コンテンツ情報記憶部２４ｂから取得したＧＵＩ要素に対応するコンテンツ要素を取得し、実行中の操作画面内のＧＵＩ要素の近傍に全体または一部を表示する。これにより、ユーザ端末２０では、コンテンツ内の必要な情報を検索するために適切な用語を知らなくても、コンテンツ内の必要な情報の参照が可能になる。また、ＧＵＩ要素の構造情報を利用して検索を行っているので、画像のみの検索では実現できない、操作画面に表示されているテキスト文字列やチェックボックスのオン・オフなどのＧＵＩ要素の種別や状態なども検索条件として、コンテンツ内におけるユーザに必要な情報を表示することが可能になる。

報知部２３ｄは、現在表示されている操作画面のＧＵＩ要素に対して、所定の情報が入力された際に、現在表示されている操作画面のＧＵＩ要素に対応するコンテンツに挿入された操作画面のＧＵＩ要素に対して入力された所定の情報に対する条件が予め設定されている場合には、該入力された所定の情報が条件を満たすか判定し、条件を満たさないと判定した場合には、入力された情報に対する警告を報知する。なお、ＧＵＩ要素ごとに設定された条件は、コンテンツ作成者がコンテンツの作成時に事前に設定しているものであり、ＧＵＩ要素に条件が設定されていない場合には、上記の報知部２３ｄは実行されない。

ここで図１３および図１４の例を用いて、操作中の操作画面におけるＧＵＩ要素に入力された情報をチェックする処理を説明する。図１３および図１４は、操作中の操作画面におけるＧＵＩ要素に入力された情報をチェックする処理を説明する図である。例えば、図１３の例では、コンテンツ内に挿入された操作画面のテキストボックスの入力条件として「ＡＡＡ」が入力されることが設定されている。また、図１３の例では、コンテンツ内に挿入された操作画面のテキストボックスに対応する操作中の操作画面のテキストボックスにおいては、「ＢＢＢ」が入力されたものとする。

この場合、報知部２３ｄは、操作中の操作画面のテキストボックスに入力された「ＢＢＢ」が「ＡＡＡ」ではないため、設定された入力条件を満たさないと判定し、入力された情報に対する警告を報知する。ここで、警告として、例えば、テキストボックスに入力された「ＢＢＢ」の文字を赤色にしてもよいし、テキストボックスに入力された「ＢＢＢ」が適切でない旨をメッセージで表示するようにしてもよい。なお、「ＡＡＡ」はコンテンツに挿入したアプリケーションソフトウェア操作画面に入力された情報であり、コンテンツに挿入されたアプリケーションソフトウェア操作画面と実際に操作中の操作画面を比較して異なっている個所を表示することができる。

また、例えば、図１４の例では、コンテンツ内に挿入された操作画面のテキストボックスの入力条件として「２＜Ｘ＜５」が設定されている。また、図１４の例では、コンテンツ内に挿入された操作画面のテキストボックスに対応する操作中の操作画面のテキストボックスにおいては、「７」が入力されたものとする。この場合、報知部２３ｄは、操作中の操作画面のテキストボックスに入力された「７」が５よりも大きいため、設定された入力条件「２＜Ｘ＜５」を満たさないと判定し、入力された情報に対する警告を報知する。

このように、ＧＵＩ要素ごとに設定された条件を使って、対応するＧＵＩ要素をテキストボックスに設定されている文字列や、チェックボックスのチェック状態等、ＧＵＩ要素に設定されている値を評価することができる。つまり、ユーザ端末２０は、コンテンツに挿入されたアプリケーションソフトウェア操作画面のＧＵＩ要素に関する条件を利用して実際に操作中の画面のＧＵＩ要素に対する入力チェックを行うことができる。

自動入力部２３ｅは、現在表示されている操作画面のＧＵＩ要素に対応するコンテンツに挿入された操作画面のＧＵＩ要素に対して入力する情報が予め設定されている場合には、該設定されている情報を、現在表示されている操作画面のＧＵＩ要素に入力する。例えば、図１５に例示するように、コンテンツ内に挿入された操作画面のテキストボックスに入力する情報として「ＡＡＡ」が予め設定されている場合には、自動入力部２３ｅは、現在表示されている操作画面のテキストボックスに対して「ＡＡＡ」を自動的に入力する。

記録部２３ｆは、現在表示されている操作画面のＧＵＩ要素に所定の情報が入力された場合に、該入力された情報をコンテンツ内に記録する。例えば、図１６に例示するように、現在表示されている操作画面のテキストボックスに「ＣＣＣ」が入力された場合に、該入力された「ＣＣＣ」を、現在表示されている操作画面に対応するコンテンツに挿入された操作画面のスライドに記録する。

［作成装置の処理の一例］
次に、図１７を用いて、作成装置１０の処理について説明する。図１７は、第一の実施の形態に係る作成装置によるＧＵＩ要素とコンテンツ要素の対応付け処理の流れを示すフローチャートである。

図１７に示すように、作成装置１０の取得部１３ａは、アプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されているＧＵＩ要素の構造に関する構造情報とからなる操作画面情報を取得する(ステップＳ１０１)。例えば、取得部１３ａは、コンテンツ作成者がコンテンツを作成する際に文書作成ソフトの電子ファイルを開いた場合や、コンテンツに挿入する操作画面のキャプチャ画像の選択指示を受け付けた場合に、操作画面情報を取得する。

そして、操作画面情報格納部１３ｂは、取得部１３ａによって取得されたアプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されたＧＵＩ要素の構造に関する構造情報とを対応付けて操作情報記憶部１４ａに格納する（ステップＳ１０２）。

続いて、挿入部１３ｃは、取得部１３ａによって取得された操作画面情報を、アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入する（ステップＳ１０３）。例えば、取得部１３ａは、操作者がコンテンツを表示して手順書等を作成している際に、操作情報記憶部１４ａに記憶されている情報から、コンテンツに挿入する操作画面のキャプチャ画像の選択指示を受け付けると、選択されたキャプチャ画像とともに該キャプチャ画像の構造情報をコンテンツに挿入する。

そして、挿入部１３ｃによって挿入された操作画面情報のＧＵＩ要素の選択を受け付けると（ステップＳ１０４肯定）、該選択されたＧＵＩ要素の構造情報に含まれる操作画面に表示された座標を用いて、選択されたＧＵＩ要素が表示された領域と他の領域との境界を表示する（ステップＳ１０５）。

その後、コンテンツ情報格納部１３ｅは、ＧＵＩ要素に関連するコンテンツ要素の選択を受け付けると（ステップＳ１０６肯定）、該選択されたＧＵＩ要素とコンテンツ要素とを対応付けてコンテンツ情報記憶部１４ｂに格納する（ステップＳ１０７）。

［ユーザ端末の処理の一例］
次に、図１８を用いて、ユーザ端末２０の処理について説明する。図１８は、第一の実施の形態に係るユーザ端末による操作画面へのコンテンツ要素の表示処理の流れを示すフローチャートである。

図１８に示すように、ユーザ端末２０の特定部２３ａは、アプリケーションソフトウェアの操作画面を表示すると（ステップＳ２０１肯定）、表示された操作中の操作画面と類似した操作画面をコンテンツに挿入された操作画面のなかから特定する（ステップＳ２０２）。具体的には、特定部２３ａは、現在表示されている操作画面のＧＵＩ要素の構造に関する構造情報を抽出し、該抽出した構造情報と、操作情報記憶部２４ａに記憶された構造情報との類似度を、コンテンツに挿入された操作画面ごとに比較し、操作情報記憶部２４ａに記憶された各構造情報のうち、最も類似度が高い構造情報に対応するコンテンツに挿入された操作画面を特定する。

そして、ＧＵＩ要素格納部２３ｂは、操作中の操作画面内のＧＵＩ要素とコンテンツ内に挿入された過去の操作画面内のＧＵＩ要素とを対応付ける（ステップＳ２０３）。具体的には、ＧＵＩ要素格納部２３ｂは、特定部２３ａによって特定された操作画面の各ＧＵＩ要素の構造情報と、現在表示されている操作画面の各ＧＵＩ要素の構造情報とを比較し、特定部２３ａによって特定された操作画面の各ＧＵＩ要素と、該各ＧＵＩ要素にそれぞれ対応する現在表示されている操作画面の各ＧＵＩ要素とを関連付けてＧＵＩ要素記憶部２４ｃに格納する。

続いて、コンテンツ表示部２３ｃは、操作中の操作画面へコンテンツ要素を表示する（ステップＳ２０４）。具体的には、コンテンツ表示部２３ｃは、現在表示されている操作画面の各ＧＵＩ要素に対応するコンテンツに挿入された操作画面の各ＧＵＩ要素をＧＵＩ要素記憶部２４ｃからそれぞれ取得し、該取得した各ＧＵＩ要素に対応するコンテンツ要素をコンテンツ情報記憶部２４ｂから取得し、該コンテンツ要素を、現在表示されている操作画面に表示する。

そして、自動入力部２３ｅは、現在表示されている操作画面のＧＵＩ要素に対応するコンテンツに挿入された操作画面のＧＵＩ要素に対して入力する情報が予め設定されているか判定する（ステップＳ２０５）。この結果、自動入力部２３ｅは、設定されていると判定した場合には（ステップＳ２０５肯定）、該設定されている情報を、現在表示されている操作画面のＧＵＩ要素に入力して（ステップＳ２０６）、ステップＳ２０７の処理に進む。また、自動入力部２３ｅは、設定されていないと判定した場合には（ステップＳ２０５否定）、そのままステップＳ２０７の処理に進む。

続いて、報知部２３ｄは、現在表示されている操作画面のＧＵＩ要素に対して、所定の情報が入力されたか否かを判定する（ステップＳ２０７）。この結果、報知部２３ｄは、所定の情報が入力されたと判定した場合には（ステップＳ２０７肯定）、現在表示されている操作画面のＧＵＩ要素に対応するコンテンツに挿入された操作画面のＧＵＩ要素に対して入力された所定の情報に対する条件が予め設定されている場合には、該入力された所定の情報が条件を満たすか判定する（ステップＳ２０８）。

この結果、報知部２３ｄは、条件を満たさないと判定した場合には（ステップＳ２０９否定）、入力された情報に対する警告を報知して（ステップＳ２１０）、ステップＳ２０８に戻り、改めて入力された所定の情報が条件を満たすか判定する。また、条件を満たしたと判定された場合には（ステップＳ２０９肯定）、記録部２３ｆは、現在表示されている操作画面のＧＵＩ要素に所定の情報が入力された場合に、該入力された情報をコンテンツ内に記録する（ステップＳ２１１）。

［第一の実施の形態の効果］
このように、第一の実施の形態に係る操作支援システムでは、作成装置１０は、アプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されているＧＵＩ要素の構造に関する構造情報とからなる操作画面情報を取得し、取得されたキャプチャ画像と、該操作画面に表示されたＧＵＩ要素の構造に関する構造情報とを対応付けて操作情報記憶部１４ａに格納する。そして、作成装置１０は、取得された操作画面情報を、アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入し、挿入された操作画面情報のＧＵＩ要素と、該ＧＵＩ要素に関連するコンテンツ要素とを対応付けてコンテンツ情報記憶部１４ｂに格納する。このため、アプリケーションソフトウェアの操作方法に関する情報と、実際の操作画面とを適切に連携させることができる。つまり、コンテンツに挿入された操作画面情報のＧＵＩ要素とアプリケーションソフトウェアの操作方法が記載されたコンテンツ要素とを関連付けることを可能とし、これにより、デジタルコンテンツと実行中のアプリケーションソフトウェアを連携させ、アプリケーションソフトウェアの操作支援を様々な形態で行うことができる。また、ユーザ端末２０は、アプリケーションソフトウェアの操作支援を様々な形態で行うワンソース・マルチユースとしてオンラインヘルプやチェックツールのコンテンツや自動操作ツールとして利用することができる。

また、ユーザ端末２０は、アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入された該アプリケーションソフトウェアの各操作画面に対応付けて、該操作画面情報の操作画面に表示された各ＧＵＩ要素の構造に関する構造情報をそれぞれ記憶する操作情報記憶部２４ａと、各ＧＵＩ要素に対応付けて、該各ＧＵＩ要素に関連するアプリケーションソフトウェアの操作方法が記載されたコンテンツ要素をそれぞれ記憶するコンテンツ情報記憶部２４ｂとを有する。そして、ユーザ端末２０は、現在表示されている操作画面のＧＵＩ要素の構造に関する構造情報を抽出し、該抽出した構造情報と、操作情報記憶部２４ａに記憶された構造情報との類似度を、コンテンツに挿入された操作画面ごとに比較し、操作情報記憶部２４ａに記憶された各構造情報のうち、最も類似度が高い構造情報に対応するコンテンツに挿入された操作画面を特定する。続いて、ユーザ端末２０は、特定された操作画面の各ＧＵＩ要素の構造情報と、現在表示されている操作画面の各ＧＵＩ要素の構造情報とを比較し、特定された操作画面の各ＧＵＩ要素と、該各ＧＵＩ要素にそれぞれ対応する現在表示されている操作画面の各ＧＵＩ要素とを関連付けてＧＵＩ要素記憶部２４ｃに格納する。

これにより、アプリケーションソフトウェアの操作方法に関する情報と、実際の操作画面とを適切に連携させることができる。例えば、コンテンツ内のアプリケーションソフトウェア操作画面に対して実際に操作しているアプリケーションソフトウェア操作画面情報を検索条件として用語を入力することなく表示されているテキスト文字列やチェックボックスのオン・オフ、スライダの位置などのＧＵＩ要素の種別や状態を考慮した検索ができる。これにより、検索するのに適切な用語を知らなくても、コンテンツ内の必要な部分の参照が可能になる。また、画像のみの検索では実現できない、操作画面に表示されているテキスト文字列やチェックボックスのオン・オフなどのＧＵＩ要素の種別や状態なども検索条件として、コンテンツ内の必要な部分の検索、参照が可能になる。

また、ユーザ端末２０は、現在表示されている操作画面の各ＧＵＩ要素に対応するコンテンツに挿入された操作画面の各ＧＵＩ要素をＧＵＩ要素記憶部２４ｃからそれぞれ取得し、該取得した各ＧＵＩ要素に対応するコンテンツ要素をコンテンツ情報記憶部２４ｂから取得し、該コンテンツ要素を、現在表示されている操作画面に表示する。このため、コンテンツに挿入されたアプリケーションソフトウェア操作画面のＧＵＩ要素に関するコンテンツ要素を実際のアプリケーションソフトウェア操作画面に表示することができる。

また、ユーザ端末２０は、現在表示されている操作画面のＧＵＩ要素に対して、所定の情報が入力された際に、現在表示されている操作画面のＧＵＩ要素に対応するコンテンツに挿入された操作画面のＧＵＩ要素に対して入力された所定の情報に対する条件が予め設定されている場合には、該入力された所定の情報が条件を満たすか判定し、条件を満たさないと判定した場合には、入力された情報に対する警告を報知する。このため、コンテンツに挿入されたアプリケーションソフトウェア操作画面のＧＵＩ要素に関する条件を利用して実際に操作中の画面のＧＵＩ要素に対する入力チェックを行うことができる。

（システム構成等）
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

（プログラム）
また、上記実施の形態に係る作成装置１０やユーザ端末２０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施の形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施の形態と同様の処理を実現してもよい。以下に、作成装置１０またはユーザ端末２０と同様の機能を実現する操作支援プログラムを実行するコンピュータの一例を説明する。

図１９は、操作支援プログラムを実行するコンピュータを示す図である。図１９に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図１９に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施の形態で説明した各テーブルは、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。

また、操作支援プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、ハードディスクドライブ１０９０に記憶される。具体的には、上記実施の形態で説明した作成装置１０またはユーザ端末２０が実行する各処理が記述されたプログラムモジュールが、ハードディスクドライブ１０９０に記憶される。

また、操作支援プログラムによる情報処理に用いられるデータは、プログラムデータとして、例えば、ハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、操作支援プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、操作支援プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０作成装置
１１、２１入力部
１２、２２出力部
１３、２３制御部
１３ａ取得部
１３ｂ操作画面情報格納部
１３ｃ挿入部
１３ｄ表示部
１３ｅコンテンツ情報格納部
１４、２４記憶部
１４ａ、２４ａ操作情報記憶部
１４ｂ、２４ｂコンテンツ情報記憶部
２０ユーザ端末
２３ａ特定部
２３ｂＧＵＩ要素格納部
２３ｃコンテンツ表示部
２３ｄ報知部
２３ｅ自動入力部
２３ｆ記録部
２４ｃＧＵＩ要素記憶部
３０ネットワーク

Claims

アプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されているＧＵＩ（Graphical User Interface）要素の構造に関する構造情報とからなる操作画面情報を取得する取得部と、
前記取得部によって取得されたアプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されたＧＵＩ要素の構造に関する構造情報とを対応付けて操作情報記憶部に格納する操作画面情報格納部と、
前記取得部によって取得された操作画面情報を、前記アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入する挿入部と、
前記挿入部によって挿入された操作画面情報のＧＵＩ要素と、該ＧＵＩ要素に関連する前記コンテンツ要素とを対応付けてコンテンツ情報記憶部に格納するコンテンツ情報格納部と、
を備えることを特徴とする情報処理装置。
前記挿入部によって挿入された操作画面情報のＧＵＩ要素の選択を受け付けた場合に、該選択されたＧＵＩ要素の構造情報に含まれる前記操作画面に表示された座標を用いて、前記選択されたＧＵＩ要素が表示された領域と他の領域との境界を表示する表示部をさらに備え、
前記コンテンツ情報格納部は、前記ＧＵＩ要素に関連するコンテンツ要素の選択を受け付けた場合に、該選択されたＧＵＩ要素とコンテンツ要素とを対応付けて前記コンテンツ情報記憶部に格納することを特徴とする請求項１に記載の情報処理装置。
アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入された該アプリケーションソフトウェアの各操作画面に対応付けて、該各操作画面に表示された各ＧＵＩ要素の構造に関する構造情報をそれぞれ記憶する操作情報記憶部と、
前記各ＧＵＩ要素に対応付けて、該各ＧＵＩ要素に関連するアプリケーションソフトウェアの操作方法が記載されたコンテンツ要素をそれぞれ記憶するコンテンツ情報記憶部と、
現在表示されている操作画面のＧＵＩ要素の構造に関する構造情報を抽出し、該抽出した構造情報と、前記操作情報記憶部に記憶された構造情報との類似度を、前記コンテンツに挿入された操作画面ごとに比較し、前記操作情報記憶部に記憶された各構造情報のうち、最も類似度が高い構造情報に対応する前記コンテンツに挿入された操作画面を特定する特定部と、
前記特定部によって特定された操作画面の各ＧＵＩ要素の構造情報と、前記現在表示されている操作画面の各ＧＵＩ要素の構造情報とを比較し、前記特定部によって特定された操作画面の各ＧＵＩ要素と、該各ＧＵＩ要素にそれぞれ対応する現在表示されている操作画面の各ＧＵＩ要素とを関連付けてＧＵＩ要素記憶部に格納するＧＵＩ要素格納部と、
を備えることを特徴とする情報処理装置。
前記現在表示されている操作画面の各ＧＵＩ要素に対応する前記コンテンツに挿入された操作画面の各ＧＵＩ要素を前記ＧＵＩ要素記憶部からそれぞれ取得し、該取得した各ＧＵＩ要素に対応するコンテンツ要素を前記コンテンツ情報記憶部から取得し、該コンテンツ要素を、前記現在表示されている操作画面に表示するコンテンツ表示部をさらに備えることを特徴とする請求項３に記載の情報処理装置。
前記現在表示されている操作画面のＧＵＩ要素に対して、所定の情報が入力された際に、前記現在表示されている操作画面のＧＵＩ要素に対応する前記コンテンツに挿入された操作画面のＧＵＩ要素に対して入力された所定の情報に対する条件が予め設定されている場合には、該入力された所定の情報が前記条件を満たすか判定報知部をさらに備えることを特徴とする請求項３に記載の情報処理装置。
前記現在表示されている操作画面のＧＵＩ要素に対応する前記コンテンツに挿入された操作画面のＧＵＩ要素に対して入力する情報が予め設定されている場合には、該設定されている情報を、前記現在表示されている操作画面のＧＵＩ要素に入力する自動入力部をさらに備えることを特徴とする請求項３に記載の情報処理装置。
情報処理装置で実行される操作支援方法であって、
アプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されているＧＵＩ要素の構造に関する構造情報とからなる操作画面情報を取得する取得工程と、
前記取得工程によって取得されたアプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されたＧＵＩ要素の構造に関する構造情報とを対応付けて操作情報記憶部に格納する操作画面情報格納工程と、
前記取得工程によって取得された操作画面情報を、前記アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入する挿入工程と、
前記挿入工程によって挿入された操作画面情報のＧＵＩ要素と、該ＧＵＩ要素に関連する前記コンテンツ要素とを対応付けてコンテンツ情報記憶部に格納するコンテンツ情報格納工程と、
を含んだことを特徴とする操作支援方法。
アプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されているＧＵＩ要素の構造に関する構造情報とからなる操作画面情報を取得する取得ステップと、
前記取得ステップによって取得されたアプリケーションソフトウェアの操作画面のキャプチャ画像と、該操作画面に表示されたＧＵＩ要素の構造に関する構造情報とを対応付けて操作情報記憶部に格納する操作画面情報格納ステップと、
前記取得ステップによって取得された操作画面情報を、前記アプリケーションソフトウェアの操作方法が記載されたコンテンツ要素を含むコンテンツに挿入する挿入ステップと、
前記挿入ステップによって挿入された操作画面情報のＧＵＩ要素と、該ＧＵＩ要素に関連する前記コンテンツ要素とを対応付けてコンテンツ情報記憶部に格納するコンテンツ情報格納ステップと、
をコンピュータに実行させるための操作支援プログラム。