JP2005018711A - Screen display system, method, and program - Google Patents

Screen display system, method, and program Download PDF

Info

Publication number
JP2005018711A
JP2005018711A JP2003186478A JP2003186478A JP2005018711A JP 2005018711 A JP2005018711 A JP 2005018711A JP 2003186478 A JP2003186478 A JP 2003186478A JP 2003186478 A JP2003186478 A JP 2003186478A JP 2005018711 A JP2005018711 A JP 2005018711A
Authority
JP
Japan
Prior art keywords
screen
pop
display
screen data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003186478A
Other languages
Japanese (ja)
Inventor
Koichi Nakamura
公一 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2003186478A priority Critical patent/JP2005018711A/en
Publication of JP2005018711A publication Critical patent/JP2005018711A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enable users to operate referring to a pop-up guide in an environment in which control is not returned to an application until the pop-up guide is closed. <P>SOLUTION: The copies of screens when a pop-up guide is displayed and the pop-up guide is closed are acquired, and then the difference between only the pop-up guide areas is extracted. The acquired and extracted image is displayed on an auxiliary display that is different from an operation screen of an application, or newly displayed as an window independent from an operation window of an application. Thereby, a user can continue operation in an application in a state that a pop-up guide for operation methods is always displayed. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は画面表示システム、方法およびプログラムに関し、特に、アプリケーションレベルで表示されるポップアップウィンドウをアプリケーションから切り離して別途表示するシステム、方法およびプログラムに関する。
【0002】
【従来の技術】
パーソナルコンピュータ等で用いられている機能の一つに、ポップアップガイドと呼ばれるものがある。これは、GUI(Graphic User Interface)をサポートするオペレーティングシステムやアプリケーションが所定の操作(例えば、画面上に表示されたボタンのクリック等)を検出すると現在作業中のウィンドウの前面に別のウィンドウを立ち上げて特定の情報(例えば、入力ガイド等)を表示するものである。
【0003】
また、近年のオペレーティングシステムはマルチタスク機能を有するものが多く、このようなコンピュータシステムでは複数のタスクを並行して処理することができる。したがって、アプリケーションがポップアップガイドの表示処理をアプリケーションレベルで行うのではなく、マルチタスク方式のオペレーティングシステムに受け渡すように構成されている場合、ユーザはポップアップウィンドウを見ながら、あるいはポップアップウィンドウを表示させたままアクティブなウィンドウを適宜切り替えて、作業中のウィンドウの操作等をすることができる。
【0004】
また、例えば特許文献1のように、複数のウィンドウを別々のディスプレイ端末に表示させて作業者に見易くするマルチディスプレイ方式のシステムがある。また、特定の操作(例えば、キーボードのプリントスクリーンボタンの押下)により現在表示している画面全体をコピーする機能が実用化されている(例えば、特許文献2)。
【0005】
【特許文献1】
特開2002−215284号公報
【特許文献2】
特開平2−164542号公報
【0006】
【発明が解決しようとする課題】
しかしながら、アプリケーションにはポップアップガイドの表示をアプリケーションレベルで制御しているものも多く、この場合はポップアップガイドを閉じない限り他の画面に制御が戻らず、ユーザは他の作業を一切再開することができない。このような環境においてポップアップガイドの表示内容が以降の作業に必要な場合、ユーザは作業を続行するにあたりポップアップガイドの表示内容を頭に記憶したり紙に書き写したりする等、何らかの形でポップアップガイドの内容を手元に留めてからポップアップガイドをクローズし、作業を続行する必要があった。これは使用勝手や作業効率が悪く、ユーザから改善が求められている点であった。
【0007】
この問題はアプリケーション自体を改編し、ポップアップガイドの表示処理をオペレーティングシステムに受け渡す構成とすれば解消するが、既にユーザのパーソナルコンピュータにインストールされている1またはそれ以上のアプリケーションを変更するのは到底不可能な話である。
【0008】
本発明は上記のような問題に鑑み、ポップアップガイドを閉じなければ作業を再開できない環境において、処理説明やヘルプメッセージ等のポップアップガイドをアプリケーションから切り離し、別途用意した表示装置に出力することによりユーザの作業効率を向上させる画面表示装置、方法およびプログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
この目的を達成するために、本発明にかかる画面表示システムは、ポップアップガイド表示機能を有するソフトウェアが動作するコンピュータシステムにおいて、ポップアップウィンドウが表示されたときの画面データ(第1の画面データ)と、当該ポップアップウィンドウがクローズされたときの画面データ(第2の画面データ)を取得する画面コピー手段と、前記第1および第2の画面データを保存する画像格納手段と、前記第1の画面データと第2の画面データの差分抽出を行う差分抽出手段と、当該差分抽出手段による差分画像を前記ソフトウェアの処理とは別に画面に表示する表示処理手段と、を備えることを特徴とする。
【0010】
このようにポップアップガイドの表示内容を抽出分離し、アプリケーションに制御が戻った状態でポップアップガイドの内容を別の画面または別のウィンドウとして表示することにより、操作方法等についてのポップアップガイドを常時表示させた状態でユーザがアプリケーションでの作業を続行することができ、アプリケーションの操作性を向上させてユーザの作業効率を改善することができる。
【0011】
この画面表示システムにおいて、当該システムがさらに、前記ソフトウェアの動作を監視し、ポップアップウィンドウの表示および当該ポップアップウィンドウのクローズを検出して前記画面コピー手段に通知するポップアップ検出手段を備えることが望ましい。
【0012】
また、本発明のシステムは2以上の表示画面を備えており、前記表示処理手段は、前記ソフトウェアの操作ウィンドウを表示している画面とは異なる画面に前記差分画像を表示することが有効である。
【0013】
好適な実施例では、前記第1および第2の画面データはビットマップデータであるとともに、前記差分抽出手段は、前記第1の画面データにおいて前記第2の画面データの対応する部分と同じ画素を消去することにより差分抽出処理を行う。
【0014】
本発明にかかる画面表示方法は、ポップアップガイド表示機能を有するソフトウェアが動作するコンピュータシステムにおける画面表示方法において、ポップアップウィンドウが表示された画面データ(第1の画面データ)を取得して第1の記憶領域に格納するステップと、前記ポップアップウィンドウが閉じられたときに画面データ(第2の画面データ)を取得して第2の記憶領域に格納するステップと、前記第1の画面データと第2の画面データの差分抽出画像を作成するステップと、前記差分抽出画像を表示画面に出力するステップと、を備えることを特徴とする。
【0015】
この画面表示方法において、前記差分画像を表示画面に出力するステップは、前記ソフトウェアの操作ウィンドウを表示している画面とは異なる画面に前記差分画像を表示することが有効である。
【0016】
さらに本発明は、上記方法の各ステップを、コンピュータシステムに実行させることを特徴とするコンピュータ読み取り可能なプログラムを対象とする。
【0017】
【発明の実施の形態】
本発明の実施の形態を、添付の図面を参照しながら以下に詳細に説明する。図1は、本発明の実施の形態の構成を示す図である。図1を参照すると、本発明にかかる画像表示システムは、システム上で動作するアプリケーション10と、画像取込制御手段100と、画像取込手段101と、第1の画像格納手段102と、第2の画像格納手段103と、画像比較・差分抽出手段104と、画像表示手段105とを備えている。
【0018】
アプリケーション10は一般的なアプリケーションソフトウェアであり、所定の条件で特定の情報をユーザにポップアップ表示するポップアップ画面表示手段10aを備えている。このアプリケーション10は、ポップアップ画面の表示をアプリケーションレベルで制御する構成となっている。したがって、ポップアップ画面が表示されているときには他の画面に制御が戻らず、ユーザが作業中の画面に戻るにはポップアップ画面をクローズする必要がある。
【0019】
画像取込制御手段100は、構成要素101〜105による作業の実行管理を行う。画像取込手段101はアプリケーション10の動作を監視しており、ポップアップ画面が表示された場合と、当該画面がクローズされた場合に、パソコンが備える画面コピー機能を利用してその時点で表示されている画面全体をビットマップ形式で取得する。ポップアップ画面が表示されたときの画面データ(第1の画面データ)は第1の画像格納手段102に格納され、ポップアップ画面が閉じたときの画面データ(第2の画面データ)は第2の画像格納手段103に格納される。画像取込手段101は、画面データの格納が完了したら画像取込制御手段100に報告する。
【0020】
画像比較・差分抽出手段104は、第1の画像格納手段102と第2の画像格納手段103に格納されているビットマップデータを比較し、差分抽出処理を行う。この処理は第1の画面データを構成する画素のうち、第2の画面データの対応する画素が同じものを除去することにより行われる。上記のように処理対象となる第1の画面データはポップアップ画面が表示されているもの、第2の画面データはポップアップ画面が閉じたときのものであるので、この処理により、ポップアップガイド部分のみ(または、ポップアップガイドに加えてマウスポインタ部分)が抽出されることになる。画像表示手段105は、差分抽出手段104による抽出画像に必要な編集を施して画面に表示する。この編集では、マウスポインタ等の不要な要素を除去し、抽出画像を新たなウィンドウとして構成する。なお、抽出画像の表示はアプリケーション10とは別個独立した処理として行う。
【0021】
本発明の実施例を図2および図3に示す。図2は実施例の論理的な構成を示す図であり、図3は具体的なハードウェア構成を示す図である。
図2に示すように、アプリケーション10の通常の作業画面は標準表示装置205に表示され、ユーザはこれを見ながらデータ入力等の作業を行う。この環境で標準表示装置205にポップアップガイドが出力されたら、画像取込機構201は表示されている画面のハードコピーを取得し、第1の画像格納機構202に格納する。また、ユーザの操作によってポップアップガイドがクローズされたら、標準表示装置205の画面のハードコピーを取得し、第2の画像格納機構203に格納する。
【0022】
画像格納機構202、203にぞれぞれ画面のハードコピーが格納されたら、画像取込制御機構200が比較・差分抽出機構204を起動する。比較・差分抽出機構204は両画像の差異を抽出し、第1の画像格納機構202側の差異部分を編集して補助表示手段206に表示する。
【0023】
図3に具体的なハードウェア構成例を示すように、この実施例のシステムは3つのパソコン303、304、305をネットワークケーブルで接続して構成される。エンドユーザが操作するパソコン304(第1のパソコン)はディスプレイ310と固定ディスク307を備えている。このパソコン304ではアプリケーション10が動作し、ユーザがアプリケーション10を起動すると、作業画面がディスプレイ310に表示される。また、アプリケーション10は必要な場合にポップアップガイドをディスプレイ310に表示する。
【0024】
第2のパソコン305には画像取込プログラム301と、画像比較・差分抽出プログラム302とがインストールされており、2つの固定ディスク308、309と、ディスプレイ311とを備えている。画像取込プログラム301は、アプリケーション10の動作を監視し、ポップアップガイドが表示されたときの画面データをパソコン304の固定ディスク307から取り込んで、パソコン305の第1の固定ディスク308に格納する。また、当該ポップアップガイドがクローズされたときの画面データを取り込んで、第2の固定ディスク309に格納する。これらの画像取込処理の実行履歴は第3のパソコン303にインストールされている画像取込制御プログラム300に送られる。また、画像取込プログラム301は、ポップアップガイドがクローズされたときの画像を第2の固定ディスク309に格納したら画像取込制御プログラム300に通知する。
【0025】
画像取込制御プログラム300は、画像取込プログラム301からの通知を受けると固定ディスク306に蓄積された実行履歴を参照して2つの画像が第2のパソコン305の第1および第2の固定ディスク308、309にそれぞれ格納されているかを確認し、問題がなければ第2のパソコン305の画像比較・差分抽出プログラム302の起動指示を出す。画像比較・差分抽出プログラム302は、固定ディスク308、309に格納された画像データの比較および差分抽出を行う。ここで抽出されたデータは、必要な編集が施された後、ユーザの作業ディスプレイとは異なるパソコン305のディスプレイ311に表示される。
【0026】
図4は、上記実施例の動作を説明する図である。ユーザの作業画面においてポップアップガイドが表示されたら(ステップS1)、画像取込プログラム301は、ユーザが作業しているパソコン304の画面コピー機能を利用してディスプレイ310のハードコピーを当該パソコンの固定ディスク307に格納する(ステップS2)。この格納が完了したら、画像取込プログラム301は、画像取込制御プログラム300にその情報を通知するとともに(ステップS3)、画像データを固定ディスク308に転送する(ステップS4)。
【0027】
次に、画像取込プログラム301がポップアップガイドのクローズを検知すると(ステップS5)、上記と同様に画面のハードコピーを取得し(ステップS6)、画像取込制御プログラム300に通知するとともに(ステップS7)、固定ディスク307から画像データを転送して固定ディスク309に格納する(ステップS8)。画像取込制御プログラム300はこれらの通知を受けたら、画像比較・差分抽出プログラム302を起動する(ステップS9)。画像比較・差分抽出プログラム302は2つの固定ディスク308、309の画像データを比較し、差分抽出画像を作成する(ステップS10)。
【0028】
この抽出画像は画面に表示できるよう編集される(ステップS11)。すなわち、マウスポインタ等の不要な要素を除去した後、適宜の表示ウィンドウを作成して、その内側に抽出画像を配置する。そして、この表示ウィンドウがアプリケーション10から独立したポップアップガイドとしてディスプレイ310に表示される(ステップS12)。
【0029】
上記実施例の画面表示システムでは、ユーザの作業画面に表示されたポップアップガイド部分のコピーを抽出し、アプリケーション10の作業ディスプレイとは別の補助ディスプレイに表示する。また、この場合に作業ディスプレイでのポップアップガイドは閉じられており、作業画面に制御は戻っている。したがって、ユーザは補助ディスプレイに表示されたポップアップガイドを参照しながら作業画面での作業を続行することができる。
【0030】
上記実施例では画像取込プログラム301がポップアップガイドの表示を自動検出しているが、これは例えばアプリケーション10がオペレーティングシステムにポップアップウィンドウの表示を要求するコマンドラインを検出することにより実現可能である。なお、ポップアップガイドが表示された画面を取り込むのにユーザによる特定のキー入力(例えば、Printscreenボタンの押下)等をトリガとして用いるようにしてもよい。また、ポップアップガイドのクローズを自動検出するには、例えばポップアップガイドが表示されたら数秒おきに画面コピーを取得し、前回取り込んだ画像との差分処理を行って有意の変化がある場合にポップアップガイドがクローズされたと判断するように構成することができる。すなわち、ポップアップガイドをアプリケーションレベルで表示している場合にはクローズしなければ他の作業が行われないため、画面内容に有意の変化があった場合にポップアップガイドがクローズされたと判断することができる。
【0031】
なお、図2および図3に示す実施例では、マルチディスプレイ環境の下にアプリケーション10の操作画面と抽出画像(ポップアップガイド)の表示画面を別々のディスプレイに表示させるようにしているが、これは同じディスプレイに別のウィンドウとして表示させるようにしてもよい。すなわち、ポップアップガイド部分を抽出し、新たなウィンドウとして同じ画面内に表示する。この場合ディスプレイは一つでよく、ユーザは同じ画面上でウィンドウを切り替えて、ポップアップガイドの内容を必要なときに前面に表示させることができる。したがって、ポップアップガイドの表示をアプリケーションレベルで制御するアプリケーションで作業する場合でも、ポップアップガイドの表示処理をオペレーティングシステムに受け渡す構成のアプリケーションと同じ操作勝手を得ることができる。
【0032】
また、図2および図3に示す実施例では画像取込プログラム301(画像取込機構201)、画像比較・差分抽出プログラム302(比較・差分抽出機構204)、および画像取込制御プログラム300(画像取込制御機構200)をそれぞれ別のプログラムとして異なるパソコンにインストールしているが、これらを1つのプログラム(画像表示プログラム)として構築し、この画像表示プログラムが画像取込モジュール、比較・差分抽出モジュール、画像取込制御モジュールを備える構成としてもよい。この場合に各プログラムモジュールの機能および動作は上述した実施例において対応するプログラムまたは機構と同様である。
【0033】
さらに、オペレーティングシステムとのインターフェースを調整して、図2および図3に示す実施例の画像取込プログラム301(画像取込機構201)、画像比較・差分抽出プログラム302(比較・差分抽出機構204)、画像取込制御プログラム300(画像取込制御機構200)、あるいはこれらをまとめた1つの画像表示プログラムをユーザが操作するパソコンに組み込むようにしてもよい。この場合は、ユーザが操作するパソコンのみがあればよく、ハードウェア構成を簡略化することができる。
【0034】
また、上記実施例ではアプリケーションがポップアップガイドの表示をアプリケーションレベルで処理するものを対象に説明しているが、これはポップアップガイドの表示をオペレーティングシステムに受け渡す構成のアプリケーションに適用してもよいことは自明である。
【0035】
【発明の効果】
以上に詳細に説明したように、本発明の画像表示システム、方法、プログラムでは、ポップアップガイドの表示内容を抽出分離し、アプリケーションに制御が戻った状態でポップアップガイドの内容を別の画面または別のウィンドウとして表示するようにしている。これにより、操作方法等についてのポップアップガイドを常時表示させた状態でユーザがアプリケーションでの作業を続行することができ、アプリケーションの操作性を向上させてユーザの作業効率を改善することができる。
【図面の簡単な説明】
【図1】本発明に係る画面表示システムの実施の形態の構成を示す図である。
【図2】図1に示すシステムの実施例の論理的構成を示す図である。
【図3】図1に示すシステムの具体的なハードウェア構成を示す図である。
【図4】本発明に係る画面表示方法の工程を説明するためのフロー図である。
【符号の説明】
10 アプリケーション
10a ポップアップ画面表示手段
100 画像取込制御手段
101 画像取込手段
102 第1の画像格納手段
103 第2の画像格納手段
104 画像比較・差分抽出手段
105 画像表示手段
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a screen display system, method, and program, and more particularly, to a system, method, and program for separately displaying a pop-up window displayed at an application level separately from an application.
[0002]
[Prior art]
One of the functions used in personal computers is called a pop-up guide. This is because when an operating system or application that supports GUI (Graphic User Interface) detects a predetermined operation (for example, clicking a button displayed on the screen, etc.), another window is opened in front of the currently working window. To display specific information (for example, an input guide or the like).
[0003]
In recent years, many operating systems have a multitasking function, and such a computer system can process a plurality of tasks in parallel. Therefore, if the application is configured to pass the pop-up guide display process to the multitasking operating system instead of performing it at the application level, the user viewed the pop-up window or displayed the pop-up window. The active window can be switched as needed to operate the window being worked on.
[0004]
Further, for example, as in Patent Document 1, there is a multi-display system that displays a plurality of windows on separate display terminals to make it easy for an operator to see. Also, a function of copying the entire screen currently displayed by a specific operation (for example, pressing a print screen button on a keyboard) has been put into practical use (for example, Patent Document 2).
[0005]
[Patent Document 1]
JP 2002-215284 A [Patent Document 2]
JP-A-2-164542
[Problems to be solved by the invention]
However, many applications control the display of pop-up guides at the application level. In this case, unless the pop-up guide is closed, control does not return to other screens, and the user may resume other work at all. Can not. In such an environment, if the display contents of the pop-up guide are necessary for the subsequent work, the user may memorize the display contents of the pop-up guide in the head or transcribe it on paper as the work continues. It was necessary to close the pop-up guide after continuing the contents and to continue working. This is a point that user-friendliness and work efficiency are poor, and improvement is demanded by users.
[0007]
This problem can be solved by modifying the application itself and passing the pop-up guide display process to the operating system, but changing one or more applications already installed on the user's personal computer is not possible. It is an impossible story.
[0008]
In view of the above problems, in an environment where work cannot be resumed unless the pop-up guide is closed, the pop-up guide such as processing explanations and help messages are separated from the application and output to a separately prepared display device. It is an object of the present invention to provide a screen display device, a method and a program for improving work efficiency.
[0009]
[Means for Solving the Problems]
In order to achieve this object, a screen display system according to the present invention includes a screen data (first screen data) when a pop-up window is displayed in a computer system in which software having a pop-up guide display function operates, Screen copy means for obtaining screen data (second screen data) when the pop-up window is closed, image storage means for saving the first and second screen data, the first screen data, Difference extraction means for extracting the difference of the second screen data; and display processing means for displaying the difference image by the difference extraction means on the screen separately from the processing of the software.
[0010]
In this way, the pop-up guide display contents are extracted and separated, and the pop-up guide is displayed as a separate screen or window with control returned to the application. In this state, the user can continue working on the application, improving the operability of the application and improving the user's work efficiency.
[0011]
In this screen display system, it is preferable that the system further includes a pop-up detection unit that monitors the operation of the software, detects the display of the pop-up window, and closes the pop-up window and notifies the screen copy unit.
[0012]
Further, the system of the present invention includes two or more display screens, and it is effective that the display processing means displays the difference image on a screen different from the screen displaying the operation window of the software. .
[0013]
In a preferred embodiment, the first screen data and the second screen data are bitmap data, and the difference extraction means uses the same pixel as the corresponding portion of the second screen data in the first screen data. The difference extraction process is performed by erasing.
[0014]
A screen display method according to the present invention is a screen display method in a computer system in which software having a pop-up guide display function is operated. Screen data on which a pop-up window is displayed (first screen data) is acquired and first storage is performed. Storing in the area, acquiring screen data (second screen data) when the pop-up window is closed, and storing it in the second storage area, the first screen data and the second The method includes a step of creating a difference extraction image of screen data and a step of outputting the difference extraction image to a display screen.
[0015]
In this screen display method, it is effective that the step of outputting the difference image on the display screen displays the difference image on a screen different from the screen displaying the operation window of the software.
[0016]
Furthermore, the present invention is directed to a computer-readable program that causes a computer system to execute each step of the above method.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings. FIG. 1 is a diagram showing a configuration of an embodiment of the present invention. Referring to FIG. 1, an image display system according to the present invention includes an application 10 operating on the system, an image capture control unit 100, an image capture unit 101, a first image storage unit 102, and a second image storage unit 102. Image storage means 103, image comparison / difference extraction means 104, and image display means 105.
[0018]
The application 10 is general application software, and includes a pop-up screen display unit 10a that pops up specific information to a user under a predetermined condition. The application 10 is configured to control the pop-up screen display at the application level. Therefore, when the pop-up screen is displayed, control does not return to the other screen, and the pop-up screen needs to be closed in order for the user to return to the working screen.
[0019]
The image capture control means 100 performs work execution management by the components 101 to 105. The image capture means 101 monitors the operation of the application 10 and is displayed at that time using the screen copy function of the personal computer when the pop-up screen is displayed and when the screen is closed. The entire screen in bitmap format. Screen data when the pop-up screen is displayed (first screen data) is stored in the first image storage means 102, and screen data when the pop-up screen is closed (second screen data) is the second image. It is stored in the storage means 103. The image capture means 101 reports to the image capture control means 100 when the storage of the screen data is completed.
[0020]
The image comparison / difference extraction unit 104 compares the bitmap data stored in the first image storage unit 102 and the second image storage unit 103, and performs a difference extraction process. This process is performed by removing the same pixels corresponding to the second screen data from the pixels constituting the first screen data. As described above, the first screen data to be processed is the one on which the pop-up screen is displayed, and the second screen data is the one when the pop-up screen is closed. Or, a mouse pointer portion is extracted in addition to the pop-up guide. The image display means 105 performs necessary editing on the image extracted by the difference extraction means 104 and displays it on the screen. In this editing, unnecessary elements such as a mouse pointer are removed, and the extracted image is configured as a new window. The extracted image is displayed as a process independent of the application 10.
[0021]
An embodiment of the present invention is shown in FIGS. FIG. 2 is a diagram illustrating a logical configuration of the embodiment, and FIG. 3 is a diagram illustrating a specific hardware configuration.
As shown in FIG. 2, the normal work screen of the application 10 is displayed on the standard display device 205, and the user performs work such as data input while watching this. When a pop-up guide is output to the standard display device 205 in this environment, the image capture mechanism 201 acquires a hard copy of the displayed screen and stores it in the first image storage mechanism 202. When the pop-up guide is closed by the user's operation, a hard copy of the screen of the standard display device 205 is acquired and stored in the second image storage mechanism 203.
[0022]
When a hard copy of the screen is stored in each of the image storage mechanisms 202 and 203, the image capture control mechanism 200 activates the comparison / difference extraction mechanism 204. The comparison / difference extraction mechanism 204 extracts the difference between both images, edits the difference portion on the first image storage mechanism 202 side, and displays it on the auxiliary display means 206.
[0023]
As shown in a specific hardware configuration example in FIG. 3, the system of this embodiment is configured by connecting three personal computers 303, 304, and 305 with network cables. A personal computer 304 (first personal computer) operated by an end user includes a display 310 and a fixed disk 307. The application 10 operates on the personal computer 304, and when the user starts the application 10, a work screen is displayed on the display 310. Further, the application 10 displays a pop-up guide on the display 310 when necessary.
[0024]
The second personal computer 305 has an image capturing program 301 and an image comparison / difference extraction program 302 installed therein, and includes two fixed disks 308 and 309 and a display 311. The image capture program 301 monitors the operation of the application 10, captures screen data when the pop-up guide is displayed, from the fixed disk 307 of the personal computer 304, and stores the screen data in the first fixed disk 308 of the personal computer 305. Further, the screen data when the pop-up guide is closed is captured and stored in the second fixed disk 309. The execution history of these image capture processes is sent to the image capture control program 300 installed in the third personal computer 303. The image capture program 301 notifies the image capture control program 300 when the image when the pop-up guide is closed is stored in the second fixed disk 309.
[0025]
When receiving the notification from the image capture program 301, the image capture control program 300 refers to the execution history stored in the fixed disk 306 and the two images are the first and second fixed disks of the second personal computer 305. It is confirmed whether the images are stored in 308 and 309. If there is no problem, an instruction to start the image comparison / difference extraction program 302 of the second personal computer 305 is issued. The image comparison / difference extraction program 302 compares image data stored in the fixed disks 308 and 309 and extracts a difference. The data extracted here is displayed on a display 311 of the personal computer 305 different from the user's work display after necessary editing.
[0026]
FIG. 4 is a diagram for explaining the operation of the above embodiment. When the pop-up guide is displayed on the user's work screen (step S1), the image capture program 301 uses the screen copy function of the personal computer 304 on which the user is working to transfer a hard copy of the display 310 to the fixed disk of the personal computer. It stores in 307 (step S2). When this storage is completed, the image capture program 301 notifies the image capture control program 300 of the information (step S3) and transfers the image data to the fixed disk 308 (step S4).
[0027]
Next, when the image capture program 301 detects that the pop-up guide is closed (step S5), a hard copy of the screen is acquired in the same manner as described above (step S6), and the image capture control program 300 is notified (step S7). The image data is transferred from the fixed disk 307 and stored in the fixed disk 309 (step S8). Upon receiving these notifications, the image capture control program 300 activates the image comparison / difference extraction program 302 (step S9). The image comparison / difference extraction program 302 compares the image data of the two fixed disks 308 and 309 and creates a difference extraction image (step S10).
[0028]
The extracted image is edited so that it can be displayed on the screen (step S11). That is, after removing unnecessary elements such as a mouse pointer, an appropriate display window is created, and an extracted image is arranged inside the display window. Then, this display window is displayed on the display 310 as a pop-up guide independent of the application 10 (step S12).
[0029]
In the screen display system of the above-described embodiment, a copy of the pop-up guide portion displayed on the user's work screen is extracted and displayed on an auxiliary display different from the work display of the application 10. In this case, the pop-up guide on the work display is closed, and control is returned to the work screen. Therefore, the user can continue the work on the work screen while referring to the pop-up guide displayed on the auxiliary display.
[0030]
In the above embodiment, the image capturing program 301 automatically detects the display of the pop-up guide. This can be realized, for example, when the application 10 detects a command line that requests the operating system to display a pop-up window. Note that a specific key input by the user (for example, pressing of the Printscreen button) or the like may be used as a trigger to capture the screen on which the pop-up guide is displayed. In order to automatically detect the pop-up guide closing, for example, when the pop-up guide is displayed, a screen copy is obtained every few seconds, and the difference between the pop-up guide and the previously captured image is processed to make a significant change. It can be configured to determine that it has been closed. In other words, when the pop-up guide is displayed at the application level, no other work is performed unless it is closed, so it can be determined that the pop-up guide is closed when there is a significant change in the screen content. .
[0031]
In the embodiment shown in FIG. 2 and FIG. 3, the operation screen of the application 10 and the display screen of the extracted image (pop-up guide) are displayed on separate displays in a multi-display environment. You may make it display on a display as another window. That is, the pop-up guide part is extracted and displayed as a new window on the same screen. In this case, only one display is required, and the user can switch windows on the same screen and display the contents of the pop-up guide on the front when necessary. Therefore, even when working with an application that controls the display of the pop-up guide at the application level, it is possible to obtain the same user-friendliness as an application configured to transfer the pop-up guide display process to the operating system.
[0032]
2 and 3, the image capture program 301 (image capture mechanism 201), the image comparison / difference extraction program 302 (comparison / difference extraction mechanism 204), and the image capture control program 300 (image capture) The acquisition control mechanism 200) is installed in different personal computers as different programs, but these are constructed as one program (image display program), and this image display program is an image acquisition module, comparison / difference extraction module. The image capturing control module may be provided. In this case, the function and operation of each program module are the same as the corresponding program or mechanism in the above-described embodiment.
[0033]
Further, by adjusting the interface with the operating system, the image capture program 301 (image capture mechanism 201) and the image comparison / difference extraction program 302 (comparison / difference extraction mechanism 204) of the embodiment shown in FIGS. Alternatively, the image capture control program 300 (image capture control mechanism 200) or one image display program in which these are collected may be incorporated in a personal computer operated by the user. In this case, only a personal computer operated by the user is required, and the hardware configuration can be simplified.
[0034]
In the above-described embodiment, the application is described for processing the popup guide display at the application level. However, this may be applied to an application configured to deliver the popup guide display to the operating system. Is self-explanatory.
[0035]
【The invention's effect】
As described in detail above, in the image display system, method, and program of the present invention, the display content of the pop-up guide is extracted and separated, and the content of the pop-up guide is displayed on a different screen or in a state where the control returns to the application It is displayed as a window. As a result, the user can continue working on the application in a state where the pop-up guide for the operation method or the like is constantly displayed, and the operability of the application can be improved and the work efficiency of the user can be improved.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an embodiment of a screen display system according to the present invention.
FIG. 2 is a diagram showing a logical configuration of the embodiment of the system shown in FIG. 1;
FIG. 3 is a diagram showing a specific hardware configuration of the system shown in FIG. 1;
FIG. 4 is a flowchart for explaining the steps of the screen display method according to the present invention.
[Explanation of symbols]
10 Application 10a Pop-up screen display means 100 Image capture control means 101 Image capture means 102 First image storage means 103 Second image storage means 104 Image comparison / difference extraction means 105 Image display means

Claims (7)

ポップアップガイド表示機能を有するソフトウェアが動作するコンピュータシステムにおいて、ポップアップウィンドウが表示されたときの画面データ(第1の画面データ)と、当該ポップアップウィンドウがクローズされたときの画面データ(第2の画面データ)を取得する画面コピー手段と、前記第1および第2の画面データを保存する画像格納手段と、前記第1の画面データと第2の画面データの差分抽出を行う差分抽出手段と、当該差分抽出手段による差分画像を前記ソフトウェアの処理とは別に画面に表示する表示処理手段と、を備えることを特徴とする画面表示システム。In a computer system in which software having a pop-up guide display function operates, screen data when the pop-up window is displayed (first screen data) and screen data when the pop-up window is closed (second screen data) ) For acquiring the difference between the first screen data and the second screen data, the difference extracting means for extracting the difference between the first screen data and the second screen data, and the difference And a display processing means for displaying the difference image by the extracting means on the screen separately from the processing of the software. 請求項1に記載の画面表示システムにおいて、当該システムがさらに、前記ソフトウェアの動作を監視し、ポップアップウィンドウの表示および当該ポップアップウィンドウのクローズを検出して前記画面コピー手段に通知するポップアップ検出手段を備えることを特徴とする画面表示システム。2. The screen display system according to claim 1, further comprising pop-up detection means for monitoring the operation of the software, detecting display of the pop-up window and closing of the pop-up window, and notifying the screen copy means. A screen display system characterized by that. 請求項1または2に記載の画面表示システムにおいて、当該システムが2以上の表示画面を備えており、前記表示処理手段は、前記ソフトウェアの操作ウィンドウを表示している画面とは異なる画面に前記差分画像を表示することを特徴とする画面表示システム。The screen display system according to claim 1 or 2, wherein the system includes two or more display screens, and the display processing unit displays the difference on a screen different from a screen displaying an operation window of the software. A screen display system characterized by displaying an image. 請求項1ないし3のいずれかに記載の画面表示システムにおいて、前記第1および第2の画面データはビットマップデータであるとともに、前記差分抽出手段は、前記第1の画面データにおいて前記第2の画面データの対応する部分と同じ画素を消去することにより差分抽出処理を行うことを特徴とする画面表示システム。4. The screen display system according to claim 1, wherein the first and second screen data are bitmap data, and the difference extraction unit includes the second screen data in the first screen data. A screen display system, wherein difference extraction processing is performed by erasing the same pixel as a corresponding portion of screen data. ポップアップガイド表示機能を有するソフトウェアが動作するコンピュータシステムにおける画面表示方法において、ポップアップウィンドウが表示された画面データ(第1の画面データ)を取得して第1の記憶領域に格納するステップと、前記ポップアップウィンドウが閉じられたときに画面データ(第2の画面データ)を取得して第2の記憶領域に格納するステップと、前記第1の画面データと第2の画面データの差分抽出画像を作成するステップと、前記差分抽出画像を表示画面に出力するステップと、を備えることを特徴とする画面表示方法。In a screen display method in a computer system in which software having a pop-up guide display function operates, the step of acquiring screen data (first screen data) on which a pop-up window is displayed and storing it in a first storage area; Acquiring screen data (second screen data) when the window is closed and storing it in a second storage area, and creating a difference extraction image of the first screen data and the second screen data And a step of outputting the difference extraction image to a display screen. 請求項5に記載の画面表示方法において、前記差分画像を表示画面に出力するステップは、前記ソフトウェアの操作ウィンドウを表示している画面とは異なる画面に前記差分画像を表示することを特徴とする画面表示方法。6. The screen display method according to claim 5, wherein the step of outputting the difference image to a display screen displays the difference image on a screen different from a screen displaying the operation window of the software. Screen display method. 請求項5または6に記載の各ステップを、コンピュータシステムに実行させることを特徴とするコンピュータ読み取り可能なプログラム。A computer-readable program for causing a computer system to execute each step according to claim 5.
JP2003186478A 2003-06-30 2003-06-30 Screen display system, method, and program Pending JP2005018711A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003186478A JP2005018711A (en) 2003-06-30 2003-06-30 Screen display system, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003186478A JP2005018711A (en) 2003-06-30 2003-06-30 Screen display system, method, and program

Publications (1)

Publication Number Publication Date
JP2005018711A true JP2005018711A (en) 2005-01-20

Family

ID=34185589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003186478A Pending JP2005018711A (en) 2003-06-30 2003-06-30 Screen display system, method, and program

Country Status (1)

Country Link
JP (1) JP2005018711A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011210073A (en) * 2010-03-30 2011-10-20 Sony Corp Electronic device and information processing program
CN103582874A (en) * 2011-06-28 2014-02-12 国际商业机器公司 Unified, adaptive RAS for hybrid systems
US10152191B2 (en) 2010-11-11 2018-12-11 Heidelberger Druckmaschinen Ag Method for operating machinery using a browser

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011210073A (en) * 2010-03-30 2011-10-20 Sony Corp Electronic device and information processing program
US10152191B2 (en) 2010-11-11 2018-12-11 Heidelberger Druckmaschinen Ag Method for operating machinery using a browser
CN103582874A (en) * 2011-06-28 2014-02-12 国际商业机器公司 Unified, adaptive RAS for hybrid systems

Similar Documents

Publication Publication Date Title
CN111008520B (en) Annotating method and device, terminal equipment and storage medium
US7904837B2 (en) Information processing apparatus and GUI component display method for performing display operation on document data
US6976224B2 (en) Information processing apparatus and method with graphical user interface allowing processing condition to be set by drag and drop, and medium on which processing program thereof is recorded
EP1975917A2 (en) Method and system to reproduce contents, and recording medium including program to reproduce contents
JP2007304669A (en) Method and program for controlling electronic equipment
WO2021259185A1 (en) Image processing method and apparatus, device, and readable storage medium
JP2010140164A (en) Operation monitoring method, operation monitoring device, and server
JP2005342945A (en) Image forming apparatus, method and program
CN113938587A (en) Shooting and recording method based on double cameras and electronic equipment
JPH08123658A (en) Method and device for registering icon pattern or icon, and method and device for displaying icon
JP4849302B2 (en) Display control apparatus, display control method, and program
US9594445B2 (en) Operation reception device and method for receiving operation on page image, storage medium, and image forming apparatus for use with operation reception device
CN112684963A (en) Screenshot method and device and electronic equipment
JP2005018711A (en) Screen display system, method, and program
JPH0944379A (en) Method and device for supporting programming
JP2009237659A (en) Operation log information display system
JP2007066077A (en) Method and apparatus for generating gui, computer program, and storage medium
US20130205201A1 (en) Touch Control Presentation System and the Method thereof
JP2009230258A (en) Restoration support system and program for the same
JP2005148555A (en) Image projection display device, image projection display method, and image projection display program
CN102135848B (en) Method for controlling and assisting window and device
CN113778240B (en) Text input method and device
CN113726953B (en) Display content acquisition method and device
JP4935667B2 (en) Image recording apparatus, image recording / reproducing apparatus, image recording / reproducing system, and program
JPH09237349A (en) Interactive desktop system