JP2018197896A - Information processing apparatus, information processing system and program - Google Patents
Information processing apparatus, information processing system and program Download PDFInfo
- Publication number
- JP2018197896A JP2018197896A JP2017101387A JP2017101387A JP2018197896A JP 2018197896 A JP2018197896 A JP 2018197896A JP 2017101387 A JP2017101387 A JP 2017101387A JP 2017101387 A JP2017101387 A JP 2017101387A JP 2018197896 A JP2018197896 A JP 2018197896A
- Authority
- JP
- Japan
- Prior art keywords
- information
- window
- screen
- information processing
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理システム、プログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, and a program.
アプリケーションソフトウェアを使用する際の説明書（マニュアル）を作成するなどの目的で、表示装置に表示されたウィンドウ画面のキャプチャを行なうときがある。そしてキャプチャを行なった画像情報を後から検索等することができるように、画像情報に検索などに必要な付加情報を付与する場合がある。 In some cases, a window screen displayed on a display device is captured for the purpose of creating a manual for using application software. In some cases, additional information necessary for the search is added to the image information so that the captured image information can be searched later.
特許文献１には、画像情報相互間の関連度、類似度についての利用者による判断情報（例えば「画像Ａとの関連度合は、画像Ｂより画像Ｃの方が大である」）にもとづいて、属性項目の追加、削除を行なう条件を、ＩＦ〜ＴＨＥＮ〜形式のルールで記述し、常時、ＩＦ以下の条件を監視し、成立した場合にはＴＨＥＮ以下の処理を実行する仕組みを、検索処理インタフエース部に追加する画像情報記憶検索方式が開示されている。
In
しかしながらキャプチャした画像が多くなると、付加情報をユーザが入力する手間が多大となる。これを解決するための従来技術の一例として、画像情報相互間の関連度、類似度についての利用者による判断情報に基づいて、属性項目の追加、削除を行なう条件を監視する仕組みを、検索処理インタフエース部に追加する方法では、画像を基に類似度等を判断するため、作成された付加情報の精度が低下することがある。そのため精度を向上させるためには、ユーザによる付加情報の検証が必要となり、その結果、ユーザの手間が軽減されないことになる。またユーザにとって必要な付加情報が含まれるとは限らず、欠落が生じやすい。その結果、キャプチャ画像の検索、活用をしにくくなる。
本発明は、ウィンドウ画面のキャプチャを行なう際に、ウィンドウ画面のキャプチャ画像の情報に対し必要な付加情報を関連付けて記録することができる情報処理装置等を提供することを目的とする。
However, when the number of captured images increases, it takes a lot of time for the user to input additional information. As an example of the prior art for solving this, a mechanism for monitoring conditions for adding and deleting attribute items based on judgment information by a user about the degree of association and similarity between image information In the method of adding to the interface unit, the degree of similarity or the like is determined based on the image, so the accuracy of the created additional information may be reduced. Therefore, in order to improve the accuracy, it is necessary to verify the additional information by the user, and as a result, the user's trouble is not reduced. In addition, additional information necessary for the user is not always included, and omissions are likely to occur. As a result, it becomes difficult to search and use the captured image.
An object of the present invention is to provide an information processing apparatus or the like that can record necessary additional information in association with information of a captured image of a window screen when capturing the window screen.
請求項１に記載の発明は、表示画面中に表示される複数のウィンドウ画面のキャプチャを行なう際に、当該ウィンドウ画面のキャプチャ画像の情報および当該ウィンドウ画面の状態に関する情報を取得する取得部と、前記キャプチャ画像の情報と前記ウィンドウ画面の状態に関する情報とを関連付ける関連部と、を備える情報処理装置である。
請求項２に記載の発明は、前記取得部は、前記表示画面に表示される複数の前記ウィンドウ画面が重なり合うときは、それぞれを重なり合わない状態に分けて前記キャプチャ画像の情報を取得することを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記関連部は、重なり合った複数の前記ウィンドウ画面のレイヤ構造を抽出した結果をさらに関連付けることを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記関連部は、複数の前記ウィンドウ画面の相互関係を示す関係情報をさらに関連付けることを特徴とする請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記関連部は、前記ウィンドウ画面のキャプチャ画像の情報を基に、複数の前記ウィンドウ画面のレイヤ構造を抽出した結果を、前記関係情報として関連付けることを特徴とする請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記関連部は、前記ウィンドウ画面の状態に関する情報を基に、複数の前記ウィンドウ画面同士の操作順序を求めた結果を、前記関係情報として関連付けることを特徴とする請求項４に記載の情報処理装置である。
請求項７に記載の発明は、前記関連部は、前記ウィンドウ画面の状態に関する情報を基に、複数の前記ウィンドウ画面同士の類似度を求め、当該類似度を基に複数の当該ウィンドウ画面をグルーピングした結果を、前記関係情報として関連付けることを特徴とする請求項４に記載の情報処理装置である。
請求項８に記載の発明は、前記関連部は、前記ウィンドウ画面の状態に関する情報を基に、複数の前記ウィンドウ画面同士の親子関係を求めた結果を、前記関係情報として関連付けることを特徴とする請求項４に記載の情報処理装置である。
請求項９に記載の発明は、前記関係情報を可視化して前記表示画面に再現する可視化部をさらに備えることを特徴とする請求項４に記載の情報処理装置である。
請求項１０に記載の発明は、表示画面中に表示される複数のウィンドウ画面のキャプチャを行なう際に、当該ウィンドウ画面のキャプチャ画像の情報および当該ウィンドウ画面の状態に関する情報を取得する取得部と、前記ウィンドウ画面の状態に関する情報を基に、複数の前記ウィンドウ画面の相互関係を可視化して前記表示画面に再現する可視化部と、を備える情報処理装置である。
請求項１１に記載の発明は、複数のウィンドウ画面を表示画面中に表示する表示装置と、前記表示装置に表示される複数の前記ウィンドウ画面のキャプチャを行なう情報処理装置と、を備え、前記情報処置装置は、前記表示画面中に表示される複数の前記ウィンドウ画面のキャプチャを行なう際に、当該ウィンドウ画面のキャプチャ画像の情報および当該ウィンドウ画面の状態に関する情報を取得する取得部と、前記キャプチャ画像の情報と前記ウィンドウ画面の状態に関する情報とを関連付ける関連部と、を備える情報処理システムである。
請求項１２に記載の発明は、コンピュータに、表示画面中に表示される複数のウィンドウ画面のキャプチャを行なう際に、当該ウィンドウ画面のキャプチャ画像の情報および当該ウィンドウ画面の状態に関する情報を取得する取得機能と、前記キャプチャ画像の情報と前記ウィンドウ画面の状態に関する情報とを関連付ける関連機能と、を実現させるためのプログラムである。
The invention according to
According to a second aspect of the present invention, when the plurality of window screens displayed on the display screen overlap, the acquisition unit divides each of the window screens into a non-overlapping state and acquires the captured image information. The information processing apparatus according to
The invention according to claim 3 is the information processing apparatus according to
The invention according to claim 4 is the information processing apparatus according to
The invention according to
The invention according to claim 6 is characterized in that the association unit associates, as the relation information, a result of obtaining an operation order between the plurality of window screens based on information on the state of the window screen. An information processing apparatus according to claim 4.
According to a seventh aspect of the present invention, the related unit obtains a similarity between the plurality of window screens based on information related to the state of the window screen, and groups the plurality of window screens based on the similarity. The information processing apparatus according to claim 4, wherein the result is associated as the relation information.
The invention according to claim 8 is characterized in that the association unit associates, as the relationship information, a result of obtaining a parent-child relationship between the plurality of window screens based on information on the state of the window screen. An information processing apparatus according to claim 4.
The invention according to claim 9 is the information processing apparatus according to claim 4, further comprising a visualization unit that visualizes the relation information and reproduces the relation information on the display screen.
The invention according to
The invention according to
According to the twelfth aspect of the present invention, when capturing a plurality of window screens displayed on the display screen, the computer acquires the information about the captured image of the window screen and the information about the state of the window screen. It is a program for realizing a function and a related function that associates information on the captured image with information on the state of the window screen.
請求項１の発明によれば、ウィンドウ画面のキャプチャを行なう際に、ウィンドウ画面のキャプチャ画像の情報に対し必要な付加情報を関連付けて記録することができる情報処理装置を提供できる。
請求項２の発明によれば、複数のウィンドウ画面が重なり合っていても、キャプチャ画像に欠落が生じにくく、再度キャプチャをやり直す作業を行なわなくてすむ。
請求項３の発明によれば、キャプチャ後に、これらのウィンドウ画面のレイアウトの状態を直観的に把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
請求項４の発明によれば、キャプチャ後に、ウィンドウ画面の相互関係を把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
請求項５の発明によれば、キャプチャ後に、ウィンドウ画面のレイアウトの状態を把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
請求項６の発明によれば、キャプチャ後に、ウィンドウ画面の操作順序を再現し把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
請求項７の発明によれば、キャプチャ後に、ウィンドウ画面の類似度を把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
請求項８の発明によれば、キャプチャ後に、ウィンドウ画面の親子関係を把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
請求項９の発明によれば、関係情報を直観的に把握することができる。
請求項１０の発明によれば、ウィンドウ画面の相互関係を視覚的に把握することができる。
請求項１１の発明によれば、ウィンドウ画面のキャプチャを行なう際に、キャプチャ後に、キャプチャ画像の情報に対し検索等に必要な付加情報を付与することができる情報処理システムが提供できる。
請求項１２の発明によれば、ウィンドウ画面のキャプチャを行なう際に、ウィンドウ画面のキャプチャ画像の情報に対し必要な情報を関連付けて記録することができる機能をコンピュータにより実現できる。
According to the first aspect of the present invention, it is possible to provide an information processing apparatus that can record necessary additional information in association with information of a captured image of the window screen when capturing the window screen.
According to the second aspect of the present invention, even if a plurality of window screens are overlapped with each other, the captured image is unlikely to be lost, and it is not necessary to perform the operation of capturing again.
According to the invention of claim 3, after the capture, the layout state of these window screens can be intuitively grasped, and the capture image desired by the user can be found efficiently.
According to the fourth aspect of the present invention, it is possible to grasp the mutual relationship between the window screens after capture, and to efficiently search for a captured image desired by the user.
According to the invention of
According to the invention of claim 6, after the capture, the operation order of the window screen can be reproduced and grasped, and the capture image desired by the user can be found efficiently.
According to the seventh aspect of the present invention, the degree of similarity of the window screen can be grasped after capturing, and the captured image desired by the user can be found efficiently.
According to the eighth aspect of the present invention, the parent-child relationship of the window screen can be grasped after capture, and the captured image desired by the user can be found efficiently.
According to the invention of claim 9, it is possible to intuitively grasp the related information.
According to invention of
According to the invention of
According to the twelfth aspect of the present invention, when capturing a window screen, it is possible to realize a function capable of recording necessary information in association with information of a captured image of the window screen by a computer.
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。 Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
＜情報処理システム全体の説明＞
図１は、本実施の形態における情報処理システム１の構成例を示す図である。
図示するように本実施の形態の情報処理システム１は、表示装置２０に表示される画像の画像情報を作成する情報処理装置１０と、情報処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、情報処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。
<Description of the entire information processing system>
FIG. 1 is a diagram illustrating a configuration example of an
As shown in the figure, the
情報処理装置１０は、情報処理装置の一例であり、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、情報処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
The
表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。
The
入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、アプリケーションソフトウェアの起動、終了や、詳しくは後述するが、ブラウザ等のアプリケーションソフトウェアに対しブックマークの選択の指示を入力するのに使用する。
The
情報処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また情報処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。
The
The
なお本実施の形態における情報処理システム１は、図１の形態に限られるものではない。例えば、情報処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、情報処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで指示を入力する。
In addition, the
このような情報処理システム１において、表示装置２０では、複数のウィンドウ画面を表示画面２１中に表示する。ここでウィンドウ画面とは、各機能の実行の際に割り当てられる画面の領域を指しており、ウィンドウ画面の最小単位は、アプリケーションごとであってもよいし、各アプリケーション内における機能ごとであっても良い。ユーザは、表示画面２１を見ながら入力装置３０を操作し、アプリケーションソフトウェアを操作する指示を入力する。これにより情報処理装置１０は、ユーザの指示に対応した処理を行なう。また情報処理装置１０は、ユーザによる予め定められた操作を受け付けると、表示装置２０に表示される複数のウィンドウ画面のキャプチャを行なう。予め定められた操作は、この処理に割り当てられたホットキーを押下することにより行なうことができる。例えば、入力装置３０としてキーボードを使用した場合、「Print Screen」キーを押下したり、「Alt」キーと「Print Screen」キーとを同時に押下するとウィンドウ画面のキャプチャが行われる。
そして情報処理装置１０は、キャプチャを行なうことで得られた画像情報（画像データ）に関連付けて、ウィンドウ画面の状態に関する情報を取得して保存する。このウィンドウ画面に関する情報は、上述した付加情報に対応する。
In such an
Then, the
＜情報処理装置１０の説明＞
図２は、本実施の形態における情報処理装置１０の機能構成例を表すブロック図である。なお図２では情報処理装置１０が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の情報処理装置１０は、取得部１１と、解析部１２と、関連部１３と、保存部１４と、可視化部１５とを備える。
<Description of
FIG. 2 is a block diagram illustrating a functional configuration example of the
As illustrated, the
取得部１１は、表示画面２１中に表示される複数のウィンドウ画面のキャプチャを行なう際に、ウィンドウ画面のキャプチャ画像の情報およびウィンドウ画面の状態に関する情報を取得する。
When capturing a plurality of window screens displayed on the
このうち「ウィンドウ画面の状態に関する情報」は、主にテキストベースの情報である。具体的には、対象となるウィンドウ画面についての、実行モジュール名（あるいはプロセス名やタイトル名）、親のモジュール名（あるいはプロセス名やタイトル名）、操作していたファイル名、ＯＳの情報（ＯＳの種類やバージョンなど）、ユーザの情報（ユーザ名、ユーザＩＤなど）である。よってウィンドウ画面の状態に関する情報は、ウィンドウ画面についての属性情報であると考えることもできる。ここでＯＳの情報が含まれるのは、ＯＳによりＵＩ（User Interface）が変わるためである。またユーザの情報が含まれるのは、ユーザによって制限（アクセス制限等）があるためである。なおここで「対象となるウィンドウ画面」とは、ユーザがキャプチャしようとしているアクティブなウィンドウ画面である。即ち、マルチウィンドウ環境において、ユーザによる入力や操作の対象となっているウィンドウ画面である。 Of these, “information relating to the state of the window screen” is mainly text-based information. Specifically, the execution module name (or process name or title name), the parent module name (or process name or title name), the name of the file being operated, and the OS information (OS Type, version, etc.) and user information (user name, user ID, etc.). Therefore, the information regarding the state of the window screen can be considered as attribute information about the window screen. The OS information is included here because the UI (User Interface) varies depending on the OS. User information is included because there are restrictions (access restrictions, etc.) depending on the user. Here, the “target window screen” is an active window screen that the user intends to capture. That is, in a multi-window environment, this is a window screen that is the target of input and operation by the user.
また「ウィンドウ画面のキャプチャ画像の情報」は、対象となるウィンドウ画面および対象となるウィンドウ画面の背面に存在するウィンドウ画面のモジュール名（あるいはプロセス名やタイトル名）や画像情報（画像データ）である。ここで「対象となるウィンドウ画面の背面に存在するウィンドウ画面」とは、アクティブでないその他のウィンドウ画面である。なお本実施の形態でウィンドウ画面と言った場合、ダイアログ画面も含まれる。 The “window screen capture image information” is the module name (or process name or title name) and image information (image data) of the target window screen and the window screen existing behind the target window screen. . Here, the “window screen existing behind the target window screen” refers to other inactive window screens. In this embodiment, a window screen includes a dialog screen.
このとき取得部１１は、表示画面２１に表示される複数のウィンドウ画面が重なり合うときは、それぞれを重なり合わない状態に分けてキャプチャ画像の情報を取得する。
これにより、複数のウィンドウ画面が重なり合っていても、キャプチャ画像に欠落が生じにくく、再度キャプチャをやり直す作業を行なわなくてすむ。
At this time, when a plurality of window screens displayed on the
As a result, even if a plurality of window screens are overlapped with each other, the captured image is unlikely to be lost, and it is not necessary to perform the operation of capturing again.
解析部１２は、キャプチャ画像の情報およびウィンドウ画面の状態に関する情報の解析を行なう。また可視化部１５は、解析部１２により解析された解析結果を可視化して表示画面２１に表示する。
このとき解析部１２は、例えば、複数のウィンドウ画面の相互関係を示す関係情報を作成する。この場合、可視化部１５は、この関係情報を可視化して表示画面２１に再現する。またこれは、可視化部１５は、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面の相互関係を可視化して表示画面２１に再現する、と言うこともできる。
The
At this time, for example, the
以下、関係情報について詳述する。ここでは、解析部１２が、関係情報として、レイヤ構成情報、操作順序情報、グルーピング情報、親子関係情報を作成する場合についてそれぞれ説明を行なう。
Hereinafter, the related information will be described in detail. Here, the case where the
（レイヤ構成情報）
本実施の形態では、解析部１２は、ウィンドウ画面のキャプチャ画像の情報を基に、複数のウィンドウ画面のレイヤ構造を抽出した結果であるレイヤ構成情報を関係情報として作成する。この場合、解析部１２は、重なり合った複数のウィンドウ画面のレイヤ構造を抽出してレイヤ構成情報を作成する。
(Layer configuration information)
In the present embodiment, the
図３（ａ）〜（ｄ）は、解析部１２が複数のウィンドウ画面についてレイヤ構成情報を作成する方法を示した図である。
図３（ａ）は、モジュールＡ、モジュールＢ、およびモジュールＣによる３つのウィンドウ画面が表示画面２１に表示されている場合を示している。
図３（ａ）の状態からキャプチャを行なう場合、図３（ｂ）に示すように、取得部１１が、上述したようにこれらのウィンドウ画面がそれぞれを重なり合わない状態に分けてキャプチャ画像の情報を取得する。
そして解析部１２は、図３（ａ）に示すこれらのウィンドウ画面の重なりの状態から、各ウィンドウ画面のレイヤ構造を抽出する。
3A to 3D are diagrams illustrating a method in which the
FIG. 3A shows a case where three window screens by module A, module B, and module C are displayed on the
When capturing from the state of FIG. 3A, as shown in FIG. 3B, the
Then, the
さらに解析部１２は、図３（ｃ）に示すようなレイヤ構造を抽出した結果であるレイヤ構成情報を作成する。
図３（ｃ）では、モジュールＡ、モジュールＢ、およびモジュールＣのモジュール名として、それぞれ「DocuWorks Desk」、「[Dialog]DocuWorks Desk」、「検索」が作成され、そしてレイヤ構造としてレイヤ番号が作成されている。この場合、レイヤ番号が小さいほど、下層のレイヤであり、大きいほど、上層のレイヤであることを意味し、ウィンドウ画面の重なりの順序を表す。この場合、「０」が最も下層のレイヤであり、「２」が最も上層のレイヤである。そして「１」は、これらの間にあるレイヤであることを示している。また図示はしていないが、レイヤ構成情報として、それぞれのウィンドウ画面がどのように重なり合っていたか、あるいはそれぞれのウィンドウ画面の座標位置などを作成してもよい。
Further, the
In Fig. 3 (c), "DocuWorks Desk", "[Dialog] DocuWorks Desk", and "Search" are created as the module names of module A, module B, and module C, respectively, and the layer number is created as the layer structure. Has been. In this case, the smaller the layer number, the lower the layer, and the larger the layer number, the higher the layer, indicating the overlapping order of the window screens. In this case, “0” is the lowermost layer and “2” is the uppermost layer. “1” indicates that the layer is between them. Although not shown in the drawing, as the layer configuration information, how the respective window screens are overlapped, or the coordinate positions of the respective window screens may be created.
また可視化部１５は、このレイヤ構成情報を基に、ウィンドウ画面の重なりの状態を可視化して再現する。
図３（ｄ）は、レイヤ構成情報を基に、ウィンドウ画面の重なりの状態を可視化して再現したビュワー画面を示している。即ち、ウィンドウ画面の重なり具合が再現して表示されている。
これによりキャプチャ後に、これらのウィンドウ画面のレイアウトの状態を直観的に把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
Further, the
FIG. 3D shows a viewer screen that is reproduced by visualizing the overlapping state of the window screens based on the layer configuration information. That is, the overlapping state of the window screen is reproduced and displayed.
Thus, after capturing, the layout state of these window screens can be intuitively grasped, and a captured image desired by the user can be found efficiently.
（操作順序情報）
本実施の形態では、解析部１２は、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面同士の操作順序を表す操作順序情報を関係情報として作成する。
(Operation order information)
In the present embodiment, the
図４（ａ）〜（ｄ）は、解析部１２が複数のウィンドウ画面について操作順序情報を作成する方法を示した図である。
図４（ａ）〜（ｃ）は、（ａ）→（ｂ）→（ｃ）の順でページめくりをする場合を示している。
ここでは解析部１２は、ウィンドウ画面の状態に関する情報として、それぞれのウィンドウ画面のモジュール名（あるいはプロセス名やタイトル名）および作成日時を取得する。
4A to 4D are diagrams showing a method in which the
FIGS. 4A to 4C show the case of turning pages in the order of (a) → (b) → (c).
Here, the
図４（ｄ）は、１つのウィンドウ画面について解析部１２が取得したタイトル名と作成日時の例を示した図である。複数のウィンドウ画面同士の操作順序は、ウィンドウ画面の作成順序と同様であると考えられる。よって解析部１２は、この作成日時を基にそれぞれのウィンドウ画面同士の操作順序を判断し、操作順序情報を作成する。
FIG. 4D is a diagram showing an example of the title name and creation date and time acquired by the
また可視化部１５は、この操作順序情報を基に、ウィンドウ画面の操作順序を可視化して再現する。操作順序を可視化するには、例えば、図４（ａ）〜（ｃ）の画像を操作順に表示してもよく、Paper UIを利用したりアニメーションを利用してもよい。
これによりキャプチャ後に、これらのウィンドウ画面の操作順序を再現し把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
The
Thereby, after capturing, the operation order of these window screens can be reproduced and grasped, and a captured image desired by the user can be found efficiently.
（グルーピング情報）
本実施の形態では、解析部１２は、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面同士の類似度を求め、類似度を基に複数のウィンドウ画面をグルーピングした結果であるグルーピング情報を関係情報として作成する。
(Grouping information)
In the present embodiment, the
図５（ａ）〜（ｃ）は、解析部１２が複数のウィンドウ画面についてグルーピング情報を作成する方法を示した図である。
ここで図５（ａ）は、類似度を求める１つのウィンドウ画面を示している。そして解析部１２は、図５（ｂ）に示すようなウィンドウ画面の状態に関する情報を取得する。ここでは、解析部１２が、タイトル名、親のタイトル名、プロセス名、ファイル名、ＯＳバージョン、ソフトウェアバージョン、ユーザ名、直近の操作履歴、作成日時を取得した例を示している。
5A to 5C are diagrams illustrating a method in which the
Here, FIG. 5A shows one window screen for obtaining the similarity. And the
そして解析部１２は、これらの情報を基に複数のウィンドウ画面同士の類似度を求める。つまり解析部１２は、これらの情報が複数のウィンドウ画面同士でどの程度一致するかにより類似度を求める。このとき類似度が判断できる手法であれば、特に制限なく用いることができる。例えば、ｋ−ｍｅａｎｓ法でクラスタを形成し、それぞれのクラスタを１つのグループとしてグルーピングしてもよい。
And the
また可視化部１５は、このグルーピング情報を基に、ウィンドウ画面同士の関係を可視化して再現する。
図５（ｃ）は、グルーピング情報を基に、ウィンドウ画面同士の類似度を可視化して再現した画面を示している。ここでは、ウィンドウ画面同士を結ぶ線の色により類似度が示され、例えば、グレー→赤→オレンジ→緑の順に類似度が高いようにする。
ウィンドウ画面の類似度を可視化するには、このようにメタファー（metaphor）を用いてもよく、Tree Map、Tree View、Network Graphなどを用いてもよい。
これによりキャプチャ後に、これらのウィンドウ画面の類似度を直観的に把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
Further, the
FIG. 5C shows a screen reproduced by visualizing the similarity between window screens based on the grouping information. Here, the degree of similarity is indicated by the color of the line connecting the window screens. For example, the degree of similarity is made higher in the order of gray → red → orange → green.
In order to visualize the similarity between window screens, a metaphor may be used as described above, or a Tree Map, Tree View, Network Graph, or the like may be used.
As a result, the degree of similarity between these window screens can be intuitively grasped after capture, and a captured image desired by the user can be efficiently found.
（親子関係情報）
本実施の形態では、解析部１２は、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面同士の親子関係を求めた結果である親子関係情報を関係情報として作成する。ここで「ウィンドウ画面同士の親子関係」とは、あるモジュールが作成したウィンドウ画面から他のモジュールを呼び出してウィンドウ画面を作成したときに、先に作成されたウィンドウ画面を親のウィンドウ画面とし、後に作成されたウィンドウ画面を子のウィンドウ画面として、これらのウィンドウ画面についての関係を言う。
(Parent-child relationship information)
In the present embodiment, the
図６（ａ）〜（ｃ）は、解析部１２が複数のウィンドウ画面について親子関係情報を作成する方法を示した図である。
ここでは解析部１２は、ウィンドウ画面の状態に関する情報として、それぞれのウィンドウ画面のモジュール名（あるいはプロセス名やタイトル名）および親のモジュール名（あるいはプロセス名やタイトル名）を取得する。
6A to 6C are diagrams illustrating a method in which the
Here, the
図６（ａ）は、１つのウィンドウ画面について解析部１２が取得したモジュール名と親のモジュール名の例を示した図である。解析部１２は、この情報を基にそれぞれのウィンドウ画面同士の親子関係を判断し、親子関係情報を作成する。
FIG. 6A is a diagram illustrating an example of a module name and a parent module name acquired by the
図６（ｂ）は、親子関係情報の例を示した図である。ここでは、モジュール名が、「DocuWorks Desk」、「Search」、「[Dialog]DocuWorks Desk」、「Document Property」の４つのモジュールのウィンドウ画面の親子関係情報を示している。 FIG. 6B is a diagram showing an example of parent-child relationship information. Here, the module name indicates the parent-child relationship information of the window screens of the four modules “DocuWorks Desk”, “Search”, “[Dialog] DocuWorks Desk”, and “Document Property”.
また可視化部１５は、この親子関係情報を基に、ウィンドウ画面同士の親子関係を可視化して再現する。
図６（ｃ）は、グルーピング情報を基に、ウィンドウ画面同士の親子関係を可視化して再現した画面を示している。ここでは、モジュール名が「DocuWorks Desk」の親のウィンドウ画面の下に、モジュール名が「Search」および「Document Property」の子のウィンドウ画面が２つあることを示している。さらにモジュール名が「Search」のウィンドウ画面の下に、モジュール名が「[Dialog]DocuWorks Desk」の子のウィンドウ画面があることを示している。
これによりキャプチャ後に、これらのウィンドウ画面の親子関係を直観的に把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
The
FIG. 6C shows a screen reproduced by visualizing the parent-child relationship between the window screens based on the grouping information. Here, it is shown that there are two child window screens whose module names are “Search” and “Document Property” below the parent window screen whose module name is “DocuWorks Desk”. Furthermore, it shows that there is a child window screen whose module name is “[Dialog] DocuWorks Desk” under the window screen whose module name is “Search”.
As a result, the parent-child relationship of these window screens can be intuitively grasped after capture, and the capture image desired by the user can be found efficiently.
図２に戻り、関連部１３は、キャプチャ画像の情報とウィンドウ画面の状態に関する情報とを関連付ける。また関連部１３は、解析部１２が作成したレイヤ構成情報、操作順序情報、グルーピング情報および親子関係情報をキャプチャ画像の情報に対しさらに関連付ける。
Returning to FIG. 2, the associating
そして保存部１４は、キャプチャ画像の情報を文書ファイルとして保存する。このときキャプチャ画像の情報は、取得部１１で取得した状態で保存してもよく、予め定められた形式に変換して保存してもよい。
The
またウィンドウ画面の状態に関する情報（主にテキストべースの情報）は、属性情報として文書ファイルに追加する。さらに保存部１４は、解析部１２が作成した関係情報（レイヤ構成情報、操作順序情報、グルーピング情報、親子関係情報）についても、属性情報として文書ファイルに保存する。そして保存部１４は、取得部１１において、複数のウィンドウ画面が重なり合うときに、それぞれを重なり合わない状態に分けてキャプチャ画像の情報を取得した場合、これらをアノテーションとして保存する。つまり保存部１４は、これらの情報をキャプチャ画像の情報に紐付けて保存する。キャプチャ画像の情報に紐付けて保存された情報は、付加情報としてキャプチャ後にウィンドウ画面の検索、活用等を行なう際に有用となる。
Information about the state of the window screen (mainly text-based information) is added to the document file as attribute information. Further, the
また保存部１４は、操作順序情報に従い、キャプチャ画像を操作順序に即して並べ、保存するようにしてもよい。これによりユーザは、キャプチャ画像の閲覧時に、操作順で閲覧することができ、キャプチャ画像の把握がより容易になる。
The
＜情報処理装置１０の動作の説明＞
次に情報処理装置１０の動作について説明を行なう。
図７は、情報処理装置１０の動作について説明したフローチャートである。
まずユーザが、入力装置３０のホットキー等を操作することにより、情報処理装置１０に対し、表示画面２１に表示されているウィンドウ画面のキャプチャを行なうことを指示する（ステップ１０１）。
<Description of Operation of
Next, the operation of the
FIG. 7 is a flowchart illustrating the operation of the
First, the user operates the hot key or the like of the
この場合、まず取得部１１が、ウィンドウ画面のキャプチャ画像の情報およびウィンドウ画面の状態に関する情報を取得する（ステップ１０２）。このとき取得部１１は、複数のウィンドウ画面が重なり合うときは、それぞれを重なり合わない状態に分けてキャプチャ画像の情報を取得する。
In this case, the
次に解析部１２は、図３で説明したような方法で、ウィンドウ画面のキャプチャ画像の情報を基に、複数のウィンドウ画面のレイヤ構造を抽出した結果であるレイヤ構成情報を作成する（ステップ１０３）。
Next, the
また解析部１２は、図４で説明したような方法で、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面同士の操作順序を表す操作順序情報を作成する（ステップ１０４）。
Further, the
さらに解析部１２は、図５で説明したような方法で、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面同士の類似度を求める（ステップ１０５）。そして解析部１２は、類似度を基に複数のウィンドウ画面をグルーピングした結果であるグルーピング情報を作成する（ステップ１０６）。
Further, the
また解析部１２は、図６で説明したような方法で、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面同士の親子関係を求めた結果である親子関係情報を作成する（ステップ１０７）。
Further, the
次に関連部１３が、キャプチャ画像の情報に対し、ウィンドウ画面の状態に関する情報を関連付ける。さらに関連部１３は、キャプチャ画像の情報に対し、解析部１２が作成した関係情報（レイヤ構成情報、操作順序情報、グルーピング情報、親子関係情報）をキャプチャ画像の情報に対し関連付ける（ステップ１０８）。
Next, the associating
そして保存部１４が、キャプチャ画像の情報を文書ファイルとして保存する（ステップ１０９）。このとき保存部１４は、ウィンドウ画面の状態に関する情報（主にテキストべースの情報）を、属性情報として文書ファイルに追加する。さらに保存部１４は、解析部１２が作成した関係情報（レイヤ構成情報、操作順序情報、グルーピング情報、親子関係情報）を、属性情報として文書ファイルに保存する。そして保存部１４は、取得部１１において、複数のウィンドウ画面が重なり合うときに、それぞれを重なり合わない状態に分けてキャプチャ画像の情報を取得した場合、これらをアノテーションとして保存する。
The
なお可視化部１５は、ユーザからの要求により、解析部１２で作成した関係情報（レイヤ構成情報、操作順序情報、グルーピング情報、親子関係情報）を可視化して表示する（ステップ１１０）。
The
以上詳述した情報処理装置１０によれば、ウィンドウ画面のキャプチャを行なう際に、キャプチャ画像の情報に対し必要な情報を関連付けて記録することができる。これにより従来技術で画像を基にこのような情報を作成する場合、例えば、モジュール名（あるいはプロセス名やタイトル名）のような情報が欠落するが、本実施の形態では、付加情報として抽出される。また本実施の形態では、これを含む上述したウィンドウ画面の状態に関する情報（主にテキストべースの情報）が付加情報として保存される。その結果、ユーザがキャプチャ後に、検索等を行なう際に、必要な付加情報の欠落が生じにくくなる。
According to the
また本実施の形態の情報処理装置１０は、これらの付加情報をいわば自動的に作成するため、ユーザが記録する場合に比較して、記録忘れによる付加情報の欠落が生じにくい。
In addition, since the
また本実施の形態の情報処理装置１０は、ウィンドウ画面の相互関係を表す関係情報（レイヤ構成情報、操作順序情報、グルーピング情報、親子関係情報）を取得する。ウィンドウ画面は非常に似ているものが多く、キャプチャ後にウィンドウ画面が何であったかの把握が困難であることがある。しかしユーザは、この関係情報を参照することで、ウィンドウ画面の相互関係を把握することができ、より効率的にユーザが希望するキャプチャ画像を探し出すことができる。また本実施の形態では、関係情報の可視化を行なうことができ、これによりユーザは、ウィンドウ画面の相互関係を直観的に把握することができる。
Further, the
このように本実施の形態の情報処理装置１０によれば、キャプチャ画像の検索、活用がより容易となる。そしてユーザの手間を軽減することができ、キャプチャ画像の作り直しなどが生じにくくなる。
As described above, according to the
なお上述した例では、キャプチャを行なうウィンドウ画面は静止画であったが、これに限られるものではない。例えば、動画であってもよい。 In the example described above, the window screen to be captured is a still image, but is not limited thereto. For example, it may be a video.
＜プログラムの説明＞
ここで以上説明を行った本実施の形態における情報処理装置１０が行なう処理は、例えば、ブラウザ等のアプリケーションソフトウェアのプログラムとして用意される。
<Description of the program>
The processing performed by the
よって本実施の形態で、情報処理装置１０が行なう処理は、コンピュータに、表示画面２１中に表示される複数のウィンドウ画面のキャプチャを行なう際に、ウィンドウ画面のキャプチャ画像の情報およびウィンドウ画面の状態に関する情報を取得する取得機能と、キャプチャ画像の情報とウィンドウ画面の状態に関する情報とを関連付ける関連機能と、を実現させるためのプログラムとして捉えることもできる。
Therefore, in the present embodiment, the processing performed by the
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。 The program for realizing the present embodiment can be provided not only by communication means but also by storing it in a recording medium such as a CD-ROM.
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。 Although the present embodiment has been described above, the technical scope of the present invention is not limited to the scope described in the above embodiment. It is clear from the description of the scope of the claims that various modifications or improvements added to the above embodiment are also included in the technical scope of the present invention.
１…情報処理システム、１０…情報処理装置、１１…取得部、１２…解析部、１３…関連部、１４…保存部、１５…可視化部、２０…表示装置、２１…表示画面、３０…入力装置
DESCRIPTION OF
Claims (12)
前記キャプチャ画像の情報と前記ウィンドウ画面の状態に関する情報とを関連付ける関連部と、
を備える情報処理装置。 When capturing a plurality of window screens displayed in the display screen, an acquisition unit that acquires information on a captured image of the window screen and information on the state of the window screen;
An associated unit that associates information about the captured image with information about the state of the window screen;
An information processing apparatus comprising:
前記ウィンドウ画面の状態に関する情報を基に、複数の前記ウィンドウ画面の相互関係を可視化して前記表示画面に再現する可視化部と、
を備える情報処理装置。 When capturing a plurality of window screens displayed in the display screen, an acquisition unit that acquires information on a captured image of the window screen and information on the state of the window screen;
Based on information related to the state of the window screen, a visualization unit that visualizes the interrelationship of the plurality of window screens and reproduces the display screen;
An information processing apparatus comprising:
前記表示装置に表示される複数の前記ウィンドウ画面のキャプチャを行なう情報処理装置と、
を備え、
前記情報処置装置は、
前記表示画面中に表示される複数の前記ウィンドウ画面のキャプチャを行なう際に、当該ウィンドウ画面のキャプチャ画像の情報および当該ウィンドウ画面の状態に関する情報を取得する取得部と、
前記キャプチャ画像の情報と前記ウィンドウ画面の状態に関する情報とを関連付ける関連部と、
を備える情報処理システム。 A display device for displaying a plurality of window screens on the display screen;
An information processing device for capturing a plurality of the window screens displayed on the display device;
With
The information processing apparatus includes:
When capturing a plurality of window screens displayed in the display screen, an acquisition unit that acquires information on a captured image of the window screen and information on the state of the window screen;
An associated unit that associates information about the captured image with information about the state of the window screen;
An information processing system comprising:
表示画面中に表示される複数のウィンドウ画面のキャプチャを行なう際に、当該ウィンドウ画面のキャプチャ画像の情報および当該ウィンドウ画面の状態に関する情報を取得する取得機能と、
前記キャプチャ画像の情報と前記ウィンドウ画面の状態に関する情報とを関連付ける関連機能と、
を実現させるためのプログラム。 On the computer,
When capturing a plurality of window screens displayed in the display screen, an acquisition function for acquiring information on a captured image of the window screen and information on the state of the window screen;
A related function for associating information on the captured image with information on the state of the window screen;
A program to realize
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017101387A JP6957973B2 (en) | 2017-05-23 | 2017-05-23 | Information processing equipment, information processing systems and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017101387A JP6957973B2 (en) | 2017-05-23 | 2017-05-23 | Information processing equipment, information processing systems and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018197896A true JP2018197896A (en) | 2018-12-13 |
| JP6957973B2 JP6957973B2 (en) | 2021-11-02 |
Family
ID=64663444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017101387A Active JP6957973B2 (en) | 2017-05-23 | 2017-05-23 | Information processing equipment, information processing systems and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6957973B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7395416B2 (en) | 2020-04-16 | 2023-12-11 | Ｄｙｎａｂｏｏｋ株式会社 | Electronic equipment, window arrangement methods and programs |
| JP7433144B2 (en) | 2020-06-19 | 2024-02-19 | 株式会社オービック | Screen shot shooting device, screen shot shooting method and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05189188A (en) * | 1992-01-14 | 1993-07-30 | Hitachi Ltd | Multiwindow display control system |
| JP2005084699A (en) * | 2003-09-04 | 2005-03-31 | Ricoh Co Ltd | Multiwindow display controller and computer system using it |
| JP2014164456A (en) * | 2013-02-25 | 2014-09-08 | Brother Ind Ltd | Display device |
| JP2014164560A (en) * | 2013-02-26 | 2014-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Dynamic manual creation device and method therefor and computer program |
-
2017
- 2017-05-23 JP JP2017101387A patent/JP6957973B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05189188A (en) * | 1992-01-14 | 1993-07-30 | Hitachi Ltd | Multiwindow display control system |
| JP2005084699A (en) * | 2003-09-04 | 2005-03-31 | Ricoh Co Ltd | Multiwindow display controller and computer system using it |
| JP2014164456A (en) * | 2013-02-25 | 2014-09-08 | Brother Ind Ltd | Display device |
| JP2014164560A (en) * | 2013-02-26 | 2014-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Dynamic manual creation device and method therefor and computer program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7395416B2 (en) | 2020-04-16 | 2023-12-11 | Ｄｙｎａｂｏｏｋ株式会社 | Electronic equipment, window arrangement methods and programs |
| JP7433144B2 (en) | 2020-06-19 | 2024-02-19 | 株式会社オービック | Screen shot shooting device, screen shot shooting method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6957973B2 (en) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10909307B2 (en) | Web-based system for capturing and sharing instructional material for a software application | |
| US9928242B2 (en) | Managing the content of shared slide presentations | |
| US20180300327A1 (en) | Display, visualization, and management of images based on content analytics | |
| US8108789B2 (en) | Information processing device, user interface method, and information storage medium | |
| JP4701124B2 (en) | Information processing apparatus and information processing method | |
| JP5747229B2 (en) | Inspection support system | |
| US20130262968A1 (en) | Apparatus and method for efficiently reviewing patent documents | |
| WO2018174365A1 (en) | Method for visualizing chart of data table | |
| US11218639B1 (en) | Mobile interface for marking and organizing images | |
| JP2010165178A (en) | Information processing method and information processor | |
| JP6957973B2 (en) | Information processing equipment, information processing systems and programs | |
| US10791017B2 (en) | Method and device for connecting a group of information items | |
| JP6070116B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
| CN104951477B (en) | Method and apparatus for crossing filter data | |
| US20100199202A1 (en) | Selecting Channels of a Data Set for Visibility | |
| KR20140134154A (en) | Method and Terminal for Extracting a Object from Image | |
| JP2006107020A (en) | Content management system, content management method and computer program | |
| JP4910593B2 (en) | Document management apparatus, document management method, and program | |
| JP5634592B1 (en) | Inspection support system | |
| US10324621B2 (en) | Facilitating analysis of use interface gesture patterns | |
| JP2008176425A (en) | Catalog preparation system, parts catalog preparation method, program, and recording medium | |
| US9710477B2 (en) | Method for file system management and associated data structure | |
| JP7287486B2 (en) | Attachment and restoration of sticky notes to visualized data | |
| JP2010097292A (en) | Information processing apparatus and information processing method | |
| JP2020135341A (en) | Information processor and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200327 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210812 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210920 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6957973 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |