JP2016224599A5

JP2016224599A5 -

Info

Publication number: JP2016224599A5
Application number: JP2015108401A
Authority: JP
Filing date: 2015-05-28
Publication date: 2017-09-14

Description

操作対象の検出は、一つには画像処理により行うことができる。例えば、多くのアプリケーションプログラムでは、操作者（作成者）のマウスカーソルが重畳したり接近した場合に、画像表示がハイライトされるなどの変化を生ずるようになっている。このようなアプリケーションでは、操作者（作成者）の操作によりそのような変化が生じると、操作対象検出部は該画像の変化を画像処理（変化前と後の画像の差分を算出する等）により検出し、該検出した領域を操作対象の候補とする。画像処理による検出以外にも、API（Application Programming Interface）等の機能を用いて検出することができる。例えば、APIを使用して、マウスカーソル（フォーカス）が当たっているウィンドウコントロールの位置を割り出すことができる。操作対象検出部は、この検出結果に基づいて操作対象の候補を検出する。

本発明の一実施形態であるガイドファイル作成プログラムが動作する分析システムの概略構成図。本実施形態に係るガイドファイル作成プログラムの動作のフローチャート。本実施形態に係るガイドファイル作成プログラムの実行画面の例で、(a)はコンテンツを作成する画面、(b)はデータ形式を選択する画面。分析装置制御プログラムの表示画面の一例で、(a)はハイライト表示無しの例。(b)はメニューバーの表示がハイライト表示された例。本実施形態におけるガイド表示が重畳された分析装置制御プログラムの実行画面の例。本実施形態におけるガイド表示を拡大／縮小する実行画面の例。本実施形態において記憶部に格納される画像データの例。(a)はキャプチャ画像Ａ、(b)はキャプチャ画像Ｂ、(c)は最終的な画像イメージ。本実施形態に係るガイド表示を実行画面上に複数表示した例。本実施形態に係るガイド表示内の一部だけをキャプチャ画像Ａとして格納した画像の例。

本分析システムにおいて、分析装置２０（例えば液体クロマトグラフ）には分析制御システム１が接続されており、分析制御システム１は分析装置２０の動作を制御したり、分析装置２０において実行された測定結果を解析したりする。
分析制御システム１の実体は汎用コンピュータ（ＰＣ）であり、中央演算装置（ＣＰＵ）、メモリ、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）等から構成される大容量記憶装置等を含む。該大容量記憶装置の一部はガイドファイル作成プログラム３が作成したデータを格納するための記憶部９として使用される。また、分析制御システム１では、Windows（登録商標）等のオペレーティングシステム（ＯＳ）上で分析装置制御プログラム２（本発明における対象プログラムに対応）が実行される。

ガイドファイル作成プログラム３の構成について説明する。ガイドファイル作成プログラム３は、操作対象検出部４、ガイド表示部５、ガイド文表示部６、コンテンツ格納部７、ガイドファイル作成部８から構成される。これらはいずれも分析制御システム１のＰＣ上でソフトウェア的に具現化される。

ガイド表示４２が表示されるのと同じタイミングで、ガイド文表示部６は図５に示す指示文表示４３及びコメント文表示４４（それぞれが本発明におけるガイド文に対応）を制御実行画面４０に重畳させて表示する。これらの表示位置は図５のようにガイド表示４２の近傍とすることが好ましいが、指示文表示４３やコメント文表示４４をドラッグすることで、作成者が表示位置や大きさを変更することができるようにしてもよい。表示位置や大きさを可変とすることで、指示文表示４３やコメント文表示４４により制御実行画面４０に表示されているボタンや情報が隠れることを防ぐことができる。

指示文表示４３及びコメント文表示４４に表示される内容は、それぞれ指示文入力欄３３とコメント文入力欄３４において、作成者により指定された項目に応じて表示される。本実施形態では、指示文入力欄３３の表示の一例として、「クリックします」、「ダブルクリックします」、「右クリックします」の文字列が規定されており、作成者はこれらのいずれかを選択することで指示文表示４３の表示を変更することができる。また、「自由入力」の欄では作成者が文字列を自由に入力し、指示文表示４３に表示させることができる。また、コメント文入力欄３４において「なし」が選択されると、コメント文表示４４が消去される。「画像選択」が選択されると、ガイド文表示部６は分析制御システム１の大容量記憶装置等に予め保存されている画像データを選択する画面を表示し、選択画面において作成者により選択された画像をコメント文表示４４に表示する。「次へ（ボタン）」は操作ナビゲーションプログラム専用の表示である。この項目を含むデータが操作ナビゲーションプログラムにおいて利用されると、ガイド文が「次へ」といった名称のボタンとして表示され、該ボタンをクリックすることで、次の操作手順を表示することができる。（操作ナビゲーションプログラムでは、対象位置に特定のマウス操作を行う、又は「次へ」ボタンをクリックすることで次の手順に移る。）
また、指示文表示４３やコメント文表示４４をクリックすることで、指示文又はコメント文を直接入力することもできる。

ガイド表示４２、指示文表示４３及びコメント文表示４４が表示されている状態で、作成者により対象プログラムに対して操作がなされると、ガイドファイル作成プログラム３はこの操作を検出し（ステップＳ６）、該操作がターゲットクリアボタン３２をクリックする操作である場合、（ステップＳ７でＮｏ、ステップＳ８でＹＥＳ）、ガイド表示部５はガイド表示４２、指示文表示４３及びコメント文表示４４を消去し（ステップＳ９）、その後、再びステップＳ１から処理を行う。ガイド表示４２が作成者の意図しない位置に表示された場合、作成者はターゲットクリアボタン３２をクリックすることで、ガイド表示４２の表示処理等のやり直しをすることができる。

作成者によってガイド表示４２内にクリック等の操作がされると（ステップＳ６の後、Ｓ７でＹＥＳ）、コンテンツ格納部７は上記のキャプチャ画像等のコンテンツを記憶部９に格納する（ステップＳ１１）。この格納処理では、キャプチャ画像Ａの操作対象の画像（図７(a)）、キャプチャ画像Ｂのガイド表示４２に囲まれた領域付近の画像（例えば、操作対象を含むウインドウ全体）（図７(b)）、ガイド表示の位置（図７(a)の操作対象からの相対座標）・形状、指示文及びコメント文の文字列（画像が選択された場合は該画像）と表示位置のガイド表示４２からの相対座標、ステップＳ６においてガイド表示４２内になされた操作の内容（クリック、ダブルクリック等）、該操作が行われた位置のガイド表示４２を基準とした相対座標、ガイド表示４２や指示文、図等の配置を行った最終的な画面イメージ（図７(c)）が格納される。

すべての操作手順を記録した後、又は任意のタイミングで作成者によって終了ボタン３６がクリックされると（ステップＳ１４でＹＥＳ）、ガイドファイル作成プログラム３は、図３(b)に示すデータ形式選択画面３７を表示する。作成者によりデータ形式が選択され、ＯＫボタンがクリックされると、ガイドファイル作成部８は記憶部９に格納されたデータを作成者が指定したデータ形式に変換する（ステップＳ１５）。指定のデータ形式には、電子マニュアルに使用されるＰＤＦ形式、ＨＴＭＬ形式、ＭＰＥＧ形式がある。これらのデータ形式では、例えばガイド表示の位置や解説文、図の配置を行った最終的な画面イメージをステップの順番に並べて表示した電子マニュアルとして作成される。また、順番に並べずに作成者が任意の順番で、コメント等を再編集しながらガイドファイルを作成してもよい。データ形式は上記に限られるものでなく、各種の文書形式、動画形式等としてガイドファイルを作成してもよい。

また、コンテンツ格納部７が格納したコンテンツを操作ナビゲーションプログラムで使用することも可能である。特許文献１の段落[００２２]では追加ＧＵＩを表示するために必要なデータ一覧が記載されており、該データ一覧の「参照画像」が本実施形態における「キャプチャ画像Ａのガイド表示で囲まれた領域」、「追加ＧＵＩの画像」が「ガイド表示」、「追加ＧＵＩの指定表示位置情報」が「ガイド表示の位置」、「測定装置制御プログラムに対して実行する操作」が「ガイド表示内になされた操作の内容」にそれぞれ対応している。これらのデータを操作ナビゲーションプログラムが読み込むことで、ガイドファイルとして表示（ナビゲーションを再生）することも可能である。

上記実施形態ではキャプチャ画像Ａ及びＢを自動で取得するものとしたが、取得タイミングを作成者が指定してもよい。この場合、ガイド表示部５は、作成者が特定のボタン（キーボードのCtrlなど）を押下したことを検出すると、デスクトップイメージを取得し、キャプチャ画像Ａとして格納する。その後、作成者が再度特定のボタンを押下したことを検出すると、デスクトップイメージを再度取得し、キャプチャ画像Ｂとして格納する。そして、作成者が再度ボタンを押す毎にキャプチャ画像Ｂの更新を行う。この構成では、作成者が任意のタイミングでデスクトップイメージを取得できるため、操作ミス等によりガイド表示４２が意図しない位置へ表示されることを防ぐことができる。

また、キャプチャ画像の変化やAPIによる検出方法で複数同時に検出した場合には、それぞれの変化した部分に優先順位をつけて、優先順位の最も高い変化部分のみを操作対象として検出する構成としてもよい。優先順位の付け方として、マウスカーソルから一番近い囲み領域をガイド表示したり、マウスカーソルから一定距離の範囲内の囲み領域のみガイド表示を行うことで、作成者が操作しようとしているボタンを優先的に操作対象とすることができる。

また、上記実施形態では、指示文表示４３とコメント文表示４４をそれぞれ1つずつ表示する構成としたが、2つ以上を表示してもよい。ガイドファイル作成プログラム３の実行画面（作成補助画面）３０に指示文追加ボタンやコメント文追加ボタンを設け、図８に示すように、同一のステップ内に複数の指示文やコメント文を表示してもよい。
これとは逆に指示文表示４３とコメント文表示４４を表示しないようにしてもよい。コメント文入力欄３４の「なし」の選択肢を指示文入力欄３３にも設けることで、指示文及びコメント文の表示を消去できる構成とすることができる。

ステップＳ１１において、キャプチャ画像Ａ内のガイド表示４２に囲まれた領域（以下、「ガイド内画像Ａ」と呼ぶ。）が記憶部９へ格納されるが、この格納される画像データは該ガイド内画像Ａの一部のみとすることもできる。
特許文献１に記載された操作ナビゲーションプログラムでは、参照画像（ガイド内画像Ａ）を参照して、対象プログラム等が表示されたデスクトップイメージの中から前記参照画像に対応する画像を検出する。このとき、前記画像の検出には画像マッチング、パターン認識といった各種検出技術が用いられるが、参照画像のサイズが大きいと、これらの検出処理の負荷が大きくなり、動作速度が遅くなるなどの問題が発生する。また、参照画像（ガイド内画像Ａ）に操作対象周辺の余計な部分が含まれると、対象プログラム画面のレイアウト変更などにより余計な部分の変化が発生したときに参照画像（ガイド内画像Ａ）と同じ画像が検出されなくなる問題も発生する。
参照画像（ガイド内画像Ａ）のサイズを、図９に示すように、操作ナビゲーションプログラムにおける前記検出処理において対象として認識できる範囲で小さくすることで、前記画像処理の負荷を低減し、動作速度を向上させるとともに、対象プログラム画面のレイアウト変更などにも影響されないようにすることができる。また、記憶部９に格納する画像データのデータ量も低減することもできる。

１…分析制御システム
２…分析装置制御プログラム
３…ガイドファイル作成プログラム
４…操作対象検出部
５…ガイド表示部
６…ガイド文表示部
７…コンテンツ格納部
８…ガイドファイル作成部
９…記憶部
１０…表示部
１１…入力部
２０…分析装置
３０…作成補助画面
３１…作成開始ボタン
３２…ターゲットクリアボタン
３３…指示文入力欄
３４…コメント文入力欄
３５…ステップ数表示
３６…終了ボタン
３７…データ形式選択画面
３８…ＯＫボタン
４０…制御実行画面
４１…ハイライト表示
４２…ガイド表示
４３…指示文表示
４４…コメント文表示