JP2016224599A - ガイドファイル作成プログラム - Google Patents

ガイドファイル作成プログラム Download PDF

Info

Publication number
JP2016224599A
JP2016224599A JP2015108401A JP2015108401A JP2016224599A JP 2016224599 A JP2016224599 A JP 2016224599A JP 2015108401 A JP2015108401 A JP 2015108401A JP 2015108401 A JP2015108401 A JP 2015108401A JP 2016224599 A JP2016224599 A JP 2016224599A
Authority
JP
Japan
Prior art keywords
guide
display
program
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015108401A
Other languages
English (en)
Other versions
JP2016224599A5 (ja
Inventor
木原 隆幸
Takayuki Kihara
隆幸 木原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2015108401A priority Critical patent/JP2016224599A/ja
Priority to US15/150,567 priority patent/US20160350137A1/en
Priority to CN201610363866.8A priority patent/CN106201454A/zh
Publication of JP2016224599A publication Critical patent/JP2016224599A/ja
Publication of JP2016224599A5 publication Critical patent/JP2016224599A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

【課題】電子マニュアルや操作ナビゲーションプログラムの作成をより容易にするための道具であるプログラムを提供する。
【解決手段】対象プログラム実行中に該対象プログラムを操作する対象プログラム操作者をガイドするためのガイドファイルを作成するためのプログラムであって、対象プログラムを操作する作成者の操作対象を検出する操作対象検出部と、ガイド表示を前記操作対象の近傍に重畳して表示するガイド表示部と、前記操作対象に関する所定のガイド文及び/又は作成者に入力させる欄を前記表示画面に表示するガイド文表示部と、前記操作対象、ガイド表示等を記憶部に格納するコンテンツ記憶部と、前記記憶部に格納されたコンテンツを用いて前記ガイドファイルを作成するガイドファイル作成部として動作させることで、対象プログラムを操作しながらガイドファイルを作成することができる。
【選択図】図1

Description

本発明は、グラフィカル・ユーザ・インターフェース(GUI)を用いてユーザによるプログラムの操作を補助するマニュアルやプログラムを作成するためのプログラムに関する。
コンピュータでは様々なプログラムを使って様々な作業を行うことができるが、それらのプログラムの数が増えるに従い、各プログラムに特有の操作が増え、ユーザにとってはそれらを全て憶えて正しく操作することが困難となってくる。従って、或るプログラムについて、そのプログラムを正しく操作するために、あるいはそのプログラムが持つ様々な機能を紹介するために、印刷されたマニュアルや、パソコン上で再生することができる電子マニュアルが用意されることがある。電子マニュアルはリンクで関連箇所に移動したり動きを入れることもできるため各種操作が直感的に分かりやすく、低コストで制作・流通させることができることから、近年は印刷版よりも広く用いられるようになっている。
近年、分析装置等の多くの産業機器は、汎用のコンピュータに専用のプログラムをインストールすることにより構成した制御装置により制御を行うことが多くなっている。これにより操作が容易になるとともに、制御用データや測定データ等を別のプログラム(アプリケーションプログラム)で利用することができるようになるためである。このような制御装置では特に、分析装置等を制御したりその測定データを解析するための専用プログラムは特殊性が高く、ユーザにとってその操作を正しく憶えるのは難しい。また、操作を誤った場合、分析等が行えなくなったり、誤ったデータが得られるという事態が生じる。従って、これらの専用プログラムにおいては特に正しい操作を教えることの必要性が高いため、詳しいマニュアルを作成しておく必要がある。
電子マニュアルは、対象とするプログラム(対象プログラム)とは別にコンピュータ上で視聴するものであるが、本願発明者は、対象プログラムを実行しつつ、ユーザがそれを操作する際に、その操作対象を自動的に検出し、対象プログラムの表示を損なうことなくそれに重畳させてガイド等を表示するプログラムを提案した(特許文献1。以下、これを「操作ナビゲーションプログラム」又は「操作ナビゲーション」と呼ぶ。)。これは、対象プログラムを実行しつつ、必要な操作について的確にガイドを得ることができるため、ユーザにとっては電子マニュアルよりも更に理解しやすく、操作ミスを防ぐことができる。
特開2015-035120号公報
前記従来の電子マニュアルや操作ナビゲーションは、ユーザにとっては便利なものであるが、いずれも予め作成しておかなければならない。例えば電子マニュアルの場合、対象プログラムを実行して実際に操作しつつ、ポイントとなる時点でその画面又はその一部(コンテンツ)をキャプチャしておき、それらをためておく。全てのコンテンツが揃った後、各コンテンツをユーザの想定操作順に応じて並べ、各画面に適切な矢印や丸印等のガイドを付したり注意書き(コメント)を付さなければならない。操作ナビゲーションの場合は、各時点において対象プログラムの表示に重畳表示すべき枠等のガイドを作成し、適切な操作ガイドを付さなければならない。
これらは多くの場合、対象プログラムの制作者により作成されるが、それとは無関係のユーザ等が作成することもある。特に後者の場合、対象プログラムを実行し操作している間は想定ユーザに対するガイドやコメントも的確なものとすることができるが、一旦ためたコンテンツを並べ、編集する際には、対象プログラムから離れているため、的確なガイドやコメントを付す作業は難しいものとなる。また、これらコンテンツを専用のプログラムで自動で並べることも可能ではあるが、ユーザにとって理解し易いものにするためには、コメント等を再編集するなどの作業が必要となり作成者の負担は大きいものであった。
本発明が解決しようとする課題は、ユーザが理解し易い電子マニュアルや操作ナビゲーションプログラム(以下、これらを総称して「ガイドファイル」と呼ぶ。)を容易に作成するためのプログラムを提供することである。
上記課題を解決するために成された本発明は、対象プログラム実行中に該対象プログラムを操作する対象プログラム操作者をガイドするためのガイドファイルを作成するためのプログラムであって、コンピュータを、
a) 対象プログラムの表示画面において、所定のタイミングで、該対象プログラムを操作する作成者の操作対象を検出する操作対象検出部と、
b) 対象プログラム操作者の注意を前記操作対象に向けるための図形表示であるガイド表示を前記操作対象の近傍に表示するガイド表示部と、
c) 前記操作対象に関する所定のガイド文及び/又は作成者に入力させる入力欄を表示するガイド文表示部と、
d) 前記操作対象、前記ガイド表示、及び、前記ガイド文及び/又は作成者が前記入力欄に入力した文を所定の記憶部に格納するコンテンツ格納部と、
e) 前記記憶部に格納されたコンテンツを用いて前記ガイドファイルを作成するガイドファイル作成部と
して動作させることを特徴とする。
ここで「作成者」は、本発明に係るプログラムを用いて対象プログラムのガイドファイルを作成する者である。こうして作成されたガイドファイルは、対象プログラムを利用する(操作する)ユーザである「対象プログラム操作者」の利用の便に供される。
操作対象検出部において操作対象を検出する所定のタイミングは、予め決められた時間間隔毎としてもよいし、作成者が所定の操作を行ったタイミングとしてもよい。前者の予め決められた時間間隔では、例えば、0.5秒毎に操作対象の検出が行われる。この時間間隔は、0.5から1.0秒程度であることが好ましい。後者の場合、例えば作成者によりキーボードのCtrlボタンが押下されることをトリガーとして操作対象の検出がおこなわれる。
操作対象の検出は、一つには画像処理により行うことができる。例えば、多くのアプリケーションプログラムでは、操作者(作成者)のマウスカーソルが重畳したり接近した場合に、画像表示がハイライトされるなどの変化を生ずるようになっている。このようなアプリケーションでは、操作者(作成者)の操作によりそのような変化が生じると、操作対象検出部は該画像の変化を画像処理(変化前と後の画像の差分を算出する等)により検出し、該検出した領域を操作対象の候補とする。画像処理による検出以外にも、API(Application Programing Interface)等の機能を用いて検出することができる。例えば、APIを使用して、マウスカーソル(フォーカス)が当たっているウィンドウコントロールの位置を割り出すことができる。操作対象検出部は、この検出結果に基づいて操作対象の候補を検出する。
これらの操作対象の検出方法は、作成者が予めどちらの検出方法を利用するかを選択してもよいし、これらの検出方法を併用してもよい。
さらに、操作対象検出部は上記の操作対象の候補の中から操作対象を選定してもよい。操作対象の候補が一つだけ検出された場合には、該候補を操作対象とし、複数の操作対象の候補が同時に検出された場合には、検出された全ての候補を操作対象としてもよいし、それぞれの候補に優先順位を付けて、該優先順位が高い操作対象の候補を操作対象としてもよい。
ガイド表示部は、検出された操作対象の近傍にガイド表示を表示する。ガイド表示は、対象プログラムの画面表示に重畳して、或いはその近傍に表示するのが望ましいが、場合によってはそれから離れた場所であってもよい。また、その形状は四角形や円形等の枠状、操作対象の形状に合わせた形状とすることができる。なお、操作対象に重畳して表示する場合には、ガイド表示は半透明とすることが望ましい。
ガイド文表示部は、前記ガイド表示の周辺に、操作対象に関する所定のガイド文や、作成者が入力するための入力欄(以下、これらを「ガイド文等」と言う。)を表示する。作成者はこの入力欄に、操作対象に行う操作内容や操作時の注意事項などの指示文やコメント文を入力する。
コンテンツ格納部は、上記の各部において作成された操作対象、ガイド表示、ガイド文等のコンテンツのデータを記憶部に格納する。なお、このような格納を行うタイミングは、作成者がキーボード等により格納のための操作を行った時点としてもよいし、作成者が前記のように入力欄に文を入力し終えた時点や操作対象に所定の操作を行った時点とすることができる。後者のようにすることにより、対象プログラムが次の表示画面に進む(操作手順が進行する)と同時に、現在の表示画面において作成者が入力した上記コンテンツのデータが自動的に格納される。
上記コンテンツの格納が繰り返し行われることで、対象プログラムの表示画面や操作内容等のコンテンツに関するデータ等が順次記憶部に蓄積される。なお、記憶部には各段階でキャプチャされたキャプチャ画像も格納され、蓄積される。
ガイドファイル作成部は、記憶部に格納されたコンテンツを材料として、電子マニュアルや、動画マニュアル、操作ナビゲーションプログラム用のデータなどのガイドファイルを作成する。このとき、ガイドファイル作成に使用される前記コンテンツは、ガイド表示やガイド文等が適切に付されているため、わかりやすいガイドファイルを作成することができる。さらに、操作手順の順に格納することで、これらコンテンツを自動的に時系列に並べるなどの簡単な方法でも、わかりやすいガイドファイルを作成することができる。
上記ガイドファイルを作成するためのプログラムは、更に、
f) 前記ガイド表示の位置、形状を変更するガイド表示編集部
を有する構成としてもよい。
このような構成とすることで、作成者はガイド表示を自由に編集することができる。従って、前記操作対象検出部で検出された操作対象が、作成者の意図しない位置や大きさであったとしても、作成者が所望の位置、形状に変更することができる。
本発明に係るガイドファイル作成プログラムを用いると、ガイドファイルの作成者は対象プログラムの操作を行いながらその時点で解説文等のコンテンツを配置し作成することができるため、的確なガイドやコメントを容易に付すことができる。これらのガイドやコメントが付されたコンテンツを利用することで、操作者が理解し易いガイドファイルを容易に作成することができる。
本発明の一実施形態であるガイドファイル作成プログラムが動作する分析システムの概略構成図。 本実施形態に係るガイドファイル作成プログラムの動作のフローチャート。 本実施形態に係るガイドファイル作成プログラムの実行画面の例で、(a)はコンテンツを作成する画面、(b)はデータ形式を選択する画面 分析装置制御プログラムの表示画面の一例で、(a)はハイライト表示無しの例。(b)はメニューバーの表示がハイライト表示された例。 本実施形態におけるガイド表示が重畳された分析装置制御プログラムの実行画面の例。 本実施形態におけるガイド表示を拡大/縮小する実行画面の例。 本実施形態において記憶部に格納される画像データの例。(a)はキャプチャ画像A、(b)はキャプチャ画像B、(c)は最終的な画像イメージ。 本実施形態に係るガイド表示を実行画面上に複数表示した例。 本実施形態に係るガイド表示内の一部だけをキャプチャ画像Aとして格納した画像の例。
以下、本発明に係るガイドファイル作成プログラムの実施形態について、図面を参照しつつ詳細に説明する。
図1は本発明の一実施形態であるガイドファイル作成プログラムが動作する分析システムの概略構成図である。
本分析システムにおいて、分析装置20(例えば液体クロマトグラフ)には分析制御システム1が接続されており、分析制御システム1は分析装置20の動作を制御したり、分析装置20において実行された測定結果を解析したりする。
分析制御システム1の実体は汎用コンピュータ(PC)であり、中央演算装置(CPU)、メモリ、ハードディスクドライブ(HDD)やソリッドステートドライブ(SSD)等から構成される大容量記憶装置等を含む。該大容量記憶装置の一部はガイドファイル作成プログラムが作成したデータを格納するための記憶部9として使用される。また、分析制御システム1では、Windows(登録商標)等のオペレーティングシステム(OS)上で分析装置制御プログラム2(本発明における対象プログラムに対応)が実行される。
分析制御システム1は液晶ディスプレイ等から構成され各種情報を表示する表示部10と、マウス、キーボードから構成されユーザが各種の命令を入力する入力部11とが接続されている。なお、図1において表示部10と入力部11は分析制御システム1の外部に描かれているが、例えば分析制御システム1がタブレット型コンピュータによって構成されているような場合には、表示部10、入力部11は分析制御システム1の内部に組み込まれる。
ガイドファイル作成プログラム3は、分析制御システム1の中で動作する(すなわち、PCにインストールされる)。
ガイドファイル作成プログラム3の構成について説明する。ガイドファイル作成プログラム3は、操作対象検出部4、ガイド表示部5、ガイド文表示部6、コンテンツ記憶部7、ガイドファイル作成部8から構成される。これらはいずれも分析制御システム1のPC上でソフトウェア的に具現化される。
以下、フローチャートである図2を参照しつつガイドファイル作成プログラム3の動作を説明する。
ガイドファイル作成プログラム3及び分析装置制御プログラム2を起動すると、それぞれ図3(a)、図4のような実行画面が表示される。作成者により、ガイドファイル作成プログラム3の作成開始ボタン31がクリックされると、操作対象検出部4は、分析装置制御プログラム2の制御実行画面40を含むデスクトップイメージを取り込み(例えば、図4(a)のような画像として取り込まれる)、キャプチャ画像Aとして前記メモリ内に保持する(ステップS1)。同様なキャプチャ処理が0.5秒間隔で自動的に実施され(ステップS2)、取り込まれたデスクトップイメージはキャプチャ画像Bとして前記メモリ内に保持される(ステップS3)。操作対象検出部4は、キャプチャ画像AとBの対応する画素の輝度値の差分をとるなどの画像処理を行い、2つの画像中で変化した部分を検出する。このとき、2つの画像中で変化が無ければ(ステップS4でNO)、操作対象検出部4はステップS2→S3→S4の処理を繰り返す。
ここで、例えば、作成者が制御実行画面40上の「メソッド」の表示上にカーソルを重ねると、分析装置制御プログラム2の機能によって、「メソッド」の表示の周囲がハイライト表示される(図4(b))。この制御実行画面40がキャプチャ画像Bとして取得されると、操作対象検出部4はキャプチャ画像Aから変化した部分(ハイライト表示された部分)を検出する(ステップS4でYES)。
ガイド表示部5は上記の検出された領域(囲み領域)を全て囲む矩形の枠であるガイド表示42を、制御実行画面40のハイライト部分の近傍に表示する(図5)(ステップS5)。このガイド表示42は作成者が前記囲み領域を認識できる表示であればよく、矩形以外にも円形、楕円形、多角形等としてもよい。ガイド表示42の枠の一辺又は角部をマウスでドラッグすることで、枠のサイズを変更できるようにしてもよい(図6)。また、ガイド表示42の枠の一辺をキーボードのSHIFTボタンを押しながらクリックすることで、クリックされた枠に頂点を追加できるようにしてもよい。ガイド表示42の表示方法は、枠による表示以外にも囲み領域内の表示色を変更した画像を制御実行画面40の囲み領域に重畳させて表示したり、予め用意したマスク用画像で囲み領域内の画像を加工し、該加工した画像を制御実行画面40に重畳させて表示したりしてもよい。即ちこれらの画像も図形の一種である。
ガイド表示42が表示されるのと同じタイミングで、ガイド文表示部6は図5に示す指示文表示43及びコメント文表示44(それぞれが請求項のガイド文に相当)を制御実行画面40に重畳させて表示する。これらの表示位置は図5のようにガイド表示42の近傍とすることが好ましいが、指示文表示43やコメント文表示44をドラッグすることで、作成者が表示位置や大きさを変更することができるようにしてもよい。表示位置や大きさを可変とすることで、指示文表示43やコメント文表示44により制御実行画面40に表示されているボタンや情報が隠れることを防ぐことができる。
指示文表示43及びコメント文表示44に表示される内容は、それぞれ指示文入力欄33とコメント文入力欄34において、作成者により指定された項目に応じて表示される。本実施形態では、指示文入力欄33の表示の一例として、「クリックします」、「ダブルクリックします」、「右クリックします」の文字列が規定されており、作成者はこれらのいずれかを選択することで指示文表示43の表示を変更することができる。また、「自由入力」の欄では作成者が文字列を自由に入力し、指示文表示43に表示させることができる。また、コメント文入力欄34において「なし」が選択されると、コメント文表示44が消去される。「画像選択」が選択されると、ガイド文表示部6は分析制御システム1の大容量記憶装置等に予め保存されている画像データを選択する画面を表示し、選択画面において作成者により選択された画像をコメント文表示44に表示する。「次へ(ボタン)」は操作ナビゲーションプログラム専用の表示である。この項目を含むデータが操作ナビゲーションプログラムにおいて利用されると、ガイド文が「次へ」といった名称のボタンとして表示され、該ボタンをクリックすることで、次の操作手順を表示することができる。(ナビゲーションプログラムでは、対称位置に特定のマウス操作を行う、又は「次へ」ボタンをクリックすることで次の手順に移る。)
また、指示文表示43やコメント文表示44をクリックすることで、指示文又はコメント文を直接入力することもできる。
ガイド表示42、指示文表示43及びコメント文表示44が表示されている状態で、作成者により対象プログラムに対して操作がなされると、ガイドファイル作成プログラムはこの操作を検出し(ステップS6)、該操作がターゲットクリアボタンをクリックする操作である場合、(ステップS7でNo、ステップS8でYES)、ガイド表示部5はガイド表示42、指示文表示43及びコメント文表示44を消去し(ステップS9)、その後、再びステップS1から処理を行う。ガイド表示42が作成者の意図しない位置に表示された場合、作成者はターゲットクリアボタン32をクリックすることで、ガイド表示42の表示処理等のやり直しをすることができる。
作成者によってガイド表示42内にクリック等の操作がされると(ステップS6の後、S7でYES)、コンテンツ記憶部7は上記のキャプチャ画像等のコンテンツを記憶部9に格納する(ステップS11)。この格納処理では、キャプチャ画像Aの操作対象の画像(図7(a))、キャプチャ画像Bのガイド表示42に囲まれた領域付近の画像(例えば、操作対象を含むウインドウ全体)(図7(b))、ガイド表示の位置(図7(a)の操作対象からの相対座標)・形状、指示文及びコメント文の文字列(画像が選択された場合は該画像)と表示位置のガイド表示42からの相対座標、ステップS6においてガイド表示42内になされた操作の内容(クリック、ダブルクリック等)、該操作が行われた位置のガイド表示42を基準とした相対座標、ガイド表示42や指示文、図等の配置を行った最終的な画面イメージ(図7(c))が格納される。
なお、前記最終的な画面イメージは、記憶部9に格納された最終的な画面イメージ以外のデータを使用して画像や文字列などを重畳させた画像データを生成してもよいし、ステップS6においてデスクトップイメージをキャプチャして格納してもよい。
上記格納処理が終了した後、図3(a)のステップ数表示35に該格納処理を行った回数に1を加えた数値を、ステップ数として表示する(ステップS12)。例えば、1回目の格納処理を行った後、ステップ数表示35には「Step 2」と表示される。
ステップS12の処理が終了した後、ガイド表示部5及びガイド文表示部6は、画面上に表示されたガイド表示42、指示文表示43及びコメント文表示44をそれぞれ消去する(ステップS13)。その後、ガイドファイル作成プログラム3は再びステップS1から処理を行う。
なお、ステップS6における作成者のガイド表示内のクリック操作は、分析装置制御プログラム2に対して行われる操作であるため、分析装置制御プログラム2では、「メソッド」の表示をクリックされた場合の処理及び画面表示が行われる。従って、作成者は「メソッド」の表示をクリックした後の表示画面において、次の操作手順のデータ作成を行うことができる。
このように、作成者はガイドファイル作成プログラム3によりガイド表示や指示文等を設定する作業を繰り返すことで、分析装置制御プログラム2の実際の操作を行いながら操作手順を記録することができる。また、これらのデータは操作手順の順番にそって順次記憶部9に格納される。
すべての操作手順を記録した後、又は任意のタイミングで作成者によって終了ボタン36がクリックされると(ステップS14でYES)、ガイドファイル作成プログラムは、図3(b)に示すデータ形式選択画面37を表示する。操作者によりデータ形式が選択され、OKボタンがクリックされると、ガイドファイル作成部8は記憶部9に格納されたデータを作成者が指定したデータ形式に変換する(ステップS15)。指定のデータ形式には、電子マニュアルに使用されるPDF形式、HTML形式、MPEG形式がある。これらのデータ形式では、例えばガイド表示の位置や解説文、図の配置を行った最終的な画面イメージをステップの順番に並べて表示した電子マニュアルとして作成される。また、順番に並べずに操作者が任意の順番で、コメント等を再編集しながらガイドファイルを作成してもよい。データ形式は上記に限られるものでなく、各種の文書形式、動画形式等としてガイドファイルを作成してもよい。
また、コンテンツ記憶部7が格納したコンテンツを操作ナビゲーションプログラムで使用することも可能である。特許文献1の段落[0022]では追加GUIを表示するために必要なデータ一覧が記載されており、該データ一覧の「参照画像」が本実施形態における「キャプチャ画像Aのガイド表示で囲まれた領域」、「追加GUIの画像」が「ガイド表示」、「追加GUIの指定表示位置情報」が「ガイド表示の位置」、「測定装置制御プログラムに対して実行する操作」が「ガイド表示内になされた操作の内容」にそれぞれ対応している。これらのデータを操作ナビゲーションプログラムが読み込むことで、ガイドファイルとして表示(ナビゲーションを再生)することも可能である。
なお、上記の格納されるデータは一例であり、操作ナビゲーションプログラムの要求するデータの形式に従って、適宜、格納する画像データや文字データを変更することが可能である。
以上、本発明に係るガイドファイル作成プログラムの一実施形態について説明したが、本発明の趣旨の範囲であれば、適宜変更、修正を行うことができる。
上記実施形態ではキャプチャ画像A及びBを自動で取得するものとしたが、取得タイミングを操作者が指定してもよい。この場合、ガイド表示部5は、操作者が特定のボタン(キーボードのCtrlなど)を押下したことを検出すると、デスクトップイメージを取得し、キャプチャ画像Aとして格納する。その後、操作者が再度特定のボタンを押下したことを検出すると、デスクトップイメージを再度取得し、キャプチャ画像Bとして格納する。そして、操作者が再度ボタンを押す毎にキャプチャ画像Bの更新を行う。この構成では、操作者が任意のタイミングでデスクトップイメージを取得できるため、操作ミス等によりガイド表示42が意図しない位置へ表示されることを防ぐことができる。
上記実施形態のステップS4において、キャプチャ画像A及びBの変化を検出して操作対象の検出を行ったが、APIなどの機能を利用して操作対象を検出してもよい。例えばWindowsのAPIを使用して、マウスカーソル(フォーカス)の当たっているコントロールの位置座標情報を得ることが出来る。操作対象検出部4がこれらの検出結果に基づいて、該ボタンの周囲にガイド表示42を表示することができる。
また、上記実施形態では、キャプチャ画像A及びBはデスクトップ全体の画像を取得したが、デスクトップイメージの一部だけを取得してもよい。上記のとおりボタン(操作対象)がハイライト表示されるのは多くの場合、マウスカーソルの周辺である。従って、マウスカーソルを中心に適当な画素数の範囲内のデスクトップイメージを取得し、キャプチャ画像A及びBとして格納することで、キャプチャや操作対象の検出処理を行う画像のサイズを小さくすることができ、分析制御システム1の負荷を低減することができる。また、作成者が意図しない画面の変化がマウスカーソルから離れた位置で発生しても、この変化を検出しないため、誤った位置にガイド表示が表示されることを防ぐことができる。
また、キャプチャ画像の変化やAPIによる検出方法で複数同時に検出した場合には、それぞれの変化した部分に優先順位をつけて、優先順位の最も高い変化部分のみを操作対象として検出する構成としてもよい。優先順位の付け方として、マウスカーソルから一番近い囲み領域をガイド表示したり、マウスカーソルから一定距離の範囲内の囲み領域のみガイド表示を行うことで、操作者が操作しようとしているボタンを優先的に操作対象とすることができる。
また、前記優先順位が高い変化部分の中から複数の変化部分を操作対象として検出し、ガイド表示を行ってもよい。例えば、図8に示すように設定欄と、それに対応したボタンがある場合には、これらの両方をガイド表示で囲むことで対象プログラムの操作者の注意を両方に向けることができる。
また、上記実施形態では、指示文表示43とコメント文表示44をそれぞれ1つづつ表示する構成としたが、2つ以上を表示してもよい。ガイドファイル作成プログラム3の実行画面(作成補助画面)30に指示文追加ボタンやコメント文追加ボタンを設け、図8に示すように、同一のステップ内に複数の指示文やコメント文を表示してもよい。
これとは逆に指示文表示43とコメント文表示44を表示しないようにしてもよい。コメント文入力欄34の「なし」の選択肢を指示文入力欄33にも設けることで、指示文及びコメント文の表示を消去できる構成とすることができる。
指示文入力欄33及びコメント文入力欄34の入力方法として、上記実施形態の入力方法以外にも、前記囲み領域内の画像からOCR(Optical Character Reader:光学式文字読取機構/技術)により読み取った文字情報を自動で設定する構成としてもよい。例えば上記実施形態において、OCRにより画像データ(キャプチャ画像Aのガイド表示された範囲内)から「メソッド」の文字列を取得し、予め準備しておいた文字列と組み合わせることで、「メソッドをクリックします。」といった表示を行うことができる。
また、更に別の入力方法として、ガイド表示42の枠内に対する作成者の入力操作をガイド表示部5が認識し、その操作内容を自動で割り当てるようにしてもよい。例えば、作成者がステップS6においてガイド表示の枠内をクリックした場合、ガイド文表示部6は、API等の機能を利用して該クリックの操作を検出し、指示文を「クリックします」に設定することができる。
ステップS11において、キャプチャ画像A内のガイド表示42に囲まれた領域(以下、「ガイド内画像A」と呼ぶ。)が記憶部へ格納されるが、この格納される画像データは該ガイド内画像Aの一部のみとすることもできる。
特許文献1に記載された操作ナビゲーションプログラムでは、参照画像(ガイド内画像A)を参照して、対象プログラム等が表示されたデスクトップイメージの中から前記参照画像に対応する画像を検出する。このとき、前記画像の検出には画像マッチング、パターン認識といった各種検出技術が用いられるが、参照画像のサイズが大きいと、これらの検出処理の負荷が大きくなり、動作速度が遅くなるなどの問題が発生する。また、参照画像(ガイド内画像A)に操作対象周辺の余計な部分が含まれると、対象プログラム画面のレイアウト変更などにより余計な部分の変化が発生したときに参照画像(ガイド内画像A)と同じ画像が検出されなくなる問題も発生する。
参照画像(ガイド内画像A)のサイズを、図9に示すように、操作ナビゲーションプログラムにおける前記検出処理において対象として認識できる範囲で小さくすることで、前記画像処理の負荷を低減し、動作速度を向上させるとともに、対象プログラム画面のレイアウト変更などにも影響されないようにすることができる。また、記憶部9に格納する画像データのデータ量も低減することもできる。
記憶部9に格納されるコンテンツは上記実施形態に記載したデータ形式に限られるものではない。例えば、ガイド表示は画像データを用いることができるが、四角形、円形等の図形を描くベクトルデータとしてもよく、マスク画像による処理を行う場合にはマスク画像のデータを格納してもよい。
上記実施形態では、作成補助画面30の各ボタンをクリックしてガイドファイル作成プログラム3の操作を行ったが、これらの操作をキーボードのキーに割り当ててもよい。これは操作のためのマウスカーソル移動の手間を省く効果や、作成補助画面30が制御実行画面40の裏に隠れていたりタスクトレイに最小化されていてもキーボード操作できるといった効果がある。
1…分析制御システム
2…分析装置制御プログラム
3…ガイドファイル作成プログラム
4…操作対象検出部
5…ガイド表示部
6…ガイド文表示部
7…コンテンツ記憶部
8…ガイドファイル作成部
9…記憶部
10…表示部
11…入力部
20…分析装置
30…作成補助画面
31…作成開始ボタン
32…ターゲットクリアボタン
33…指示文入力欄
34…コメント文入力欄
35…ステップ数表示
36…終了ボタン
37…データ形式選択画面
38…OKボタン
40…制御実行画面
41…ハイライト表示
42…ガイド表示
43…指示文表示
44…コメント文表示

Claims (2)

  1. 対象プログラム実行中に該対象プログラムを操作する対象プログラム操作者をガイドするためのガイドファイルを作成するためのプログラムであって、コンピュータを、
    a) 対象プログラムの表示画面において、所定のタイミングで、該対象プログラムを操作する作成者の操作対象を検出する操作対象検出部と、
    b) 対象プログラム操作者の注意を前記操作対象に向けるための図形表示であるガイド表示を前記操作対象の近傍に表示するガイド表示部と、
    c) 前記操作対象に関する所定のガイド文及び/又は作成者に入力させる入力欄を表示するガイド文表示部と、
    d) 前記操作対象、前記ガイド表示、及び、前記ガイド文及び/又は作成者が前記入力欄に入力した文を所定の記憶部に格納するコンテンツ格納部と、
    e) 前記記憶部に格納されたコンテンツを用いて前記ガイドファイルを作成するガイドファイル作成部と
    して動作させることを特徴とするガイドファイル作成用プログラム。
  2. 更に、
    f) 前記ガイド表示の位置、形状を変更するガイド表示編集部と
    して動作させることを特徴とするガイドファイル作成用プログラム。
JP2015108401A 2015-05-28 2015-05-28 ガイドファイル作成プログラム Pending JP2016224599A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015108401A JP2016224599A (ja) 2015-05-28 2015-05-28 ガイドファイル作成プログラム
US15/150,567 US20160350137A1 (en) 2015-05-28 2016-05-10 Guide file creation program
CN201610363866.8A CN106201454A (zh) 2015-05-28 2016-05-27 引导文件生成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015108401A JP2016224599A (ja) 2015-05-28 2015-05-28 ガイドファイル作成プログラム

Publications (2)

Publication Number Publication Date
JP2016224599A true JP2016224599A (ja) 2016-12-28
JP2016224599A5 JP2016224599A5 (ja) 2017-09-14

Family

ID=57398579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015108401A Pending JP2016224599A (ja) 2015-05-28 2015-05-28 ガイドファイル作成プログラム

Country Status (3)

Country Link
US (1) US20160350137A1 (ja)
JP (1) JP2016224599A (ja)
CN (1) CN106201454A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023238357A1 (ja) * 2022-06-09 2023-12-14 日本電信電話株式会社 特定装置、特定方法及び特定プログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD816708S1 (en) * 2016-12-08 2018-05-01 Nasdaq, Inc. Display screen or portion thereof with animated graphical user interface
CN106990958B (zh) * 2017-03-17 2019-12-24 联想(北京)有限公司 一种扩展组件、电子设备及启动方法
CN107844331B (zh) * 2017-11-23 2021-01-01 腾讯科技(成都)有限公司 生成引导配置文件的方法、装置及设备
CN108287739A (zh) * 2017-12-19 2018-07-17 维沃移动通信有限公司 一种操作引导方法及移动终端
CN108132805B (zh) * 2017-12-20 2022-01-04 深圳Tcl新技术有限公司 语音交互方法、装置及计算机可读存储介质
CN110223052A (zh) * 2018-03-02 2019-09-10 阿里巴巴集团控股有限公司 数据处理方法、装置和机器可读介质
CN109324857B (zh) * 2018-09-07 2021-10-08 腾讯科技(武汉)有限公司 一种用户引导实现方法、装置和存储介质
CN109885365A (zh) * 2019-01-25 2019-06-14 平安科技(深圳)有限公司 操作引导方法、装置、计算机设备和存储介质
US11461090B2 (en) 2020-06-26 2022-10-04 Whatfix Private Limited Element detection
US11372661B2 (en) * 2020-06-26 2022-06-28 Whatfix Private Limited System and method for automatic segmentation of digital guidance content
CN111752442B (zh) * 2020-08-11 2023-08-15 腾讯科技(深圳)有限公司 显示操作引导信息的方法、装置、终端及存储介质
US11704232B2 (en) 2021-04-19 2023-07-18 Whatfix Private Limited System and method for automatic testing of digital guidance content
CN114296846A (zh) * 2021-12-10 2022-04-08 北京三快在线科技有限公司 一种页面引导的配置方法、系统及装置
US11669353B1 (en) 2021-12-10 2023-06-06 Whatfix Private Limited System and method for personalizing digital guidance content
US20240303098A1 (en) * 2023-03-09 2024-09-12 Apple Inc. User Interfaces for Lessons and Audio Plugins in Sound Engineering Application on Touch Device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065728A (ja) * 2004-08-30 2006-03-09 Sony Corp 電子機器の操作情報処理装置、電子機器の操作情報処理システム、サーバ、端末装置、電子機器の操作マニュアル作成方法、電子機器の操作マニュアル出力方法、電子機器の操作マニュアル、この操作マニュアルを記録した記録媒体
JP2006227730A (ja) * 2005-02-15 2006-08-31 Nec Corp 操作マニュアル作成装置、方法、及びプログラム
JP2014225274A (ja) * 2008-11-20 2014-12-04 フィッシャー−ローズマウント システムズ,インコーポレイテッド 電子表示ディスプレイを介してプロセス工場のオペレータに提示される情報に注意を引き付けるための方法及び機器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010039552A1 (en) * 2000-02-04 2001-11-08 Killi Tom E. Method of reducing the size of a file and a data processing system readable medium for performing the method
US9996368B2 (en) * 2007-12-28 2018-06-12 International Business Machines Corporation Method to enable semi-automatic regeneration of manuals by saving manual creation operations as scripts
US20120131456A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Capture and Playback for GUI-Based Tasks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065728A (ja) * 2004-08-30 2006-03-09 Sony Corp 電子機器の操作情報処理装置、電子機器の操作情報処理システム、サーバ、端末装置、電子機器の操作マニュアル作成方法、電子機器の操作マニュアル出力方法、電子機器の操作マニュアル、この操作マニュアルを記録した記録媒体
JP2006227730A (ja) * 2005-02-15 2006-08-31 Nec Corp 操作マニュアル作成装置、方法、及びプログラム
JP2014225274A (ja) * 2008-11-20 2014-12-04 フィッシャー−ローズマウント システムズ,インコーポレイテッド 電子表示ディスプレイを介してプロセス工場のオペレータに提示される情報に注意を引き付けるための方法及び機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023238357A1 (ja) * 2022-06-09 2023-12-14 日本電信電話株式会社 特定装置、特定方法及び特定プログラム

Also Published As

Publication number Publication date
CN106201454A (zh) 2016-12-07
US20160350137A1 (en) 2016-12-01

Similar Documents

Publication Publication Date Title
JP2016224599A (ja) ガイドファイル作成プログラム
JP2016224599A5 (ja)
US9703462B2 (en) Display-independent recognition of graphical user interface control
US7770125B1 (en) Methods and apparatus for automatically grouping graphical constructs
US9098313B2 (en) Recording display-independent computerized guidance
US20110126158A1 (en) Systems and methods for implementing pixel-based reverse engineering of interface structure
US9910643B2 (en) Program for program editing
JPH0355848B2 (ja)
JP6020383B2 (ja) 表示・実行操作補助プログラム
US20110047462A1 (en) Display-independent computerized guidance
CN109343757A (zh) 一种电子设备的操作控制方法及电子设备
JP7416203B2 (ja) 画面認識装置、画面認識方法およびプログラム
JP6774862B2 (ja) プログラム、制御装置、および情報記憶媒体
JPH0388087A (ja) 文書読取装置
JP6094691B2 (ja) ソフトウェア実行操作補助装置及びソフトウェア実行操作補助方法
WO2013073023A1 (ja) シーケンスプログラム作成装置
JP6918252B2 (ja) インクデータ生成装置、方法及びプログラム
JP2014123260A (ja) システム監視画面の画像作成装置
JP2012064051A (ja) ヘルプ表示装置、ヘルプ表示方法及びヘルプ表示プログラム
JP2021043479A (ja) 情報処理装置、制御方法及びプログラム
JP7421137B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6777096B2 (ja) 顕微画像分析装置用管理プログラム及び顕微画像分析装置用管理装置
JP2009169548A (ja) 情報処理装置、そのマルチウィンドウ表示方法及びプログラム
JP2007286822A (ja) Gui仕様書生成方法およびgui仕様書生成システム
JP2007328569A (ja) 入力支援プログラム及び該プログラムを搭載した制御・データ処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170803

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190212