JP2014160402A - ユーザインタフェース制御方法、その装置およびプログラム - Google Patents
ユーザインタフェース制御方法、その装置およびプログラム Download PDFInfo
- Publication number
- JP2014160402A JP2014160402A JP2013031217A JP2013031217A JP2014160402A JP 2014160402 A JP2014160402 A JP 2014160402A JP 2013031217 A JP2013031217 A JP 2013031217A JP 2013031217 A JP2013031217 A JP 2013031217A JP 2014160402 A JP2014160402 A JP 2014160402A
- Authority
- JP
- Japan
- Prior art keywords
- control
- array
- information
- input
- erroneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】UI情報取得部11によりUI制御プログラムから制御対象ソフトウェアのUIの情報を取得し、UI予測ロジック12により特徴量ベクタ算出部15およびUI予測部16を用いて操作対象のUIを予測し、誤制御判定部13により予測結果の一意性または操作対象のUIを特定した特定結果との比較に基づいて誤制御の発生を判定し、誤制御が発生したと判定した場合はUI制御プログラムによるUI制御を停止し、誤制御は発生していないと判定した場合は制御対象ソフトウェアの操作対象のUIに対してUI制御プログラムに記載された操作を実行させる。
【選択図】図11
Description
従来技術として、UIを制御するためのツール、プラットフォームが提案されている。これらUIを制御するツールでは、UIへの制御内容(UIの特定、UIへのデータ渡し/データ参照/機能実行)をシナリオやスクリプトといった独自の制御プログラムで記述し、当該制御プログラムに沿って対象のUIを操作する機能を有する。ここでは、従来技術とそれらの問題点を説明する。
制御対象ソフトウェアのユーザインタフェースを制御することで当該制御対象ソフトウェアに対する作業を自動化するUI制御プログラムにおける誤制御を防止するためのユーザインタフェース制御方法であって、
UI制御プログラムを入力として、UI情報取得部により、制御対象ソフトウェアのUIの情報の配列を取得する第1のステップと、
前記UIの情報の配列を入力として、UI予測ロジックにより、操作対象のUIを予測し、操作対象としての適合度が高い順に整列されたUIの一時的な識別子の配列およびその適合度の配列を出力する第2のステップと、
前記UIの一時的な識別子の配列およびその適合度の配列と、誤制御判定方式および当該誤制御判定方式に応じたパラメータとを入力として、誤制御判定部により、誤制御の発生を判定し、その判定結果および特定したUIの一時的な識別子を出力する第3のステップと、
誤制御が発生したと判定された場合はUI制御を停止し、誤制御が発生していないと判定された場合は前記特定した一時的な識別子のUIに対してUI自動操作部によりUI制御プログラムに記載された操作を実行する第4のステップと、を具備する
ことを特徴とする。
前記第1のステップの前に実行すべきステップとして、
表示装置上に2つのソフトウェアの画面を左右に並べて表示させ、各画面のUIの中から同じ意味を有するUIを入力装置を介して指定させるステップと、
前記指定された左右のUIの情報から特徴量ベクタを算出するステップと、
特徴量ベクタを入力として、特徴量ベクタに対する適合度を出力するUI予測部を機械学習法により学習させるステップとを含む
ことを特徴とする。
前記第1のステップにあっては、
UIの一時的な識別子および取得するUIの情報の種類を入力として、UIの位置、大きさ、種類名等のUIの情報と、木構造で表現されるUIの構造情報との中から任意の組み合わせでUIの情報の配列を取得する
ことを特徴とする。
前記第2のステップは、
表示装置に表示された制御対象ソフトウェアに存在する全てのUIの情報を、UI情報取得部によりテーブル形式で取得するステップと、
各々のUIに対応する一時的な識別子の配列を取得するステップと、
テーブル形式で取得した全UIの情報から取り出した一つのUIの情報の配列と、入力されたUIの情報の配列とを入力として、特徴量ベクタ算出部により、特徴量ベクタを取得するステップと、
特徴量ベクタをテーブル形式で取得した全UIに対して取得して特徴量ベクタの配列を作成するステップと、
特徴量ベクタの配列と、一時的な識別子の配列を入力として、UI予測部により降順に整列された適合度の配列と、同様に整列された一時的な識別子の配列を取得するステップとを含む
ことを特徴とする。
前記テーブル形式で取得した全UIの情報から取り出した一つのUIの情報の配列と、入力されたUIの情報の配列とを入力として、特徴量ベクタ算出部により、特徴量ベクタを取得するステップにあっては、
UIの情報の種類毎に定義する2入力1出力の特徴量算出関数を、入力された2つの配列の各要素に適用し各々の特徴量を求め、特徴量ベクタを算出する
ことを特徴とする。
前記特徴量ベクタの配列と、一時的な識別子の配列を入力として、UI予測部により降順に整列された適合度の配列と、同様に整列された一時的な識別子の配列を取得するステップは、
特徴量ベクタの配列から、特徴量ベクタを一つずつ取り出し、UI予測部に入力して適合度を取得して適合度の配列に格納するステップと、
適合度の配列を降順に整列し、同じ順番で入力された一時的な識別子の配列を整列するステップとを含む
ことを特徴とする。
前記第3のステップは、
誤制御判定方式が“突合”のとき、UI制御プログラム記載のUIの情報を入力として、任意のUI特定ロジックによる特定結果とUI予測ロジックの出力との突合により誤制御の発生を判定するステップと、
誤制御判定方式が“一意性”のとき、UI予測ロジックの結果の一意性から誤制御の発生を判定するステップと、
それら判定方式の組み合わせにより誤制御の発生を判定するステップとを含む
ことを特徴とする。
制御対象ソフトウェアのユーザインタフェースを制御することで当該制御対象ソフトウェアに対する作業を自動化するUI制御プログラムにおける誤制御を防止するためのユーザインタフェース制御装置であって、
UI制御プログラムを入力として、制御対象ソフトウェアのUIの情報の配列を取得するUI情報取得部と、
2つのUIの情報の配列を入力として特徴量ベクタを算出する特徴量ベクタ算出部、並びに特徴量ベクタを入力として適合度を算出するUI予測部を具備し、前記UIの情報の配列を入力として操作対象のUIを予測し、操作対象としての適合度が高い順に整列されたUIの一時的な識別子の配列およびその適合度の配列を出力するUI予測ロジックと、
前記UIの一時的な識別子の配列およびその適合度の配列と、誤制御判定方式および当該誤制御判定方式に応じたパラメータとを入力として誤制御の発生を判定し、その判定結果および特定したUIの一時的な識別子を出力する誤制御判定部と、
誤制御が発生したと判定された場合はUI制御を停止し、誤制御が発生していないと判定された場合は前記特定した一時的な識別子のUIに対してUI制御プログラムに記載された操作を実行するUI制御部とを備えた
ことを特徴とする。
誤制御判定方式が“突合”のとき、UI制御プログラム記載のUIの情報を入力として、任意のUI特定ロジックによる特定結果とUI予測ロジックの出力との突合により誤制御の発生を判定し、誤制御判定方式が“一意性”のとき、UI予測ロジックの結果の一意性から誤制御の発生を判定し、それら判定方式の組み合わせにより誤制御の発生を判定する誤制御判定部を備えた
ことを特徴とする。
前記に加え、
表示装置上に2つのソフトウェアの画面を左右に並べて表示させ、各画面のUIの中から同じ意味を有するUIを入力装置を介して指定させ、前記指定された左右のUIの情報から特徴量ベクタを算出し、特徴量ベクタを入力として、特徴量ベクタに対する適合度を出力するUI予測部を機械学習法により学習させるUI予測部の作成部を備えた
ことを特徴とする。
コンピュータを、第八乃至第十の発明のいずれかに記載のユーザインタフェース制御装置の各部として機能させるためのプログラムを提案する。
Claims (11)
- 制御対象ソフトウェアのユーザインタフェースを制御することで当該制御対象ソフトウェアに対する作業を自動化するUI制御プログラムにおける誤制御を防止するためのユーザインタフェース制御方法であって、
UI制御プログラムを入力として、UI情報取得部により、制御対象ソフトウェアのUIの情報の配列を取得する第1のステップと、
前記UIの情報の配列を入力として、UI予測ロジックにより、操作対象のUIを予測し、操作対象としての適合度が高い順に整列されたUIの一時的な識別子の配列およびその適合度の配列を出力する第2のステップと、
前記UIの一時的な識別子の配列およびその適合度の配列と、誤制御判定方式および当該誤制御判定方式に応じたパラメータとを入力として、誤制御判定部により、誤制御の発生を判定し、その判定結果および特定したUIの一時的な識別子を出力する第3のステップと、
誤制御が発生したと判定された場合はUI制御を停止し、誤制御が発生していないと判定された場合は前記特定した一時的な識別子のUIに対してUI自動操作部によりUI制御プログラムに記載された操作を実行する第4のステップと、を具備する
ことを特徴とするユーザインタフェース制御方法。 - 前記第1のステップの前に実行すべきステップとして、
表示装置上に2つのソフトウェアの画面を左右に並べて表示させ、各画面のUIの中から同じ意味を有するUIを入力装置を介して指定させるステップと、
前記指定された左右のUIの情報から特徴量ベクタを算出するステップと、
特徴量ベクタを入力として、特徴量ベクタに対する適合度を出力するUI予測部を機械学習法により学習させるステップとを含む
ことを特徴とする請求項1に記載のユーザインタフェース制御方法。 - 前記第1のステップにあっては、
UIの一時的な識別子および取得するUIの情報の種類を入力として、UIの位置、大きさ、種類名等のUIの情報と、木構造で表現されるUIの構造情報との中から任意の組み合わせでUIの情報の配列を取得する
ことを特徴とする請求項1に記載のユーザインタフェース制御方法。 - 前記第2のステップは、
表示装置に表示された制御対象ソフトウェアに存在する全てのUIの情報を、UI情報取得部によりテーブル形式で取得するステップと、
各々のUIに対応する一時的な識別子の配列を取得するステップと、
テーブル形式で取得した全UIの情報から取り出した一つのUIの情報の配列と、入力されたUIの情報の配列とを入力として、特徴量ベクタ算出部により、特徴量ベクタを取得するステップと、
特徴量ベクタをテーブル形式で取得した全UIに対して取得して特徴量ベクタの配列を作成するステップと、
特徴量ベクタの配列と、一時的な識別子の配列を入力として、UI予測部により降順に整列された適合度の配列と、同様に整列された一時的な識別子の配列を取得するステップとを含む
ことを特徴とする請求項1に記載のユーザインタフェース制御方法。 - 前記テーブル形式で取得した全UIの情報から取り出した一つのUIの情報の配列と、入力されたUIの情報の配列とを入力として、特徴量ベクタ算出部により、特徴量ベクタを取得するステップにあっては、
UIの情報の種類毎に定義する2入力1出力の特徴量算出関数を、入力された2つの配列の各要素に適用し各々の特徴量を求め、特徴量ベクタを算出する
ことを特徴とする請求項4に記載のユーザインタフェース制御方法。 - 前記特徴量ベクタの配列と、一時的な識別子の配列を入力として、UI予測部により降順に整列された適合度の配列と、同様に整列された一時的な識別子の配列を取得するステップは、
特徴量ベクタの配列から、特徴量ベクタを一つずつ取り出し、UI予測部に入力して適合度を取得して適合度の配列に格納するステップと、
適合度の配列を降順に整列し、同じ順番で入力された一時的な識別子の配列を整列するステップとを含む
ことを特徴とする請求項4に記載のユーザインタフェース制御方法。 - 前記第3のステップは、
誤制御判定方式が“突合”のとき、UI制御プログラム記載のUIの情報を入力として、任意のUI特定ロジックによる特定結果とUI予測ロジックの出力との突合により誤制御の発生を判定するステップと、
誤制御判定方式が“一意性”のとき、UI予測ロジックの結果の一意性から誤制御の発生を判定するステップと、
それら判定方式の組み合わせにより誤制御の発生を判定するステップとを含む
ことを特徴とする請求項1に記載のユーザインタフェース制御方法。 - 制御対象ソフトウェアのユーザインタフェースを制御することで当該制御対象ソフトウェアに対する作業を自動化するUI制御プログラムにおける誤制御を防止するためのユーザインタフェース制御装置であって、
UI制御プログラムを入力として、制御対象ソフトウェアのUIの情報の配列を取得するUI情報取得部と、
2つのUIの情報の配列を入力として特徴量ベクタを算出する特徴量ベクタ算出部、並びに特徴量ベクタを入力として適合度を算出するUI予測部を具備し、前記UIの情報の配列を入力として操作対象のUIを予測し、操作対象としての適合度が高い順に整列されたUIの一時的な識別子の配列およびその適合度の配列を出力するUI予測ロジックと、
前記UIの一時的な識別子の配列およびその適合度の配列と、誤制御判定方式および当該誤制御判定方式に応じたパラメータとを入力として誤制御の発生を判定し、その判定結果および特定したUIの一時的な識別子を出力する誤制御判定部と、
誤制御が発生したと判定された場合はUI制御を停止し、誤制御が発生していないと判定された場合は前記特定した一時的な識別子のUIに対してUI制御プログラムに記載された操作を実行するUI制御部とを備えた
ことを特徴とするユーザインタフェース制御装置。 - 誤制御判定方式が“突合”のとき、UI制御プログラム記載のUIの情報を入力として、任意のUI特定ロジックによる特定結果とUI予測ロジックの出力との突合により誤制御の発生を判定し、誤制御判定方式が“一意性”のとき、UI予測ロジックの結果の一意性から誤制御の発生を判定し、それら判定方式の組み合わせにより誤制御の発生を判定する誤制御判定部を備えた
ことを特徴とする請求項8に記載のユーザインタフェース制御装置。 - 前記に加え、
表示装置上に2つのソフトウェアの画面を左右に並べて表示させ、各画面のUIの中から同じ意味を有するUIを入力装置を介して指定させ、前記指定された左右のUIの情報から特徴量ベクタを算出し、特徴量ベクタを入力として、特徴量ベクタに対する適合度を出力するUI予測部を機械学習法により学習させるUI予測部の作成部を備えた
ことを特徴とする請求項8に記載のユーザインタフェース制御装置。 - コンピュータを、請求項8乃至10のいずれかに記載のユーザインタフェース制御装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013031217A JP5907534B2 (ja) | 2013-02-20 | 2013-02-20 | ユーザインタフェース制御方法、その装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013031217A JP5907534B2 (ja) | 2013-02-20 | 2013-02-20 | ユーザインタフェース制御方法、その装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014160402A true JP2014160402A (ja) | 2014-09-04 |
JP5907534B2 JP5907534B2 (ja) | 2016-04-26 |
Family
ID=51612044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013031217A Active JP5907534B2 (ja) | 2013-02-20 | 2013-02-20 | ユーザインタフェース制御方法、その装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5907534B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021141399A1 (en) * | 2020-01-10 | 2021-07-15 | Samsung Electronics Co., Ltd. | Method and electronic device for accelerating asset execution |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001022565A (ja) * | 1999-07-08 | 2001-01-26 | Nec Corp | Gui設計支援方法及びその装置並びにgui設計支援プログラムを記録した機械読み取り可能な記録媒体、gui評価方法及びその装置並びにgui評価プログラムを記録した機械読み取り可能な記録媒体 |
JP2010231594A (ja) * | 2009-03-27 | 2010-10-14 | Fujitsu Ltd | 試験プログラム及び試験装置 |
JP2012014496A (ja) * | 2010-07-01 | 2012-01-19 | Nec Corp | Gui解析装置、方法、及び、プログラム |
JP2012064129A (ja) * | 2010-09-17 | 2012-03-29 | Hitachi Ltd | 複数アプリケーションのgui統合方法 |
WO2012176365A1 (ja) * | 2011-06-20 | 2012-12-27 | パナソニック株式会社 | Guiプログラム作成支援装置、guiプログラム作成支援方法、プログラム、及び集積回路 |
JP2013033377A (ja) * | 2011-08-02 | 2013-02-14 | Nippon Telegr & Teleph Corp <Ntt> | 自動操作部品の特定方法およびその装置 |
-
2013
- 2013-02-20 JP JP2013031217A patent/JP5907534B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001022565A (ja) * | 1999-07-08 | 2001-01-26 | Nec Corp | Gui設計支援方法及びその装置並びにgui設計支援プログラムを記録した機械読み取り可能な記録媒体、gui評価方法及びその装置並びにgui評価プログラムを記録した機械読み取り可能な記録媒体 |
JP2010231594A (ja) * | 2009-03-27 | 2010-10-14 | Fujitsu Ltd | 試験プログラム及び試験装置 |
JP2012014496A (ja) * | 2010-07-01 | 2012-01-19 | Nec Corp | Gui解析装置、方法、及び、プログラム |
JP2012064129A (ja) * | 2010-09-17 | 2012-03-29 | Hitachi Ltd | 複数アプリケーションのgui統合方法 |
WO2012176365A1 (ja) * | 2011-06-20 | 2012-12-27 | パナソニック株式会社 | Guiプログラム作成支援装置、guiプログラム作成支援方法、プログラム、及び集積回路 |
JP2013033377A (ja) * | 2011-08-02 | 2013-02-14 | Nippon Telegr & Teleph Corp <Ntt> | 自動操作部品の特定方法およびその装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021141399A1 (en) * | 2020-01-10 | 2021-07-15 | Samsung Electronics Co., Ltd. | Method and electronic device for accelerating asset execution |
Also Published As
Publication number | Publication date |
---|---|
JP5907534B2 (ja) | 2016-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11504852B2 (en) | System and method for detecting and fixing robotic process automation failures | |
US10275265B1 (en) | Graphical user interface for editing components in graphical user interfaces for industrial control systems | |
KR101791623B1 (ko) | 트랜잭션 트레이스 그래프와 논리적 서브시스템들의 맵 사이의 관계들을 시각화하는 방법 | |
EP3093108A2 (en) | Information processing method and information processing apparatus | |
CN104123219A (zh) | 测试软件的方法和设备 | |
CN106021102B (zh) | 自动化测试文件的生成方法及装置 | |
US7159209B1 (en) | Inter-application validation tool for use in enterprise architecture modeling | |
US11714394B2 (en) | Bulk commissioning of field devices within a process plant | |
EP1624352B1 (en) | Manual restart learning process and manual restart process for an automated system | |
US20130262934A1 (en) | Method and apparatus for automatically generating a test script for a graphical user interface | |
CN104281119B (zh) | 支持分布式控制系统中的技术任务的方法和系统 | |
CN110050237A (zh) | 数据收集装置、数据收集方法及程序 | |
CN104657274B (zh) | 软件界面测试方法及装置 | |
US10901875B2 (en) | Evaluating and presenting software testing project status indicators | |
CN102222043A (zh) | 一种测试方法和测试装置 | |
EP2891976A1 (en) | Software workstation and method for employing appended metadata in industrial automation software | |
CN105431790A (zh) | 编程装置 | |
EP3841443A1 (en) | Information providing method and system | |
EP1376144A2 (en) | Test data analysis system | |
KR20140147227A (ko) | 스크립트 유지보수 기능을 갖는 gui 소프트웨어 테스트 자동화 시스템 및 방법 | |
JP6452882B1 (ja) | ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム | |
JP5907534B2 (ja) | ユーザインタフェース制御方法、その装置およびプログラム | |
US20190138921A1 (en) | Interactive guidance system for selecting thermodynamics methods in process simulations | |
US11698851B2 (en) | Recommending programmatic descriptions for test objects | |
Schilberg et al. | Virtual Production-The connection of the modules through the Virtual Production Intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160316 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5907534 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |