JP2021015476A5

JP2021015476A5 -

Info

Publication number: JP2021015476A5
Application number: JP2019130016A
Authority: JP
Filing date: 2019-07-12
Publication date: 2022-07-19
Anticipated expiration: 2039-07-12

Description

［１］本発明に係る一態様の画面遷移情報生成装置は、（ａ）対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報を生成するための装置であって、（ｂ）前記対象装置の前記ディスプレイに表示されている前記画面の画像データであってカメラによる当該画面の撮影若しくは前記対象装置での画面キャプチャによって得られる当該画像データを取得する画面データ取得部と、（ｃ）前記画面データ取得部により取得された前記画面の画像データを画像認識処理によって解析して、前記画面に含まれる１つ以上の前記ボタンを抽出する画面遷移ボタン抽出部と、（ｄ）前記画面遷移ボタン抽出部により抽出された前記ボタンの中から、操作対象とするボタンを選択する操作対象ボタン選択部と、（ｅ）前記操作対象ボタン選択部により選択されたボタンを操作した際の信号を前記対象装置に発生させるボタン操作部と、（ｆ）前記対象装置の前記ボタンの操作により生じた画面遷移の前後の前記画面の画像データと、当該画面遷移に際して操作された前記ボタンに関わるデータを含む画面遷移データを記録媒体へ記録する画面遷移記録部と、（ｇ）前記画面遷移データを用いて画面遷移図を生成する画面遷移図生成部と、を有する、画面遷移情報生成装置である。
［２］本発明に係る一態様の画面遷移情報生成方法は、（ａ）対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報を生成するための方法であって、（ｂ）制御装置が、前記対象装置の前記ディスプレイに表示されている前記画面の画像データであってカメラによる当該画面の撮影若しくは前記対象装置での画面キャプチャによって得られる当該画像データを取得する第１ステップと、（ｃ）前記制御装置が、前記第１ステップにて取得された前記画面の画像データを画像認識処理によって解析して、前記画面に含まれる１つ以上の前記ボタンを抽出する第２ステップと、（ｄ）前記制御装置が、前記第２ステップにて抽出された前記ボタンの中から、操作対象とする前記ボタンを選択する第３ステップと、（ｅ）前記制御装置が、前記第３ステップにて選択された前記ボタンを操作した際の信号を前記対象装置に発生させる第４ステップと、（ｆ）前記制御装置が、対象装置の前記ボタン操作により生じた画面遷移の前後の前記画面の画像データと、当該画面遷移に際して操作された前記ボタンに関わるデータを含む画面遷移データを記録媒体へ記録する第５ステップと、（ｇ）前記制御装置が、前記画面遷移データを用いて画面遷移図を生成する第６ステップと、を含む、画面遷移情報生成方法である。

［３］本発明に係る一態様の画面遷移情報生成用プログラムは、（ａ）対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報をコンピュータシステムによって生成させるためのプログラムであって、（ｂ）前記対象装置の前記ディスプレイに表示されている前記画面の画像データであってカメラによる当該画面の撮影若しくは前記対象装置での画面キャプチャによって得られる当該画像データを取得する第１ステップと、（ｃ）前記第１ステップにて取得された前記画面の画像データを画像認識処理によって解析して、前記画面に含まれる１つ以上のボタンを抽出する第２ステップと、（ｄ）前記第２ステップにて抽出された前記ボタンの中から、操作対象とするボタンを選択する第３ステップと、（ｅ）前記第３ステップにて選択されたボタンを操作した際の信号を前記対象装置に発生させる第４ステップと、（ｆ）対象装置の前記ボタンの前記操作により生じた画面遷移の前後の前記画面の画像データと、当該画面遷移に際して操作された前記ボタンに関わるデータを含む画面遷移データを記録媒体へ記録する第５ステップと、（ｇ）前記画面遷移データを用いて画面遷移図を生成する第６ステップと、をコンピュータシステムに実行させる、画面遷移情報生成用プログラムである。
［４］本発明に係る一態様の画面遷移情報生成システムは、（ａ）対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報を生成するためのシステムであって、（ｂ）前記ディスプレイを撮影するカメラと、（ｃ）前記ディスプレイの画面上の指定位置を操作するロボットと、（ｄ）前記カメラ及び前記ロボットを接続された制御装置と、を含み、（ｅ）前記制御装置として上記した［１］に記載の画面遷移情報生成装置が用いられる、画面遷移情報生成システムである。

制御装置１０は、例えばＣＰＵ、ＲＡＭ、ＲＯＭ、大容量記憶装置、通信インタフェースなどを含むコンピュータシステムを用いて構成される。図２に、制御装置を構成するためのコンピュータシステムの一例を示す。図示のコンピュータシステムは、ＣＰＵ（中央演算ユニット）１０１、ＲＯＭ（読み出し専用メモリ）１０２、ＲＡＭ（一時記憶メモリ）１０３、ＨＤＤ（ハードディスクドライブ）１０４、外部ＩＦ（インタフェース）１０５、キーボード１０６、マウス１０７、ＬＣＤ（液晶表示装置）１０８を含んで構成されている。これらＣＰＵ１０１等の相互間はバスにより接続されている。ＣＰＵ１０１は、プログラムを実行することにより情報処理を行う。ＲＯＭ１０２は、ＣＰＵ１０１の動作に必要な基本制御プログラムなどを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の情報処理に必要なデータを一時記憶する。これらによって上記した制御装置１０が構成される。ＨＤＤ１０４は、データを記憶するための大容量記憶装置であり、上記した制御装置１０の各機能を実現するためのアプリケーションプログラムやデータなどを格納する。

Claims

対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報を生成するための装置であって、
前記対象装置の前記ディスプレイに表示されている前記画面の画像データであってカメラによる当該画面の撮影若しくは前記対象装置での画面キャプチャによって得られる当該画像データを取得する画面データ取得部と、
前記画面データ取得部により取得された前記画面の画像データを画像認識処理によって解析して、前記画面に含まれる１つ以上の前記ボタンを抽出する画面遷移ボタン抽出部と、
前記画面遷移ボタン抽出部により抽出された前記ボタンの中から、操作対象とするボタンを選択する操作対象ボタン選択部と、
前記操作対象ボタン選択部により選択されたボタンを操作した際の信号を前記対象装置に発生させるボタン操作部と、
前記対象装置の前記ボタンの操作により生じた画面遷移の前後の前記画面の画像データと、当該画面遷移に際して操作された前記ボタンに関わるデータを含む画面遷移データを記録媒体へ記録する画面遷移記録部と、
前記画面遷移データを用いて画面遷移図を生成する画面遷移図生成部と、
を有する、
画面遷移情報生成装置。
前記ディスプレイに現在表示されている前記画面が、以前の画面遷移において既に表示された前記画面と実質的に同一であるか否かを判定する画面同一性判定部、
を更に備え、
前記画面同一性判定部により、現在表示されている前記画面が既に表示された前記画面と同一ではないと判定された場合に、前記操作対象ボタン選択部は、現在表示されている前記画面の前記ボタンのうち未だ操作対象として選択されていない前記ボタンの１つを操作対象として選択する、
請求項１に記載の画面遷移情報生成装置。
前記画面同一性判定部により、現在表示されている前記画面が既に表示された前記画面と実質的に同一であると判定された場合に、前記操作対象ボタン選択部は、現在表示されている前記画面の前記ボタンのうち既に操作対象として選択された前記ボタンによる画面遷移先の前記画面に未操作の前記ボタンが存在する場合には、当該既に操作対象として操作された前記ボタンの１つを操作対象として選択する、
請求項２に記載の画面遷移情報生成装置。
前記画像遷移ボタン抽出部は、前記画面の画像データから前記ボタンの画像データを生成し、前記画面遷移記録部は、当該生成された前記ボタンの画像データを前記ボタンに関わるデータとして記録しており、
前記画面遷移図生成部は、画面遷移の前後の前記画面の画像データの間に当該画面遷移に係る前記ボタンの画像データを配置して前記画面遷移図を生成する、
請求項１～３の何れか１項に記載の画面遷移情報生成装置。
前記画面遷移図生成部は、画面遷移の前後の前記画面の画像データの間に当該画面遷移の方向を示す矢印画像を配置して前記画面遷移部を生成する、
請求項４に記載の画面遷移情報生成装置。
前記ボタン操作部は、前記ディスプレイの画面上の指定位置を操作するロボットを制御することにより、前記操作対象ボタン選択部により選択されたボタンを操作した際の信号
を前記対象装置に発生させるものである、
請求項１～５の何れか１項に記載の画面遷移情報生成装置。
対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報を生成するための方法であって、
制御装置が、前記対象装置の前記ディスプレイに表示されている前記画面の画像データであってカメラによる当該画面の撮影若しくは前記対象装置での画面キャプチャによって得られる当該画像データを取得する第１ステップと、
前記制御装置が、前記第１ステップにて取得された前記画面の画像データを画像認識処理によって解析して、前記画面に含まれる１つ以上の前記ボタンを抽出する第２ステップと、
前記制御装置が、前記第２ステップにて抽出された前記ボタンの中から、操作対象とする前記ボタンを選択する第３ステップと、
前記制御装置が、前記第３ステップにて選択された前記ボタンを操作した際の信号を前記対象装置に発生させる第４ステップと、
前記制御装置が、前記対象装置の前記ボタンの操作により生じた画面遷移の前後の前記画面の画像データと、当該画面遷移に際して操作された前記ボタンに関わるデータを含む画面遷移データを記録媒体へ記録する第５ステップと、
前記制御装置が、前記画面遷移データを用いて画面遷移図を生成する第６ステップと、
を含む、画面遷移情報生成方法。
対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報をコンピュータシステムによって生成させるためのプログラムであって、
前記対象装置の前記ディスプレイに表示されている前記画面の画像データであってカメラによる当該画面の撮影若しくは前記対象装置での画面キャプチャによって得られる当該画像データを取得する第１ステップと、
前記第１ステップにて取得された前記画面の画像データを画像認識処理によって解析して、前記画面に含まれる１つ以上のボタンを抽出する第２ステップと、
前記第２ステップにて抽出された前記ボタンの中から、操作対象とするボタンを選択する第３ステップと、
前記第３ステップにて選択されたボタンを操作した際の信号を前記対象装置に発生させる第４ステップと、
前記対象装置の前記ボタンの操作により生じた画面遷移の前後の前記画面の画像データと、当該画面遷移に際して操作された前記ボタンに関わるデータを含む画面遷移データを記録媒体へ記録する第５ステップと、
前記画面遷移データを用いて画面遷移図を生成する第６ステップと、
をコンピュータシステムに実行させる、画面遷移情報生成用プログラム。
対象装置のディスプレイに表示された画面上の操作対象要素であるボタンが操作されることにより生じる画面遷移に関する情報を生成するためのシステムであって、
前記ディスプレイを撮影するカメラと、
前記ディスプレイの画面上の指定位置を操作するロボットと、
前記カメラ及び前記ロボットを接続された制御装置と、
を含み、
前記制御装置として請求項６に記載の画面遷移情報生成装置が用いられる、
画面遷移情報生成システム。