JP2016029543A - Information processing apparatus and program - Google Patents

Information processing apparatus and program Download PDF

Info

Publication number
JP2016029543A
JP2016029543A JP2014151861A JP2014151861A JP2016029543A JP 2016029543 A JP2016029543 A JP 2016029543A JP 2014151861 A JP2014151861 A JP 2014151861A JP 2014151861 A JP2014151861 A JP 2014151861A JP 2016029543 A JP2016029543 A JP 2016029543A
Authority
JP
Japan
Prior art keywords
image data
time
reference image
data
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014151861A
Other languages
Japanese (ja)
Other versions
JP6290743B2 (en
Inventor
悠 佐々木
Hisashi Sasaki
悠 佐々木
祐一 吉岡
Yuichi Yoshioka
祐一 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MUFG Bank Ltd
Original Assignee
Bank of Tokyo Mitsubishi UFJ Trust Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of Tokyo Mitsubishi UFJ Trust Co filed Critical Bank of Tokyo Mitsubishi UFJ Trust Co
Priority to JP2014151861A priority Critical patent/JP6290743B2/en
Publication of JP2016029543A publication Critical patent/JP2016029543A/en
Application granted granted Critical
Publication of JP6290743B2 publication Critical patent/JP6290743B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information processing apparatus and a program capable of measuring response time to a processing request.SOLUTION: An information processing apparatus comprises: operation-time recording means recording time of an input operation for generating a processing request; image acquisition means acquiring first image data displayed in a predetermined area of a display portion, the image acquisition means acquiring time at which the first image data is acquired while making the time correspond to the first image data; determination means determining whether the first image data acquired by the image acquisition means matches first reference image data registered in advance; and response-time calculation means calculating response time to the processing request on the basis of the time acquired to correspond to the first image data and the time of the input operation if the determination means determines that the first image data matches the first reference image data, thereby solving the problem.SELECTED DRAWING: Figure 4

Description

本発明は、情報処理装置及びプログラムに関する。   The present invention relates to an information processing apparatus and a program.

ユーザによる入力操作がなされてから処理結果の応答が表示されるまでの応答時間を測定する技術が従来より知られている（例えば特許文献１参照）。ここで、従来の技術では、ディスプレイに表示された画像情報の変化を検知して、この変化が検知された時刻をプログラムの動作開始時刻又は動作終了時刻とすることで応答時間を測定している。   2. Description of the Related Art Conventionally, a technique for measuring a response time from when an input operation by a user is performed until a response of a processing result is displayed is known (for example, see Patent Document 1). Here, in the conventional technique, a change in the image information displayed on the display is detected, and the response time is measured by setting the time when the change is detected as the operation start time or the operation end time of the program. .

特開２００４−３８６１９号公報JP 2004-38619 A

しかしながら、上記の従来技術では、応答時間の測定精度が高くないといった問題があった。すなわち、上記の従来技術では、プログラムの動作終了時刻について、一定時間毎に画像情報が変化したか否かを判定している。したがって、測定された応答時間とユーザが実際に体感する応答時間との間に乖離が生じる場合がある。   However, the above prior art has a problem that the measurement accuracy of the response time is not high. That is, in the above-described conventional technology, it is determined whether or not the image information has changed at regular intervals with respect to the operation end time of the program. Therefore, there may be a difference between the measured response time and the response time that the user actually feels.

また、上記の従来技術では、画像情報の変化が検知された時刻を動作開始時刻又は動作終了時刻としているため、様々な画面構成を有するプログラムに柔軟に対応することができないといった問題もあった。例えば、ある画面において画像情報の変化が検知された場合、画像情報が変化した後の画面がプログラムの動作終了を示す画面なのか否かを判別することができなかった。   Further, in the above-described conventional technology, since the time when the change of the image information is detected is set as the operation start time or the operation end time, there is a problem that it is not possible to flexibly cope with programs having various screen configurations. For example, when a change in image information is detected on a certain screen, it has not been possible to determine whether the screen after the change in image information is a screen indicating the end of the program operation.

一実施形態は、上記の点に鑑みてなされたもので、処理要求に対する応答時間を測定することを目的とする。   One embodiment is made in view of the above points, and aims to measure a response time to a processing request.

上記目的を達成するため、一実施形態では、処理要求を行うための入力操作がされた時刻を記録する操作時刻記録手段と、表示部の所定の領域に表示された第１の画像データを取得する画像取得手段であって、前記第１の画像データが取得された時刻を前記第１の画像データと対応付けて取得する画像取得手段と、前記画像取得手段で取得された前記第１の画像データと、予め登録された第１の基準画像データとが一致するか否かを判定する判定手段と、前記判定手段で前記第１の画像データと前記第１の基準画像データとが一致すると判定された場合、該第１の画像データと対応付けて取得された時刻と前記入力操作がされた時刻とに基づき、前記処理要求に対する応答時間を算出する応答時間算出手段と、を有する。   In order to achieve the above object, in one embodiment, an operation time recording means for recording a time when an input operation for performing a processing request is performed, and first image data displayed in a predetermined area of the display unit are acquired. An image acquisition unit that acquires the time at which the first image data was acquired in association with the first image data, and the first image acquired by the image acquisition unit. Determining means for determining whether or not the data and first reference image data registered in advance match, and determining that the first image data and the first reference image data match by the determining means; If so, response time calculating means for calculating a response time for the processing request based on the time acquired in association with the first image data and the time when the input operation was performed.

一実施形態によれば、処理要求に対する応答時間を測定することができる。   According to one embodiment, the response time to a processing request can be measured.

本実施形態に係る応答時間測定システムの一例を示す構成図である。It is a block diagram which shows an example of the response time measuring system which concerns on this embodiment. 本実施形態に係る端末装置の一例のハードウェア構成図である。It is a hardware block diagram of an example of the terminal device which concerns on this embodiment. 本実施形態に係る端末装置の一例の機能ブロック図である（第１の実施例）。It is a functional block diagram of an example of the terminal device which concerns on this embodiment (1st Example). 本実施形態の概略の一例を説明するための図である（第１の実施例）。It is a figure for demonstrating an example of the outline of this embodiment (1st Example). 本実施形態に係る全体処理の一例のシーケンス図である（第１の実施例）。It is a sequence diagram of an example of the whole processing concerning this embodiment (the 1st example). 本実施形態に係る応答時間の算出処理の一例のフローチャートである。It is a flowchart of an example of the calculation process of the response time which concerns on this embodiment. 本実施形態に係る端末装置の一例の機能ブロック図である（第２の実施例）。It is a functional block diagram of an example of the terminal device which concerns on this embodiment (2nd Example). 本実施形態の概略の一例を説明するための図である（第２の実施例）。It is a figure for demonstrating an example of the outline of this embodiment (2nd Example). 本実施形態に係る全体処理の一例のシーケンス図である（第２の実施例）。It is a sequence diagram of an example of the overall processing according to the present embodiment (second example). 本実施形態に係る応答時間の算出処理の一例のフローチャートである（第２の実施例）。It is a flowchart of an example of the calculation process of the response time which concerns on this embodiment (2nd Example).

次に、実施の形態について、図面を参照しながら詳細に説明する。   Next, embodiments will be described in detail with reference to the drawings.

（第１の実施例）
＜システム構成＞
まず、本実施形態に係る応答時間測定システム１のシステム構成について説明する。 (First embodiment)
<System configuration>
First, the system configuration of the response time measurement system 1 according to the present embodiment will be described.

図１は、本実施形態に係る応答時間測定システムの一例を示す構成図である。図１に示されるように、応答時間測定システム１は、端末装置１０と、サーバ装置２０とが有線又は無線でネットワークＮ１に接続されている。   FIG. 1 is a configuration diagram illustrating an example of a response time measurement system according to the present embodiment. As shown in FIG. 1, in the response time measuring system 1, a terminal device 10 and a server device 20 are connected to a network N1 by wire or wirelessly.

端末装置１０は、ユーザの入力操作に応じて、サーバ装置２０に対して処理要求を行い、この処理要求に対する処理応答をサーバ装置２０から受け取る。また、端末装置１０は、ユーザが入力操作を行ってから処理応答に対応する結果がディスプレイ等に表示されるまでの応答時間を測定する。端末装置１０は、情報処理装置の一例であり、例えば、ノートＰＣ（Personal Computer）、デスクトップＰＣ、タブレット端末、スマートフォン等である。また、端末装置１０は、例えば、ゲーム機、ＰＤＡ、カーナビケーション端末等の種々の電子機器であってもよい。   The terminal device 10 makes a processing request to the server device 20 in response to a user input operation, and receives a processing response to the processing request from the server device 20. Further, the terminal device 10 measures a response time from when the user performs an input operation until a result corresponding to the processing response is displayed on a display or the like. The terminal device 10 is an example of an information processing device, and is, for example, a notebook PC (Personal Computer), a desktop PC, a tablet terminal, a smartphone, or the like. Further, the terminal device 10 may be various electronic devices such as a game machine, a PDA, and a car navigation terminal.

サーバ装置２０は、端末装置１０から処理要求を受け取り、この受け取った処理要求に対応する各種処理を実行した後、処理応答を端末装置１０に行う。サーバ装置２０は、サーバ装置の一例であり、例えば、ノートＰＣ、デスクトップＰＣ、メインフレーム等の汎用系システム等である。   The server device 20 receives a processing request from the terminal device 10, executes various processes corresponding to the received processing request, and then sends a processing response to the terminal device 10. The server device 20 is an example of a server device, and is, for example, a general-purpose system such as a notebook PC, a desktop PC, or a main frame.

なお、図１に示される応答時間測定システム１は、端末装置１０及びサーバ装置２０をそれぞれ１台ずつ有する構成を一例として示したが、これに限られず、端末装置１０及び／又はサーバ装置２０を２台以上有する構成であってもよい。   In addition, although the response time measurement system 1 shown in FIG. 1 has shown the structure which has one each of the terminal device 10 and the server device 20 as an example, it is not restricted to this, The terminal device 10 and / or the server device 20 are used. The structure which has 2 or more units | sets may be sufficient.

また、端末装置１０及びサーバ装置２０は、１台の情報処理装置で構成されていてもよい。すなわち、本実施形態に係る応答時間測定システム１は、ネットワークＮ１を介して接続された端末装置１０とサーバ装置２０との間の応答時間を測定する場合に限られず、１つの情報処理装置内における処理要求に対する応答時間を測定する場合にも適用され得る。   Further, the terminal device 10 and the server device 20 may be configured by a single information processing device. That is, the response time measurement system 1 according to the present embodiment is not limited to the case where the response time between the terminal device 10 and the server device 20 connected via the network N1 is measured. The present invention can also be applied when measuring a response time to a processing request.

＜ハードウェア構成＞
次に、本実施形態に係る端末装置１０のハードウェア構成について説明する。 <Hardware configuration>
Next, a hardware configuration of the terminal device 10 according to the present embodiment will be described.

図２は、本実施形態に係る端末装置の一例のハードウェア構成図である。端末装置１０は、入力装置１１と、表示装置１２と、外部Ｉ／Ｆ１３と、ＲＡＭ（Random Access Memory）１４と、ＲＯＭ（Read Only Memory）１５と、ＣＰＵ（Central Processing Unit）１６と、通信Ｉ／Ｆ１７と、ＨＤＤ（Hard Disk Drive）１８とを備え、それぞれがバスＢで相互に接続されている。   FIG. 2 is a hardware configuration diagram of an example of a terminal device according to the present embodiment. The terminal device 10 includes an input device 11, a display device 12, an external I / F 13, a RAM (Random Access Memory) 14, a ROM (Read Only Memory) 15, a CPU (Central Processing Unit) 16, and a communication I / F17 and HDD (Hard Disk Drive) 18 are connected to each other via a bus B.

入力装置１１は、キーボードやマウス、タッチパネル等を含み、端末装置１０に各操作信号を入力するのに用いられる。表示装置１２は、ＬＣＤ（Liquid Crystal Display）又はＣＲＴ（Cathode Ray Tube）等を含み、端末装置１０による処理結果を表示する。   The input device 11 includes a keyboard, a mouse, a touch panel, and the like, and is used to input each operation signal to the terminal device 10. The display device 12 includes an LCD (Liquid Crystal Display), a CRT (Cathode Ray Tube), or the like, and displays a processing result by the terminal device 10.

外部Ｉ／Ｆ１３は、外部装置とのインタフェースである。外部装置には、記録媒体１３ａ等がある。記憶媒体１３ａには、本実施形態を実現するプログラムを格納することができる。端末装置１０は外部Ｉ／Ｆ１０３を介して、記録媒体１３ａの読み取り及び／又は書き込みを行うことができる。   The external I / F 13 is an interface with an external device. The external device includes a recording medium 13a. The storage medium 13a can store a program that implements the present embodiment. The terminal device 10 can read and / or write to the recording medium 13a via the external I / F 103.

記録媒体１３ａにはＵＳＢメモリ（Universal Serial Bus memory）、ＳＤメモリカード（SD Memory card）、ＤＶＤ（Digital Versatile Disk）、ＣＤ（Compact Disk）、フレキシブルディスク等の記録媒体を用いることができる。   As the recording medium 13a, a recording medium such as a USB memory (Universal Serial Bus memory), an SD memory card (SD Memory card), a DVD (Digital Versatile Disk), a CD (Compact Disk), or a flexible disk can be used.

ＲＡＭ１４は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１５には、端末装置１０の起動時に実行されるＢＩＯＳ（Basic Input／Output System）、ＯＳ（Operating System）設定、及びネットワーク設定等のプログラムやデータが格納されている。   The RAM 14 is a volatile semiconductor memory (storage device) that temporarily stores programs and data. The ROM 15 is a nonvolatile semiconductor memory (storage device) that can retain programs and data even when the power is turned off. The ROM 15 stores programs and data such as BIOS (Basic Input / Output System), OS (Operating System) settings, and network settings that are executed when the terminal device 10 is activated.

ＣＰＵ１６は、ＲＯＭ１５やＨＤＤ１８等の記憶装置からプログラムやデータをＲＡＭ１４上に読み出し、処理を実行することで、端末装置１０全体の制御や機能を実現する演算装置である。   The CPU 16 is an arithmetic device that realizes control and functions of the entire terminal device 10 by reading a program and data from a storage device such as the ROM 15 and the HDD 18 onto the RAM 14 and executing processing.

通信Ｉ／Ｆ１７は、ネットワークに接続するインタフェースである。端末装置１０は、通信Ｉ／Ｆ１７を介してデータ通信を行うことができる。なお、通信Ｉ／Ｆ１０７による通信は有線通信であっても無線通信であってもよい。   The communication I / F 17 is an interface connected to the network. The terminal device 10 can perform data communication via the communication I / F 17. Note that the communication by the communication I / F 107 may be wired communication or wireless communication.

ＨＤＤ１８は、プログラム及び／又はデータを格納している不揮発性の記憶装置である。格納されるプログラム及び／又はデータには、例えば、端末装置１０全体を制御する基本ソフトウェアであるＯＳ、ＯＳ上において各種機能を提供するアプリケーションソフトウェア等がある。ＨＤＤ１８は、格納しているプログラム及び／又はデータを所定のファイルシステム及び／又はＤＢ（Data Base）により管理している。なお、端末装置１０は、ＨＤＤ１８に代えて、例えばＳＳＤ（Solid State Drive）等を有していてもよい。   The HDD 18 is a non-volatile storage device that stores programs and / or data. The stored programs and / or data include, for example, an OS that is basic software for controlling the entire terminal device 10 and application software that provides various functions on the OS. The HDD 18 manages stored programs and / or data by a predetermined file system and / or DB (Data Base). Note that the terminal device 10 may have, for example, an SSD (Solid State Drive) instead of the HDD 18.

本実施形態に係る端末装置１０は、例えば上記のハードウェア構成を有することにより、後述するような各種処理を実現できる。   For example, the terminal device 10 according to the present embodiment has the hardware configuration described above, thereby realizing various processes as described below.

＜ソフトウェア構成＞
次に、本実施形態に係る端末装置１０のソフトウェア構成について説明する。 <Software configuration>
Next, the software configuration of the terminal device 10 according to the present embodiment will be described.

図３は、本実施形態に係る端末装置の一例の機能ブロック図である（第１の実施例）。端末装置１０は、基準画像登録部１０１と、入力情報記録部１０２と、時刻取得部１０３と、データ生成部１０４と、画像解析部１０５と、応答時間算出部１０６と、表示部１０７とを有する。また、端末装置１０は、基準画像データ記憶部１０８と、入力情報時刻データ記憶部１０９と、データ記憶部１１０とを利用する。なお、これらの各記憶部の全部又は一部は、ＨＤＤ１０８又は端末装置１０とネットワークＮ１を介して接続される記憶装置により実現される。   FIG. 3 is a functional block diagram of an example of a terminal device according to the present embodiment (first example). The terminal device 10 includes a reference image registration unit 101, an input information recording unit 102, a time acquisition unit 103, a data generation unit 104, an image analysis unit 105, a response time calculation unit 106, and a display unit 107. . The terminal device 10 uses a reference image data storage unit 108, an input information time data storage unit 109, and a data storage unit 110. All or a part of each of these storage units is realized by a storage device connected to the HDD 108 or the terminal device 10 via the network N1.

基準画像登録部１０１は、応答時間を測定するための基準画像データを基準画像データ記憶部１０８に記憶させる。ここで、本実施例において、基準画像データ記憶部１０８に記憶される基準画像データは、例えば、終了時刻を特定するための画像データであり、端末装置１０がサーバ装置２０から処理応答を受け取ったときに表示装置１２に表示される画面の画像データである。   The reference image registration unit 101 stores reference image data for measuring response time in the reference image data storage unit 108. Here, in this embodiment, the reference image data stored in the reference image data storage unit 108 is, for example, image data for specifying the end time, and the terminal device 10 has received a processing response from the server device 20. This is image data of a screen sometimes displayed on the display device 12.

入力情報記録部１０２は、ユーザが入力装置１１を介して入力した入力操作に関する情報（入力操作情報）を入力情報時刻データ記憶部１０９に記憶させる。換言すれば、入力情報記録部１０２は、例えば、いわゆるキーロガーであり、ユーザが入力装置１１を介して入力した入力操作情報をログとして記録する。このとき、入力情報記録部１０２は、時刻取得部１０３から入力操作が行われた時刻情報を取得し、入力操作情報と、この入力操作に対応する時刻情報とを入力情報時刻データ記憶部１０９に記憶させる。すなわち、入力情報時刻データは、ユーザが入力装置１１を介して入力した入力操作情報と、この入力操作が行われた時刻情報とを含むデータである。   The input information recording unit 102 causes the input information time data storage unit 109 to store information (input operation information) related to the input operation input by the user via the input device 11. In other words, the input information recording unit 102 is, for example, a so-called key logger, and records input operation information input by the user via the input device 11 as a log. At this time, the input information recording unit 102 acquires time information when the input operation is performed from the time acquisition unit 103, and stores the input operation information and the time information corresponding to the input operation in the input information time data storage unit 109. Remember me. That is, the input information time data is data including input operation information input by the user via the input device 11 and time information when the input operation is performed.

時刻取得部１０３は、他の各部からの要求に応じて時刻情報を返信する。例えば、時刻取得部１０３は、入力情報記録部１０２又はデータ生成部１０４からの要求に応じて、現在時刻の情報を返信する。   The time acquisition unit 103 returns time information in response to requests from other units. For example, the time acquisition unit 103 returns information on the current time in response to a request from the input information recording unit 102 or the data generation unit 104.

データ生成部１０４は、ユーザからの要求に応じて、端末装置１０の表示装置１２に表示された情報から動画データを生成し、データ記憶部１１０に記憶させる。例えば、データ生成部１０４は、いわゆる動画キャプチャであり、ユーザ又はプログラム等からの動画キャプチャ開始指示を受け付けてから動画キャプチャ終了指示を受け付けるまでの間において表示部１０７が表示装置１２に表示させた情報（画像データ）を録画（取得）して、動画データを生成する。なお、このとき、データ生成部１０４は、各フレーム（画像データ）毎に、フレームを取得した時刻を時刻取得部１０３から取得して、動画データを生成する。すなわち、データ生成部１０４により生成される動画データは、複数のフレーム（画像データ）と、これらのフレームを取得した時刻情報とを含むデータである。   The data generation unit 104 generates moving image data from information displayed on the display device 12 of the terminal device 10 in response to a request from the user, and stores it in the data storage unit 110. For example, the data generation unit 104 is so-called moving image capture, and information that the display unit 107 displays on the display device 12 after receiving a moving image capture start instruction from a user or a program until receiving a moving image capture end instruction. (Image data) is recorded (acquired) to generate moving image data. At this time, the data generation unit 104 acquires the time when the frame was acquired from the time acquisition unit 103 for each frame (image data), and generates moving image data. That is, the moving image data generated by the data generation unit 104 is data including a plurality of frames (image data) and time information at which these frames are acquired.

なお、データ生成部１０４は、動画データに限られず、静止画データを生成し、データ記憶部１１０に記憶させてもよい。例えば、データ生成部１０４は、ユーザ又はプログラム等からの指示を受け付けて、表示部１０７が表示装置１２に表示させた情報（画像データ）を取得して、静止画データを生成する。このとき、上記と同様に、データ生成部１０４は、画像データを取得した時刻を時刻取得部１０３から取得して、静止画データを生成する。すなわち、データ生成部１０４により生成される静止画データは、一の画像データと、この画像データを取得した時刻情報とを含むデータである。以降では、データ生成部１０４は、動画データを生成するものとして説明するが、静止画データに対しても本実施形態は同様に適用される。   The data generation unit 104 is not limited to moving image data, and may generate still image data and store it in the data storage unit 110. For example, the data generation unit 104 receives an instruction from a user or a program, acquires information (image data) displayed on the display device 12 by the display unit 107, and generates still image data. At this time, as described above, the data generation unit 104 acquires the time when the image data was acquired from the time acquisition unit 103, and generates still image data. That is, the still image data generated by the data generation unit 104 is data including one image data and time information when the image data is acquired. Hereinafter, although the data generation unit 104 is described as generating moving image data, the present embodiment is similarly applied to still image data.

画像解析部１０５は、基準画像データと、動画データに含まれる各フレームとが一致するか否かを判定する。   The image analysis unit 105 determines whether the reference image data matches each frame included in the moving image data.

応答時間算出部１０６と、入力情報時刻データ記憶部１０９から取得した該当の入力操作に対応する時刻情報（開始時刻）と、画像解析部１０５により基準画像データと一致するフレームを取得した時刻情報（終了時刻）とから処理要求に対する応答時間を算出する。   The time information (start time) corresponding to the corresponding input operation acquired from the response time calculation unit 106, the input information time data storage unit 109, and the time information (the time corresponding to the reference image data acquired by the image analysis unit 105) ( The response time for the processing request is calculated from the (end time).

表示部１０７は、各種入力操作や処理応答等に基づき、表示装置１２に各種画面を表示させる。例えば、表示部１０７は、サーバ装置２０から処理応答を受け取ると、この処理応答に対応する画面を表示装置１２に表示させる。   The display unit 107 displays various screens on the display device 12 based on various input operations, processing responses, and the like. For example, when receiving a processing response from the server device 20, the display unit 107 causes the display device 12 to display a screen corresponding to the processing response.

＜概略＞
次に、本実施形態に係る応答測定システム１の概略について説明する。 <Outline>
Next, an outline of the response measurement system 1 according to the present embodiment will be described.

図４は、本実施形態の概略の一例を説明するための図である（第１の実施例）。まず、端末装置１０のディスプレイ等には、入力操作を受け付けるための画面Ａが表示されているものとする。   FIG. 4 is a diagram for explaining an example of the outline of the present embodiment (first example). First, it is assumed that a screen A for receiving an input operation is displayed on the display or the like of the terminal device 10.

ステップＳ１において、ユーザが入力装置１１を介してサーバ装置２０に処理要求を行うための入力操作を行う。   In step S <b> 1, the user performs an input operation for making a processing request to the server device 20 via the input device 11.

ステップＳ２において、端末装置１０は、ユーザにより行われた入力操作に対応する処理要求をサーバ装置２０に送信する。   In step S <b> 2, the terminal device 10 transmits a processing request corresponding to the input operation performed by the user to the server device 20.

ステップＳ３において、サーバ装置２０は、端末装置１０から処理要求を受け取ると、受け取った処理要求に対応する処理を実行する。   In step S <b> 3, upon receiving a processing request from the terminal device 10, the server device 20 executes processing corresponding to the received processing request.

ステップＳ４において、サーバ装置２０は、処理応答を端末装置１０に返す。   In step S <b> 4, the server device 20 returns a processing response to the terminal device 10.

ステップＳ５において、端末装置１０は、サーバ装置２０から処理応答を受け取ると、処理結果を表す画面Ｂに画面遷移する。これにより、ユーザが入力操作を行ってからこの入力操作に対する結果が表示されるまでの一連の動作が完了する。   In step S <b> 5, when the terminal device 10 receives a processing response from the server device 20, the screen transitions to a screen B representing the processing result. As a result, a series of operations from when the user performs an input operation to when a result for the input operation is displayed is completed.

第１の実施例に係る応答時間測定システム１では、上記で説明した一連動作に要した時間、すなわち、ユーザが入力操作を行ってから画面Ｂが表示されるまでの時間（応答時間）を測定する。これにより、ユーザが実際に体感する処理待ち時間により近い応答時間が測定される。   In the response time measurement system 1 according to the first embodiment, the time required for the series of operations described above, that is, the time from when the user performs an input operation until the screen B is displayed (response time) is measured. To do. Thereby, the response time closer to the processing waiting time that the user actually feels is measured.

＜処理の詳細＞
次に、第１の実施例に係る応答時間測定システム１の処理の詳細について説明する。 <Details of processing>
Next, details of processing of the response time measurement system 1 according to the first embodiment will be described.

≪全体処理≫
図５は、本実施形態に係る全体処理の一例のシーケンス図である（第１の実施例）。 ≪Overall processing≫
FIG. 5 is a sequence diagram illustrating an example of the overall processing according to the present embodiment (first example).

ステップＳ５０１において、ユーザは、端末装置１０の入力装置１１を介して基準画像データの登録を指示する。すると、端末装置１０の基準画像登録部１０１は、ユーザにより指示された基準画像データを基準画像データ記憶部１０８に記憶させる。   In step S <b> 501, the user instructs registration of reference image data via the input device 11 of the terminal device 10. Then, the reference image registration unit 101 of the terminal device 10 stores the reference image data instructed by the user in the reference image data storage unit 108.

ここで、基準画像データは、例えば、上記の概略で説明した「画面Ｂ」を表す画像データであり、端末装置１０が処理応答を受け取ったときに表示装置１２に表示される処理結果を表す画面の画像データである。このような基準画像データは、例えば、前述した「画面Ｂ」の場合、ハードコピーや画面キャプチャにより生成することができる。なお、基準画像データは、表示装置１２の全体に表示される画像データ（すなわち、画面全体）に限られず、表示装置１２に表示される画像データの一部（すなわち、画面の一部）であってもよい。あるいは、基準画像データは、表示部１０７により表示される画面全体の所定の領域に表示される画像データであってもよい。例えば、端末装置１０が処理応答を受け取ると、「画面Ａ」の所定の領域に処理が完了したことを示す「メッセージ」が表示される場合、基準画像データは、この「メッセージ」の画像データであってもよい。   Here, the reference image data is, for example, image data representing “screen B” described in the above outline, and a screen representing a processing result displayed on the display device 12 when the terminal device 10 receives a processing response. Image data. Such reference image data can be generated by hard copy or screen capture in the case of “screen B” described above, for example. The reference image data is not limited to the image data displayed on the entire display device 12 (that is, the entire screen), but is a part of the image data displayed on the display device 12 (that is, a part of the screen). May be. Alternatively, the reference image data may be image data displayed in a predetermined area of the entire screen displayed by the display unit 107. For example, when the terminal device 10 receives a processing response, if a “message” indicating that the processing is completed is displayed in a predetermined area of “screen A”, the reference image data is the image data of this “message”. There may be.

ステップＳ５０２において、ユーザは、端末装置１０の入力装置１１を介して、動画データを生成するための動画キャプチャ開始指示を行う。すると、データ生成部１０４は、表示部１０７が端末装置１０の表示装置１２に表示させる情報の録画（取得）を開始する。このとき、データ生成部１０４は、動画データを構成するフレームを取得する毎に、フレームが取得された時刻情報を時刻取得部１０３から取得して、この時刻情報を各フレームと対応付けて動画データを生成する。なお、生成される動画データのフレームレートは、任意の値を用いてよい。ただし、生成される動画データのフレームレート値が高い程、高精度で応答時間の測定が可能であるため、３０ｆｐｓ以上であることが好ましい。なお、動画キャプチャの開始指示は、ユーザが入力装置１１を介して行うことに限定されず、例えば、所定のプログラム等が行ってもよい。   In step S <b> 502, the user issues a moving image capture start instruction for generating moving image data via the input device 11 of the terminal device 10. Then, the data generation unit 104 starts recording (acquisition) of information that the display unit 107 displays on the display device 12 of the terminal device 10. At this time, each time the data generating unit 104 acquires the frames constituting the moving image data, the data generating unit 104 acquires the time information at which the frames were acquired from the time acquiring unit 103, and associates the time information with each frame to store the moving image data. Is generated. An arbitrary value may be used for the frame rate of the generated moving image data. However, since the response time can be measured with higher accuracy as the frame rate value of the generated moving image data is higher, it is preferably 30 fps or higher. Note that the moving image capture start instruction is not limited to being performed by the user via the input device 11, and may be performed by a predetermined program, for example.

ステップＳ５０３において、ユーザは、端末装置１０の入力装置１１を介して、サーバ装置２０に処理要求を行うための入力操作を行う。すると、入力情報記録部１０２は、ユーザが入力操作を行った時刻情報を時刻取得部１０３から取得し、この時刻情報をユーザが入力した入力操作情報と関連付けて入力情報時刻データ記憶部１０９に記憶させる。ユーザがプログラムＡのユーザインタフェース画面Ａにおいて、１４時０１分５６秒にエンターキーを押下した場合、入力情報時刻データ記憶部１０９に記憶される情報は、例えば、「プログラムＡ，画面Ａ，Ｅｎｔｅｒ １４：０１：５６」といった情報である。このように記録された時刻情報が開始時刻であり、後述する終了時刻との差分を計算することで、応答時間が算出される。   In step S <b> 503, the user performs an input operation for making a processing request to the server device 20 via the input device 11 of the terminal device 10. Then, the input information recording unit 102 acquires time information when the user performs an input operation from the time acquisition unit 103, and stores this time information in the input information time data storage unit 109 in association with the input operation information input by the user. Let When the user presses the enter key at 14:01:56 on the user interface screen A of the program A, the information stored in the input information time data storage unit 109 is, for example, “program A, screen A, Enter 14 : 01: 56 ". The time information recorded in this way is the start time, and the response time is calculated by calculating the difference from the end time described later.

なお、上記において、端末装置１０がサーバ装置２０に対して送信する処理要求はどのような処理要求であってもよい。一例としては、端末装置１０上で動作するサーバ装置２０の仮想端末プログラムがサーバ装置２０の機能を利用するための処理要求などが挙げられる。   In the above description, the processing request transmitted from the terminal device 10 to the server device 20 may be any processing request. As an example, a processing request for the virtual terminal program of the server device 20 operating on the terminal device 10 to use the function of the server device 20 can be cited.

ステップＳ５０４において、ユーザにより処理要求を行うための入力操作がなされると、端末装置１０は、この入力操作に応じた処理要求をサーバ装置２０に送信する。なお、端末装置１０は、処理要求をサーバ装置２０に送信した時刻情報と、後述するステップＳ５０６においてサーバ装置２０から送信される処理応答を受信した時刻情報とを時刻取得部１０３から取得して、記憶装置等に記憶させてもよい（すなわち、処理要求及び処理応答のネットワークログを記録してもよい）。これにより、ネットワーク通信に通信に要した時間を測定することができるため、例えば、測定された応答時間が大きかった場合等において、端末装置１０の処理に時間が掛かっているのか、又はネットワーク通信で時間が掛かっているのか等の特定を行うことができる。   In step S <b> 504, when an input operation for making a processing request is performed by the user, the terminal device 10 transmits a processing request corresponding to the input operation to the server device 20. The terminal device 10 acquires the time information when the processing request is transmitted to the server device 20 and the time information when the processing response transmitted from the server device 20 is received in step S506, which will be described later, from the time acquisition unit 103. It may be stored in a storage device or the like (that is, a network log of processing requests and processing responses may be recorded). Thereby, since the time required for communication for network communication can be measured, for example, when the measured response time is large, the processing of the terminal device 10 is taking time, or the network communication It is possible to specify whether it is taking time.

ステップＳ５０５において、サーバ装置２０は、端末装置１０から処理要求を受け取ると、この処理要求に対応する処理を実行する。例えば、サーバ装置２０は、処理要求を受け取ると、対応するアプリケーションプログラムを実行する。また、サーバ装置２０は、処理要求を受け取ると、さらに他の装置等に処理を依頼してもよい。   In step S <b> 505, when the server device 20 receives a processing request from the terminal device 10, the server device 20 executes processing corresponding to the processing request. For example, when receiving a processing request, the server device 20 executes a corresponding application program. In addition, when the server device 20 receives the processing request, the server device 20 may request processing from another device or the like.

ステップＳ５０６において、サーバ装置２０は、受け取った処理要求に対応する処理が完了すると、処理応答を端末装置１０に送信する。   In step S506, when the processing corresponding to the received processing request is completed, the server device 20 transmits a processing response to the terminal device 10.

ステップＳ５０７において、サーバ装置２０から処理応答を受け取ると、端末装置１０の表示部１０７は、処理結果を表す画面に画面遷移させる。例えば、表示部１０７は、上記の概略で説明したように、「画面Ａ」から「画面Ｂ」に画面を遷移させる。これにより、ユーザは、自身が行った入力操作に対する処理が完了したことを認識する。   In step S507, when a processing response is received from the server device 20, the display unit 107 of the terminal device 10 changes the screen to a screen representing the processing result. For example, the display unit 107 changes the screen from “screen A” to “screen B” as described in the above outline. Thereby, the user recognizes that the processing for the input operation performed by the user is completed.

ステップＳ５０８において、ユーザは、端末装置１０の入力装置１１を介して、動画キャプチャ終了指示を行う。すると、データ生成部１０４は、動画データの生成を終了させ、生成した動画データをデータ記憶部１１０に記憶させる。これにより、動画キャプチャ開始指示後から動画キャプチャ終了指示がなされる間において端末装置１０の表示装置１２に表示された情報が動画データとして記録される。後述する処理において、この動画データから終了時刻が取得され、前述した開始時刻との差分を計算することで、応答時間が算出される。   In step S <b> 508, the user issues a moving image capture end instruction via the input device 11 of the terminal device 10. Then, the data generation unit 104 ends the generation of the moving image data, and stores the generated moving image data in the data storage unit 110. As a result, information displayed on the display device 12 of the terminal device 10 during the video capture end instruction after the video capture start instruction is recorded as video data. In the process described later, the end time is acquired from the moving image data, and the response time is calculated by calculating the difference from the start time described above.

ステップＳ５０９において、端末装置１０の画像解析部１０５及び応答時間算出部１０６は、応答時間算出処理を実行し、応答時間を算出する。算出された応答時間は、例えば、表示部１０７により表示装置１２に表示される。これにより、ユーザは、自身が行った入力操作を行った後、この入力操作に対応する処理が完了するまでに掛かった時間（すなわち、応答時間）を知ることができる。このように算出された応答時間は、例えば、応答時間を短縮するための資料やサービスに対するＳＬＡ（Service Level Agreement）を規定するための資料等に用いることができる。   In step S509, the image analysis unit 105 and the response time calculation unit 106 of the terminal device 10 execute a response time calculation process to calculate a response time. The calculated response time is displayed on the display device 12 by the display unit 107, for example. As a result, the user can know the time (i.e., response time) required for completing the processing corresponding to the input operation after performing the input operation performed by the user. The response time calculated in this way can be used, for example, as a material for shortening the response time or a material for defining an SLA (Service Level Agreement) for a service.

≪応答時間の算出処理≫
図５におけるステップＳ５０９の「応答時間算出処理」について説明する。 << Response time calculation process >>
The “response time calculation process” in step S509 in FIG. 5 will be described.

図６は、本実施形態に係る応答時間の算出処理の一例のフローチャートである（第１の実施例）。   FIG. 6 is a flowchart of an example of response time calculation processing according to the present embodiment (first example).

ステップＳ６０１において、端末装置１０の応答時間算出部１０６は、入力情報時刻データ記憶部１０９から該当の入力操作情報の時刻情報を取得する。すなわち、応答時間算出部１０６は、図５のステップＳ５０３で説明した、サーバ装置２０に処理要求を行うための入力操作が行われた時刻情報を取得する。これは、例えば、サーバ装置２０に処理要求を行うためのプログラム名、このプログラムにおけるユーザインタフェース画面、この画面において行われた操作キーの情報等に基づき取得することができる。この処理において取得された時刻情報を「開始時刻」と表す。   In step S <b> 601, the response time calculation unit 106 of the terminal device 10 acquires time information of the corresponding input operation information from the input information time data storage unit 109. That is, the response time calculation unit 106 acquires time information when the input operation for making a processing request to the server device 20 described in step S503 of FIG. 5 is performed. This can be acquired based on, for example, a program name for making a processing request to the server device 20, a user interface screen in this program, information on operation keys performed on this screen, and the like. The time information acquired in this process is represented as “start time”.

ステップＳ６０２において、端末装置１０の画像解析部１０５は、データ記憶部１１０に記憶されている動画データの各フレーム毎に、基準画像データ記憶部１０８に記憶されている基準画像データと一致するか否かを判定する。   In step S <b> 602, the image analysis unit 105 of the terminal device 10 matches the reference image data stored in the reference image data storage unit 108 for each frame of the moving image data stored in the data storage unit 110. Determine whether.

ここで、動画データに含まれるある１つのフレーム（以降、「フレームデータ」と表す）と、基準画像データとが一致するか否かの判定方法は、例えば、以下のようなものが挙げられる。このような判定は、各フレームデータに対応付けられた時刻情報の順に行えばよい。なお、基準画像データが表示装置１２に表示される画面の一部の範囲に対応する画像データである場合は、フレームデータの対応する範囲の部分を切り出した画像データと、基準画像データとが一致するか否かを判定する。以降では、フレームデータの一部の範囲を切り出した画像データも「フレームデータ」と表す。
（１）フレームデータの各画素値と、基準画像データの対応する各画素値とが一致するか否かを判定する。なお、フレームデータの各画素値と、基準画像データの対応する各画素値とが完全に一致する場合だけでなく、所定の範囲内にある場合にも一致すると判定してもよい。例えば、フレームデータと基準画像データとがＲＧＢ色空間である場合、基準画像データのＲ成分の値とフレームデータのＲ成分の値とが−３から＋３の範囲内ある場合は一致すると判定してもよいし、さらに、それぞれのＧ成分の値又は／及びＢ成分の値が−５から＋５の範囲内にある場合は一致すると判定してもよい。
（２）フレームデータの特定の部分と、基準画像データの特定の部分とが一致するか否かを判定する。ここで、特定の部分とは、例えば、フレームデータ及び基準画像データにおける画素値の位置をＸＹ座標で表した場合に、予め定められたａ１＜Ｘ＜ａ２及びｂ１＜Ｙ＜ｂ２の範囲にある各画素値である。したがって、フレームデータ及び基準画像データそれぞれ特定の部分の各画素値が、一致する又は所定の範囲内にある場合は、一致すると判定すればよい。
（３）パターンマッチングによりフレームデータと、基準画像データとが一致するか否かを判定する。例えば、基準画像データとフレームデータとを重ねて２つの画像データの相関を調べて、所定の範囲内の相関である場合に、一致すると判定する。
（４）統計的識別法によりフレームデータと、基準画像データとが一致するか否かを判定する。例えば、フレームデータ及び基準画像データそれぞれの特徴ベクトルに基づき、あるカテゴリの同時生起確率を算出し、フレームデータ及び基準画像データのそれぞれが属するカテゴリを決定する。そして、フレームデータと基準画像データとが同一のカテゴリに属するか否かにより、一致するか否かを判定する。なお、特徴ベクトルは、フレームデータ及び基準画像データの一部の特徴を示す局所的な特徴ベクトルであってもよい。
（５）構造識別法によりフレームデータと、基準画像データとが一致するか否かを判定する。例えば、フレームデータ及び基準画像データの構造解析を行い、それぞれの構造をグラフ化する。そして、それぞれのグラフの類似度が所定の範囲内である場合に、一致すると判定する。フレームデータ及び基準画像データの構造としては、例えば、エッジや特徴点等が挙げられる。なお、構造識別法は、分岐点主導型や線分主導型などのいずれの方法を用いてもよい。 Here, a method for determining whether or not one frame (hereinafter referred to as “frame data”) included in the moving image data matches the reference image data includes the following. Such determination may be performed in the order of time information associated with each frame data. When the reference image data is image data corresponding to a partial range of the screen displayed on the display device 12, the image data obtained by cutting out the corresponding range of the frame data matches the reference image data. It is determined whether or not to do. Hereinafter, image data obtained by cutting out a partial range of the frame data is also referred to as “frame data”.
(1) It is determined whether each pixel value of the frame data matches each corresponding pixel value of the reference image data. Note that it may be determined that not only when each pixel value of the frame data and each corresponding pixel value of the reference image data completely match, but also when they are within a predetermined range. For example, when the frame data and the reference image data are in the RGB color space, if the R component value of the reference image data and the R component value of the frame data are within the range of -3 to +3, it is determined that they match. Further, if the values of the respective G components and / or the values of the B components are in the range of −5 to +5, it may be determined that they match.
(2) It is determined whether or not the specific portion of the frame data matches the specific portion of the reference image data. Here, the specific portion refers to, for example, predetermined a 1 <X <a 2 and b 1 <Y <b 2 when the position of the pixel value in the frame data and the reference image data is represented by XY coordinates. Each pixel value in the range of. Therefore, if the pixel values of specific portions of the frame data and the reference image data respectively match or are within a predetermined range, it may be determined that they match.
(3) It is determined whether or not the frame data matches the reference image data by pattern matching. For example, the reference image data and the frame data are overlapped and the correlation between the two image data is examined. If the correlation is within a predetermined range, it is determined that they match.
(4) It is determined whether or not the frame data and the reference image data match by a statistical identification method. For example, the co-occurrence probability of a certain category is calculated based on the feature vectors of the frame data and the reference image data, and the category to which each of the frame data and the reference image data belongs is determined. Then, it is determined whether or not they match depending on whether or not the frame data and the reference image data belong to the same category. Note that the feature vector may be a local feature vector indicating some features of the frame data and the reference image data.
(5) It is determined whether or not the frame data matches the reference image data by the structure identification method. For example, the structure analysis of frame data and reference image data is performed, and the respective structures are graphed. And when the similarity of each graph is in a predetermined range, it determines with matching. Examples of the structure of the frame data and the reference image data include edges and feature points. As the structure identification method, any method such as a branch point initiative type or a line segment initiative type may be used.

フレームデータと基準画像データとが一致するか否かの判定方法は、上記に述べた（１）〜（５）の方法に限られものではなく、複数の画像データの一致度あるいは類似度等を判定する種々の方法を用いることができる。   The method for determining whether or not the frame data matches the reference image data is not limited to the methods (1) to (5) described above, and the degree of coincidence or similarity of a plurality of image data can be determined. Various methods of determining can be used.

ステップＳ６０３において、端末装置１０は、基準画像データと一致するフレームが存在する場合、ステップＳ６０４の処理に進む一方、一致するフレームが存在しない場合、処理を終了させる。なお、一致するフレームが存在しないと判定された場合、表示部１０７は、表示装置１２にエラーを示す画面等を表示させてもよい。   In step S603, if there is a frame that matches the reference image data, the terminal device 10 proceeds to the process of step S604. On the other hand, if there is no matching frame, the terminal device 10 ends the process. If it is determined that there is no matching frame, the display unit 107 may display a screen indicating an error on the display device 12.

ステップＳ６０４において、端末装置１０の応答時間算出部１０６は、上記のステップＳ６０２において基準画像データと一致すると判定されたフレームデータを取得した時刻情報を動画データから取得する。ここで、基準画像データと一致すると判定されたフレームデータは、端末装置１０がサーバ装置２０から処理応答を受け取った後に表示させる処理結果を表す画面の画像データである。したがって、基準画像データと一致すると判定されたフレームデータが取得された時刻情報を「終了時刻」と表す。   In step S604, the response time calculation unit 106 of the terminal device 10 acquires the time information from which the frame data determined to match the reference image data in step S602 described above from the moving image data. Here, the frame data determined to match the reference image data is image data of a screen representing a processing result to be displayed after the terminal device 10 receives a processing response from the server device 20. Therefore, the time information when the frame data determined to match the reference image data is represented as “end time”.

ここで、上記のステップＳ６０２で説明したように、例えばそれぞれの画素値が所定の範囲内にあるときにも一致すると判定する場合、基準画像データと一致すると判定されたフレームデータが複数存在する場合もある。このような場合、一致すると判定された複数のフレームデータに対応付けられている複数の時刻情報のうち、最も古い時刻情報（すなわち、複数のフレームデータのうち最初に取得されたフレームデータの時刻情報）を取得すればよい。   Here, as described in step S602 above, for example, when it is determined that the pixel values match even when each pixel value is within a predetermined range, when there are a plurality of frame data determined to match the reference image data There is also. In such a case, among the plurality of time information associated with the plurality of frame data determined to match, the oldest time information (that is, the time information of the frame data acquired first among the plurality of frame data) ).

ステップＳ６０５において、端末装置１０の応答時間算出部１０６は、開始時刻と終了時刻から応答時間を算出する。すなわち、応答時間算出部１０６は、終了時刻と開始時刻の差分を計算することで、応答時間を算出する。これにより、ユーザがサーバ装置２０に対して処理要求を行うための入力操作を行った後、この処理要求に対す処理結果を表す画面が表示されるまでの時間（応答時間）が測定される。このように測定された応答時間は、ユーザが実際に入力操作を行ってから、処理結果を表す画面が表示されるまでの応答時間であるため、ユーザが体感する待ち時間をより適切に表したものであるということができる。   In step S605, the response time calculation unit 106 of the terminal device 10 calculates the response time from the start time and the end time. That is, the response time calculation unit 106 calculates the response time by calculating the difference between the end time and the start time. Thereby, after the user performs an input operation for making a processing request to the server device 20, a time (response time) until a screen representing a processing result for the processing request is displayed is measured. The response time measured in this way is a response time from when the user actually performs an input operation until the screen showing the processing result is displayed, and thus more appropriately represents the waiting time experienced by the user. It can be said that it is a thing.

なお、本実施形態では、動画データを生成した後、応答時間の算出処理を行っているが、動画データの生成と応答時間の算出とは並列して処理を行うようにしてもよい。すなわち、動画キャプチャで動画データを生成しつつ、この動画データの生成されたフレームに対して逐次、図６の応答時間の算出処理を実行してもよい。   In the present embodiment, the response time calculation process is performed after the moving image data is generated. However, the generation of the moving image data and the calculation of the response time may be performed in parallel. That is, while generating moving image data by moving image capture, the response time calculation processing of FIG. 6 may be sequentially executed on the frame in which the moving image data is generated.

さらに、動画データを生成することは、必ずしも要しない。すなわち、画面の所定の領域（画面全体であっても、画面の一部であってもよい）と、基準画像データとに対して、逐次、図６の応答時間の算出処理を実行してもよい。   Furthermore, it is not always necessary to generate moving image data. That is, the response time calculation process of FIG. 6 may be sequentially executed on a predetermined area of the screen (which may be the entire screen or a part of the screen) and the reference image data. Good.

以上のように本実施例では、入力操作と処理結果の表示、すなわち、ユーザインタフェースを基準に応答時間が算出される。したがって、動作ログのみに基づき応答時間が算出される場合と比べて、ユーザが実際に体感する待ち時間により近い応答時間を算出することができる。このことは、例えば、処理応答をサーバ装置２０から受け取った後、端末装置１０において処理結果が表示装置１２に表示されるまでに時間を要する場合などにおいてより顕著である。   As described above, in this embodiment, the response time is calculated based on the input operation and the display of the processing result, that is, the user interface. Therefore, compared with the case where the response time is calculated based only on the operation log, the response time closer to the waiting time that the user actually feels can be calculated. This is more conspicuous when, for example, it takes time until the processing result is displayed on the display device 12 in the terminal device 10 after receiving the processing response from the server device 20.

（第２の実施例）
次に、本実施形態に係る応答時間測定システム１の第２の実施例について説明する。第２の実施例においては、開始時刻をユーザが入力操作を行った時刻とするのではなく、基準画像データ（開始基準画像データ）と異なる画面に遷移した場合に、この異なる画面を表す画像データを取得した時刻情報を開始時刻とする点が第１の実施例と異なる。なお、第２の実施例のシステム構成及びハードウェア構成は、第１の実施例と同様であるため、説明を省略する。 (Second embodiment)
Next, a second example of the response time measurement system 1 according to this embodiment will be described. In the second embodiment, instead of setting the start time as the time when the user performed the input operation, image data representing this different screen when the screen changes to a screen different from the reference image data (start reference image data). This is different from the first embodiment in that the time information acquired is used as the start time. Note that the system configuration and hardware configuration of the second embodiment are the same as those of the first embodiment, and a description thereof will be omitted.

＜ソフトウェア構成＞
第２の実施例に係る端末装置１０のソフトウェア構成について説明する。 <Software configuration>
A software configuration of the terminal device 10 according to the second embodiment will be described.

図７は、本実施形態に係る端末装置の一例の機能ブロック図である（第２の実施例）。図３に示される端末装置１０は、入力情報記録部１０２を有しない点、基準画像登録部１１１の機能、及び基準画像データ記憶部１１２に２つの基準画像データが記憶される点が第１の実施例と異なる。   FIG. 7 is a functional block diagram of an example of a terminal device according to the present embodiment (second example). The terminal device 10 shown in FIG. 3 has the first point that it does not have the input information recording unit 102, the function of the reference image registration unit 111, and two reference image data stored in the reference image data storage unit 112. Different from the embodiment.

基準画像登録部１１１は、開始時刻を特定するための開始基準画像データと、終了時刻を特定するための終了基準画像データとを基準画像データ記憶部１１２に記憶させる。ここで、終了基準画像データは、第１の実施例における「基準画像データ」と同様であり、終了時刻を特定するための画像データであり、例えば、端末装置１０がサーバ装置２０から処理応答を受け取ったときに表示装置１２に表示される画面の画像データである。他方、開始基準画像データは、開始時刻を特定するための画像データであり、端末装置１０がサーバ装置２０に処理要求を行うための入力操作を受け付ける画面の画像データである。   The reference image registration unit 111 causes the reference image data storage unit 112 to store start reference image data for specifying the start time and end reference image data for specifying the end time. Here, the end reference image data is the same as the “reference image data” in the first embodiment, and is image data for specifying the end time. For example, the terminal device 10 sends a processing response from the server device 20. This is image data of a screen displayed on the display device 12 when received. On the other hand, the start reference image data is image data for specifying the start time, and is image data of a screen that accepts an input operation for the terminal device 10 to make a processing request to the server device 20.

＜概略＞
次に、第２の実施例の応答測定システム１の概略について説明する。 <Outline>
Next, an outline of the response measurement system 1 of the second embodiment will be described.

図８は、本実施形態の概略の一例を説明するための図である（第２の実施例）。まず、端末装置１０のディスプレイ等には、入力操作を受け付けるための画面Ａが表示されているものとする。   FIG. 8 is a diagram for explaining an example of the outline of the present embodiment (second example). First, it is assumed that a screen A for receiving an input operation is displayed on the display or the like of the terminal device 10.

ステップＳ１１において、ユーザが入力装置１１を介してサーバ装置２０に処理要求を行うための入力操作を行う。   In step S <b> 11, the user performs an input operation for making a processing request to the server device 20 via the input device 11.

ステップＳ１２において、端末装置１０は、ユーザにより行われた入力操作に対応する処理要求をサーバ装置２０に送信する。   In step S <b> 12, the terminal device 10 transmits a processing request corresponding to the input operation performed by the user to the server device 20.

ステップＳ１３において、端末装置１０は、入力操作を受け付けたことを表す画面Ａ’に画面遷移する。ここで、画面Ａ’は、画面Ａとは全く異なる画面であってもよいし、例えば画面Ａの所定の領域に入力操作を受け付けたことを示す「メッセージ」が表示されたような画面であってもよい。   In step S <b> 13, the terminal device 10 transitions to a screen A ′ indicating that an input operation has been accepted. Here, the screen A ′ may be a completely different screen from the screen A. For example, the screen A ′ is a screen in which a “message” indicating that an input operation has been received is displayed in a predetermined area of the screen A. May be.

ステップＳ１４において、サーバ装置２０は、端末装置１０から処理要求を受け取ると、受け取った処理要求に対応する処理を実行する。   In step S <b> 14, upon receiving a processing request from the terminal device 10, the server device 20 executes processing corresponding to the received processing request.

ステップＳ１５において、サーバ装置２０は、処理応答を端末装置１０に返す。   In step S <b> 15, the server device 20 returns a processing response to the terminal device 10.

ステップＳ１６において、端末装置１０は、サーバ装置２０から処理応答を受け取ると、処理結果を表す画面Ｂに画面遷移する。これにより、ユーザが入力操作を行ってからこの入力操作に対する結果が表示されるまでの一連の動作が完了する。   In step S <b> 16, when the terminal device 10 receives the processing response from the server device 20, the terminal device 10 transitions to a screen B representing the processing result. As a result, a series of operations from when the user performs an input operation to when a result for the input operation is displayed is completed.

第２の実施例に係る応答時間測定システム１では、上記で説明した一連動作に要した時間、すなわち、ユーザが入力操作を行って画面Ａ’に画面遷移してから画面Ｂが表示されるまでの時間（応答時間）を測定する。これにより、ユーザが実際に体感する処理待ち時間により近い応答時間が測定される。   In the response time measurement system 1 according to the second embodiment, the time required for the series of operations described above, that is, until the screen B is displayed after the user performs an input operation and transitions to the screen A ′. Measure the response time (response time). Thereby, the response time closer to the processing waiting time that the user actually feels is measured.

＜処理の詳細＞
次に、第２の実施例に係る応答時間測定システム１の処理の詳細について説明する。なお、以降では、第１の実施例と同様の処理を行う箇所については、適宜説明を省略又は簡略化する。 <Details of processing>
Next, details of processing of the response time measurement system 1 according to the second embodiment will be described. In the following description, description of parts where the same processing as in the first embodiment is performed will be omitted or simplified as appropriate.

≪全体処理≫
図９は、本実施形態に係る全体処理の一例のシーケンス図である（第１の実施例）。 ≪Overall processing≫
FIG. 9 is a sequence diagram illustrating an example of the overall processing according to the present embodiment (first example).

ステップＳ９０１において、端末装置１０の入力装置１１を介して開始基準画像データ及び終了基準画像データの登録を指示する。すると、端末装置１０の基準画像登録部１１１は、ユーザにより指示された開始基準画像データ及び終了基準画像データを基準画像データ記憶部１１２に記憶させる。   In step S901, registration of start reference image data and end reference image data is instructed via the input device 11 of the terminal device 10. Then, the reference image registration unit 111 of the terminal device 10 causes the reference image data storage unit 112 to store the start reference image data and the end reference image data instructed by the user.

ここで、開始基準画像データは、例えば、上記の概略で説明した「画面Ａ」を表す画像であり、端末装置１０から処理要求を送信するための入力操作を受け付ける画面の画像データである。   Here, the start reference image data is, for example, an image representing “screen A” described in the above outline, and is image data of a screen that accepts an input operation for transmitting a processing request from the terminal device 10.

ステップＳ９０２において、ユーザは、端末装置１０の入力装置１１を介して、動画データを生成するための動画キャプチャ開始指示を行う。第２の実施例では、この動画キャプチャ開始指示は、表示装置１２に、端末装置１０からサーバ装置２０に対しての処理要求を送信するための入力操作を受け付ける画面が表示されている状態で行う。すると、データ生成部１０４は、表示部１０７が端末装置１０の表示装置１２に表示させる情報の録画を開始する。   In step S <b> 902, the user issues a moving image capture start instruction for generating moving image data via the input device 11 of the terminal device 10. In the second embodiment, this moving image capture start instruction is performed in a state where a screen for accepting an input operation for transmitting a processing request from the terminal device 10 to the server device 20 is displayed on the display device 12. . Then, the data generation unit 104 starts recording information that the display unit 107 displays on the display device 12 of the terminal device 10.

ステップＳ９０３において、ユーザは、端末装置１０の入力装置１１を介して、サーバ装置２０に処理要求を行うための入力操作を行う。   In step S <b> 903, the user performs an input operation for making a processing request to the server device 20 via the input device 11 of the terminal device 10.

ステップＳ９０４において、ユーザにより入力装置１１を介してサーバ装置２０に処理要求を行うための入力操作がされると、端末装置１０の表示部１０７は、入力操作を受け付けたこと表す画面に画面遷移させる。   In step S904, when the user performs an input operation for making a processing request to the server device 20 via the input device 11, the display unit 107 of the terminal device 10 changes the screen to a screen indicating that the input operation has been accepted. .

ステップＳ９０５において、端末装置１０は、上記のステップＳ９０３においてされた入力操作に応じた処理要求をサーバ装置２０に送信する。   In step S <b> 905, the terminal apparatus 10 transmits a processing request corresponding to the input operation performed in step S <b> 903 to the server apparatus 20.

ステップＳ９０６において、サーバ装置２０は、端末装置１０から処理要求を受け取ると、この処理要求に対応する処理を実行する。   In step S <b> 906, when the server device 20 receives a processing request from the terminal device 10, the server device 20 executes processing corresponding to the processing request.

ステップＳ９０７において、サーバ装置２０は、受け取った処理要求に対応する処理が完了すると、処理応答を端末装置１０に送信する。   In step S <b> 907, the server device 20 transmits a processing response to the terminal device 10 when the processing corresponding to the received processing request is completed.

ステップＳ９０８において、サーバ装置２０から処理応答を受け取ると、端末装置１０の表示部１０７は、処理結果を表す画面に画面遷移させる。これにより、ユーザは、自身が行った入力操作に対する処理が完了したことを認識する。   In step S908, when a processing response is received from the server device 20, the display unit 107 of the terminal device 10 changes the screen to a screen representing the processing result. Thereby, the user recognizes that the processing for the input operation performed by the user is completed.

ステップＳ９０９において、ユーザは、端末装置１０の入力装置１１を介して、動画キャプチャ終了指示を行う。すると、データ生成部１０４は、動画データの生成を終了させ、生成した動画データをデータ記憶部１１０に記憶させる。   In step S <b> 909, the user issues a moving image capture end instruction via the input device 11 of the terminal device 10. Then, the data generation unit 104 ends the generation of the moving image data, and stores the generated moving image data in the data storage unit 110.

ステップＳ９１０において、端末装置１０の画像解析部１０５及び応答時間算出部１０６は、応答時間算出処理を実行し、応答時間を算出する。   In step S910, the image analysis unit 105 and the response time calculation unit 106 of the terminal device 10 execute a response time calculation process to calculate a response time.

≪応答時間の算出処理≫
図９におけるステップＳ９１０の「応答時間算出処理」について説明する。 << Response time calculation process >>
The “response time calculation process” in step S910 in FIG. 9 will be described.

図１０は、本実施形態に係る応答時間の算出処理の一例のフローチャートである（第２の実施例）。   FIG. 10 is a flowchart of an example of response time calculation processing according to the present embodiment (second example).

ステップＳ１００１において、端末装置１０の画像解析部１０５は、データ記憶部１１０に記憶されている動画データの各フレーム毎に、基準画像データ記憶部１１２に記憶されている開始基準画像データと一致するか否かを判定する。なお、ここでの判定方法は、第１の実施例で説明したものと同様の方法を用いればよい。   In step S <b> 1001, the image analysis unit 105 of the terminal device 10 matches the start reference image data stored in the reference image data storage unit 112 for each frame of the moving image data stored in the data storage unit 110. Determine whether or not. Note that the determination method here may be the same method as described in the first embodiment.

ステップＳ１００２において、端末装置１０は、開始基準画像データと一致しないフレームが存在する場合、ステップＳ１００２の処理に進む一方、一致しないフレームが存在しない場合、処理を終了させる。   In step S1002, the terminal device 10 proceeds to the process of step S1002 when there is a frame that does not match the start reference image data, and ends the process when there is no frame that does not match.

ステップＳ１００３において、端末装置１０の応答時間算出部１０６は、上記のステップＳ１００２において開始基準画像データと一致しないと判定された１以上のフレームデータのうち、最も古い時刻（最初の時刻）に取得されたフレームデータの時刻情報を動画データから取得する。ここで、開始基準画像データと一致しないと判定されたフレームデータのうち最も古い時刻に取得されたフレームデータは、端末装置１０の表示部１０７が入力操作を受け付けたことを表す画面（すなわち、「画面Ａ’」）の画像データである。したがって、開始基準画像データと一致しないと判定された１以上のフレームデータのうち、最も古い時刻に取得されたフレームデータの時刻情報が「開始時刻」である。   In step S1003, the response time calculation unit 106 of the terminal device 10 is acquired at the oldest time (first time) among the one or more frame data determined not to match the start reference image data in step S1002. The time information of the obtained frame data is acquired from the moving image data. Here, the frame data acquired at the oldest time among the frame data determined not to match the start reference image data is a screen indicating that the display unit 107 of the terminal device 10 has accepted the input operation (that is, “ The image data of the screen A ′ ”). Therefore, the time information of the frame data acquired at the oldest time among the one or more frame data determined not to match the start reference image data is the “start time”.

ステップＳ１００４において、端末装置１０の画像解析部１０５は、データ記憶部１１０に記憶されている動画データの各フレーム毎に、基準画像データ記憶部１１２に記憶されている終了基準画像データと一致するか否かを判定する。なお、ここでの判定方法は、第１の実施例で説明したものと同様の方法を用いればよい。   In step S <b> 1004, the image analysis unit 105 of the terminal device 10 matches the end reference image data stored in the reference image data storage unit 112 for each frame of the moving image data stored in the data storage unit 110. Determine whether or not. Note that the determination method here may be the same method as described in the first embodiment.

ステップＳ１００５において、端末装置１０は、終了基準画像データと一致するフレームが存在する場合、ステップＳ１００６の処理に進む一方、一致するフレームが存在しない場合、処理を終了させる。   In step S1005, if there is a frame that matches the end reference image data, the terminal apparatus 10 proceeds to the process of step S1006. If there is no matching frame, the terminal apparatus 10 ends the process.

ステップＳ１００６において、端末装置１０の応答時間算出部１０６は、上記のステップＳ１００４において終了基準画像データと一致すると判定されたフレームデータが取得された時刻情報を動画データから取得する。終了基準画像データと一致すると判定されたフレームデータが取得された時刻情報が「終了時刻」である。   In step S1006, the response time calculation unit 106 of the terminal device 10 acquires from the moving image data the time information at which the frame data determined to match the end reference image data in step S1004 is acquired. The time information at which the frame data determined to match the end reference image data is acquired is the “end time”.

ステップＳ１００７において、端末装置１０の応答時間算出部１０６は、開始時刻と終了時刻から応答時間を算出する。これにより、ユーザがサーバ装置２０に対して処理要求を行うための入力操作を行って、入力操作を受け付けたことを表す画面が表示された後、この処理要求に対す処理結果を表す画面が表示されるまでの時間（応答時間）が測定される。このように測定された応答時間は、ユーザが実際に入力操作を行ってから、処理結果を表す画面が表示されるまでの応答時間であるため、ユーザが体感する待ち時間をより適切に表したものであるということができる。   In step S1007, the response time calculation unit 106 of the terminal device 10 calculates the response time from the start time and the end time. Thus, after the user performs an input operation for making a processing request to the server device 20 and a screen indicating that the input operation has been received is displayed, a screen indicating the processing result for the processing request is displayed. The time until response (response time) is measured. The response time measured in this way is a response time from when the user actually performs an input operation until the screen showing the processing result is displayed, and thus more appropriately represents the waiting time experienced by the user. It can be said that it is a thing.

なお、本実施例において、基準画像データは、開始基準画像データと終了基準画像データの２つの画像データを用いたが、これに限られず、任意の個数の画像データを基準画像データとすることもできる。例えば、３つの基準画像データを用いる場合、基準画像データＡと基準画像データＢとに基づき画面Ａから画面Ｂに画面遷移するまでの応答時間を測定するとともに、基準画像データＢと基準画像データＣとに基づき画面Ｂから画面Ｃに画面遷移するまでの応答時間を、上記で説明した処理により測定することができる。このように、開始時刻を所定の基準画像データと一致しないと判定された最初の時刻とする一方で、終了時刻を所定の基準画像データと一致した時刻とすることで、任意の画面構成を有するプログラムの応答時間を算出することができる。   In this embodiment, the reference image data uses two pieces of image data, that is, start reference image data and end reference image data. However, the present invention is not limited to this, and any number of image data may be used as reference image data. it can. For example, when three reference image data are used, the response time until the screen transitions from the screen A to the screen B is measured based on the reference image data A and the reference image data B, and the reference image data B and the reference image data C are used. Based on the above, the response time from the screen B to the screen C can be measured by the processing described above. As described above, the start time is set to the first time determined not to match the predetermined reference image data, while the end time is set to the time corresponding to the predetermined reference image data, thereby having an arbitrary screen configuration. The response time of the program can be calculated.

（応用例）
以上で説明した応答時間測定システム１は、基準画像データが音声データ等である場合についても応用することができる。この応用例について、第１の実施例を以下の条件の下で、端末装置１０において、サーバ装置２０に保存されている動画データを例えばストリーミング再生する場合について簡単に説明する。
・基準画像データを「基準音声データ」と読み替える
・動画データには、画像データと、音声データと、画像データ毎に音声データを対応付けるための時間情報とが含まれる
このとき、端末装置１０において、基準音声データと、サーバ装置２０から取得した動画データに含まれる音声データとが一致するか否かを判定する。そして、一致すると判定された音声データの時刻情報（これは時刻取得部１０３により取得される）と、動画データに含まれる時間情報とに基づいて、音声データの受信が画像データの受信に対して遅れているか否か（又は進んでいるか否か）の情報を得ることができる。ここで、基準音声データと、動画データに含まれる音声データとが一致するか否かは、例えば、特定周波数のスペクトル解析を用いて判定することができる。 (Application examples)
The response time measurement system 1 described above can also be applied to the case where the reference image data is audio data or the like. With respect to this application example, a case will be briefly described in which the first embodiment performs, for example, streaming reproduction of moving image data stored in the server device 20 in the terminal device 10 under the following conditions.
The reference image data is read as “reference audio data”. The moving image data includes image data, audio data, and time information for associating audio data for each image data. It is determined whether the reference audio data matches the audio data included in the moving image data acquired from the server device 20. Then, based on the time information of the audio data determined to match (this is acquired by the time acquisition unit 103) and the time information included in the moving image data, the reception of the audio data is compared with the reception of the image data. It is possible to obtain information on whether or not the vehicle is late (or whether or not it is advanced). Here, whether or not the reference audio data matches the audio data included in the moving image data can be determined using, for example, spectrum analysis of a specific frequency.

＜まとめ＞
以上のように本実施形態に係る応答時間測定システム１では、ユーザが行った入力操作に基づいて開始時刻を特定する一方、入力操作に対応する処理要求の処理結果を表す画面に基づいて終了時刻を特定する。そして、これらの特定された開始時刻と終了時刻とから応答時間を算出する。換言すれば、ユーザからの入力操作及びユーザに対する画面表示を基準として応答時間を算出するものである。したがって、ユーザが入力操作を行った後、処理結果が表示されまでに実際に体感する待ち時間に近い応答時間を測定することができる。 <Summary>
As described above, in the response time measurement system 1 according to the present embodiment, the start time is specified based on the input operation performed by the user, while the end time is determined based on the screen representing the processing result of the processing request corresponding to the input operation. Is identified. Then, a response time is calculated from the specified start time and end time. In other words, the response time is calculated based on the input operation from the user and the screen display for the user. Therefore, it is possible to measure a response time that is close to the waiting time that the user actually feels until the processing result is displayed after the user performs an input operation.

さらには、終了時刻を基準画像データと表示画面（表示画面の一部を含む）との一致により判定することで、様々な画面構成を有するアプリケーションの応答時間を測定することができる。   Furthermore, by determining the end time based on the match between the reference image data and the display screen (including a part of the display screen), it is possible to measure response times of applications having various screen configurations.

なお、データ生成部１０４は、画像取得手段の一例である。入力情報記録部１０２は、操作時刻記録手段の一例である。画像解析部１０５は、判定手段の一例である。応答時間算出部１０６は、応答時間算出手段の一例である。   The data generation unit 104 is an example of an image acquisition unit. The input information recording unit 102 is an example of an operation time recording unit. The image analysis unit 105 is an example of a determination unit. The response time calculation unit 106 is an example of a response time calculation unit.

なお、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。   Note that the present invention is not limited to the specifically disclosed embodiments, and various modifications and changes can be made without departing from the scope of the claims.

１ 応答時間測定システム
１０ 端末装置
１１ 入力装置
１２ 表示装置
１３ 外部Ｉ／Ｆ
１３ａ 記録媒体
１４ ＲＡＭ
１５ ＲＯＭ
１６ ＣＰＵ
１７ 通信Ｉ／Ｆ
１８ ＨＤＤ
２０ サーバ装置
１０１ 基準画像登録部
１０２ 入力情報記録部
１０３ 時刻取得部
１０４ データ生成部
１０５ 画像解析部
１０６ 応答時間算出部
１０７ 表示部
１０８ 基準画像データ記憶部
１０９ 入力情報時刻データ記憶部
１１０ データ記憶部 DESCRIPTION OF SYMBOLS 1 Response time measuring system 10 Terminal device 11 Input device 12 Display device 13 External I / F
13a recording medium 14 RAM
15 ROM
16 CPU
17 Communication I / F
18 HDD
DESCRIPTION OF SYMBOLS 20 Server apparatus 101 Reference | standard image registration part 102 Input information recording part 103 Time acquisition part 104 Data generation part 105 Image analysis part 106 Response time calculation part 107 Display part 108 Reference | standard image data storage part 109 Input information time data storage part 110 Data storage part

Claims (8)

処理要求を行うための入力操作がされた時刻を記録する操作時刻記録手段と、
表示部の所定の領域に表示された第１の画像データを取得する画像取得手段であって、前記第１の画像データが取得された時刻を前記第１の画像データと対応付けて取得する画像取得手段と、
前記画像取得手段で取得された前記第１の画像データと、予め登録された第１の基準画像データとが一致するか否かを判定する判定手段と、
前記判定手段で前記第１の画像データと前記第１の基準画像データとが一致すると判定された場合、該第１の画像データと対応付けて取得された時刻と前記入力操作がされた時刻とに基づき、前記処理要求に対する応答時間を算出する応答時間算出手段と、
を有する情報処理装置。 An operation time recording means for recording a time when an input operation for performing a processing request is performed;
Image acquisition means for acquiring first image data displayed in a predetermined area of a display unit, wherein the image acquisition means acquires the time at which the first image data was acquired in association with the first image data Acquisition means;
A determination unit that determines whether or not the first image data acquired by the image acquisition unit matches the first reference image data registered in advance;
When the determination means determines that the first image data and the first reference image data match, the time acquired in association with the first image data and the time when the input operation was performed And a response time calculating means for calculating a response time for the processing request,
An information processing apparatus. 前記判定手段は、前記第１の画像データに対応する画像と、前記第１の基準画像データに対応する画像との比較の結果が所定の範囲内にある場合、前記第１の画像データと前記第１の基準画像データとが一致すると判定する、請求項１記載の情報処理装置。   When the result of comparison between the image corresponding to the first image data and the image corresponding to the first reference image data is within a predetermined range, the determination unit and the first image data The information processing apparatus according to claim 1, wherein the information processing apparatus determines that the first reference image data matches. 前記判定手段は、前記第１の画像データに対応する画像の特定の部分と、前記第１の基準画像データに対応する画像の特定の部分との比較の結果が所定の範囲内にある場合、前記第１の画像データと前記第１の基準画像データとが一致すると判定する、請求項１記載の情報処理装置。   When the result of comparison between the specific part of the image corresponding to the first image data and the specific part of the image corresponding to the first reference image data is within a predetermined range, The information processing apparatus according to claim 1, wherein it is determined that the first image data and the first reference image data match. 前記情報処理装置は、前記処理要求に対する処理を実行するサーバ装置とネットワークを介して接続されており、
前記処理要求が前記サーバ装置に送信された時刻を記録する送信時刻記録手段と、
前記処理要求に対する応答結果が前記サーバ装置から受信された時刻を記録する受信時刻記録手段と、
を有し、
前記応答時間算出手段は、
前記判定手段で前記第１の画像データと前記第１の基準画像データとが一致すると判定された場合、該第１の画像データと対応付けて取得された時刻と前記入力操作がされた時刻とに基づき、前記処理要求に対する応答時間を算出すると共に、前記送信時刻記録手段により記録された前記送信された時刻と前記受信時刻記録手段により記録された前記受信された時刻とに基づき、ネットワーク通信に要した時間を算出する、請求項１ないし３のいずれか１項に記載の情報処理装置。 The information processing device is connected via a network to a server device that executes processing for the processing request,
Transmission time recording means for recording the time when the processing request is transmitted to the server device;
A reception time recording means for recording a time when a response result to the processing request is received from the server device;
Have
The response time calculating means includes
When the determination means determines that the first image data and the first reference image data match, the time acquired in association with the first image data and the time when the input operation was performed And calculating a response time to the processing request, based on the transmission time recorded by the transmission time recording means and the received time recorded by the reception time recording means. The information processing apparatus according to claim 1, wherein the time required is calculated. 画像取得手段は、更に、
前記表示部の所定の領域に表示された第２の画像データを取得し、該第２の画像データが取得された時刻を前記第２の画像データと対応付けて取得し、
前記判定手段は、更に、
前記表示部の所定の領域に表示される第２の画像データと、予め登録された第２の基準画像データとが一致するか否かを判定し、
前記応答時間算出手段は、
前記判定手段で前記第１の画像データと前記第１の基準画像データとの一致が判定され、かつ、前記第２の画像データと前記第２の基準画像データとの不一致が判定された場合、該第１の画像データが取得された時刻と前記第２の画像データが取得された時刻とに基づき、前記処理要求に対する応答時間を算出する、請求項１記載の情報処理装置。 The image acquisition means further includes
Obtaining the second image data displayed in a predetermined area of the display unit, obtaining the time when the second image data was obtained in association with the second image data,
The determination means further includes:
Determining whether the second image data displayed in a predetermined area of the display unit matches the second reference image data registered in advance;
The response time calculating means includes
When the determination unit determines that the first image data and the first reference image data match, and the second image data and the second reference image data do not match, The information processing apparatus according to claim 1, wherein a response time for the processing request is calculated based on a time when the first image data is acquired and a time when the second image data is acquired. 前記判定手段は、
前記第１の画像データに対応する画像と、前記第１の基準画像データの対応する画像との比較の結果が所定の範囲内にある場合、前記第１の画像データと前記第１の基準画像データとが一致すると判定し、
前記第２の画像データに対応する画像と、前記第２の基準画像データに対応する画像との比較の結果が所定の範囲内にない場合、前記第２の画像データと前記第２の基準画像データとは一致しないと判定する、請求項５記載の情報処理装置。 The determination means includes
When the comparison result between the image corresponding to the first image data and the image corresponding to the first reference image data is within a predetermined range, the first image data and the first reference image Determine that the data matches,
When the result of comparison between the image corresponding to the second image data and the image corresponding to the second reference image data is not within a predetermined range, the second image data and the second reference image The information processing apparatus according to claim 5, wherein it is determined that the data does not match. 前記判定手段は、
前記第１の画像データに対応する画像の特定の部分と、前記第１の基準画像データに対応する画像の特定の部分との比較の結果が所定の範囲内にある場合、前記第１の画像データと前記第１の基準画像データとが一致すると判定し、
前記第２の画像データに対応する画像の特定の部分と、前記第２の基準画像データに対応する画像の特定の部分との比較の結果が所定の範囲内にない場合、前記第２の画像データと前記第２の基準画像データとは一致しないと判定する、請求項５記載の情報処理装置。 The determination means includes
When the comparison result between the specific portion of the image corresponding to the first image data and the specific portion of the image corresponding to the first reference image data is within a predetermined range, the first image Determining that the data and the first reference image data match,
When the result of comparison between the specific part of the image corresponding to the second image data and the specific part of the image corresponding to the second reference image data is not within a predetermined range, the second image The information processing apparatus according to claim 5, wherein it is determined that the data does not match the second reference image data. コンピュータに、
処理要求を行うための入力操作がされた時刻を記録する操作時刻記録手順、
表示部の所定の領域に表示された第１の画像データを取得する画像取得手段であって、前記第１の画像データが取得された時刻を前記第１の画像データと対応付けて取得する画像取得手順、
前記画像取得手順で取得された前記第１の画像データと、予め登録された第１の基準画像データとが一致するか否かを判定する判定手順、
前記判定手順で前記第１の画像データと前記第１の基準画像データとが一致すると判定された場合、該第１の画像データと対応付けて取得された時刻と前記入力操作がされた時刻とに基づき、前記処理要求に対する応答時間を算出する応答時間算出手順、
を実行させるためのプログラム。 On the computer,
An operation time recording procedure for recording a time when an input operation for performing a processing request is performed;
Image acquisition means for acquiring first image data displayed in a predetermined area of a display unit, wherein the image acquisition means acquires the time at which the first image data was acquired in association with the first image data Acquisition procedure,
A determination procedure for determining whether or not the first image data acquired in the image acquisition procedure matches the first reference image data registered in advance;
When it is determined in the determination procedure that the first image data and the first reference image data match, the time acquired in association with the first image data and the time when the input operation is performed A response time calculation procedure for calculating a response time for the processing request based on
A program for running
JP2014151861A 2014-07-25 2014-07-25 Information processing apparatus and program Expired - Fee Related JP6290743B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014151861A JP6290743B2 (en) 2014-07-25 2014-07-25 Information processing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014151861A JP6290743B2 (en) 2014-07-25 2014-07-25 Information processing apparatus and program

Publications (2)

Publication Number Publication Date
JP2016029543A true JP2016029543A (en) 2016-03-03
JP6290743B2 JP6290743B2 (en) 2018-03-07

Family

ID=55435399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014151861A Expired - Fee Related JP6290743B2 (en) 2014-07-25 2014-07-25 Information processing apparatus and program

Country Status (1)

Country Link
JP (1) JP6290743B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166448A (en) * 2019-03-28 2020-10-08 メタウォーター株式会社 Information processing apparatus, information processing system, and program
WO2022034672A1 (en) * 2020-08-13 2022-02-17 日本電信電話株式会社 Data processing device and data processing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038619A (en) * 2002-07-04 2004-02-05 Hitachi Ltd Automatic response time measuring method, and device therefor
JP2006309535A (en) * 2005-04-28 2006-11-09 Matsushita Electric Ind Co Ltd Mobile site monitoring system
JP2009140268A (en) * 2007-12-07 2009-06-25 Fujitsu Ltd Program, apparatus and method for automatically processing subsequent processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038619A (en) * 2002-07-04 2004-02-05 Hitachi Ltd Automatic response time measuring method, and device therefor
JP2006309535A (en) * 2005-04-28 2006-11-09 Matsushita Electric Ind Co Ltd Mobile site monitoring system
JP2009140268A (en) * 2007-12-07 2009-06-25 Fujitsu Ltd Program, apparatus and method for automatically processing subsequent processing

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166448A (en) * 2019-03-28 2020-10-08 メタウォーター株式会社 Information processing apparatus, information processing system, and program
WO2022034672A1 (en) * 2020-08-13 2022-02-17 日本電信電話株式会社 Data processing device and data processing method
JP7439934B2 (en) 2020-08-13 2024-02-28 日本電信電話株式会社 Data processing device and data processing method

Also Published As

Publication number Publication date
JP6290743B2 (en) 2018-03-07

Similar Documents

Publication Publication Date Title
US9442832B2 (en) User workflow replication for execution error analysis
CN103518393B (en) The system and method for detecting mobile communication equipment content
CN107025174B (en) Method, device and readable storage medium for user interface anomaly test of equipment
CN109739855B (en) Method and system for realizing data sheet splicing and automatically training machine learning model
CN107180117B (en) Chart recommendation method and device and computer equipment
TWI622877B (en) System and method for recording and replaying mouse behavior, recording media and program products
JP2010219789A5 (en) Image processing system, control method thereof, and program
WO2019019647A1 (en) Method and system for determining application program testing range, server and storage medium
CN109446025B (en) Operation behavior playback method and device, electronic equipment and readable medium
CN111209202A (en) Terminal application testing method and device
JP2018026060A (en) Programmable display unit, update processing apparatus, update method, information processing method, and program
CN109815448B (en) Slide generation method and device
JP2012103786A (en) Test support device, control method, and program
CN112037223B (en) Image defect detection method and device and electronic equipment
JP2018163423A (en) Construction management system, construction management method, noise measuring method, portable terminal, and program
JP6290743B2 (en) Information processing apparatus and program
JP6275009B2 (en) Test apparatus and test program
WO2019090691A1 (en) Monkey testing method and terminal
US10839570B2 (en) Graph display method, electronic device, and recording medium for displaying modified expression in different ways in response to determining whether condition regarding modified expression is satisfied
JP2018060421A (en) Information generation system, device, method, and program
CN111240786A (en) Walkthrough method and device, electronic equipment and storage medium
CN107515821B (en) Control testing method and device
JP7140232B2 (en) ELECTRONIC DEVICE, LEARNING SUPPORT SYSTEM, LEARNING SUPPORT METHOD AND PROGRAM
CN110084298B (en) Method and device for detecting image similarity
JP7416071B2 (en) Judgment device and judgment program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180208

R150 Certificate of patent or registration of utility model

Ref document number: 6290743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees