JP2017194756A - Web browsing quality estimation device, Web browsing quality estimation method, and program - Google Patents

Web browsing quality estimation device, Web browsing quality estimation method, and program Download PDF

Info

Publication number
JP2017194756A
JP2017194756A JP2016083185A JP2016083185A JP2017194756A JP 2017194756 A JP2017194756 A JP 2017194756A JP 2016083185 A JP2016083185 A JP 2016083185A JP 2016083185 A JP2016083185 A JP 2016083185A JP 2017194756 A JP2017194756 A JP 2017194756A
Authority
JP
Japan
Prior art keywords
qoe
web browsing
web
estimation
variation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016083185A
Other languages
Japanese (ja)
Other versions
JP6496680B2 (en
Inventor
聡子 富永
Satoko Tominaga
聡子 富永
仁志 青木
Hitoshi Aoki
仁志 青木
孝典 林
Takanori Hayashi
孝典 林
哉子 佐藤
Kanako Sato
哉子 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016083185A priority Critical patent/JP6496680B2/en
Publication of JP2017194756A publication Critical patent/JP2017194756A/en
Application granted granted Critical
Publication of JP6496680B2 publication Critical patent/JP6496680B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To accurately estimate a total Quality of Experience (QoE) that is a total quality after multiple pages are shifted in Web browsing.SOLUTION: A Web browsing quality estimation device comprises: an acquisition unit for acquiring QoE estimates, for each of multiple Web pages of a shift target, based on a display waiting time from generation of a display instruction of the Web page to display of the Web page; a first calculation unit for calculating an average value of the multiple acquired QoE estimates; a second calculation unit for calculating variations in the multiple QoE estimates acquired by the acquisition unit; and a third calculation unit for calculating an estimate of a Web browsing QoE that is a QoE after the multiple Web pages are shifted on the basis of the average value and the variations.SELECTED DRAWING: Figure 3

Description

本発明は、Webブラウジング品質推定装置、Webブラウジング品質推定方法、及びプログラムに関する。   The present invention relates to a web browsing quality estimation apparatus, a web browsing quality estimation method, and a program.

インターネットやイントラネットなどのネットワークを介して利用するWebアプリケーションやクラウドネットワークを利用したアプリケーションの利用が進んでいる。   The use of Web applications that are used via networks such as the Internet and intranets, and applications that use cloud networks is progressing.

ユーザに満足してもらえるWebブラウジングサービスを提供するためには、Webブラウジングに対するQoE(Quality of Experience)を適切に管理する必要がある。Webブラウジングに対するQoE低下の要因には、Webページの表示待ち時間がある。表示待ち時間とは、ここでは、「ユーザがWebブラウジング受信端末でWebブラウジングのサービスに関する処理要求を行ってからWebブラウジング受信端末の画面に処理結果が表示されるまでの時間」と定義する。但し、処理要求は、ユーザが意図的に実施したもの以外に、ユーザの端末が自動で実施した要求等も含めることとする。   In order to provide a Web browsing service that satisfies the user, it is necessary to appropriately manage QoE (Quality of Experience) for Web browsing. As a factor of QoE reduction for Web browsing, there is a Web page display waiting time. Here, the display waiting time is defined as “the time from when the user makes a processing request regarding the Web browsing service at the Web browsing receiving terminal until the processing result is displayed on the screen of the Web browsing receiving terminal”. However, the processing request includes a request automatically performed by the user's terminal in addition to a request intentionally performed by the user.

非特許文献1では、表示待ち時間に対するQoEの推定方法として、ユーザの処理要求からサーバ応答が戻ってくるまでの時間と、サーバ応答がユーザ端末に戻ってからユーザ端末に処理結果が表示されるまでの時間とに基づいてQoEを推定する方法が開示されている。   In Non-Patent Document 1, as a method for estimating the QoE with respect to the display waiting time, the time until the server response returns from the user processing request and the processing result are displayed on the user terminal after the server response returns to the user terminal. A method for estimating the QoE based on the time until is disclosed.

International Telecommunication Union, "Estimating end-to-end performance in ip networks for data applications", ITU-T Recommendation G.1030, November 2005.International Telecommunication Union, "Estimating end-to-end performance in ip networks for data applications", ITU-T Recommendation G.1030, November 2005. Tobias Hosfeld, Raimund Schatz, Sebastian Biedermann, Alexander Platzer,Sebastian Egger, and Markus Fiedler, "The Memory Effect and Its Implications on Web QoE Modeling, " In 23rd International Teletraffic Congress (ITC 23), San Francisco, USA, September 2011.Tobias Hosfeld, Raimund Schatz, Sebastian Biedermann, Alexander Platzer, Sebastian Egger, and Markus Fiedler, "The Memory Effect and Its Implications on Web QoE Modeling," In 23rd International Teletraffic Congress (ITC 23), San Francisco, USA, September 2011.

Webブラウジングにおいては、例えば、ユーザがニュースを見る場合、ユーザがニュースサイトのトップページをリクエスト(起動)すると、トップページが表示される。次に、ユーザが一番目の記事タイトルをクリックすると、記事本文が表示される。更に、ユーザが記事のカテゴリをクリックすると、そのカテゴリ内の記事一覧が表示される。次に、ユーザが記事タイトルをクリックすると、二番目の記事本文が表示される。   In Web browsing, for example, when a user views news, when the user requests (starts) a top page of a news site, the top page is displayed. Next, when the user clicks the first article title, the article text is displayed. Furthermore, when the user clicks on a category of an article, a list of articles in that category is displayed. Next, when the user clicks the article title, the second article text is displayed.

このように、ユーザは、複数のWebページを遷移して目的を達成する。したがって、WebブラウジングのQoEを推定するためには、Webページ毎のQoEのみならず、ユーザが目的を達成してWebブラウジングを終えるまでの総合的なQoEを把握することが必要となる。   In this way, the user achieves the purpose by changing a plurality of Web pages. Therefore, in order to estimate the Web browsing QoE, it is necessary to grasp not only the QoE for each Web page but also the comprehensive QoE until the user achieves the purpose and finishes the Web browsing.

複数のWebページを遷移した後の総合QoEを推定する方法としては、Webページ毎のQoEの平均値を用いて推定するモデルが考えられるが、QoEの変動に対する知覚特性は考慮できない。   As a method for estimating the total QoE after transitioning a plurality of Web pages, a model that is estimated using an average value of QoE for each Web page can be considered, but perceptual characteristics with respect to QoE fluctuation cannot be considered.

また、非特許文献2では、Webページ毎のQoEの変動について記憶モデルが適用されているが、QoEの変動が総合QoEに与える影響までは考慮されていない。   In Non-Patent Document 2, the storage model is applied to the QoE fluctuation for each Web page, but the influence of the QoE fluctuation on the overall QoE is not considered.

本発明は、上記の点に鑑みてなされたものであって、Webブラウジングで複数のページを遷移した後の総合的な品質である総合QoEを精度よく推定することを目的とする。   The present invention has been made in view of the above points, and an object of the present invention is to accurately estimate the overall QoE, which is the overall quality after a plurality of pages are transitioned by Web browsing.

そこで上記課題を解決するため、Webブラウジング品質推定装置は、遷移対象の複数のWebページのそれぞれについて、当該Webページの表示指示が発生してから当該Webページが表示されるまでの表示待ち時間に基づくQoE(Quality of Experience)推定値を取得する取得部と、前記取得部によって取得された複数のQoE推定値の平均値を算出する第1の算出部と、前記取得部によって取得された複数のQoE推定値のばらつきを算出する第2の算出部と、前記平均値と前記ばらつきとに基づいて、前記複数のWebページを遷移した後のQoEであるWebブラウジングQoEの推定値を算出する第3の算出部と、を有する。   Therefore, in order to solve the above problem, the Web browsing quality estimation apparatus has a display waiting time from when an instruction to display the Web page is generated for each of a plurality of Web pages to be transitioned until the Web page is displayed. An acquisition unit that acquires a QoE (Quality of Experience) estimation value based thereon, a first calculation unit that calculates an average value of a plurality of QoE estimation values acquired by the acquisition unit, and a plurality of acquisition units acquired by the acquisition unit A second calculating unit that calculates a variation of the estimated QoE value, and a third calculating unit that calculates an estimated value of Web browsing QoE that is a QoE after transitioning the plurality of Web pages based on the average value and the variation. And a calculation unit.

Webブラウジングで複数のページを遷移した後の総合的な品質である総合QoEを精度よく推定することができる。   It is possible to accurately estimate the overall QoE, which is the overall quality after transitioning a plurality of pages by Web browsing.

本発明の実施の形態におけるシステム構成例を示す図である。It is a figure which shows the system configuration example in embodiment of this invention. 本発明の実施の形態におけるWebブラウジング受信端末のハードウェア構成例を示す図である。It is a figure which shows the hardware structural example of the web browsing receiving terminal in embodiment of this invention. 本発明の実施の形態におけるWebブラウジング受信端末の機能構成例を示す図である。It is a figure which shows the function structural example of the web browsing receiving terminal in embodiment of this invention. 品質推定部が実行する処理手順の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the process sequence which a quality estimation part performs. 品質推定部が実行する処理手順を説明するためのデータ例を示す図である。It is a figure which shows the example of data for demonstrating the process sequence which a quality estimation part performs. 本発明の実施の形態におけるWebブラウジング品質推定に関する推定精度を示す図である。It is a figure which shows the estimation precision regarding Web browsing quality estimation in embodiment of this invention.

以下、図面を参照して本発明の実施形態を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiment described below is merely an example, and the embodiment to which the present invention is applied is not limited to the following embodiment.

(システム構成、装置構成)
図1は、本発明の実施の形態におけるシステム構成例を示す図である。図1において、1以上のWebサーバ20と、1以上のWebブラウジング受信端末10とは、LAN(Local Area Network)又はインターネット等のIP網30を介して接続される。
(System configuration, device configuration)
FIG. 1 is a diagram showing an example of a system configuration in the embodiment of the present invention. In FIG. 1, one or more Web servers 20 and one or more Web browsing receiving terminals 10 are connected via an IP network 30 such as a LAN (Local Area Network) or the Internet.

Webサーバ20は、Webブラウジングサービスを提供するサーバである。Webブラウジングサービスとは、Webページを介して提供されるサービスをいう。すなわち、Webサーバ20は、要求されたWebページを、要求元に送信する。なお、図1には、説明の簡略化のために1つのWebサーバ20のみが示されているが、これらよりも多くのWebサーバ20がIP網30に接続されてもよい。   The web server 20 is a server that provides a web browsing service. A web browsing service refers to a service provided via a web page. That is, the Web server 20 transmits the requested Web page to the request source. Although only one Web server 20 is shown in FIG. 1 for the sake of simplification of explanation, more Web servers 20 than these may be connected to the IP network 30.

Webブラウジング受信端末10は、例えば、PC(Personal Computer)、PDA(Personal digital Assistant)、フィーチャフォン(Feature Phone)、スマートフォン(Smartphone)、又はタブレット端末等である。Webブラウジング受信端末10は、Webブラウジングサービスの処理機能を備えていればよく、その態様は特定のものに限定されない。なお、図1には、説明の簡略化のために1つのWebブラウジング受信端末10のみが示されているが、これよりも多くのWebブラウジング受信端末10がIP網30に接続されてもよい。   The Web browsing receiving terminal 10 is, for example, a PC (Personal Computer), a PDA (Personal digital Assistant), a feature phone, a smartphone (Smartphone), or a tablet terminal. The Web browsing receiving terminal 10 only needs to have a Web browsing service processing function, and the mode is not limited to a specific one. In FIG. 1, only one Web browsing receiving terminal 10 is shown for simplification of explanation, but more Web browsing receiving terminals 10 may be connected to the IP network 30.

図2は、本発明の実施の形態におけるWebブラウジング受信端末のハードウェア構成例を示す図である。図2のWebブラウジング受信端末10は、それぞれバスBで相互に接続されているドライブ装置100、補助記憶装置102、メモリ装置103、CPU104、インタフェース装置105、表示装置106、及び入力装置107等を有する。   FIG. 2 is a diagram illustrating a hardware configuration example of the Web browsing receiving terminal according to the embodiment of the present invention. 2 includes a drive device 100, an auxiliary storage device 102, a memory device 103, a CPU 104, an interface device 105, a display device 106, an input device 107, and the like, which are mutually connected by a bus B. .

Webブラウジング受信端末10での処理を実現するプログラムは、CD−ROM又はメモリカード等の記録媒体101によって提供される。プログラムを記憶した記録媒体101がドライブ装置100にセットされると、プログラムが記録媒体101からドライブ装置100を介して補助記憶装置102にインストールされる。但し、プログラムのインストールは必ずしも記録媒体101より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置102は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。   A program for realizing processing in the Web browsing receiving terminal 10 is provided by a recording medium 101 such as a CD-ROM or a memory card. When the recording medium 101 storing the program is set in the drive device 100, the program is installed from the recording medium 101 to the auxiliary storage device 102 via the drive device 100. However, the program need not be installed from the recording medium 101 and may be downloaded from another computer via a network. The auxiliary storage device 102 stores the installed program and also stores necessary files and data.

メモリ装置103は、プログラムの起動指示があった場合に、補助記憶装置102からプログラムを読み出して格納する。CPU104は、メモリ装置103に格納されたプログラムに従ってWebブラウジング受信端末10に係る機能を実現する。インタフェース装置105は、ネットワークに接続するためのインタフェースとして用いられる。表示装置106はプログラムによるGUI(Graphical User Interface)等を表示する。入力装置107はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。   The memory device 103 reads the program from the auxiliary storage device 102 and stores it when there is an instruction to start the program. The CPU 104 realizes functions related to the web browsing receiving terminal 10 according to a program stored in the memory device 103. The interface device 105 is used as an interface for connecting to a network. The display device 106 displays a GUI (Graphical User Interface) or the like by a program. The input device 107 includes a keyboard and mouse, buttons, a touch panel, and the like, and is used to input various operation instructions.

図3は、本発明の実施の形態におけるWebブラウジング受信端末の機能構成例を示す図である。図3において、Webブラウジング受信端末10は、表示待ち時間取得部11、及び品質推定部12を有する。品質推定部12は、IP網30を介して実現されるWebブラウジングサービスについて、複数のWebページを遷移した後の体感品質(QoE(Quality of Service))を推定する。   FIG. 3 is a diagram illustrating a functional configuration example of the Web browsing receiving terminal according to the embodiment of the present invention. In FIG. 3, the Web browsing receiving terminal 10 includes a display waiting time acquisition unit 11 and a quality estimation unit 12. The quality estimation unit 12 estimates a quality of experience (QoE (Quality of Service)) after transition of a plurality of Web pages for a Web browsing service realized via the IP network 30.

図3において、品質推定部12は、QoE取得部121、QoE平均値算出部122、QoEばらつき算出部123、QoE推定モデル格納部124、WebブラウジングQoE推定値算出部125等を含む。これら各部は、Webブラウジング受信端末10にインストールされた1以上のプログラムが、CPU104に実行させる処理により実現される。なお、品質推定部12を、プログラムとCPU104により実現することは例であり、例えば、品質推定部12を、専用の論理回路でハードウェアとして実現してもよい。   In FIG. 3, the quality estimation unit 12 includes a QoE acquisition unit 121, a QoE average value calculation unit 122, a QoE variation calculation unit 123, a QoE estimation model storage unit 124, a web browsing QoE estimation value calculation unit 125, and the like. Each of these units is realized by processing that one or more programs installed in the Web browsing receiving terminal 10 cause the CPU 104 to execute. Note that the quality estimation unit 12 is realized by a program and the CPU 104 as an example. For example, the quality estimation unit 12 may be realized as hardware by a dedicated logic circuit.

表示待ち時間取得部11は、遷移対象の複数のWebページのそれぞれの表示待ち時間を取得する。本実施の形態において、表示待ち時間とは、「ユーザがWebブラウジング受信端末10でWebブラウジングのサービスに関する処理要求を行ってからWebブラウジング受信端末10の画面に処理結果が表示されるまでの時間」である。但し、処理要求は、ユーザが意図的に実施したもの以外に、Webブラウジング受信端末10が自動的に発生させたものであってもよい。したがって、表示待ち時間は、Webページの表示指示が発生してから当該Webページが表示されるまでの経過時間である。なお、同様の意味合いで「ユーザがWebブラウジングサービスの処理を実行してから処理応答が端末に表示されるまでの時間」として、表示待ち時間が定義されてもよい。   The display waiting time acquisition unit 11 acquires the display waiting time of each of a plurality of Web pages to be transitioned. In the present embodiment, the display waiting time is “the time from when the user makes a processing request regarding the Web browsing service at the Web browsing receiving terminal 10 until the processing result is displayed on the screen of the Web browsing receiving terminal 10”. It is. However, the processing request may be automatically generated by the Web browsing receiving terminal 10 other than the one intentionally performed by the user. Therefore, the display wait time is an elapsed time from when a web page display instruction is generated until the web page is displayed. Note that the display waiting time may be defined as “time from when the user executes the processing of the Web browsing service until the processing response is displayed on the terminal” in the same sense.

QoE取得部121は、表示待ち時間取得部11で取得した各Webページの表示待ち時間に基づいて、当該WebページごとのQoEの推定値を算出する。なお、QoE取得部121は、他の手段により生成されたWebページごとのQoEの推定値を使用することに変えてもよい。   The QoE acquisition unit 121 calculates an estimated value of QoE for each Web page based on the display waiting time of each Web page acquired by the display waiting time acquisition unit 11. Note that the QoE acquisition unit 121 may be changed to using the estimated value of QoE for each Web page generated by other means.

QoE平均値算出部122は、WebページごとのQoEの推定値についての平均値を算出する。   The QoE average value calculation unit 122 calculates an average value for the estimated value of QoE for each Web page.

QoEばらつき算出部123は、QoEのばらつきを算出する。より詳しくは、QoEばらつき算出部123は、例えば、前後のQoEの差分を算出し、その平均をばらつきとして算出する。   The QoE variation calculation unit 123 calculates QoE variation. More specifically, the QoE variation calculation unit 123 calculates, for example, the difference between the previous and next QoEs, and calculates the average as the variation.

QoE推定モデル格納部124は、QoE平均値とQoEのばらつきを用いてWebブラウジングのQoEを推定するモデル式を格納する。具体的には、QoE推定モデル格納部124は、QoE推定式、および、当該QoE推定式に適用される係数を格納する。式の内容については後述する。   The QoE estimation model storage unit 124 stores a model formula for estimating the Web browsing QoE using the QoE average value and the variation of the QoE. Specifically, the QoE estimation model storage unit 124 stores a QoE estimation formula and a coefficient applied to the QoE estimation formula. The contents of the formula will be described later.

WebブラウジングQoE推定値算出部125は、QoE平均値算出部122で算出されたQoE平均値と、QoEばらつき算出部123で算出されたQoEのばらつき(QoE差分の平均値等)と、QoE推定モデル格納部124に格納されているQoE推定式および係数を用いてWebブラウジングのQoE(以下、WebブラウジングQoE)の推定値を算出する。   The Web browsing QoE estimated value calculation unit 125 includes a QoE average value calculated by the QoE average value calculation unit 122, a QoE variation (such as an average value of QoE differences) calculated by the QoE variation calculation unit 123, and a QoE estimation model. An estimated value of Web browsing QoE (hereinafter referred to as Web browsing QoE) is calculated using the QoE estimation formula and coefficient stored in the storage unit 124.

WebブラウジングQoEは、相互に表示待ち時間の異なる複数のWebページを遷移した後のQoEのことであり、例えばITU−T勧告P.1501に記載されているようなWebブラウジングを対象とした主観品質評価法に基づき、P.910に記載されているような5段階品質尺度(ACR:Absolute Category Rating)によって得られた評点に対する平均オピニオン評点(MOS:Degraded Mean Opinion Score)として主観品質評価実験で求められるものである。   Web browsing QoE refers to QoE after a plurality of Web pages having different display wait times from each other. Based on the subjective quality evaluation method for Web browsing as described in Japanese Patent Application No. 1501. It is obtained in a subjective quality evaluation experiment as a mean opinion score (MOS) with respect to a score obtained by a five-level quality scale (ACR) as described in 910.

(処理手順)
以下、品質推定部12が実行する処理手順について説明する。図4は、品質推定部12が実行する処理手順の一例を説明するためのフローチャートである。なお、図4は、Webページの表示待ち時間が、表示された(遷移した)Webページごとに既に取得されていることを前提としたフローチャートである。また、図5は、品質推定部が実行する処理手順を説明するためのデータ例を示す図である。
(Processing procedure)
Hereinafter, a processing procedure executed by the quality estimation unit 12 will be described. FIG. 4 is a flowchart for explaining an example of a processing procedure executed by the quality estimation unit 12. FIG. 4 is a flowchart on the assumption that the display waiting time of the Web page has already been acquired for each displayed (transitioned) Web page. FIG. 5 is a diagram illustrating an example of data for explaining a processing procedure executed by the quality estimation unit.

上記前提の処理として、表示待ち時間取得部11は、ユーザがWebブラウジング受信端末10を利用してWebブラウジングを実行するときの様々な処理に対するWebページの表示待ち時間を、表示された(遷移した)Webページごとに取得する。図5には、トップページ、ニュース1、カテゴリ、ニュース2の順に表示対象のWebページが遷移し、各Webページの表示待ち時間(wt)が、3秒、2秒、1秒、2.5秒である例が示されている。なお、図5において、iは、表示順がi番目のWebページを意味する。また、nはWebページの数を示す。 As the premise process, the display wait time acquisition unit 11 displays the display wait time of the web page for various processes when the user executes the web browsing using the web browsing receiving terminal 10 (transitioned). ) Acquire for each Web page. In FIG. 5, the Web pages to be displayed are changed in the order of the top page, news 1, category, and news 2, and the display waiting time (wt i ) of each Web page is 3 seconds, 2 seconds, 1 second, 2. An example of 5 seconds is shown. In FIG. 5, i means the i-th Web page in the display order. N indicates the number of Web pages.

Webページの表示待ち時間は、例えば、Webサーバ20においてHTTPリクエスト等のログを用いて算出されてもよい。この場合、表示待ち時間取得部11は、Webサーバ20による算出結果をWebサーバ20から取得する。又は、Javascript(登録商標)のNavigation Timing API等、既存の技術を用いて表示待ち時間が取得されてもよい。   The display waiting time of the Web page may be calculated using a log such as an HTTP request in the Web server 20, for example. In this case, the display wait time acquisition unit 11 acquires the calculation result by the Web server 20 from the Web server 20. Alternatively, the display wait time may be acquired using an existing technology such as the navigation timing API of Javascript (registered trademark).

図4のフローチャートにおいて、まず、QoE取得部121は、Webページごとに、当該Webページについて取得された表示待ち時間に基づいて、QoEの推定値を取得する(ステップS101)。表示待ち時間に基づくWebページごとのQoEの推定は、例えば、ITU−T勧告G.1030のAppendixIIに記載の推定式等、既存の技術を用いて行われてもよい。又は、表示待ち時間の異なるWebページを複数作成し、Webページの表示待ち時間に対するQoEを、例えば、ITU−T勧告P.910に記載されているような5段階妨害尺度(DCR:Degradation Category Rating)による評点で求め、Webページの表示待ち時間とDCRで得られた平均オピニオン評点(DMOS:Degraded Mean Opinion Score)との関係を定式化して、新たなQoE推定モデルとしてもよい。   In the flowchart of FIG. 4, the QoE acquisition unit 121 first acquires an estimated value of QoE for each Web page based on the display waiting time acquired for the Web page (Step S <b> 101). The estimation of QoE for each Web page based on the display waiting time is, for example, ITU-T recommendation G.E. It may be performed using an existing technique such as an estimation formula described in Appendix 30 of 1030. Alternatively, a plurality of Web pages having different display wait times are created, and QoE for the display wait time of the Web page is calculated by, for example, ITU-T Recommendation The relationship between the Web page display latency and the average opinion score (DMOS) obtained by DCR, which is obtained by a rating based on a five-stage disturbance category rating (DCR) as described in 910 May be formulated as a new QoE estimation model.

図5では、ステップS101において取得されたWebページ毎のQoEの推定値DMOSのそれぞれが、黒塗りの円(●)によって示されている。 In FIG. 5, each estimated QoE value DMOS i for each Web page acquired in step S101 is indicated by a black circle (●).

続いて、QoE平均値算出部122は、取得された複数のQoEの推定値DMOS(以下、「QoE(DMOS)」と表記する。)について、QoE平均値を求め、QoEばらつき算出部123はページ毎のQoE(DMOS)のばらつきを求める(ステップS102)。本実施の形態におけるばらつきは、前後のQoE値の差分に対する絶対値平均であるが、QoEが低下したときのみの減少値の絶対値平均として求めてもよい。 Subsequently, the QoE average value calculation unit 122 calculates a QoE average value for the obtained estimated values DMOS i of the plurality of QoEs (hereinafter referred to as “QoE (DMOS i )”), and calculates the QoE variation calculation unit 123. Finds variations in QoE (DMOS i ) for each page (step S102). The variation in the present embodiment is an absolute value average with respect to the difference between the previous and subsequent QoE values, but may be obtained as an absolute value average of a decrease value only when QoE is lowered.

図5ではQoE(DMOSi+1)とQoE(DMOS)との差分の絶対値がDi+1として示され、QoE(DMOSi+2)とQoE(DMOSi+1)との差分の絶対値がDi+2として示され、QoE(DMOS)とQoE(DMOSi+2)との差分の絶対値がDとして示されている。前後のQoE値の差分に対する絶対値平均をばらつきとする場合、これらの平均をとることでばらつきを算出する。また、一例として、QoE(DMOS)からQoEがAだけ減少してQoE(DMOSi+1)になり、次のQoE(DMOSi+2)はQoE(DMOSi+1)よりも増加し、次のQoE(DMOS)はQoE(DMOSi+2)よりもBだけ減少した場合において、QoEが低下したときのみの減少値の絶対値平均をばらつきとする場合、AとBの平均がばらつきとなる。 In FIG. 5, the absolute value of the difference between QoE (DMOS i + 1 ) and QoE (DMOS i ) is shown as D i + 1 , and the absolute value of the difference between QoE (DMOS i + 2 ) and QoE (DMOS i + 1 ) is shown as D i + 2. , The absolute value of the difference between QoE (DMOS n ) and QoE (DMOS i + 2 ) is shown as D n . When the absolute value average with respect to the difference between the QoE values before and after is regarded as variation, the variation is calculated by taking these averages. As an example, QoE (DMOS i ) decreases from QoE (DMOS i ) by A to QoE (DMOS i + 1 ), the next QoE (DMOS i + 2 ) increases from QoE (DMOS i + 1 ), and the next QoE (DMOS n ) Is smaller than QoE (DMOS i + 2 ) by B, and if the absolute value average of the decreased values only when QoE decreases is varied, the average of A and B varies.

前述したように、QoE推定モデル格納部124は、QoE平均値とQoEのばらつきを用いてWebブラウジングQoEを推定するモデルとしてQoE推定式および係数を格納している。なお、本実施の形態におけるQoE推定式は、QoE平均値と、QoEのばらつきと、WebブラウジングQoEとの関係を表す式の例である。   As described above, the QoE estimation model storage unit 124 stores a QoE estimation formula and a coefficient as a model for estimating the Web browsing QoE using the QoE average value and the variation of the QoE. Note that the QoE estimation formula in the present embodiment is an example of a formula that represents the relationship between the QoE average value, QoE variation, and Web browsing QoE.

WebブラウジングQoE推定値算出部125は、最終的に求める複数のWebページをブラウジングしたときのWebブラウジングQoEを算出する(ステップS103)。   The Web browsing QoE estimated value calculation unit 125 calculates Web browsing QoE when browsing a plurality of Web pages to be finally obtained (step S103).

QoE平均値(avgDMOS)とQoEのばらつき(avgD)を用いてWebブラウジングQoE(MOS)を算出するためのQoE推定式の例を以下に式(1)として示す。   An example of the QoE estimation formula for calculating the Web browsing QoE (MOS) using the QoE average value (avgDMOS) and the variation (avgD) of QoE is shown below as Formula (1).

MOS = a0 + a1avgDMOS + a2avgD 式(1)
上記の式(1)における係数a0, a1, a2は、それぞれ定数である。ステップS103では、WebブラウジングQoE推定値算出部125が、ステップS102で算出したQoE平均値(avgDMOS)とQoEのばらつき(avgD)とを、上記定数である係数a0, a1, a2が適用された式(1)に入力することによりWebブラウジングQoEを算出する。例えば、WebブラウジングQoE(MOS)は、QoEのばらつき(avgD)が大きいほど、QoE平均値(avgDMOS)をより小さく補正した値として算出される。
MOS = a 0 + a 1 avgDMOS + a 2 avgD Equation (1)
The coefficients a 0 , a 1 and a 2 in the above equation (1) are constants. In step S103, the web browsing QoE estimated value calculation unit 125 applies the QoE average value (avgDMOS) calculated in step S102 and the QoE variation (avgD) to the coefficients a 0 , a 1 , and a 2 that are the above constants. The web browsing QoE is calculated by inputting the formula (1). For example, the Web browsing QoE (MOS) is calculated as a value obtained by correcting the QoE average value (avgDMOS) to be smaller as the QoE variation (avgD) is larger.

なお、式(1)は例であり、QoE平均値(avgDMOS)とQoEのばらつき(avgD)を用いてWebブラウジングQoE(MOS)を算出するためのQoE推定式として、式(1)以外の式を用いてもよい。また、本実施の形態では、WebブラウジングQoE推定値算出部125が、QoE推定モデル格納部124から、QoE推定式および係数を読み出して使用することとしているが、これは例である。例えば、QoE推定モデル格納部124を備えずに、WebブラウジングQoE推定値算出部125が、QoE推定式および係数に相当する処理ロジックを備えることとしてもよい。   Formula (1) is an example, and formulas other than Formula (1) are used as QoE estimation formulas for calculating Web browsing QoE (MOS) using the QoE average value (avgDMOS) and QoE variation (avgD). May be used. In the present embodiment, the Web browsing QoE estimated value calculation unit 125 reads out and uses the QoE estimation formula and coefficient from the QoE estimation model storage unit 124, but this is an example. For example, the Web browsing QoE estimated value calculation unit 125 may include processing logic corresponding to a QoE estimation formula and a coefficient without including the QoE estimation model storage unit 124.

図6は、本発明の実施の形態におけるWebブラウジング品質推定に関する推定精度を示す図である。図6は、実測MOS(WebブラウジングQoE)に対する式(1)で求めた推定MOS(すなわち、推定WebブラウジングQoE)を示す。図中に、両者の相関をピアソンの積率相関係数(R)と推定精度RMSE(Root Mean Square Error)とが示されている。相関係数Rができるだけ高くなるように、また、RMSEができるだけ小さくなるように、式(1)の係数a0, a1, a2は最適化することができる。なお、図6では、45度の斜線上にプロットが近い程、推定MOSの精度が高いことを示す。 FIG. 6 is a diagram showing the estimation accuracy related to Web browsing quality estimation in the embodiment of the present invention. FIG. 6 shows the estimated MOS (that is, estimated Web browsing QoE) obtained by the equation (1) for the actual measurement MOS (Web browsing QoE). In the figure, Pearson's product-moment correlation coefficient (R) and estimated accuracy RMSE (Root Mean Square Error) are shown in the figure. The coefficients a 0 , a 1 , and a 2 in Equation (1) can be optimized so that the correlation coefficient R is as high as possible and the RMSE is as small as possible. In FIG. 6, the closer the plot is to the 45 ° oblique line, the higher the accuracy of the estimation MOS.

(実施の形態の効果)
上述したように、本実施の形態によれば、QoEのばらつきに関する心理特性を考慮してWebブラウジングQoEが推定される。その結果、従来技術に比べてより高精度に総合QoEを推定することができる。また、WebブラウジングQoEの推定結果を用いて、品質改善あるいは設備改善を図ることで、ユーザに提供するサービスの品質を維持向上することができる。
(Effect of embodiment)
As described above, according to the present embodiment, Web browsing QoE is estimated in consideration of psychological characteristics related to variations in QoE. As a result, it is possible to estimate the total QoE with higher accuracy than in the prior art. Moreover, the quality of the service provided to the user can be maintained and improved by improving the quality or equipment using the estimation result of Web browsing QoE.

(その他の例)
なお、上記では、Webブラウジング受信端末10が品質推定部12を有する例について説明したが、Webブラウジング受信端末10以外の装置であって、IP網30に接続された装置が品質推定部12を有してもよい。この場合、品質推定部12は、ユーザがWebブラウジングを行った際の表示待ち時間情報を、ネットワークを介してWebブラウジング受信端末10から取得してもよい。このような構成においては、ネットワークで利用されているWebトラヒックの利用状況としてQoEを把握できる。
(Other examples)
In the above description, an example in which the Web browsing receiving terminal 10 includes the quality estimation unit 12 has been described. However, a device other than the Web browsing receiving terminal 10 and connected to the IP network 30 includes the quality estimation unit 12. May be. In this case, the quality estimation unit 12 may acquire display wait time information when the user performs Web browsing from the Web browsing receiving terminal 10 via the network. In such a configuration, QoE can be grasped as the usage status of Web traffic used in the network.

また、Webサーバ20が品質推定部12を有していてもよい。この場合は、当該Webサーバ20で提供されるWebサービスに対するQoEを把握できる。   In addition, the Web server 20 may have the quality estimation unit 12. In this case, the QoE for the Web service provided by the Web server 20 can be grasped.

したがって、図4に示したフローチャートは、Webブラウジング受信端末10以外の装置のCPUによって実行されてもよい。   Therefore, the flowchart shown in FIG. 4 may be executed by a CPU of a device other than the Web browsing receiving terminal 10.

なお、本実施の形態において、Webブラウジング受信端末10(品質推定部12)は、Webブラウジング品質推定装置の一例である。QoE取得部121は、取得部の一例である。ページ毎のQoE平均値算出部122は、第1の算出部の一例である。QoEばらつき算出部123は、第2の算出部の一例である。WebブラウジングQoE推定値算出部125は、第3の算出部の一例である。   In the present embodiment, the Web browsing receiving terminal 10 (quality estimation unit 12) is an example of a Web browsing quality estimation apparatus. The QoE acquisition unit 121 is an example of an acquisition unit. The QoE average value calculation unit 122 for each page is an example of a first calculation unit. The QoE variation calculation unit 123 is an example of a second calculation unit. The web browsing QoE estimated value calculation unit 125 is an example of a third calculation unit.

以上、本発明の実施例について詳述したが、本発明は上記実施形態に限定されるものではない。上記実施形態は、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。   As mentioned above, although the Example of this invention was explained in full detail, this invention is not limited to the said embodiment. The above embodiment can be variously modified and implemented without departing from the gist of the present invention. In short, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.

10 Webブラウジング受信端末
11 表示待ち時間取得部
12 品質推定部
20 Webサーバ
30 IP網
100 ドライブ装置
101 記録媒体
102 補助記憶装置
103 メモリ装置
104 CPU
105 インタフェース装置
106 表示装置
107 入力装置
121 QoE取得部
122 QoE平均値算出部
123 QoEのばらつき算出部
124 QoE推定モデル格納部
125 WebブラウジングQoE推定値算出部
B バス
DESCRIPTION OF SYMBOLS 10 Web browsing receiving terminal 11 Display waiting time acquisition part 12 Quality estimation part 20 Web server 30 IP network 100 Drive apparatus 101 Recording medium 102 Auxiliary storage apparatus 103 Memory apparatus 104 CPU
105 Interface Device 106 Display Device 107 Input Device 121 QoE Acquisition Unit 122 QoE Average Value Calculation Unit 123 QoE Variation Calculation Unit 124 QoE Estimation Model Storage Unit 125 Web Browsing QoE Estimation Value Calculation Unit B Bus

Claims (8)

遷移対象の複数のWebページのそれぞれについて、当該Webページの表示指示が発生してから当該Webページが表示されるまでの表示待ち時間に基づくQoE(Quality of Experience)推定値を取得する取得部と、
前記取得部によって取得された複数のQoE推定値の平均値を算出する第1の算出部と、
前記取得部によって取得された複数のQoE推定値のばらつきを算出する第2の算出部と、
前記平均値と前記ばらつきとに基づいて、前記複数のWebページを遷移した後のQoEであるWebブラウジングQoEの推定値を算出する第3の算出部と、
を有することを特徴とするWebブラウジング品質推定装置。
An acquisition unit that acquires a QoE (Quality of Experience) estimated value based on a display waiting time from when a display instruction for the Web page is generated until the Web page is displayed for each of a plurality of Web pages to be transitioned; ,
A first calculation unit that calculates an average value of a plurality of QoE estimation values acquired by the acquisition unit;
A second calculation unit that calculates variations in a plurality of QoE estimation values acquired by the acquisition unit;
A third calculating unit that calculates an estimated value of Web browsing QoE that is QoE after transitioning the plurality of Web pages based on the average value and the variation;
A web browsing quality estimation apparatus characterized by comprising:
複数のQoE推定値の平均値と、複数のQoE推定値のばらつきと、WebブラウジングQoEとの間の関係を表したQoE推定式および係数を格納するQoE推定モデル格納部を備え、
前記第3の算出部は、前記第1の算出部により算出された前記平均値と、前記第2の算出部により算出された前記ばらつきとを、前記係数が適用された前記QoE推定式に入力することにより、前記WebブラウジングQoEの推定値を算出する、
ことを特徴とする請求項1に記載のWebブラウジング品質推定装置。
A QoE estimation model storage unit that stores an average value of a plurality of QoE estimation values, a variation of the plurality of QoE estimation values, and a QoE estimation formula and a coefficient representing a relationship between Web browsing QoE;
The third calculation unit inputs the average value calculated by the first calculation unit and the variation calculated by the second calculation unit to the QoE estimation formula to which the coefficient is applied. By calculating the estimated value of the Web browsing QoE,
The web browsing quality estimation apparatus according to claim 1.
前記第2の算出部は、前記ばらつきとして、前後のQoE推定値の差分に対する絶対値平均、又は、QoE推定値が低下したときのみの減少値の絶対値平均を算出する
ことを特徴とする請求項1又は2に記載のWebブラウジング品質推定装置。
The second calculation unit calculates, as the variation, an absolute value average with respect to a difference between preceding and subsequent QoE estimation values, or an absolute value average of decrease values only when the QoE estimation value decreases. Item 3. The Web browsing quality estimation apparatus according to Item 1 or 2.
遷移対象の複数のWebページのそれぞれについて、当該Webページの表示指示が発生してから当該Webページが表示されるまでの表示待ち時間に基づくQoE(Quality of Experience)推定値を取得する取得手順と、
前記取得手順において取得された複数のQoE推定値の平均値を算出する第1の算出手順と、
前記取得手順において取得された複数のQoE推定値のばらつきを算出する第2の算出手順と、
前記平均値と前記ばらつきとに基づいて、前記複数のWebページを遷移した後のQoEであるWebブラウジングQoEの推定値を算出する第3の算出手順と、
をコンピュータが実行することを特徴とするWebブラウジング品質推定方法。
An acquisition procedure for acquiring a QoE (Quality of Experience) estimate value for each of a plurality of Web pages to be transitioned based on a display waiting time from when a display instruction for the Web page is generated until the Web page is displayed; ,
A first calculation procedure for calculating an average value of a plurality of QoE estimation values acquired in the acquisition procedure;
A second calculation procedure for calculating variations of a plurality of QoE estimation values acquired in the acquisition procedure;
A third calculation procedure for calculating an estimated value of Web browsing QoE, which is QoE after transitioning the plurality of Web pages, based on the average value and the variation;
A Web browsing quality estimation method, wherein the computer executes
前記コンピュータは、複数のQoE推定値の平均値と、複数のQoE推定値のばらつきと、WebブラウジングQoEとの間の関係を表したQoE推定式および係数を格納するQoE推定モデル格納部を備え、
前記第3の算出手順は、前記第1の算出手順において算出された前記平均値と、前記第2の算出手順において算出された前記ばらつきとを、前記係数が適用された前記QoE推定式に入力することにより、前記WebブラウジングQoEの推定値を算出する、
ことを特徴とする請求項4に記載のWebブラウジング品質推定方法。
The computer includes a QoE estimation model storage that stores an average value of a plurality of QoE estimation values, a variation in the plurality of QoE estimation values, and a QoE estimation expression and a coefficient representing a relationship between Web browsing QoE,
In the third calculation procedure, the average value calculated in the first calculation procedure and the variation calculated in the second calculation procedure are input to the QoE estimation formula to which the coefficient is applied. By calculating the estimated value of the Web browsing QoE,
The web browsing quality estimation method according to claim 4, wherein:
前記第2の算出手順は、前記ばらつきとして、前後のQoE推定値の差分に対する絶対値平均、又は、QoE推定値が低下したときのみの減少値の絶対値平均を算出する
ことを特徴とする請求項4又は5に記載のWebブラウジング品質推定方法。
The second calculation procedure calculates, as the variation, an absolute value average with respect to a difference between preceding and subsequent QoE estimated values, or an absolute value average of decreased values only when the QoE estimated value decreases. Item 6. The Web browsing quality estimation method according to Item 4 or 5.
請求項1乃至3のうちいずれか1項に記載の各部としてコンピュータを機能させるためのプログラム。   The program for functioning a computer as each part of any one of Claims 1 thru | or 3. 遷移対象の複数のWebページのそれぞれについて、当該Webページの表示指示が発生してから当該Webページが表示されるまでの表示待ち時間に基づくQoE(Quality of Experience)推定値を取得する手順と、
前記QoE推定値のばらつきが大きいほど、前記複数のWebページを遷移した後のQoEであるWebブラウジングQoEの推定値を、前記QoE推定値の平均値をより小さく補正した値として算出する手順と、
をコンピュータが実行することを特徴とするWebブラウジング品質推定方法。
For each of a plurality of Web pages to be transitioned, a procedure for acquiring a QoE (Quality of Experience) estimated value based on a display waiting time from when a display instruction for the Web page is generated until the Web page is displayed;
A procedure for calculating an estimated value of Web browsing QoE, which is QoE after transitioning the plurality of Web pages, as a variation in which the average value of the QoE estimated values is corrected to be smaller as the variation in the estimated QoE value is larger.
A Web browsing quality estimation method, wherein the computer executes
JP2016083185A 2016-04-18 2016-04-18 Web browsing quality estimation apparatus, Web browsing quality estimation method, and program Active JP6496680B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016083185A JP6496680B2 (en) 2016-04-18 2016-04-18 Web browsing quality estimation apparatus, Web browsing quality estimation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016083185A JP6496680B2 (en) 2016-04-18 2016-04-18 Web browsing quality estimation apparatus, Web browsing quality estimation method, and program

Publications (2)

Publication Number Publication Date
JP2017194756A true JP2017194756A (en) 2017-10-26
JP6496680B2 JP6496680B2 (en) 2019-04-03

Family

ID=60155590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016083185A Active JP6496680B2 (en) 2016-04-18 2016-04-18 Web browsing quality estimation apparatus, Web browsing quality estimation method, and program

Country Status (1)

Country Link
JP (1) JP6496680B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022224353A1 (en) * 2021-04-20 2022-10-27 日本電信電話株式会社 Experience quality estimation device, experience quality estimation method, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014216986A (en) * 2013-04-30 2014-11-17 日本電信電話株式会社 Quality monitoring device, quality monitoring method and program
WO2015007154A1 (en) * 2013-07-17 2015-01-22 华为技术有限公司 Service quality index calculation method and calculation apparatus, and communications system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014216986A (en) * 2013-04-30 2014-11-17 日本電信電話株式会社 Quality monitoring device, quality monitoring method and program
WO2015007154A1 (en) * 2013-07-17 2015-01-22 华为技术有限公司 Service quality index calculation method and calculation apparatus, and communications system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022224353A1 (en) * 2021-04-20 2022-10-27 日本電信電話株式会社 Experience quality estimation device, experience quality estimation method, and program

Also Published As

Publication number Publication date
JP6496680B2 (en) 2019-04-03

Similar Documents

Publication Publication Date Title
Egger et al. “Time is bandwidth”? Narrowing the gap between subjective time perception and Quality of Experience
Schatz et al. From packets to people: quality of experience as a new measurement challenge
AU2014257335B2 (en) Systems and methods for predicting revenue for web-based content
US20120131182A1 (en) Background synchronization
US8082235B1 (en) Self healing system for inaccurate metadata
WO2017039869A1 (en) Context based instant search suggestions
US20160164757A1 (en) Browser provided website statistics
US8700465B1 (en) Determining online advertisement statistics
KR20210131221A (en) Method and apparatus for processing image, electronic device, storage media and program
JP6496680B2 (en) Web browsing quality estimation apparatus, Web browsing quality estimation method, and program
JP6616008B2 (en) Mutual noise estimation for video
JP5933487B2 (en) QoE estimation apparatus, QoE estimation method and program
US9432471B1 (en) Recommendation source-related user activity calculator
US10796079B1 (en) Generating a page layout based upon analysis of session variables with respect to a client device
WO2016101711A1 (en) Automatic evaluation method and system for quality of experience of business network service
JP6348895B2 (en) Web browsing quality estimation apparatus, Web browsing quality estimation method, and program
JP5304972B1 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
JP2014035719A (en) Contribution information system, calculation device, and calculation method
JPWO2013018376A1 (en) System parameter setting support system, data processing method of system parameter setting support device, and program
CN107197351B (en) Method and system for synchronizing streaming digital content
CN113449212A (en) Quality evaluation and optimization method, device and equipment for search results
JP6739906B2 (en) Web browsing quality management device, user experience quality estimation method, and program
JP6725405B2 (en) Information processing system, information processing apparatus, and information processing method
CN113760417A (en) Page countdown display method and device
RU2642411C2 (en) Method for determining trend of indicator of degree of user involvement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190311

R150 Certificate of patent or registration of utility model

Ref document number: 6496680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150