KR20130111745A - Quality test measuring method and server web site - Google Patents

Quality test measuring method and server web site Download PDF

Info

Publication number
KR20130111745A
KR20130111745A KR1020120033859A KR20120033859A KR20130111745A KR 20130111745 A KR20130111745 A KR 20130111745A KR 1020120033859 A KR1020120033859 A KR 1020120033859A KR 20120033859 A KR20120033859 A KR 20120033859A KR 20130111745 A KR20130111745 A KR 20130111745A
Authority
KR
South Korea
Prior art keywords
web site
information
quality
user terminal
quality measurement
Prior art date
Application number
KR1020120033859A
Other languages
Korean (ko)
Other versions
KR101319853B1 (en
Inventor
김태양
김광훈
박성욱
박성준
박준환
박진호
신대호
신선하
양선숙
이강훈
이용규
홍재석
Original Assignee
(주)네오위즈게임즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)네오위즈게임즈 filed Critical (주)네오위즈게임즈
Priority to KR1020120033859A priority Critical patent/KR101319853B1/en
Publication of KR20130111745A publication Critical patent/KR20130111745A/en
Application granted granted Critical
Publication of KR101319853B1 publication Critical patent/KR101319853B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/875Monitoring of systems including the internet

Abstract

PURPOSE: A method for measuring quality of a web site and a server therefor are provided to measure the quality of the web site to measure by using a client terminal, and to measure cache and no cache state modes of the web site during the measurement. CONSTITUTION: A test information providing part (110) transmits test list information including web site information to measure quality information to at least one user terminal. A quality information receiving part receives the quality information of a web site measured by the user terminal from the user terminal. A quality information storing part (130) stores the received web site quality information in a database. A monitoring part (140) monitors normal operation of the corresponding web site by analyzing the web site quality measurement information registered in the database. [Reference numerals] (100) Web site quality measuring server; (110,120) Test information providing part; (130) Quality information storing part; (140) Monitoring part; (150) Database; (300) Web site; (AA) User terminal #1; (BB) User terminal #2; (CC) User terminal #n

Description

사이트 품질 측정 방법 및 서버{Quality test measuring method and server web site}Quality test measuring method and server web site}

본 발명은 웹사이트 품질 측정 방법에 관한 것으로, 더 상세하게는 클라이언트를 이용하여 임의의 웹 사이트의 품질을 측정하는 기술에 관한 것이다. The present invention relates to a method for measuring website quality, and more particularly, to a technique for measuring the quality of an arbitrary website using a client.

종래 웹사이트의 품질을 측정하는 방법은 서버 측에서 직접 측정하고자 하는 웹 사이트에 접속한 후 웹 사이트의 상태 데이터를 수신하고 이를 이용하여 웹 사이트의 상태를 모니터링 하고 있다. In the conventional method for measuring the quality of a website, the server side directly accesses a website to be measured and receives the status data of the website and monitors the status of the website by using the same.

다른 웹사이트의 품질을 측정하는 방법은 클라이언트 단말에서 직접 서버에 접속하고 그 웹 사이트의 상태 데이터를 수신하고 이를 이용하여 웹 사이트의 접속 속도를 검출하는 방법이 있다. A method of measuring the quality of another website is a method of directly accessing a server from a client terminal, receiving status data of the website, and using the same to detect a connection speed of the website.

이와 같이, 종래 웹사이트의 품질을 측정하는 방법은 측정하고자 하는 웹 사이트에 접속하여 지속적으로 측정해야 하기 때문에 서버에 부하가 많고, 클라이언트 측에서 웹사이트의 품질을 측정하더라도 접속 속도를 통해서만 웹사이트의 품질을 측정하고 있는 실정이다. As described above, the method of measuring the quality of a conventional website has a heavy load on the server because it is necessary to access and continuously measure the website to be measured, and even if the quality of the website is measured on the client side, The situation is measuring quality.

이에 본 발명은, 클라이언트 단말을 이용하여 측정하고자하는 웹 사이트의 품질을 측정하고, 측정 시 웹 사이트의 캐시(cache), 노 캐시(no cache) 상태 모드를 측정하여 보다 정확한 웹 사이트의 품질을 측정하는 데 그 목적이 있다. Accordingly, the present invention measures the quality of a web site to be measured by using a client terminal, and measures a more accurate web site quality by measuring a cache and no cache state mode of the web site. Its purpose is to.

상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 웹 사이트 품질 측정 방법은 웹 사이트 품질 측정 서버가, 품질 정보를 측정하고자 하는 웹 사이트 정보가 포함된 테스트 목록 정보를 적어도 하나의 사용자 단말로 전송하는 단계; 상기 사용자 단말에 의해 측정된 웹 사이트의 품질 정보를 상기 사용자 단말로부터 수신하는 단계; 수신된 웹 사이트 품질 측정 정보를 데이터베이스에 저장하는 단계; 및 상기 데이터베이스에 등록된 웹 사이트 품질 측정 정보를 분석하여 해당 웹 사이트의 정상 동작여부를 모니터링 하는 단계;를 포함하는 것을 특징으로 한다. In order to achieve the above object, the web site quality measurement method according to an embodiment of the present invention, the web site quality measurement server, the test list information including the web site information to measure the quality information to at least one user terminal Transmitting; Receiving quality information of the web site measured by the user terminal from the user terminal; Storing the received web site quality measurement information in a database; And analyzing whether the web site quality measurement information is registered in the database and monitoring whether the web site is normally operated.

상기 웹 사이트의 품질 정보는, 웹 사이트의 캐시가 포함된 상태에서의 측정한 웹 사이트의 상태정보, 웹 사이트의 캐시가 포함되지 않은 상태에서의 측정한 웹 사이트의 상태정보를 포함하는 것이 바람직하다. The quality information of the web site preferably includes the state information of the measured web site in the state where the cache of the web site is included, and the state information of the measured web site in the state that the cache of the web site is not included. .

또한 상기 웹 사이트의 품질 정보는, 상기 사용자 단말로부터 해당 웹 사이트의 캐시 데이터 수신 시, 상기 웹 사이트의 상태 정보를 포함하는 것이 바람직하다. The quality information of the web site may include state information of the web site upon receiving cache data of the web site from the user terminal.

상기 테스트 목록 정보는, 웹 사이트 URL 정보를 포함하되, 테스트 시간 정보 및 캐시(Cache) 데이터의 적용 여부 정보 중 적어도 하나의 정보를 더 포함하는 것이 바람직하다. The test list information may include web site URL information, and further include at least one of test time information and information on whether cache data is applied.

상기 테스트 시간 정보는, 상기 각 사용자 단말마다 동일한 시간 정보이거나 서로 다른 시간 정보일 수 있다. The test time information may be the same time information or different time information for each user terminal.

본 발명의 일 실시예에 따른 웹 사이트 품질 측정 서버는, 품질 정보를 측정하고자 하는 웹 사이트 정보가 포함된 테스트 목록 정보를 적어도 하나의 사용자 단말로 전송하는 테스트 정보 제공부; 사용자 단말에 의해 측정된 웹 사이트의 품질 정보를 사용자 단말로부터 수신하는 품질 정보 수신부; 수신된 웹 사이트 품질 측정 정보를 데이터베이스에 저장하는 품질 정보 저장부; 및 데이터베이스에 등록된 웹 사이트 품질 측정 정보를 분석하여 해당 웹 사이트의 정상 동작여부를 모니터링하는 모니터링부를 포함하는 것을 특징으로 한다. Web site quality measurement server according to an embodiment of the present invention, the test information providing unit for transmitting the test list information including the Web site information to measure the quality information to at least one user terminal; A quality information receiver configured to receive quality information of a web site measured by the user terminal from the user terminal; A quality information storage unit for storing the received web site quality measurement information in a database; And a monitoring unit analyzing the web site quality measurement information registered in the database to monitor the normal operation of the web site.

상기 테스트 목록 정보는, 웹 사이트 URL 정보를 포함하되, 테스트 시간 정보 및 캐시(Cache) 데이터의 적용 여부 정보 중 적어도 하나의 정보를 더 포함하는 것이 바람직하다. The test list information may include web site URL information, and further include at least one of test time information and information on whether cache data is applied.

상기 웹 사이트의 품질 정보는, 웹 사이트의 캐시가 포함된 상태에서의 측정한 웹 사이트의 상태정보, 웹 사이트의 캐시가 포함되지 않은 상태에서의 측정한 웹 사이트의 상태정보를 포함하는 것이 바람직하고, 상기 사용자 단말로부터 해당 웹 사이트의 캐시 데이터 수신 시, 웹 사이트의 상태 정보를 포함하는 것이 바람직하다. The quality information of the web site preferably includes the state information of the web site measured in the state where the cache of the web site is included, and the state information of the web site measured in the state where the cache of the web site is not included. When receiving the cache data of the web site from the user terminal, it is preferable to include the status information of the web site.

상기 테스트 시간 정보는, 상기 각 사용자 단말마다 동일한 시간 정보이거나 서로 다른 시간 정보일 수 있다. The test time information may be the same time information or different time information for each user terminal.

본 발명에 의하면, 클라이언트 단말을 이용하여 측정하고자하는 웹 사이트의 품질을 측정하고, 측정 시 웹 사이트의 캐시(cache), 노캐시(no cache) 상태 모드를 측정하여 보다 정확한 웹 사이트의 품질을 측정함으로써, 웹 사이트의 품질을 보다 정확하고 객관적으로 관리할 수 있을 뿐만 아니라 서버의 가용성을 늘려 사용자의 체감속도를 최적화할 수 있는 효과가 있다. According to the present invention, the quality of a web site to be measured is measured using a client terminal, and the web site cache and no cache state modes are measured to measure the quality of the web site more accurately. By doing so, you can not only manage the quality of the website more accurately and objectively, but also increase the availability of the server to optimize the user's speed of experience.

또한 본 발명은 웹사이트의 동작 상태를 클라이언트 단말을 통해 모니터링함으로써 비정상적인 경우 빠르게 대처할 수 있는 효과가 있다. In addition, the present invention has an effect that can quickly respond to abnormal cases by monitoring the operating state of the website through the client terminal.

도 1은 본 발명의 일 실시 예에 따른 웹 사이트 품질 측정 방법 및 서버를 나타낸 플로우차트이다.
도 2는 본 발명의 다른 실시 예에 따른 웹 사이트 품질 측정 시스템을 나타낸 나타낸 플로우차트이다.
도 3은 본 발명의 일 실시 예에 따른 웹 사이트 품질 측정 서버를 나타낸 기능블록도이다.
1 is a flowchart illustrating a web site quality measuring method and a server according to an exemplary embodiment of the present invention.
2 is a flowchart showing a website quality measurement system according to another embodiment of the present invention.
3 is a functional block diagram showing a web site quality measurement server according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 각 실시예에 따른 웹 사이트 품질 측정 방법 및 서버에 대하여 설명하기로 한다.Hereinafter, a method and a server for measuring web site quality according to embodiments of the present invention will be described with reference to the accompanying drawings.

이하의 실시 예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아님은 당연할 것이다. 따라서 본 발명과 동일한 기능을 수행하는 균등한 발명 역시 본 발명의 권리 범위에 속할 것이다. The following embodiments are detailed description to help understand the present invention, and it should be understood that the present invention is not intended to limit the scope of the present invention. Accordingly, an equivalent invention performing the same function as the present invention is also within the scope of the present invention.

또한 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.In addition, in adding reference numerals to the constituent elements of the drawings, it is to be noted that the same constituent elements are denoted by the same reference numerals even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속" 된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the component of this invention, terms, such as 1st, 2nd, A, B, (a), (b), can be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected to or connected to the other component, It should be understood that an element may be "connected," "coupled," or "connected."

본 발명의 실시 예에서 "인터넷", "통신", "통신망" 및 "네트워크"는 동일한 의미로 사용될 수 있다. 상기 네 개의 용어들은, 파일을 사용자 단말, 정보공유 등록 사용자들의 단말 및 다운로드 서버 사이에서 송수신할 수 있는 유무선의 근거리 및 광역 데이터 송수신망을 의미한다. In the embodiment of the present invention, "Internet", "communication", "communication network", and "network" may be used as the same meaning. The four terms refer to wired and wireless local and wide area data transmission and reception networks capable of transmitting and receiving files between a user terminal, a terminal of information sharing registered users, and a download server.

이하의 설명에서 "서버"란, 사용자들이 접속하여 컨텐츠를 이용하기 위하여 접속하게 되는 서버 컴퓨터를 의미한다. 용량이 작거나 이용자 수가 작은 경우 하나의 서버에 다수의 프로그램이 운영될 수 있다. 또한, 용량이 매우 크거나 실시간 접속 인원수가 많은 경우, 기능에 따라서 서버가 하나 이상 존재할 수도 있다.In the following description, the term "server" refers to a server computer to which users access to use contents. If the capacity is small or the number of users is small, a large number of programs can be operated on one server. In addition, when the capacity is very large or the number of real-time connection number is large, one or more servers may exist depending on the function.

또한 서버에는 사전 데이터베이스에 대한 미들웨어나 결제 처리를 수행하는 서버들이 연결될 수 있으나, 본 발명에서는 이에 대한 설명은 생략하기로 한다. In addition, the server may be connected to the server that performs the middleware or payment processing for the dictionary database, the description thereof will be omitted in the present invention.

도 1은 본 발명의 일 실시예에 따른 웹 사이트 품질 측정 방법을 나타낸 플로우차트이다. 도 2는 본 발명에 따른 웹 사이트 품질 측정을 위한 시스템을 나타낸 기능블록도이다. 1 is a flowchart illustrating a method for measuring website quality according to an embodiment of the present invention. 2 is a functional block diagram illustrating a system for measuring web site quality according to the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 웹 사이트 품질 측정 방법은 별다른 수행 주체를 이야기하지 않는 이상 웹 사이트 품질 측정 서버(100)에 의해 수행된다. As shown in FIG. 1, the web site quality measurement method according to an embodiment of the present invention is performed by the web site quality measurement server 100 unless a different subject is performed.

먼저, 품질 정보를 측정하고자 하는 웹 사이트(200) 정보가 포함된 테스트 목록 정보를 사용자 단말(200)로 전송한다(S110). 이때 테스트 목록 정보는, 웹 사이트 URL 정보를 포함하되, 테스트 시간 정보 및 캐시(Cache) 데이터의 적용 여부 정보 중 적어도 하나의 정보를 더 포함하는 것이 바람직하며, 테스트 시간 정보는, 동일한 시간 정보인 것이 바람직하다. First, the test list information including the web site 200 information about which quality information is to be measured is transmitted to the user terminal 200 (S110). In this case, the test list information may include web site URL information, and further include at least one of test time information and information on whether cache data is applied, and the test time information may be the same time information. desirable.

이때 웹 사이트의 상태를 측정하는 사용자 단말(200)은 피들러(Fiddler)와 같은 프로그램을 이용하여 해당 웹사이트에 대한 상태 정보를 얻어올 수 있다. In this case, the user terminal 200 measuring the state of the web site may obtain state information about the corresponding web site using a program such as Fiddler.

이어서, 사용자 단말(200)에 의해 측정된 웹 사이트(200)의 품질 정보를 사용자 단말(200)로부터 수신한다(S120). 상기 웹 사이트의 품질 정보는, 웹 사이트의 캐시가 포함된 상태에서의 측정한 웹 사이트(200)의 상태정보, 웹 사이트의 캐시가 포함되지 않은 상태에서의 측정한 웹 사이트(200)의 상태정보를 포함하는 것이 바람직하다. 또한 상기 웹 사이트의 품질 정보는, 상기 사용자 단말(200)로부터 해당 웹 사이트의 캐시 데이터 수신 시, 상기 웹 사이트(200)의 상태 정보를 포함하는 것이 바람직하다. 이를 통해 상기 서버는 동시에 적어도 하나 이상의 사용자 단말(200)로부터 측정된 웹사이트의 상태정보를 수신하여 모니터링 함으로써 좀더 객관적인 웹사이트의 상태 정보를 획득하고 모니터링할 수 있다. Subsequently, quality information of the web site 200 measured by the user terminal 200 is received from the user terminal 200 (S120). The quality information of the web site includes the state information of the measured web site 200 in the state where the cache of the web site is included, and the state information of the measured website 30 in the state that the cache of the web site is not included. It is preferable to include. In addition, the quality information of the web site, when receiving the cache data of the web site from the user terminal 200, it is preferable to include the state information of the web site 200. Through this, the server may simultaneously acquire and monitor status information of the more objective website by receiving and monitoring status information of the website measured from at least one user terminal 200 at the same time.

이후, 수신된 웹 사이트(200) 품질 측정 정보를 데이터베이스에 저장한다(S130). Thereafter, the received web site 200 stores quality measurement information in a database (S130).

이어서, 데이터베이스에 등록된 웹 사이트(200) 품질 측정 정보를 분석하여 해당 웹 사이트(200)의 정상 동작여부를 모니터링한다(S140). Subsequently, the web site 200 registered in the database is analyzed for quality measurement information and the normal operation of the web site 200 is monitored (S140).

만약, 품질 정보를 측정하고자 하는 웹 사이트(200) 정보가 포함된 테스트 목록 정보를 사용자 단말(200)로 전송한다(S110). 이때 테스트 목록 정보는, 웹 사이트 URL 정보를 포함하되, 테스트 시간 정보 및 캐시(Cache) 데이터의 적용 여부 정보 중 적어도 하나의 정보를 더 포함하는 것이 바람직하며, 테스트 시간 정보는, 각 사용자 단말 마다 서로 다른 시간 정보일 수 있다. 이럴 경우, 사용자 단말(200)로부터 테스트 시간 순서로 웹사이트의 상태 정보를 수신하여 모니터링이 가능하며, 각 사용자 단말(200)의 로드를 최소화할 수 있게 된다. If it is, the test list information including the web site 200 information to measure the quality information is transmitted to the user terminal 200 (S110). In this case, the test list information may include web site URL information, and further include at least one of test time information and information on whether cache data is applied, and the test time information may be different for each user terminal. May be other time information. In this case, it is possible to monitor by receiving the status information of the website from the user terminal 200 in the order of test time, it is possible to minimize the load of each user terminal 200.

도 3은 본 발명에 따른 웹 사이트 품질 측정 서버를 나타낸 기능블록도이다. 도 3에 도시된 바와 같이 본 발명의 일 실시예에 따른 웹 사이트 품질 측정 서버는, 테스트 정보 제공부(110), 품질 정보 수신부(120), 품질 정보 저장부(130), 모니터링부(140) 및 데이터베이스(150)를 포함한다. 3 is a functional block diagram showing a web site quality measurement server according to the present invention. As shown in FIG. 3, the web site quality measurement server according to an exemplary embodiment of the present invention includes a test information providing unit 110, a quality information receiving unit 120, a quality information storing unit 130, and a monitoring unit 140. And database 150.

테스트 정보 제공부(110)는 품질 정보를 측정하고자 하는 웹 사이트 정보가 포함된 테스트 목록 정보를 사용자 단말(200)로 전송한다. 상기 테스트 목록 정보는, 웹 사이트(200) URL 정보, 테스트 시간 정보 및 캐시(Cache) 데이터의 적용 여부 정보 중 적어도 하나의 정보를 더 포함하는 것이 바람직하며, 테스트 시간 정보는, 동일한 시간 정보이거나 서로 다른 시간 정보일 수 있다. The test information providing unit 110 transmits test list information including web site information to measure quality information to the user terminal 200. The test list information may further include at least one of web site 200 URL information, test time information, and whether cache data is applied, and the test time information may be the same time information or mutually. May be other time information.

만약, 테스트 시간 정보가 동일한 시간 정보 일 경우, 웹사이트의 상태 정보를 객관적으로 모니터링 할 수 있으며, 테스트 시간 정보가 다른 시간 정보일 경우 사용자 단말(200)로부터 테스트 시간 순서로 웹사이트의 상태 정보를 수신하여 모니터링이 가능하게 됨에 따라 웹 사이트의 상태 측정을 위한 각 사용자 단말(200)의 로드를 최소화할 수 있게 된다. If the test time information is the same time information, it is possible to objectively monitor the state information of the website, and if the test time information is other time information, the state information of the website is ordered from the user terminal 200 in order of test time. As it is possible to receive and monitor, it is possible to minimize the load of each user terminal 200 for measuring the status of the web site.

그리고 품질 정보 수신부(120)는 사용자 단말(200)에 의해 측정된 웹 사이트(200)의 품질 정보를 사용자 단말(200)로부터 수신한다. 상기 웹 사이트(200)의 품질 정보는, 웹 사이트(200)의 캐시가 포함된 상태에서의 측정한 웹 사이트(200)의 상태정보, 웹 사이트(200)의 캐시가 포함되지 않은 상태에서의 측정한 웹 사이트(200)의 상태정보를 포함하는 것이 바람직하고, 상기 사용자 단말(200)로부터 해당 웹 사이트(200)의 캐시 데이터 수신 시, 웹 사이트(200)의 상태 정보를 포함하는 것이 바람직하다. The quality information receiver 120 receives quality information of the web site 200 measured by the user terminal 200 from the user terminal 200. The quality information of the web site 200 is measured in a state in which the state information of the web site 200 measured in the state where the cache of the web site 200 is included and the cache of the web site 200 is not included. It is preferable to include the status information of a web site 200, and when receiving cache data of the web site 200 from the user terminal 200, it is preferable to include the status information of the web site 200.

또한 품질 정보 저장부(130)는 수신된 웹 사이트 품질 측정 정보를 데이터베이스(150)에 저장한다. In addition, the quality information storage unit 130 stores the received web site quality measurement information in the database 150.

모니터링부(140)는 데이터베이스(150)에 등록된 웹 사이트 품질 측정 정보를 분석하여 해당 웹 사이트(200)의 정상 동작여부를 모니터링한다. The monitoring unit 140 analyzes the web site quality measurement information registered in the database 150 and monitors the normal operation of the web site 200.

이상에서 전술한 본 발명의 실시예에 따른 웹 사이트 품질 측정 방법은 사용자 단말에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 사용자 단말에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 실시예에 따른 웹 사이트 품질 측정 방법은 사용자 단말에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 사용자 단말 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.Web site quality measurement method according to an embodiment of the present invention described above may be executed by an application (which may include a program included in the platform or operating system, etc. basically installed in the terminal) In addition, the user may be executed by an application (ie, a program) installed directly on the user terminal through an application providing server such as an application store server, an application, or a web server related to the corresponding service. In this sense, the web site quality measuring method according to the embodiment of the present invention described above is implemented as an application (ie, a program) which is basically installed in a user terminal or directly installed by a user, and can be read by a computer readable record such as a user terminal. Can be recorded on the medium.

이러한 프로그램은 컴퓨터에 의해 읽힐 수 있는 기록매체에 기록되고 컴퓨터에 의해 실행됨으로써 전술한 기능들이 실행될 수 있다. Such a program may be recorded on a recording medium that can be read by a computer and executed by a computer so that the above-described functions can be executed.

이와 같이, 본 발명의 각 실시예에 따른 웹 사이트 품질 측정 방법을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. As described above, in order to execute the web site quality measurement method according to each embodiment of the present invention, the above-described program is code coded in a computer language such as C, C ++, JAVA, or machine language that can be read by a computer processor (CPU). It may include (Code).

이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다. The code may include a function code related to a function or the like that defines the functions described above and may include an execution procedure related control code necessary for the processor of the computer to execute the functions described above according to a predetermined procedure.

또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다. In addition, such code may further include memory reference related code as to what additional information or media needed to cause the processor of the computer to execute the aforementioned functions should be referenced at any location (address) of the internal or external memory of the computer .

또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈(예: 유선 및/또는 무선 통신 모듈)을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다. In addition, when a processor of a computer needs to communicate with any other computer or server, etc., to perform the above-described functions, the code may be stored in a computer's communication module (e.g., a wired and / ) May be used to further include communication related codes such as how to communicate with any other computer or server in the remote, and what information or media should be transmitted or received during communication.

그리고 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.Functional programs for implementing the present invention, codes and code segments associated therewith, may be used by programmers in the technical field to which the present invention pertains, in consideration of a system environment of a computer that reads a recording medium and executes the program. It may be easily inferred or altered by.

이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다. Examples of the computer-readable recording medium on which the above-described program is recorded include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical media storage, and the like.

또한 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.Also, the computer-readable recording medium on which the above-described program is recorded may be distributed to a computer system connected via a network so that computer-readable codes can be stored and executed in a distributed manner. In this case, one or more of the plurality of distributed computers may execute some of the functions presented above and send the results of the execution to one or more of the other distributed computers, The computer may also perform some of the functions described above and provide the results to other distributed computers as well.

특히, 본 발명의 각 실시예에 따른 웹 사이트 품질 측정 방법을 실행시키기 위한 프로그램인 애플리케이션을 기록한 컴퓨터로 읽을 수 있는 기록매체는, 애플리케이션 스토어 서버(Application Store Server), 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버(Application Provider Server)에 포함된 저장매체(예: 하드디스크 등)이거나, 애플리케이션 제공 서버 그 자체일 수도 있다.In particular, a computer-readable recording medium recording an application, which is a program for executing a method for measuring website quality, according to each embodiment of the present invention, may be an application store server, an application, or a web server associated with a corresponding service. It may be a storage medium (eg, a hard disk, etc.) included in an application provider server such as a hard disk or the application providing server itself.

본 발명의 각 실시예에 따른 웹 사이트 품질 측정 방법을 실행시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC 뿐만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말기를 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다. The computer which can read the recording medium which recorded the application which is a program for implementing the web site quality measuring method which concerns on each embodiment of this invention is not only general PCs, such as a general desktop or laptop, but also a smart phone, a tablet PC, a PDA. (Personal Digital Assistants) and mobile terminals, such as mobile communication terminals may be included, as well as it should be interpreted as all computing devices (Computing).

또한, 본 발명의 실시예에 따른 웹 사이트 품질 측정 방법을 실행시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터가 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말기인 경우, 애플리케이션은 애플리케이션 제공 서버에서 일반 PC로 다운로드 되어 동기화 프로그램을 통해 모바일 단말기에 설치될 수도 있다.In addition, a computer capable of reading a recording medium recording an application, which is a program for executing a web site quality measurement method, according to an embodiment of the present invention is a mobile device such as a smart phone, a tablet PC, a personal digital assistant (PDA) and a mobile communication terminal. In the case of a terminal, the application may be downloaded from the application providing server to a general PC and installed on the mobile terminal through a synchronization program.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. In other words, within the scope of the present invention, all of the components may be selectively operated in combination with one or more. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention. As a storage medium of the computer program, a magnetic recording medium, an optical recording medium, or the like can be included.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.It is also to be understood that the terms such as " comprises, "" comprising," or "having ", as used herein, mean that a component can be implanted unless specifically stated to the contrary. But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Terms used generally, such as terms defined in a dictionary, should be interpreted to coincide with the contextual meaning of the related art, and shall not be interpreted in an ideal or excessively formal sense unless explicitly defined in the present invention.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the scope of the present invention but to limit the scope of the technical idea of the present invention. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

100 : 웹 사이트 품질 측정 서버 110 : 테스트 정보 제공부
120 : 품질 정보 수신부 130 : 품질 정보 저장부
140 : 모니터링부 150 : 데이터베이스
100: website quality measurement server 110: test information provider
120: quality information receiving unit 130: quality information storage unit
140: monitoring unit 150: database

Claims (11)

웹 사이트 품질 측정 서버가,
품질 정보를 측정하고자 하는 웹 사이트 정보가 포함된 테스트 목록 정보를 적어도 하나의 사용자 단말로 전송하는 단계;
상기 사용자 단말에 의해 측정된 웹 사이트의 품질 정보를 상기 사용자 단말로부터 수신하는 단계;
수신된 웹 사이트 품질 측정 정보를 데이터베이스에 저장하는 단계; 및
상기 데이터베이스에 등록된 웹 사이트 품질 측정 정보를 분석하여 해당 웹 사이트의 정상 동작여부를 모니터링 하는 단계;를 포함하는 것을 특징으로 하는 웹 사이트 품질 측정 방법.
Web site quality measurement server,
Transmitting test list information including web site information to measure quality information to at least one user terminal;
Receiving quality information of the web site measured by the user terminal from the user terminal;
Storing the received web site quality measurement information in a database; And
And analyzing the web site quality measurement information registered in the database to monitor whether or not the web site is normally operating.
제 1항에 있어서,
상기 웹 사이트의 품질 정보는,
웹 사이트의 캐시가 포함된 상태에서의 측정한 웹 사이트의 상태정보, 웹 사이트의 캐시가 포함되지 않은 상태에서의 측정한 웹 사이트의 상태정보를 포함하는 것을 특징으로 하는 웹 사이트 품질 측정 방법.
The method of claim 1,
The quality information of the website is
The web site quality measurement method comprising the status information of the measured web site in a state where the cache of the web site is included, and the status information of the measured web site in a state where the cache of the web site is not included.
제 2항에 있어서,
상기 웹 사이트의 품질 정보는,
상기 사용자 단말로부터 해당 웹 사이트의 캐시 데이터 수신 시, 상기 웹 사이트의 상태 정보를 포함하는 것을 특징으로 하는 웹 사이트 품질 측정 방법.
The method of claim 2,
The quality information of the website is
When receiving the cache data of the web site from the user terminal, Web site quality measurement method comprising the status information of the web site.
제 1항에 있어서,
상기 테스트 목록 정보는,
웹 사이트 URL 정보를 포함하되, 테스트 시간 정보 및 캐시(Cache) 데이터의 적용 여부 정보 중 적어도 하나의 정보를 더 포함하는 것을 특징으로 하는 웹 사이트 품질 측정 방법.
The method of claim 1,
The test list information,
Web site quality measurement method comprising the web site URL information, characterized in that it further comprises at least one of the test time information and whether cache data is applied.
제 4항에 있어서,
상기 테스트 시간 정보는,
상기 각 사용자 단말마다 동일한 시간 정보이거나 서로 다른 시간 정보인 것을 특징으로 하는 웹 사이트 품질 측정 방법.
5. The method of claim 4,
The test time information,
Web site quality measurement method, characterized in that each of the user terminal is the same time information or different time information.
품질 정보를 측정하고자 하는 웹 사이트 정보가 포함된 테스트 목록 정보를 적어도 하나의 사용자 단말로 전송하는 테스트 정보 제공부;
사용자 단말에 의해 측정된 웹 사이트의 품질 정보를 상기 사용자 단말로부터 수신하는 품질 정보 수신부;
수신된 웹 사이트 품질 측정 정보를 데이터베이스에 저장하는 품질 정보 저장부; 및
상기 데이터베이스에 등록된 웹 사이트 품질 측정 정보를 분석하여 해당 웹 사이트의 정상 동작여부를 모니터링 하는 모니터링부;를 포함하는 것을 특징으로 하는 웹 사이트 품질 측정 서버.
A test information provider which transmits test list information including web site information to measure quality information to at least one user terminal;
A quality information receiver configured to receive quality information of a web site measured by a user terminal from the user terminal;
A quality information storage unit for storing the received web site quality measurement information in a database; And
And a monitoring unit for analyzing the web site quality measurement information registered in the database to monitor the normal operation of the web site.
제 6항에 있어서,
상기 웹 사이트의 품질 정보는,
웹 사이트의 캐시가 포함된 상태에서의 측정한 웹 사이트의 상태정보, 웹 사이트의 캐시가 포함되지 않은 상태에서의 측정한 웹 사이트의 상태정보를 포함하는 것을 특징으로 하는 웹 사이트 품질 측정 서버.
The method according to claim 6,
The quality information of the website is
Web site quality measurement server, characterized in that it comprises the status information of the web site measured in the state that includes the cache of the web site, the status information of the web site measured in the state that the cache of the web site is not included.
제 7항에 있어서,
상기 웹 사이트의 품질 정보는,
상기 사용자 단말로부터 해당 웹 사이트의 캐시 데이터 수신 시, 웹 사이트의 상태 정보를 포함하는 것을 특징으로 하는 웹 사이트 품질 측정 서버.
8. The method of claim 7,
The quality information of the website is
When receiving the cache data of the web site from the user terminal, Web site quality measurement server, characterized in that it comprises a status information of the web site.
제 6항에 있어서,
상기 테스트 목록 정보는,
웹 사이트 URL 정보를 포함하되, 테스트 시간 정보 및 캐시(Cache) 데이터의 적용 여부 정보 중 적어도 하나의 정보를 더 포함하는 것을 특징으로 하는 웹 사이트 품질 측정 서버.
The method according to claim 6,
The test list information,
Web site quality measurement server, including web site URL information, further comprising at least one of test time information and whether cache data is applied.
제 9항에 있어서,
상기 테스트 시간 정보는,
상기 각 사용자 단말마다 동일한 시간 정보이거나 서로 다른 시간 정보인 것을 특징으로 하는 웹 사이트 품질 측정 서버.
The method of claim 9,
The test time information,
Web site quality measurement server, characterized in that each of the user terminal is the same time information or different time information.
웹 사이트 품질 측정 서버가,
품질 정보를 측정하고자 하는 웹 사이트 정보가 포함된 테스트 목록 정보를 적어도 하나의 사용자 단말로 전송하는 단계;
사용자 단말에 의해 측정된 웹 사이트의 품질 정보를 상기 사용자 단말로부터 수신하는 단계;
수신된 웹 사이트 품질 측정 정보를 데이터베이스에 저장하는 단계; 및
상기 데이터베이스에 등록된 웹 사이트 품질 측정 정보를 분석하여 해당 웹 사이트의 정상 동작여부를 모니터링 하는 단계;를 포함하는 것을 특징으로 하는 웹 사이트 품질 측정 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
Web site quality measurement server,
Transmitting test list information including web site information to measure quality information to at least one user terminal;
Receiving quality information of a web site measured by a user terminal from the user terminal;
Storing the received web site quality measurement information in a database; And
And analyzing the website quality measurement information registered in the database to monitor whether the website is normally operated. The computer program can be read by a computer program for implementing the website quality measurement method. Record carrier.
KR1020120033859A 2012-04-02 2012-04-02 Quality test measuring method and server web site KR101319853B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120033859A KR101319853B1 (en) 2012-04-02 2012-04-02 Quality test measuring method and server web site

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120033859A KR101319853B1 (en) 2012-04-02 2012-04-02 Quality test measuring method and server web site

Publications (2)

Publication Number Publication Date
KR20130111745A true KR20130111745A (en) 2013-10-11
KR101319853B1 KR101319853B1 (en) 2013-10-23

Family

ID=49632990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120033859A KR101319853B1 (en) 2012-04-02 2012-04-02 Quality test measuring method and server web site

Country Status (1)

Country Link
KR (1) KR101319853B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020017926A (en) * 2000-08-29 2002-03-07 오명철 Sub- network aware distributed internet contents delivery network and control mechanism
KR100864785B1 (en) * 2006-12-27 2008-10-22 주식회사 케이티 System and method for automatically measuring speed for internet quality control
KR20070017573A (en) * 2007-01-25 2007-02-12 주식회사 비즈모델라인 Method for providing Internet homepage

Also Published As

Publication number Publication date
KR101319853B1 (en) 2013-10-23

Similar Documents

Publication Publication Date Title
CN109040316B (en) HTTP service processing method and device
CN107798108B (en) Asynchronous task query method and device
CN110865867A (en) Method, device and system for discovering application topological relation
US10552290B2 (en) Measuring user interface responsiveness
CN109753808B (en) Privacy leakage risk assessment method and device
US10223397B1 (en) Social graph based co-location of network users
US20170331831A1 (en) Trust evaluation method and system in internet of things
US9374417B1 (en) Dynamic specification auditing for a distributed system
US20210111974A1 (en) Methods and apparatus to monitor telemetry data associated with computing devices
KR20130123582A (en) Method for monitoring log and server thereof, and recording medium
US8145750B2 (en) Detecting hidden shared dependencies through covert channels
KR102543838B1 (en) Method and appartus for obtaining information
US20170308418A1 (en) Information processing device, information processing program, and information processing method
CN109145182B (en) Data acquisition method and device, computer equipment and system
KR101319853B1 (en) Quality test measuring method and server web site
US11785431B1 (en) Industrial monitoring system device connection
KR101784057B1 (en) Apparatus and method sharing customizable contents using user information of the mobile terminal
KR20130103239A (en) Method, server and terminal for providing web browsing service having translation
US9569433B1 (en) Mobile application analytics
Espada et al. Mobile web-based system for remote-controlled electronic devices and smart objects
KR101435114B1 (en) Method for loading internet-webpage, user terminal performing the same, and recording medium
US11477547B1 (en) Industrial monitoring system with debuggable monitoring devices
JP6031224B2 (en) Fault location diagnosis system
Ahmed et al. Run-Time Assurance for the E-care@ home System
CN117097635B (en) Method, device, storage medium and equipment for calling link sampling

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee