KR101533719B1 - Realtime data analysis apparatus based on streaming - Google Patents

Realtime data analysis apparatus based on streaming Download PDF

Info

Publication number
KR101533719B1
KR101533719B1 KR1020140025941A KR20140025941A KR101533719B1 KR 101533719 B1 KR101533719 B1 KR 101533719B1 KR 1020140025941 A KR1020140025941 A KR 1020140025941A KR 20140025941 A KR20140025941 A KR 20140025941A KR 101533719 B1 KR101533719 B1 KR 101533719B1
Authority
KR
South Korea
Prior art keywords
data
log
log data
statistical
service
Prior art date
Application number
KR1020140025941A
Other languages
Korean (ko)
Inventor
홍태희
김병섭
김영종
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020140025941A priority Critical patent/KR101533719B1/en
Application granted granted Critical
Publication of KR101533719B1 publication Critical patent/KR101533719B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

The present invention relates to an apparatus and method for analyzing data in real time based on streaming technique, capable of analyzing a large amount of log data related to calls and data services which are collected from a communication network in real time based on a streaming data processing technology, to calculate statistical data for managing the service quality in real time. More particularly, a log data stream, which is transmitted in a streaming scheme, is received and sequentially buffered, and then a plurality of stored log data streams are sequentially loaded and processed through a data workflow consisting of one stream input module, and at least one processing module each for performing a predetermined data processing operation, to calculate statistical data for managing the service quality in real time.

Description

스트리밍 기반의 실시간 데이터 분석 장치 및 방법{Realtime data analysis apparatus based on streaming}Technical Field [0001] The present invention relates to a streaming-based real-

본 발명은 통신망을 통해 이루어지는 통화 서비스 및 데이터 서비스에 대한 실시간 품질 감시를 위한 실시간 데이터 분석 기술에 관한 것으로서, 더욱 상세하게는 통신망 상에서 전송되는 통화 서비스 및 데이터 서비스와 관련된 패킷으로부터 실시간으로 생성되는 로그 데이터 스트림을 수신하고, 수신된 로그 데이터 스트림을 실시간으로 분석하여 통계 데이터를 산출할 수 있는 스트리밍 기반의 실시간 데이터 분석 장치 및 방법에 관한 것이다.The present invention relates to a real-time data analysis technique for real-time quality monitoring of a call service and a data service over a communication network, and more particularly, Stream data analysis apparatus and method capable of receiving statistical data by analyzing the received log data stream in real time.

사용자가 단말기를 통해 통화 서비스 및 데이터 통신 서비스 등을 장소에 구애 받지 않고 이용할 수 있도록 하는 이동통신기술은, 1980년대 AMPS(Advanced Mobile Phone System)과 같은 아날로그 방식의 1세대 이동통신기술이 등장한 후, 2세대 이동통신기술인 CDMA, GSM, 3세대의 CDMA-2000, WCDMA을 거쳐, 3.9세대의 LTE(Long Term Evolution) 및 4세대의 LTE-A(LTE-Advanced)까지 개발되었다.The first generation mobile communication technology such as the Advanced Mobile Phone System (AMPS) of the 1980s has emerged as a mobile communication technology that enables a user to use a communication service and a data communication service, It has been developed to 2.9 generation LTE (Long Term Evolution) and 4th generation LTE-A (LTE-Advanced) through CDMA, GSM, 3G CDMA-2000 and WCDMA.

이중, 최근에 이용되고 있는 LTE 및 LTE-A는 3GPP(3rd Generation Partnership Project)에 의해 제안된 WCDMA 계열의 이동통신표준으로서, all-IP 기반의 솔루션으로서, 초광대역 인터넷 접속, IP 전화, 게임 서비스 및 스트리밍 멀티미디어 등을 지원할 수 있다.Recently, LTE and LTE-A, which are recently used, are mobile communication standards of WCDMA series proposed by 3rd Generation Partnership Project (3GPP). They are all-IP based solutions and include ultra-wideband Internet access, And streaming multimedia.

아울러, 스마트폰과 같이 강력한 프로세서, 대용량 메모리 및 큰 화면을 갖는 고사양의 사용자 장치가 보급되고, VoD, 실시간 방송, 네트워크 기반 게임 등의 멀티미디어 서비스 등의 이용이 증가함에 따라서, 이동통신망을 통해 전송되는 데이터 트래픽 량이 급격히 증가하고 있다.In addition, a high-end user device having a powerful processor, a large memory and a large screen like a smart phone is popularly used, and multimedia services such as VoD, real-time broadcasting, and network-based games are increasingly used, Data traffic volume is growing rapidly.

특히, 스마트폰이 응용프로그램 개발자를 위한 표준화된 인터페이스와 플랫폼을 지원함에 따라서, 이동통신 사업자가 아닌 제 삼의 응용 프로그램 개발자에 의해 개발된 다양한 응용프로그램의 이용도 급증하고 있으며, 그에 따라서 이러한 응용프로그램에 의해 발생되는 데이터 트래픽의 양도 급증하고 있는 추세이다.In particular, as smartphones support standardized interfaces and platforms for application developers, the use of various application programs developed by third party application developers other than mobile communication service providers is increasing rapidly, The amount of data traffic generated by the network is increasing rapidly.

한편, 이동통신망을 기반으로 이루어지는 통화 서비스 및 데이터 통신 서비스를 제공하는데 있어서, 안정된 서비스 품질을 보장하기 위해 이동통신망의 각 장비 별 상태 및 트래픽에 대한 감시가 요구된다.Meanwhile, in providing a call service and a data communication service based on a mobile communication network, monitoring of status and traffic of each equipment in the mobile communication network is required to ensure stable service quality.

이를 위하여 기존에는, 네트워크 관리 시스템(NMS: Network Management System)을 통해서, eNB, MME, 서빙 게이트웨이, PDN 게이트웨이와 같은 이동통신망을 구성하는 각 장비로부터 로그 데이터를 주기적으로 수집하여 저장하고, 저장된 로그 데이터를 배치 분석을 통해 통계 처리하여, 서비스 품질 감시를 위한 지표(예를 들어, KPI: Key Performance Indicator)를 산출하여 RDB(Relational Database)에 저장한다. 관리자는 이렇게 산출된 지표들을 조회하거나 시각화된 지표들을 통해 서비스 품질을 감시하고 품질 저하 원인을 분석할 수 있다.For this purpose, in the past, log data is periodically collected and stored from each device constituting a mobile communication network such as an eNB, an MME, a serving gateway and a PDN gateway through a network management system (NMS: Network Management System) (For example, KPI: Key Performance Indicator) for the service quality monitoring and stores it in a relational database (RDB). The manager can inquire the calculated indicators or monitor the service quality through visualized indicators and analyze the cause of the quality degradation.

그런데 기존의 서비스 품질 관리 시스템은 eNB, MME, 서빙 게이트웨이, PDN 게이트웨이와 같은 네트워크 장비로부터 로그 데이터를 수집하기 때문에, 장비 벤더 별 로그 포맷의 변경에 따라서 데이터 수집부를 변경시켜야 한다는 문제점이 있다.However, since the existing service quality management system collects log data from network devices such as eNB, MME, serving gateway and PDN gateway, there is a problem that the data collecting part must be changed according to the change of the log format according to the equipment vendor.

또한, 장비 별로 발생하는 로그 데이터의 생성 주기 차이로 인하여, 로그 데이터를 수집하여 저장하고, 저장된 로그 데이터를 다시 분석하여 처리하는 과정에서 지연이 발생할 수 있으며, 중앙집중형 RDB(Relational Database)의 부하로 인해서도 지연이 발생할 수 있다.In addition, due to the difference in the generation period of the log data generated for each equipment, there may be a delay in collecting and storing the log data and re-analyzing and processing the stored log data, and the load of the centralized relational database A delay can also occur.

상술한 바와 같이, 기존의 서비스 품질 관리 기술은, 로그 데이터의 수집, 저장 및 분석 처리 과정에서 필연적으로 지연이 발생하기 때문에, 서비스 품질 감시를 위한 지표와 같은 통계 데이터의 실시간 산출이 불가능하고, 그 결과 서비스 품질 저하에 대한 실시간 원인 분석 및 대응이 불가능하다는 문제점이 있다.As described above, since the conventional service quality management technology necessarily generates a delay in the process of collecting, storing and analyzing log data, it is impossible to calculate statistical data in real time such as indicators for monitoring the quality of service, As a result, there is a problem that it is impossible to analyze and respond in real time to the degradation of service quality.

특히, 기존의 서비스 품질 관리 시스템은, 수집된 로그 데이터를 파일 시스템에 일단 모두 저장한 후, 일정 기간 동안 저장된 로그 데이터를 파일 단위로 일괄 처리(Batch) 방식으로 처리하기 때문에, 수집된 로그 데이터의 실시간 처리가 불가능하다.Particularly, in the existing service quality management system, once the collected log data is stored in the file system, the log data stored for a predetermined period is processed in a batch process in units of files, Real-time processing is impossible.

한국공개특허 제10-2007-0120257호, 2007년 12월 24일 공개 (명칭: 차세대 통신망에서 실시간성 서비스에 대한 품질 분석시스템 및 그 분석 방법)Korean Patent Laid-Open No. 10-2007-0120257, December 24, 2007 (Name: Quality Analysis System and Analysis Method for Real-Time Service in Next Generation Network)

이에 본 발명은 이동통신망을 포함하는 통신망으로부터 실시간으로 수집되는 통화 및 데이터 서비스와 관련된 대용량의 로그 데이터를 스트리밍 데이터 처리 기술을 기반으로 분석하여 서비스 품질 관리를 위한 통계 데이터를 실시간으로 산출할 수 있는 스트리밍 기반의 실시간 데이터 분석 장치 및 방법을 제공하고자 한다.Accordingly, the present invention provides a streaming service capable of analyzing a large amount of log data related to a call and data service collected in real time from a communication network including a mobile communication network based on streaming data processing technology, Based real-time data analysis apparatus and method.

특히, 본 발명은 네트워크 장비가 아닌 통신망을 통해 전송되는 패킷을 기반으로 생성되어 스트리밍 방식으로 전송되는 로그 데이터 스트림을 수신하여 순차적으로 버퍼링한 후, 하나의 스트림 입력 모듈과 각각 소정의 데이터 처리를 수행하는 하나 이상의 처리 모듈로 이루어지는 데이터 워크플로우를 통해서 저장된 복수의 로그 데이터 스트림을 순차적으로 읽어와 순차적으로 처리함으로써 서비스 품질 관리를 위한 통계 데이터를 실시간으로 산출할 수 있는 스트리밍 기반의 실시간 데이터 분석 장치 및 방법을 제공하고자 한다.In particular, the present invention receives a log data stream generated based on a packet transmitted through a communication network rather than a network device and transmitted in a streaming manner, sequentially buffers the stream data stream, and then performs a predetermined data process Based real-time data analysis apparatus and method capable of calculating statistical data for service quality management in real time by successively reading and sequentially processing a plurality of log data streams stored through a data workflow comprising at least one processing module .

상술한 과제의 해결 수단으로서, 본 발명은 통신망을 통해 통화 서비스 및 데이터 서비스를 제공하는 중에 실시간으로 생성되는 복수의 로그 데이터 스트림을 스트리밍 방식으로 수신하는 하나 이상의 데이터 수집부; 상기 하나 이상의 데이터 수집부에서 수신되는 복수의 로그 데이터 스트림을 순차적으로 분산 저장한 후, 읽기 요청에 따라서 저장된 순서로 로그 데이터 스트림을 출력하는 하나 이상의 버퍼링부; 및 상기 하나 이상의 버퍼링부에 저장된 로그 데이터 스트림을 순차적으로 읽어오면서, 입력된 로그 데이터 스트림에 포함된 로그 정보를 상호 연동을 통해 병렬로 처리하여 상기 통화 서비스 및 데이터 서비스에 대한 통계 데이터를 산출하는 하나 이상의 데이터 분석부를 포함하여 이루어지는 스트리밍 기반의 실시간 데이터 분석 장치를 제공한다.As a means for solving the above-mentioned problems, the present invention provides a mobile communication system including at least one data collection unit for receiving a plurality of log data streams generated in real time while providing a call service and a data service through a communication network, in a streaming manner; One or more buffering units for sequentially distributing and storing a plurality of log data streams received by the one or more data collecting units and outputting a log data stream in a stored order in response to a read request; And a controller for sequentially processing the log data streams stored in the one or more buffering units and parallelly processing the log information included in the log data stream to calculate statistical data for the call service and the data service, A streaming-based real-time data analysis apparatus including the above data analysis unit is provided.

본 발명의 일 실시 예에 따르면, 상기 실시간 데이터 분석 장치에 있어서, 상기 하나 이상의 데이터 분석부는, 통화 서비스와 관련하여 수집된 로그 데이터 스트림에 포함된 통화 관련 로그 정보를 분석하여 통화 서비스 품질과 관련된 통계 데이터를 산출하는 제1 데이터 워크플로우와, 데이터 서비스와 관련하여 수집된 로그 데이터 스트림에 포함된 트래픽 관련 로그 정보를 분석하여 데이터 서비스 품질과 관련된 통계 데이터를 산출하는 제2 데이터 워크플로우중 어느 하나를 포함할 수 있다.According to an embodiment of the present invention, in the real-time data analysis apparatus, the at least one data analysis unit analyzes call related log information included in the log data stream collected in association with the call service, And a second data workflow for analyzing traffic related log information included in the log data stream collected in association with the data service and calculating statistical data related to the data service quality, .

상기 제1 데이터 워크플로우는, 대응하는 버퍼링부에 저장된 통화 서비스와 관련된 로그 데이터 스트림을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 복수의 제1 데이터 워크플로우 중 어느 하나의 그룹핑 처리 모듈로 분배하는 스트림 입력 모듈; 상기 복수의 제1 데이터 워크플로우 중 어느 하나의 스트림 입력 모듈로부터 전달되는 하나 이상의 로그 데이터를 사용자 장치의 식별 정보를 기반으로 그룹핑하여 상기 복수의 제1 데이터 워크플로우 중 어느 하나의 분석 처리 모듈로 전달하는 그룹핑 처리 모듈; 상기 복수의 제1 데이터 워크플로우 중 어느 하나의 그룹핑 처리 모듈로부터 전달된 특정 사용자 장치의 식별 정보를 기반으로 그룹핑된 로그 데이터들간의 상관관계를 분석하는 분석 처리 모듈; 및 상기 분석 처리 모듈의 분석 결과를 단계적으로 통합하여 통화 서비스 품질과 관련된 통계 데이터를 산출하는 하나 이상의 통계 처리 모듈이 연결되어 이루어질 수 있다.Wherein the first data workflow sequentially reads a log data stream related to a call service stored in a corresponding buffering unit and reads log data included in the log data stream on a predetermined basis from one of a plurality of first data workflows A stream input module for distributing the stream to a grouping processing module; One or more pieces of log data transmitted from any one of the plurality of first data workflows are grouped based on identification information of the user device and transmitted to one of the plurality of first data workflows A grouping processing module; An analysis processing module for analyzing a correlation between log data grouped based on identification information of a specific user apparatus transmitted from any one of the plurality of first data workflows; And at least one statistical processing module for calculating statistical data related to call service quality by integrating the analysis results of the analysis processing module step by step.

또한, 상기 제2 데이터 워크플로우는, 대응하는 버퍼링부에 저장된 데이터 서비스와 관련된 로그 데이터 스트림을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 복수의 제2 데이터 워크플로우 중 어느 하나의 통계 처리 모듈로 분배하는 스트림 입력 모듈; 상기 복수의 제2 데이터 워크플로우 중 어느 하나의 스트림 입력 모듈로부터 전달되는 하나 이상의 로그 데이터를 다른 제2 데이터 워크플로우의 통계 처리 모듈들과 연동하여 하나 이상의 필드값을 기준으로 단계적으로 통합하는 하나 이상의 통계 처리 모듈; 및 상기 하나 이상의 통계 처리 모듈을 통해 통합된 결과를 하나 이상의 필드값을 기준으로 단계적으로 그룹핑하여 데이터 서비스 품질과 관련된 통계 데이터를 출력하는 하나 이상의 그룹핑 처리 모듈이 연결되어 이루어질 수 있다.The second data workflow sequentially reads log data streams related to the data service stored in the corresponding buffering unit and sequentially reads the log data included in the log data stream on the basis of a predetermined one of the plurality of second data workflows A stream input module for distributing to one statistical processing module; One or more pieces of log data transmitted from any one of the plurality of second data workflows are integrated with the statistical processing modules of the second data workflow and stepwise integrates one or more field values based on one or more field values Statistical processing module; And at least one grouping processing module for grouping the results integrated through the at least one statistical processing module stepwise on the basis of one or more field values and outputting statistical data related to the data service quality.

더하여, 본 발명은 상술한 과제의 다른 해결 수단으로서, 통신망을 통해 통화 서비스 및 데이터 서비스를 제공하는 중에 실시간으로 생성되는 복수의 로그 데이터 스트림을 실시간으로 수신하는 단계; 수신된 복수의 로그 데이터 스트림을 순차적으로 분산 저장하는 단계; 하나 이상의 데이터 워크플로우를 통해서, 상기 분산 저장된 복수의 로그 데이터 스트림을 저장된 순서로 순차적으로 읽어오면서, 해당 로그 데이터 스트림에 포함된 로그 정보를 병렬로 처리하여 상기 통화 서비스 및 데이터 서비스에 대한 통계 데이터를 산출하는 단계를 포함하여 이루어지는 스트리밍 기반의 실시간 데이터 분석 방법을 제공한다.In addition, the present invention provides, as another solution to the above-mentioned problems, a method for receiving a plurality of log data streams in real time while providing a call service and a data service through a communication network; Sequentially distributing and storing a plurality of received log data streams; A method for processing statistical data for a call service and a data service by processing log information contained in a corresponding log data stream in parallel while sequentially reading the plurality of distributed log data streams in a stored order through one or more data workflows Based real-time data analysis method comprising the steps of:

본 발명의 일 실시 예에 따르면, 상기 스트리밍 기반의 실시간 데이터 분석 방법에 있어서, 산출하는 단계는, 분산 저장된 복수의 로그 데이터 스트림 중 통화 서비스와 관련된 로그 데이터 스트림들을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 분배하는 단계; 상기 분배된 로그 데이터들의 필드값을 비교하여, 사용자 장치의 식별 정보를 기반으로 그룹핑하는 단계; 상기 그룹핑된 각 로그 데이터들간의 상관관계를 분석하는 단계; 상관관계 분석 결과를 단계적으로 통합하여 통화 서비스 품질과 관련된 통계 데이터를 산출하는 단계를 포함할 수 있다.According to an embodiment of the present invention, in the streaming-based real-time data analysis method, the calculating step may include sequentially reading log data streams related to a call service among a plurality of log data streams distributed and stored, Distributing log data included in the data stream; Comparing the field values of the distributed log data and grouping based on the identification information of the user device; Analyzing a correlation between the grouped log data; And correlating the correlation analysis results step by step to calculate statistical data related to the call service quality.

또한, 본 발명의 일 실시 예에 따르면, 상기 스트리밍 기반의 실시간 데이터 분석 방법에 있어서, 산출하는 단계는, 분산 저장된 복수의 로그 데이터 스트림 중 데이터 서비스와 관련된 로그 데이터 스트림들을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 분배하는 단계; 상기 분배된 로그 데이터들을 단계적으로 통합하는 단계; 및 상기 통합된 결과를 하나 이상의 필드값을 기준으로 단계적으로 그룹핑하여 데이터 서비스 품질과 관련된 통계 데이터를 산출하는 단계를 포함할 수 있다.According to an embodiment of the present invention, in the streaming-based real-time data analysis method, the calculating step includes sequentially reading log data streams related to a data service among a plurality of log data streams distributed and stored, Distributing log data included in the log data stream; Stepwise integrating the distributed log data; And calculating statistical data related to data service quality by grouping the integrated results stepwise based on one or more field values.

더하여, 본 발명은 또 다른 과제 해결 수단으로서, 하나 이상의 데이터 워크플로우를 통해, 통화 서비스를 제공하는 중에 실시간으로 생성되는 복수의 로그 데이터 스트림을 병렬 처리하여 통화 서비스 품질과 관련된 통계 데이터를 산출하되, 상기 데이터 워크플로우가, 통화 서비스와 관련된 로그 데이터 스트림을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 복수의 데이터 워크플로우 중 어느 하나의 그룹핑 처리 모듈로 분배하는 스트림 입력 모듈; 상기 복수의 데이터 워크플로우 중 어느 하나의 스트림 입력 모듈로부터 전달되는 하나 이상의 로그 데이터를 사용자 장치의 식별 정보를 기반으로 그룹핑하여 상기 복수의 데이터 워크플로우 중 어느 하나의 분석 처리 모듈로 전달하는 그룹핑 처리 모듈; 상기 복수의 데이터 워크플로우 중 어느 하나의 그룹핑 처리 모듈로부터 전달된 특정 사용자 장치의 식별 정보를 기반으로 그룹핑된 로그 데이터들간의 상관관계를 분석하는 분석 처리 모듈; 상기 분석 처리 모듈의 분석 결과를 단계적으로 통합하여 통화 서비스 품질과 관련된 통계 데이터를 산출하는 하나 이상의 통계 처리 모듈을 포함하여 이루어지는 스트리밍 기반의 실시간 데이터 분석 장치를 제공한다.In addition, the present invention provides, as still another object of the present invention, to provide a method and apparatus for parallel processing a plurality of log data streams generated in real time while providing a call service through one or more data workflows, Wherein the data workflow comprises: a stream input module for sequentially reading a log data stream related to a call service and distributing log data included in the log data stream to a grouping processing module among a plurality of data work flows on a predetermined basis; A grouping processing module for grouping one or more pieces of log data transmitted from any one of the plurality of data workflows on the basis of identification information of a user apparatus and transmitting the grouped data to any one of the plurality of data processing workflows; ; An analysis processing module for analyzing a correlation between log data grouped on the basis of identification information of a specific user device transmitted from any one of the plurality of data workflows; And at least one statistical processing module for calculating statistical data related to call service quality by integrating analysis results of the analysis processing module step by step.

더하여, 본 발명은 또 다른 과제 해결 수단으로서, 하나 이상의 데이터 워크플로우를 통해, 데이터 서비스를 제공하는 중에 실시간으로 생성되는 복수의 로그 데이터 스트림을 병렬 처리하여 통화 서비스 품질과 관련된 통계 데이터를 산출하되, 상기 데이터 워크플로우가, 데이터 서비스와 관련된 로그 데이터 스트림을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 복수의 데이터 워크플로우 중 어느 하나의 통계 처리 모듈로 분배하는 스트림 입력 모듈; 상기 복수의 데이터 워크플로우 중 어느 하나의 스트림 입력 모듈로부터 전달되는 하나 이상의 로그 데이터를 다른 데이터 워크플로우의 통계 처리 모듈들과 연동하여 하나 이상의 필드값을 기준으로 단계적으로 통합하는 하나 이상의 통계 처리 모듈; 및 상기 하나 이상의 통계 처리 모듈을 통해 통합된 결과를 하나 이상의 필드값을 기준으로 단계적으로 그룹핑하여 데이터 서비스 품질과 관련된 통계 데이터를 출력하는 하나 이상의 그룹핑 처리 모듈로 이루어지는 것을 특징으로 하는 스트리밍 기반의 실시간 데이터 분석 장치를 제공한다.In addition, the present invention provides, as another solution to the problem, a method for processing a plurality of log data streams generated in real time while providing a data service through one or more data workflows, Wherein the data workflow comprises: a stream input module for sequentially reading a log data stream related to a data service and distributing the log data included in the log data stream to a statistical processing module among a plurality of data workflows on a constant basis; One or more statistical processing modules for integrating one or more pieces of log data transmitted from any one of the plurality of data workflows with the statistical processing modules of other data workflows and integrating them in accordance with one or more field values; And at least one grouping processing module for grouping the results integrated through the at least one statistical processing module stepwise on the basis of one or more field values to output statistical data related to data service quality. Thereby providing an analysis apparatus.

본 발명에 따르면 소정의 통신망을 통해 제공되는 통화 서비스 및 데이터 서비스에 대한 실시간 품질 관리를 수행하는데 있어서, 통화 서비스 및 데이터 서비스를 제공하는 중에 실시간으로 생성되는 복수의 로그 데이터를 스트리밍 방식으로 수신하여, 수신되는 로그 데이터 스트림을 큰 지연 없이 순차적으로 처리하여 통계 데이터를 실시간으로 산출할 수 있다.According to the present invention, in real-time quality control of a call service and a data service provided through a predetermined communication network, a plurality of log data generated in real time during a call service and a data service are received in a streaming manner, The received log data stream can be sequentially processed without a large delay and the statistical data can be calculated in real time.

특히, 본 발명은 수신되는 로그 데이터 스트림을 순차적으로 버퍼링한 후, 하나의 스트림 입력 모듈과 각각 소정의 데이터 처리를 수행하는 하나 이상의 처리 모듈로 이루어지는 데이터 워크플로우를 통해서 저장된 복수의 로그 데이터 스트림을 순차적으로 읽어와 단계적으로 처리함으로써 지연을 최소화하여, 통계 데이터의 실시간 산출을 가능하게 한다.In particular, the present invention relates to a method and apparatus for sequentially buffering received log data streams, and then sequentially storing a plurality of log data streams stored in a data workflow comprising one stream input module and one or more processing modules each performing predetermined data processing And the delay is minimized by processing stepwise, thereby enabling the statistical data to be calculated in real time.

또한, 본 발명은 통화 서비스 관련 로그 데이터와 데이터 서비스 관련 로그 데이터를 각각 구분하여 서로 다른 데이터 워크 플로우를 통해 분산 처리함으로써, 통화 서비스 및 데이터 서비스 각각에서 요구되는 통계 데이터를 산출할 수 있도록 한다.Also, according to the present invention, call service-related log data and data service-related log data are separately divided and processed through different data workflows so that statistical data required by each of the call service and the data service can be calculated.

도 1은 본 발명에 따른 스트리밍 기반의 실시간 데이터 분석 장치가 적용된 네트워크 구조를 예시한 도면이다.
도 2는 본 발명에 따른 스트리밍 기반의 실시간 데이터 분석 장치의 구성을 나타낸 블럭도이다.
도 3은 본 발명에 따른 스트리밍 기반의 실시간 데이터 분석 방법을 나타낸 순서도이다.
도 4는 본 발명에 따른 스트리밍 기반의 실시간 데이터 분석 장치에 있어서, 통화 서비스 품질과 관련된 통계 데이터를 산출하기 위한 제1 데이터 처리 워크플로우의 상세 구성을 나타낸 블럭도이다.
도 5는 본 발명에 따른 스트리밍 기반의 실시간 데이터 분석 장치에 있어서, 데이터 서비스 품질과 관련된 통계 데이터를 산출하기 위한 제2 데이터 처리 워크플로우의 상세 구성을 나타낸 블럭도이다.
1 is a diagram illustrating a network structure to which a streaming-based real-time data analysis apparatus according to the present invention is applied.
2 is a block diagram illustrating a streaming-based real-time data analysis apparatus according to the present invention.
3 is a flowchart illustrating a streaming-based real-time data analysis method according to the present invention.
4 is a block diagram illustrating a detailed configuration of a first data processing workflow for calculating statistical data related to call service quality in a streaming-based real-time data analyzing apparatus according to the present invention.
5 is a block diagram illustrating a detailed configuration of a second data processing workflow for calculating statistical data related to data service quality in a streaming-based real-time data analyzing apparatus according to the present invention.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. It should be noted that the same constituent elements are denoted by the same reference numerals as possible throughout the drawings.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 가능함을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed to be limited to ordinary or dictionary meanings and the inventor is not limited to the concept of terminology for describing his or her invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are described. Therefore, It is to be understood that equivalents and modifications are possible.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.Also, terms including ordinal numbers such as first, second, etc. are used to describe various elements, and are used only for the purpose of distinguishing one element from another, Not used. For example, without departing from the scope of the present invention, the second component may be referred to as a first component, and similarly, the first component may also be referred to as a second component.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.In addition, when referring to an element as being "connected" or "connected" to another element, it means that it can be connected or connected logically or physically. In other words, it is to be understood that although an element may be directly connected or connected to another element, there may be other elements in between, or indirectly connected or connected.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Also, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. It is also to be understood that the terms such as " comprising "or" having ", as used herein, are intended to specify the presence of stated features, integers, It should be understood that the foregoing does not preclude the presence or addition of other features, numbers, steps, operations, elements, parts, or combinations thereof.

본 발명에 따른 실시간 데이터 분석 장치는, 둘 이상의 통화자 간에 통화 채널을 연결하여 음성 및 영상 중 하나 이상을 포함하는 통화 데이터를 통화자 사이에 실시간으로 전송하는 통화 서비스 및 원격지와 데이터를 송수신할 수 있도록 하는 데이터 서비스 중 하나 이상을 제공하는 통신망에 적용될 수 있다.The real-time data analyzing apparatus according to the present invention is a real-time data analyzing apparatus that can connect a call channel between two or more callers to transmit call data including at least one of voice and images between callers in real time, And / or < / RTI >

이렇게 본 발명에 따른 실시간 데이터 분석 장치가 적용될 수 있는 통신망은, 패킷(Packet) 방식으로 통화 데이터를 포함하는 다양한 데이터가 전송되는 통신망이라면 어떠한 통신망이라도 가능하다. 본 발명의 적용되는 통신망의 예로서, LTE 혹은 LTE-A와 같은 이동통신망을 들 수 있다. The communication network to which the real-time data analyzing apparatus according to the present invention can be applied can be any communication network that transmits various data including call data in a packet system. An example of a communication network to which the present invention is applied is a mobile communication network such as LTE or LTE-A.

이에 이하에서는 설명의 편의를 위하여 이동통신망을 예로 들어, 본 발명에 따른 실시간 데이터 분석 장치의 구조 및 동작에 대해서 설명한다. 그러나, 본 발명에 따른 실시간 데이터 분석 장치는 이동통신망에 한정되지 않고, 패킷 기반으로 통화 서비스 및 데이터 서비스 중 하나를 제공하는 통신망이라면 어떠한 종류의 통신망이라도 적용 가능하다.Hereinafter, the structure and operation of the real-time data analyzing apparatus according to the present invention will be described by taking a mobile communication network as an example for convenience of explanation. However, the real-time data analyzing apparatus according to the present invention is not limited to the mobile communication network, but can be applied to any type of communication network provided that it provides one of a call service and a data service on a packet basis.

도 1은 본 발명에 따른 스트리밍 기반의 실시간 데이터 분석 장치가 적용된 통신망의 일 예를 도시한 도면이다.1 is a diagram illustrating an example of a communication network to which a streaming-based real-time data analyzing apparatus according to the present invention is applied.

도 1에서 부호 10은 서비스 품질 관리 대상이 되는 통신망을 나타내며, 부호 100은 본 발명에 따라서 상기 통신망(10)을 기반으로 이루어지는 통화 서비스 및 데이터 서비스 중 하나 이상에 대한 품질 관리를 위해 데이터 분석을 수행하는 실시간 데이터 분석 장치를 나타낸다.In FIG. 1, reference numeral 10 denotes a communication network to be subjected to quality of service management, and reference numeral 100 denotes data analysis for quality control for at least one of a call service and a data service based on the communication network 10 according to the present invention. Time data analysis device.

상기 실시간 데이터 분석 장치(100)는 통신망(10)을 통해 제공되는 통화 서비스 및 데이터 서비스와 관련하여 실시간으로 생성되는 로그 데이터 스트림을 스트리밍 방식으로 수신한다. 상기 로그 데이터는, 통신망(10)을 통해 전송되는 통화 서비스 및 데이터 서비스와 관련된 다양한 패킷의 상세 정보를 기록한 것으로서, 별도의 로그 데이터 생성 장치(도시생략)를 통해서 상기 통신망(10)을 통해 전송되는 패킷들을 프루빙하여 생성될 수 있다.The real-time data analysis apparatus 100 receives a log data stream generated in real time with respect to a call service and a data service provided through the communication network 10 in a streaming manner. The log data is the detailed information of various packets related to the call service and the data service transmitted through the communication network 10 and is transmitted through the communication network 10 through a separate log data generation device Lt; RTI ID = 0.0 > packets. ≪ / RTI >

예를 들어, 상기 통신망(10)이 이동통신망인 경우, 네트워크 장비로서, 기지국 장치(12)와, 이동성 관리 장치(13)와, 서빙 게이트웨이(14)와, PDN 게이트웨이(15)를 포함할 수 있다. For example, in the case where the communication network 10 is a mobile communication network, the network equipment may include a base station apparatus 12, a mobility management apparatus 13, a serving gateway 14, and a PDN gateway 15 have.

상기 기지국 장치(12)는 무선 자원을 통해 사용자 장치(11)와 직접적으로 접속하여, 사용자 장치(11)로부터 전송된 패킷을 수신하거나 사용자 장치(11)로 패킷을 송신하기 위한 구성이다. 구체적으로 상기 기지국 장치(12)는 통신 커버리지 내로 접근한 사용자 장치(11)의 검출, 접속을 요청한 사용자 장치(11)에 대한 접속 제어 및 무선 자원 할당, 할당된 무선 자원을 통한 사용자 장치(11)와의 패킷 송수신 중 하나 이상을 수행할 수 있다. 이러한 기지국 장치(12)는 예를 들어, Node B, eNB(e Node B) 등이 될 수 있다. The base station apparatus 12 is a configuration for directly connecting to the user apparatus 11 through radio resources and receiving a packet transmitted from the user apparatus 11 or transmitting a packet to the user apparatus 11. [ Specifically, the base station apparatus 12 detects the user apparatus 11 approaching within the communication coverage, access control and radio resource allocation to the user apparatus 11 requesting the connection, user equipment 11 via the allocated radio resource, Lt; RTI ID = 0.0 > and / or < / RTI > The base station apparatus 12 may be, for example, a Node B, an eNB (eNode B), or the like.

상기 이동성 관리 장치(13)는 사용자 장치(11)의 위치를 등록하고 사용자 장치(11)의 이동에 따른 위치를 수정 및 변경하여 관리하는 요소로서, 상기 기지국 장치(12)와 서빙 게이트웨이(14) 간의 신호제어를 담당하고 사용자 장치(11)로부터 인입되는 패킷을 어느 곳으로 라우팅할지를 결정한다. 이러한 이동성 관리 장치(13)는 3GPP에서 제안된 MME(Mobility Management Entity)를 포함하는 개념이다.The mobility management apparatus 13 is an element that registers the location of the user equipment 11 and manages and modifies the location of the user equipment 11 according to the movement of the user equipment 11. The mobility management apparatus 13 includes a base station 12, And determines where to route the incoming packet from the user equipment 11. [ The mobility management apparatus 13 is a concept including MME (Mobility Management Entity) proposed in 3GPP.

상기 서빙 게이트웨이(14)는, 사용자 장치(11)의 이동(핸드오버)에 대한 앵커링(anchoring) 기능을 담당하여 상기 기지국 장치(12)로 전송받은 패킷을 PDN 게이트웨이(15)로 전달하고, 역으로 PDN 게이트웨이(15)로부터 전달받은 패킷을 사용자 장치(11)가 연결된 기지국 장치(12)로 전달한다. The serving gateway 14 performs an anchoring function for the movement (handover) of the user equipment 11 and forwards the packet to the PDN gateway 15 to the base station device 12, The packet transmitted from the PDN gateway 15 to the base station apparatus 12 to which the user apparatus 11 is connected.

상기 PDN 게이트웨이(15)는 IMS(IP multimedia subsystem), 인터넷, 타 이동통신망과 같은 다른 PDN과의 접점으로서, 타 통신망 간의 사용자 장치(11)의 이동에 대한 앵커링을 담당한다. The PDN gateway 15 is a point of contact with another PDN such as an IP multimedia subsystem (IMS), the Internet, or another mobile communication network, and is responsible for anchoring the movement of the user equipment 11 between other communication networks.

이렇게 구성된 통신망(10)에 있어서, 기지국 장치(12)와 이동성 관리 장치(13)를 연결하는 포인트 S1, 기지국 장치(12)와 서빙 게이트웨이(14)를 연결하는 포인트 S2, 서빙 게이트웨이(13)와 이동성 관리 장치(13)를 연결하는 포인트 S3, PDN 게이트웨이(15)와 타 통신망간의 연결 포인트 S4로부터 각각 네트워크 장비 간에 송수신되는 패킷을 수집하고, 수집된 패킷의 프루빙을 통해서 로그 데이터가 생성될 수 있다.A point S1 for connecting the base station apparatus 12 and the mobility management apparatus 13; a point S2 for connecting the base station apparatus 12 and the serving gateway 14; a serving gateway 13; A point S3 for connecting the mobility management apparatus 13 and a point S4 for connection between the PDN gateway 15 and the other communication network are collected and the log data is generated through the probing of the collected packets have.

아울러, 이 경우에 생성되는 로그 데이터는, 통화 서비스와 관련된 로그 데이터와, 데이터 서비스와 관련된 로그 데이터로 구분될 수 있으며, 또한, 통신망(10) 상에서 사용자 장치(11)별로 이루어지는 베어러 연결 및 운용과 관련된 베어러 로그 데이터, 연결된 베어러를 통해 이루어지는 어플리케이션 레벨의 로그 데이터인 HTTP 로그 데이터, 프랜스포트 로그 데이터, DNS 로그 데이터 중 하나 이상을 포함할 수 있다. 각각의 로그 데이터는 기본적으로, 해당 로그 데이터가 수집된 시스템을 나타내는 수집 시점 정보, 사용자 정보, 관련된 네트워크 장비 정보를 포함하며, 로그 데이터의 종류 별로, HTTP 정보, SCTP 정보, DNS 정보, 베어러 정보, 트래픽 정보, 호 처리 정보, 호 정보 중에서 하나 이상을 포함할 수 있다. In addition, the log data generated in this case can be divided into log data related to the call service and log data related to the data service. Further, bearer connection and operation performed for each user device 11 on the communication network 10 Related bearer log data, HTTP log data, application log data, and DNS log data, which are application level log data made through a connected bearer. Basically, each log data includes collection time information indicating the system in which the log data is collected, user information and related network equipment information, and HTTP information, SCTP information, DNS information, bearer information, Traffic information, call processing information, and call information.

물론, 이러한 로그 데이터의 종류 및 상세 정보는, 분석 대상 통신망의 종류, 적용 프로토콜 및 제공되는 서비스 종류에 따라서 달라질 수 있다.Of course, the type and detailed information of the log data may vary depending on the type of the communication network to be analyzed, the application protocol, and the type of service to be provided.

본 발명에 따른 실시간 데이터 분석 장치(100)는 상술한 바와 같이 통화 서비스 및 데이터 서비스와 관련하여 생성되는 로그 데이터를 스트리밍 방식으로 실시간으로 수신한다.The real-time data analysis apparatus 100 according to the present invention receives log data generated in connection with a call service and a data service in real time in a streaming manner as described above.

그리고, 상기 실시간 데이터 분석 장치(100)는 수신한 로그 데이터 스트림을 버퍼링 한 후, 하나의 스트림 입력 모듈과 데이터 처리를 수행하는 하나 이상의 처리 모듈으로 이루어지는 복수의 데이터 처리 워크플로우(RDW: Real-time Data workflow)를 이용하여 상기 로그 데이터 스트림을 순차적으로 분산 및 병렬 처리하여, 통화 서비스 및 데이터 서비스의 품질과 관련된 다양한 통계 데이터를 산출한다. The real-time data analysis apparatus 100 includes a plurality of data processing workflows (RDWs: Real-time (RDW), etc.) comprising one stream input module and one or more processing modules for performing data processing after buffering the received log data stream Data workflow) to sequentially and variably and parallelly process the log data streams to calculate various statistical data related to the quality of the call service and the data service.

상기에서 스트림 입력 모듈은 분산 저장된 복수의 로그 데이터 스트림을 저장된 순서대로 읽어와 상기 하나 이상의 처리 모듈로 전달하며, 상기 하나 이상의 처리 모듈들은, 통계 및 분석을 위한 데이터 처리 기능(예를 들어, 그룹핑, 상관관계 분석, 통계 처리) 중 적어도 하나를 수행하도록 구현되어, 상기 전달되는 로그 데이터 스트림을 단계적으로 데이터 처리하여 통화 서비스 및 데이터 서비스의 품질과 관련된 통계 데이터를 산출한다. Wherein the stream input module reads a plurality of distributed log data streams in a stored order and transfers the stream data to the at least one processing module, wherein the at least one processing module includes a data processing function (e.g., grouping, Correlation analysis, and statistical processing), and statistical data related to the quality of the call service and the data service is calculated by stepwise processing the delivered log data stream.

이러한 본 발명의 실시간 데이터 분석 장치(100)의 상세 구성 및 동작을 도 2 및 도 3을 참조하여 설명한다.The detailed configuration and operation of the real-time data analysis apparatus 100 of the present invention will be described with reference to FIGS. 2 and 3. FIG.

도 2는 본 발명에 따른 스트리밍 기반의 실시간 데이터 분석 장치(100)의 구성을 나타낸 블럭도이고, 도 3은 본 발명에 따른 스트리밍 기반의 실시간 데이터 분석 방법을 나타낸 순서도이다.FIG. 2 is a block diagram illustrating a configuration of a streaming-based real-time data analysis apparatus 100 according to the present invention, and FIG. 3 is a flowchart illustrating a streaming-based real-time data analysis method according to the present invention.

도 2를 참조하면, 본 발명에 따른 실시간 데이터 분석 장치(100)은 하나 이상의 데이터 수집부(110)와, 하나 이상의 버퍼링부(120)와, 하나 이상의 데이터 분석부(130)를 포함하여 이루어질 수 있다.2, the real-time data analysis apparatus 100 according to the present invention includes one or more data collecting units 110, one or more buffering units 120, and one or more data analyzing units 130 have.

상기 하나 이상의 데이터 수집부(110)와, 하나 이상의 버퍼링부(120)와, 하나 이상의 데이터 분석부(130)는 각각 일대일로 연결되어 수신되는 복수의 로그 데이터 스트림을 분산 및 병렬로 처리할 수 있으며, 아울러 상기 하나 이상의 데이터 분석부(130)는 상호 연동하여 데이터 처리 결과를 교환함으로써, 상기 복수의 로그 데이터 스트림을 통합한 통계 데이터를 산출할 수 있다.The at least one data collecting unit 110, the at least one buffering unit 120, and the at least one data analyzing unit 130 may process a plurality of log data streams connected in a one-to- And the one or more data analysis units 130 may interrelate and exchange data processing results to calculate statistical data combining the plurality of log data streams.

상술한 본 발명의 실시간 데이터 분석 장치(100)는 먼저, 상기 하나 이상의 데이터 수집부(110)를 통해서, 통신망(10)을 구성하는 네트워크 장비 간에 전달되는 패킷을 기반으로 실시간으로 생성되는 복수의 로그 데이터 스트림을 수신한다(S110). 예를 들어, 상기 복수의 로그 데이터 스트림은, 도 1의 통신망(10) 상에 위치한 지점 S1, S2, S3, S4로부터 각각 생성된 로그 데이터 스트림일 수 있다.The real-time data analysis apparatus 100 of the present invention firstly transmits a plurality of logs (not shown) generated in real time on the basis of packets transmitted between network devices constituting the communication network 10 through the one or more data collection units 110 And receives a data stream (S110). For example, the plurality of log data streams may be log data streams generated from points S1, S2, S3, and S4 respectively located on communication network 10 of FIG.

그리고, 상기 하나 이상의 버퍼링부(120)에 상기 수신한 복수의 로그 데이터를 분산하여 버퍼링한다(S120).The received plurality of log data is dispersed and buffered in the one or more buffering units 120 (S120).

이때, 상기 하나 이상의 데이터 수집부(110) 및 하나 이상의 버퍼링부(120)는 각각 일대일로 연결되어, 각 데이터 수집부(110)는 수집한 로그 데이터 스트림에 대응하여 설정된 버퍼링부(120)에 순차적으로 저장할 수 있다.At this time, the one or more data collecting units 110 and the one or more buffering units 120 are connected to each other in a one-to-one manner, and each data collecting unit 110 sequentially transmits the log data streams to the buffering unit 120, . ≪ / RTI >

상기 하나 이상의 버퍼링부(120)는 상기 하나 이상의 데이터 수집부(110)에서 수집된 로그 데이터를 하나 이상의 데이터 분석부(130)로 전송하기 위한 버퍼 기능을 수행하는 구성으로서, 먼저 입력된 데이터가 먼저 출력되는 FIFO(First Input First Output) 방식의 메모리 구조로 구현될 수 있다.The at least one buffering unit 120 performs a buffer function to transmit the log data collected by the at least one data collecting unit 110 to one or more data analysis units 130. First, And may be implemented in a memory structure of a FIFO (First Input First Output) method.

즉, 상기 하나 이상의 버퍼링부(120)는 각각 하나 이상의 데이터 수집부(110)에서 수집한 로그 데이터 스트림을 순차적으로 저장하고, 하나 이상의 데이터 분석부(130)의 요청에 따라서 상기 저장된 로그 데이터 스트림을 저장된 순서대로 데이터 분석부(130)에 제공한다.That is, the one or more buffering units 120 sequentially store the log data streams collected by one or more data collecting units 110 and store the stored log data streams in response to a request from the one or more data analyzing units 130 And provides them to the data analysis unit 130 in the stored order.

따라서, 상기 실시간 데이터 분석 장치(100)는, 상기 하나 이상의 데이터 분석부(130)를 통해서, 상기 하나 이상의 버퍼링부(120)에 분산 저장되는 복수의 로그 데이터 스트림을 동시에 순차적으로 읽어와, 필드 그룹핑, 상관 관계 분석 및 통계 처리 중 하나 이상을 포함하는 데이터 처리를 분산 및 병렬 방식으로 수행하여, 통화 서비스 및 데이터 서비스 품질과 관리된 통계 데이터를 산출한다(S130).Accordingly, the real-time data analysis apparatus 100 sequentially reads a plurality of log data streams distributed and stored in the one or more buffering units 120 through the one or more data analysis units 130, , Correlation analysis, and statistical processing are performed in a distributed and parallel manner to calculate call service and data service quality and managed statistical data (S130).

구체적으로, 상기 하나 이상의 데이터 분석부(130)는 하나의 스트림 입력 모듈과 각각 서로 다른 데이터 처리를 수행하는 하나 이상의 처리 모듈의 결합으로 이루어진 실시간 데이터 워크플로우(RDW: Real-time Data workflow)가 설정되고, 설정된 실시간 데이터 워크플로우를 통해서 상기 하나 이상의 버퍼링부(120)에 저장된 복수의 로그 데이터 스트림을 순차적으로 읽어와 필드 그룹핑, 상관 관계 분석 및 통계 처리함으로써, 통화 서비스 및 데이터 서비스와 관련된 통계 데이터를 산출한다.More specifically, the one or more data analysis units 130 may be configured such that a real-time data workflow (RDW), which is a combination of one stream input module and one or more processing modules that perform different data processing, And sequentially reads the plurality of log data streams stored in the one or more buffering units 120 through the set real-time data workflow, performs field grouping, correlation analysis, and statistical processing on statistical data related to the call service and the data service .

이때, 일정 시점에 상기 하나 이상의 데이터 분석부(130)에 의해 처리되는 복수의 로그 데이터 스트림은, 통신망(10)의 복수 지점 S1, S2, S3, S4으로부터 동일 시간대에 생성된 로그 데이터들로서, 상기 하나 이상의 데이터 분석부(130)는 상기 동일 시간대에 발생하는 통화 서비스 및 데이터 서비스에 대한 통계 데이터를 산출하게 된다. 아울러, 일정 주기(예를 들어, 1분)로 발생되는 로그 데이터를 스트림 방식으로 순차로 처리함으로써, 상기 일정 주기 단위의 통계 데이터를 실시간으로 산출할 수 있다.The plurality of log data streams processed by the one or more data analysis units 130 at a certain point of time are log data generated at the same time from the plurality of points S1, S2, S3, and S4 of the communication network 10, The one or more data analysis unit 130 calculates statistical data on the call service and the data service occurring in the same time zone. In addition, the log data generated in a predetermined period (for example, one minute) is sequentially processed in a streaming fashion, so that the statistical data of the predetermined period unit can be calculated in real time.

아울러, 상기 하나 이상의 데이터 분석부(130)는, 로그 데이터 스트림을 처리하기 위한 데이터 워크플로우로서, 통화 서비스와 관련하여 수집된 로그 데이터 스트림에 포함된 통화 관련 로그 정보를 분석하여 통화 서비스 품질과 관련된 통계 데이터를 산출하는 제1 데이터 워크플로우와, 데이터 서비스와 관련하여 수집된 로그 데이터 스트림에 포함된 트래픽 관련 로그 정보를 분석하여 데이터 서비스 품질과 관련된 통계 데이터를 산출하는 제2 데이터 워크플로우 중 어느 하나가 설정될 수 있다.In addition, the at least one data analysis unit 130 analyzes a log-related log information included in the log data stream collected in association with the call service to process the log data stream, A second data workflow for calculating statistical data related to data service quality by analyzing traffic related log information included in the log data stream collected in association with the data service, Can be set.

이에 도 4 및 도 5를 참조하여, 상기 제1,2 데이터 워크플로우의 상세 구조 및 이를 이용한 분석 과정을 설명한다.4 and 5, a detailed structure of the first and second data workflows and an analysis process using the same will be described.

도 4는 본 발명에 따른 스트리밍 기반의 실시간 데이터 분석 장치에 있어서, 통화 서비스 품질과 관련된 통계 데이터를 산출하기 위한 제1 데이터 처리 워크플로우의 상세 구성을 나타낸 블럭도이고, 도 5는 본 발명에 따른 스트리밍 기반의 실시간 데이터 분석 장치에 있어서, 데이터 서비스 품질과 관련된 통계 데이터를 산출하기 위한 제2 데이터 처리 워크플로우의 상세 구성을 나타낸 블럭도이다.FIG. 4 is a block diagram illustrating a detailed configuration of a first data processing workflow for calculating statistical data related to call service quality in a streaming-based real-time data analyzing apparatus according to the present invention. FIG. 2 is a block diagram showing a detailed configuration of a second data processing workflow for calculating statistical data related to data service quality in a streaming-based real-time data analysis apparatus. FIG.

참고로, 도 4 및 도 5에서는, 설명의 편의를 위한 3개의 데이터 분석부(130-1~130-3, 130-4~130-6)로 이루어진 경우를 예시하였으나, 이는 예시에 불과하며 본 발명을 제한하기 위한 것은 아니다. 즉, 본 발명에 따른 실시간 데이터 분석 장치(100)에서 있어서, 하나 이상의 데이터 분석부(130)의 수는 로그 데이터 스트림의 데이터 량 및 산출할 통계 데이터의 수에 따라서 변경될 수 있다.For reference, FIGS. 4 and 5 illustrate a case where three data analysis units 130-1 to 130-3 and 130-4 to 130-6 are provided for convenience of explanation, but this is merely an example, And are not intended to limit the invention. That is, in the real-time data analysis apparatus 100 according to the present invention, the number of one or more data analysis units 130 can be changed according to the data amount of the log data stream and the number of statistical data to be calculated.

먼저, 도 4를 참조하면, 본 발명에 있어서, 통화 서비스와 관련된 로그 데이터의 분석을 위한 제1 데이터 워크플로우는, 스트림 입력 모듈(210)과, 그룹핑 처리 모듈(220)과, 분석 처리 모듈(230)과, 하나 이상의 통계 처리 모듈(240)이 순차적으로 연결되어 이루어진다.4, a first data workflow for analyzing log data related to a call service includes a stream input module 210, a grouping processing module 220, an analysis processing module 230, and one or more statistical processing modules 240 are sequentially connected.

상기 스트림 입력 모듈(210)은, 어느 하나의 버퍼링부(120)에 저장된 통화 서비스와 관련된 로그 데이터 스트림을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 복수의 제1 데이터 워크플로우 중 어느 하나의 그룹핑 처리 모듈(220)로 분배한다. 구체적으로, 상기 스트림 입력 모듈(210)은 복수의 로그 데이터 중 특정 필드값, 예를 들어, 사용자 장치의 식별 정보(IMSI 등)을 기준으로 읽어온 로그 데이터를 복수의 데이터 분석부(130-1~130-3) 중 어느 하나의 그룹핑 처리 모듈(220)로 전달한다. 이에 복수의 로그 데이터는 일정 기준에 따라서, 복수의 제1 데이터 워크플로우 중 특정 그룹핑 처리 모듈(220)로 모일 수 있다.The stream input module 210 sequentially reads a log data stream related to a call service stored in one of the buffering units 120 and sequentially stores log data included in the log data stream on a predetermined basis, Flow to one of the grouping processing modules 220. Specifically, the stream input module 210 reads log data read from a plurality of log data based on a specific field value, for example, identification information (e.g., IMSI) of the user device, from a plurality of data analysis units 130-1 To 130-3, to the grouping processing module 220. [ The plurality of pieces of log data may be collected in the specific grouping processing module 220 among the plurality of first data workflows according to a certain criterion.

그리고, 상기 그룹핑 처리 모듈(220)은, 복수의 제1 데이터 워크플로우 중 어느 하나의 스트림 입력 모듈(210)로부터 전달되는 하나 이상의 로그 데이터를 사용자 장치의 식별 정보를 기반으로 그룹핑하여 상기 복수의 제1 데이터 워크플로우 중 어느 하나의 분석 처리 모듈(230)로 전달한다. 즉 상기 그룹핑 처리 모듈(220)은 로그 데이터들 중 동일 시간대에 사용자 장치(11)로 발생한 로그 데이터들끼리 그룹핑하기 위한 것이다.The grouping processing module 220 groups one or more pieces of log data transmitted from any one stream input module 210 of the plurality of first data workflows based on the identification information of the user apparatus, 1 data workflow to one of the analysis processing modules 230. That is, the grouping processing module 220 is for grouping log data generated in the user device 11 at the same time in the log data.

상기 분석 처리 모듈(230)은, 복수의 제1 데이터 워크플로우 중 어느 하나의 그룹핑 처리 모듈(220)로부터 전달된 특정 사용자 장치의 식별 정보를 기반으로 그룹핑된 로그 데이터들간의 상관관계를 분석한다.The analysis processing module 230 analyzes the correlation between the log data grouped based on the identification information of the specific user apparatus transmitted from any one of the plurality of first data workflows.

이후, 하나 이상의 통계 처리 모듈(240)은, 상기 분석 처리 모듈(230)의 분석 결과를 단계적으로 통합하여 통화 서비스 품질과 관련된 통계 데이터를 산출한다. 여기서, 통계 처리 모듈의 수는 필요에 따라서 증감될 수 있다.Thereafter, the at least one statistical processing module 240 integrates the analysis results of the analysis processing module 230 step by step to calculate statistical data related to the call service quality. Here, the number of statistical processing modules can be increased or decreased as needed.

상술한 바와 같이 구성된, 제1 데이터 워크플로우에서는, 스트림 입력 모듈(210)과 그룹핑 처리 모듈(220)과 분석 처리 모듈(230) 들이 상호 연동함으로써, 복수의 통화 서비스 관련 로그 데이터를 사용자 장치 별로 구분하여, 사용자 장치 별 통화 량, 통화 시도 횟수, 통화 완료 호 대비 통화 성공호의 비율 등의 통화 서비스 품질 관련 다양한 통계 데이터를 산출할 수 있다.In the first data workflow configured as described above, the stream input module 210, the grouping processing module 220, and the analysis processing module 230 interoperate with each other to divide a plurality of call service-related log data into user devices , It is possible to calculate various statistical data related to the call service quality such as the call volume per user device, the number of call attempts, and the ratio of call success rate to call completion call.

다음으로, 도 5를 참조하면, 본 발명에 있어서, 데이터 서비스와 관련된 로그 데이터의 분석을 위한 제2 데이터 워크플로우는, 스트림 입력 모듈(310)과, 하나 이상의 통계 처리 모듈(320), 하나 이상의 그룹핑 처리 모듈(330)이 연결되어 이루어질 수 있다. 다만, 여기서, 통계 처리 모듈(320) 및 그룹핑 처리 모듈(330)의 수는 로그 데이터 및 통계 데이터의 양 및 종류에 따라서 가변될 수 있다.5, a second data workflow for analyzing log data related to a data service includes a stream input module 310, one or more statistical processing modules 320, one or more And a grouping processing module 330 may be connected. Here, the number of the statistical processing module 320 and the grouping processing module 330 may vary depending on the amount and type of log data and statistical data.

상기 제2 데이터 워크플로우에서, 스트림 입력 모듈(310)은, 어느 한 버퍼링부(120)에 저장된 데이터 서비스와 관련된 로그 데이터 스트림을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 복수의 제2 데이터 워크플로우 중 어느 하나의 통계 처리 모듈(320)로 분배한다. 즉, 스트림 입력 모듈(310)이 통계 처리를 위해 복수의 로그 데이터를 적절히 분배하는 것이다.In the second data workflow, the stream input module 310 sequentially reads a log data stream related to a data service stored in a buffering unit 120 and sequentially reads log data included in the log data stream To the statistical processing module 320 of any one of the plurality of second data workflows. That is, the stream input module 310 appropriately distributes a plurality of pieces of log data for statistical processing.

그리고, 하나 이상의 통계 처리 모듈(320)은, 복수의 제2 데이터 워크플로우 중 어느 하나의 스트림 입력 모듈(310)로부터 전달되는 하나 이상의 로그 데이터를 다른 제2 데이터 워크플로우의 통계 처리 모듈(320)들과 연동하여 하나 이상의 필드값을 기준으로 통합한다.The one or more statistical processing modules 320 may transmit one or more pieces of log data transmitted from any one of the plurality of second data workflows to the statistical processing module 320 of the second data workflow, And integrates based on one or more field values.

이때, 상기 하나 이상의 통계 처리 모듈(320)은 서로 다른 필드값을 기준으로 하나 이상의 로그 데이터를 단계적으로 통합할 수 있다.At this time, the one or more statistical processing modules 320 may integrate one or more pieces of log data step by step based on different field values.

상기 하나 이상의 통계 처리 모듈(320)을 통해서, 로그 데이터들은 다양한 필드값을 기준으로 관련성을 것끼리 통합될 수 있다. 이어서, 하나 이상의 그룹핑 처리 모듈(330)은 상기 하나 이상의 통계 처리 모듈(320)을 통해서 통합된 결과를 단계적으로 그룹핑하여 데이터 서비스 품질과 관련된 통계 데이터를 산출한다.Through the one or more statistical processing modules 320, the log data can be integrated based on various field values. Then, the at least one grouping processing module 330 groups the integrated results through the at least one statistical processing module 320 and calculates statistical data related to the data service quality.

상술한 바와 같이, 제2 데이터 워크플로우에서는, 하나 이상의 통계 처리 모듈(320)을 통해서 복수의 데이터 서비스 관련 로그데이터를 다양한 필드 값을 기준으로 통합하고, 통합된 결과를 하나 이상의 그룹핑 처리 모듈(330)을 통해 단계적으로 그룹핑함으로써, 데이터 서비스와 관련된 다양한 트래픽 관련 통계 데이터를 산출할 수 있다. 예를 들어, 장비 별, 어플리케이션별, 구간별로 트래픽 정보를 실시간으로 산출할 수 있다.As described above, in the second data workflow, a plurality of data service-related log data are integrated on the basis of various field values through one or more statistical processing modules 320, and integrated results are stored in one or more grouping processing modules 330 ), Whereby various traffic-related statistical data related to the data service can be calculated. For example, traffic information can be calculated in real time by device, application, and interval.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be apparent to those skilled in the art. Furthermore, although specific terms are used in this specification and the drawings, they are used in a generic sense only to facilitate the description of the invention and to facilitate understanding of the invention, and are not intended to limit the scope of the invention.

비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.Although the present specification and drawings describe exemplary device configurations, the functional operations and subject matter implementations described herein may be embodied in other types of digital electronic circuitry, or alternatively, of the structures disclosed herein and their structural equivalents May be embodied in computer software, firmware, or hardware, including, or in combination with, one or more of the foregoing. Implementations of the subject matter described herein may be embodied in one or more computer program products, i. E. One for computer program instructions encoded on a program storage medium of the type for < RTI ID = 0.0 & And can be implemented as a module as described above. The computer-readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of matter that affects the machine readable propagation type signal, or a combination of one or more of the foregoing.

본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.A computer program (also known as a program, software, software application, script, or code) that is loaded on an apparatus according to the present invention and which implements the method according to the present invention may be a compiled or interpreted language, a program containing a priori or procedural language Language, and may be deployed in any form including standalone programs or modules, components, subroutines, or other units suitable for use in a computer environment. A computer program does not necessarily correspond to a file in the file system. The program may be stored in a single file provided to the requested program, or in multiple interactive files (e.g., a file storing one or more modules, subprograms, or portions of code) (E.g., one or more scripts stored in a markup language document). A computer program may be deployed to run on multiple computers or on one computer, located on a single site or distributed across multiple sites and interconnected by a communications network.

컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.Computer-readable media suitable for storing computer program instructions and data include semiconductor memory devices such as, for example, EPROM, EEPROM, and flash memory devices, such as magnetic disks such as internal hard disks or external disks, And DVD-ROM disks, including non-volatile memory, media and memory devices. The processor and memory may be supplemented by, or incorporated in, special purpose logic circuits.

본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.Certain embodiments of the subject matter described herein have been described. Other embodiments are within the scope of the following claims. For example, the operations recited in the claims may be performed in a different order and still achieve desirable results. By way of example, the process illustrated in the accompanying drawings does not necessarily require that particular illustrated or sequential order to obtain the desired results. In certain implementations, multitasking and parallel processing may be advantageous.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.Therefore, the scope of the present invention should not be limited by the described embodiments but should be defined by the claims.

본 발명에 따르면 소정의 통신망을 통해 제공되는 통화 서비스 및 데이터 서비스에 대한 실시간 품질 관리를 수행하는데 있어서, 통화 서비스 및 데이터 서비스를 제공하는 중에 실시간으로 생성되는 복수의 로그 데이터를 스트리밍 방식으로 수신하여, 수신되는 로그 데이터 스트림을 큰 지연 없이 순차적으로 처리하여 통계 데이터를 실시간으로 산출할 수 있다.According to the present invention, in real-time quality control of a call service and a data service provided through a predetermined communication network, a plurality of log data generated in real time during a call service and a data service are received in a streaming manner, The received log data stream can be sequentially processed without a large delay and the statistical data can be calculated in real time.

특히, 본 발명은 수신되는 로그 데이터 스트림을 순차적으로 버퍼링한 후, 하나의 스트림 입력 모듈과 각각 소정의 데이터 처리를 수행하는 하나 이상의 처리 모듈로 이루어지는 데이터 워크플로우를 통해서 저장된 복수의 로그 데이터 스트림을 순차적으로 읽어와 단계적으로 처리함으로써 지연을 최소화하여, 통계 데이터의 실시간 산출을 가능하게 한다.In particular, the present invention relates to a method and apparatus for sequentially buffering received log data streams, and then sequentially storing a plurality of log data streams stored in a data workflow comprising one stream input module and one or more processing modules each performing predetermined data processing And the delay is minimized by processing stepwise, thereby enabling the statistical data to be calculated in real time.

또한, 본 발명은 통화 서비스 관련 로그 데이터와 데이터 서비스 관련 로그 데이터를 각각 구분하여 서로 다른 데이터 워크 플로우를 통해 분산 처리함으로써, 통화 서비스 및 데이터 서비스 각각에서 요구되는 통계 데이터를 산출할 수 있도록 한다.Also, according to the present invention, call service-related log data and data service-related log data are separately divided and processed through different data workflows so that statistical data required by each of the call service and the data service can be calculated.

100: 실시간 데이터 분석 장치
110: 데이터 수집부
120: 버퍼링부
130: 데이터 분석부
100: Real-time data analysis device
110: Data collecting unit
120: buffering unit
130: Data analysis section

Claims (9)

통신망을 통해 통화 서비스 및 데이터 서비스를 제공하는 중에 실시간으로 생성되는 복수의 로그 데이터 스트림을 스트리밍 방식으로 수신하는 하나 이상의 데이터 수집부;
상기 하나 이상의 데이터 수집부에서 수신되는 복수의 로그 데이터 스트림을 순차적으로 분산 저장한 후, 읽기 요청에 따라서 선입선출방식으로 저장된 로그 데이터 스트림을 출력하는 하나 이상의 버퍼링부; 및
상기 하나 이상의 버퍼링부에 저장된 로그 데이터 스트림을 순차적으로 읽어오면서, 입력된 로그 데이터 스트림에 포함된 로그 정보를 상호 연동을 통해 병렬로 처리하여 상기 통화 서비스 및 데이터 서비스에 대한 통계 데이터를 산출하는 하나 이상의 데이터 분석부를 포함하고,
상기 하나 이상의 데이터 분석부는
통화 서비스와 관련하여 수집된 로그 데이터 스트림에 포함된 통화 관련 로그 정보를 분석하여 통화 서비스 품질과 관련된 통계 데이터를 산출하는 제1 데이터 워크플로우와,
데이터 서비스와 관련하여 수집된 로그 데이터 스트림에 포함된 트래픽 관련 로그 정보를 분석하여 데이터 서비스 품질과 관련된 통계 데이터를 산출하는 제2 데이터 워크플로우 중 어느 하나를 포함하는 스트리밍 기반의 실시간 데이터 분석 장치.
One or more data collecting units for receiving a plurality of log data streams generated in real time while providing a call service and a data service through a communication network in a streaming manner;
One or more buffering units for sequentially distributing and storing a plurality of log data streams received by the one or more data collecting units and outputting a log data stream stored in a first-in first-out manner according to a read request; And
One or more buffering units for sequentially reading log data streams stored in the one or more buffering units and parallelly processing log information included in the input log data stream in cooperation with each other to calculate statistical data for the call service and the data service, And a data analysis unit,
The one or more data analysis units
A first data workflow for analyzing call related log information included in the log data stream collected in connection with the call service to calculate statistical data related to call service quality,
And a second data workflow for analyzing traffic-related log information included in the collected log data stream with respect to the data service and calculating statistical data related to the data service quality.
삭제delete 제1항에 있어서, 상기 제1 데이터 워크플로우는
대응하는 버퍼링부에 저장된 통화 서비스와 관련된 로그 데이터 스트림을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 복수의 제1 데이터 워크플로우 중 어느 하나의 그룹핑 처리 모듈로 분배하는 스트림 입력 모듈;
상기 복수의 제1 데이터 워크플로우 중 어느 하나의 스트림 입력 모듈로부터 전달되는 하나 이상의 로그 데이터를 사용자 장치의 식별 정보를 기반으로 그룹핑하여 상기 복수의 제1 데이터 워크플로우 중 어느 하나의 분석 처리 모듈로 전달하는 그룹핑 처리 모듈;
상기 복수의 제1 데이터 워크플로우 중 어느 하나의 그룹핑 처리 모듈로부터 전달된 특정 사용자 장치의 식별 정보를 기반으로 그룹핑된 로그 데이터들간의 상관관계를 분석하는 분석 처리 모듈;
상기 분석 처리 모듈의 분석 결과를 단계적으로 통합하여 통화 서비스 품질과 관련된 통계 데이터를 산출하는 하나 이상의 통계 처리 모듈로 이루어지는 것을 특징으로 하는 스트리밍 기반의 실시간 데이터 분석 장치.
2. The method of claim 1, wherein the first data workflow
A stream input unit for sequentially reading a log data stream related to the call service stored in the corresponding buffering unit and distributing the log data included in the log data stream to a grouping processing module among a plurality of first data workflows on a predetermined basis module;
One or more pieces of log data transmitted from any one of the plurality of first data workflows are grouped based on identification information of the user device and transmitted to one of the plurality of first data workflows A grouping processing module;
An analysis processing module for analyzing a correlation between log data grouped based on identification information of a specific user apparatus transmitted from any one of the plurality of first data workflows;
And one or more statistical processing modules for statistically integrating analysis results of the analysis processing module to calculate statistical data related to call service quality.
제1항에 있어서, 상기 제2 데이터 워크플로우는
대응하는 버퍼링부에 저장된 데이터 서비스와 관련된 로그 데이터 스트림을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 복수의 제2 데이터 워크플로우 중 어느 하나의 통계 처리 모듈로 분배하는 스트림 입력 모듈;
상기 복수의 제2 데이터 워크플로우 중 어느 하나의 스트림 입력 모듈로부터 전달되는 하나 이상의 로그 데이터를 다른 제2 데이터 워크플로우의 통계 처리 모듈들과 연동하여 하나 이상의 필드값을 기준으로 단계적으로 통합하는 하나 이상의 통계 처리 모듈; 및
상기 하나 이상의 통계 처리 모듈을 통해 통합된 결과를 하나 이상의 필드값을 기준으로 단계적으로 그룹핑하여 데이터 서비스 품질과 관련된 통계 데이터를 출력하는 하나 이상의 그룹핑 처리 모듈;
로 이루어지는 것을 특징으로 하는 스트리밍 기반의 실시간 데이터 분석 장치.
The method of claim 1, wherein the second data workflow
A stream input unit for sequentially reading a log data stream related to a data service stored in a corresponding buffering unit and distributing log data included in the log data stream to one of a plurality of second data workflows on a predetermined basis module;
One or more pieces of log data transmitted from any one of the plurality of second data workflows are integrated with the statistical processing modules of the second data workflow and stepwise integrates one or more field values based on one or more field values Statistical processing module; And
One or more grouping processing modules for grouping the results integrated through the at least one statistical processing module stepwise on the basis of one or more field values and outputting statistical data related to data service quality;
Based real-time data analysis apparatus.
통신망을 통해 통화 서비스 및 데이터 서비스를 제공하는 중에 실시간으로 생성되는 복수의 로그 데이터 스트림을 실시간으로 수신하는 단계;
수신된 복수의 로그 데이터 스트림을 순차적으로 선입선출방식의 버퍼들에 분산 저장하는 단계;
하나 이상의 데이터 워크플로우를 통해서, 상기 분산 저장된 복수의 로그 데이터 스트림을 상기 선입선출방식의 버퍼들로부터 순차적으로 읽어오는 단계;
상기 하나 이상의 데이터 워크플로우의 상호 연동을 통해서 상기 복수의 로그 데이터 스트림에 포함된 로그 정보를 병렬로 처리하여 상기 통화 서비스 및 데이터 서비스에 대한 통계 데이터를 산출하는 단계;
를 포함하여 이루어지되,
상기 하나 이상의 데이터 워크플로우는,
통화 서비스와 관련하여 수집된 로그 데이터 스트림에 포함된 통화 관련 로그 정보를 분석하여 통화 서비스 품질과 관련된 통계 데이터를 산출하는 제1 데이터 워크플로우와,
데이터 서비스와 관련하여 수집된 로그 데이터 스트림에 포함된 트래픽 관련 로그 정보를 분석하여 데이터 서비스 품질과 관련된 통계 데이터를 산출하는 제2 데이터 워크플로우 중 하나를 포함하는 것을 특징으로 하는 스트리밍 기반의 실시간 데이터 분석 방법.
Receiving, in real time, a plurality of log data streams generated in real time while providing a call service and a data service through a communication network;
Distributing the received plurality of log data streams to buffers of first-in first-out method sequentially;
Reading sequentially from the first-in first-out buffers a plurality of distributed log data streams through one or more data workflows;
Processing the log information included in the plurality of log data streams in parallel through interworking of the at least one data workflow to calculate statistical data for the call service and the data service;
, ≪ / RTI >
Wherein the at least one data workflow comprises:
A first data workflow for analyzing call related log information included in the log data stream collected in connection with the call service to calculate statistical data related to call service quality,
And a second data workflow for analyzing traffic-related log information included in the log data stream collected in relation to the data service and calculating statistical data related to the data service quality. Way.
제5항에 있어서, 상기 산출하는 단계는
분산 저장된 복수의 로그 데이터 스트림 중 통화 서비스와 관련된 로그 데이터 스트림들을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 분배하는 단계;
상기 분배된 로그 데이터들의 필드값을 비교하여, 사용자 장치의 식별 정보를 기반으로 그룹핑하는 단계;
상기 그룹핑된 각 로그 데이터들간의 상관관계를 분석하는 단계;
상관관계 분석 결과를 단계적으로 통합하여 통화 서비스 품질과 관련된 통계 데이터를 산출하는 단계를 포함하는 것을 특징으로 하는 스트리밍 기반의 실시간 데이터 분석 방법.
6. The method of claim 5, wherein the calculating step
Sequentially reading log data streams related to a call service among a plurality of log data streams that are distributed and distributed, and distributing log data included in the log data stream on a predetermined basis;
Comparing the field values of the distributed log data and grouping based on the identification information of the user device;
Analyzing a correlation between the grouped log data;
And correlating the correlation analysis results step by step to calculate statistical data related to call service quality.
제5항에 있어서, 상기 산출하는 단계는
분산 저장된 복수의 로그 데이터 스트림 중 데이터 서비스와 관련된 로그 데이터 스트림들을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 분배하는 단계;
상기 분배된 로그 데이터들을 단계적으로 통합하는 단계; 및
상기 통합된 결과를 하나 이상의 필드값을 기준으로 단계적으로 그룹핑하여 데이터 서비스 품질과 관련된 통계 데이터를 산출하는 단계를 포함하는 것을 특징으로 하는 스트리밍 기반의 실시간 데이터 분석 방법.
6. The method of claim 5, wherein the calculating step
Sequentially reading log data streams related to a data service among a plurality of log data streams that are distributed and distributed, and distributing log data included in the log data stream on a predetermined basis;
Stepwise integrating the distributed log data; And
And calculating statistical data related to data service quality by grouping the integrated results stepwise based on one or more field values.
하나 이상의 데이터 워크플로우를 통해, 통화 서비스를 제공하는 중에 실시간으로 생성되는 복수의 로그 데이터 스트림을 병렬 처리하여 통화 서비스 품질과 관련된 통계 데이터를 산출하되,
상기 데이터 워크플로우는,
상기 복수의 로그 데이터 스트림을 각각 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 상기 복수의 데이터 워크플로우 중 어느 하나의 그룹핑 처리 모듈로 분배하는 스트림 입력 모듈;
상기 복수의 데이터 워크플로우 중 어느 하나의 스트림 입력 모듈로부터 전달되는 하나 이상의 로그 데이터를 사용자 장치의 식별 정보를 기반으로 그룹핑하여 상기 복수의 데이터 워크플로우 중 어느 하나의 분석 처리 모듈로 전달하는 그룹핑 처리 모듈;
상기 복수의 데이터 워크플로우 중 어느 하나의 그룹핑 처리 모듈로부터 전달된 특정 사용자 장치의 식별 정보를 기반으로 그룹핑된 로그 데이터들간의 상관관계를 분석하는 분석 처리 모듈;
상기 분석 처리 모듈의 분석 결과를 단계적으로 통합하여 통화 서비스 품질과 관련된 통계 데이터를 산출하는 하나 이상의 통계 처리 모듈을 포함하여 이루어지는 스트리밍 기반의 실시간 데이터 분석 장치.
A plurality of log data streams generated in real time while providing a call service are processed in parallel through one or more data workflows to calculate statistical data related to call service quality,
The data workflow includes:
A stream input module that sequentially reads the plurality of log data streams and distributes the log data included in the log data stream to any one of the plurality of data workflows on a predetermined basis;
A grouping processing module for grouping one or more pieces of log data transmitted from any one of the plurality of data workflows on the basis of identification information of a user apparatus and transmitting the grouped data to any one of the plurality of data processing workflows; ;
An analysis processing module for analyzing a correlation between log data grouped on the basis of identification information of a specific user device transmitted from any one of the plurality of data workflows;
And one or more statistical processing modules for collecting the analysis results of the analysis processing module step by step and calculating statistical data related to the call service quality.
하나 이상의 데이터 워크플로우를 통해, 데이터 서비스를 제공하는 중에 실시간으로 생성되는 복수의 로그 데이터 스트림을 병렬 처리하여 통화 서비스 품질과 관련된 통계 데이터를 산출하되,
상기 데이터 워크플로우는
데이터 서비스와 관련된 로그 데이터 스트림을 순차적으로 읽어와 일정 기준으로 상기 로그 데이터 스트림에 포함된 로그데이터들을 복수의 데이터 워크플로우 중 어느 하나의 통계 처리 모듈로 분배하는 스트림 입력 모듈;
상기 복수의 데이터 워크플로우 중 어느 하나의 스트림 입력 모듈로부터 전달되는 하나 이상의 로그 데이터를 다른 데이터 워크플로우의 통계 처리 모듈들과 연동하여 하나 이상의 필드값을 기준으로 단계적으로 통합하는 하나 이상의 통계 처리 모듈; 및
상기 하나 이상의 통계 처리 모듈을 통해 통합된 결과를 하나 이상의 필드값을 기준으로 단계적으로 그룹핑하여 데이터 서비스 품질과 관련된 통계 데이터를 출력하는 하나 이상의 그룹핑 처리 모듈;
로 이루어지는 것을 특징으로 하는 스트리밍 기반의 실시간 데이터 분석 장치.
A plurality of log data streams generated in real time during a data service providing process are processed in parallel through one or more data workflows to calculate statistical data related to call service quality,
The data workflow
A stream input module for sequentially reading a log data stream related to a data service and distributing log data included in the log data stream to a statistical processing module among a plurality of data work flows on a constant basis;
One or more statistical processing modules for integrating one or more pieces of log data transmitted from any one of the plurality of data workflows with the statistical processing modules of other data workflows and integrating them in accordance with one or more field values; And
One or more grouping processing modules for grouping the results integrated through the at least one statistical processing module stepwise on the basis of one or more field values and outputting statistical data related to data service quality;
Based real-time data analysis apparatus.
KR1020140025941A 2014-03-05 2014-03-05 Realtime data analysis apparatus based on streaming KR101533719B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140025941A KR101533719B1 (en) 2014-03-05 2014-03-05 Realtime data analysis apparatus based on streaming

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140025941A KR101533719B1 (en) 2014-03-05 2014-03-05 Realtime data analysis apparatus based on streaming

Publications (1)

Publication Number Publication Date
KR101533719B1 true KR101533719B1 (en) 2015-07-03

Family

ID=53788487

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140025941A KR101533719B1 (en) 2014-03-05 2014-03-05 Realtime data analysis apparatus based on streaming

Country Status (1)

Country Link
KR (1) KR101533719B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170047856A (en) * 2015-10-26 2017-05-08 에스케이플래닛 주식회사 Method and Apparatus for Analysis of Log Data
KR20170103218A (en) * 2016-03-03 2017-09-13 한국전자통신연구원 Apparatus and method for analyzing stream
KR101820521B1 (en) * 2016-02-16 2018-01-19 주식회사 이롬테크놀로지 Method for reading in realtime and apparatus thereof
KR102105646B1 (en) 2019-12-06 2020-04-28 몬드리안에이아이 주식회사 Real-time distributed data pipeline system
CN113160976A (en) * 2021-04-29 2021-07-23 上海商汤智能科技有限公司 Medical data processing method and device based on SaaS service and electronic equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070044706A (en) * 2005-10-25 2007-04-30 에스케이 텔레콤주식회사 End to end quality management system and method of wireless internet
KR100726602B1 (en) * 2006-01-20 2007-06-11 에스케이 텔레콤주식회사 Apparatus for monitering error in mobile communication system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070044706A (en) * 2005-10-25 2007-04-30 에스케이 텔레콤주식회사 End to end quality management system and method of wireless internet
KR100726602B1 (en) * 2006-01-20 2007-06-11 에스케이 텔레콤주식회사 Apparatus for monitering error in mobile communication system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170047856A (en) * 2015-10-26 2017-05-08 에스케이플래닛 주식회사 Method and Apparatus for Analysis of Log Data
KR102461022B1 (en) 2015-10-26 2022-11-01 에스케이플래닛 주식회사 Method and Apparatus for Analysis of Log Data
KR101820521B1 (en) * 2016-02-16 2018-01-19 주식회사 이롬테크놀로지 Method for reading in realtime and apparatus thereof
KR20170103218A (en) * 2016-03-03 2017-09-13 한국전자통신연구원 Apparatus and method for analyzing stream
KR102028496B1 (en) 2016-03-03 2019-10-04 한국전자통신연구원 Apparatus and method for analyzing stream
KR102105646B1 (en) 2019-12-06 2020-04-28 몬드리안에이아이 주식회사 Real-time distributed data pipeline system
CN113160976A (en) * 2021-04-29 2021-07-23 上海商汤智能科技有限公司 Medical data processing method and device based on SaaS service and electronic equipment

Similar Documents

Publication Publication Date Title
CN110972193B (en) Slice information processing method and device
US20210014739A1 (en) Data processing method and apparatus, and data sending method and apparatus
JP7257539B2 (en) User plane routing method and apparatus
KR101503680B1 (en) Method and apparatus for network analysis
KR101533719B1 (en) Realtime data analysis apparatus based on streaming
US8385221B2 (en) System and method for monitoring of user quality-of-experience on a wireless network
CN110519795A (en) A kind of method and device of determining background traffic transmission strategy
CN108293200B (en) Device throughput determination
EP2945327A1 (en) Media data transmission method, apparatus and system
US20210289393A1 (en) QoS MONITORING CONTROL FOR 5G NETWORKS
CN108605016A (en) Method, the network equipment and the terminal device of business data transmission
CN114095956B (en) Network optimization method, device and storage medium
CN114071560B (en) Network optimization method, device and storage medium
Malisuwan et al. Quality of service (QoS) and quality of experience (QoE) of the 4G LTE perspective
US20130336128A1 (en) Intelligent Network Diagnosis And Evaluation Via Operations, Administration, And Maintenance (OAM) Transport
Wu et al. A low latency scheduling approach for high definition video streaming over heterogeneous wireless networks
CN104469829A (en) Voice quality detection method and device
Wu et al. A low-latency scheduling approach for high-definition video streaming in a heterogeneous wireless network with multihomed clients
KR101476632B1 (en) Data processing method of real-time data analysis system and analysis coordinator therefor
EP3383086B1 (en) Detecting and reporting the impact of handovers on subscriber quality of experience
US20120213133A1 (en) Method and system for identifying media type transmitted over an atm network
KR20160068448A (en) Apparatus and method for controlling throughput of transmission layer in wireless communication system
KR101563081B1 (en) System for evaluating communication quality of communication apparatus assortatively, control method thereof, and recording medium for recording program for executing the control method
CN107172652B (en) Base station scheduling method and device based on high-level service information
Tocado et al. Characterizing traffic performance in cellular networks

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 5