KR20200085490A

KR20200085490A - Service providing system and method for detecting sensor abnormality using neural network model, and non-transitory computer readable medium having computer program recorded thereon

Info

Publication number: KR20200085490A
Application number: KR1020190001643A
Authority: KR
Inventors: 조윤주
Original assignee: 에스케이플래닛 주식회사
Priority date: 2019-01-07
Filing date: 2019-01-07
Publication date: 2020-07-15

Abstract

The present invention relates to a service providing system for detecting sensor abnormality using a neural network model, to a method thereof, and to a nonvolatile recording medium in which a computer program is recorded. In more detail, provided are the service providing system for detecting sensor abnormality, which trains data collected from a sensor through a neural network model, visualizes information which can intuitively determine whether the sensor is abnormal through the neural network model provided to improve the convenience and accuracy of labeling related to errors in the sensor data, and uses a neural network supporting to quickly and accurately construct a model for detecting abnormality of the sensor capable of determining whether the sensor is abnormal through the same, the method thereof, and the nonvolatile recording medium in which a computer program is recorded.

Description

Service providing system and method for detecting sensor abnormality using neural network model, and non-transitory computer readable medium having computer program recorded thereon}

본 발명은 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체에 관한 것으로서, 더욱 상세히는 센서로부터 수집된 데이터를 신경망 모델을 통해 학습시켜 해당 신경망 모델을 통해 센서의 이상 여부를 직관적으로 판단할 수 있는 시각화된 정보를 제공하여 센서의 데이터에 대한 오류 여부 관련 라벨링 편의성 및 정확도를 높이고, 이를 통해 센서의 이상 여부을 판단할 수 있는 센서의 이상 감지를 위한 모델을 신속하고 정확하게 구축할 수 있도록 지원하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체에 관한 것이다.The present invention relates to a service providing system and method for detecting sensor anomalies using a neural network model, and a non-volatile recording medium on which a computer program is recorded. More specifically, the neural network model is obtained by learning data collected from the sensor through the neural network model. By providing visualized information that can intuitively determine whether the sensor is faulty, it increases the convenience and accuracy of labeling related to the sensor's data, and for this, it detects the sensor's fault that can determine whether the sensor is faulty. It relates to a service providing system and method for detecting sensor anomalies using a neural network model that enables a model to be built quickly and accurately, and a nonvolatile recording medium in which computer programs are recorded.

현재 다양한 분야에서 온도, 미세먼지, 인체 감지 등과 같은 다양한 용도의 센서가 사용되고 있으며, 이러한 센서는 목적에 따라 센싱 대상에 대한 측정을 통해 데이터를 생성하여 이러한 센서의 데이터를 필요로 하는 장치나 시스템에 제공하게 되며, 해당 장치나 시스템은 센서로부터 수집된 데이터를 이용하여 사용자에게 각종 정보를 제공하거나 사용자의 편의와 관련된 각종 서비스를 제공할 수 있다.Currently, sensors for various purposes such as temperature, fine dust, and human body detection are used in various fields, and these sensors generate data through measurement on the sensing target according to the purpose, and can be applied to devices or systems that require data from these sensors. Provided, the device or system may provide various information to a user using data collected from a sensor or various services related to user convenience.

이러한 센서에서 제공되는 데이터는 장치나 시스템의 신뢰성과 연관되므로 센서의 이상 여부에 대한 관리가 매우 중요하다.Since the data provided by these sensors is related to the reliability of the device or system, it is very important to manage whether the sensors are abnormal.

그러나, 이러한 센서를 운영하는 센서 운영 주체는 운영사항을 데이터로 남겨두지 않는 경우가 많을 뿐만 아니라 센서의 이상 여부를 판단하기 위해 센서를 관리하는 별도의 전문 인력이 상황에 따른 분석 방법을 사용하여 불규칙하게 수작업으로 비정상 여부를 판단하므로 이상 발생 센서에 대한 신속한 대처가 어려운 문제가 있다.However, the sensor operation subject who operates these sensors often does not leave the operation information as data, and a separate expert who manages the sensor to determine whether the sensor is abnormal uses irregular analysis methods according to the situation. There is a problem in that it is difficult to quickly respond to an abnormality generating sensor because it is determined by hand whether it is abnormal.

최근 이러한 문제를 개선하여 센서 이상 여부에 대한 판단을 자동화하기 위한 방식이 일부 등장하고 있으나, 이러한 기존 방식 역시 일부 선별된 데이터를 이용해 센서 상태(정상 혹은 비정상)와 그때의 데이터 패턴을 분석하여 특징을 도출하한 후 도출된 특징을 센서로부터 제공되는 데이터의 패턴과 단순 비교하여 센서의 이상 여부를 판단하는 정도에 그치므로, 센서의 이상 여부 판단을 위한 기준 패턴 도출에 이용되는 데이터가 극히 한정되어 해당 기준 패턴에 대한 신뢰도를 보장하기 어려울 뿐더러 이러한 한정된 데이터를 기반으로 도출된 소수의 기준 패턴으로 비정상 센서를 구분하는데 한계가 있어 기존 방식은 센서의 이상 여부 판단에 대한 정확도 및 신뢰도가 크게 떨어지는 문제가 있다.In recent years, some methods have been introduced to automate the determination of sensor anomalies by improving these problems. However, these existing methods also use some selected data to analyze the sensor status (normal or abnormal) and then data patterns to analyze the characteristics. After deriving, simply compare the derived feature with the pattern of data provided from the sensor to determine whether the sensor is abnormal, so the data used to derive the reference pattern for determining whether the sensor is abnormal is extremely limited and the relevant standard It is difficult to guarantee the reliability of the pattern, and there is a limitation in classifying the abnormal sensor into a small number of reference patterns derived based on the limited data, so the existing method has a problem of significantly lowering the accuracy and reliability for determining whether the sensor is abnormal.

이를 개선하여, 최근 신경망(딥러닝) 기반 지도 학습 모델의 발전과 더불어 센서의 이상 여부를 자동 판단하도록 지도 학습 모델을 이용한 방법이 시도되고 있다.To improve this, recently, a neural network (deep learning)-based supervised learning model has been developed, and a method using a supervised learning model to automatically determine whether a sensor is abnormal has been attempted.

그러나, 해당 지도 학습 모델이 센서의 이상 여부를 판단하도록 하기 위해서는 센서의 실측 데이터에 오류 여부를 라벨링한 라벨링 데이터를 지도 학습 모델에 학습시키는 과정이 필요하나 센서가 운영된 기간이 짧거나 센서의 교체가 이루어진 경우 이러한 라벨링된 데이터 뿐만 아니라 실측 데이터 역시 수집량이 지극히 작아 지도 학습 모델이 일정 수준 이상의 정확도를 가지도록 학습시키기에 충분치 않을 뿐만 아니라 학습에 충분한 라벨링 데이터를 수집하기 위해서 기존에는 해당 라벨링된 데이터를 센서의 실측 데이터를 기반으로 다수의 전문 인력이 수작업으로 생성하여야 하는데 전문 인력 각자가 서로 상이한 주관적 판단에 의해 라벨링된 데이터를 생성하므로 일관성이 떨어지며 이로 인해 지도 학습 모델의 신뢰성 및 정확도를 보장하기 어려운 문제가 있다.However, in order for the corresponding supervised learning model to determine whether the sensor is abnormal, it is necessary to train the supervised learning model with the labeling data labeling whether the sensor actually has an error, but the sensor operation period is short or the sensor is replaced. In the case where is done, the collected data as well as the measured data is extremely small, so it is not sufficient to train the supervised learning model to have a certain level of accuracy or more, and in order to collect sufficient labeling data for learning, the previously labeled data is used. Many experts need to manually create based on the sensor's actual data, but each expert generates labeled data based on different subjective judgments, resulting in inconsistency, which makes it difficult to guarantee the reliability and accuracy of the supervised learning model. There is.

한국등록특허 제10-0748699호Korean Registered Patent No. 10-0748699

본 발명은 센서의 이상 감지를 위한 신경망 기반 지도 학습 모델의 학습에 필요한 센서의 데이터에 대한 오류 여부가 라벨링된 라벨링 데이터가 부족한 상태에서 센서의 실측 데이터를 복수의 신경망 모델에 학습시켜 센서의 실측 데이터별로 오류 여부에 대한 결과와 오류 판정 이유에 대한 근거를 포함하는 시각화 정보를 제공하여 사용자가 이상이 발생한 센서를 객관적으로 명확하게 구분할 수 있도록 지원함과 아울러 이러한 시각화 정보를 통해 사용자 입력에 따라 센서의 오류 여부와 관련되어 신뢰성 있는 라벨링된 데이터의 수를 신속하게 증가시켜 이상 발생 센서의 검출을 위한 지도 학습 모델을 학습시키는데 필요한 라벨링 데이터를 신속하고 용이하게 확보할 수 있도록 지원함으로써, 해당 지도 학습 모델의 구축에 필요한 시간을 단축함과 아울러 라벨링 데이터의 지도 학습 모델에 대한 학습을 통해 센서 관리에 대한 편의성 및 신뢰도를 높이는데 그 목적이 있다.In the present invention, the sensor data is trained on a plurality of neural network models by learning the sensor's actual data on a plurality of neural network models in a state where there is insufficient labeling data for errors in the sensor data necessary for training the neural network-based map learning model for detecting anomalies of the sensor. By providing visualization information that includes the basis for the reason for error determination and the reason for error determination, the user can objectively and clearly distinguish the sensor with an error, and through this visualization information, the error of the sensor according to the user input Establishing the corresponding supervised learning model by rapidly and easily securing the labeling data required to train the supervised learning model for detecting anomalies by rapidly increasing the number of reliable labeled data related to whether or not The purpose is to increase the convenience and reliability of sensor management through learning the supervised learning model of labeling data as well as shortening the time required for this.

본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법은, 데이터 수집부가 센서로부터 실측 데이터를 수집하고, 수집된 실측 데이터 중 미리 설정된 조건에 따라 비정상 데이터를 필터링하여 제외하는 수집 단계와, 라벨링된 데이터의 개수가 미리 설정된 기준치 이하인 상태에서 신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하는 데이터 분석부가 상기 데이터 수집부에 의해 수집된 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성하여 제공하는 출력 단계 및 상기 데이터 분석부가 상기 시각화 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 라벨링 단계를 포함할 수 있다.A method of providing a service for detecting sensor anomalies using a neural network model according to an embodiment of the present invention is a data collection unit that collects actual data from a sensor and filters out abnormal data according to a preset condition among collected actual data to exclude The data analysis unit including the unsupervised learning model and a generation model composed of a neural network in a state where the number of labeled data is less than or equal to a preset reference value includes the unsupervised learning model and the generation model. , And check the error for each measured data through the deviation between the estimated data and the measured data provided by the generated model in which the sensor-like similar data pattern is generated through the unsupervised learning model and the sensor-related similar data pattern. And an output step of generating and providing possible visualization information and a labeling step of labeling the measured data according to error confirmation information through the user interface unit that displays the visualization information and receives user input by the data analysis unit. can do.

본 발명과 관련된 일 예로서, 상기 비지도 학습 모델은 LSTM이며, 상기 생성 모델은 GAN, AnoGAN 또는 VAE인 것을 특징으로 할 수 있다.As an example related to the present invention, the unsupervised learning model may be LSTM, and the generation model may be GAN, AnoGAN, or VAE.

본 발명과 관련된 일 예로서, 상기 수집 단계는 상기 데이터 수집부가 데이터 클러스터링을 통해 생성된 군집을 기준으로 비정상 데이터를 필터링하는 클러스터링 검사, 물리 한계 검사, 단계 검사, 지속성 검사 및 중앙값 필터 검사 중 적어도 하나를 통해 상기 센서로부터 수신되는 실측 데이터 중 비정상 데이터를 필터링하는 것을 특징으로 할 수 있다.As an example related to the present invention, the collecting step includes at least one of a clustering test, a physical limit test, a step test, a persistence test, and a median filter test, in which the data collection unit filters abnormal data based on clusters generated through data clustering. It may be characterized by filtering the abnormal data among the measured data received from the sensor.

본 발명과 관련된 일 예로서, 상기 수집 단계는 상기 데이터 수집부가 상기 비정상 데이터 관련 필터링 정보를 생성하여 제공하는 단계 및 상기 출력 단계는 상기 데이터 분석부가 상기 데이터 수집부로부터 제공되는 필터링 정보를 상기 시각화 정보에 포함시켜 제공하는 단계를 더 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, in the collecting step, the data collection unit generates and provides the abnormal data-related filtering information, and the output step includes the visualization information of the filtering information provided by the data analysis unit from the data collection unit. It may be characterized in that it further comprises the step of providing by including.

본 발명과 관련된 일 예로서, 상기 출력 단계는 상기 데이터 분석부가 상기 생성 모델에 상기 실측 데이터를 학습시켜 상기 센서의 데이터 패턴과 유사한 데이터 패턴을 생성하도록 하고, 상기 생성 모델을 통해 상기 추정 데이터에 대한 오류 판정을 수행하여 상기 오류 판정에 근거하여 상기 유사 데이터 패턴을 가변하면서 정상 상태의 센서에 대한 유사 데이터 패턴을 생성하도록 상기 생성 모델을 학습시키는 것을 특징으로 할 수 있다.As an example related to the present invention, the output step causes the data analysis unit to learn the measured data in the generation model to generate a data pattern similar to the data pattern of the sensor, and to generate the data for the estimated data through the generation model. It may be characterized in that the generation model is trained to generate a similar data pattern for a steady state sensor while varying the similar data pattern based on the error determination by performing an error determination.

본 발명과 관련된 일 예로서, 상기 라벨링 단계는 상기 데이터 수집부에 의해 수집되어 누적 저장된 실측 데이터를 대상으로 상기 데이터 분석부가 상기 오류 확인 정보를 기초로 오류로 확인된 실측 데이터를 오류 데이터로 라벨링하여 저장하고, 상기 오류 데이터 이외의 상기 실측 데이터를 정상 데이터로 라벨링하여 저장하는 단계를 더 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, in the labeling step, the data analysis unit labels the measured data identified as an error based on the error confirmation information as error data, based on the measured data accumulated and stored by the data collection unit as error data. The method may further include storing and labeling and storing the measured data other than the error data as normal data.

본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법은 신경망 모델인 지도 학습 모델이 구성된 지도 학습부가 상기 오류 데이터 및 정상 데이터 중 어느 하나로 라벨링된 실측 데이터를 포함하는 라벨링 데이터를 상기 지도 학습 모델을 통해 학습하여 상기 센서의 이상 여부에 대한 분석 정보를 제공하는 단계를 더 포함하는 것을 특징으로 할 수 있다.A method of providing a service for detecting sensor anomalies using a neural network model according to an embodiment of the present invention includes: labeling data including actual data labeled as any one of the error data and normal data by a supervised learning unit configured with a supervised learning model, which is a neural network model. It may be characterized in that it further comprises the step of providing analysis information on whether the sensor is abnormal by learning through the supervised learning model.

본 발명과 관련된 일 예로서, 상기 지도 학습부에 구성된 지도 학습 모델은 덴스넷(DenseNet)인 것을 특징으로 할 수 있다.As an example related to the present invention, the supervised learning model configured in the supervised learning unit may be characterized in that it is dense net.

본 발명의 실시예에 따른 서비스 제공 장치의 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법은, 서비스 제공 장치가 센서로부터 실측 데이터를 수집하고, 미리 설정된 조건에 따른 오류 데이터를 필터링하는 단계와, 라벨링된 데이터의 개수가 미리 설정된 기준치 이하인 상태에서 신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하는 서비스 제공 장치가 상기 데이터 수집부에 의해 수집된 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성하여 제공하는 단계 및 서비스 제공 장치가 상기 시각화 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 단계를 포함할 수 있다.A service providing method for detecting sensor abnormality using a neural network model of a service providing device according to an embodiment of the present invention includes: a service providing device collecting actual data from a sensor and filtering error data according to a preset condition; A service providing apparatus including an unsupervised learning model and a generation model composed of a neural network while the number of labeled data is less than or equal to a preset reference value, learns the actual data collected by the data collection unit in the unsupervised learning model and the generation model In addition, it is possible to check the errors for each measured data through the deviation between the measured data provided by the generated model in which the sensor-like and similar data patterns generated through the unsupervised learning model are generated, and the measured data provided by the unsupervised learning model. And generating and providing visualization information and labeling the measured data according to error confirmation information through the user interface unit that displays the visualization information and receives a user input by a service providing device.

본 발명의 실시예에 따른 컴퓨터로 읽을 수 있는 비휘발성 기록매체에는 상술한 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법을 수행하도록 컴퓨터를 기능시키기 위한 컴퓨터 프로그램이 기록될 수 있다.The computer-readable non-volatile recording medium according to an embodiment of the present invention may record a computer program for functioning a computer to perform a service providing method for sensor abnormality detection using the neural network model described above.

본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템은, 센서로부터 데이터를 수집하고, 미리 설정된 조건에 따라 오류 데이터를 필터링하는 데이터 수집부 및 신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하며, 라벨링된 데이터의 개수가 미리 설정된 기준치 이하인 상태에서 상기 데이터 수집부에 의해 수집된 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성하여 제공하고, 상기 시각화 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 데이터 분석부를 포함할 수 있다.A service providing system for sensor anomaly detection using a neural network model according to an embodiment of the present invention collects data from a sensor and filters an error data according to a preset condition, and an unsupervised learning model composed of a neural network and Including the generation model, the actual number of data collected by the data collection unit in the state that the number of labeled data is less than or equal to a preset reference value, trains the non-supervised learning model and the generated model, and is generated through the unsupervised learning model. Generates and provides visualization information capable of confirming errors per measured data through the deviation between the measured data and the estimated data provided by the generated model in which the sensor-like data pattern related to the sensor and the sensor-like data pattern are learned, and the visualization information It may include a data analysis unit for performing the labeling of the measured data according to the error confirmation information through the user interface unit for receiving a user input.

본 발명은 센서의 교체가 이루어지거나 센서의 최초 동작 시점부터 경과된 시간이 오래 되지 않아 센서로부터 제공된 실측 데이터에 대한 오류 여부가 라벨링된 라벨링 데이터가 충분히 수집되지 않은 상태여서 센서의 비정상 여부를 판정하기 위한 신경망 기반 지도 학습 모델을 학습시키 어려운 상황에서 센서에서 제공되는 실측 데이터에 대한 오류 여부를 사용자가 용이하게 판단할 수 있는 오류 근거가 포함된 시각화 정보를 제공하여 사용자의 오류 판정에 따른 센서의 실측 데이터에 대한 오류 여부 관련 라벨링을 통해 객관적 신뢰성이 있는 라벨링 데이터를 용이하고 신속하게 수집함으로써 지도 학습 모델의 센서 이상 여부 판단에 필요한 다수의 라벨링 데이터를 용이하고 신속하게 확보할 수 있도록 지원하고, 이를 통해 해당 라벨링 데이터를 기반으로 센서의 비정상 여부를 판단하는 지도 학습 모델을 학습시켜 지도 학습 모델의 비정상 센서에 대한 식별 정확도를 높일 수 있도록 지원함으로써 비정상 센서를 구분하기 위한 신경망 기반 지도 학습 모델을 신속하게 구축할 수 있도록 지원함과 아울러 이러한 지도 학습 모델을 통해 비정상 센서의 식별에 대한 편의성 및 정확도를 높일 수 있는 효과가 있다.The present invention determines whether an abnormality of the sensor is due to a state in which the labeling data labeled from the sensor has not been sufficiently collected because the sensor has been replaced or the error in the actual data provided from the sensor is not long since the time elapsed from the initial operation of the sensor. In a situation in which it is difficult to train a neural network-based map learning model for a sensor, measurement of the sensor according to the user's error determination is provided by providing visualization information including an error basis for the user to easily determine whether or not an error in the measured data provided by the sensor is possible. By easily and quickly collecting objective and reliable labeling data through labeling related to errors in data, it is possible to easily and quickly secure a large number of labeling data required to determine whether a sensor is abnormal in the supervised learning model. Rapidly build a neural network-based supervised learning model to classify anomalous sensors by training the supervised learning model that determines whether the sensor is abnormal based on the labeling data to help increase the accuracy of identification of the abnormal sensor in the supervised learning model In addition, it has the effect of increasing convenience and accuracy for the identification of abnormal sensors through this supervised learning model.

또한, 본 발명은 라벨링 데이터의 학습을 통해 센서의 이상 여부를 판정하는 지도 학습 모델의 판정 정확도를 일정 수준 이상으로 향상시키기 위해 필요한 라벨링 데이터의 개수를 수집하는데 요구되는 기간을 단축시켜 지도 학습 모델의 구축 기간을 크게 단축함과 아울러 사용자의 실측 데이터에 대한 오류 판정 과정에서 근거 자료를 통해 사용자가 오류 여부를 선택할 수 있도록 지원하여 사용자의 주관을 최대한 배제한 라벨링 데이터를 수집함으로써 라벨링 데이터를 기반으로 학습하여 센서의 이상 여부를 판단하는 신경망 기반 지도 학습 모델의 센서 관련 이상 여부 판단에 대한 정확도 및 신뢰도를 크게 향상시키는 효과가 있다.In addition, the present invention shortens the period required to collect the number of labeling data necessary to improve the accuracy of the determination of the supervised learning model that determines whether the sensor is abnormal through learning of the labeling data, and reduces the time required for the supervised learning model. In addition to greatly shortening the construction period, in the process of determining the error of the user's actual data, the user can select whether or not there is an error through the evidence, and collect labeling data that excludes the user's subject as much as possible to learn based on the labeling data. The neural network-based supervised learning model for determining whether a sensor is abnormal has an effect of greatly improving the accuracy and reliability of the sensor-related abnormality determination.

도 1은 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템의 상세 구성도.
도 3 및 도 4는 본 발명의 실시예에 따른 QC부의 데이터 필터링 과정을 도시한 예시도.
도 5는 본 발명의 실시예에 따른 데이터 분석부의 상세 구성도 및 상세 동작 실시예를 나타낸 도면.
도 6 및 도 7은 본 발명의 실시예에 따른 비지도 학습부의 동작 예시도.
도 8은 본 발명의 실시예에 따른 생성 모델 학습부의 동작 예시도.
도 9는 본 발명의 실시예에 따른 시각화 정보의 예시도.
도 10은 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법의 순서도.1 is a configuration diagram of a service providing system for detecting sensor anomalies using a neural network model according to an embodiment of the present invention.
2 is a detailed configuration diagram of a service providing system for detecting sensor anomalies using a neural network model according to an embodiment of the present invention.
3 and 4 are exemplary views illustrating a data filtering process of the QC unit according to an embodiment of the present invention.
5 is a view showing a detailed configuration diagram and a detailed operation example of a data analysis unit according to an embodiment of the present invention.
6 and 7 is an exemplary operation of the unsupervised learning unit according to an embodiment of the present invention.
8 is an exemplary view of an operation of a generation model learning unit according to an embodiment of the present invention.
9 is an exemplary view of visualization information according to an embodiment of the present invention.
10 is a flowchart of a method for providing a service for detecting sensor abnormality using a neural network model according to an embodiment of the present invention.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that the technical terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. In addition, technical terms used in the present invention should be interpreted as meanings generally understood by a person having ordinary knowledge in the technical field to which the present invention belongs, unless otherwise defined in the present invention. It should not be interpreted as a meaning or an excessively reduced meaning. In addition, when the technical term used in the present invention is a wrong technical term that does not accurately represent the spirit of the present invention, it should be understood as being replaced by a technical term that can be correctly understood by those skilled in the art. In addition, the general terms used in the present invention should be interpreted as defined in the dictionary or in context before and after, and should not be interpreted as an excessively reduced meaning.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.In addition, the singular expression used in the present invention includes a plural expression unless the context clearly indicates otherwise. In the present invention, terms such as “consisting of” or “comprising” should not be construed to include all of the various components or steps described in the present invention, and some of the components or some steps may not be included. It may be, or should be construed to further include additional components or steps.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.Further, terms including ordinal numbers such as first and second used in the present invention may be used to describe elements, but the elements should not be limited by terms. The terms are only used to distinguish one component from other components. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings, but the same or similar elements will be given the same reference numbers regardless of the reference numerals, and redundant descriptions thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, in the description of the present invention, when it is determined that detailed descriptions of related known technologies may obscure the subject matter of the present invention, detailed descriptions thereof will be omitted. In addition, it should be noted that the accompanying drawings are only for easy understanding of the spirit of the present invention and should not be interpreted as limiting the spirit of the present invention by the accompanying drawings.

도 1은 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템의 구성도로서, 도시된 바와 같이 데이터 수집부(100)와, 데이터 분석부(200) 및 사용자 인터페이스부(300)를 포함하여 구성될 수 있다.1 is a configuration diagram of a service providing system for sensor anomaly detection using a neural network model according to an embodiment of the present invention, as shown, a data collection unit 100, a data analysis unit 200 and a user interface unit ( 300).

이때, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템이 구현될 수도 있다.In this case, a service providing system for detecting sensor anomalies using a neural network model may be implemented by more components than the components illustrated in FIG. 1, and a service for detecting sensor anomalies using a neural network model may be provided with fewer components. The system may be implemented.

또한, 상기 데이터 수집부(100)와, 데이터 분석부(200) 및 사용자 인터페이스부(300) 각각은 개별 서버로 구성될 수도 있으며, 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300) 상호 간 통신망을 통해 연결되어 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템을 구성할 수도 있다.In addition, each of the data collection unit 100, the data analysis unit 200, and the user interface unit 300 may be configured as separate servers, and the data collection unit 100, the data analysis unit 200, and the user interface It is also possible to configure a service providing system for detecting sensor anomalies using a neural network model connected to each other through a communication network.

이때, 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.At this time, the communication network may include a wired/wireless communication network, and examples of such a wireless communication network include a wireless LAN (WLAN), a Digital Living Network Alliance (DLNA), a wireless broadband (Wibro), and a WiMAX (World Interoperability for). Microwave Access: Wimax), Global System for Mobile Communication (GSM), Code Division Multi Access (CDMA), Code Division Multi Access 2000 (CDMA2000), Enhanced Voice-Data Optimized or Enhanced Voice-Data Only (EV-DO), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), Broadband Wireless Mobile Mobile Broadband Service (WMBS), 5G mobile service, Bluetooth, LoRa (Long Range), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB) , ZigBee, Near Field Communication (NFC), Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct (Wi -Fi Direct). In addition, wired communication networks include wired local area network (LAN), wired wide area network (WAN), power line communication (PLC), USB communication, Ethernet, serial communication, and optical/coaxial Cables and the like may be included.

또한, 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템은 단일 서비스 제공 장치로 구성될 수 있으며, 해당 서비스 제공 장치에 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300)가 포함되어 구성될 수 있다.In addition, the service providing system for detecting sensor anomalies using a neural network model may be configured as a single service providing device, and a data collection unit 100, a data analysis unit 200, and a user interface unit 300 may be provided to the corresponding service providing device. It can be configured to be included.

한편, 데이터 수집부(100)는 하나 이상의 센서와 연결되어 하나 이상의 센서 각각으로부터 센서가 생성한 실측 데이터를 수신하여 수집할 수 있다.Meanwhile, the data collection unit 100 may be connected to one or more sensors to receive and collect measured data generated by the sensors from each of the one or more sensors.

이때, 데이터 수집부(100)는 통신망을 통해 센서와 연결되거나 통신 선로를 통해 센서와 연결될 수도 있다.At this time, the data collection unit 100 may be connected to a sensor through a communication network or a sensor through a communication line.

또한, 데이터 수집부(100)는 센서의 실측 데이터를 이용하여 정보를 제공하는 외부 장치와 통신망을 통해 연결되거나 유선 연결되어 해당 센서의 실측 데이터를 외부 장치로부터 수신할 수도 있음은 물론이다.In addition, the data collection unit 100 may be connected to an external device providing information using the sensor's actual measurement data through a communication network or wired to receive the sensor's actual measurement data from the external device.

또한, 데이터 수집부(100)는 하나 이상의 센서 각각으로부터 수신되는 실측 데이터를 수집하여 상기 데이터 분석부(200)로 제공할 수 있다.Also, the data collection unit 100 may collect the measured data received from each of the one or more sensors and provide it to the data analysis unit 200.

이때, 데이터 수집부(100)는 미리 설정된 하나 이상의 조건에 따라 비정상 데이터를 필터링할 수 있으며, 이를 통해 실측 데이터 중에서 센서가 배치되는 환경이나 데이터 전송 환경에서 발생하는 요인에 의해 발생하는 비정상 데이터를 필터링할 수 있다.At this time, the data collection unit 100 may filter abnormal data according to one or more preset conditions, thereby filtering abnormal data generated by factors occurring in an environment in which a sensor is disposed or a data transmission environment among actual data. can do.

한편, 데이터 분석부(200) 또는 데이터 수집부(100)는 DB(400)를 포함하여 구성될 수 있으며, 데이터 분석부(200)가 데이터 수집부(100)로부터 수신되는 실측 데이터를 해당 DB(400)에 누적 저장하거나 데이터 수집부(100)가 실측 데이터를 해당 DB(400)에 누적 저장할 수 있다.Meanwhile, the data analysis unit 200 or the data collection unit 100 may be configured to include the DB 400, and the data analysis unit 200 may measure actual data received from the data collection unit 100. 400) or the data collection unit 100 may accumulate and store the measured data in the corresponding DB 400.

이때, 데이터 분석부(200) 또는 데이터 수집부(100)는 비정상 데이터를 DB(400)에 저장하지 않을 수 있다.At this time, the data analysis unit 200 or the data collection unit 100 may not store abnormal data in the DB 400.

또한, 데이터 분석부(200)는 신경망 모델(딥러닝(Deep learning) 모델)인 비지도 학습 모델과 생성 모델을 포함하여 구성될 수 있다.Also, the data analysis unit 200 may include a non-supervised learning model and a generation model, which are neural network models (deep learning models).

이에 따라, 데이터 분석부(200)는 DB(400)에 누적 저장된 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 상기 데이터 수집부(100)로부터 수신된 센서의 실측 데이터를 비지도 학습 모델 및 생성 모델에 학습시킬 수 있으며, 상기 데이터 분석부(200)는 실측 데이터를 기반으로 센서(또는 실측 데이터)의 데이터 패턴이 학습된 비지도 학습 모델을 통해 상기 데이터 수집부(100)로부터 수신되는 실측 데이터별로 오류 여부를 출력할 수 있다.Accordingly, the data analysis unit 200 when the current number (or current summation capacity) of the accumulated data stored in the DB 400 is less than or equal to a preset first reference value, the measured data of the sensor received from the data collection unit 100 Can be trained on the unsupervised learning model and the generation model, and the data analysis unit 200 uses the data collection unit through the unsupervised learning model in which the data pattern of the sensor (or actual data) is learned based on the measured data. 100) It is possible to output whether or not there is an error for each measured data received from.

이때, 데이터 분석부(200)는 DB(400)에 누적 저장되는 실측 데이터에 대한 오류 여부를 라벨링한 라벨링 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 2 기준치 이하인 상태에서 비지도 학습 모델 및 생성 모델을 지속적으로 학습시켜 하기에서 설명하는 동작을 통해 라벨링 데이터의 수를 신속하게 증가시킬 수 있다.At this time, the data analysis unit 200 is an unsupervised learning model in a state in which the current number (or current summation capacity) of the labeling data labeling the error of the actual data accumulated and stored in the DB 400 is equal to or less than a preset second reference value. And by continuously training the generation model, the number of labeling data can be rapidly increased through the operations described below.

또한, 본 발명에서 설명하는 현재 개수는 누적 개수를 의미할 수 있으며, 현재 합산 용량은 누적 합산 용량을 의미할 수 있다.In addition, the current number described in the present invention may mean a cumulative number, and the current summation capacity may mean a cumulative summation capacity.

또한, 데이터 분석부(200)는 실측 데이터의 학습을 통해 실측 데이터의 데이터 패턴과 유사한 유사 데이터 패턴을 생성하는(또는 학습하는) 생성 모델을 통해 해당 유사 데이터 패턴을 기초로 현재 시점 이후에 출력될 것으로 예상되는 데이터에 대한 인공 데이터(가상 데이터)인 추정 데이터를 생성하여 출력할 수 있다.In addition, the data analysis unit 200 may be output after the current time point based on the similar data pattern through a generation model that generates (or learns) a similar data pattern similar to the data pattern of the actual data through learning of the actual data. Estimated data, which is artificial data (virtual data) for data expected to be generated, may be generated and output.

이때, 데이터 분석부(200)는 추정 데이터를 생성 모델에 학습시켜 추정 데이터 관련 시계열 데이터 패턴을 기초로 추정 데이터별 오류 여부가 해당 생성 모델을 통해 판정되도록 하고, 해당 생성 모델에서 출력하는 추정 데이터별 오류 여부가 다시 생성 모델에 학습되도록 할 수 있다.At this time, the data analysis unit 200 trains the estimation data in the generation model so that the error of each estimation data is determined through the generation model based on the time series data pattern related to the estimation data, and the estimation data output from the generation model Whether or not there is an error can be learned in the generation model again.

이를 통해, 데이터 분석부(200)는 생성 모델에 생성된(학습된) 유사 데이터 패턴을 추정 데이터별 오류 여부에 따라 가변시키면서 유사 데이터 패턴에 의해 산출되는 추정 데이터와 정상 상태인 센서의 데이터 패턴에 따른 실측 데이터 사이의 편차를 감소시킬 수 있으며, 이를 통해 생성 모델을 통해 정상 상태의 센서에서 출력되는 실측 데이터의 시계열 변화와 추정 데이터의 시계열 변화 사이의 편차를 낮추어 정상 상태인 센서의 실측 데이터에 근접한 추정 데이터가 생성 모델을 통해 지속적으로 산출되도록 할 수 있다.Through this, the data analysis unit 200 changes the similar data pattern generated (learned) in the generation model according to whether there is an error for each estimated data, and the estimated data calculated by the similar data pattern and the data pattern of the normal sensor. It is possible to reduce the deviation between the measured data according to this, and through this, the variation between the time series change of the measured data output from the sensor in the steady state and the time series change of the estimated data is reduced through the generation model to approximate the measured data of the steady state sensor. The estimated data can be continuously generated through the generation model.

즉, 데이터 분석부(200)는 상기 생성 모델에 상기 실측 데이터를 학습시켜 상기 센서의 데이터 패턴과 유사한 데이터 패턴을 생성하도록 하고, 상기 생성 모델을 통해 상기 추정 데이터에 대한 오류 판정을 수행하여 상기 오류 판정에 근거하여 상기 유사 데이터 패턴을 가변하면서 정상 상태의 센서에 대한 유사 데이터 패턴을 생성하도록 상기 생성 모델을 학습시킬 수 있다.That is, the data analysis unit 200 learns the actual data in the generation model to generate a data pattern similar to the data pattern of the sensor, and performs an error determination on the estimated data through the generation model to perform the error. The generation model may be trained to generate a similar data pattern for a steady state sensor while varying the similar data pattern based on the determination.

한편, 데이터 분석부(200)는 비지도 학습 모델을 통해 센서의 실측 데이터별 오류 여부를 생성하고, 생성 모델을 통해 출력되는 추정 데이터별로 동일 시점의 실측 데이터와의 편차를 포함하는 비교 정보를 생성할 수 있다.On the other hand, the data analysis unit 200 generates an error for each measurement data of the sensor through an unsupervised learning model, and generates comparison information including deviation from the measurement data at the same time for each estimated data output through the generation model. can do.

또한, 데이터 분석부(200)는 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차와 상기 실측 데이터별 오류 여부를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성할 수 있다.In addition, the data analysis unit 200 is a visualization information capable of confirming the error for each measured data through the deviation between the measured data and the measured data provided by the generated model in which the sensor-related similar data pattern is learned, and whether or not the measured data is in error. Can generate

이때, 시각화 정보는 상기 데이터 분석부(200)에 의해 생성되는 상기 실측 데이터별 오류 여부에 대한 결과 정보와 상기 비교 정보를 포함할 수 있으며, 해당 비교 정보는 시간별 추정 데이터와, 시간별 추정 데이터와 상호 매칭되는 시간별 실측 데이터 및 추정 데이터별로 동일 시점의 실측 데이터와의 편차 등을 포함할 수 있다.At this time, the visualization information may include result information on whether or not the actual data is generated by the data analysis unit 200 and the comparison information, and the comparison information is mutually correlated with the hourly estimated data and the hourly estimated data. It may include a deviation from the measured data at the same time point for each measured data and estimated data for each time matched.

또한, 시각화 정보는 그래픽 정보로 구성될 수 있다.Further, the visualization information may be composed of graphic information.

즉, 데이터 분석부(200)는 비지도 학습 모델을 통해 실측 데이터의 시계열적 데이터 패턴과 미리 설정된 기준치 이상의 오차를 나타내는지에 따라 실측 데이터에 대한 오류 여부를 판단하여 데이터 수집부(100)에 의해 수집된 실측 데이터별 오류 여부를 사용자에게 시각화 정보를 통해 제공함과 아울러 생성 모델을 통해 해당 실측 데이터의 데이터 패턴과 유사 데이터 패턴을 학습하면서 정상 센서의 데이터 변화에 따른 추후 예상되는 시계열 추정 데이터를 출력하여 시점별로 실측 데이터와 이러한 생성 모델을 통해 출력되는 추정 데이터 사이의 편차 정도를 사용자가 확인할 수 있도록 해당 시각화 정보를 통해 제공할 수 있다.That is, the data analysis unit 200 determines whether or not the error is related to the measured data according to a time series data pattern of the measured data and an error of a predetermined reference value or more through the unsupervised learning model and collects it by the data collection unit 100 While providing the user with the error information for each measured data through visualization information, learning the data pattern and similar data pattern of the measured data through the generation model, and outputting the expected time series estimation data according to the data change of the normal sensor to output the viewpoint For each user, the degree of deviation between the measured data and the estimated data output through the generated model can be provided through the corresponding visualization information.

다시 말해, 데이터 분석부(200)는 센서의 실측 데이터별로 오류 여부를 사용자가 판정할 수 있도록 시각화 정보를 제공할 수 있다.In other words, the data analysis unit 200 may provide visualization information so that a user can determine whether there is an error for each sensor data.

상술한 구성에서, 데이터 분석부(200)는 DB(400)에 누적 저장된 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 실측 데이터를 비지도 학습 모델과 생성 모델에 학습시킬 수 있으며, 상기 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우 상기 시각화 정보를 생성할 수 있다.In the above-described configuration, the data analysis unit 200 learns the actual data in the unsupervised learning model and the generation model when the current number (or current total capacity) of the accumulated data stored in the DB 400 is equal to or less than a preset first reference value. The visualization information may be generated when the current number (or current summation capacity) of all the measured data exceeds a preset first reference value.

이를 통해, 데이터 분석부(200)는 실측 데이터의 학습이 일정 수준 이상 이루어져 비지도 학습 모델과 생성 모델에 대해 일정 수준 이상의 정확도를 기대할 수 있을 만큼의 실측 데이터가 DB(400)에 수집된 경우에 시각화 정보를 제공할 수 있다.Through this, the data analysis unit 200 when the actual data is learned at a certain level or more, and when the actual data is collected in the DB 400 to be able to expect more than a certain level of accuracy for the unsupervised learning model and the generation model. It can provide visualization information.

이때, 데이터 분석부(200)는 실측 데이터의 수집 개수(수집량)에 관계 없이 시각화 정보를 생성하여 제공할 수도 있음은 물론이다.In this case, of course, the data analysis unit 200 may generate and provide visualization information irrespective of the number (collection amount) of actual data collected.

한편, 사용자 인터페이스부(300)는 데이터 분석부(200)로부터 제공되는 시각화 정보를 표시할 수 있으며, 사용자 입력을 기초로 시각화 정보에 포함된 실측 데이터들 중에서 사용자에 의해 오류로 판정된 실측 데이터인 오류 데이터 관련 오류 확인 정보를 생성하여 데이터 분석부(200)에 제공할 수 있다.Meanwhile, the user interface unit 300 may display visualization information provided from the data analysis unit 200, which is actual data determined as an error among users among actual data included in the visualization information based on user input. Error checking information related to error data may be generated and provided to the data analysis unit 200.

이때, 오류 확인 정보에는 오류로 판정된 실측 데이터가 하나 이상 포함될 수 있다.At this time, the error confirmation information may include one or more actual data determined as errors.

이에 따라, 데이터 분석부(200)는 오류 확인 정보를 기초로 오류 데이터에 대응되는 DB(400)에 저장된 실측 데이터를 오류 데이터로 라벨링하여 라벨링 데이터를 생성할 수 있으며, 해당 라벨링 데이터를 DB(400)에 저장할 수 있다.Accordingly, the data analysis unit 200 may label the actual data stored in the DB 400 corresponding to the error data as error data based on the error confirmation information to generate labeling data, and the corresponding labeling data may be generated in the DB 400 ).

이때, 데이터 분석부(200)는 실측 데이터에 오류 확인 정보에 따른 오류 여부에 대한 라벨링 관련 라벨링 정보를 포함시켜 라벨링 정보를 포함하는 실측 데이터를 라벨링 데이터로 DB(400)에 저장하거나, 오류 확인 정보를 기초로 특정 실측 데이터의 오류 여부를 라벨링하기 위한 라벨링 식별 데이터를 해당 특정 실측 데이터와 별도로 생성한 후 상기 특정 실측 데이터와 매칭하여 한 쌍으로 DB(400)에 저장할 수도 있다.At this time, the data analysis unit 200 stores the actual data including the labeling information in the DB 400 as labeling data by including labeling-related labeling information on whether the error is based on the error confirmation information in the actual data, or the error confirmation information Labeling identification data for labeling whether or not a specific measurement data is error based may be generated separately from the specific measurement data, and then matched with the specific measurement data and stored in a pair in the DB 400.

여기서, 라벨링 데이터는 상기 라벨링 식별 데이터와 매칭되는 특정 실측 데이터 및 해당 라벨링 식별 데이터를 포함할 수 있다.Here, the labeling data may include specific measurement data matching the labeling identification data and corresponding labeling identification data.

또한, DB(400)에 저장되는 라벨링 데이터는 특정 실측 데이터의 라벨링(오류 데이터 또는 정상 데이터) 관련 라벨링 정보와, 해당 특정 실측 데이터를 포함하여 구성될 수 있다.In addition, the labeling data stored in the DB 400 may be configured to include labeling information related to labeling (error data or normal data) of specific measurement data and specific measurement data.

또한, 상기 데이터 수집부(100)에 의해 수집되어 DB(400)에 누적 저장된 실측 데이터를 대상으로 상기 데이터 분석부(200)는 상기 오류 확인 정보를 기초로 오류로 확인된 실측 데이터를 오류 데이터로 라벨링하여 저장하고, 상기 오류 데이터 이외의 상기 실측 데이터를 정상 데이터로 라벨링하여 저장할 수 있다.In addition, the data analysis unit 200 targets the actual data collected by the data collection unit 100 and stored in the DB 400, and the data analysis unit 200 converts the actual data identified as an error into error data based on the error confirmation information. It can be stored by labeling, and the measured data other than the error data can be labeled and stored as normal data.

일례로, 데이터 분석부(200)는 DB(400)에 누적 저장된 하나 이상의 실측 데이터를 대상으로 확인하여 오류 확인 정보에 따른 오류 데이터에 대응되는 실측 데이터의 생성 시점을 기준으로 이전에 생성(수집)되고 라벨링되지 않은 실측 데이터가 DB(400)에 존재하는 경우 오류 데이터인 실측 데이터의 생성 시점을 기준으로 이전에 생성된(수집된) 라벨링되지 않은 실측 데이터를 대상으로 사용자에 의해 오류로 판정되지 않은 실측 데이터를 자동으로 정상 데이터로 라벨링하여 라벨링 데이터를 생성한 후 DB(400)에 저장할 수 있으며, 이를 통해 정상인 실측 데이터에 대한 자동 라벨링을 수행할 수 있다.As an example, the data analysis unit 200 checks one or more actual data accumulated in the DB 400 as a target, and previously generates (collects) it based on the generation time of the actual data corresponding to the error data according to the error confirmation information. If the unlabeled measured data exists in the DB 400, it is not determined as an error by the user for unlabeled measured data previously generated (collected) based on the generation time of the measured data, which is error data. After labeling the actual data as normal data, the labeling data can be generated and stored in the DB 400, thereby enabling automatic labeling of normal actual data.

한편, 본 발명에서 설명하는 신경망 모델(또는 신경망)은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성된 딥러닝(Deep Learning) 알고리즘으로 구성될 수 있으며, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), SVM(Support Vector Machine) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.Meanwhile, the neural network model (or neural network) described in the present invention may be composed of a deep learning algorithm composed of an input layer, one or more hidden layers, and an output layer. Various types of neural networks such as Deep Neural Network (DNN), Recurrent Neural Network (RNN), Convolutional Neural Network (CNN), and Support Vector Machine (SVM) may be applied to the neural network model.

상술한 구성을 통해, 본 발명은 센서의 교체가 이루어지거나 센서의 최초 동작 시점부터 경과된 시간이 오래 되지 않아 센서로부터 제공된 실측 데이터에 대한 오류 여부가 라벨링된 라벨링 데이터가 충분히 수집되지 않은 상태여서 센서의 비정상 여부를 판정하기 위한 신경망 기반 지도 학습 모델을 학습시키 어려운 상황에서 센서에서 제공되는 실측 데이터에 대한 오류 여부를 사용자가 용이하게 판단할 수 있는 오류 근거가 포함된 시각화 정보를 제공하여 사용자의 오류 판정에 따른 센서의 실측 데이터에 대한 오류 여부 관련 라벨링을 통해 객관적 신뢰성이 있는 라벨링 데이터를 용이하고 신속하게 수집함으로써 지도 학습 모델의 센서 이상 여부 판단에 필요한 다수의 라벨링 데이터를 확보할 수 있도록 지원하고, 이를 통해 해당 라벨링 데이터를 기반으로 센서의 비정상 여부를 판단하는 지도 학습 모델을 학습시켜 지도 학습 모델의 비정상 센서에 대한 식별 정확도를 높일 수 있도록 지원함으로써 비정상 센서를 구분하기 위한 신경망 기반 지도 학습 모델을 신속하게 구축할 수 있도록 지원함과 아울러 이러한 지도 학습 모델을 통해 비정상 센서의 식별에 대한 편의성 및 정확도를 높일 수 있다.Through the above-described configuration, the present invention is a sensor in which the labeling data labeled whether the error of the actual data provided from the sensor is not sufficiently collected because the sensor is replaced or the elapsed time from the initial operation time of the sensor is not long In a situation in which it is difficult to train a neural network-based supervised learning model for determining the abnormality of a user, the user's error is provided by providing visualization information including an error basis that allows the user to easily determine whether there is an error in the measured data provided from the sensor Supports to secure a large number of labeling data necessary to determine whether the sensor is abnormal in the supervised learning model by easily and quickly collecting objective and reliable labeling data through labeling related to whether or not the sensor's actual data is determined according to the determination. Through this, we train the supervised learning model that determines whether the sensor is abnormal based on the corresponding labeling data, thereby increasing the accuracy of identification of the abnormal sensor in the supervised learning model. In addition, it is possible to increase the convenience and accuracy for the identification of abnormal sensors through this supervised learning model.

상술한 구성을 토대로 이하 도면을 참고하여 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템의 상세 동작 실시예를 설명한다.Based on the above-described configuration, a detailed operation embodiment of a service providing system for sensor anomaly detection using a neural network model according to an embodiment of the present invention will be described with reference to the drawings.

도 2는 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템의 상세 구성도이다.2 is a detailed configuration diagram of a service providing system for sensor anomaly detection using a neural network model according to an embodiment of the present invention.

이때, 상술한 바와 같이 본 발명의 실시예에 따른 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300)가 포함된 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템은 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300) 각각이 개별 서버로 구성되거나 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300)가 포함된 하나의 서비스 제공 장치로 구성될 수 있다.At this time, as described above, the service providing system for detecting sensor anomalies using a neural network model including a data collection unit 100, a data analysis unit 200, and a user interface unit 300 according to an embodiment of the present invention includes data Each of the collection unit 100, the data analysis unit 200, and the user interface unit 300 is composed of individual servers, or the data collection unit 100, the data analysis unit 200, and the user interface unit 300 are included. It can be configured as a service providing device.

한편, 데이터 수집부(100)는 도시된 바와 같이 QC(Quality control)부(110)와, 클러스터링(Clustering)부(120)를 포함하여 구성될 수 있다.Meanwhile, the data collection unit 100 may include a quality control (QC) unit 110 and a clustering unit 120 as illustrated.

데이터 수집부(100)는 복수의 센서로부터 데이터를 수집하여 QC부(110) 및 클러스터링부(120)로 제공할 수 있다.The data collection unit 100 may collect data from a plurality of sensors and provide it to the QC unit 110 and the clustering unit 120.

QC부(110)는 센서로부터 수신되는 데이터의 품질을 판단하기 위한 하나 이상의 조건이 미리 설정되며, 해당 조건을 만족하지 않는 데이터를 비정상 데이터로 판단하여 데이터 분석부(200)로 제공하지 않고 필터링하여 제외시킬 수 있다.The QC unit 110 pre-sets one or more conditions for determining the quality of data received from the sensor, and determines data that does not satisfy the conditions as abnormal data and filters it without providing it to the data analysis unit 200 Can be excluded.

또한, 데이터 수집부(100)는 QC부(110)에 의해 제외된 비정상 데이터인 실측 데이터를 DB(400)에 저장하지 않을 수 있다.Also, the data collection unit 100 may not store the measured data, which is abnormal data excluded by the QC unit 110, in the DB 400.

이때, QC부(110)는 물리한계 검사, 단계 검사, 지속성 검사 및 중앙값 필터 검사 중 적어도 하나를 포함하는 조건이 미리 설정될 수 있다.At this time, the QC unit 110 may be pre-set conditions including at least one of a physical limit check, a step check, a continuity check and a median filter check.

도 3 및 도 4를 통해 상기 QC부(110)의 데이터 필터링 과정을 설명하면, 우선 물리 한계 검사는 센서가 허용할 수 있는 관측값의 범위에 대한 오류 여부를 검사하는 알고리즘으로서, QC부(110)는 해당 알고리즘을 통해 실측 데이터가 미리 지정된 물리한계 범위 내에 있으면 "정상", 그 범위를 벗어나면 "비정상"으로 판정하여 "비정상"으로 판정된 실측 데이터를 필터링하여 제외시킬 수 있다.When the data filtering process of the QC unit 110 is described with reference to FIGS. 3 and 4, first, the physical limit test is an algorithm that checks whether an error is in the range of observation values that the sensor can accept, and the QC unit 110 ) May filter and exclude measured data determined as "abnormal" by determining "normal" if the measured data is within a predetermined physical limit range through the corresponding algorithm, and "abnormal" when outside the range.

또한, 단계 검사는 시계열 데이터의 시간변동량을 점검하는 검사로서, QC부(110)는 현재의 실측 데이터와 바로 이전의 실측 데이터 사이의 변동값이 미리 정한 문턱값(즉, 최대변동량)보다 크면 "비정상", 작으면 "정상"으로 판정하여 "비정상"으로 판정된 실측 데이터를 필터링하여 제외시킬 수 있다. 이때, QC부(110)는 문턱값으로 사용되는 값을 센서의 과거 실측 데이터 대한 통계분석을 통하여 산출할 수 있다.In addition, the step check is a check for checking the amount of time variation of the time series data, and the QC unit 110 is larger than a predetermined threshold (ie, the maximum amount of change) between the current measured data and the previous measured data. If it is abnormal, if it is small, it can be determined as "normal" and the measured data determined as "abnormal" can be filtered out. At this time, the QC unit 110 may calculate a value used as a threshold value through statistical analysis of the past measured data of the sensor.

또한, 지속성 검사는 풍향계가 얼거나 강우량계의 수구 막힘 등과 같이 센서의 장애가 발생하여 변화가 없는 실측 데이터를 필터링하기 위한 검사로서, QC부(110)는 센서로부터 수신되는 실측 데이터를 기초로 미리 설정된 시간 동안에 변동값을 검출하고, 변동값이 미리 설정된 최소변동량보다 작으면 "비정상", 최소변동량보다 크면 "정상"으로 판정하여 "비정상"으로 판정된 실측 데이터를 필터링하여 제외시킬 수 있다. 이때, QC부(110)는 지속성 검사에 필요한 최소변동량을 센서의 과거 관측자료 관련 과거 실측 데이터에 대한 통계분석을 통해 산출할 수 있다.In addition, the continuity test is a test for filtering actual data that does not change due to a sensor failure, such as freezing of the wind vane or clogging of the rain gauge, and the QC unit 110 is preset based on the actual data received from the sensor. It is possible to detect the fluctuation value during the time, and if the fluctuation value is smaller than the preset minimum fluctuation amount, it is determined to be "normal" if the fluctuation value is larger than the minimum fluctuation amount, and the actual data determined as "abnormal" may be filtered out. At this time, the QC unit 110 may calculate the minimum amount of change required for the continuity test through statistical analysis of historical observation data related to the past observation data of the sensor.

또한, 중앙값 필터 검사는 관측값(실측 데이터)의 변동이 짧은 시간 동안 매우 급격하게 일어나는 경우와 같은 임펄스 잡음에 해당하는 실측 데이터를 필터링 하기 위한 검사로서, 예를 들면, 레이더나 수직측풍장비의 경우, 바람의 시선속도값을 측정할 때 지형에코와 같은 요인에 의하여 비정상적인 값들이 산출되기도 하며 이를 필터링하기 위한 검사이다. 즉, QC부(110)는 중앙값 필터 검사를 통해 실측 데이터의 변동량을 파악하고, 해당 변동량의 짧은 시간 동안 미리 설정된 기준값 이상인 경우 해당 변동량 산출에 이용된 복수의 실측 데이터를 임펄스 잡음으로 판단하고, 임펄스 잡음으로 판단된 해당 복수의 실측 데이터를 비정상 데이터로 필터링하여 제외시킬 수 있다.In addition, the median filter test is a test for filtering actual data corresponding to impulse noise, such as when the observed value (actual data) fluctuates very quickly for a short period of time. For example, in the case of radar or vertical wind equipment When measuring the line speed of wind, abnormal values may be calculated due to factors such as topographical echo. That is, the QC unit 110 grasps the amount of change in the measured data through the median filter inspection, and if the amount of change is greater than or equal to a preset reference value for a short period of time, judges a plurality of measured data used for calculating the amount of change as impulse noise, The plurality of measured data determined as noise may be filtered out as abnormal data.

한편, 클러스터링부(120)는 미리 설정된 조건에 따라 데이터 수집부(100)를 통해 수집된 센서의 실측 데이터를 클러스터링하여 군집 분석을 통해 군집과 미리 설정된 기준거리 이상 이격되어 있는 데이터를 비정상 데이터로 필터링하여 제외시킬 수 있다.On the other hand, the clustering unit 120 clusters the measured data of the sensor collected through the data collection unit 100 according to a preset condition and filters the data spaced apart from the cluster and a predetermined reference distance or more through the cluster analysis as abnormal data. Can be excluded.

상술한 구성을 통해, 데이터 수집부(100)는 복수의 센서로부터 수신되는 실측 데이터들 중에서 미리 설정된 하나 이상의 조건에 따라 비정상 데이터를 필터링하여 데이터 분석부(200)에 제공할 수 있다.Through the above-described configuration, the data collection unit 100 may filter abnormal data according to one or more preset conditions among actual data received from a plurality of sensors and provide it to the data analysis unit 200.

데이터 분석부(200)는 도 2에 도시된 바와 같이, 비지도 학습부(210) 및 생성 모델 학습부(220)를 포함하여 구성될 수 있다.As illustrated in FIG. 2, the data analysis unit 200 may include an unsupervised learning unit 210 and a generation model learning unit 220.

데이터 분석부(200)는 실측 데이터에 대한 오류 여부를 라벨링하여 생성되는 DB(400)에 누적 저장된 라벨링 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 2 기준치 이하인 상태에서 데이터 수집부(100)로부터 센서의 실측 데이터를 수신하며, 해당 센서의 실측 데이터를 비지도 학습부(210) 및 생성 모델 학습부(220)에 제공할 수 있다.The data analysis unit 200 is a data collection unit 100 in a state in which the current number (or current summation capacity) of the labeling data accumulated and stored in the DB 400 generated by labeling whether or not the actual data is in error is below a preset second reference value ) To receive the sensor's actual measurement data, and provide the sensor's actual measurement data to the unsupervised learning unit 210 and the generation model learning unit 220.

비지도 학습부(210)는 신경망 모델인 비지도 학습 모델을 포함하여 구성되며, 비지도 학습부(210)는 센서의 실측 데이터를 비지도 학습 모델에 학습시켜 센서의 시계열 데이터 패턴이 학습되도록 할 수 있다.The unsupervised learning unit 210 includes a non-supervised learning model, which is a neural network model, and the unsupervised learning unit 210 trains actual data of the sensor into the unsupervised learning model so that the time series data pattern of the sensor is learned. Can.

또한, 비지도 학습부(210)는 센서의 시계열 데이터 패턴이 학습된 비지도 학습 모델을 통해 센서의 실측 데이터별로 오류 여부를 출력할 수 있다.In addition, the unsupervised learning unit 210 may output an error for each measured data of the sensor through the unsupervised learning model in which the time series data pattern of the sensor has been learned.

일례로, 비지도 학습부(210)는 시계열 데이터 패턴이 학습된 비지도 학습 모델을 통해 데이터 패턴의 시계열 범위와 실측 데이터 사이의 차이(편차)에 따라 실측 데이터별 오류 여부에 대한 결과 정보를 출력할 수 있다.For example, the unsupervised learning unit 210 outputs result information on whether or not each data is error based on a difference (deviation) between the time series range of the data pattern and the measured data through the unsupervised learning model in which the time series data pattern has been learned. can do.

또한, 생성 모델 학습부(220)는 신경망 모델인 생성 모델을 포함하여 구성될 수 있으며, 생성 모델 학습부(220)는 센서의 실측 데이터를 생성 모델에 학습시켜 센서의 시계열 데이터 패턴과 유사한 유사 데이터 패턴이 생성되도록 학습시킬 수 있다.In addition, the generation model learning unit 220 may include a generation model that is a neural network model, and the generation model learning unit 220 learns actual data of the sensor into the generation model to similar data similar to the time series data pattern of the sensor. Patterns can be trained to be generated.

이를 통해, 생성 모델 학습부(220)는 센서의 시계열 데이터 패턴과 유사한 유사 데이터 패턴이 생성된(학습된) 생성 모델을 통해 현재 시점을 기준으로 다음 시점의 실측 데이터에 대응되며 센서의 데이터 패턴과 유사한 유사 데이터 패턴에 기반하여 다음 시점에 예상되는 데이터인 추정 데이터를 생성하여 출력할 수 있다.Through this, the generation model learning unit 220 corresponds to actual data of the next time point based on the current time point through the generation model in which a similar data pattern similar to the time series data pattern of the sensor is generated (learned), and the data pattern of the sensor Based on similar similar data patterns, it is possible to generate and output estimated data, which is data expected at the next time point.

상술한 구성에 따라, 데이터 분석부(200)는 비지도 학습부(210)를 통해 제공되는 실측 데이터별 오류 여부를 포함하고, 생성 모델을 통해 제공되는 시계열 추정 데이터를 동일시점의 실측 데이터와 비교한 비교 정보를 포함하는 시각화 정보를 센서에 대응되어 생성할 수 있으며, 해당 시각화 정보를 사용자 인터페이스부(300)에 제공할 수 있다.According to the above-described configuration, the data analysis unit 200 includes whether there is an error for each actual data provided through the unsupervised learning unit 210 and compares the time series estimation data provided through the generation model with the actual data at the same time. Visualization information including one comparison information may be generated corresponding to the sensor, and the corresponding visualization information may be provided to the user interface unit 300.

또한, 사용자 인터페이스부(300)는 디스플레이부(310)와, 인터페이스 제어부(320) 및 입력부(330)를 포함하여 구성될 수 있다.Also, the user interface unit 300 may include a display unit 310, an interface control unit 320, and an input unit 330.

사용자 인터페이스부(300)에 구성된 인터페이스 제어부(320)는 디스플레이부(310)와 입력부(330)를 제어하도록 구성되며, 사용자 인터페이스부(300)는 사용자 단말로서 구성될 수도 있다.The interface control unit 320 configured in the user interface unit 300 is configured to control the display unit 310 and the input unit 330, and the user interface unit 300 may be configured as a user terminal.

이때, 사용자 인터페이스부(300)는 데이터 분석부(200)와 통신하거나 상호 인터페이스하기 위한 통신부가 구성될 수 있으며, 해당 통신부를 통해 사용자 인터페이스부(300)의 인터페이스 제어부(320)가 데이터 분석부(200)와 상호 통신할 수 있다.At this time, the user interface unit 300 may be configured to communicate with each other or to interface with the data analysis unit 200, the interface control unit 320 of the user interface unit 300 through the communication unit data analysis unit ( 200).

또한, 사용자 단말은 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, 텔레비전(Television), 3D 텔레비전, 홈 시어터(Home Theater) 시스템, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal) 등과 같은 다양한 단말기를 포함할 수 있다.In addition, the user terminal includes a smart phone, a portable terminal, a mobile terminal, a personal digital assistant (PDA), a portable multimedia player (PMP) terminal, and a telematics terminal. , Navigation terminal, personal computer, notebook computer, slate PC, tablet PC, ultrabook, wearable device (e.g., watch type terminal) (Including Smartwatch), Glass Type Terminal (Smart Glass), Head Mounted Display (HMD), etc., Wibro Terminal, IPTV (Internet Protocol Television) Terminal, Smart TV, Digital Broadcasting Terminal, Television, 3D Television , Home theater system, AVN (Audio Video Navigation) terminal, A/V (Audio/Video) system, and flexible terminal.

한편, 사용자 인터페이스부(300)의 인터페이스 제어부(320)는 데이터 분석부(200)로부터 시각화 정보를 수신하여 디스플레이부(310)를 통해 표시할 수 있다.Meanwhile, the interface control unit 320 of the user interface unit 300 may receive visualization information from the data analysis unit 200 and display it through the display unit 310.

또한, 인터페이스 제어부(320)는 사용자 입력을 수신하며 사용자 인터페이스부(300)에 구성된 입력부(330)를 통한 사용자 입력을 기초로 디스플레이부(310)에 표시된 시각화 정보에 포함되는 하나 이상의 실측 데이터 중 오류가 발생한 데이터를 오류 데이터로 선택한 오류 확인 정보를 생성할 수 있다.In addition, the interface control unit 320 receives a user input and errors among one or more actual data included in visualization information displayed on the display unit 310 based on user input through the input unit 330 configured in the user interface unit 300 It is possible to generate error confirmation information that selects the generated data as error data.

이때, 오류 확인 정보에는 오류가 발생한 오류 데이터로 사용자에 의해 선택된 하나 이상의 실측 데이터가 포함될 수 있다.At this time, the error confirmation information may include one or more actual data selected by the user as error data in which an error has occurred.

또한, 인터페이스 제어부(320)는 사용자 인터페이스부(300)를 통해 오류 확인 정보를 데이터 분석부(200)에 제공할 수 있다.In addition, the interface control unit 320 may provide error checking information to the data analysis unit 200 through the user interface unit 300.

이에 따라, 데이터 분석부(200)는 사용자 인터페이스부(300)로부터 수신되는 오류 확인 정보를 기초로 센서로부터 수집되어 DB(400)에 저장된 실측 데이터별로 라벨링을 수행하여 DB(400)에 저장할 수 있다.Accordingly, the data analysis unit 200 may be stored in the DB 400 by labeling the measured data collected from the sensor based on the error confirmation information received from the user interface unit 300 and stored in the DB 400. .

일례로, 데이터 분석부(200)는 오류 확인 정보를 기초로 오류 데이터에 대응되는 실측 데이터를 오류 데이터로 라벨링하여 라벨링 데이터를 생성할 수 있으며, 해당 라벨링 데이터를 DB(400)에 저장할 수 있다.As an example, the data analysis unit 200 may label the actual data corresponding to the error data as error data based on the error confirmation information to generate labeling data, and store the labeling data in the DB 400.

또한, 데이터 분석부(200)는 DB(400)에 누적 저장된 하나 이상의 실측 데이터를 대상으로 확인하여 오류 확인 정보에 따른 오류 데이터에 대응되는 실측 데이터의 생성 시점을 기준으로 이전에 생성(수집)되고 라벨링되지 않은 실측 데이터가 DB(400)에 존재하는 경우 오류 데이터인 실측 데이터의 생성 시점을 기준으로 이전에 생성된(수집된) 라벨링되지 않은 실측 데이터를 대상으로 사용자에 의해 오류로 판정되지 않은 실측 데이터를 자동으로 정상 데이터로 라벨링하여 라벨링 데이터를 생성한 후 DB(400)에 저장할 수 있으며, 이를 통해 정상인 실측 데이터에 대한 자동 라벨링을 수행할 수 있다.In addition, the data analysis unit 200 is previously generated (collected) based on the generation time of the actual data corresponding to the error data according to the error confirmation information by checking one or more of the actual data stored in the DB 400 accumulatively When unlabeled measured data exists in the DB 400, the unlabeled measured data previously generated (collected) based on the generation time of the measured data, which is error data, is not determined by the user as an error. Data can be automatically labeled as normal data to generate labeling data, and then stored in the DB 400. Through this, automatic labeling of normal measured data can be performed.

상술한 구성을 통해, 본 발명은 센서가 교체되거나 센서 운영 기간이 충분치 않아(오래 되지 않아) 센서의 이상 여부를 신경망 기반 지도 학습 모델을 통해 판단하도록 하기 위해 지도 학습 모델에 학습시키기 위한 오류 여부가 라벨링된 센서의 데이터가 부족한 상태에서 센서로부터 수신되는 실측 데이터를 별도의 복수 신경망에 학습시켜 센서의 데이터 패턴에 기반하여 실측 데이터에 대한 오류 판정 결과와 더불어 정상 상태의 센서 관련 유사 데이터 패턴을 기반으로 시점별로 추정한 데이터와 실측 데이터 사이의 비교를 통해 실측 데이터의 오류 판정에 대한 근거 자료를 포함하는 시각화 정보를 사용자에게 제공하여 사용자가 오류 데이터를 신속하고 정확하게 라벨링할 수 있도록 지원할 수 있다.Through the above-described configuration, the present invention is an error for training in the supervised learning model in order to determine whether the sensor is abnormal due to the sensor being replaced or the sensor operating period is insufficient (not long) through the neural network-based supervised learning model. Based on the data pattern of the sensor by learning the measured data received from the sensor in a separate multiple neural network in the state where the data of the labeled sensor is insufficient, based on the similar data pattern related to the sensor in the normal state along with the error determination result for the measured data. By comparing the estimated data for each time point with the actual data, it is possible to provide the user with visualization information including evidence for error determination of the actual data, so that the user can quickly and accurately label the error data.

이를 통해, 본 발명은 라벨링 데이터의 학습을 통해 센서의 오류 여부를 판정하는 지도 학습 모델의 판정 정확도를 일정 수준 이상으로 향상시키기 위해 필요한 라벨링 데이터의 개수를 수집하는데 요구되는 기간을 단축시켜 지도 학습 모델의 구축 기간을 크게 단축함과 아울러 사용자의 실측 데이터에 대한 오류 판정 과정에서 근거 자료를 통해 사용자가 오류 여부를 선택할 수 있도록 지원하여 사용자의 주관을 최대한 배제한 라벨링 데이터를 수집함으로써 라벨링 데이터를 기반으로 학습하여 센서의 이상 여부를 판단하는 신경망 기반 지도 학습 모델의 센서 관련 이상 여부 판단에 대한 정확도 및 신뢰도를 크게 향상시킬 수 있다.Through this, the present invention shortens the period required to collect the number of labeling data required to improve the accuracy of determination of the supervised learning model that determines whether or not the sensor is errored through learning of the labeling data, and thereby supervised the learning model. In addition, it greatly reduces the construction period and supports the user to select whether or not there is an error through the evidence in the process of determining the error of the user's actual data, and collects the labeling data that excludes the user's subject as much as possible to learn based on the labeling data. Thus, the accuracy and reliability of the sensor-related anomaly determination of the neural network-based supervised learning model for determining the anomaly of the sensor can be greatly improved.

도 5는 본 발명의 실시예에 따른 데이터 분석부(200)의 상세 구성도 및 상세 동작 실시예를 나타낸 도면이다.5 is a view showing a detailed configuration diagram and a detailed operation embodiment of the data analysis unit 200 according to an embodiment of the present invention.

도시된 바와 같이, 데이터 분석부(200)는 상술한 비지도 학습부(210)와 생성 모델 학습부(220)를 포함하고, 데이터 누적부(250) 및 라벨 데이터 생성부(260)를 더 포함하여 구성될 수 있다.As illustrated, the data analysis unit 200 includes the unsupervised learning unit 210 and the generation model learning unit 220 described above, and further includes a data accumulation unit 250 and a label data generation unit 260. Can be configured.

또한, 데이터 분석부(200)에 구성된 데이터 누적부(250)가 데이터 분석부(200)의 전반적인 제어 기능을 수행하는 제어 모듈로서 구성될 수 있으나, 이에 한정되지 않고 데이터 분석부(200)에 구성된 다른 구성부가 제어 모듈로서 구성될 수도 있다. 본 발명에서 설명하는 데이터 분석부(200)의 기능은 데이터 누적부(250)에 의해 수행되는 것으로 설명될 수 있다.In addition, the data accumulation unit 250 configured in the data analysis unit 200 may be configured as a control module that performs an overall control function of the data analysis unit 200, but is not limited thereto and configured in the data analysis unit 200 Other components may be configured as control modules. The function of the data analysis unit 200 described in the present invention can be described as being performed by the data accumulation unit 250.

또한, 데이터 누적부(250)는 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 상태에서 비지도 학습부(210)의 비지도 학습 모델과 생성 모델 학습부(220)의 생성 모델에 DB(400)에 누적 저장된 실측 데이터를 제공하여 비지도 학습 모델 및 생성 모델이 학습되도록 할 수 있다.In addition, the data accumulator 250 and the unsupervised learning model of the unsupervised learning unit 210 in a state in which the current number (or current summation capacity) of all the measured data accumulated and stored in the DB 400 is equal to or less than a preset first reference value. The unsupervised learning model and the generation model can be trained by providing actual data stored in the DB 400 to the generation model of the generation model learning unit 220.

또한, 비지도 학습부(210)는 신경망 모델인 비지도 학습 모델을 포함하여 구성되며, 해당 비지도 학습 모델은 LSTM(Long Short Term Memory) 기반 모델로 구성될 수 있다.In addition, the unsupervised learning unit 210 includes a non-supervised learning model, which is a neural network model, and the unsupervised learning model may be configured as a long short term memory (LSTM)-based model.

도 6 및 도 7을 참고하여 비지도 학습 모델의 상세 동작 구성을 설명하면, 도시된 바와 같이 LSTM으로 구성된 비지도 학습 모델은 센서의 실측 데이터와 같이 시계열 데이터를 모델링하는데 적합한 딥러닝 모델 구조로서, 과거 t-1, t-2,..., t-n시점의 데이터를 이용하여 센서의 시계열 데이터 패턴을 학습하도록 구성된다.Referring to FIGS. 6 and 7, a detailed operation configuration of the unsupervised learning model will be described. As shown, the unsupervised learning model composed of LSTM is a deep learning model structure suitable for modeling time-series data, such as actual sensor data. It is configured to learn the time-series data pattern of the sensor using data from the past t-1, t-2,..., tn.

또한, 비지도 학습 모델은 일반적인 시계열 데이터의 패턴을 학습하여 과거 t-1, t-2,..,t-n시점의 데이터를 이용해 t 시점의 기준 데이터를 산출할 수 있다.In addition, the unsupervised learning model can learn general time series data patterns and calculate reference data at time t using past t-1, t-2, .., t-n time data.

이에 따라, 비지도 학습 모델은 LSTM 기반으로 산출한 t 시점의 기준 데이터와 해당 t 시점의 센서로부터 제공된 실측 데이터 사이의 편차(residual error)를 산출하여 해당 편차가 데이터 패턴에 따른 제 3 기준치 이상인 경우 실측 데이터를 오류 데이터로 판정하고, 제 3 기준치 이하인 경우 실측 데이터를 정상 데이터로 판정할 수 있다.Accordingly, the unsupervised learning model calculates a deviation (residual error) between the reference data at the time point t calculated based on the LSTM and the measured data provided from the sensor at the time point t when the deviation is greater than or equal to the third reference value according to the data pattern The actual data can be determined as error data, and when the data is below the third reference value, the actual data can be determined as normal data.

즉, 도 7에 도시된 바와 같이 비지도 학습부(210)는 편차(residual error)를 이용해 예외점(anomaly point)이 발생한 실측 데이터를 오류 데이터로 판정하는 LSTM 기반의 비지도 학습 모델을 통해 실측 데이터의 오류 여부에 대한 결과 정보를 출력할 수 있다.That is, as illustrated in FIG. 7, the unsupervised learning unit 210 measures through the LSTM-based unsupervised learning model that determines actual data having anomaly points as error data using a residual error. The result information on whether or not the data is error can be output.

한편, 생성 모델 학습부(220)는 신경망 모델인 생성 모델을 포함하여 구성될 수 있으며, 해당 생성 모델은 GAN(Generative Adversarial Network), VAE(Variational Auto-Encoder) 및 AnoGAN(Anomaly detection with GAN) 중 어느 하나를 기반으로 하는 신경망 모델로 구성될 수 있다.Meanwhile, the generation model learning unit 220 may include a generation model, which is a neural network model, and the generation model is one of a GAN (Generative Adversarial Network), VAE (Variational Auto-Encoder), and AnoGAN (Anomaly detection with GAN). It can be composed of a neural network model based on any one.

생성 모델은 데이터가 생성되는 과정을 확률분포 형태로 학습하는 모델로서, 입력 데이터의 패턴을 학습하여 이와 유사한 패턴을 가진 새로운 데이터를 생성할 수 있는 모델이다.The generation model is a model that learns the process of generating data in the form of probability distribution. It is a model that can learn patterns of input data and generate new data with similar patterns.

즉, 생성 모델은 실측 데이터의 학습을 통해 센서의 데이터 패턴을 학습하며, 이를 통해 센서의 데이터 패턴과 유사한 유사 데이터 패턴을 산출하고 이를 기반으로 미래 시점의 센서 관련 데이터를 인공적으로 생성할 수 있으며, 이러한 인공적으로 생성한 센서 관련 데이터를 추정 데이터로 생성할 수 있다.That is, the generation model learns the sensor's data pattern by learning the actual data, and through this, calculates a similar data pattern similar to the sensor's data pattern, and artificially generates sensor-related data at a future time based on this. The artificially generated sensor-related data can be generated as estimation data.

이때, 생성 모델 학습부(220)는 추정 데이터를 생성 모델에 학습시켜 추정 데이터의 시계열 데이터 패턴을 기초로 추정 데이터별 오류 여부가 생성 모델을 통해 판정되도록 하고, 해당 생성 모델에서 출력하는 추정 데이터별 오류 여부가 다시 생성 모델에 학습되도록 하여 추정 데이터와 정상 센서에서 제공되는 실측 데이터 사이의 편차를 감소시킬 수 있으며, 이를 통해 생성 모델을 통해 정상 센서에서 제공되는 실측 데이터의 시계열 변화와 추정 데이터의 시계열 변화 사이의 편차를 낮추어 정상 센서의 데이터 패턴과 차이가 미미한 추정 데이터 기반 데이터 패턴이 학습된 생성 모델을 통해 지속적으로 정상 센서의 시계열 실측 데이터에 근접한 시계열 추정 데이터가 산출되도록 할 수 있다.At this time, the generation model learning unit 220 trains the estimation data on the generation model to determine whether the error for each estimation data is based on the time series data pattern of the estimation data through the generation model, and for each estimated data output from the generation model. The error between the estimated data and the measured data provided by the normal sensor can be reduced by allowing the error model to be learned again in the generated model, and through this, the time series change of the measured data provided by the normal sensor and the time series of the estimated data By lowering the deviation between the changes, it is possible to continuously generate time series estimation data close to the time series actual data of the normal sensor through the generated model in which the data pattern of the normal sensor and the estimated data based data pattern with little difference are learned.

이에 따라, 생성 모델 학습부(220)는 생성 모델이 생성하는 추정 데이터와 데이터 수집부(100)로부터 제공되는 실측 데이터를 상호 비교한 비교 정보를 생성할 수 있다.Accordingly, the generation model learning unit 220 may generate comparison information comparing the estimated data generated by the generation model with actual data provided from the data collection unit 100.

이때, 생성 모델 학습부(220)는 도 8(a)에 도시된 바와 같이 정상 센서에 대해서 시계열 추정 데이터 관련 추정값들의 제 1 변화 패턴과 센서의 실측 데이터 관련 실제 측정값들의 제 2 변화 패턴이 거의 유사한 비교 정보를 출력할 수 있으며, 도 8(b)에 도시된 바와 같이 비정상 센서에 대해서는 제 1 변화 패턴과 제 2 변화 패턴이 서로 상이한 비교 정보를 출력할 수 있다.At this time, the generation model learning unit 220, as shown in FIG. 8(a), the first change pattern of the estimated values related to the time series estimation data and the second change pattern of the actual measured values related to the measured data of the sensor are almost the same for the normal sensor. Similar comparison information may be output, and as illustrated in FIG. 8( b), comparison information in which the first change pattern and the second change pattern are different from each other may be output for the abnormal sensor.

또한, 생성 모델 학습부(220)는 제 1 변화 패턴과 제 2 변화 패턴 간의 차이를 이상 징후 점수로 정량화하여 비교 정보에 포함시킬 수 있으며, 비정상 상태일 가능성이 클수록 높은 이상 징후 점수를 산출할 수 있다.In addition, the generation model learning unit 220 may quantify the difference between the first change pattern and the second change pattern as an abnormal sign score and include it in the comparison information, and the higher the probability of an abnormal state, the higher the abnormal sign score. have.

한편, 데이터 누적부(250)는 상술한 바와 같이 비지도 학습부(210)가 생성한 결과 정보와 생성 모델 학습부(220)가 생성한 비교 정보를 포함하는 시각화 정보를 생성하여 사용자 인터페이스부(300)로 제공할 수 있다.Meanwhile, as described above, the data accumulation unit 250 generates visualization information including result information generated by the unsupervised learning unit 210 and comparison information generated by the generation model learning unit 220 to generate a user interface unit ( 300).

이에 대한 일례를 도 9를 참조하여 설명하면, 데이터 누적부(250)는 비지도 학습 모델(LSTM)을 통해 산출된 결과 정보와 생성 모델(AnoGAN)을 통해 산출된 비교 정보를 포함하는 시각화 정보를 사용자 인터페이스부(300)에 제공하여 사용자 인터페이스부(300)를 통해 해당 시각화 정보가 표시되도록 할 수 있다.When an example of this is described with reference to FIG. 9, the data accumulator 250 displays visualization information including result information calculated through an unsupervised learning model (LSTM) and comparison information calculated through a generation model (AnoGAN). Provided to the user interface unit 300, the corresponding visualization information may be displayed through the user interface unit 300.

또한, 데이터 수집부(100)는 QC부(110) 및 클러스터링부(120)를 통해 센서로부터 수신되는 실측 데이터 중에서 비정상 데이터로 판정되어 필터링된 실측 데이터와 관련된 필터링 정보를 생성할 수 있으며, 이를 데이터 분석부(200)로 제공할 수 있다.In addition, the data collection unit 100 may generate filtering information related to the measured measured data determined as abnormal data among the measured data received from the sensor through the QC unit 110 and the clustering unit 120, and the data may be generated. It can be provided to the analysis unit 200.

이때, 데이터 수집부(100)는 미리 설정된 룰(Rule) 기반으로 센서로부터 수신되는 다수의 실측 데이터 중 비정상 데이터를 필터링하거나 수집율 분석을 통해 다수의 실측 데이터 중 비정상 데이터를 필터링하여 이에 대한 정보를 상술한 필터링 정보에 포함시킬 수도 있다.At this time, the data collection unit 100 filters abnormal data among a plurality of measured data received from a sensor based on a preset rule or filters the abnormal data among a plurality of measured data through a collection rate analysis to receive information about the abnormal data. It can also be included in the above-mentioned filtering information.

또한, 데이터 누적부(250)는 데이터 수집부(100)로부터 실측 데이터와 함께 제공되는 필터링 정보를 시각화 정보에 포함시켜 사용자 인터페이스부(300)에 제공할 수 있으며, 이를 통해 비정상 데이터로 판정된 실측 데이터의 필터링 이유를 시각적으로 확인가능하도록 제공할 수 있다.In addition, the data accumulation unit 250 may include filtering information provided with the actual data from the data collection unit 100 in the visualization information and provide it to the user interface unit 300, through which it is determined that it is abnormal data. The reason for filtering the data may be provided to be visually identifiable.

또한, 데이터 누적부(250)는 사용자 인터페이스부(300)로부터 시각화 정보를 기초로 사용자가 오류 데이터로 선택한 하나 이상의 실측 데이터를 포함하는 오류 확인 정보를 수신할 수 있다.In addition, the data accumulation unit 250 may receive error confirmation information including one or more actual data selected by the user as error data based on visualization information from the user interface unit 300.

한편, 데이터 누적부(250)는 데이터 수집부(100)로부터 실측 데이터를 수신하여 해당 실측 데이터를 비지도 학습부(210)와 생성 모델 학습부(220)에 제공하여 학습시킬 수 있으며, 해당 실측 데이터를 DB(400)에 누적 저장할 수 있다.Meanwhile, the data accumulator 250 may receive the actual data from the data collection unit 100 and provide the actual data to the unsupervised learning unit 210 and the generation model learning unit 220 for training. Data may be accumulated and stored in the DB 400.

상술한 구성에서, 데이터 누적부(250)는 데이터 분석부(200)에 포함된 비지도 학습부(210)와 생성 모델 학습부(220)가 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 실측 데이터를 비지도 학습 모델 및 생성 모델에 학습만 시키도록 동작시킬 수 있으며, DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우 비지도 학습 모델 및 생성 모델을 통해 상기 시각화 정보를 생성하도록 제어할 수 있다.In the above-described configuration, the data accumulating unit 250 is the current number of all the actual data stored in the DB 400, the unsupervised learning unit 210 and the generation model learning unit 220 included in the data analysis unit 200 are accumulated. When the (or summation capacity) is less than or equal to a preset first reference value, the actual data can be operated to train only the unsupervised learning model and the generation model, and the current number (or summation capacity) of all the measured data accumulated in the DB 400 is accumulated. ) May be controlled to generate the visualization information through an unsupervised learning model and a generation model when the first reference value is exceeded.

또한, 해당 시각화 정보는 비지도 학습부(210), 생성 모델 학습부(220) 또는 데이터 누적부(250)에 의해 생성될 수 있으며, 비지도 학습부(210), 생성 모델 학습부(220) 및 데이터 누적부(250) 중 어느 하나가 데이터 분석부(200)에 구성되는 다른 구성부를 제어하도록 동작할 수 있으나, 데이터 누적부(250)가 데이터 분석부(200)의 모든 구성부를 제어하는 것으로 설명한다.In addition, the corresponding visualization information may be generated by the unsupervised learning unit 210, the generation model learning unit 220, or the data accumulation unit 250, and the unsupervised learning unit 210, the generation model learning unit 220 And any one of the data accumulation unit 250 may operate to control other components configured in the data analysis unit 200, but the data accumulation unit 250 controls all components of the data analysis unit 200. Explain.

또한, 데이터 누적부(250)는 데이터 분석부(200)에 의해 사용자 인터페이스부(300)에 제공된 시각화 정보에 대응되어 사용자 인터페이스부(300)로부터 수신되는 오류 확인 정보를 데이터 분석부(200)에 포함된 라벨 데이터 생성부(260)에 제공할 수 있다.In addition, the data accumulation unit 250 corresponds to the visualization information provided to the user interface unit 300 by the data analysis unit 200 and transmits error confirmation information received from the user interface unit 300 to the data analysis unit 200. It can be provided to the included label data generation unit 260.

이에 따라, 라벨 데이터 생성부(260)는 DB(400)에 저장된 복수의 실측 데이터를 대상으로 오류 확인 정보에 따라 오류로 판정된 실측 데이터를 오류 데이터로 라벨링할 수 있다.Accordingly, the label data generation unit 260 may label the measured data determined as an error as error data according to the error confirmation information, targeting a plurality of measured data stored in the DB 400.

또한, 라벨 데이터 생성부(260)는 DB(400)에 저장된 실측 데이터들 중 오류 데이터로 라벨링된 실측 데이터의 생성 시점 이전에 생성된 오류 데이터로 라벨링되지 않은 실측 데이터를 정상 데이터로 자동 라벨링할 수 있으며, 이와 같은 실측 데이터의 자동 라벨링을 통해 오류 데이터 또는 정상 데이터로 라벨링된 실측 데이터(또는 라벨링 데이터)의 수를 크게 증가시킬 수 있다.In addition, the label data generation unit 260 can automatically label the actual data that is not labeled with the error data generated before the creation time of the actual data labeled as the error data among the actual data stored in the DB 400. In addition, the number of actual data (or labeling data) labeled as error data or normal data can be greatly increased through such automatic labeling of the actual data.

한편, 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템은 지도 학습부(500)를 더 포함하여 구성될 수 있다.Meanwhile, a service providing system for detecting sensor abnormality using a neural network model according to an embodiment of the present invention may further include a supervised learning unit 500.

지도 학습부(500)는 별도의 신경망 모델인 지도 학습 모델을 포함하여 구성될 수 있으며, 지도 학습부(500)에 구성된 지도 학습 모델은 DenseNet으로 구성될 수 있다.The supervised learning unit 500 may be configured to include a separate neural network model, the supervised learning model, and the supervised learning model 500 may be configured as DenseNet.

이에 따라, 지도 학습부(500)는 DB(400)에 저장된 라벨링 데이터를 지도 학습부(500)에 포함된 지도 학습 모델에 학습시켜 정상 센서의 데이터 패턴과 비정상 센서의 데이터 패턴 또는 센서의 데이터 패턴을 학습할 수 있으며, 이를 통해 지도 학습부(500)는 데이터 수집부(100)를 통해 특정 센서에 대응되어 수집되는 다수의 시계열 실측 데이터를 데이터 수집부(100)로부터 수신하거나 DB(400)로부터 추출하여 수신하고, 시계열 실측 데이터를 기반으로 생성한 특정 센서의 데이터 패턴을 미리 학습된 정상 센서 및 비정상 센서 각각의 데이터 패턴 또는 미리 학습된 센서의 데이터 패턴과 상호 비교하여 해당 특정 센서의 정상 또는 비정상을 판단하고, 이에 따른 특정 센서의 이상 여부에 대한 분석 정보를 제공할 수 있다.Accordingly, the supervised learning unit 500 trains the labeling data stored in the DB 400 into the supervised learning model included in the supervised learning unit 500, so that the normal sensor data pattern and the abnormal sensor data pattern or the sensor data pattern. Through this, the supervised learning unit 500 receives a plurality of time series actual data collected corresponding to a specific sensor through the data collection unit 100 from the data collection unit 100 or from the DB 400 Extracted and received, the data pattern of the specific sensor generated based on the time series actual data is compared with the data pattern of each of the normal and abnormal sensors previously learned or the data pattern of the previously learned sensors, and normal or abnormal of the specific sensor And provide analysis information on whether a specific sensor is abnormal.

상술한 바와 같이, 본 발명은 센서의 이상 여부를 판단하는 신경망 모델의 정확도를 일정 수준 이상으로 향상시키기 위해 필요한 개수만큼의 라벨링 데이터를 용이하고 신속하게 수집하여 센서의 이상 여부를 판단하는 신경망 모델의 구축 용이성 및 편의성을 보장할 수 있다.As described above, the present invention easily and quickly collects as many labeling data as necessary in order to improve the accuracy of the neural network model for determining whether the sensor is abnormal to a certain level or more. Ease of construction and convenience can be guaranteed.

도 10은 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법에 대한 순서도이다.10 is a flowchart of a service providing method for sensor anomaly detection using a neural network model according to an embodiment of the present invention.

도시된 바와 같이, 데이터 수집부(100)는 하나 이상의 센서와 연결되어 하나 이상의 센서 각각으로부터 센서가 생성한 실측 데이터를 수신하여 수집할 수 있다(S1).As illustrated, the data collection unit 100 may be connected to one or more sensors to receive and collect measured data generated by the sensors from each of the one or more sensors (S1).

이때, 데이터 수집부(100)는 미리 설정된 조건에 따라 비정상 데이터를 필터링할 수 있으며, 이를 통해 센서가 배치되는 환경이나 데이터 전송 환경에서 발생하는 요인에 의해 발생하는 비정상 데이터를 필터링할 수 있다.In this case, the data collection unit 100 may filter abnormal data according to a preset condition, and through this, the abnormal data generated by factors occurring in an environment in which a sensor is disposed or a data transmission environment may be filtered.

한편, 데이터 분석부(200)는 DB(400)를 포함하여 구성될 수 있으며, 데이터 수집부(100)로부터 수신되는 데이터를 센서별로 해당 DB(400)에 저장할 수 있다.Meanwhile, the data analysis unit 200 may be configured to include the DB 400, and may store data received from the data collection unit 100 in the corresponding DB 400 for each sensor.

이에 따라, 데이터 분석부(200)는 DB(400)에 누적 저장되는 실측 데이터에 대한 오류 여부를 라벨링한 모든 라벨링 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 2 기준치 이하인 상태에서 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)를 확인하여 해당 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우(S2) 상기 데이터 분석부(200)에 포함된 비지도 학습 모델과 생성 모델을 지속적으로 학습시킬 수 있다(S3, S4).Accordingly, the data analysis unit 200 DB DB in a state in which the current number (or current summation capacity) of all the labeling data labeling whether or not the actual data stored in the DB 400 is stored in error is equal to or less than a preset second reference value ( If the current number (or current summed capacity) of all measured data accumulated and stored in 400) is checked, and the current number (or current summed capacity) of all the measured data is less than or equal to a preset first reference value (S2), the data analysis unit 200 ) Can continuously train the unsupervised learning model and the generation model included in (S3, S4).

또한, 데이터 분석부(200)는 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우(S2) 상기 데이터 분석부(200)는 실측 데이터 수신시마다 센서의 데이터 패턴이 학습된 비지도 학습 모델에 실측 데이터를 적용하여 상기 데이터 수집부(100)로부터 수신되는 실측 데이터별 오류 여부가 포함된 결과 정보를 비지도 학습 모델을 통해 출력(생성)할 수 있다(S5).In addition, the data analysis unit 200 when the current number (or current summation capacity) of all the measured data accumulated and stored in the DB 400 exceeds a preset first reference value (S2), the data analysis unit 200 is measured Each time data is received, actual data is applied to the non-supervised learning model in which the sensor data pattern has been learned, and output of result information including whether or not there is an error for each actual data received from the data collection unit 100 is output through the non-supervised learning model (generated. ) (S5).

또한, 데이터 분석부(200)는 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우(S2) 실측 데이터의 학습을 통해 실측 데이터의 데이터 패턴과 유사한 유사 데이터 패턴을 생성하는 생성 모델을 통해 해당 유사 데이터 패턴을 기초로 현재 시점 이후에 출력될 것으로 예상되는 데이터에 대한 인공 데이터(가상 데이터)인 추정 데이터를 생성하여 출력할 수 있다(S6).In addition, when the current number (or the current total capacity) of all the measured data accumulated and stored in the DB 400 exceeds the preset first reference value (S2), the data analysis unit 200 performs measurement of the measured data. Through the generation model that generates a similar data pattern similar to the data pattern, it is possible to generate and output estimated data, which is artificial data (virtual data) for data expected to be output after the current time based on the similar data pattern ( S6).

이때, 데이터 분석부(200)는 추정 데이터를 생성 모델에 학습시켜 추정 데이터의 시계열 데이터 패턴을 기초로 추정 데이터별 오류 여부가 판정되도록 하고, 해당 생성 모델에서 출력하는 추정 데이터별 오류 여부가 다시 생성 모델에 학습되도록 하여 추정 데이터와 정상 센서에 의해 생성된 실측 데이터 사이의 편차를 감소시킬 수 있으며, 이를 통해 생성 모델을 통해 실측 데이터의 시계열 변화와 추정 데이터의 시계열 변화 사이의 편차를 낮추어 정상 센서에 의해 생성된 실측 데이터에 근접한 추정 데이터가 생성 모델을 통해 지속적으로 산출되도록 할 수 있다.At this time, the data analysis unit 200 trains the estimated data in the generation model so that the error for each estimated data is determined based on the time series data pattern of the estimated data, and the error for each estimated data output from the generated model is generated again. By allowing the model to be trained, the deviation between the estimated data and the actual data generated by the normal sensor can be reduced, and through this, the deviation between the time-series change of the measured data and the time-series change of the estimated data through the generated model is reduced to the normal sensor. Estimated data close to the measured data generated by the generated model may be continuously calculated through the generated model.

또한, 데이터 분석부(200)는 상기 결과 정보 및 비교 정보를 기초로 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차 및 상기 실측 데이터별 오류 여부를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성하여 사용자 인터페이스부(300)에 제공할 수 있다(S7).In addition, the data analysis unit 200 based on the result information and the comparison information through the variation between the estimated data and the measured data provided by the generated model in which the sensor-related similar data pattern has been learned, and whether or not there is an error for each measured data It is possible to generate visualization information capable of checking errors for each measured data and provide it to the user interface 300 (S7).

즉, 데이터 분석부(200)는 비지도 학습 모델을 통해 실측 데이터의 시계열적 데이터 패턴과 미리 설정된 기준치 이상의 오차를 나타내는 실측 데이터에 대한 오류 여부를 사용자에게 시각화 정보를 통해 제공함과 아울러 생성 모델을 통해 해당 실측 데이터의 데이터 패턴과 유사 데이터 패턴을 학습하여 추후 예상되는 정상 센서의 데이터 변화에 대한 시계열 추정 데이터를 출력하여 시점별로 실측 데이터가 이러한 생성 모델을 통해 출력되는 추정 데이터와의 편차 정도를 사용자가 확인할 수 있도록 해당 시각화 정보를 통해 제공할 수 있다.That is, the data analysis unit 200 provides the user with the information on the time series data of the actual data through the unsupervised learning model and the actual data indicating the error of a predetermined reference value or higher through the visualization information, and also through the generation model. By learning the data pattern and similar data pattern of the actual data, the user outputs time-series estimation data for the expected data change of the normal sensor, so that the user can determine the degree of deviation from the estimated data outputted through these generation models. It can be provided through the corresponding visualization information for checking.

상술한 구성에서, 데이터 분석부(200)는 DB(400)에 저장된 모든 실측 데이터의 개수(또는 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 실측 데이터를 비지도 학습 모델과 생성 모델에 학습시킬 수 있으며, 상기 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우 상기 시각화 정보를 생성할 수 있다.In the above-described configuration, the data analysis unit 200 may train the unsupervised learning model and the generation model when the number (or summation capacity) of all the measured data stored in the DB 400 is equal to or less than a preset first reference value. The visualization information may be generated when the current number (or current summation capacity) of all the measured data exceeds a preset first reference value.

한편, 사용자 인터페이스부(300)는 데이터 분석부(200)로부터 제공되는 시각화 정보를 표시할 수 있으며, 사용자 입력을 기초로 시각화 정보에 포함된 실측 데이터들 중에서 사용자에 의해 오류로 판정된 실측 데이터인 오류 데이터 관련 오류 확인 정보를 생성하여 데이터 분석부(200)에 제공할 수 있다(S8).Meanwhile, the user interface unit 300 may display visualization information provided from the data analysis unit 200, which is actual data determined as an error among users among actual data included in the visualization information based on user input. Error checking information related to error data may be generated and provided to the data analysis unit 200 (S8).

이에 따라, 데이터 분석부(200)는 오류 확인 정보를 기초로 오류 데이터에 대응되는 실측 데이터를 오류 데이터로 라벨링하여 라벨링 데이터를 생성할 수 있으며, 해당 라벨링 데이터를 DB(400)에 저장할 수 있다(S9).Accordingly, the data analysis unit 200 may label the actual data corresponding to the error data as error data based on the error confirmation information to generate labeling data, and store the labeling data in the DB 400 ( S9).

이때, 데이터 분석부(200)는 실측 데이터에 오류 확인 정보에 따른 오류 여부에 대한 라벨링 관련 라벨링 정보를 포함시켜 라벨링 정보를 포함하는 실측 데이터를 라벨링 데이터로 DB(400)에 저장하거나, 특정 실측 데이터의 오류 여부를 라벨링하기 위한 라벨링 식별 데이터를 해당 특정 실측 데이터와 별도로 생성한 후 상기 특정 실측 데이터와 매칭하여 한 쌍으로 DB(400)에 저장할 수도 있다.At this time, the data analysis unit 200 stores the actual data including the labeling information in the DB 400 as labeling data by including labeling-related labeling information on whether the error is based on the error confirmation information in the actual data, or specific measurement data. Labeling identification data for labeling whether or not an error is generated may be separately generated from the specific measurement data, and then matched with the specific measurement data to be stored in the DB 400 in a pair.

상술한 바와 같이, 본 발명은 센서의 이상 감지를 위한 신경망 기반 지도 학습 모델의 학습에 필요한 센서의 데이터에 대한 오류 여부가 라벨링된 라벨링 데이터가 부족한 상태에서 센서의 실측 데이터를 복수의 신경망 모델 비지도 학습 방식으로 학습시켜 센서의 실측 데이터별로 오류 여부에 대한 결과와 오류 판정 이유에 대한 근거를 포함하는 시각화 정보를 제공하여 사용자가 이상이 발생한 센서를 객관적으로 명확하게 구분할 수 있도록 지원함과 아울러 이러한 시각화 정보를 통해 사용자 입력에 따라 센서의 오류 여부 관련되어 신뢰성 있는 라벨링된 데이터의 수를 신속하게 증가시켜 이상 발생 센서의 검출을 위한 지도 학습 모델을 학습시키는데 필요한 라벨링 데이터를 신속하고 용이하게 확보할 수 있도록 지원함으로써, 해당 지도 학습 모델의 구축에 필요한 시간을 단축함과 아울러 라벨링 데이터의 지도 학습 모델에 대한 학습을 통해 센서 관리에 대한 편의성 및 신뢰도를 높일 수 있다.As described above, the present invention is a neural network based map learning model for detecting anomalies of a sensor. By learning by learning method, it provides visualization information including the result of whether there is an error for each sensor's actual measurement data and the basis for the reason for the error determination, so that the user can objectively and clearly classify the sensor where the error occurred. Through this, it is possible to quickly and easily secure the labeling data necessary to train the supervised learning model for the detection of anomalies by rapidly increasing the number of reliable labeled data related to the presence or absence of a sensor according to user input. By doing so, it is possible to shorten the time required to construct the corresponding supervised learning model and to increase the convenience and reliability of sensor management through learning the supervised learning model of the labeling data.

한편, 상술한 구성에서 사용자 인터페이스부(300)가 사용자 단말로서 구성되는 경우 해당 사용자 단말은 입력부(330), 통신부, 저장부, 표시부, 음성 출력부 및 제어부로 구성된다. 사용자 단말의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 사용자 단말의 구성 요소보다 많은 구성 요소에 의해 사용자 단말이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 사용자 단말이 구현될 수도 있다.Meanwhile, in the above-described configuration, when the user interface unit 300 is configured as a user terminal, the user terminal is composed of an input unit 330, a communication unit, a storage unit, a display unit, a voice output unit, and a control unit. Not all components of the user terminal are essential components, and the user terminal may be implemented by more components than the components of the user terminal, or the user terminal may be implemented by fewer components.

이때, 표시부는 디스플레이부(310)로 구성될 수 있으며, 제어부는 인터페이스 제어부(320)로 구성될 수 있다.At this time, the display unit may be configured as a display unit 310, and the control unit may be configured as an interface control unit 320.

통신부는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 외부의 임의의 단말기는 데이터 분석부(200) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 통신부는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.The communication unit communicates with any component inside or any at least one terminal outside through a wired/wireless communication network. At this time, any external terminal may include a data analysis unit 200 and the like. Here, the wireless Internet technology includes wireless LAN (WLAN), Digital Living Network Alliance (DLNA), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), and High Speed Downlink Packet Access (HSDPA). ), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), Wireless Mobile Broadband Service (WMBS), etc. The communication unit transmits and receives data according to at least one wireless Internet technology in a range including the Internet technology not listed above. In addition, Bluetooth (Bluetooth), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, Near Field Communication (NFC) include , Ultrasound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct, and the like. In addition, wired communication technologies include wired local area network (LAN), wired wide area network (WAN), power line communication (PLC), USB communication, Ethernet, serial communication, and optical/ Coaxial cables and the like may be included.

또한, 통신부는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.Also, the communication unit may mutually transmit information with an arbitrary terminal through a universal serial bus (USB).

또한, 통신부는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등), 5G 이동통신 서비스 등에 따라 구축된 이동 통신망 상에서 외부 장치와 무선 신호를 송수신한다.In addition, the communication unit is a technical standard or communication method for mobile communication (for example, GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000), EV-DO (Enhanced) Voice-Data Optimized or Enhanced Voice-Data Only (WCDMA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSPA), Long Term Evolution (LTE), Long Term Evolution (LTE-A) -Advanced), etc., transmits and receives wireless signals to and from external devices on a mobile communication network built according to 5G mobile communication services.

또한, 통신부는 제어부의 제어에 의해, 데이터 분석부(200)로부터 전송되는 각종 정보를 수신한다.In addition, the communication unit receives various information transmitted from the data analysis unit 200 under the control of the control unit.

저장부는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.The storage unit stores various user interfaces (UIs), graphical user interfaces (GUIs), and the like.

또한, 저장부는 사용자 단말이 동작하는데 필요한 데이터와 프로그램 등을 저장한다.In addition, the storage unit stores data and programs necessary for the user terminal to operate.

즉, 저장부는 사용자 단말에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션), 사용자 단말의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서비스 제공 장치로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 사용자 단말의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 사용자 단말 상에 존재할 수 있다. 한편, 응용 프로그램은 저장부에 저장되고, 사용자 단말에 설치되어, 제어부에 의하여 사용자 단말의 동작(또는 기능)을 수행하도록 구동될 수 있다.That is, the storage unit may store a plurality of application programs (application programs or applications) running in the user terminal, data and commands for the operation of the user terminal. At least some of these applications may be downloaded from an external service providing device through wireless communication. In addition, at least some of these application programs may exist on the user terminal from the time of shipment for basic functions of the user terminal (for example, an incoming call, a calling function, a message reception, and a calling function). Meanwhile, the application program is stored in the storage unit and installed in the user terminal, and may be driven by the control unit to perform an operation (or function) of the user terminal.

또한, 저장부는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 사용자 단말은 인터넷(internet)상에서 저장부의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 웹 스토리지와 관련되어 동작할 수도 있다.In addition, the storage unit is a flash memory type (Flash Memory Type), a hard disk type (Hard Disk Type), a multimedia card micro type (Multimedia Card Micro Type), a card type memory (for example, SD or XD memory, etc.), magnetic Memory, Magnetic Disk, Optical Disk, Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read- Only Memory) may include at least one storage medium. In addition, the user terminal may operate a web storage that performs a storage function of a storage unit on the Internet, or operate in connection with the web storage.

또한, 저장부는 제어부의 제어에 의해 통신부를 통해 수신된 해당 인터페이스 관련 정보, 웹 페이지 관련 정보, 컨텐츠 또는 결제 정보를 저장할 수 있다.Also, the storage unit may store corresponding interface-related information, web page-related information, content, or payment information received through the communication unit under control of the control unit.

표시부는 제어부의 제어에 의해 저장부에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 표시부에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 표시부는 터치 스크린 일 수 있다.The display unit may display various contents such as various menu screens using a user interface and/or a graphic user interface stored in the storage unit under control of the control unit. Here, the content displayed on the display unit includes various text or image data (including various information data) and a menu screen including data such as icons, list menus, and combo boxes. Also, the display unit may be a touch screen.

또한, 표시부는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.In addition, the display unit is a liquid crystal display (Liquid Crystal Display: LCD), a thin film transistor liquid crystal display (Thin Film Transistor-Liquid Crystal Display: TFT LCD), an organic light emitting diode (Organic Light-Emitting Diode: OLED), flexible display (Flexible Display) , A 3D display, an e-ink display, and a light emitting diode (LED).

또한, 표시부는 입체영상을 표시하는 입체 디스플레이부(310)로서 구성될 수 있다.Further, the display unit may be configured as a stereoscopic display unit 310 displaying a stereoscopic image.

입체 디스플레이부(310)에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다.A three-dimensional display method such as a stereoscopic method (glasses method), an auto stereoscopic method (glasses-free method), or a projection method (holographic method) may be applied to the stereoscopic display unit 310.

음성 출력부는 제어부에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 음성 출력부에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.The audio output unit outputs audio information included in a signal processed by a predetermined signal by the control unit. Here, the audio output unit may include a receiver, a speaker, a buzzer, and the like.

또한, 음성 출력부는 제어부에 의해 생성된 안내 음성을 출력한다.In addition, the voice output unit outputs a guide voice generated by the control unit.

또한, 음성 출력부는 제어부의 제어에 의해 통신부를 통해 수신된 정보에 대응하는 음성 정보를 출력할 수 있다.In addition, the voice output unit may output voice information corresponding to information received through the communication unit under control of the control unit.

제어부는 사용자 단말의 전반적인 제어 기능을 실행한다.The control unit executes the overall control function of the user terminal.

또한, 제어부는 저장부에 저장된 프로그램 및 데이터를 이용하여 사용자 단말의 전반적인 제어 기능을 실행한다. 제어부는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 저장부에 액세스하여, 저장부에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 저장부에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.In addition, the control unit executes the overall control function of the user terminal using the programs and data stored in the storage unit. The control unit may include RAM, ROM, CPU, GPU, and bus, and RAM, ROM, CPU, and GPU may be connected to each other through a bus. The CPU can access the storage unit and perform booting using O/S stored in the storage unit, and perform various operations using various programs, contents, and data stored in the storage unit.

또한, 사용자 단말은 해당 사용자 단말에 연결되는 모든 외부기기와의 인터페이스 역할을 수행하는 인터페이스부를 더 포함할 수도 있다. 예를 들면, 인터페이스부는 유/무선 헤드셋 포트(Headset Port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(Memory Card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등으로 구성될 수 있다. 여기서, 식별 모듈은 사용자 단말의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identity Module: UIM), 가입자 인증 모듈(Subscriber Identity Module: SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module: USIM) 등을 포함할 수 있다. 또한, 식별 모듈이 구비된 장치는 스마트 카드(Smart Card) 형식으로 제작될 수 있다. 따라서, 식별 모듈은 포트를 통하여 사용자 단말과 연결될 수 있다. 이와 같은 인터페이스부는 외부 기기로부터 데이터를 수신하거나 전원을 수신하여 사용자 단말 내부의 각 구성 요소에 전달하거나 사용자 단말 내부의 데이터가 외부 기기로 전송되도록 한다.Also, the user terminal may further include an interface unit that serves as an interface with all external devices connected to the user terminal. For example, the interface unit includes a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, a port for connecting devices equipped with an identification module, and audio I/O ( Input/Output), video I/O (Input/Output) port, and earphone port. Here, the identification module is a chip that stores various information for authenticating the user's permission to use, a user identity module (UIM), a subscriber identity module (SIM), and a universal user authentication module (Universal) Subscriber Identity Module (USIM). In addition, the device provided with the identification module may be manufactured in the form of a smart card. Therefore, the identification module can be connected to the user terminal through the port. Such an interface unit receives data from an external device or receives power and transmits it to each component inside the user terminal or allows data inside the user terminal to be transmitted to the external device.

또한, 인터페이스부는 사용자 단말이 외부 크래들(Cradle)과 연결될 때 크래들로부터의 전원이 해당 사용자 단말에 공급되는 통로가 되거나, 사용자에 의해 크래들에서 입력되는 각종 명령 신호가 해당 사용자 단말로 전달되는 통로가 될 수 있다. 크래들로부터 입력되는 각종 명령 신호 또는 해당 전원은 사용자 단말이 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.In addition, when the user terminal is connected to the external cradle (Cradle), the interface unit becomes a passage through which power from the cradle is supplied to the corresponding user terminal, or a passage through which various command signals input from the cradle by the user are transmitted to the corresponding user terminal. Can. Various command signals or corresponding power input from the cradle may be operated as signals for recognizing that the user terminal is correctly mounted on the cradle.

또한, 사용자 단말은 사용자에 의한 버튼 조작 또는 임의의 기능 선택에 따른 신호를 수신하거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 생성된 명령 또는 제어 신호를 수신하기 위한 입력부(330)를 더 포함할 수도 있다.In addition, the user terminal receives an input signal 330 for receiving a command or a control signal generated by an operation such as a button operation by a user or a selection of an arbitrary function or an operation such as touching/scrolling a displayed screen. It may further include.

입력부(330)는 사용자의 명령, 선택, 데이터, 정보 중에서 적어도 하나를 입력 받기 위한 수단으로서, 숫자 또는 문자 정보를 입력 받고 다양한 기능을 설정하기 위한 다수의 입력키 및 기능키를 포함할 수 있다.The input unit 330 is a means for receiving at least one of a user's command, selection, data, and information, and may include a number of input keys and function keys for receiving numeric or character information and setting various functions.

또한, 입력부(330)는 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드(정압/정전), 터치 스크린(Touch Screen), 조그 휠, 조그 스위치, 조그 셔틀(Jog Shuttle), 마우스(mouse), 스타일러스 펜(Stylus Pen), 터치 펜(Touch Pen) 등의 다양한 장치가 사용될 수 있다. 특히, 표시부가 터치스크린 형태로 형성된 경우, 입력의 기능 중 일부 또는 전부는 표시부를 통해 수행될 수 있다.In addition, the input unit 330 is a key pad (Key Pad), dome switch (Dome Switch), touch pad (static pressure / power failure), touch screen (Touch Screen), jog wheel, jog switch, jog shuttle (Jog Shuttle), mouse Various devices such as (mouse), stylus pen, and touch pen may be used. In particular, when the display unit is formed in the form of a touch screen, some or all of the input functions may be performed through the display unit.

또한, 사용자 단말의 각각의 구성부(또는 모듈)는 사용자 단말의 메모리(또는 저장부) 상에 저장되는 소프트웨어일 수 있다. 메모리는 사용자 단말의 내부 메모리 일 수 있으며, 외장형 메모리 또는 다른 형태의 저장 장치일 수 있다. 또한, 메모리는 비휘발성 메모리일 수 있다. 메모리 상에 저장되는 소프트웨어는 실행 시 사용자 단말로 하여금 특정 동작을 수행하도록 하는 명령어 세트를 포함할 수 있다.Further, each component (or module) of the user terminal may be software stored on the memory (or storage) of the user terminal. The memory may be an internal memory of the user terminal, an external memory or another type of storage device. Also, the memory may be a non-volatile memory. Software stored on the memory may include a set of instructions that, when executed, cause the user terminal to perform a specific operation.

이상에서 설명된 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다.The user terminal, data collection unit 100, data analysis unit 200, user interface unit 300, supervised learning unit 500, and service providing apparatus described above are hardware components, software components, and/or It may be implemented as a combination of hardware components and software components.

또한, 실시예들에서 설명된 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.In addition, the components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor (digital signal processor), a microcomputer, a field programmable array (FPA), programmable logic (PLU) unit), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose computers or special purpose computers.

이해의 편의를 위하여, 구성요소는 각각 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.For convenience of understanding, there are cases in which each of the components is described as being used, but a person having ordinary skill in the art, the processing device may include a plurality of processing elements and/or a plurality of types of processing. It can be seen that it may contain elements.

예를 들어, 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.For example, a user terminal, a data collection unit 100, a data analysis unit 200, a user interface unit 300, a supervised learning unit 500, and a service providing device may include a plurality of processors or one processor and one controller It may include. In addition, other processing configurations, such as parallel processors, are possible.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치를 원하는 대로 동작하도록 하거나 독립적으로 또는 결합적으로(collectively) 명령할 수 있다.The software may include a computer program, a code, an instruction, or a combination of one or more of them, a user terminal, a data collection unit 100, a data analysis unit 200, and a user interface The unit 300, the supervised learning unit 500, and the service providing device may be operated as desired or may be commanded independently or collectively.

소프트웨어 및/또는 데이터는, 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치에 의하여 해석되거나 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다.Software and/or data may be interpreted by a user terminal, a data collection unit 100, a data analysis unit 200, a user interface unit 300, a supervised learning unit 500, or a service providing device, or a user terminal, data collection In order to provide commands or data to the unit 100, the data analysis unit 200, the user interface unit 300, the supervised learning unit 500, and the service providing device, any type of machine, component, physical It may be permanently or temporarily embodied in a device, virtual equipment, computer storage medium or device, or a signal wave being transmitted.

소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may be distributed on networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

상술한 실시예에서 설명한 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 브라우저와 어플리케이션 상호 간 사용자 매칭을 위한 서비스 제공 방법을 수행하도록 기능시키기 위한 프로그램(컴퓨터 프로그램)이 기록된 컴퓨터로 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치 등에 의하여 읽혀지고 실행됨으로써 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법을 구현할 수 있다.The method for providing a service for detecting sensor abnormality using a neural network model according to the embodiment of the present invention described in the above-described embodiment may be written as a computer program, and codes and code segments constituting the computer program may be provided to a computer programmer in the field. Can be inferred easily. In addition, the computer program is stored in a computer-readable information storage medium (computer readable media) in which a program (computer program) for allowing a computer to perform a service providing method for user matching between a browser and an application is recorded. By being read and executed by a computer or a user terminal according to an embodiment of the present invention, a data collection unit 100, a data analysis unit 200, a user interface unit 300, a supervised learning unit 500, a service providing device, etc. It is possible to implement a service provision method for sensor anomaly detection using a neural network model.

정보저장매체는 자기 기록매체, 광 기록매체를 포함한다. 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법을 구현하는 컴퓨터 프로그램은 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치 등에 장착될 수도 있다.The information storage medium includes a magnetic recording medium and an optical recording medium. A computer program that implements a service providing method for sensor anomaly detection using a neural network model according to an embodiment of the present invention includes a user terminal, a data collection unit 100, a data analysis unit 200, a user interface unit 300, and a map The learning unit 500 may be stored and installed in the internal memory of the service providing device. Alternatively, an external memory such as a smart card that stores and installs a computer program that implements a service providing method for detecting sensor anomalies using a neural network model according to an embodiment of the present invention is a user terminal, a data collection unit 100 through an interface. , It may be mounted on the data analysis unit 200, the user interface unit 300, the supervised learning unit 500, a service providing device.

본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.The various devices and components described herein can be implemented by hardware circuitry (eg, CMOS-based logic circuitry), firmware, software, or a combination thereof. For example, it may be implemented using transistors, logic gates, and electronic circuits in the form of various electrical structures.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above-described contents may be modified and modified without departing from the essential characteristics of the present invention to those skilled in the art to which the present invention pertains. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the claims below, and all technical spirits within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

100: 데이터 수집부 110: QC부
120: 클러스터링부 200: 데이터 분석부
210: 비지도 학습부 220: 생성 모델 학습부
250: 데이터 누적부 260: 라벨 데이터 생성부
300: 사용자 인터페이스부 310: 디스플레이부
320: 인터페이스 제어부 330: 입력부
400: DB 500: 지도 학습부100: data collection unit 110: QC unit
120: clustering unit 200: data analysis unit
210: unsupervised learning unit 220: generation model learning unit
250: data accumulation unit 260: label data generation unit
300: user interface unit 310: display unit
320: interface control unit 330: input unit
400: DB 500: supervised learning department

Claims

A collection step of the data collection unit collecting the measured data from the sensor and filtering out the abnormal data according to a preset condition among the collected measured data;
A data analysis unit including an unsupervised learning model and a generation model composed of a neural network is trained on the unsupervised learning model and the generation model while the number of labeled data is less than or equal to a preset reference value. , Visualization capable of checking errors per measured data through the deviation between the measured data and the estimated data provided by the generated model in which the similar data pattern related to the sensor is generated and whether the errors per measured data generated through the unsupervised learning model are generated An output step of generating and providing information; And
Providing a service for sensor anomaly detection using a neural network model, comprising a labeling step of performing labeling of the measured data according to error confirmation information through the user interface unit that displays the visualization information and receives user input from the data analysis unit Way.

According to claim 1,
The unsupervised learning model is LSTM, and the generation model is a GAN, AnoGAN, or VAE service providing method for sensor anomaly detection using a neural network model.

According to claim 1,
The collecting step is an actual measurement received from the sensor through at least one of a clustering test, a physical limit test, a step test, a persistence test, and a median filter test, in which the data collection unit filters abnormal data based on clusters generated through data clustering. A service providing method for sensor anomaly detection using a neural network model characterized by filtering abnormal data among data.

According to claim 3,
In the collecting step, the data collection unit generates and provides filtering information related to the abnormal data; And
The output step further comprises the step of providing the filtering information provided by the data analysis unit from the data collection unit in the visualization information, thereby providing a service for detecting sensor anomalies using a neural network model.

According to claim 1,
In the output step, the data analysis unit trains the actual data in the generation model to generate a data pattern similar to the data pattern of the sensor, and performs error determination on the estimated data through the generation model to determine the error A service providing method for sensor anomaly detection using a neural network model, characterized in that the generation model is trained to generate a similar data pattern for a sensor in a steady state while varying the similar data pattern based on the same.

According to claim 1,
In the labeling step, the data analysis unit labels and stores the measured data identified as an error as error data based on the error confirmation information, and stores the measured data collected and stored by the data collection unit as error data, and other than the error data. A method for providing sensor abnormality detection using a neural network model, further comprising the step of labeling and storing the measured data as normal data.

According to claim 1,
A supervised learning unit configured with a supervised learning model, which is a neural network model, learns labeling data including measured data labeled as one of the error data and normal data through the supervised learning model to provide analysis information on whether the sensor is abnormal. Method for providing a service for sensor anomaly detection using a neural network model, further comprising a step.

The method of claim 7,
The supervised learning model configured in the supervised learning unit is a densnet (DenseNet) service providing method for detecting sensor anomalies using a neural network model.

In the service providing method of the service providing device,
The service providing device collects actual data from the sensor and filters error data according to a preset condition;
A service providing apparatus including an unsupervised learning model and a generation model composed of a neural network while the number of labeled data is equal to or less than a preset reference value, learns the actual data collected by the data collection unit in the unsupervised learning model and the generation model In addition, it is possible to check the error for each measured data through the deviation between the measured data provided by the generated model in which the sensor-like and similar data pattern generated through the unsupervised learning model and the measured data are generated, and the measured data. Generating and providing visualization information; And
A service providing method for detecting sensor anomalies using a neural network model, comprising the step of labeling the measured data according to error confirmation information through the user interface unit that displays a visualization and receives user input by a service providing device .

A non-volatile recording medium readable by a computer on which a computer program for causing a computer to perform the method according to any one of claims 1 and 9 is recorded.

A data collection unit that collects data from the sensor and filters error data according to preset conditions; And
It includes an unsupervised learning model and a generation model composed of a neural network, and the actual data collected by the data collection unit is trained on the unsupervised learning model and the generation model while the number of labeled data is equal to or less than a preset reference value. Visualization information capable of confirming errors per measured data through the deviation between estimated data provided by the generated model in which the sensor-like similar data pattern generated by the unsupervised learning model and the sensor-like similar data pattern is generated and the measured data are generated. A service for detecting sensor anomalies using a neural network model including a data analysis unit that generates and provides, displays the visualization information, and performs labeling of the measured data according to error confirmation information through the user interface unit that receives user input. Delivery system.