KR102287823B1

KR102287823B1 - Apparatus for monitoring habitual freezing and slippery areas using deep learning model and method therefor

Info

Publication number: KR102287823B1
Application number: KR1020200170529A
Authority: KR
Inventors: 지택수; 김진술; 김치훈; 장재혁
Original assignee: 전남대학교산학협력단
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2021-08-09
Also published as: WO2022124479A1

Abstract

The present invention relates to a method for monitoring a freezing-prone and slippery area. The method includes: a step in which a data processing unit generates a multi-channel image vector by embedding a LiDAR image obtained by a LiDAR sensor scanning a monitoring region, an infrared filter image obtained by an infrared filter camera imaging the monitoring region, and a thermal infrared image obtained by a thermal infrared camera imaging the monitoring region; a step in which a detection unit inputs the multi-channel image vector to a detection model; a step in which the detection model performs calculations to which interlayer learned weights are applied with respect to the multi-channel image vector and outputs the probability of existence of a section box specifying a region where freezing is estimated and freezing in the region specified by the section box; and a step in which the detection unit recognizes freezing occurrence and transmits a freezing occurrence notification message when the probability is equal to or higher than a preset threshold.

Description

Apparatus for monitoring habitual freezing and slippery areas using deep learning model and method therefor

본 발명은 모니터링 기술에 관한 것으로, 보다 상세하게는, 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to a monitoring technology, and more particularly, to an apparatus for monitoring a habitual ice and slippery risk area using a deep learning model and a method therefor.

블랙아이스(Black ice 또는 clear ice)는 도로 표면에 코팅한 것처럼 얇은 얼음막이 생기는 현상을 말한다. 이는 아스팔트 표면의 틈 사이로 눈과 습기가 공기 중의 매연, 먼지와 뒤엉켜 스며든 뒤 검게 얼어붙는 현상을 포함한다. 추운 겨울에 다리 위, 터널의 출입구, 그늘진 도로, 산모퉁이 음지 등 그늘지고 온도가 낮은 곳에 주로 생긴다. Black ice (or clear ice) refers to a phenomenon in which a thin layer of ice is formed as if coated on the road surface. This includes the phenomenon in which snow and moisture seep through cracks in the asphalt surface and become entangled with soot and dust in the air and then freeze to black. In cold winter, it occurs mainly in shady and low temperature places such as on bridges, tunnel entrances, shady roads, and in the shade of mountain corners.

한국등록특허 제2158841호 2020년 09월 16일 등록 (명칭: 블랙아이스 검출 시스템)Registered Korea Patent No. 2158841 on September 16, 2020 (Name: Black Ice Detection System)

본 발명은 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 장치 및 이를 위한 방법을 제공함에 있다. An object of the present invention is to provide an apparatus for monitoring a habitual ice and slippery risk area using a deep learning model and a method therefor.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 상습 결빙 및 미끄러움 위험 지역 모니터링을 위한 방법은 데이터처리부가 모니터링 영역을 라이다센서를 통해 스캔한 라이다 영상, 상기 모니터링 영역을 적외선필터카메라로 촬영한 적외선필터 영상, 상기 모니터링 영역을 열적외선 카메라로 촬영한 열적외선 영상을 임베딩하여 멀티채널영상벡터를 생성하는 단계와, 검출부가 상기 멀티채널영상벡터를 검출모델에 입력하는 단계와, 상기 검출모델이 상기 멀티채널영상벡터에 대해 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 수행하여 결빙 발생이 추정되는 영역을 특정하는 구획박스 및 상기 구획박스가 특정하는 영역에 결빙이 존재할 확률을 출력하는 단계와, 상기 확률이 기 설정된 임계치 이상이면, 상기 검출부가 결빙이 발생한 것으로 인식하고, 결빙 발생을 알리는 메시지를 전송하는 단계를 포함한다. In the method for monitoring a habitual ice and slippery danger area according to a preferred embodiment of the present invention for achieving the above object, the data processing unit scans the monitoring area through the lidar sensor, the lidar image, and the monitoring region. Creating a multi-channel image vector by embedding an infrared filter image captured by an infrared filter camera and a thermal infrared image captured by a thermal infrared camera in the monitoring area; and inputting the multi-channel image vector into a detection model by a detector And, the detection model performs a plurality of calculations to which the weights learned between a plurality of layers are applied to the multi-channel image vector, and a partition box for specifying an area where the occurrence of icing is estimated, and an area specified by the partition box. outputting a probability of the existence of the icicle, and if the probability is greater than or equal to a preset threshold, the detection unit recognizes that ice has occurred, and transmits a message informing of the occurrence of ice.

상기 멀티채널영상벡터를 생성하는 단계는 상기 데이터처리부가 상기 라이다 영상, 상기 적외선필터 영상 및 상기 열적외선 영상을 수평 및 수직 방향으로 소정의 단위 높이 및 단위 폭을 가지는 복수의 단위 영역으로 구분하는 단계와, 상기 데이터처리부가 상기 복수의 단위 영역 각각에 대해 동일한 규격의 컨벌루션 필터를 이용하여 컨벌루션 연산을 수행하여 해당 단위 영역의 특징을 표현하는 특징값을 추출하는 단계와, 상기 데이터처리부가 상기 라이다 영상, 상기 적외선필터 영상 및 상기 열적외선 영상 각각의 복수의 단위 영역에 대해 도출된 특징값을 원소로 하는 라이다영상벡터, 적외선필터영상벡터 및 열적외선영상벡터를 생성하는 단계와, 상기 데이터처리부가 상기 라이다영상벡터, 상기 적외선필터영상벡터 및 상기 열적외선영상벡터를 병합하여 상기 멀티채널영상벡터를 생성하는 단계를 포함한다. In the generating of the multi-channel image vector, the data processing unit divides the lidar image, the infrared filter image, and the thermal infrared image into a plurality of unit regions having predetermined unit heights and unit widths in horizontal and vertical directions. Step, the data processing unit performing a convolution operation using a convolution filter of the same standard for each of the plurality of unit regions to extract a feature value expressing the characteristics of the unit region, the data processing unit performing the generating a lidar image vector, an infrared filter image vector, and a thermal infrared image vector using feature values derived for a plurality of unit regions of the IDA image, the infrared filter image, and the thermal infrared image as elements; and generating, by a processing unit, the multi-channel image vector by merging the lidar image vector, the infrared filter image vector, and the thermal infrared image vector.

상기 컨벌루션 필터는 상기 단위 영역과 동일한 규격이고, 상기 단위 영역의 픽셀의 수에 대응하는 원소를 가지며, 상기 컨벌루션 필터의 모든 원소는 0 혹은 1의 값을 가지되, 상기 컨벌루션 필터의 서로 이웃하는 원소는 다른 값을 가지는 것을 특징으로 한다. The convolution filter has the same standard as the unit region, has elements corresponding to the number of pixels in the unit region, all elements of the convolution filter have a value of 0 or 1, and elements adjacent to each other of the convolution filter is characterized by having different values.

상기 방법은 상기 복수의 단위 영역으로 구분하는 단계 전, 상기 데이터처리부가 상기 적외선필터 영상에 대해 이미지 프로세싱을 통해 관심영역을 검출하고, 검출된 관심영역을 제외한 나머지 영역의 픽셀값을 소거하거나, 0으로 채우는 단계를 더 포함한다. In the method, before the step of dividing into the plurality of unit regions, the data processing unit detects a region of interest through image processing for the infrared filter image, and erases pixel values of the remaining regions except for the detected region of interest, or 0 It further comprises the step of filling with

상기 방법은 상기 복수의 단위 영역으로 구분하는 단계 전, 상기 데이터처리부가 상기 열적외선 영상 중 픽셀의 온도가 소정 수치 이상인 픽셀의 픽셀값을 소거하거나, 0으로 채우는 단계를 더 포함한다. The method further includes, before the step of dividing the plurality of unit regions, the data processing unit erasing or filling the pixel values of pixels in the thermal infrared image with a temperature equal to or greater than a predetermined value with zero.

상기 방법은 상기 멀티채널영상벡터를 생성하는 단계 전, 모델생성부가 데이터처리부를 통해 결빙 여부가 알려진 영역이 적어도 일부가 포함되는 학습 영역을 라이다센서로 스캔한 라이다 영상, 상기 학습 영역을 적외선 필터 카메라로 촬영한 적외선필터 영상 및 상기 학습 영역을 열적외선카메라로 촬영한 열적외선 영상으로부터 학습용 멀티채널영상벡터를 생성하는 단계와, 상기 모델생성부가 결빙 상태 및 미결빙 상태를 구분하여 학습용 멀티채널영상벡터에 대한 레이블을 설정하는 단계와, 상기 모델생성부가 손실함수에 대한 독립 하이퍼파라미터 및 종속 하이퍼파라미터를 포함하는 하이퍼파라미터를 설정하는 단계와, 상기 모델생성부가 상기 학습용 멀티채널영상벡터를 검출모델에 입력하는 단계와, 상기 검출모델이 입력된 학습용 멀티채널영상벡터에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 출력값을 산출하는 단계와, 상기 모델생성부가 상기 손실 함수를 통해 상기 출력값과 상기 레이블의 차이인 손실이 최소가 되도록 검출모델의 가중치를 수정하는 최적화를 수행하는 단계와, 상기 검출모델을 평가 지표를 통해 검증하여 상기 검출모델이 기 설정된 정확도에 도달할 때까지 상기 학습용 멀티채널영상벡터를 생성하는 단계와, 상기 레이블을 설정하는 단계와, 상기 검출모델에 입력하는 단계와, 상기 출력값을 산출하는 단계와, 상기 최적화를 수행하는 단계를 반복하는 단계를 더 포함한다. In the method, before the step of generating the multi-channel image vector, the model generating unit scans the learning area including at least a part of the area for which the freezing state is known through the data processing unit with the lidar sensor, and the learning area is subjected to infrared rays. generating a multi-channel image vector for learning from an infrared filter image photographed with a filter camera and a thermal infrared image photographed with a thermal infrared camera for the learning area; Setting a label for an image vector, the model generating unit setting hyperparameters including independent hyperparameters and dependent hyperparameters for the loss function, and the model generating unit detecting the multi-channel image vector for training as a detection model calculating an output value through a plurality of calculations in which a plurality of layer weights are applied to the multi-channel image vector for learning to which the detection model is input, and the model generator using the loss function to calculate the output value. and performing optimization of correcting the weight of the detection model so that the loss that is the difference between the label and the label is minimized, and verifying the detection model through an evaluation index until the detection model reaches a preset accuracy The method further includes repeating the steps of generating a channel image vector, setting the label, input to the detection model, calculating the output value, and performing the optimization.

상기 손실함수는

The loss function is

이고, 상기 S는 셀의 수이고, 상기 C는 신뢰 점수이고, 상기 B는 한 셀 내의 구획상자의 수이고, 상기 pi(c)는 i 번째 셀의 객체가 클래스 c에 속할 확률이고, 상기 i는 결빙 상태 객체가 존재하는 셀을 나타내는 파라미터이고, 상기 j는 예측된 구획상자를 나타내는 파라미터이고, 상기 bx, by는 구획상자의 중심좌표이고, 상기 bw 및 bh는 각각 구획상자의 폭과 높이이고, 상기

는 독립 하이퍼파라미터이고, 상기

는 종속 하이퍼파라미터인 것을 특징으로 한다. where S is the number of cells, C is the confidence score, B is the number of compartments in one cell, and pi(c) is the probability that the object of the i-th cell belongs to class c, and i is a parameter indicating the cell in which the frozen state object exists, the j is a parameter indicating the predicted compartment box, the bx and by are the center coordinates of the compartment box, and bw and bh are the width and height of the compartment box, respectively. , remind

is an independent hyperparameter, wherein

is a dependent hyperparameter.

상기 하이퍼파라미터를 설정하는 단계는 상기 반복 시 마다, 상기 독립 하이퍼파라미터인 상기

를 0.5에서 1까지 반복 시 마다 소정 수치씩 증가시켜 설정함으로써, 수학식

에 따라 상기 종속 하이퍼파라미터인 상기

를 0.5에서 0까지 소정 수치씩 감소시켜 설정하는 것을 특징으로 한다. The step of setting the hyperparameter is the independent hyperparameter at each iteration.

By setting increments by a predetermined value for each repetition from 0.5 to 1, the equation

According to the dependent hyperparameter, the

It is characterized in that it is set by decreasing by a predetermined value from 0.5 to 0.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 상습 결빙 및 미끄러움 위험 지역 모니터링을 위한 방법은 모델생성부가 데이터처리부를 통해 결빙 여부가 알려진 영역이 적어도 일부가 포함되는 학습 영역을 라이다센서로 스캔한 라이다 영상, 상기 학습 영역을 적외선 필터 카메라로 촬영한 적외선필터 영상 및 상기 학습 영역을 열적외선카메라로 촬영한 열적외선 영상으로부터 학습용 멀티채널영상벡터를 생성하는 단계와, 상기 모델생성부가 결빙 상태 및 미결빙 상태를 구분하여 학습용 멀티채널영상벡터에 대한 레이블을 설정하는 단계와, 상기 모델생성부가 손실함수에 대한 독립 하이퍼파라미터 및 종속 하이퍼파라미터를 포함하는 하이퍼파라미터를 설정하는 단계와, 상기 모델생성부가 상기 학습용 멀티채널영상벡터를 검출모델에 입력하는 단계와, 상기 검출모델이 입력된 학습용 멀티채널영상벡터에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 출력값을 산출하는 단계와, 상기 모델생성부가 상기 손실 함수를 통해 상기 출력값과 상기 레이블의 차이인 손실이 최소가 되도록 검출모델의 가중치를 수정하는 최적화를 수행하는 단계와, 상기 검출모델을 평가 지표를 통해 검증하여 상기 검출모델이 기 설정된 정확도에 도달할 때까지, 상기 학습용 멀티채널영상벡터를 생성하는 단계와, 상기 레이블을 설정하는 단계와, 상기 검출모델에 입력하는 단계와, 상기 출력값을 산출하는 단계와, 상기 최적화를 수행하는 단계를 반복하는 단계를 포함한다. In the method for monitoring a habitual freezing and slippery danger area according to a preferred embodiment of the present invention for achieving the above object, the model generating unit selects a learning area including at least a part of the area in which the ice is known through the data processing unit. Generating a multi-channel image vector for learning from a lidar image scanned with a lidar sensor, an infrared filter image obtained by photographing the learning area with an infrared filter camera, and a thermal infrared image photographed with a thermal infrared camera for the learning area; Setting a label for a multi-channel image vector for training by a model generator classifying a frozen state and a non-freezing state, and setting a hyperparameter including an independent hyperparameter and a dependent hyperparameter for the loss function by the model generator and inputting the multi-channel image vector for training into a detection model by the model generator, and calculating an output value through a plurality of calculations in which weights of a plurality of layers are applied to the multi-channel image vector for training to which the detection model is input. performing optimization of correcting the weight of the detection model so that the loss, which is the difference between the output value and the label, is minimized by the model generator through the loss function, and verifying the detection model through the evaluation index until the detection model reaches a preset accuracy, generating the multi-channel image vector for training, setting the label, inputting to the detection model, and calculating the output value; and repeating the step of performing the optimization.

상기 방법은 데이터처리부가 모니터링 영역을 라이다센서를 통해 스캔한 라이다 영상, 상기 모니터링 영역을 적외선필터카메라로 촬영한 적외선필터 영상, 상기 모니터링 영역을 열적외선 카메라로 촬영한 열적외선 영상을 임베딩하여 멀티채널영상벡터를 생성하는 단계와, 검출부가 상기 멀티채널영상벡터를 상기 검출모델에 입력하는 단계와, 상기 검출모델이 상기 멀티채널영상벡터에 대해 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 수행하여 결빙 발생이 추정되는 영역을 특정하는 구획박스 및 상기 구획박스가 특정하는 영역에 결빙이 존재할 확률을 출력하는 단계와, 상기 확률이 기 설정된 임계치 이상이면, 상기 검출부가 결빙이 발생한 것으로 인식하고, 결빙 발생을 알리는 메시지를 전송하는 단계를 포함한다. The method embeds a lidar image in which the data processing unit scans the monitoring area through a lidar sensor, an infrared filter image in which the monitoring area is photographed with an infrared filter camera, and a thermal infrared image in which the monitoring area is photographed by a thermal infrared camera. generating a multi-channel image vector; inputting the multi-channel image vector into the detection model by a detection unit; outputting a partition box specifying an area in which the occurrence of ice is estimated by performing an operation and a probability that ice exists in the area specified by the partition box; Recognizing and transmitting a message notifying the occurrence of freezing.

상기 손실함수는

The loss function is

는 독립 하이퍼파라미터이고, 상기

is an independent hyperparameter, wherein

is a dependent hyperparameter.

에 따라 상기 종속 하이퍼파라미터인 상기

According to the dependent hyperparameter, the

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 상습 결빙 및 미끄러움 위험 지역 모니터링을 위한 장치는 모니터링 영역을 라이다센서를 통해 스캔한 라이다 영상, 상기 모니터링 영역을 적외선필터카메라로 촬영한 적외선필터 영상, 상기 모니터링 영역을 열적외선 카메라로 촬영한 열적외선 영상을 임베딩하여 멀티채널영상벡터를 생성하는 데이터처리부와, 상기 멀티채널영상벡터를 검출모델에 입력하여 상기 검출모델이 상기 멀티채널영상벡터에 대해 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 수행하여 결빙 발생이 추정되는 영역을 특정하는 구획박스 및 상기 구획박스가 특정하는 영역에 결빙이 존재할 확률을 출력하면, 상기 확률에 따라 결빙 발생 여부를 인식하는 검출부를 포함한다. The apparatus for monitoring a habitual ice and slippery danger area according to a preferred embodiment of the present invention for achieving the above object is a lidar image scanned through a lidar sensor in a monitoring area, and an infrared filter camera in the monitoring area A data processing unit that generates a multi-channel image vector by embedding an infrared filter image taken with a thermal infrared camera and a thermal infrared image photographed with a thermal infrared camera in the monitoring area; and inputting the multi-channel image vector into a detection model so that the detection model is When the multi-channel image vector performs a plurality of operations to which the weights learned between a plurality of layers are applied to output a partition box specifying an area where the occurrence of ice is estimated and the probability that ice exists in the area specified by the partition box, and a detector for recognizing whether or not ice has occurred according to the probability.

상기 데이터처리부는 상기 라이다 영상, 상기 적외선필터 영상 및 상기 열적외선 영상을 수평 및 수직 방향으로 소정의 단위 높이 및 단위 폭을 가지는 복수의 단위 영역으로 구분하고, 상기 복수의 단위 영역 각각에 대해 동일한 규격의 컨벌루션 필터를 이용하여 컨벌루션 연산을 수행하여 해당 단위 영역의 특징을 표현하는 특징값을 추출하고, 상기 라이다 영상, 상기 적외선필터 영상 및 상기 열적외선 영상 각각의 복수의 단위 영역에 대해 도출된 특징값을 원소로 하는 라이다영상벡터, 적외선필터영상벡터 및 열적외선영상벡터를 생성하고, 상기 라이다영상벡터, 상기 적외선필터영상벡터 및 상기 열적외선영상벡터를 병합하여 상기 멀티채널영상벡터를 생성하는 것을 특징으로 한다. The data processing unit divides the lidar image, the infrared filter image, and the thermal infrared image into a plurality of unit regions having predetermined unit heights and unit widths in horizontal and vertical directions, and the same is applied to each of the plurality of unit regions. A convolutional operation is performed using a standard convolution filter to extract a feature value expressing a characteristic of a corresponding unit area, and derived for a plurality of unit areas of each of the LiDAR image, the infrared filter image, and the thermal infrared image. A lidar image vector, an infrared filter image vector, and a thermal infrared image vector are generated using feature values as elements, and the multi-channel image vector is obtained by merging the lidar image vector, the infrared filter image vector, and the thermal infrared image vector. It is characterized by creating

상기 데이터처리부는 상기 복수의 단위 영역으로 구분하기 전, 상기 적외선필터 영상에 대해 이미지 프로세싱을 통해 관심영역을 검출하고, 검출된 관심영역을 제외한 나머지 영역의 픽셀값을 소거하거나, 0으로 채우는 것을 특징으로 한다. The data processing unit detects a region of interest through image processing on the infrared filter image before dividing it into the plurality of unit regions, and erases pixel values of the remaining regions except for the detected region of interest or fills them with zero do it with

상기 데이터처리부는 상기 복수의 단위 영역으로 구분하기 전, 상기 열적외선 영상 중 픽셀의 온도가 소정 수치 이상인 픽셀의 픽셀값을 소거하거나, 0으로 채우는 것을 특징으로 한다. The data processing unit may erase or fill a pixel value of a pixel having a temperature equal to or greater than a predetermined value in the thermal infrared image in the thermal infrared image before dividing it into the plurality of unit regions.

상기 모델생성부는 상기 데이터처리부를 통해 결빙 여부가 알려진 영역이 적어도 일부가 포함되는 학습 영역을 라이다센서로 스캔한 라이다 영상, 상기 학습 영역을 적외선 필터 카메라로 촬영한 적외선필터 영상 및 상기 학습 영역을 열적외선카메라로 촬영한 열적외선 영상으로부터 학습용 멀티채널영상벡터를 생성하고, 결빙 상태 및 미결빙 상태를 구분하여 상기 학습용 멀티채널영상벡터에 대한 레이블을 설정하고, 상기 학습용 멀티채널영상벡터에 대해 손실함수에 대한 독립 하이퍼파라미터 및 종속 하이퍼파라미터를 포함하는 하이퍼파라미터를 설정하고, 상기 학습용 멀티채널영상벡터를 검출모델에 입력하여 상기 검출모델이 입력된 학습용 멀티채널영상벡터에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 출력값을 산출하면, 상기 손실 함수를 통해 상기 출력값과 상기 레이블의 차이인 손실이 최소가 되도록 검출모델의 가중치를 수정하는 최적화를 수행하는 것을 특징으로 한다. The model generating unit includes a lidar image scanned by a lidar sensor on a learning region including at least a part of a region for which ice is known through the data processing unit, an infrared filter image obtained by photographing the learning region with an infrared filter camera, and the learning region Generates a multi-channel image vector for training from a thermal infrared image taken with a thermal infrared camera, sets a label for the multi-channel image vector for learning by classifying an icy state and a non-freezing state, and for the multi-channel image vector for learning Set hyperparameters including independent hyperparameters and dependent hyperparameters for the loss function, input the multi-channel image vector for training into a detection model, and weights of a plurality of layers with respect to the multi-channel image vector for training to which the detection model is input When an output value is calculated through a plurality of operations to which α is applied, an optimization is performed to correct the weight of the detection model so that a loss that is a difference between the output value and the label is minimized through the loss function.

상기 손실함수는

The loss function is

는 독립 하이퍼파라미터이고, 상기

is an independent hyperparameter, wherein

is a dependent hyperparameter.

상기 모델생성부는 상기 독립 하이퍼파라미터인 상기

에 따라 상기 종속 하이퍼파라미터인 상기

를 0.5에서 0까지 소정 수치씩 감소시켜 설정하는 것을 특징으로 한다. The model generating unit is the independent hyperparameter.

According to the dependent hyperparameter, the

본 발명에 따르면, 심층학습 모델을 이용하여 상습 결빙 및 미끄러움 위험 지역에 블랙아이스 등의 결빙이 발생하였는지 여부를 실시간으로 검출하고, 이를 알릴 수 있다. 따라서 블랙아이스 등의 도로 결빙에 따른 사고를 미연에 예방할 수 있다. According to the present invention, it is possible to detect in real time whether or not icing such as black ice has occurred in a habitual icing and slippery risk area by using a deep learning model, and notify it. Therefore, accidents caused by road icing such as black ice can be prevented in advance.

도 1은 본 발명의 실시예에 따른 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 시스템에서 모니터링장치의 모니터링 영역을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 장치의 구성을 설명하기 위한 블록도이다.
도 4는 내지 도 9는 본 발명의 실시예에 따른 모니터링장치의 데이터처리부의 멀티채널영상벡터를 생성하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 검출모델(DM)의 구성을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 검출모델(DM)의 출력값을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 검출모델을 생성하는 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 실시예에 따른 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 방법을 설명하기 위한 흐름도이다. 1 is a diagram for explaining the configuration of a system for monitoring a habitual ice and slippery danger area using a deep learning model according to an embodiment of the present invention.
2 is a diagram for explaining a monitoring area of a monitoring device in a system for monitoring a habitual ice and slippery danger area using a deep learning model according to an embodiment of the present invention.
3 is a block diagram for explaining the configuration of an apparatus for monitoring a habitual ice and slippery danger area using a deep learning model according to an embodiment of the present invention.
4 to 9 are diagrams for explaining a method of generating a multi-channel image vector of a data processing unit of a monitoring apparatus according to an embodiment of the present invention.
10 is a diagram for explaining the configuration of a detection model (DM) according to an embodiment of the present invention.
11 is a diagram for explaining an output value of a detection model DM according to an embodiment of the present invention.
12 is a flowchart illustrating a method of generating a detection model for monitoring a habitual ice and slippery danger area according to an embodiment of the present invention.
13 is a flowchart illustrating a method for monitoring a habitual ice and slippery risk area using a deep learning model according to an embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the terms or words used in the present specification and claims described below should not be construed as being limited to their ordinary or dictionary meanings, and the inventors should develop their own inventions in the best way. For explanation, it should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be appropriately defined as a concept of a term. Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical spirit of the present invention, so various equivalents that can be substituted for them at the time of the present application It should be understood that there may be water and variations.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that the same components in the accompanying drawings are denoted by the same reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, some components are exaggerated, omitted, or schematically illustrated in the accompanying drawings, and the size of each component does not fully reflect the actual size.

먼저, 본 발명의 실시예에 따른 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 시스템의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 시스템에서 모니터링장치의 모니터링 영역을 설명하기 위한 도면이다. 도 1을 참조하면, 본 발명의 실시예에 따른 모니터링시스템은 복수의 모니터링장치(10), 복수의 모니터링장치(10)와 연결되는 복수의 에지장치(20), 복수의 에지장치(20)를 관리하는 모니터링서버(30) 및 관제서버(40)를 포함한다. 이러한 복수의 모니터링장치(10), 복수의 에지장치(20), 모니터링서버(30) 및 관제서버(40)는 상호 간에 통신을 통해 연결될 수 있다. First, a system for monitoring a habitual ice and slippery risk area using a deep learning model according to an embodiment of the present invention will be described. 1 is a diagram for explaining the configuration of a system for monitoring a habitual ice and slippery danger area using a deep learning model according to an embodiment of the present invention. 2 is a diagram for explaining a monitoring area of a monitoring device in a system for monitoring a habitual ice and slippery danger area using a deep learning model according to an embodiment of the present invention. Referring to FIG. 1 , a monitoring system according to an embodiment of the present invention includes a plurality of monitoring devices 10 , a plurality of edge devices 20 connected to the plurality of monitoring devices 10 , and a plurality of edge devices 20 . It includes a monitoring server 30 and a control server 40 to manage. The plurality of monitoring devices 10 , the plurality of edge devices 20 , the monitoring server 30 , and the control server 40 may be connected to each other through communication.

도 2에 도시된 바와 같이, 모니터링장치(10)는 소정 위치에 배치되며, 배치된 위치에 할당된 모니터링 영역(MA)에 결빙이 발생하는지 여부를 모니터링한다. 이러한 모니터링 중 예컨대, 블랙아이스와 같은 결빙이 발생한 것을 검출하면, 모니터링장치(10)는 결빙이 발생한 것을 알리는 메시지를 에지장치(20)를 통해 모니터링서버(30)로 전송하며, 모니터링서버(30)는 다시 관제서버(40)로 이러한 메시지를 전송한다. 여기서, 관제서버(40)는 도로교통공단, 경찰서 등의 상황 관제실에서 사용하는 장치가 될 수 있다. As shown in FIG. 2 , the monitoring device 10 is disposed at a predetermined location, and monitors whether ice is generated in the monitoring area MA allocated to the disposed location. If it is detected that icing such as black ice has occurred during such monitoring, the monitoring device 10 transmits a message indicating that icing has occurred to the monitoring server 30 through the edge device 20, and the monitoring server 30 sends this message back to the control server 40 . Here, the control server 40 may be a device used in a situation control room such as the Road Traffic Authority or a police station.

그러면, 본 발명의 실시예에 따른 모니터링장치(10)의 구성에 대해 보다 상세하게 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 장치의 구성을 설명하기 위한 블록도이다. 도 4는 내지 도 9는 본 발명의 실시예에 따른 모니터링장치의 데이터처리부의 멀티채널영상벡터를 생성하는 방법을 설명하기 위한 도면이다. 도 10은 본 발명의 실시예에 따른 검출모델(DM)의 구성을 설명하기 위한 도면이다. 도 11은 본 발명의 실시예에 따른 검출모델(DM)의 출력값을 설명하기 위한 도면이다. Then, the configuration of the monitoring device 10 according to the embodiment of the present invention will be described in more detail. 3 is a block diagram for explaining the configuration of an apparatus for monitoring a habitual ice and slippery danger area using a deep learning model according to an embodiment of the present invention. 4 to 9 are diagrams for explaining a method of generating a multi-channel image vector of a data processing unit of a monitoring apparatus according to an embodiment of the present invention. 10 is a diagram for explaining the configuration of a detection model (DM) according to an embodiment of the present invention. 11 is a diagram for explaining an output value of a detection model DM according to an embodiment of the present invention.

먼저, 도 3을 참조하면, 본 발명의 실시예에 따른 모니터링장치(10)는 카메라부(11), 라이다부(12), 통신부(13) 및 제어부(14)를 포함한다. First, referring to FIG. 3 , the monitoring apparatus 10 according to an embodiment of the present invention includes a camera unit 11 , a lidar unit 12 , a communication unit 13 , and a control unit 14 .

카메라부(11)는 영상을 촬영하기 위한 것이다. 카메라부(11)는 적외선필터카메라(110) 및 열적외선카메라(120)를 포함한다. 적외선필터카메라(110)는 영상 카메라에 적외선 차단 필터(IR cut)를 부가한 것이다. 적외선필터카메라(110)는 피사체를 촬영하여 근적외선 영역이 필터링된 컬러 영상(Color Image)인 적외선필터 영상을 출력한다. 열적외선카메라(120)는 피사체를 촬영하여 열적외선 영상(Thermal Image)을 출력한다. The camera unit 11 is for capturing an image. The camera unit 11 includes an infrared filter camera 110 and a thermal infrared camera 120 . The infrared filter camera 110 adds an infrared cut filter (IR cut) to the video camera. The infrared filter camera 110 outputs an infrared filter image that is a color image in which the near infrared region is filtered by photographing a subject. The thermal infrared camera 120 outputs a thermal image by photographing a subject.

라이다부(12)는 라이다센서(200)를 포함한다. 라이다센서(200)는 전파를 전방향(Omni-Directional)으로 방사하여 라이다센서(200)의 중심으로부터 3차원 공간의 수직 또는 수평 방향 또는 2차원 공간의 수평 방향의 각도별 객체에 대한 좌표 및 빛이 반사된 강도를 나타내는 반사 강도로 이루어진 복수의 스캔 정보를 포함하는 스캔 데이터를 출력한다. 스캔 정보는 지면과 평행한 평면의 X축 및 Y축과 높이 방향의 Z축으로 구성되는 3차원 직교좌표계(Catesian Coordinate) 상의 객체에 대한 좌표 및 전파가 반사된 강도(Intensity)를 반사 강도이다. 즉, 라이다센서(200)가 스캔하여 출력하는 스캔 데이터에 포함된 스캔 정보는 3차원 직교좌표계를 통해 객체 표면을 구성하는 복수의 점 중 어느 하나의 위치를 나타내는 좌표와, 해당 점으로부터 전파가 반사되는 강도를 나타내는 반사 강도를 포함한다. 이와 같이, 라이다센서(200)가 출력하는 스캔 데이터는 다음의 수학식 1과 같다. The lidar unit 12 includes a lidar sensor 200 . The lidar sensor 200 radiates radio waves in an omni-Directional direction from the center of the lidar sensor 200 to coordinates for each object in a vertical or horizontal direction in a three-dimensional space or a horizontal direction in a two-dimensional space. and outputting scan data including a plurality of scan information including a reflection intensity indicating a light reflected intensity. The scan information includes the coordinates of the object on the three-dimensional rectangular coordinate system (Catesian Coordinate) composed of the X-axis and Y-axis of a plane parallel to the ground and the Z-axis in the height direction, and the intensity of reflected radio waves. That is, the scan information included in the scan data scanned and output by the lidar sensor 200 includes coordinates indicating the position of any one of a plurality of points constituting the object surface through a three-dimensional Cartesian coordinate system, and the radio waves from the point. Includes reflection intensity indicating the intensity that is reflected. As described above, the scan data output by the lidar sensor 200 is expressed by Equation 1 below.

수학식 1에서, Sd는 스캔 데이터를 나타낸다. 또한, 스캔 데이터를 통해 N은 출력되는 스캔 정보의 수를 나타낸다. 즉, 스캔 정보의 수는 전파가 반사되는 객체 표면의 복수의 점이 있을 때, 그 복수의 점의 수를 나타낸다. 라이다센서(200)의 스캔 순간마다 스캔 정보의 수 N은 달라질 수 있다. 또한, (xk, yk, zk)는 전파를 반사하는 객체 표면의 복수의 점 각각의 직교좌표계에 따른 좌표이며, vk는 객체 표면의 복수의 점 각각에서 반사되는 전파의 강도를 나타내는 반사 강도이다. 라이다부(12)는 스캔 정보를 포함하는 스캔 데이터를 기초로 라이다 영상을 생성하여 출력한다. In Equation 1, Sd represents scan data. Also, through the scan data, N represents the number of output scan information. That is, the number of scan information indicates the number of the plurality of points when there are a plurality of points on the object surface where the radio waves are reflected. The number N of scan information may vary for each scan moment of the lidar sensor 200 . In addition, (xk, yk, zk) is a coordinate according to the Cartesian coordinate system of each of a plurality of points on the surface of an object that reflects radio waves, and vk is a reflection intensity indicating the intensity of a radio wave reflected from each of a plurality of points on the surface of the object. The lidar unit 12 generates and outputs a lidar image based on scan data including scan information.

통신부(15)는 에지장치(20)와 통신을 위한 것이다. 또한, 통신부(15)는 에지장치(20)를 통해 모니터링서버(30)와 통신할 수 있다. 통신부(15)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기를 포함한다. 또한, 통신부(15)는 송신되는 신호를 변조하고, 수신되는 신호를 복조하는 모뎀(modem)을 포함한다. The communication unit 15 is for communication with the edge device 20 . Also, the communication unit 15 may communicate with the monitoring server 30 through the edge device 20 . The communication unit 15 includes an RF transmitter for up-converting and amplifying a frequency of a transmitted signal, and an RF receiver for low-noise amplifying and down-converting a received signal. In addition, the communication unit 15 includes a modem that modulates a transmitted signal and demodulates a received signal.

제어부(14)는 모니터링장치(10)의 전반적인 동작 및 모니터링장치(10)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 또한, 제어부(14)는 기본적으로, 모니터링장치(10)의 각 종 기능을 제어하는 역할을 수행한다. 제어부(14)는 CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerated Processing Unit), DSP(Digital Signal Processor) 등을 예시할 수 있다. 이러한 제어부(14)는 데이터처리부(300), 모델생성부(400) 및 검출부(500)를 포함한다. The controller 14 may control the overall operation of the monitoring device 10 and the signal flow between internal blocks of the monitoring device 10 , and perform a data processing function of processing data. Also, the control unit 14 basically serves to control various functions of the monitoring device 10 . The controller 14 may include a central processing unit (CPU), a graphics processing unit (GPU), an accelerated processing unit (APU), a digital signal processor (DSP), and the like. The control unit 14 includes a data processing unit 300 , a model generation unit 400 , and a detection unit 500 .

데이터처리부(300)는 카메라부(11)의 적외선필터카메라(110)가 촬영한 적외선필터 영상(FI) 및 열적외선카메라(120)가 촬영한 열적외선 영상(TI) 및 라이다부(12)의 라이다센서(200)가 스캔한 스캔 데이터를 기초로 생성한 라이다 영상(LI)을 소정의 벡터공간에 임베딩하여 검출모델(DM)에 입력되는 데이터인 다채널영상벡터(M)를 생성하기 위한 것이다. 데이터처리부(300)는 라이다부(12)로부터 모니터링 영역(MA)을 라이다센서(200)를 통해 스캔한 라이다 영상(LI)을 입력받고, 카메라부(11)로부터 모니터링 영역(MA)을 적외선필터카메라(110)로 촬영한 적외선필터 영상(FI), 모니터링 영역(MA)을 열적외선카메라(120)로 촬영한 열적외선 영상(TI)을 입력받을 수 있다. The data processing unit 300 includes an infrared filter image FI photographed by the infrared filter camera 110 of the camera unit 11 and a thermal infrared image TI photographed by the thermal infrared camera 120 and the lidar unit 12 . To generate a multi-channel image vector (M) that is data input to the detection model (DM) by embedding the lidar image (LI) generated based on the scan data scanned by the lidar sensor 200 in a predetermined vector space it is for The data processing unit 300 receives the lidar image LI scanned through the lidar sensor 200 in the monitoring area MA from the lidar unit 12 , and receives the monitoring area MA from the camera unit 11 . An infrared filter image FI photographed by the infrared filter camera 110 and a thermal infrared image TI photographed by the thermal infrared camera 120 in the monitoring area MA may be input.

이와 같이, 데이터처리부(300)는 라이다 영상, 적외선필터 영상 및 열적외선 영상(LI, FI, TI)을 입력 받으면, 선택적으로, 적외선필터 영상 및 열적외선 영상(FI, TI) 중 일부의 픽셀의 픽셀값을 소거하거나, 0으로 채울 수 있다. 즉, 데이터처리부(300)는 적외선필터 영상(FI)에 대해 이미지 프로세싱을 통해 도 4에 도시된 바와 같이, 관심영역(ROI)을 검출할 수 있다. 이때, 데이터처리부(300)는 히스토그램 필터링, 캐니 엣지 검출, 허프 변환, 해리스 코너 검출 등의 기법을 이용하여 관심영역(ROI)을 검출할 수 있다. 그런 다음, 데이터처리부(300)는 도 5에 도시된 바와 같이, 관심영역(ROI)을 제외한 나머지 영역의 픽셀값을 모두 소거하거나, 0으로 채울수 있다. 또한, 데이터처리부(300)는 열적외선 영상(TI) 중 픽셀의 온도가 소정 수치 이상인 경우, 해당 픽셀의 픽셀값을 모두 소거하거나, 0으로 채울 수 있다. 이와 같이, 적외선필터 영상 및 열적외선 영상 중 일부의 픽셀의 픽셀값을 소거하거나, 0으로 채우는 절차는 선택적인 것으로 생략할 수도 있다. In this way, when the data processing unit 300 receives the LIDAR image, the infrared filter image, and the thermal infrared image LI, FI, and TI, the pixels of some of the infrared filter image and the thermal infrared image FI, TI are selectively received. You can erase the pixel value of , or fill it with 0. That is, the data processing unit 300 may detect the region of interest ROI as shown in FIG. 4 through image processing for the infrared filter image FI. In this case, the data processing unit 300 may detect the region of interest (ROI) by using techniques such as histogram filtering, Canny edge detection, Hough transform, and Harris corner detection. Thereafter, as shown in FIG. 5 , the data processing unit 300 may erase all pixel values of the remaining region except for the region of interest (ROI) or fill it with zero. Also, when the temperature of a pixel in the thermal infrared image TI is equal to or greater than a predetermined value, the data processing unit 300 may erase all pixel values of the corresponding pixel or fill it with zero. As described above, the process of erasing pixel values of some pixels of the infrared filter image and the thermal infrared image or filling them with zero may be optional and may be omitted.

다음으로, 도 6을 참조하면, 데이터처리부(300)는 3개의 영상(LI, FI, TI)이 모두 동일한 높이(H)와 폭(W)을 가질 때, 3개의 영상(LI, FI, TI)에 대해 수평 및 수직 방향으로 x개 및 y개로 분할하여 소정의 단위 높이(Uh) 및 단위 폭(Uw)을 가지는 복수의 단위 영역(Ua)으로 구분한다. Next, referring to FIG. 6 , when the three images LI, FI, and TI all have the same height H and width W, the data processing unit 300 generates the three images LI, FI, and TI. ), divided into x and y pieces in the horizontal and vertical directions, and divided into a plurality of unit areas Ua having predetermined unit heights Uh and unit widths Uw.

그런 다음, 데이터처리부(300)는 복수의 단위 영역(Ua) 각각과 동일한 규격의 컨벌루션 필터(Uf)를 이용하여 컨벌루션 연산을 수행하여 해당 단위 영역(Ua)의 특징을 표현하는 특징값(Uf)을 추출한다. 이때, 도 7에 도시된 바와 같이, 컨벌루션 필터(Uf)는 단위 영역(Ua)과 동일한 규격(Uw*Uh)을 가지며, 단위 영역(Ua)의 픽셀의 수에 대응하는 원소를 가진다. 특히, 컨벌루션 필터(Uf)의 모든 원소는 0 혹은 1의 값을 가지며, 서로 이웃하는 원소는 다른 값을 가진다. 즉, 0은 항상 1과 이웃하며, 1은 항상 0과 이웃하도록 배치된다. Then, the data processing unit 300 performs a convolution operation using a convolution filter Uf of the same standard as each of the plurality of unit areas Ua to express a feature of the corresponding unit area Ua. to extract At this time, as shown in FIG. 7 , the convolution filter Uf has the same standard (Uw*Uh) as the unit area Ua, and has elements corresponding to the number of pixels in the unit area Ua. In particular, all elements of the convolution filter Uf have a value of 0 or 1, and elements adjacent to each other have different values. That is, 0 is always adjacent to 1, and 1 is always arranged to be adjacent to 0.

그런 다음, 데이터처리부(300)는 도 8에 도시된 바와 같이, 3개의 영상(LI, FI, TI) 각각의 복수의 단위 영역(Ua)에 대해 도출된 특징값(Uf)을 원소로 하는 3개의 2차원의 행렬인 영상벡터, 즉, 라이다영상벡터, 적외선필터영상벡터 및 열적외선영상벡터(DL, DF, DT)를 생성한다. 이어서, 데이터처리부(300)는 3개의 2차원의 영상벡터(DL, DF, DT)를 모두 병합하여 멀티채널영상벡터(M)를 생성한다. 이러한 멀티채널영상벡터(M)는 검출모델(DM)에 입력되며, 검출모델(DM)은 멀티채널영상벡터(M)에 대한 연산을 통해 결빙 발생 여부를 추정한다. Then, as shown in FIG. 8 , the data processing unit 300 uses the feature value Uf derived for the plurality of unit areas Ua of each of the three images LI, FI, and TI as an element. Image vectors that are two-dimensional matrices, i.e., lidar image vectors, infrared filter image vectors, and thermal infrared image vectors (DL, DF, DT) are generated. Next, the data processing unit 300 generates a multi-channel image vector M by merging all three two-dimensional image vectors DL, DF, and DT. This multi-channel image vector (M) is input to the detection model (DM), and the detection model (DM) estimates whether or not icing occurs through an operation on the multi-channel image vector (M).

검출모델(DM)은 하나 또는 둘 이상의 계층(layer)을 포함하는 하나 또는 둘 이상의 신경망 네트워크(network)를 포함한다. 이러한 검출모델(DM)은 하나 이상의 계층을 포함하며, 어느 하나의 계층은 하나 이상의 연산을 수행한다. 어느 하나의 계층의 연산 결과는 가중치가 적용되어 다음 계층에 전달된다. 이는 현 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 것을 의미한다. 다른 말로, 검출모델(DM)은 가중치가 적용되는 복수의 연산을 수행한다. 복수의 계층은 컨볼루션(Convolution) 연산을 수행하는 컨볼루션계층(CVL: Convolution Layer), 다운샘플링(Down Sampling) 연산 혹은 업샘플링(Up Sampling) 연산을 수행하는 풀링계층(PLL: Pooling Layer), 활성화함수에 의한 연산을 수행하는 완전연결층(FCL: Fully Connected Layer) 등을 포함할 수 있다. 컨볼루션, 다운샘플링 및 업샘플링 연산 각각은 소정의 행렬로 이루어진 커널을 이용하며, 이러한 커널을 이루는 행렬의 원소의 값들이 가중치(w)가 될 수 있다. 여기서, 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 검출모델(DM)은 기본적으로, YOLO(You Only Look Once), YOLOv2, YOLO9000, YOLOv3 등의 모델을 예시할 수 있다. 검출모델(DM)은 추가로, FCL(Fully Connected Layer), DN(Neural Network), DNN(Deep Neural Network) 등의 추가적인 계층 혹은 네트워크를 더 포함할 수 있다. The detection model (DM) includes one or more neural networks including one or more layers. Such a detection model (DM) includes one or more layers, and any one layer performs one or more operations. The calculation result of one layer is weighted and transmitted to the next layer. This means that the weight is applied to the operation result of the current layer and input to the operation of the next layer. In other words, the detection model DM performs a plurality of operations to which weights are applied. A plurality of layers is a convolution layer (CVL) that performs a convolution operation, a pooling layer that performs a down sampling operation or an up sampling operation (PLL: Pooling Layer), It may include a fully connected layer (FCL) that performs an operation by an activation function, and the like. Each of the convolution, downsampling, and upsampling operations uses a kernel composed of a predetermined matrix, and values of elements of the matrix constituting the kernel may be the weight w. Here, the activation function may be exemplified by Sigmoid, Hyperbolic tangent (tanh), Exponential Linear Unit (ELU), Rectified Linear Unit (ReLU), Leakly ReLU, Maxout, Minout, Softmax, and the like. . The detection model DM may basically include models such as You Only Look Once (YOLO), YOLOv2, YOLO9000, and YOLOv3. The detection model (DM) may further include additional layers or networks such as a Fully Connected Layer (FCL), a Neural Network (DN), and a Deep Neural Network (DNN).

일 실시예에 따르면, 검출모델(DM)은 도 10에 도시된 바와 같이, 예측망(PN: prediction network)과 그 예측망(PN)에 대응하는 검출망(DN: detection network)을 포함한다. 예측망(EN)은 멀티채널영상벡터가 입력되면, 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 예측값을 출력한다. 즉, 도 11을 참조하면, 예측망(EN)은 영상(LI, FI, TI) 혹은 멀티채널영상벡터(M)를 예컨대, 도 11의 (1,1) 내지 (3,4)와 같이, 복수의 셀로 구분한 후, 복수의 셀 각각에 중심 좌표(x, y)를 가지는 복수의 구획상자(B: Bounding Box) 각각이 속한 셀을 기준으로 하는 중심과 폭 및 높이를 정의하는 좌표(x, y, w, h), 구획상자(B) 내에 객체가 포함되어 있으면서 구획상자(B)의 영역 내에 객체가 존재할 확률을 나타내는 신뢰도(confidence) 및 구획상자(B) 내의 객체가 복수의 클래스의 객체 각각에 속할 확률을 산출하여 예측값으로 출력할 수 있다. According to an embodiment, the detection model DM includes a prediction network (PN) and a detection network (DN) corresponding to the prediction network (PN), as shown in FIG. 10 . When a multi-channel image vector is input, the prediction network EN performs a plurality of operations to which weights of a plurality of layers are applied and outputs a predicted value. That is, referring to FIG. 11 , the prediction network EN generates images LI, FI, TI or multi-channel image vectors M, for example, as (1,1) to (3,4) of FIG. After dividing into a plurality of cells, a plurality of partition boxes (B: Bounding Box) having center coordinates (x, y) in each of the plurality of cells are coordinates (x) defining the center, width, and height based on the cell to which each belongs , y, w, h), the confidence indicating the probability that the object exists in the area of the compartment B while the object is included in the compartment B, and the object in the compartment B is of multiple classes The probability of belonging to each object can be calculated and outputted as a predicted value.

검출망(DN)은 예측값에 해당하는 복수의 구획상자(B) 중 하나 이상의 예측값에 해당하는 구획상자(B)를 선택하여 출력값으로 출력한다. 검출망(DN)은 예측값에 대해 가중치가 적용되는 복수의 연산을 통해 출력값을 산출한다. 이때, 제1 검출망(DN1) 및 제2 검출망(DN2)은 제1 예측망(PN1) 및 제2 예측망(PN2)의 예측값을 이용하여 출력값을 산출할 수 있다. 제3 검출망(DN3) 및 제4 검출망(DN4)은 제1 내지 제4 예측망 모두의 예측값을 이용하여 출력값을 산출할 수 있다. 예를 들면, 검출망(DN: DN1, DN2, DN3, DN4)은 해당하는 복수의 구획상자(B) 내의 객체가 기 학습된 클래스의 객체일 확률이 기 설정된 임계치 이상인 구획상자(B)를 선택하는 출력값을 산출할 수 있다. 검출망(DN)은 도 10에 도시된 바와 같이, 출력값을 영상(LI, FI, TI, 바람직하게는 FI)에 표시하여 출력할 수 있다. The detection network DN selects a partition box B corresponding to one or more predicted values among a plurality of partition boxes B corresponding to the predicted value and outputs it as an output value. The detection network DN calculates an output value through a plurality of operations in which a weight is applied to the predicted value. In this case, the first detection network DN1 and the second detection network DN2 may calculate an output value using the prediction values of the first prediction network PN1 and the second prediction network PN2. The third detection network DN3 and the fourth detection network DN4 may calculate an output value using prediction values of all of the first to fourth prediction networks. For example, the detection network (DN: DN1, DN2, DN3, DN4) selects a partition box (B) in which the probability that the object in the plurality of partition boxes (B) is an object of a pre-learned class is greater than or equal to a preset threshold output value can be calculated. As shown in FIG. 10 , the detection network DN may display output values on images LI, FI, TI, preferably FI.

모델생성부(400)는 검출모델(DM)을 학습시키기 위한 것이다. 모델생성부(400)는 검출모델(DM)이 결빙 발생이 추정되는 영역을 특정하는 구획박스(B: Boundary Box) 및 구획박스가 특정하는 영역에 결빙이 존재할 확률을 출력하도록 학습시킨다. 이를 위하여, 모델생성부(400)는 학습용 멀티채널영상벡터(M)를 생성한 후, 검출모델(DM)에 입력한다. 학습용 멀티채널영상벡터(M)는 2 종류의 레이블이 설정되며, 앞서 설명된 멀티채널영상벡터(M)에 결빙이 차지하는 영역을 구획박스(B)와 같은 형식으로 나타내는 레이블 및 결빙이 없는 영역을 구획박스(B)와 같은 형식으로 나타내는 레이블을 포함한다. The model generator 400 is for learning the detection model DM. The model generator 400 trains the detection model DM to output a boundary box (B) that specifies an area where the occurrence of ice is estimated and a probability that ice exists in the area specified by the partition box. To this end, the model generator 400 generates a multi-channel image vector for learning (M) and then inputs it to the detection model (DM). In the multi-channel image vector (M) for learning, two types of labels are set, and a label indicating the area occupied by icing in the above-described multi-channel image vector (M) in the same format as the partition box (B) and an area without icing It contains a label that is displayed in the same format as the compartment box (B).

그러면, 검출모델(DM)은 학습용 멀티채널영상벡터(M)에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 출력값을 산출하여 출력할 것이다. 출력값은 구획상자(B)를 정의하는 좌표(bx, by, bw, bh), 구획상자(B)가 차지하는 영역이 결빙 영역을 100% 포함하고 있는 이상적인 박스(ground-truth box)와 일치하는 정도를 나타내는 신뢰도(confidence: 0~1) 및 구획상자(B) 내에 결빙이 발생했을 확률(예컨대, 0.785)을 포함한다. Then, the detection model DM calculates and outputs an output value through a plurality of calculations in which the weights of a plurality of layers are applied to the multi-channel image vector M for learning. The output value is the coordinates (bx, by, bw, bh) defining the partition box (B), and the degree to which the area occupied by the partition box (B) matches the ideal box (ground-truth box) containing 100% of the freezing area. It includes the confidence (confidence: 0~1) representing , and the probability that icing occurred in the compartment box (B) (eg, 0.785).

검출모델(DM)의 출력값을 기초로 모델생성부(400)은 손실 함수에 따라 손실값을 도출할 수 있다. 예컨대, 손실 함수는 다음의 수학식 2와 같다. Based on the output value of the detection model DM, the model generator 400 may derive a loss value according to the loss function. For example, the loss function is expressed by Equation 2 below.

S는 셀의 수를 나타내며, C는 신뢰 점수를 나타낸다. B는 한 셀 내의 구획상자의 수를 나타낸다. pi(c)는 i 번째 셀의 객체가 해당 클래스(c)에 속할 확률을 나타낸다. 예컨대, 첫 번째 클래스(c=1)가 결빙 상태를 타나내는 결빙 상태 객체일 경우, pi(1)=0.789이면, 결빙 상태 객체가 존재할 확률이 78.9%임을 나타낸다. 여기서, i는 결빙 상태 객체가 존재하는 셀을 나타내는 파라미터이고, j는 예측된 구획상자를 나타내는 파라미터이다. 또한, bx, by는 구획상자의 중심좌표를 나타내며, bw 및 bh는 각각 구획상자의 폭과 높이를 나타낸다.

는 구획상자의 변수에 대한 값을 더 반영하기 위한 것으로, 구획상자(B)의 좌표(bx, by, bw, bh)에 대한 손실과 다른 손실들과의 균형을 위한 독립 하이퍼파라미터(Hyper Parameters)이다.

는 구획상자의 변수에 대한 값을 더 반영하고, 결빙 상태 객체가 존재하지 않는 영역에 대한 값을 덜 반영하기 위한 것이다. 즉,

는 결빙 상태 객체가 존재하는 구획상자와 결빙이 존재하지 않는 구획상자 간의 균형을 위한 종속 하이퍼파라미터이다. 일 실시예에 따르면, 독립 하이퍼파라미터 및 종속 하이퍼파라미터를 포함하는 파라미터는 미리 설정되며, 종속 하이퍼파라미터의 값은 독립 하이퍼파라미터의 값에 종속된다. 이에 따라, 독립 하이퍼파라미터와 종속 하이퍼파라미터는 다음의 수학식 3과 같은 관계로 설정될 수 있다. S represents the number of cells, and C represents the confidence score. B represents the number of compartments in one cell. pi(c) represents the probability that the object of the i-th cell belongs to the corresponding class (c). For example, when the first class (c=1) is a frozen state object representing a frozen state, if pi(1)=0.789, it indicates that the probability that the frozen state object exists is 78.9%. Here, i is a parameter indicating a cell in which the frozen state object exists, and j is a parameter indicating a predicted partition box. Also, bx and by represent the center coordinates of the partition box, and bw and bh represent the width and height of the partition box, respectively.

is an independent hyperparameter for balancing the loss for the coordinates (bx, by, bw, bh) of the compartment box (B) and other losses to further reflect the values of the variables of the compartment box. am.

is to reflect the values of the variables of the compartment box more and reflect the values less for the area where the frozen state object does not exist. in other words,

is a dependent hyperparameter for balancing between a compartment with an ice state object and a compartment without ice. According to an embodiment, the parameter including the independent hyperparameter and the dependent hyperparameter is preset, and the value of the dependent hyperparameter is dependent on the value of the independent hyperparameter. Accordingly, the independent hyperparameter and the dependent hyperparameter may be set in a relationship as shown in Equation 3 below.

이러한 하이퍼파라미터의 설정은 학습이 진행되면서 순차로 변경될 수 있다. The setting of these hyperparameters may be sequentially changed as learning proceeds.

는 셀 i에 결빙이 있는 경우 1이고, 없는 경우 0을 나타낸다.

는 셀 i에 있는 구획상자 j에 결빙이 있으면 1이고, 없으면 0을 나타낸다.

는 셀 i에 있는 구획상자 j에 객체가 없으면 1이고, 있으면 0을 나타낸다.

is 1 if there is ice in cell i, and 0 if there is no ice.

is 1 if there is ice in compartment j in cell i and 0 otherwise.

is 1 if there is no object in compartment j in cell i, and 0 if there is.

수학식 2의 손실 함수의 첫 번째 및 두 번째 항(term)은 다음의 수학식 4와 같다. The first and second terms of the loss function of Equation 2 are as shown in Equation 4 below.

이러한 손실 함수의 첫 번째 및 두 번째 항은 구획상자의 좌표(x, y, w, h)와, 결빙이 차지하는 영역을 표시한 레이블과의 좌표와의 차이를 나타내는 좌표 손실(coordinate loss)을 산출하기 위한 것이다. The first and second terms of this loss function calculate the coordinate loss representing the difference between the coordinates (x, y, w, h) of the compartment box and the coordinates of the label indicating the area occupied by ice. it is to do

또한, 수학식 2의 손실 함수의 세 번째 및 네 번째 항은 다음의 수학식 5와 같다. In addition, the third and fourth terms of the loss function of Equation 2 are as shown in Equation 5 below.

이러한 손실 함수의 세 번째 및 네 번째 항은 구획상자(B)가 차지하는 영역과 결빙이 차지하는 영역을 100% 포함하고 있는 이상적인 박스(ground-truth box)와의 차이를 나타내는 신뢰도 손실(confidence loss)을 산출하기 위한 것이다. The third and fourth terms of this loss function calculate a confidence loss representing the difference between the area occupied by the compartment box (B) and the ideal box (ground-truth box) containing 100% of the area occupied by ice. it is to do

마지막으로, 수학식 2의 손실 함수의 마지막 항은 다음의 수학식 6과 같다. Finally, the last term of the loss function of Equation 2 is as Equation 6 below.

수학식 6은 구획상자(B) 내에 존재하는 것으로 출력된 객체와 실제 구획상자(B) 내에 존재하는 객체와의 차이를 나타내는 분류 손실(classification loss)을 산출하기 위한 것이다. 예를 들면, 어느 하나의 구획상자(B) 내에 결빙 상태 객체가 존재할 확률이 0.765로 출력했지만, 존재하지 않을 때, 예컨대, 기댓값이 0.000일 때, 이러한 손실(-0.765)을 산출하기 위한 것이다. Equation 6 is for calculating a classification loss representing a difference between an object output as being present in the partition box B and an object existing in the actual partition box B. For example, the probability that the frozen state object exists in any one compartment B is output as 0.765, but when it does not exist, for example, when the expected value is 0.000, this loss (-0.765) is calculated.

모델생성부(400)는 손실 함수를 통해 손실값, 즉, 좌표 손실, 신뢰도 손실 및 분류 손실을 산출하고, 좌표 손실, 신뢰도 손실 및 분류 손실이 최소가 되도록 검출모델(DM)의 가중치를 최적화한다. 본 발명의 실시예에 따르면, 모델생성부(400)는 하이퍼파라미터를 조절하여 최적화를 수행할 수 있다. 이러한 방법에 대해서는 아래에서 보다 상세하게 설명될 것이다. The model generator 400 calculates a loss value, that is, a coordinate loss, a reliability loss, and a classification loss through the loss function, and optimizes the weight of the detection model DM so that the coordinate loss, the reliability loss, and the classification loss are minimized. . According to an embodiment of the present invention, the model generator 400 may perform optimization by adjusting hyperparameters. This method will be described in more detail below.

검출부(500)는 검출모델(DM)을 통해 결빙이 발생한 영역을 구획박스(B: Boundary Box)를 통해 특정하고, 특정된 영역에 결빙이 존재할 확률을 산출한다. 그런 다음, 특정된 영역에 결빙이 존재할 확률에 따라 결빙 존재 여부를 최종적으로 판단한다. 이를 위하여 검출부(500)는 데이터처리부(300)가 카메라부(11) 및 라이다부(12)로부터 입력되는 라이다 영상, 적외선필터 영상 및 열화상 영상으로부터 멀티채널영상벡터(Mt)를 생성하고, 이를 출력하면, 멀티채널영상벡터(Mt)를 입력받고, 멀티채널영상벡터(Mt)를 검출모델(DM)에 입력한다. 그러면, 검출모델(DM)은 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 통해 출력값을 산출하여 출력할 것이다. 이때, 검출부(500)는 검출모델(DM)의 출력값에서 신뢰도가 소정 수치 이상인 구획상자(B) 내의 객체가 결빙 객체에 속할 확률이 기 설정된 임계치 이상이면, 해당 구획상자(B)가 차지하는 영역 내에 결빙이 발생한 것으로 판단한다. 반면, 검출부(500)는 검출모델(DM)의 출력값에서 신뢰도가 소정 수치 이상인 구획상자(B) 내의 객체가 결빙 상태 객체에 속할 확률이 기 설정된 임계치 미만이거나, 미결빙 상태 객체에 속할 확률 이하이면, 결빙이 발생하지 않은 것으로 간주한다. The detection unit 500 specifies an area where ice has occurred through the detection model DM through a boundary box (B), and calculates a probability that ice exists in the specified area. Then, the existence of ice is finally determined according to the probability that there is ice in the specified area. To this end, the detection unit 500 generates a multi-channel image vector (Mt) from the data processing unit 300, the lidar image, the infrared filter image, and the thermal image input from the camera unit 11 and the lidar unit 12, When this is output, the multi-channel image vector Mt is input, and the multi-channel image vector Mt is input to the detection model DM. Then, the detection model DM will calculate and output an output value through a plurality of operations to which the weights learned between the plurality of layers are applied. At this time, if the probability that the object in the partition box (B) having a reliability greater than or equal to a predetermined value in the output value of the detection model (DM) is greater than or equal to a preset threshold, the detection unit 500 is within the area occupied by the partition box (B). It is judged that icing has occurred. On the other hand, the detection unit 500 determines that the probability that the object in the partition box B having a reliability greater than or equal to a predetermined value in the output value of the detection model DM is less than a preset threshold or less than the probability of belonging to an object in the non-freezing state. , it is assumed that no freezing has occurred.

다음으로, 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 심층학습 모델인, 검출모델(DM)을 생성하는 방법을 설명하기로 한다. 도 12는 본 발명의 실시예에 따른 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 검출모델을 생성하는 방법을 설명하기 위한 흐름도이다. Next, a method for generating a detection model (DM), which is a deep learning model for monitoring habitual ice and slippery risk areas, will be described. 12 is a flowchart illustrating a method of generating a detection model for monitoring a habitual ice and slippery danger area according to an embodiment of the present invention.

도 12를 참조하면, S110 단계에서 모델생성부(400)는 데이터처리부(300)를 통해 결빙 여부가 알려진 영역이 적어도 일부가 포함되는 학습 영역을 라이다센서(200)로 스캔한 라이다 영상, 동일한 학습 영역을 적외선필터카메라(110)로 촬영한 적외선필터 영상 및 동일한 학습 영역을 열적외선카메라(120)로 촬영한 열적외선 영상으로부터 학습용 멀티채널영상벡터(Mt)를 생성한다. Referring to FIG. 12 , in step S110 , the model generating unit 400 scans the learning area including at least a part of the area for which the freezing state is known through the data processing unit 300 using the lidar sensor 200 , a lidar image, A multi-channel image vector (Mt) for learning is generated from the infrared filter image obtained by photographing the same learning area with the infrared filter camera 110 and the thermal infrared image photographing the same learning area with the thermal infrared camera 120 .

모델생성부(400)는 S120 단계에서 결빙 상태 및 미결빙 상태를 구분하여 학습용 멀티채널영상벡터(Mt)에 대한 레이블을 설정한다. 즉, 결빙 상태인 영역과, 미결빙 상태인 영역을 구분하여 구획박스(B)를 부가한다. The model generator 400 sets the label for the multi-channel image vector Mt for learning by classifying the frozen state and the non-icing state in step S120 . That is, the partition box B is added by dividing the area in the frozen state and the area in the non-freezing state.

그런 다음, 모델생성부(400)는 S130 단계에서 손실함수 하이퍼파라미터를 설정한다. 이때, 독립 하이퍼파라미터를 설정함으로써 종속 하이퍼파라미터를 설정할 수 있다. 이러한 S130 단계에서 모델생성부(400)는 초기값으로 독립 하이퍼파라미터를 0.5로 설정할 수 있다. 또한, S130 단계가 반복될 때마다, 순차로 독립 하이퍼파라미터의 값을 소정 수치씩 증가시킬 수 있다. 그러면, 수학식 2에 따라, 종속 하이퍼파라미터의 값은 0.5에서 0까지 소정 수치씩 감소될 수 있다. Then, the model generation unit 400 sets the loss function hyperparameter in step S130. In this case, the dependent hyperparameters can be set by setting the independent hyperparameters. In this step S130, the model generator 400 may set the independent hyperparameter to 0.5 as an initial value. In addition, whenever step S130 is repeated, values of independent hyperparameters may be sequentially increased by predetermined values. Then, according to Equation 2, the value of the dependent hyperparameter may be decreased from 0.5 to 0 by a predetermined numerical value.

이어서, 모델생성부(400)는 S140 단계에서 학습용 멀티채널영상벡터(Mt)를 검출모델(DM)에 입력한다. 그러면, 검출모델(DM)은 S150 단계에서 입력된 학습용 멀티채널영상벡터(Mt)에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 산출한 출력값을 출력할 것이다. 검출모델(DM)의 출력값은 구획상자(B)의 좌표(x, y, w, h), 구획상자(B)의 신뢰도 및 구획상자(B) 내의 객체가 결빙 상태 객체일 확률 및 미결빙 상태 객체일 확률을 포함한다. 이에 따른 검출모델(DM)의 손실 함수는 출력값으로 출력된 구획상자(B)의 좌표와 실제 결빙 영역이 차지하는 영역을 나타내는 레이블의 좌표와의 차이를 나타내는 좌표 손실(coordinate loss), 출력값으로 출력된 구획상자(B)와 이상적인 박스(ground-truth box)와의 차이를 나타내는 신뢰도 손실(confidence loss) 및 출력값으로 출력된 구획상자(B) 내의 객체의 클래스와 실제 객체의 클래스와의 차이를 나타내는 분류 손실(classification loss)을 포함한다. Next, the model generator 400 inputs the multi-channel image vector Mt for training to the detection model DM in step S140. Then, the detection model DM will output an output value calculated through a plurality of operations in which a plurality of layer weights are applied to the multi-channel image vector for learning Mt input in step S150. The output value of the detection model (DM) is the coordinates (x, y, w, h) of the compartment box (B), the reliability of the compartment box (B), the probability that the object in the compartment box (B) is an object in the frozen state, and the non-freezing state It contains the probability of being an object. Accordingly, the loss function of the detection model (DM) is a coordinate loss indicating the difference between the coordinates of the partition box (B) output as an output value and the coordinates of the label indicating the area occupied by the actual freezing area, Confidence loss indicating the difference between the partition box (B) and the ideal box (ground-truth box) and classification loss indicating the difference between the class of the object in the partition box (B) output as an output value and the class of the real object (classification loss).

이때, 모델생성부(400)는 S160 단계에서 손실 함수를 통해 출력값과 레이블의 차이인 손실, 즉, 좌표 손실, 신뢰도 손실 및 분류 손실을 산출하고, 좌표 손실, 신뢰도 손실 및 분류 손실을 포함하는 손실이 최소가 되도록 검출모델(DM)의 가중치를 수정하는 최적화를 수행한다. 전술한 S110 단계 내지 S160 단계는 복수의 서로 다른 학습용 멀티채널영상벡터를 이용하여 반복하여 수행될 수 있다. 이러한 반복 시, 전술한 바오 같이, S130 단계에서 하이퍼파라미터의 값을 변경하여 설정할 수 있다. 이때, 모델생성부(400)는 반복 시 마다, 수학식 2에 따라 독립 하이퍼파라미터인

를 0.5에서 1까지 반복 시 마다 소정 수치씩 증가시켜 설정함으로써, 종속 하이퍼파라미터인

를 0.5에서 0까지 소정 수치씩 감소시켜 설정할 수 있다. 학습 정도가 올라가기 전에는 결빙 상태와 미결빙 상태의 명확한 구분이 힘들기 때문에 보상을 위한 항, 즉, 4번째 항이 요구된다. 하지만, 학습 정도가 올라간 후에는 독립 하이퍼파라미터의 값을 1로 설정할 수 있다. 이에 따라, 종속 하이퍼파라미터 값이 0이 되기 때문에 손실함수의 4번째 항이 소거된다. 따라서 손실함수의 4번째 항의 보상 없이 결빙 상태와 미결빙 상태를 명확하게 구분하도록 학습이 이루어진다. At this time, the model generation unit 400 calculates the loss that is the difference between the output value and the label, that is, the coordinate loss, the reliability loss, and the classification loss through the loss function in step S160, and the loss including the coordinate loss, the reliability loss and the classification loss. Optimization is performed to correct the weight of the detection model DM so that this is minimized. Steps S110 to S160 described above may be repeatedly performed using a plurality of different multi-channel image vectors for learning. In this repetition, as described above, the hyperparameter value may be changed and set in step S130. At this time, the model generating unit 400 is an independent hyperparameter according to Equation 2 at each iteration.

is set by increasing by a predetermined value for every iteration from 0.5 to 1, so that the dependent hyperparameter

can be set by decreasing by a predetermined value from 0.5 to 0. Because it is difficult to clearly distinguish between the frozen state and the non-frozen state before the learning level is increased, a term for compensation, that is, the fourth term, is required. However, after the learning level is increased, the value of the independent hyperparameter can be set to 1. Accordingly, the 4th term of the loss function is canceled because the dependent hyperparameter value becomes 0. Therefore, learning is performed to clearly distinguish between the frozen state and the non-freeze state without compensation for the fourth term of the loss function.

전술한 S110 단계 내지 S160 단계의 반복은 상기 검출모델을 평가 지표를 통해 검증하여 상기 검출모델이 기 설정된 정확도에 도달할 때까지 이루어질 수 있다. 이에 따라, 모델생성부(400)는 S170 단계에서 학습 완료 조건이 만족하는지 여부를 판단한다. 일 실시예에 따르면, 모델생성부(400)는 기 설정된 평가 지표를 통해 검출모델(DM)의 출력값이 기 설정된 정확도 이상인 경우, 학습 완료 조건을 만족하는 것으로 판단할 수 있다. 이와 같이, 학습 완료 조건을 만족하면, 모델생성부(400)는 S180 단계에서 학습을 완료한다. The above-described steps S110 to S160 may be repeated until the detection model reaches a preset accuracy by verifying the detection model through an evaluation index. Accordingly, the model generator 400 determines whether the learning completion condition is satisfied in step S170 . According to an embodiment, the model generator 400 may determine that the learning completion condition is satisfied when the output value of the detection model DM through the preset evaluation index is equal to or greater than the preset accuracy. In this way, if the learning completion condition is satisfied, the model generating unit 400 completes the learning in step S180.

전술한 바에 따라 검출모델(DM)의 학습이 완료되면, 검출모델(DM)을 이용하여 결빙이 발생하는지를 모니터링할 수 있다. 이러한 방법에 대해서 설명하기로 한다. 도 13은 본 발명의 실시예에 따른 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역을 모니터링하기 위한 방법을 설명하기 위한 흐름도이다. When the learning of the detection model DM is completed as described above, it is possible to monitor whether icing occurs using the detection model DM. These methods will be described. 13 is a flowchart illustrating a method for monitoring a habitual ice and slippery risk area using a deep learning model according to an embodiment of the present invention.

도 13을 참조하면, 데이터처리부(300)는 S210 단계에서 라이다부(12)를 통해 모니터링 영역을 라이다를 통해 스캔한 라이다 영상 및 카메라부(11)를 통해 모니터링 영역을 적외선 필터 카메라로 촬영한 적외선필터 영상 및 모니터링 영역을 열적외선 카메라로 촬영한 열적외선 영상을 입력받는다. Referring to FIG. 13 , the data processing unit 300 captures a lidar image scanned through the lidar through the lidar unit 12 through the lidar unit 12 in step S210 and the monitoring region through the camera unit 11 with an infrared filter camera. It receives an infrared filter image and a thermal infrared image captured by a thermal infrared camera of the monitoring area.

그러면, 데이터처리부(300)는 S220 단계에서 라이다 영상, 적외선필터 영상 및 열적외선 영상을 임베딩하여 다채널영상벡터(M를 생성하여 출력한다. 라이다 영상, 적외선필터 영상 및 열적외선 영상으로부터 다채널영상벡터(M를 생성하는 방법은 앞서 도 4 내지 도 9를 통해 설명된 바와 같다. Then, the data processing unit 300 embeds the lidar image, the infrared filter image and the thermal infrared image in step S220 to generate and output a multi-channel image vector M. From the lidar image, the infrared filter image and the thermal infrared image, A method of generating the channel image vector M is the same as described above with reference to FIGS. 4 to 9 .

검출부(400)는 데이터처리부(300)로부터 다채널영상벡터(M가 입력되면, 다채널영상벡터(M를 검출모델(DM)에 입력한다. 그러면, 그러면, 검출모델(DM)은 입력된 다채널영상벡터(M에 대해 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 통해 산출한 출력값을 출력할 것이다. 이러한 출력값은 구획상자(B)의 좌표(x, y, w, h), 구획상자(B)의 신뢰도 및 구획상자(B) 내의 객체가 결빙 객체일 확률과, 미결빙 객체일 확률을 포함한다. When the multi-channel image vector M is input from the data processing unit 300, the detection unit 400 inputs the multi-channel image vector M to the detection model DM. Then, the detection model DM is input. Output values calculated through a plurality of calculations to which the weights learned between a plurality of layers are applied to the channel image vector (M. These output values are the coordinates (x, y, w, h) of the partition box (B), It includes the reliability of the partition box (B) and the probability that the object in the partition box (B) is an icing object, and the probability that it is an unfreezing object.

그러면, 검출부(500)는 S220 단계에서 검출모델(DM)의 출력값에 따라 모니터링 영역에 결빙 발생 여부를 판단한다. Then, the detection unit 500 determines whether ice is generated in the monitoring area according to the output value of the detection model DM in step S220.

일 실시예에 따르면, 검출부(500)는 신뢰도가 기 설정된 임계치 이상인 구획상자(B) 내에 결빙 상태 객체가 존재할 확률이 임계치 이상인 경우, 결빙이 발생한 것으로 인식한다. 반면, 검출부(500)는 신뢰도가 기 설정된 임계치 이상인 구획상자(B) 내에 결빙 상태 객체가 존재할 확률이 임계치 미만인 경우, 결빙이 발생하지 않은 것으로 판단할 수 있다. According to an embodiment, the detection unit 500 recognizes that ice has occurred when the probability that the freezing state object exists in the partition box B having a reliability equal to or greater than a preset threshold is greater than or equal to the threshold. On the other hand, the detection unit 500 may determine that freezing has not occurred when the probability that the freezing state object exists in the partition box B having the reliability equal to or greater than the preset threshold is less than the threshold.

다른 실시예에 따르면, 검출부(500)는 신뢰도가 기 설정된 임계치 이상인 구획상자(B) 내에 결빙 상태 객체가 존재할 확률이 미결빙 상태 객체가 존재할 확률을 초과하면서 기 설정된 임계치 이상이면, 장중첩증으로 진단한다. 예컨대, 임계치가 0.700(70%)이라고 가정하고, 신뢰도가 소정 수치 이상인 구획상자(B) 내에 결빙 상태 객체가 존재할 확률이 88%이고(blk=0.877), 미결빙 상태 객체가 존재할 확률이 정상 클래스에 속할 확률이 12%라고(noblk=0.123) 가정하면, 검출부(500)는 결빙 상태 객체가 존재할 확률(88%)이 미결빙 상태 객체가 존재할 확률(12%)을 초과하고, 임계치(70%) 이상이기 때문에 구획상자(B)가 특정하는 영역에 결빙이 발생한 것으로 인식한다. 반면, 검출부(500)는 신뢰도가 기 설정된 수치 이상인 구획상자(B)에 결빙 상태 객체가 존재할 확률이 미결빙 상태 객체가 존재할 확률 이하이거나, 기 설정된 임계치 미만이면, 결빙이 발생하지 않은 것으로 판단한다. 마찬가지로, 임계치가 0.700(70%)이라고 가정한다. 다른 예의 출력값에 따르면, 구획상자(B) 내에 결빙 상태 객체가 존재할 확률이 69%이고(blk=0.691), 미결빙 상태 객체가 존재할 확률이 31%라고(noblk=0.309) 가정한다. 그러면, 검출부(500)는 결빙 상태 객체가 존재할 확률(69%)이 미결빙 상태 객체가 존재할 확률(31%)을 초과하지만, 결빙 상태 객체가 존재할 확률(69%)이 임계치(70%) 미만이기 때문에 결빙이 발생하지 않은 것으로 인식한다. According to another embodiment, the detection unit 500 is more than a preset threshold while the probability of the existence of the frozen state object in the compartment box (B) of which the reliability is greater than or equal to a preset threshold exceeds the probability that the non-frozen object exists, and is diagnosed as intussusception. . For example, assuming that the threshold is 0.700 (70%), the probability that the frozen state object exists in the compartment B with a reliability greater than or equal to a predetermined value is 88% (blk = 0.877), and the probability that the non-frozen object exists is a normal class Assuming that the probability of belonging to is 12% (noblk = 0.123), the detection unit 500 determines that the probability that the frozen state object exists (88%) exceeds the probability that the frozen state object exists (12%), and the threshold value (70%) ), it is recognized that ice has occurred in the area specified by the compartment box (B). On the other hand, the detection unit 500 determines that freezing has not occurred if the probability of the existence of the frozen state object in the partition box B having the reliability equal to or greater than the preset value is less than or equal to the probability of the non-icing state object being present or less than the preset threshold. . Similarly, assume that the threshold is 0.700 (70%). According to the output value of another example, it is assumed that the probability that the frozen state object exists in the compartment B is 69% (blk=0.691), and the probability that the non-freeze state object exists is 31% (noblk=0.309). Then, the detection unit 500 determines that the probability that the frozen state object exists (69%) exceeds the probability that the non-freeze state object exists (31%), but the probability that the frozen state object exists (69%) is less than the threshold (70%). Therefore, it is recognized that freezing has not occurred.

전술한 판단 후, 검출부(500)는 통신부(13)를 통해 결빙 발생 여부를 알리는 메시지를 관제서버(40)로 전송할 수 있다. 이에 따라, 관제서버(40)의 관리자는 메시지에 따라 후속조치를 취할 수 있다. After the above determination, the detection unit 500 may transmit a message indicating whether or not ice has occurred to the control server 40 through the communication unit 13 . Accordingly, the manager of the control server 40 may take a follow-up action according to the message.

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the method according to the embodiment of the present invention described above may be implemented in the form of a program readable by various computer means and recorded in a computer readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, etc. alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. For example, the recording medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks ( magneto-optical media) and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include not only machine language wires such as those created by a compiler, but also high-level language wires that can be executed by a computer using an interpreter or the like. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. Although the present invention has been described above using several preferred embodiments, these examples are illustrative and not restrictive. As such, those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made in accordance with the doctrine of equivalents without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.

10: 모니터링장치 11: 카메라부
12: 라이다부 13: 통신부
14: 제어부 20: 에지장치
30: 모니터링서버 40: 관제서버
110: 적외선카메라 120:열적외선카메라
200: 라이다센서 300: 데이터처리부
400: 모델생성부 500: 검출부 10: monitoring device 11: camera unit
12: lidar unit 13: communication unit
14: control unit 20: edge device
30: monitoring server 40: control server
110: infrared camera 120: thermal infrared camera
200: lidar sensor 300: data processing unit
400: model generation unit 500: detection unit

Claims

A method for monitoring a habitual ice and slippery risk area, the method comprising:
A multi-channel image by embedding a lidar image in which the data processing unit scans the monitoring area through the lidar sensor, an infrared filter image in which the monitoring area is photographed by an infrared filter camera, and a thermal infrared image in which the monitoring area is photographed by a thermal infrared camera generating a vector;
inputting the multi-channel image vector into a detection model by a detection unit;
The detection model performs a plurality of calculations to which the weights learned between a plurality of layers are applied to the multi-channel image vector, and a partition box for specifying a region in which the occurrence of ice is estimated, and a region specified by the partition box. outputting a probability; and
when the probability is greater than or equal to a preset threshold, recognizing, by the detector, that ice has occurred, and transmitting a message informing of the occurrence of ice;
characterized by comprising
Methods for monitoring.

According to claim 1,
The step of generating the multi-channel image vector includes:
dividing, by the data processing unit, the lidar image, the infrared filter image, and the thermal infrared image into a plurality of unit regions having predetermined unit heights and unit widths in horizontal and vertical directions;
extracting, by the data processing unit, a feature value expressing a characteristic of the unit region by performing a convolution operation on each of the plurality of unit regions using a convolution filter of the same standard;
The data processing unit generates a lidar image vector, an infrared filter image vector, and a thermal infrared image vector using feature values derived for a plurality of unit regions of each of the lidar image, the infrared filter image, and the thermal infrared image as elements. to do;
generating, by the data processing unit, the multi-channel image vector by merging the lidar image vector, the infrared filter image vector, and the thermal infrared image vector;
characterized by comprising
Methods for monitoring.

3. The method of claim 2,
The convolutional filter is
It is the same standard as the unit area,
having an element corresponding to the number of pixels in the unit area;
All elements of the convolution filter have a value of 0 or 1,
Neighboring elements of the convolution filter, characterized in that have different values
Methods for monitoring.

3. The method of claim 2,
Before the step of dividing into the plurality of unit areas,
detecting, by the data processing unit, a region of interest through image processing with respect to the infrared filter image, and erasing or filling pixel values in the remaining regions except for the detected region of interest;
characterized in that it further comprises
Methods for monitoring.

3. The method of claim 2,
Before the step of dividing into the plurality of unit areas,
erasing or filling, by the data processing unit, a pixel value of a pixel having a temperature equal to or greater than a predetermined value in the thermal infrared image;
characterized in that it further comprises
Methods for monitoring.

According to claim 1,
Before generating the multi-channel image vector,
The model generator scans the learning area including at least a part of the area for which the ice is known through the data processing unit with the lidar sensor, the infrared filter image captured by the infrared filter camera, and the learning area. generating a multi-channel image vector for learning from a thermal infrared image taken with an infrared camera;
setting, by the model generator, a label for a multi-channel image vector for training by distinguishing between an icing state and a non-icing state;
setting, by the model generator, hyperparameters including independent hyperparameters and dependent hyperparameters for the loss function;
inputting, by the model generator, the multi-channel image vector for training into a detection model;
calculating an output value through a plurality of operations in which weights of a plurality of layers are applied to the multi-channel image vector for learning to which the detection model is input;
performing, by the model generator, an optimization of modifying the weight of the detection model so that a loss, which is a difference between the output value and the label, is minimized through the loss function;
The detection model is verified through an evaluation index until the detection model reaches a preset accuracy.
generating the multi-channel image vector for training, setting the label, inputting the label to the detection model, calculating the output value, and performing the optimization.
repeating;
characterized in that it further comprises
Methods for monitoring.

7. The method of claim 6,
The loss function is

ego,
where S is the number of cells,
C is the confidence score,
where B is the number of compartments in one cell,
The pi(c) is the probability that the object of the i-th cell belongs to class c,
wherein i is a parameter indicating a cell in which a frozen state object exists,
Where j is a parameter representing the predicted partition box,
The bx and by are the center coordinates of the compartment box,
Wherein bw and bh are the width and height of the compartment box, respectively,
remind

is an independent hyperparameter,
remind

is a dependent hyperparameter, characterized in that
Methods for monitoring.

8. The method of claim 7,
The step of setting the hyperparameter is
For each repetition,
said independent hyperparameter, said

By setting increments from 0.5 to 1 by a predetermined value for each repetition,
formula

Depending on the
said dependent hyperparameter, said

characterized in that it is set by decreasing by a predetermined value from 0.5 to 0
Methods for monitoring.

A method for monitoring a habitual ice and slippery risk area, the method comprising:
The model generator scans the learning area including at least a part of the area for which the ice is known through the data processing unit with the lidar sensor, the infrared filter image captured by the infrared filter camera, and the learning area. generating a multi-channel image vector for learning from a thermal infrared image taken with an infrared camera;
setting, by the model generator, a label for a multi-channel image vector for training by distinguishing between an icing state and a non-icing state;
setting, by the model generator, hyperparameters including independent hyperparameters and dependent hyperparameters for the loss function;
inputting, by the model generator, the multi-channel image vector for training into a detection model;
calculating an output value through a plurality of operations in which weights of a plurality of layers are applied to the multi-channel image vector for learning to which the detection model is input;
performing, by the model generator, an optimization of modifying the weight of the detection model so that a loss, which is a difference between the output value and the label, is minimized through the loss function; and
generating the multi-channel image vector for training until the detection model reaches a preset accuracy by verifying the detection model through an evaluation index; setting the label; and inputting the detection model to the detection model; and repeating the steps of calculating the output value and performing the optimization;
characterized by comprising
Methods for monitoring.

10. The method of claim 9,
A multi-channel image by embedding a lidar image in which the data processing unit scans the monitoring area through the lidar sensor, an infrared filter image in which the monitoring area is photographed by an infrared filter camera, and a thermal infrared image in which the monitoring area is photographed by a thermal infrared camera generating a vector;
inputting the multi-channel image vector into the detection model by a detection unit;
The detection model performs a plurality of calculations to which the weights learned between a plurality of layers are applied to the multi-channel image vector, and a partition box for specifying a region in which the occurrence of ice is estimated, and a region specified by the partition box. outputting a probability; and
when the probability is greater than or equal to a preset threshold, recognizing, by the detector, that ice has occurred, and transmitting a message informing of the occurrence of ice;
characterized by comprising
Methods for monitoring.

11. The method of claim 10,
The step of generating the multi-channel image vector comprises:
dividing, by the data processing unit, the lidar image, the infrared filter image, and the thermal infrared image into a plurality of unit regions having predetermined unit heights and unit widths in horizontal and vertical directions;
extracting, by the data processing unit, a feature value expressing a characteristic of the unit region by performing a convolution operation on each of the plurality of unit regions using a convolution filter of the same standard;
The data processing unit generates a lidar image vector, an infrared filter image vector, and a thermal infrared image vector using feature values derived for a plurality of unit regions of each of the lidar image, the infrared filter image, and the thermal infrared image as elements. to do;
generating, by the data processing unit, the multi-channel image vector by merging the lidar image vector, the infrared filter image vector, and the thermal infrared image vector;
characterized by comprising
Methods for monitoring.

12. The method of claim 11,
The convolutional filter is
It is the same standard as the unit area,
having an element corresponding to the number of pixels in the unit area;
All elements of the convolution filter have a value of 0 or 1,
Neighboring elements of the convolution filter, characterized in that have different values
Methods for monitoring.

12. The method of claim 11,
Before the step of dividing into the plurality of unit areas,
detecting, by the data processing unit, a region of interest through image processing with respect to the infrared filter image, and erasing or filling pixel values in the remaining regions except for the detected region of interest;
characterized in that it further comprises
Methods for monitoring.

12. The method of claim 11,
Before the step of dividing into the plurality of unit areas,
erasing or filling, by the data processing unit, a pixel value of a pixel having a temperature equal to or greater than a predetermined value in the thermal infrared image;
characterized in that it further comprises
Methods for monitoring.

10. The method of claim 9,
The loss function is

is an independent hyperparameter,
remind

is a dependent hyperparameter, characterized in that
Methods for monitoring.

16. The method of claim 15,
The step of setting the hyperparameter is
For each repetition,
said independent hyperparameter, said

Depending on the
said dependent hyperparameter, said

A device for monitoring a habitual ice and slippery risk area, the device comprising:
A multi-channel image vector is generated by embedding a lidar image scanned in the monitoring area through a lidar sensor, an infrared filter image photographed by an infrared filter camera of the monitoring region, and a thermal infrared image photographed by a thermal infrared camera in the monitoring region data processing unit; and
a partition box that inputs the multi-channel image vector into a detection model, and the detection model performs a plurality of calculations to which the weights learned between a plurality of layers are applied to the multi-channel image vector to specify an area where the occurrence of icing is estimated; and a detection unit for recognizing whether or not ice is generated according to the probability when the probability that ice exists in the region specified by the partition box is output;
characterized by comprising
device for monitoring.

18. The method of claim 17,
The data processing unit
dividing the lidar image, the infrared filter image, and the thermal infrared image into a plurality of unit regions having predetermined unit heights and unit widths in horizontal and vertical directions,
performing a convolution operation on each of the plurality of unit regions using a convolution filter of the same standard to extract a feature value expressing the characteristics of the unit region;
generating a lidar image vector, an infrared filter image vector, and a thermal infrared image vector using feature values derived for a plurality of unit regions of each of the lidar image, the infrared filter image and the thermal infrared image as elements;
The multi-channel image vector is generated by merging the lidar image vector, the infrared filter image vector, and the thermal infrared image vector.
device for monitoring.

19. The method of claim 18,
The convolutional filter is
It is the same standard as the unit area,
having an element corresponding to the number of pixels in the unit area;
All elements of the convolution filter have a value of 0 or 1,
Neighboring elements of the convolution filter, characterized in that have different values
device for monitoring.

19. The method of claim 18,
the data processing unit
Before dividing into the plurality of unit areas,
Detecting a region of interest through image processing with respect to the infrared filter image, and erasing pixel values of regions other than the detected region of interest or filling the image with 0
device for monitoring.

19. The method of claim 18,
the data processing unit
Before dividing into the plurality of unit areas,
In the thermal infrared image, a pixel value of a pixel having a temperature greater than or equal to a predetermined value is erased or filled with zero.
device for monitoring.

18. The method of claim 17,
A lidar image scanned by a lidar sensor of a learning region including at least a part of a region for which freezing or not is known through the data processing unit, an infrared filter image obtained by photographing the learning region with an infrared filter camera, and a thermal infrared camera for the learning region A multi-channel image vector for learning is generated from the thermal infrared image taken with
Set the label for the multi-channel image vector for learning by classifying the frozen state and the non-freezing state,
Set hyperparameters including independent hyperparameters and dependent hyperparameters for the loss function with respect to the multi-channel image vector for training,
When the multi-channel image vector for training is input to the detection model, and the detection model is input to the multi-channel image vector for training input, the output value is calculated through a plurality of calculations in which a plurality of layer weights are applied,
Optimizing the weight of the detection model so that the loss, which is the difference between the output value and the label, is minimized through the loss function
model generation unit;
characterized in that it further comprises
device for monitoring.

23. The method of claim 22,
The loss function is

is an independent hyperparameter,
remind

is a dependent hyperparameter
device for monitoring.

24. The method of claim 23,
The model generation unit
said independent hyperparameter, said

Depending on the
said dependent hyperparameter, said

characterized in that it is set by decreasing by a predetermined value from 0.5 to 0
device for monitoring.