KR102143191B1

KR102143191B1 - Method for feature data recalibration and apparatus thereof

Info

Publication number: KR102143191B1
Application number: KR1020190144441A
Authority: KR
Inventors: 이현재
Original assignee: 주식회사 루닛
Priority date: 2019-11-12
Filing date: 2019-11-12
Publication date: 2020-08-10

Abstract

Provided is a method for recalibrating feature data for each channel generated by a convolutional layer of a convolutional neural network (CNN). According to some embodiments of the present invention, since affine transform is applied to the feature data of each channel independently from the feature data of another channel, the total number of parameters defining the affine transform is minimized, and as a result, the amount of computation required for performing recalibration on the feature data can be reduced. The method for recalibrating feature data comprises: acquiring the feature data of a plurality of channels generated by a convolutional neural network; acquiring an importance weight of each channel by affine transforming the feature data of the plurality of channels for each channel; and recalibrating each characteristic data of the plurality of channels by reflecting the acquired importance weight of each channel.

Description

Feature data recalibration method and its device {METHOD FOR FEATURE DATA RECALIBRATION AND APPARATUS THEREOF}

본 발명은 특징 데이터 리캘리브레이션 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 컨볼루션 뉴럴 네트워크(Convolutional Neural Network; CNN)의 컨볼루션 레이어에서 출력되는 각각의 채널 별 특징 데이터를 채널 별로 독립적인 처리를 수행함으로써 연산량 측면에서 효율적인 리캘리브레이션 방법 및 그 장치에 관한 것이다.The present invention relates to a feature data recalibration method and apparatus therefor. In more detail, the present invention relates to a method and apparatus for efficient recalibration in terms of computational amount by performing independent processing of characteristic data for each channel output from a convolutional layer of a convolutional neural network (CNN) for each channel. .

뉴럴 네트워크(neural network)는 인간의 뉴런 구조를 모사하여 만든 기계 학습 모델이다. 뉴럴 네트워크는 하나 이상의 레이어로 구성되고, 각 레이어의 출력 데이터는 다음 레이어의 입력으로 이용된다. 최근에는, 다수의 레이어로 구성된 딥 뉴럴 네트워크(Deep neural network)를 활용하는 것에 대한 연구가 집중적으로 진행되고 있으며, 딥 뉴럴 네트워크는 음성 인식, 자연어 처리, 병변 진단 등 다양한 분야에서 인식 성능을 높이는 데 중요한 역할을 하고 있다.A neural network is a machine learning model created by simulating the structure of human neurons. The neural network is composed of one or more layers, and the output data of each layer is used as an input to the next layer. Recently, research on the use of a deep neural network composed of a plurality of layers has been intensively conducted, and a deep neural network is used to improve recognition performance in various fields such as speech recognition, natural language processing, and lesion diagnosis. It is playing an important role.

딥 뉴럴 네트워크의 일종인 컨볼루션 뉴럴 네트워크는 컨볼루션 레이어에서 각각의 채널 별 특징 데이터를 생성하고, 풀링 레이어는 상기 생성된 특징 데이터를 보다 축약한다. 컨볼루션 레이어와 풀링 레이어를 통과하면 입력 데이터의 공간 도메인(Spatial Domain) 축 상의 값의 개수는 감소하는 대신, 채널의 개수가 증가하게 된다. 컨볼루션 레이어와 풀링 레이어의 반복을 통하여 특징 데이터의 공간 도메인 축 상의 값의 개수가 충분히 감소되면, FCNN(Fully Connected Neural Network)로 특징 데이터의 값이 입력된다.A convolutional neural network, which is a kind of deep neural network, generates feature data for each channel in a convolution layer, and a pooling layer further abbreviates the generated feature data. When passing through the convolutional layer and the pooling layer, the number of values on the spatial domain axis of the input data decreases, but the number of channels increases. When the number of values on the spatial domain axis of the feature data is sufficiently reduced through repetition of the convolutional layer and the pooling layer, the value of the feature data is input to a Fully Connected Neural Network (FCNN).

컨볼루션 레이어에서 생성되는 각각의 채널 별 특징 데이터는 각각의 채널 별 필터에 입력 데이터를 입력한 결과이다. 그런데, 모든 채널이 다 동일한 수준의 중요도를 가지는 것은 아니다. 따라서, 중요한 채널의 특징 데이터는 그렇지 않은 특징 데이터보다 더 강화되는 형태의 특징 데이터 리캘리브레이션(recalibration)이 요구되고 있다. The feature data for each channel generated in the convolution layer is a result of inputting input data to the filter for each channel. However, not all channels have the same level of importance. Therefore, feature data recalibration of an important channel is required in a form that is more reinforced than feature data that is not.

"Recalibrating Fully Convolutional Networks with Spatial and Channel 'Squeeze & Excitation' Blocks" (https://arxiv.org/pdf/1808.08127) "Recalibrating Fully Convolutional Networks with Spatial and Channel'Squeeze & Excitation' Blocks" (https://arxiv.org/pdf/1808.08127) "Squeeze-and-Excitation Networks" (https://arxiv.org/pdf/1709.01507) "Squeeze-and-Excitation Networks" (https://arxiv.org/pdf/1709.01507)

본 개시의 몇몇 실시예를 통해 해결하고자 하는 기술적 과제는, 낮은 수준의 연산량을 요구하는 특징 데이터 리캘리브레이션 방법과, 그 방법이 적용된 장치 또는 시스템을 제공하는 것이다.A technical problem to be solved through some embodiments of the present disclosure is to provide a feature data recalibration method that requires a low level of computation, and an apparatus or system to which the method is applied.

본 개시의 몇몇 실시예를 통해 해결하고자 하는 기술적 과제는, 각 이미지의 스타일 정보에 기반한 특징 데이터 리캘리브레이션 방법과, 그 방법이 적용된 장치 또는 시스템을 제공하는 것이다.A technical problem to be solved through some embodiments of the present disclosure is to provide a feature data recalibration method based on style information of each image, and an apparatus or system to which the method is applied.

본 개시의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present disclosure are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 특징 데이터 리캘리브레이션 방법은, 컨볼루션 뉴럴 네트워크(CNN)에 의하여 생성되는 제1 채널의 특징 데이터를 얻는 단계와, 상기 컨볼루션 뉴럴 네트워크에 의하여 생성되는 제2 채널의 특징 데이터를 얻는 단계와, 상기 제1 채널의 특징 데이터를 제1 어파인 변환(affine transform)하여 제1 채널의 중요도 가중치(importance weight)를 얻는 단계와, 상기 제2 채널의 특징 데이터를 제2 어파인 변환하여 제2 채널의 중요도 가중치를 얻되, 상기 제2 어파인 변환은 상기 제1 어파인 변환과 적어도 하나의 파라미터가 상이한 것인 단계와, 상기 제1 채널의 특징 데이터를 상기 제1 채널의 중요도 가중치를 반영하여 리캘리브레이션(recalibration) 하는 단계와, 상기 제2 채널의 특징 데이터를 상기 제2 채널의 중요도 가중치를 반영하여 리캘리브레이션 하는 단계를 포함한다.In order to solve the above technical problem, a feature data recalibration method according to an embodiment of the present invention includes obtaining feature data of a first channel generated by a convolutional neural network (CNN), and the convolutional neural network Obtaining feature data of a second channel generated by, and obtaining an importance weight of a first channel by performing a first affine transform on the feature data of the first channel; and A second affine transform of the feature data of two channels to obtain an importance weight of the second channel, wherein the second affine transform is at least one parameter different from the first affine transform; and the first channel And recalibrating the feature data of the first channel by reflecting the importance weight of the first channel, and recalibrating the feature data of the second channel by reflecting the importance weight of the second channel.

일 실시예에서, 상기 제1 채널의 특징 데이터는 상기 제1 채널의 2차원 특징 맵이고, 상기 제1 채널의 중요도 가중치를 얻는 단계는 상기 제1 채널의 특징 맵의 대표값을 얻고, 상기 대표값을 제1 어파인 변환하여 제1 채널의 중요도 가중치를 얻는 단계를 포함할 수 있다. 이 때, 상기 대표값을 제1 어파인 변환하여 제1 채널의 중요도 가중치를 얻는 단계는, 상기 제1 채널의 특징 맵에 포함된 각각의 특징 값의 제1 통계 대표값을 얻는 단계와, 상기 제1 채널의 특징 맵에 포함된 각각의 특징 값의 제2 통계 대표값을 얻는 단계와, 상기 제1 통계 대표값과 상기 제2 통계 대표값을 상기 제1 어파인 변환에 입력하고, 상기 제1 어파인 변환의 출력인 상기 제1 채널의 중요도 가중치를 얻는 단계를 포함할 수 있다.In one embodiment, the feature data of the first channel is a two-dimensional feature map of the first channel, and the step of obtaining the importance weight of the first channel obtains a representative value of the feature map of the first channel, and the representative It may include the step of obtaining the importance weight of the first channel by converting the value to a first affine. In this case, the step of obtaining the importance weight of the first channel by converting the representative value to a first affine includes: obtaining a first statistical representative value of each feature value included in the feature map of the first channel; and Obtaining a second statistical representative value of each feature value included in the feature map of the first channel; inputting the first statistical representative value and the second statistical representative value to the first affine transformation; and It may include the step of obtaining the importance weight of the first channel, which is an output of 1 affine transformation.

일 실시예에서, 상기 컨볼루션 뉴럴 네트워크에 입력되는 데이터는 이미지 데이터이고, 상기 제1 채널의 특징 데이터는 상기 제1 채널의 2차원 특징 맵이며, 상기 제1 채널의 중요도 가중치를 얻는 단계는, 상기 제1 채널의 2차원 특징 맵의 스타일 정보를 제1 어파인 변환하여 제1 채널의 중요도 가중치를 얻는 단계를 포함할 수 있다. 이 때, 상기 제1 채널의 2차원 특징 맵의 스타일 정보는 상기 제1 채널의 2차원 특징 맵의 각 특징 값의 평균 및 표준편차를 포함할 수 있다. 또는, 상기 제1 채널의 2차원 특징 맵의 스타일 정보를 제1 어파인 변환하여 제1 채널의 중요도 가중치를 얻는 단계는 상기 제1 채널의 2차원 특징 맵의 스타일 정보를 제1 어파인 변환하는 단계와 상기 제1 어파인 변환의 결과에 활성화 함수(activation function)를 적용하여 상기 제1 채널의 중요도 가중치를 얻는 단계를 포함할 수 있다. 또는, 상기 컨볼루션 뉴럴 네트워크에 입력되는 이미지 데이터는 제1 스타일의 이미지 데이터 및 제2 스타일의 이미지 데이터를 포함할 수 있다.In one embodiment, the data input to the convolutional neural network is image data, the feature data of the first channel is a two-dimensional feature map of the first channel, and obtaining the importance weight of the first channel, And obtaining an importance weight of the first channel by first affine-transforming style information of the 2D feature map of the first channel. In this case, the style information of the 2D feature map of the first channel may include an average and standard deviation of each feature value of the 2D feature map of the first channel. Alternatively, the step of obtaining the importance weight of the first channel by converting the style information of the two-dimensional feature map of the first channel to a first affine may include converting the style information of the two-dimensional feature map of the first channel to a first affine. And obtaining an importance weight of the first channel by applying an activation function to the result of the first affine transformation. Alternatively, image data input to the convolutional neural network may include image data of a first style and image data of a second style.

일 실시예에서, 상기 제1 어파인 변환의 파라미터는 상기 제1 채널의 특징 데이터를 이용하여 상기 컨볼루션 뉴럴 네트워크의 학습 과정에서 학습되는 것이고, 상기 제2 어파인 변환의 파라미터는 상기 제2 채널의 특징 데이터를 이용하여 상기 컨볼루션 뉴럴 네트워크의 학습 과정에서 학습되는 것일 수 있다.In one embodiment, the parameter of the first affine transformation is learned in the learning process of the convolutional neural network using feature data of the first channel, and the parameter of the second afine transformation is the second channel It may be learned in the learning process of the convolutional neural network using the feature data of.

일 실시예에서, 상기 제1 채널의 특징 데이터를 상기 제1 채널의 중요도 가중치를 반영하여 리캘리브레이션 하는 단계는 상기 제1 채널의 특징 데이터와 상기 제1 채널의 중요도 가중치를 곱한 결과를 리캘리브레이션 이후의 제1 채널의 특징 데이터로 세팅하는 단계를 포함할 수 있다.In one embodiment, the step of recalibrating the feature data of the first channel by reflecting the importance weight of the first channel is a result of multiplying the feature data of the first channel by the importance weight of the first channel after recalibration. It may include the step of setting the feature data of the first channel of.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 기계 학습 장치는 하나 이상의 인스트럭션들(instructions)을 저장하는 메모리와, 상기 저장된 하나 이상의 인스트럭션들을 실행함으로써, 컨볼루션 뉴럴 네트워크(CNN)에 의하여 생성되는 제1 채널의 특징 데이터 및 제2 채널의 특징 데이터를 얻고, 상기 제1 채널의 특징 데이터를 제1 어파인 변환(affine transform)하여 제1 채널의 중요도 가중치(importance weight)를 얻고, 상기 제2 채널의 특징 데이터를 상기 제1 어파인 변환과 상이한 제2 어파인 변환하여 제2 채널의 중요도 가중치를 얻으며, 상기 제1 채널의 특징 데이터를 상기 제1 채널의 중요도 가중치를 반영하여 리캘리브레이션(recalibration) 하고, 상기 제2 채널의 특징 데이터를 상기 제2 채널의 중요도 가중치를 반영하여 리캘리브레이션 하는 프로세서를 포함할 수 있다.A machine learning apparatus according to another embodiment of the present invention for solving the above technical problem is a memory for storing one or more instructions, and a convolutional neural network (CNN) by executing the stored one or more instructions. To obtain the generated feature data of the first channel and the feature data of the second channel, obtain an importance weight of the first channel by first affine transform of the feature data of the first channel, and the The feature data of the second channel is transformed into a second affine different from the first affine transform to obtain an importance weight of the second channel, and the feature data of the first channel is recalibrated by reflecting the importance weight of the first channel. and a processor for recalibrating the characteristic data of the second channel by reflecting the importance weight of the second channel.

일 실시예에서, 상기 컨볼루션 뉴럴 네트워크에 입력되는 데이터는 이미지 데이터이고, 상기 제1 채널의 특징 데이터는 상기 제1 채널의 2차원 특징 맵이고, 상기 프로세서는, 상기 제1 채널의 2차원 특징 맵의 스타일 정보를 제1 어파인 변환하여 제1 채널의 중요도 가중치를 얻는 것일 수 있다. 이 때, 상기 프로세서는, 상기 제1 채널의 2차원 특징 맵의 스타일 정보를 제1 어파인 변환하고, 상기 제1 어파인 변환의 결과에 활성화 함수(activation function)를 적용하여 상기 제1 채널의 중요도 가중치를 얻을 수 있다. 또는, 상기 컨볼루션 뉴럴 네트워크에 입력되는 이미지 데이터는 제1 스타일의 이미지 데이터 및 제2 스타일의 이미지 데이터를 포함할 수 있다.In one embodiment, the data input to the convolutional neural network is image data, the feature data of the first channel is a two-dimensional feature map of the first channel, and the processor, the two-dimensional feature of the first channel The map style information may be converted into a first affine to obtain an importance weight of the first channel. In this case, the processor converts the style information of the 2D feature map of the first channel into a first affine, and applies an activation function to the result of the first affine transformation, Importance weights can be obtained. Alternatively, image data input to the convolutional neural network may include image data of a first style and image data of a second style.

일 실시예에서, 상기 프로세서는, 상기 제1 채널의 특징 데이터와 상기 제1 채널의 중요도 가중치를 곱한 결과를 리캘리브레이션 이후의 제1 채널의 특징 데이터로 세팅할 수 있다.In an embodiment, the processor may set the result of multiplying the feature data of the first channel by the importance weight of the first channel as feature data of the first channel after recalibration.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램이 제공될 수 있다. 상기 컴퓨터 프로그램은 컴퓨팅 장치와 결합하여, 컨볼루션 뉴럴 네트워크(CNN)에 의하여 생성되는 제1 채널의 특징 데이터 및 제2 채널의 특징 데이터를 얻는 단계와, 상기 제1 채널의 특징 데이터를 제1 어파인 변환(affine transform)하여 제1 채널의 중요도 가중치(importance weight)를 얻고, 상기 제2 채널의 특징 데이터를 상기 제1 어파인 변환과 상이한 제2 어파인 변환하여 제2 채널의 중요도 가중치를 얻는 단계와, 상기 제1 채널의 특징 데이터를 상기 제1 채널의 중요도 가중치를 반영하여 리캘리브레이션(recalibration) 하고, 상기 제2 채널의 특징 데이터를 상기 제2 채널의 중요도 가중치를 반영하여 리캘리브레이션 하는 단계를 실행시키기 위하여, 컴퓨터로 읽을 수 있는 기록 매체에 저장된 것이다.A computer program according to another embodiment of the present invention for solving the above technical problem may be provided. The computer program is combined with a computing device to obtain characteristic data of a first channel and characteristic data of a second channel generated by a convolutional neural network (CNN), and the characteristic data of the first channel Affine transform is performed to obtain an importance weight of a first channel, and feature data of the second channel is transformed into a second affine different from the first affine transform to obtain an importance weight of the second channel. Recalibrating the feature data of the first channel by reflecting the importance weight of the first channel, and recalibrating the feature data of the second channel by reflecting the importance weight of the second channel To run, it is stored in a computer-readable recording medium.

도 1은 본 발명의 몇몇 실시예들에 따른 특징 데이터 리캘리브레이션이 적용된 뉴럴 네트워크 아키텍처를 예시적으로 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 특징 데이터 리캘리브레이션 방법의 순서도이다.
도 3은 도 2를 참조하여 설명된 특징 데이터 리캘리브레이션 방법의 제1 형태를 설명하기 위한 개념도이다.
도 4는 도 2를 참조하여 설명된 특징 데이터 리캘리브레이션 방법의 제2 형태를 설명하기 위한 개념도이다.
도 5는 도 2를 참조하여 설명된 특징 데이터 리캘리브레이션 방법의 제3 형태를 설명하기 위한 개념도이다.
도 6 내지 도 7은 도 2를 참조하여 설명된 특징 데이터 리캘리브레이션 방법이 보다 쉽게 이해되도록 하기 위한 개념도이다.
도 8은 본 발명의 다른 실시예에 따른 기계 학습 장치의 하드웨어 구성도이다.
도 9는 본 발명의 또 다른 실시예에 따른 의료영상 분석 시스템의 구성도이다.1 is a diagram illustrating a neural network architecture to which feature data recalibration is applied according to some embodiments of the present invention.
2 is a flowchart of a feature data recalibration method according to an embodiment of the present invention.
3 is a conceptual diagram illustrating a first form of a method for recalibrating feature data described with reference to FIG. 2.
4 is a conceptual diagram illustrating a second form of the feature data recalibration method described with reference to FIG. 2.
FIG. 5 is a conceptual diagram illustrating a third form of the feature data recalibration method described with reference to FIG. 2.
6 to 7 are conceptual diagrams for making it easier to understand the feature data recalibration method described with reference to FIG. 2.
8 is a hardware configuration diagram of a machine learning apparatus according to another embodiment of the present invention.
9 is a configuration diagram of a medical image analysis system according to another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명의 기술적 사상을 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the technical idea of the present invention is not limited to the following embodiments, but may be implemented in various different forms, and only the following embodiments complete the technical idea of the present invention, and in the technical field to which the present invention pertains. It is provided to completely inform the scope of the present invention to those of ordinary skill in the art, and the technical idea of the present invention is only defined by the scope of the claims.

각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.In adding reference numerals to elements of each drawing, it should be noted that the same elements have the same numerals as possible even if they are indicated on different drawings. In addition, in describing embodiments of the present invention, when it is determined that a detailed description of a related known configuration or function may obscure the subject matter of the present disclosure, a detailed description thereof will be omitted.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used in a sense that can be commonly understood by those skilled in the art to which this disclosure belongs. In addition, terms defined in the commonly used dictionary are not ideally or excessively interpreted unless specifically defined. The terminology used herein is for describing the embodiments and is not intended to limit the present disclosure. In the present specification, the singular form also includes the plural form unless otherwise specified in the phrase.

또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.In addition, in describing the constituent elements of the present disclosure, terms such as first and second may be used. These terms are only for distinguishing the component from other components, and the nature, order, or order of the component is not limited by the term.

이하, 도 1을 참조하여 본 발명의 몇몇 실시예들에 따른 특징 데이터 리캘리브레이션이 적용된 뉴럴 네트워크 아키텍처를 설명함으로써, 본 발명의 몇몇 실시예들에 따른 특징 데이터 리캘리브레이션의 기술 분야를 설명한다.Hereinafter, a technical field of feature data recalibration according to some embodiments of the present invention will be described by describing a neural network architecture to which feature data recalibration is applied according to some embodiments of the present invention with reference to FIG. 1.

뉴럴 네트워크 아키텍처에 입력 데이터(10)가 입력됨으로써, 뉴럴 네트워크의 학습이 시작된다. 상기 학습은 뉴럴 네트워크의 인접 레이어 노드들 사이의 가중치(weight)를, 출력 데이터의 에러값을 이용하여 업데이트 하는 것으로 이해될 수 있을 것이다.As the input data 10 is input to the neural network architecture, learning of the neural network is started. The learning may be understood as updating weights between nodes of adjacent layers of the neural network using an error value of output data.

본 발명의 몇몇 실시예들에서 참조되는 뉴럴 네트워크 아키텍처는 복수의 필터(커널)를 이용하는 컨볼루션 뉴럴 네트워크 기반의 것임을 전제한다. 넓이가 W이고 높이가 H인 이미지인 입력 데이터(10)가 제1 컨볼루션 레이어에 입력되면, 제1 컨볼루션 레이어는 넓이가 W'이고 높이가 H'인 C개(필터의 개수이자 채널의 개수)의 특징 데이터(11)를 출력한다. 특징 데이터(11)는 2차원 벡터 또는 2차원 특징 맵으로 지칭될 수 있을 것이다.It is premised that the neural network architecture referred to in some embodiments of the present invention is based on a convolutional neural network using a plurality of filters (kernels). When input data 10, which is an image having a width of W and a height of H, is input to the first convolution layer, the first convolution layer has C pieces of width W'and height H'(number of filters and Number) of the feature data 11 is output. The feature data 11 may be referred to as a two-dimensional vector or a two-dimensional feature map.

상기 제1 컨볼루션 레이어를 통과한 특징 데이터(11)에 본 발명의 몇몇 실시예에 따른 특징 데이터 리캘리브레이션 방법이 적용되면 리캘리브레이션 된 특징 데이터(12)가 생성된다. 실시예에 따라 리캘리브레이션 된 특징 데이터(12)가 특징 데이터(11)와 별도로 생성되는 것이 아니라, 특징 데이터(11)가 리캘리브레이션 된 특징 데이터(12)로 변환될 수도 있다.When the feature data recalibration method according to some embodiments of the present invention is applied to the feature data 11 passing through the first convolution layer, the recalibrated feature data 12 is generated. According to an embodiment, the recalibrated feature data 12 is not generated separately from the feature data 11, but the feature data 11 may be converted into the recalibrated feature data 12.

리캘리브레이션 된 특징 데이터(12)가 제1 풀링 레이어(pooling layer)에 입력되면, 제1 풀링 레이어는 넓이와 높이가 더 축약된 C개(필터의 개수이자 채널의 개수)의 특징 데이터(13)를 출력한다. 또한, 필요한 만큼 넓이와 높이가 축약되도록 컨볼루션 레이어 통과, 컨볼루션 레이어로부터 출력된 특징 데이터의 리캘리브레이션, 풀링 레이어 통과가 반복될 수 있을 것이다. 필요한 만큼 넓이와 높이가 축약된 이후의 특징 데이터는 FCNN(Fully Connected Neural Network)(14)에 입력되고, FCNN은 뉴럴 네트워크 아키텍처의 기계 학습 목적에 맞는 결과(OUTPUT)을 출력할 수 있도록 학습될 것이다.When the recalibrated feature data 12 is input to the first pooling layer, the first pooling layer has C feature data 13 whose width and height are further reduced (the number of filters and the number of channels). Prints. In addition, passing through the convolution layer, recalibrating the feature data output from the convolution layer, and passing through the pooling layer may be repeated so that the width and height are reduced as necessary. After the width and height are reduced as needed, the feature data is input to the FCNN (Fully Connected Neural Network) (14), and the FCNN will be trained to output the result (OUTPUT) suitable for the machine learning purpose of the neural network architecture. .

이상, 도 1을 참조하여 설명한 바와 같이, 본 발명의 몇몇 실시예에 따른 특징 데이터 리캘리브레이션 방법은 컨볼루션 레이어에서 출력된 각 채널 별 특징 데이터가, 각각의 채널 별 중요도에 따라 강화되거나 약화되도록 조정한 후 풀링 레이어로 특징 데이터가 전달되도록 하는 것이다. 물론, 본 발명의 몇몇 실시예에 따른 특징 데이터 리캘리브레이션 방법이 풀링 레이어에서 출력된 특징 데이터를 대상으로 적용될 수도 있을 것이다. 풀링 레이어에서 출력된 특징 데이터는 컨볼루션 레이어에서 출력된 특징 데이터보다 특징이 더 축약된 것으로서, 데이터 사이즈도 더 작다. 따라서, 풀링 레이어에서 출력된 특징 데이터를 대상으로 특징 데이터 리캘리브레이션 방법이 적용되는 경우, 특징 데이터 리캘리브레이션에 더 낮은 연산량 만이 요구될 것이다.As described above with reference to FIG. 1, in the feature data recalibration method according to some embodiments of the present invention, feature data for each channel output from the convolution layer is adjusted to be enhanced or weakened according to the importance of each channel. After that, the feature data is transferred to the pooling layer. Of course, the feature data recalibration method according to some embodiments of the present invention may be applied to feature data output from the pooling layer. The feature data output from the pooling layer is a smaller feature than the feature data output from the convolution layer, and has a smaller data size. Therefore, when the feature data recalibration method is applied to feature data output from the pooling layer, only a lower amount of computation will be required for feature data recalibration.

이하, 본 발명의 일 실시예에 따른 특징 데이터 리캘리브레이션 방법을 도 2를 참조하여 설명하기로 한다. 본 실시예에 따른 방법은 한 대 이상의 컴퓨팅 장치에 의하여 수행될 수 있다. 즉, 도 2를 참조하여 설명하는 각각의 동작이 모두 동일한 컴퓨팅 장치에 의하여 수행될 수도 있고, 일부 동작과 나머지 동작이 서로 다른 컴퓨팅 장치에 의하여 수행될 수도 있다.Hereinafter, a method for recalibrating feature data according to an embodiment of the present invention will be described with reference to FIG. 2. The method according to the present embodiment may be performed by one or more computing devices. That is, each operation described with reference to FIG. 2 may be performed by the same computing device, or some operations and other operations may be performed by different computing devices.

단계 S100에서, 컨볼루션 뉴럴 네트워크(CNN)의 컨볼루션 레이어에서 출력되는 각 채널 별 특징 데이터가 획득된다. 이미 설명된 바와 같이 풀링 레이어에서 출력되는 특징 데이터를 대상으로 본 발명의 몇몇 실시예들에 따른 리캘리브레이션이 수행될 수도 있고, 이 때에는 풀링 레이어에서 출력되는 각 채널 별 특징 데이터가 획득될 수도 있음은 물론이다.In step S100, feature data for each channel output from a convolution layer of a convolutional neural network (CNN) is obtained. As already described, recalibration according to some embodiments of the present invention may be performed on the feature data output from the pooling layer, and in this case, feature data for each channel output from the pooling layer may be obtained. Of course.

상기 각 채널 별 특징 데이터는, 적어도 2개의 채널에 대한 특징 데이터를 포함한다. 즉, 상기 각 채널 별 특징 데이터는 제1 채널의 특징 데이터와 제2 채널의 특징 데이터를 포함한다. 상기 제1 채널의 특징 데이터는 입력된 데이터에 제1 필터를 적용한 결과로 출력된 데이터이고, 상기 제2 채널의 특징 데이터는 입력된 데이터에 제2 필터를 적용한 결과를 출력된 데이터인 것으로 이해될 수 있을 것이다.The characteristic data for each channel includes characteristic data for at least two channels. That is, the characteristic data for each channel includes characteristic data of a first channel and characteristic data of a second channel. It will be understood that the feature data of the first channel is data output as a result of applying the first filter to the input data, and the feature data of the second channel is data output from the result of applying the second filter to the input data. I will be able to.

상기 특징 데이터는 입력 데이터를 구성하는 차원(dimension)의 수 및 적용되는 필터의 종류에 따라 그 차원의 수가 결정될 것이다. 예를 들어 입력 데이터가 2차원으로 표현되는 데이터이고, 적용되는 필터가 데이터의 차원을 변화시키지는 않는 것인 경우 상기 특징 데이터는 2차원의 특징 맵일 수 있다. 2차원으로 표현되는 데이터로서, 예시적으로 이미지가 고려될 수 있을 것이다. 또한 예를 들어 입력 데이터가 3차원으로 표현되는 데이터이고, 적용되는 필터가 데이터의 차원을 1차원 감소시키는 것인 경우에도 상기 특징 데이터는 2차원의 특징 맵일 수 있을 것이다.The number of dimensions of the feature data will be determined according to the number of dimensions constituting the input data and the type of filter to be applied. For example, if the input data is data expressed in two dimensions, and the applied filter does not change the dimension of the data, the feature data may be a two-dimensional feature map. As data expressed in two dimensions, an image may be considered as an example. In addition, for example, even if the input data is data expressed in three dimensions, and the applied filter reduces the dimension of the data by one dimension, the feature data may be a two-dimensional feature map.

본 실시예에 따른 리캘리브레이션 방법은 특징 데이터의 차원의 수가 특정 값일 것을 요하지 않으므로, 다양한 차원의 입력 데이터 및 다양한 컨볼루션 필터를 이용한 기계 학습에 다양하게 적용될 수 있다. 이는, 본 실시예에 따른 리캘리브레이션 방법이 특징 데이터를 각각의 채널 별로 어파인 변환하여 채널 별 중요도 가중치를 얻기 때문이고, 상기 어파인 변환에는 입력 데이터(벡터)의 차원에 대한 제한이 없기 때문이다.Since the recalibration method according to the present embodiment does not require that the number of dimensions of the feature data be a specific value, it can be variously applied to machine learning using input data of various dimensions and various convolution filters. This is because the recalibration method according to the present embodiment obtains importance weights for each channel by affine-transforming feature data for each channel, and because the affine conversion does not have a limitation on the dimension of the input data (vector). .

몇몇 실시예에서, 상기 특징 데이터의 각 채널 별 스타일 정보를 얻은 후, 스타일 정보가 후술할 어파인 변환에 입력될 수도 있다. 이와 관련하여는 도 4를 참조하여 후술하기로 한다.In some embodiments, after obtaining style information for each channel of the feature data, style information may be input to affine transformation, which will be described later. This will be described later with reference to FIG. 4.

단계 S200에서, 각 채널 별로 서로 다른 어파인 변환(affine transform)이 수행되고, 상기 어파인 변환의 결과를 이용하여 각 채널 별 중요도 가중치(importance weight)가 획득된다. 즉, 제1 채널에 대하여는 제1 어파인 변환이 수행되고, 제2 채널에 대하여는 제2 어파인 변환이 수행되는 것이다. 여기서 상기 제2 어파인 변환은 상기 제1 어파인 변환과 적어도 하나의 파라미터가 상이한 것이다.In step S200, a different affine transform is performed for each channel, and an importance weight for each channel is obtained using the result of the affine transform. That is, the first affine transformation is performed on the first channel, and the second affine transformation is performed on the second channel. Here, the second affine transformation is one in which at least one parameter is different from the first affine transformation.

상기 각각의 어파인 변환의 파라미터는 컨볼루션 뉴럴 네트워크의 학습 과정에서 학습되는 것이다. 즉, 제1 채널의 제1 어파인 변환의 파라미터는 제1 채널의 특징 데이터를 이용하여 학습되고, 제2 채널의 제2 어파인 변환의 파라미터는 제2 채널의 특징 데이터를 이용하여 학습된다. 예를 들어, 각각의 어파인 변환은 FCNN(Fully Connected Neural Network)를 이용하여 구현될 수 있다. 즉, 네트워크 아키텍처의 측면에서, 컨볼루션 레이어 뒤로 각 채널 별로 독자적인 FCNN이 연결되는 것으로 이해될 수 있을 것이다.The parameters of each of the affine transforms are learned during the learning process of the convolutional neural network. That is, the parameter of the first affine transformation of the first channel is learned using the feature data of the first channel, and the parameter of the second affine transformation of the second channel is learned using the feature data of the second channel. For example, each affine transformation may be implemented using a Fully Connected Neural Network (FCNN). That is, in terms of network architecture, it can be understood that an independent FCNN is connected for each channel behind the convolutional layer.

상기 중요도 가중치는 각 채널의 중요도를 가리키는 데이터로서, 값(value)이거나 2차원 이상의 벡터일 수 있다.The importance weight is data indicating the importance of each channel, and may be a value or a vector of two or more dimensions.

본 실시예에서, 각각의 채널 별로 독립적인 어파인 변환이 적용되므로, 리캘리브레이션을 위한 연산량 증가가 최소화된다. 시뮬레이션 결과에 따르면 널리 알려진 기 학습된 모델(pre-trained model)인 레스넷-50(Resnet-50)에서 본 실시예에 따른 리캘리브레이션을 위하여 추가되는 파라미터(전체 뉴럴 네트워크에 포함된 가중치의 개수)는 0.015% 수준으로 억제되었다. 이처럼, 연산 능력이 제한되어 있는 컴퓨팅 장치에서도 본 실시예에 따른 특징 데이터 리캘리브레이션을 적용하여 기계 학습을 수행할 수 있다.In this embodiment, since an independent affine transformation is applied for each channel, an increase in the amount of computation for recalibration is minimized. According to the simulation results, parameters added for recalibration according to the present embodiment in the widely known pre-trained model Resnet-50 (the number of weights included in the entire neural network) Was suppressed to the level of 0.015%. As described above, even in a computing device having a limited computing power, machine learning may be performed by applying the feature data recalibration according to the present embodiment.

다음으로, 단계 S300에서, 각 채널 별 중요도 가중치를 이용하여 단계 S100에서 얻어진 채널 별 특징 데이터가 리캘리브레이션 된다. 예를 들어, 단계 S100에서 얻어진 제1 채널의 특징 데이터와 제1 채널의 중요도 가중치가 곱해지거나, 제1 채널의 특징 데이터와 제1 채널의 중요도 가중치가 합산되거나, 제1 채널의 특징 데이터에서 제1 채널의 중요도 가중치가 감산되는 등의 방식으로, 상기 제1 채널의 특징 데이터가 리캘리브레이션 될 수 있을 것이다. 이 때, 제1 채널의 특징 데이터와 제1 채널의 중요도 가중치가 곱해진 결과로 상기 제1 채널의 특징 데이터가 리캘리브레이션 되는 경우, 상기 중요도 가중치의 반영이 가장 자연스러운 효과가 있다.Next, in step S300, the feature data for each channel obtained in step S100 is recalibrated using the importance weight for each channel. For example, the feature data of the first channel obtained in step S100 and the importance weight of the first channel are multiplied, the feature data of the first channel and the importance weight of the first channel are summed, or the first channel feature data The feature data of the first channel may be recalibrated by subtracting the importance weight of one channel. In this case, when the feature data of the first channel is recalibrated as a result of multiplying the feature data of the first channel and the importance weight of the first channel, the reflection of the importance weight has the most natural effect.

몇몇 실시예들에 따르면, 단계 S300에서, 리캘리브레이션 된 특징 데이터를 얻기 위한 특징 데이터와 중요도 가중치 사이의 연산이, 적어도 일부 채널에서는 다른 채널과 상이한 것일 수 있다. 예를 들어, 제1 채널의 특징 데이터와 제1 채널의 중요도 가중치가 곱해지는 것에 의하여 상기 제1 채널의 특징 데이터가 리캘리브레이션 되고, 제2 채널의 특징 데이터와 제2 채널의 중요도 가중치가 합산되는 것에 의하여 상기 제2 채널의 특징 데이터가 리캘리브레이션 될 수 있는 것이다. 이 때, 각 채널 별 특징 데이터와 중요도 가중치 사이의 상기 연산은 각 채널의 필터 별로 사전에 정의된 것일 수 있다. 필터에 따라 상기 필터의 적용 결과로 얻어진 특징 데이터의 리캘리브레이션 효율이 높은 연산이 사전에 정의될 수 있는 것으로 이해될 수 있을 것이다. 물론, 몇몇 실시예들에서, 각 채널 별 특징 데이터와 중요도 가중치 사이의 상기 연산 역시 기 지정된 복수의 연산 중 하나로 전체 뉴럴 네트워크의 학습과 함께 학습될 수도 있을 것이다.According to some embodiments, in step S300, an operation between the feature data and the importance weight for obtaining the recalibrated feature data may be different from other channels in at least some channels. For example, the feature data of the first channel is recalibrated by multiplying the feature data of the first channel and the importance weight of the first channel, and the feature data of the second channel and the importance weight of the second channel are summed. As a result, the feature data of the second channel can be recalibrated. In this case, the calculation between the feature data for each channel and the importance weight may be predefined for each filter of each channel. It may be understood that, depending on the filter, an operation having high recalibration efficiency of the feature data obtained as a result of applying the filter may be defined in advance. Of course, in some embodiments, the operation between the feature data for each channel and the importance weight may be one of a plurality of pre-designated operations and may be learned together with the learning of the entire neural network.

다음으로, 단계 S400에서, 리캘리브레이션 된 특징 데이터를 이용하여 후속 레이어들의 업데이트가 진행될 것이다. 물론, 오차 역전파(Back Propagation)를 고려하면 후속 레이어들의 업데이트가 먼저 진행된 후 리캘리브레이션을 위한 레이어와 컨볼루션 레이어가 업데이트 되는 것으로 이해될 수도 있을 것이다. 단계 S100 내지 S400은 추가 학습 데이터(training data)가 더 이상 존재하지 않을 때까지 반복된다(S500).Next, in step S400, updating of subsequent layers will be performed using the recalibrated feature data. Of course, considering back propagation, it may be understood that the layer for recalibration and the convolution layer are updated after the subsequent layers are updated first. Steps S100 to S400 are repeated until additional training data no longer exists (S500).

다음으로, 도 3 내지 도 7을 참조하여 도 2를 참조하여 설명한 리캘리브레이션 방법을 보다 자세히 설명한다.Next, the recalibration method described with reference to FIG. 2 will be described in more detail with reference to FIGS. 3 to 7.

도 3은 도 2를 참조하여 설명된 특징 데이터 리캘리브레이션 방법의 제1 형태를 설명하기 위한 개념도이다. 도 3에 도시된 바와 같이, 리캘리브레이션의 대상인 특징 데이터(11)에 포함된 제1 채널의 특징 데이터(11a)에 적용되는 어파인 변환(31)과 제2 채널의 특징 데이터(11b)에 적용되는 어파인 변환(32)은 서로 상이하다. 제1 채널의 어파인 변환(31)의 결과를 이용하여 제1 채널의 중요도 가중치(51)가 얻어지고, 제2 채널의 어파인 변환(32)의 결과를 이용하여 제2 채널의 중요도 가중치(52)가 얻어진다. 제1 채널의 특징 데이터(11a)가 제1 채널의 중요도 가중치(51)를 반영하여 조정되는 연산(60)을 거치면, 리캘리브레이션 된 제1 채널의 특징 데이터(12a)가 얻어진다. 또한 제2 채널의 특징 데이터(11b)가 제2 채널의 중요도 가중치(52)를 반영하여 조정되는 연산(60)을 거치면, 리캘리브레이션 된 제2 채널의 특징 데이터(12b)가 얻어진다.3 is a conceptual diagram illustrating a first form of a method for recalibrating feature data described with reference to FIG. 2. As shown in FIG. 3, an affine transformation 31 applied to the feature data 11a of the first channel included in the feature data 11 that is the object of recalibration and applied to the feature data 11b of the second channel The affine transformations 32 are different from each other. The importance weight 51 of the first channel is obtained by using the result of the afine transform 31 of the first channel, and the importance weight of the second channel ( 52) is obtained. When the feature data 11a of the first channel is adjusted by reflecting the importance weight 51 of the first channel, the recalibrated feature data 12a of the first channel is obtained. In addition, when the feature data 11b of the second channel is adjusted by reflecting the importance weight 52 of the second channel, the recalibrated feature data 12b of the second channel is obtained.

도 4는 도 2를 참조하여 설명된 특징 데이터 리캘리브레이션 방법의 제2 형태를 설명하기 위한 개념도이다. 도 4에 도시된 바와 같이, 각 채널의 특징 데이터로부터 스타일 정보를 얻고, 상기 스타일 정보를 어파인 변환하여 중요도 가중치를 얻을 수도 있다. 입력 데이터가 이미지일 때, 상기 특징 데이터는 2차원의 특징 맵이고, 상기 스타일 정보는, 상기 특징 맵에 포함된 각각의 특징값의 제1 통계 대표값 및 제2 통계 대표값을 포함할 수 있다. 실시예에 따라 다양한 조합의 제1 통계 대표값 및 제2 통계 대표값이 이용될 수 있는데, 예를 들어, 상기 제1 통계 대표값은 평균값이고, 상기 제2 통계 대표값은 표준 편차일 수 있다. 이미지의 스타일 정보는 각 픽셀 값의 평균과 표준편차를 이용하여 표현될 수 있는 점을 고려할 때, 입력 데이터가 이미지인 경우, 상기 제1 통계 대표값이 평균값이고, 상기 제2 통계 대표값이 표준 편차일 때, 데이터의 스타일 정보가 정확하게 표현될 수 있을 것이다. 다른 예로, 상기 제1 통계 대표값은 특징 맵에 포함된 각각의 특징값의 평균 및 표준편차일 수 있고, 상기 제2 통계 대표값은 그램 매트릭스(gram matrix)일 수 있다.4 is a conceptual diagram illustrating a second form of the feature data recalibration method described with reference to FIG. 2. As shown in FIG. 4, style information may be obtained from feature data of each channel, and the importance weight may be obtained by affine transforming the style information. When the input data is an image, the feature data is a two-dimensional feature map, and the style information may include a first statistical representative value and a second statistical representative value of each feature value included in the feature map. . Depending on the embodiment, various combinations of the first statistical representative value and the second statistical representative value may be used. For example, the first statistical representative value may be an average value, and the second statistical representative value may be a standard deviation. . Considering that the style information of the image can be expressed using the average and standard deviation of each pixel value, when the input data is an image, the first statistical representative value is an average value, and the second statistical representative value is standard. In case of deviation, the style information of the data can be accurately expressed. As another example, the first statistical representative value may be an average and standard deviation of each feature value included in the feature map, and the second statistical representative value may be a gram matrix.

상기 스타일 정보는 특징 맵에 포함된 각각의 특징값의 통계 대표값을 이용하여 구성되므로, 정보량이 특징 맵 보다 적다. 따라서, 스타일 정보를 어파인 변환하여 중요도 정보를 얻는 경우, 특징 맵을 어파인 변환하여 중요도 정보를 얻는 경우 대비 더 빠른 연산 속도를 얻을 수 있는 효과가 있다. 여기서 중요도 정보는 중요도 가중치에 대한 정보를 의미할 수 있다.Since the style information is configured using statistical representative values of each feature value included in the feature map, the amount of information is smaller than that of the feature map. Therefore, when the importance information is obtained by affine-converting the style information, there is an effect of obtaining a faster operation speed compared to the case of obtaining the importance information by affine-transforming the feature map. Here, the importance information may mean information on an importance weight.

도 5는 도 2를 참조하여 설명된 특징 데이터 리캘리브레이션 방법의 제3 형태를 설명하기 위한 개념도이다. 도 5에 도시된 바와 같이, 중요도 정보는 어파인 변환의 결과에 활성화 함수(Activation function)를 적용하여 얻어질 수 있다. 상기 활성화 함수는 시그모이드 함수(Sigmoid function), ReLU 등 널리 알려진 다양한 활성화 함수가 적용될 수 있다.FIG. 5 is a conceptual diagram illustrating a third form of the feature data recalibration method described with reference to FIG. 2. As shown in FIG. 5, the importance information may be obtained by applying an activation function to the result of affine transformation. As the activation function, various widely known activation functions such as a sigmoid function and ReLU may be applied.

상기 활성화 함수는 모든 채널에 대하여 동일한 함수가 적용될 수도 있으나, 각각의 채널 별로 서로 다른 함수가 적용될 수도 있을 것이다.The same function may be applied to all channels as the activation function, but different functions may be applied to each channel.

도 6 내지 도 7은 도 2를 참조하여 설명된 특징 데이터 리캘리브레이션 방법이 보다 쉽게 이해되도록 하기 위한 개념도이다. 도 6은 입력 데이터가 이미지이고, 그에 따라 리캘리브레이션 대상 채널 별 특징 데이터 F(11)가 너비(W), 높이(H) 및 채널(C)의 3차원 벡터로 구성된 경우, 스타일 정보(너비 1 X 높이 1 X 채널 C)(20)의 추출, 어파인 변환(30), 활성화 함수(40) 적용, 채널 별 중요도 가중치(너비 1 X 높이 1 X 채널 C)(50)의 생성이 수행되고, 채널 별 특징 데이터 F(11)에 채널 별 중요도 가중치(50)가 반영되는 연산(60)의 수행 결과로 리캘리브레이션 된 채널 별 특징 데이터(12)가 생성되는 것을 도시한다. 도 7은 스타일 정보(20)가 각 채널 별 평균값과 각 채널 별 표준편차로 구성될 수 있는 점을 도시한다.6 to 7 are conceptual diagrams for making it easier to understand the feature data recalibration method described with reference to FIG. 2. 6 shows the style information (width 1) when the input data is an image, and the characteristic data F(11) for each channel to be recalibrated is composed of a three-dimensional vector of width (W), height (H) and channel (C). X height 1 X channel C) (20) extraction, affine transformation (30), activation function (40) application, channel-specific importance weight (width 1 X height 1 X channel C) (50) is generated, It is shown that the recalibrated channel-specific feature data 12 is generated as a result of the operation 60 in which the importance weight 50 for each channel is reflected in the feature data F 11 for each channel. 7 shows a point in which the style information 20 can be composed of an average value for each channel and a standard deviation for each channel.

지금까지 설명한 본 실시예에 따른 특징 데이터 캘리브레이션 방법은 여러 스타일의 이미지를 함께 학습해야 하는 멀티 도메인 러닝(multi-domain learning)에 적용되는 경우 높은 성능 향상을 보여준다. 이는, 각 채널 별 스타일 정보를 기반으로 채널 별 중요도 정보를 얻는 것에 기인한다. 즉, 본 실시예에 따른 특징 데이터 캘리브레이션 방법은 학습 대상인 입력 데이터에 제1 스타일 정보를 갖는 이미지 데이터와 제2 스타일 정보를 갖는 이미지 데이터가 포함된 경우 더욱 유용하게 적용될 수 있을 것이다. 또한, 하나의 배치(batch) 안에 제1 스타일 정보를 갖는 이미지 데이터와 제2 스타일 정보를 갖는 이미지 데이터가 포함된 경우, 본 실시예에 따른 특징 데이터 캘리브레이션 방법이 더욱 유용하게 적용될 수 있을 것이다. 상기 제2 스타일 정보와 상기 제1 스타일 정보가 기준치를 초과하는 차이 값을 가질 때, 본 실시예에 따른 특징 데이터 캘리브레이션 방법이 더욱 유용하게 적용될 수 있을 것이다. 이러한 점을 활용하여, 본 실시예에 따른 특징 데이터 캘리브레이션 방법이 여러 스타일의 이미지가 입력될 때 선택적으로 적용되도록 기계 학습할 수도 있을 것이다.The feature data calibration method according to the present embodiment described so far shows high performance improvement when applied to multi-domain learning in which multiple styles of images are to be learned together. This is due to obtaining importance information for each channel based on style information for each channel. That is, the feature data calibration method according to the present exemplary embodiment may be more usefully applied when image data having first style information and image data having second style information are included in input data to be learned. In addition, when image data having first style information and image data having second style information are included in one batch, the feature data calibration method according to the present embodiment may be more usefully applied. When the second style information and the first style information have a difference value exceeding a reference value, the feature data calibration method according to the present embodiment may be more usefully applied. By utilizing this point, machine learning may be performed so that the feature data calibration method according to the present embodiment is selectively applied when images of various styles are input.

지금까지 도 1 내지 도 7을 참조하여 설명된 본 발명의 실시예들은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The embodiments of the present invention described with reference to FIGS. 1 to 7 so far may be implemented as computer-readable codes on a computer-readable medium. The computer-readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray Disc, USB storage device, removable hard disk), or a fixed recording medium (ROM, RAM, computer-equipped hard disk). Can. The computer program recorded on the computer-readable recording medium may be transmitted to another computing device through a network such as the Internet and installed on the other computing device, and thus used on the other computing device.

다음으로, 본 발명의 다른 실시예에 따른 기계 학습 장치에 대하여 도 8을 참조하여 설명하기로 한다. 본 실시예에 따른 기계 학습 장치는, 트레이닝 데이터를 이용하여, 컨볼루션 뉴럴 네트워크의 출력 값이 기계 학습의 목적에 맞도록, 상기 컨볼루션 뉴럴 네트워크(CNN)를 업데이트(학습) 하는 연산을 수행하는 컴퓨팅 장치로 이해될 수 있을 것이다. 도 8에는 하나의 장치로 도시 되어 있으나, 연산량이 많아 지는 경우 병렬 컴퓨팅 기술을 이용하여 복수의 컴퓨팅 장치가 함께 상기 컨볼루션 뉴럴 네트워크(CNN)의 학습과 관련된 연산을 수행할 수도 있음은 물론이다. 이 때, 각각의 컴퓨팅 장치는 자신의 연산 결과에 따른 노드 간 가중치에 대한 정보를 다른 컴퓨팅 장치에 공유할 수 있다.Next, a machine learning apparatus according to another embodiment of the present invention will be described with reference to FIG. 8. The machine learning apparatus according to the present embodiment performs an operation of updating (learning) the convolutional neural network (CNN) using training data so that the output value of the convolutional neural network meets the purpose of machine learning. It may be understood as a computing device. Although shown in FIG. 8 as one device, when the amount of computation increases, it goes without saying that a plurality of computing devices may perform an operation related to learning of the convolutional neural network (CNN) together using a parallel computing technology. In this case, each computing device may share information about the weights between nodes according to its own calculation result to other computing devices.

도 8은 본 실시예에 따른 기계 학습 장치(100)를 나타내는 예시적인 하드웨어 구성도이다.8 is an exemplary hardware configuration diagram illustrating the machine learning apparatus 100 according to the present embodiment.

도 8에 도시된 바와 같이, 컴퓨팅 장치(100)는 하나 이상의 프로세서(110), 시스템 버스(150), 통신 인터페이스(170), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(191)을 로드(load)하는 메모리(130)와, 컴퓨터 프로그램(191), CNN 정의 데이터(192) 및 학습 데이터(training data)(193)를 저장하는 스토리지(190)를 포함할 수 있다. 도 8에는 본 개시의 실시예와 관련 있는 구성요소들 만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 8에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.As shown in FIG. 8, the computing device 100 loads one or more processors 110, a system bus 150, a communication interface 170, and a computer program 191 executed by the processor 110. ), and a storage 190 for storing a computer program 191, CNN definition data 192, and training data 193. In FIG. 8, only components related to an embodiment of the present disclosure are shown. Accordingly, those of ordinary skill in the art to which the present disclosure belongs may recognize that other general-purpose components may be further included in addition to the components shown in FIG. 8.

프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 컴퓨팅 장치(100)는 복수의 프로세서를 구비할 수도 있다. 프로세서(110)는 범용 프로세서가 아닌 머신 러닝에 특화된 구조를 가진 프로세서일 수도 있을 것이다.The processor 110 controls the overall operation of each component of the computing device 100. The processor 110 includes at least one of a CPU (Central Processing Unit), MPU (Micro Processor Unit), MCU (Micro Controller Unit), GPU (Graphic Processing Unit), or any type of processor well known in the technical field of the present disclosure. It can be configured to include. The computing device 100 may also include a plurality of processors. The processor 110 may be a processor having a structure specialized for machine learning, not a general-purpose processor.

메모리(130)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(130)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 스토리지(190)로부터 하나 이상의 프로그램(191)을 로드할 수 있다. 메모리(130)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.The memory 130 stores various types of data, commands and/or information. The memory 130 may load one or more programs 191 from the storage 190 in order to perform a method/operation according to various embodiments of the present disclosure. The memory 130 may be implemented as a volatile memory such as RAM, but the technical scope of the present disclosure is not limited thereto.

버스(150)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(150)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.The bus 150 provides a communication function between components of the computing device 100. The bus 150 may be implemented as various types of buses such as an address bus, a data bus, and a control bus.

통신 인터페이스(170)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(170)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(170)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 경우에 따라, 통신 인터페이스(170)는 생략될 수도 있다.The communication interface 170 supports wired/wireless Internet communication of the computing device 100. In addition, the communication interface 170 may support various communication methods other than Internet communication. To this end, the communication interface 170 may be configured to include a communication module well known in the technical field of the present disclosure. In some cases, the communication interface 170 may be omitted.

스토리지(190)는 상기 하나 이상의 프로그램(191)을 비임시적으로 저장할 수 있다. 스토리지(190)는 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The storage 190 may non-temporarily store the one or more programs 191. The storage 190 may include a nonvolatile memory such as a flash memory, a hard disk, a removable disk, or any type of computer-readable recording medium well known in the art to which the present disclosure pertains.

스토리지(190)에 저장되고, 운영체제에 의하여 실행됨에 따라 메모리(130)로 로드 되는 컴퓨터 프로그램(191)은 학습 데이터(193)를 이용하여 CNN 기반의 뉴럴 네트워크를 학습시키는 동작을 수행한다. 컴퓨터 프로그램(191)의 동작 결과로서 CNN 기반의 뉴럴 네트워크를 정의하는 데이터(192)가 스토리지(190)에 저장될 수 있을 것이다. CNN 기반의 뉴럴 네트워크를 정의하는 데이터(192)는 학습 목적에 부합하는 출력을 생성하는 모델(model)로서 통신 인터페이스(170)를 통해 다른 컴퓨팅 장치에 송신될 수 있을 것이다. 상기 다른 컴퓨팅 장치는 상기 모델을 이용하여 추론(inferring)을 수행하는 것이다. 상기 추론의 예로서, 의료 영상에서 병변의 위치를 찾는 것을 고려할 수 있을 것이다.The computer program 191 stored in the storage 190 and loaded into the memory 130 as it is executed by the operating system performs an operation of learning a CNN-based neural network using the training data 193. Data 192 defining a CNN-based neural network as a result of the operation of the computer program 191 may be stored in the storage 190. The data 192 defining the CNN-based neural network may be transmitted to another computing device through the communication interface 170 as a model that generates an output suitable for a learning purpose. The other computing device performs inferring using the model. As an example of the inference, it may be considered to locate a lesion in a medical image.

컴퓨터 프로그램(191)은 메모리(130)에 로드된 후, 프로세서(110)로 하여금 도 1 내지 도 7을 참조하여 설명한 방법을 수행하도록 하는 인스트럭션들(instructions)을 포함할 수 있다. 즉, 프로세서(110)는 상기 인스트럭션들을 실행함으로써, 도 1 내지 도 7을 참조하여 설명한 방법과 관련된 다양한 실시예에 따른 방법들을 수행할 수 있다. 본 명세서에서 인스트럭션(instruction)이란, 기능을 기준으로 묶인 일련의 컴퓨터 판독가능 명령어들로서 컴퓨터 프로그램의 구성 요소이자 프로세서에 의해 실행되는 것을 가리킨다.The computer program 191 may include instructions to cause the processor 110 to perform the method described with reference to FIGS. 1 to 7 after being loaded into the memory 130. That is, by executing the instructions, the processor 110 may perform methods according to various embodiments related to the method described with reference to FIGS. 1 to 7. In the present specification, an instruction refers to a series of computer-readable instructions grouped on the basis of a function, which is a component of a computer program and executed by a processor.

예를 들어, 컴퓨터 프로그램(191)은 컨볼루션 뉴럴 네트워크(CNN)에 의하여 생성되는 제1 채널의 특징 데이터 및 제2 채널의 특징 데이터를 얻는 인스트럭션, 상기 제1 채널의 특징 데이터를 제1 어파인 변환(affine transform)하여 제1 채널의 중요도 가중치(importance weight)를 얻는 인스트럭션, 상기 제2 채널의 특징 데이터를 상기 제1 어파인 변환과 상이한 제2 어파인 변환하여 제2 채널의 중요도 가중치를 얻는 인스트럭션, 상기 제1 채널의 특징 데이터를 상기 제1 채널의 중요도 가중치를 반영하여 리캘리브레이션(recalibration) 하는 인스트럭션 및 상기 제2 채널의 특징 데이터를 상기 제2 채널의 중요도 가중치를 반영하여 리캘리브레이션 하는 인스트럭션을 포함할 수 있다.For example, the computer program 191 includes an instruction for obtaining feature data of a first channel and feature data of a second channel generated by a convolutional neural network (CNN), and the feature data of the first channel as a first affine. Instruction for obtaining the importance weight of the first channel by affine transform, and obtaining the importance weight of the second channel by transforming the feature data of the second channel into a second affine different from the first affine transform An instruction, an instruction for recalibrating the feature data of the first channel by reflecting the importance weight of the first channel, and an instruction for recalibrating the feature data of the second channel by reflecting the importance weight of the second channel It may include.

다음으로, 본 발명의 또 다른 실시예에 따른 의료영상 분석 시스템의 구성 및 동작을 도 9를 참조하여 설명한다.Next, a configuration and operation of a medical image analysis system according to another embodiment of the present invention will be described with reference to FIG. 9.

도 9에 도시된 바와 같이, 본 실시예에 따른 의료영상 분석 시스템은 의료영상 촬영장치(200) 및 기계 학습 장치(100)를 포함한다. 실시예에 따라 의료 영상 분석 결과 표시 장치(300)가 본 실시예에 따른 의료영상 분석 시스템에 더 포함될 수도 있다.As shown in FIG. 9, the medical image analysis system according to the present embodiment includes a medical image photographing apparatus 200 and a machine learning apparatus 100. According to an embodiment, the medical image analysis result display apparatus 300 may be further included in the medical image analysis system according to the present embodiment.

의료 영상 촬영 장치(200)는 신체에 대한 의료 영상을 촬영하는 장치로서, 예를 들어 X-ray, CT, MRI 등의 영상을 촬영하는 장치일 수 있다. 의료 영상 촬영 장치(200)는 네트워크를 통해 촬영된 영상 데이터를 기계 학습 장치(100)에 제공한다. 의료 영상은 민감한 개인 정보이므로 상기 네트워크는 외부에서의 접속이 차단되는 네트워크일 수 있다. 즉, 기계 학습 장치(100)와 의료 영상 촬영 장치(200)는 같은 병원 내에 위치하는 장치일 수 있을 것이다.The medical imaging apparatus 200 is a device that photographs a medical image of a body, and may be a device that photographs an image such as X-ray, CT, and MRI. The medical image capturing apparatus 200 provides image data captured through a network to the machine learning apparatus 100. Since medical images are sensitive personal information, the network may be a network from which external access is blocked. That is, the machine learning apparatus 100 and the medical imaging apparatus 200 may be devices located in the same hospital.

도 9의 기계 학습 장치(100)는 도 8에 도시된 것과 동일한 것으로 이해될 수 있을 것이다. 즉, 기계 학습 장치(100)는 의료 영상 촬영 장치(200)로부터 제공된 영상 데이터를 축적하고, 기계 학습 수행 기준이 만족 되면, 새롭게 축적된 영상 데이터를 이용하여 기계 학습 목적에 맞는 출력 데이터를 출력하는 모델을 더 고도하게 학습시킬 수 있을 것이다. 이 과정에서 도 1 내지 7을 참조하여 설명된 특징 데이터 리캘리브레이션 방법이 수행되는 것이다.The machine learning apparatus 100 of FIG. 9 may be understood to be the same as that shown in FIG. 8. That is, the machine learning apparatus 100 accumulates image data provided from the medical imaging apparatus 200, and when the machine learning performance criterion is satisfied, outputs output data suitable for the purpose of machine learning using the newly accumulated image data. You will be able to train the model more highly. In this process, the feature data recalibration method described with reference to FIGS. 1 to 7 is performed.

기계 학습 장치(100)에 의하여 학습된 모델의 정의 데이터는 의료 영상 분석 결과 표시 장치(300)에 송신될 수 있다. 의료영상 촬영장치(200) 및 기계 학습 장치(100)와는 달리 의료 영상 분석 결과 표시 장치(300)는 의료영상 촬영장치(200)가 설치된 병원 밖에 위치하는 컴퓨팅 장치일 수도 있다. 의료 영상 분석 결과 표시 장치(300)는 상기 모델의 정의 데이터를 기계 학습 장치(100)로부터 수신하여 저장하고, 분석 대상 의료 영상을 상기 모델에 입력함으로써, 분석 결과 데이터를 얻고, 상기 분석 결과 데이터를 렌더링 하며, 그 결과를 화면에 디스플레이 함으로써, 의료 영상에 대한 추론 결과를 표시할 수 있을 것이다.The definition data of the model learned by the machine learning device 100 may be transmitted to the medical image analysis result display device 300. Unlike the medical imaging device 200 and the machine learning device 100, the medical image analysis result display device 300 may be a computing device located outside a hospital in which the medical imaging device 200 is installed. The medical image analysis result display device 300 receives and stores the definition data of the model from the machine learning device 100, and inputs the medical image to be analyzed into the model, thereby obtaining analysis result data, and storing the analysis result data. By rendering and displaying the result on the screen, it will be possible to display the inference result for the medical image.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even if all the constituent elements constituting an embodiment of the present invention are described as being combined into one or operating in combination, the technical idea of the present disclosure is not necessarily limited to this embodiment. That is, within the scope of the present disclosure, all of the components may be selectively combined and operated.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.Although the operations are shown in a specific order in the drawings, it should not be understood that the operations must be performed in a specific order or in a sequential order, or all illustrated operations must be executed to obtain a desired result. In certain situations, multitasking and parallel processing may be advantageous. Moreover, the separation of various configurations in the above-described embodiments should not be understood as such a separation is not necessarily necessary, and the described program components and systems may generally be integrated together into a single software product or packaged into multiple software products. It should be understood that there is.

이상 첨부된 도면을 참조하여 본 개시의 실시예들을 설명하였지만, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 개시가 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present disclosure have been described with reference to the accompanying drawings, those of ordinary skill in the art to which the present disclosure pertains may implement the present disclosure in other specific forms without changing its technical spirit or essential features. You can understand that there is. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting. The scope of protection of the present disclosure should be interpreted by the claims below, and all technical spirits within the scope equivalent thereto should be interpreted as being included in the scope of the technical spirits defined by the present disclosure.

Claims

In the method performed by the computing device,
Acquiring feature data of a plurality of channels generated by a convolutional neural network;
Acquiring an importance weight of each channel by affine transforming the feature data of the plurality of channels for each channel; And
And recalibrating each of the characteristic data of the plurality of channels by reflecting the obtained importance weight of each channel.
Feature data recalibration method.

The method of claim 1,
The step of obtaining the importance weight of each channel
Including the step of converting affine so that at least one parameter related to the affine conversion is different for each channel
Feature data recalibration method.

The method of claim 1,
The step of obtaining the importance weight of each channel
Comprising the step of obtaining an importance weight of each channel by applying an activation function to the result of the affine transformation for each channel
Feature data recalibration method.

The method of claim 1,
Feature data of the plurality of channels
Generated by inputting a plurality of data corresponding to a plurality of domains into the convolutional neural network
Feature data recalibration method.

According to claim 4,
The plurality of data is
Containing images with different style information
Feature data recalibration method.

A memory that stores one or more instructions; And
By executing the stored one or more instructions,
Acquires feature data of a plurality of channels generated by a convolutional neural network, affine transforms the feature data of the plurality of channels for each channel to obtain an importance weight of each channel, And a processor for recalibrating each of the characteristic data of the plurality of channels by reflecting the obtained importance weight of each channel.
Machine learning device.

The method of claim 6,
The processor
For each of the channels, affine conversion is performed so that at least one parameter related to affine conversion is different from each other.
Machine learning device.

The method of claim 6,
The processor
To obtain the importance weight of each channel by applying an activation function to the affine transformation result for each channel
Machine learning device.

The method of claim 6,
Feature data of the plurality of channels
Generated by inputting a plurality of data corresponding to a plurality of domains into the convolutional neural network
Machine learning device.

The method of claim 9,
The plurality of data is
Containing images with different style information
Machine learning device.

Combined with the hardware,
Acquiring feature data of a plurality of channels generated by a convolutional neural network;
Acquiring an importance weight of each channel by affine transforming the feature data of the plurality of channels for each channel; And
The feature data of the plurality of channels are stored in the medium to execute a step of recalibrating each of the obtained importance weights of each channel.
Computer program.

The method of claim 11,
The step of obtaining the importance weight of each channel
For each of the channels, including the step of converting affine so that at least one parameter related to affine conversion is different from each other,
Computer program.

The method of claim 11,
The step of obtaining the importance weight of each channel
Including the step of obtaining an importance weight of each channel by applying an activation function to the result of the affine conversion for each channel.
Computer program.

The method of claim 11,
Feature data of the plurality of channels
Generated by inputting a plurality of data corresponding to a plurality of domains into the convolutional neural network
Computer program.

The method of claim 14,
The plurality of data is
Containing images with different style information
Computer program.