KR102314847B1 - 최적모델탐색방법 및 그 장치 - Google Patents

Abstract

최적모델탐색방법 및 그 장치가 개시된다. 최적모델탐색장치는 하이퍼파라미터 값의 조합을 적어도 하나 이상 생성하고, 이들 조합을 기초로 기계학습모델을 훈련시킨 후 훈련된 기계학습모델의 평가결과를 하이퍼파라미터 값의 조합과 함께 데이터베이스에 저장하고, 데이터페이스에 저장된 평가결과를 기초로 새로운 조합을 생성한다.

Description

최적모델탐색방법 및 그 장치{Optimal model seeking method and apparatus}

본 발명의 실시 예에는 최적의 기계학습모델을 탐색하는 방법 및 그 장치에 관한 것으로, 보다 상세하게는 하이퍼파라미터의 조정을 통해 최적의 기계학습모델을 탐색하는 방법 및 그 장치에 관한 것이다.

기계학습모델(machine learning model)은 학습데이터를 이용하여 다수의 파라미터를 최적화시키는 기계학습 과정을 통해 생성된다. 기계학습모델은 크게 지도학습모델(supervised learning model)과 비지도학습모델(unsupervised learning model)로 구분된다. 지도학습모델은 입력값에 대한 결과값이 주어지는 학습데이터를 이용하여 학습시킨 모델인 반면, 비지도학습모델은 결과값이 주어지지 않은 학습데이터를 이용하여 학습시킨 모델이다. 비지도학습모델의 일 예로 군집화를 수행하는 K-평균 알고리즘 등이 존재한다.

기계학습모델은 훈련 과정에서 점진적으로 최적화되는 파라미터 외에 훈련 과정의 계산 경향 등에 영향을 미치는 하이퍼파라미터(hyperparameter)가 존재한다. 예를 들어, 학습률(learning rate), 학습횟수, 신경망의 각 층의 뉴런 수, 배치 크기 등이 하이퍼파라미터에 해당한다. 하이퍼파라미터는 미리 설정되는 값이며 훈련 과정에서 최적화되는 값이 아니다. 하이퍼파라미터의 값에 따라 기계학습모델의 성능이 달라질 수 있으므로, 사용자는 최적의 기계학습모델을 만들기 위해서 최적의 하이퍼파라미터를 설정하는 것이 필요하다. 그러나 수 많은 하이퍼파라미터 값의 조합 중 어느 것이 현재 학습시킬 기계학습모델에 적합한지 알 수 없으며, 사용자가 자신의 경험 등에 따라 몇몇 하이퍼파라미터 값의 조합을 설정해 볼 수 있을 뿐이다.

본 발명의 실시 예가 이루고자 하는 기술적 과제는, 하이퍼파라미터 값의 자동 조정을 통해 최적의 기계학습모델을 탐색할 수 있는 방법 및 그 장치를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 최적모델탐색장치의 일 예는, 하이퍼파라미터 값의 조합을 생성하는 적어도 하나 이상의 탐색부; 상기 조합을 기초로 기계학습모델을 훈련시키는 훈련부; 및 훈련된 기계학습모델의 평가결과를 상기 조합과 함께 데이터베이스에 저장하는 평가부;를 포함하고, 상기 탐색부는 상기 데이터페이스에 저장된 평가결과를 기초로 새로운 조합을 생성한다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 최적모델탐색방법의 일 예는, 하이퍼파라미터 값의 조합을 적어도 하나 이상 생성하는 단계; 상기 조합을 기초로 기계학습모델을 훈련시키는 단계; 훈련된 기계학습모델의 평가결과를 상기 조합과 함께 데이터베이스에 저장하는 단계; 및 상기 데이터페이스에 저장된 평가결과를 기초로 새로운 조합을 생성하는 단계;를 포함한다.

본 발명의 실시 예에 따르면, 기계학습모델을 위한 최적의 하이퍼파라미터 값의 조합을 자동으로 파악할 수 있다. 또한, 최적의 하이퍼파라미터 값의 조합을 이용하여 기계학습모델의 성능을 최적화시킬 수 있다.

도 1은 본 발명의 실시 예에 따른 최적모델탐색장치의 일 예의 구성을 도시한 도면,
도 2는 본 발명의 실시 예에 따른 하이퍼파라미터 값의 조합의 일 예를 도시한 도면,
도 3은 본 발명의 실시 예에 따른 최적모델탐색장치의 상세 구성의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 기계학습모델의 평가방법의 일 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 평가부의 다른 일 예를 도시한 도면,
도 6은 본 발명의 실시 예에 따른 사용자의 선호도 평가방법의 일 예를 도시한 도면, 그리고,
도 7은 본 발명의 실시 예에 따른 최적모델탐색방법의 일 예를 도시한 흐름도이다.

이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 최적모델탐색방법 및 그 장치에 대해 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 최적모델탐색장치의 일 예의 구성을 도시한 도면이다.

도 1을 참조하면, 최적모델탐색장치(100)는 탐색부(110), 훈련부(120) 및 평가부(130)를 포함한다. 최적모델탐색장치(100)는 메모리 및 프로세서 등을 포함하는 컴퓨팅장치로 구현될 수 있으며, 각 구성은 소프트웨어로 구현되어 메모리에 탑재된 후 프로세서에 의해 수행될 수 있다.

탐색부(110)는 하이퍼파라미터 값의 조합을 생성한다. 하이퍼파라미터는 기계 학습 과정을 통해 최적화되는 파라미터가 아니라 학습 과정 전에 미리 설정되는 값으로 학습률, 학습횟수, 신경망의 각 층의 뉴런 수, 배치 크기 등이 존재한다. 탐색부(110)는 기계학습모델의 학습 과정에서 사용한 이전 하이퍼파라미터 값의 조합을 피드백받아 새로운 하이퍼파라미터 값의 조합을 만들거나 별도의 피드백 과정없이 독립적으로 하이퍼파라미터 값의 조합을 생성할 수 있다. 예를 들어, 도 2와 같이 기계학습모델에 대한 N개의 하이퍼파라미터가 존재하는 경우에 탐색부(110)는 N개의 하이퍼파라미터의 값의 다양한 조합을 생성할 수 있다.

훈련부(120)는 탐색부(110)가 생성한 하이퍼파라미터 값의 조합을 이용하여 기계학습모델을 훈련시킨다. 기계학습모델은 비지도학습모델 또는 지도학습모델일 수 있다. 기계학습모델의 훈련을 위한 학습데이터는 미리 정의되어 있으며, 학습데이터를 이용한 기계학습모델의 훈련 과정 그 자체는 이미 널리 알려진 내용이므로 이에 대한 상세한 설명은 생략한다. 본 실시 예는 다양한 하이퍼파라미터 값의 조합을 이용하여 기계학습모델을 훈련시키는데 특징이 있다. 예를 들어, 훈련부(120)는 도 2와 같이 하이퍼파라미터 값의 제1 조합을 이용하여 기계학습모델을 훈련시키고 제2 조합을 이용하여 기계학습모델을 훈련시킬 수 있다. 이때 제1 조합을 이용하여 훈련시키는 기계학습모델과 제2 조합을 이용하여 훈련시키는 기계학습모델은 동일한 모델이다. 제1 조합을 이용하여 훈련시킨 기계학습모델을 제2 조합을 이용하여 다시 훈련시키는 것이 아니다.

평가부(130)는 훈련부(120)에 의해 학습 완료된 기계학습모델의 평가결과를 하이퍼파라미터 값의 조합과 함께 데이터베이스에 저장한다. 기계학습모델의 평가에는 종래의 다양한 평가방법이 적용될 수 있다. 예를 들어, 평가부(130)는 학습 완료된 기계학습모델에 대한 실루엣(sihlouette) 지수를 산출하여 평가결과로 저장할 수 있다. 다른 실시 예로, 평가부(130)는 사용자로부터 기계학습모델의 학습결과에 대한 평가결과(예를 들어, 평가점수 또는 선호도 등)를 입력받을 수 있으며, 이에 대한 예가 도 5 및 도 6에 도시되어 있다.

다른 실시 예로, 평가부(130)는 기계학습모델의 평가에 사용할 평가방법을 사용자로부터 선택받을 수 있다. 예를 들어, 평가부(1300는 지도학습모델을 위한 MSE(mean square error) 지표 또는 비지도학습모델(즉, 군집화)을 위한 실루엣 지수 등의 평가방법을 사용자로부터 선택받을 수 있다. 이를 위해 평가부(130)는 복수의 평가방법을 미리 정의하여 저장한 후 복수의 평가방법을 사용자에게 제시하여 이 중 적어도 하나의 평가방법을 사용자가 선택하도록 할 수 있다.

또 다른 실시 예로, 평가부(130)는 복수의 평가방법으로 구한 각 평가지수에 가중치를 부여하여 합산한 새로운 평가지표를 만들어 기계학습모델의 성능을 평가할 수 있다. 예를 들어, 평가부(1300는 제1 평가방법에 의해 산출된 제1 평가지수와 제2 평가방법에 의해 산출된 제2 평가지수를 더한 평가지표를 기계학습모델의 평가방법으로 사용할 수 있다. 평가부(1300는 사용자가 복수의 평가방법을 다양한 방법으로 병합하여 새로운 평가지표를 만들 수 있는 사용자 인터페이스를 제공할 수 있다.

평가부(130)는 본 실시 예에 따라 탐색부에 의해 자동으로 생성된 하이퍼파라미터 값의 조합뿐만 아니라 사용자가 수동으로 설정한 하이퍼파라미터 값의 조합을 데이터베이스에 저장할 수 있다. 예를 들어, 사용자가 하이퍼파라미터 값의 조합을 수동으로 설정한 후 직접 기계학습모델을 학습시켰다면, 평가부(130)는 사용자가 학습시킨 기계학습모델의 학습결과와 함께 하이퍼파라미터 값의 조합을 입력받아 데이터베이스에 저장할 수 있다.

탐색부(110)는 평가부(130)의 데이터베이스에 저장된 하이퍼파라미터 값의 조합을 이용하여 새로운 하이퍼파라미터 값을 생성하고, 훈련부(120)는 새로운 하이퍼파라미터 값의 조합을 이용하여 기계학습모델을 훈련시키고, 평가부(130)는 기계학습모델의 평가결과와 새로운 하이퍼파라미터 값의 조합을 저장하는 과정을 반복 수행할 수 있다.

무한대의 반복 과정을 수행할 수는 없으므로, 탐색부(110)가 하이퍼파라미터 값의 조합을 기 정의된 횟수만큼 생성하면, 하이퍼파라미터 값의 조합을 생성하는 탐색과정을 종료할 수 있다. 다른 실시 예로, 기 정의된 시간 동안만 하이퍼파라미터 값의 조합을 생성하여 기계학습모델을 훈련시켜 평가할 수 있다. 즉, 기 정의된 시간이 경과하면 하이퍼파라미터 값을 조합하는 탐색과정을 종료할 수 있다.

또 다른 실시 예로, 평가부(130)에 저장된 최근 k개(예를 들어, 과거 5개 등)의 기계학습모델의 평가결과가 이전의 기계학습모델의 최고 평가결과보다 기 정의된 범위 이상 나아지지 않으면 하이퍼파라미터 값의 조합을 탐색하는 과정을 종료할 수 있다. 이 외에도 최적모델탐색과정을 종료하는 다양한 방법이 본 실시 예에 적용될 수 있다. 최적모델탐색장치(100)는 탐색과정의 종료시점까지 나온 평가결과 중 최고 성능의 평가결과가 나온 하이퍼파라미터 값의 조합을 이용하여 학습시킨 기계학습모델을 최적의 기계학습모델로 출력할 수 있다.

도 2는 본 발명의 실시 예에 따른 하이퍼파라미터 값의 조합의 일 예를 도시한 도면이다.

도 2를 참조하면, 최적모델탐색장치(100)는 하이퍼파라미터 값의 조합(220)과 이를 이용하여 학습시킨 기계학습모델의 평가결과(230)를 데이터베이스(200)에 저장할 수 있다. 최적모델탐색장치는 데이터베이스에 기계학습모델의 학습결과(예를 들어, 예측 결과 또는 분류 결과 등)를 함께 저장할 수 있다.

기계학습모델에 대한 N개의 하이퍼파라미터(210)가 존재한다. 일 실시 예로, 최적모델탐색장치(100)는 N개의 하이퍼파라미터(210) 전체를 대상으로 다양한 값의 조합(220)을 생성할 수 있다. 다른 실시 예로, 최적모델탐색장치(100)는 N개의 하이퍼파라미터들 중 몇몇 하이퍼파라미터의 값은 고정하고, 나머지 하이퍼파라미터의 값들에 대해서만 다양한 값의 조합을 생성할 수 있다. 다만 이하의 실시 예는 설명의 편의를 위하여 N개의 하이퍼파라미터의 값들을 모두 조합하는 경우에 대해 설명한다.

최적모델탐색장치(100)는 각 하이퍼파라미터의 값을 기 정의된 일정 범위 내에서 선택할 수 있다. 하이퍼파라미터의 종류에 따라 선택할 수 있는 값의 범위 등은 미리 정의되어 최적모델탐색장치(100)에 저장될 수 있다.

최적모델탐색장치(100)는 N개의 하이퍼파라미터의 값을 랜덤하게 선택하거나 도 1에서 살핀 평가부의 평가결과를 기초로 하이퍼파라미터의 값을 선택할 수 있다. 평가부(130)의 평가결과를 기초로 하이퍼파라미터 값의 조합을 생성하는 예에 대해서는 도 3에서 다시 살펴본다.

도 3은 본 발명의 실시 예에 따른 최적모델탐색장치의 상세 구성의 일 예를 도시한 도면이다.

도 3을 참조하면, 최적모델탐색장치(100)는 탐색부(110), 훈련부(120) 및 평가부(130)를 포함한다. 탐색부(110)는 적어도 하나 이상의 동적 탐색부(300,320) 및 고정탐색부(310)를 포함하고, 훈련부(120)는 조합저장부(330) 및 적어도 하나 이상의 학습부(340,342)를 포함하고, 평가부(130)는 평가결과를 저장하는 데이터베이스(360)를 포함한다.

본 실시 예의 탐색부(100)는 하나의 고정탐색부(310)와 두 개의 동적탐색부(300,320)를 포함하는 예를 도시하고 있으나, 이는 하나의 예일 뿐 탐색부(100)의 구성은 다양하게 변형가능한다. 예를 들어, 탐색부(100)는 하나의 동적탐색부(300 또는 320)로 구성되거나, 하나의 동적탐색부(300 또는 320)와 하나의 고정탐색부(3100로 구성되거나, 세 개 이상의 동적탐색부로 구성될 수 있다. 실시 예에 따라 고정탐색부(3100는 생략될 수 있다. 다만 이하에는 설명의 편의를 위하여 두 개의 동적탐색부(300,320)와 하나의 고정탐색부(310)를 포함하는 탐색부(110)를 기준으로 설명한다.

고정탐색부(310)는 평가부(1300의 평가결과와 무관하게 독립적으로 하이퍼파라미터 값의 조합을 생성한다. 예를 들어, 고정탐색부(310)는 도 2의 N개의 하이퍼파라미터(210)의 다양한 값의 조합(220)을 랜덤하게 생성할 수 있다. 또는 고정탐색부(310)는 그리드 검색(grid search) 또는 랜덤 검색(random serach) 등의 종래의 다양한 검색 방법을 사용하여 하이퍼파라미터 값의 조합을 생성할 수 있다. 여기서 그리드 검색 방법은 하이퍼파라미터 값의 설정 가능한 범위가 유한집합으로 주어졌을 때 해당 유한집합들의 곱집합을 탐색 공간으로 설정하는 무차별대입공격(brute-force) 방법이다. 랜덤 검색 방법은 하이퍼파라미터 값의 설정 범위가 확률분포의 집합으로 주어졌을 때 해당 분포들로부터 조합을 임의로 추출하여 사용하는 방법이다.

동적탐색부(300,320)는 평가부(130)의 평가결과를 피드백받아 하이퍼파라미터 값의 조합을 생성한다. 예를 들어, 도 2와 같이 하이퍼파라미터 값의 제1 내지 제m 조합(220)에 대한 평가결과(230)가 평가부(130)의 데이터베이스(360)에 존재한다면, 동적탐색부(300,320)는 이들 평가결과를 기반으로 새로운 하이퍼파라미터 값의 조합을 생성할 수 있다. 예를 들어, 하이퍼파라미터 값의 제1 조합과 제2 조합이 제1 하이퍼파라미터 값만 상이하고 나머지 하이퍼파라미터 값이 동일하며, 제2 조합의 제2 평가결과가 제1 조합의 제1 평가결과보다 우수하다면, 동적탐색부(300,320)는 제2 조합의 제1 하이퍼파라미터 값을 선택하고 나머지 하이퍼파라미터 값을 다시 조합한 제3 조합을 생성할 수 있다.

동적탐색부(300,320)는 평가결과(230)와 N개의 하이퍼파라미터 값의 조합(220) 사이의 상관관계를 기초로 평가결과가 향상되도록 하는 하이퍼파라미터 값의 조합을 찾을 수 있다. 다른 실시 예로, 동적탐색부(300,320)는 데이터베이스(360)에 저장된 하이퍼파라미터 값의 각 조합과 이에 대한 평가결과에 대해 가우시안 프로세스(Gaussian Process) 방법을 이용하여 새로운 하이퍼파라미터 값의 조합을 만들 수 있다. 가우시안 프로세스 방법은 하이퍼파라미터 값의 조합 공간에 대한 기대 성능을 사전 확률분포로 표현하고, 과거 평가결과에 따라 사전 확률분포를 갱신해나가는 베이지안(bayesian) 통계 기반 방법이다.

또 다른 실시 예로, 동적탐색부(300,320)는 이전 하이퍼파라미터 값의 조합에 가중치를 부여하여 새로운 하이퍼파라미터 값의 조합을 탐색할 수 있다. 예를 들어, 동적탐색부(300,320)는 사용자로부터 탐색 온도(temperature) 설정치를 입력받을 수 있다. 동적탐색부(300,320)는 탐색 온도가 낮을수록 과거의 하이퍼파라미터 값의 조합 중 결과가 좋았던 조합과 유사한 조합을 생성하게 되며, 탐색 온도가 높을수록 이전 하이퍼파라미터 값의 조합의 영향을 덜 받으며 시도 빈도가 상대적으로 낮은 조합을 생성할 수 있다.

탐색 온도에 따른 하이퍼파라미터 값의 조합을 설정은 다양한 방법으로 구현될 수 있다. 예를 들어, 탐색 온도 값(t)의 범위를 0 < t ≤1이라고 하자. 하이퍼파라미터 값의 조합이 두 개의 값으로 구성되고, 데이터베이스(360)에 저장된 [(하이퍼파라미터 값의 조합), 평가결과]가 [(1,1), 0.6], [(9,9),0.8] 이라고 가정한다. 평가결과의 점수는 높을수록 좋다고 가정한다.

동적탐색부(300,320)는 추론(inference)과 탐사(exploration)의 관점에서 조합의 후보군을 두 가지 산출할 수 있다. 동적탐색부(300,320)는 조합 가능한 후보 중에서 현재까지 나온 최고 평가결과를 나타내는 조합과 가장 거리가 가까운 (9,9)를 선택하는 추론과정을 수행하고, 또한 조합 가능한 후보 중에서 현재까지 시도했던 각 조합과 가장 거리가 먼 (5,5)를 선택하는 탐사과정을 수행한다.

동적탐색부(300,320)는 추론과 탐사의 관점에서 산출한 각 조합에 탐색 온도를 기반으로 서로 다른 가중치를 구하여 새로운 조합을 만든다. 예를 들어, 동적탐색부(300,320)는 하이퍼파라미터 값을 "(추론의 값)*(1-t) + (탐사의 값)*t"로 구할 수 있다. 예를 들어, t=0.1이면, 동적탐색부(300,320)는 추론에 90%의 가중치를 부여하고 탐사에 10%의 가중치 부여하여 (9*0.9+5*0.1, 9*0.9+5*0.1)=(8.6, 8.6)의 하이퍼파라미터 값이 새로운 조합을 구할 수 있다. t=0.5이면, 동적탐색부(00,320)는 추론 및 탐사에 각각 50%의 가중치를 부여하여 (9*0.5+5*0.5,9*0.5+5*0.5)=(7.0, 7.0)의 새로운 조합을 구할 수 있다. 동적탐색부(300,320)는 탐사 온도 t의 값을 사용자로부터 입력받을 수 있는 화면 인터페이스를 제공할 수 있다. 또는 탐사 온도는 미리 설정되어 있을 수 있다.

초기에 평가부(130)의 데이터베이스(360)에는 하이퍼파라미터 값의 조합이 존재하지 않으므로 동적탐색부(300,320)가 동작할 수 없다. 따라서 초기에는 고정탐색부(310)가 동작하여 기 정의된 개수의 하이퍼파라미터 값의 조합을 생성하고, 훈련부(120)가 고정탐색부(310)에 의해 생성된 하이퍼파라미터 값의 조합을 이용하여 기계학습모델(350,352)을 훈련시키고, 평가부(130)는 기계학습모델의 평가결과와 하이퍼파라미터 값의 조합을 데이터베이스(360)에 저장한다. 데이터베이스(360)에 평가결과와 하이퍼파라미터 값의 조합이 일정 개수 이상 쌓이면, 동적탐색부(300,320)가 데이터베이스(360)에 저장된 하이퍼파라미터 값의 조합을 참조하여 하이퍼파라미터 값의 조합을 생성할 수 있다. 탐색부(110)는 동적탐색부(300,320) 및 고정탐색부(310)의 동작 여부를 사용자가 선택할 수 있는 화면인터페이스를 제공할 수 있다.

훈련부(120)는 탐색부(110)의 동적탐색부(300,320) 또는 고정탐색부(310)에 의해 생성된 하이퍼파라미터 값의 조합을 저장하는 조합저장부(330)와 기계학습모델(350,352)을 훈련시키는 적어도 하나 이상의 학습부(340,342)를 포함한다.

조합저장부(330)는 탐색부(110)로부터 전달받은 하이퍼파라미터 값의 조합을 저장하기 위한 FIFO(First Input First Output) 형태의 큐(queue) 또는 순서의 개념없이 무작위로 출력되는 창고(warehouse) 형태의 저장공간일 수 있다. 탐색부(110)가 하이퍼파라미터 값의 조합을 생성하는 속도보다 훈련부(120)가 기계학습모델(350,352)을 훈련시키는 속도가 느린 경우 탐색부(110)에 의해 생성된 조합을 임시 저장하기 위한 조합저장부(330)가 필요하다. 다른 실시 예로, 훈련부(120)가 기계학습모델(350,352)의 훈련을 종료한 후 탐색부(110)가 새로운 하이퍼파라미터 값의 조합을 생성하여 훈련부(120)에 제공한다면 조합저장부(330)는 생략될 수도 있다.

조합저장부(330)는 탐색부(110)로부터 전달받은 하이퍼파라미터 값의 조합이 평가부(130)의 데이터베이스(360)에 저장된 하이퍼파라미터 값과 동일하면 탐색부(110)로부터 전달받은 하이퍼파라미터 값의 조합을 제외하는 중복제외과정을 수행할 수 있다. 즉, 조합저장부(330)는 탐색부(110)로부터 전달받은 하이퍼파라미터 값의 조합이 이전에 기계학습모델(350,352)의 훈련에 사용되었는지 여부를 데이터베이스(360)를 참조하여 파악한 후 사용되지 않은 경우에만 학습부(340,342)에 전달할 수 있다.

훈련부(120)는 적어도 하나 이상의 학습부(340,342)를 포함한다. 예를 들어, 훈련부(110)는 n개의 학습부(340,342)를 이용하여 n개의 서로 다른 하이퍼파라미터 값의 조합을 n개의 기계학습모델(350,352)을 이용하여 병렬 학습시킬 수 있다. 조합저장부(330)에 복수 개의 하이퍼파라미터 값의 조합이 저장되어 있다면, 제1 학습부 내지 제n 학습부(340,342)는 조합저장부(330)에 저장된 서로 다른 하이퍼파라미터 값의 조합을 읽어 각각 기계학습모델(350,352)을 훈련시킨다. 복수 개의 기계학습모델(350,352)은 모두 동일한 모델이다.

예를 들어, 제1 학습부(340)가 하이퍼파라미터 값의 제1 조합으로 기계학습모델(350)의 훈련을 완료하면, 제1 학습부(340)는 조합저장부(330)에 저장된 제2 조합을 읽어 기계학습모델(350)을 훈련시킨다. 이때 제1 학습부(340)가 제2 조합으로 훈련시키는 기계학습모델은 이전 제1 조합으로 훈련시킨 기계학습모델이 아니라 전혀 학습되지 않은 원시의 기계학습모델이다. 즉, 학습부(340,342)는 매번 원시의 기계학습모델을 하이퍼파라미터 값의 조합을 이용하여 훈련시킨다.

평가부(130)는 각 학습부(340,342)가 훈련시킨 기계학습모델(350,352)의 결과를 평가한다. 일 실시 예로, 평가부(130)는 초기에는 기계학학습모델의 학습결과(예를 들어, 예측결과 또는 분류결과 등)를 저장하고, 일정 개수 이상의 기계학습모델의 결과가 데이터베이스에 쌓이면, 특정 평가방법를 적용하여 평가지표를 산출한 후 그 평가지표를 데이터베이스(360)에 저장할 수 있다. 즉, 기계학습모델(350,352)의 훈련과 평가는 비동기적으로 동작할 수 있다. 따라서 기계학습모델(350,352)의 훈련결과에 대하여 이후 새로운 평가지표를 추가하는 것이 용이하다.

기계학습모델(350,352)의 성능을 평가하는 종래의 다양한 방법이 존재한다. 예를 들어, 기계학습모델(350,352)이 지도학습모델인 경우에, 평가부(130)는 기계학습모델의 예측값과 학습데이터의 정답지(예를 들어, 레이블(label))를 비교하여 성능을 평가할 수 있다. 다른 예로, 기계학습모델(350,352)이 비지도학습모델인 경우에, 평가부는 실루엣 지수를 산출하여 성능 평가결과를 파악할 수 있다. 이 외에도 기계학습모델의 성능을 평가하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있다. 그러나 비지도학습모델인 경우에 '좋은 결과'에 대한 객관적 지표가 존재하지 않으므로 실루엣 지수 등의 종래 성능평가 방법의 한계가 존재한다. 따라서 기존의 성능평가방법 외에 사용자의 정성적인 평가결과를 반영할 수 있으며 이에 대한 예가 도 5 및 도 6에 도시되어 있다.

도 4는 본 발명의 실시 예에 따른 기계학습모델의 평가방법의 일 예를 도시한 도면이다.

도 4를 참조하면, 평가부(130)는 적어도 하나 이상의 평가방법(400)을 이용하여 기계학습모델의 성능을 평가할 수 있다. 예를 들어, 훈련부(120)는 탐색부(110)에 의해 생성된 하이퍼파라미터 값의 조합과 학습데이터(410)를 이용하여 기계학습모델(400)을 훈련시킨다. 평가부(130)는 학습된 기계학습모델(400)의 예측결과(420)에 대해 제1 평가방법 또는 제2 평가방법(430)을 적용하여 제1 평가지수 또는 제2 평가지수(440)를 산출할 수 있다.

도 3의 탐색부(110)의 동적탐색부(300,320)의 개수는 평가부(130)가 사용하는 평가방법(430)의 수만큼 존재할 수 있다. 예를 들어, 평가부(130)가 두 개의 서로 다른 평가방법(430)을 사용한다면, 탐색부(110)는 각각의 평가방법에 대한 평가결과를 기초로 하이퍼파라미터 값의 조합을 각각 생성하는 두 개의 동적탐색부(300,3200를 포함할 수 있다. 즉, 제1 동적탐색부(300)는 제1 평가방법에 의한 평가결과를 이용하여 하이퍼파라미터 값의 조합을 생성하고, 제2 동적탐색부(320)는 제2 평가방법에 의한 평가결과를 이용하여 하이퍼파라미터 값의 조합을 생성할 수 있다.

도 5는 본 발명의 실시 예에 따른 평가부의 다른 일 예를 도시한 도면이다.

도 5를 참조하면, 평가부(130)는 데이터베이스(500), 결과선별부(510), 해석부(520) 및 사용자평가부(530)를 포함한다. 도 4는 종래의 다양한 기계학습모델 평가 알고리즘을 적용하여 기계학습모델의 성능을 평가하는 방법의 일 예인 반면, 도 5는 사용자에 의한 성능평가를 수행하는 방법의 일 예에 관한 것이다.

데이터베이스(500)는 기계학습모델의 학습에 사용된 하이퍼파라미터 값의 조합과 기계학습모델의 학습결과를 저장한다. 예를 들어, 기계학습모델이 비지도학습모델이면 데이터베이스(500)에는 비지도학습모델에 의한 분류 결과가 학습결과로 저장될 수 있다.

결과선별부(510)는 데이터베이스(500)에 저장된 기계학습모델의 학습결과 중 어느 하나를 선택한다. 일 예로, 결과선별부(510)는 데이터베이스(500)에 저장된 기계학습모델의 학습결과들 중 어느 하나를 랜덤하게 선택할 수 있다. 이 외에도M, 결과선별부(510)가 데이터베이스(500)에서 기계학습모델의 학습 결과를 선택하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있으며, 본 실시 예는 특정한 선택 방법으로 한정되는 것은 아니다.

해석부(520)는 결과선별부(510)가 선택한 기계학습모델의 학습결과(예측결과, 분류결과 등)를 사용자가 이해할 수 있도록 시각적 또는 수치적으로 해석한다. 예를 들어, 해석부(520)는 평행좌표플롯, 차원축소플롯, 군집별히트맵 또는 커스텀플롯 등 종래의 다양한 시각화 기반 해석 방법을 이용하여 기계학습모델의 학습결과를 해석하여 시각적으로 표시하거나, 근사모델, 롤기반필터링, 군집별대표값, 통상적성능지표 등의 수치 기반 해석 방법을 이용하여 기계학습모델의 학습결과를 해석하여 수치로 표시할 수 있다. 이 외에도 기계학습모델의 학습결과를 해석하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있다.

사용자평가부(530)는 해석부(520)가 해석한 내용을 사용자에게 제시하고, 사용자로부터 평가점수 등의 평가결과를 입력받아 데이터베이스(500)에 저장한다. 예를 들어, 사용자평가부(530)는 기 정의된 범위(예를 들어, 1~10) 내에서 사용자로부터 기계학습모델의 평가점수를 입력받을 수 있다. 사용자평가부(530)는 기계학습모델의 학습에 사용된 하이퍼파라미터 값의 조합과 맵핑하여 사용자의 평가결과를 데이터베이스(500)에 저장할 수 있다.

다른 실시 예로, 평가부(130)는 서로 다른 하이퍼파라미터 값의 조합으로 학습시킨 복수 개의 기계학습모델의 학습결과를 사용자에게 제시한 후 이들 사이의 선호도를 평가결과로 입력받을 수 있다. 선호도의 평가결과를 사용자로부터 입력받는 예에 대해서는 도 6에서 다시 살펴본다.

도 6은 본 발명의 실시 예에 따른 사용자의 선호도 평가방법의 일 예를 도시한 도면이다.

도 5 및 도 6을 함께 참조하면, 결과선별부(510)는 데이터베이스(500)에 저장된 복수 개의 기계학습모델의 학습결과(600,610)를 선별한다. 결과선별부(510)는 데이터베이스(500)에서 랜덤하게 복수 개의 기계학습모델의 학습결과(600,610)를 선택하거나, 기 정의된 선별방법을 이용하여 복수 개의 기계학습모델의 학습결과(600,610)를 선택(620)할 수 있다. 본 실시 예는 결과선별부(510)가 두 개의 기계학습모델의 학습결과(600,610)를 선별하는 경우를 도시하고 있으나, 세 개 이상의 기계학습모델의 학습결과를 선별할 수도 있다.

해석부(520)는 결과선별부(510)가 선별한 복수 개의 기계학습모델의 학습결과(600,610)를 해석한다. 해석부(520)는 도 5에서 살핀 시각화 기반 해석 방법 또는 수치 기반 해석 방법 등 종래의 다양한 모델 해석 방법을 이용하여 복수 개의 기계학습모델의 학습결과(600,610)를 해석할 수 있다.

사용자평가부(530)는 해석부(520)의 해석결과를 사용자에게 제시하고 사용자로부터 복수 개의 기계학습모델의 학습결과(600,610) 중 어느 하나를 선택받는다(620). 사용자평가부(530)는 사용자로부터 학습결과가 더 낫다고 선택받은 기계학습모델의 학습결과(600 또는 610)에 기 정의된 선호도 점수를 평가결과로 부여할 수 있다(630). 사용자가 선택한 기계학습모델의 학습결과에 이전에 부여된 선호도 점수가 존재하면, 사용자평가부(530)는 이전 선호도 점수에 기 정의된 가중치를 더 부여할 수 있다.

예를 들어, A,B,C의 기계학습모델의 학습결과가 데이터베이스에 존재한다고 가정하자. 사용자가 A,B 중에서 A를 선택하면, 사용자평가부(530)는 A에 선호도 1을 부여할 수 있다. 다음으로 B,C 중에서 사용자가 C를 선택하면, 사용자평가부(530)는 C에 선호도 1을 부여할 수 있다. 다음으로 A,C 중에서 사용자가 C를 선택하며, 사용자평가부(530)는 C에 이미 부여된 선호도 1에 0.1을 더 부가하여 1.1로 갱신할 수 있다. 이 경우 A,B,C의 평가결과의 순서는 C-A-B가 된다.

다른 실시 예로, 도 3의 탐색부(110)는 도 5 또는 도 6에 도시된 사용자에 의한 평가결과를 이용하여 하이퍼파라미터 값의 조합을 생성하는 제1 동적탐색부(300)와 도 4에 도시된 평가방법의 평가지표를 이용하여 하이퍼파라미터 값의 조합을 생성하는 제2 동적탐색부(320)로 구성될 수 잇다.

도 7은 본 발명의 실시 예에 따른 최적모델탐색방법의 일 예를 도시한 흐름도이다.

도 7을 참조하면, 최적모델탐색장치(100)는 하이퍼파라미터 값의 다양한 조합을 생성한다(S700). 최적모델탐색장치(100)는 하이퍼파라미터 값의 조합으로 학습시킨 기계학습모델의 평가결과를 기초로 하이퍼파라미터 값의 새로운 조합을 생성할 수 있다. 하이퍼파라미터 값의 조합을 탐색하는 방법의 일 예가 도 3에 도시되어 있다.

최적모델탐색장치(100)는 하이퍼파라미터 값의 조합을 이용하여 기계학습모델을 훈련시킨다(S710). 일 예로, 최적모델탐색장치(100)는 서로 다른 하이퍼파라미터 값의 조합을 이용하여 복수의 기계학습모델을 병렬로 훈련시킬 수 있다. 하이퍼파라미터 값의 조합을 이용하여 기계학습모델을 훈련시키는 일 예가 도 3에 도시되어 있다.

최적모델탐색장치(100)는 학습완료된 기계학습모델의 성능 평가결과와 기계학습모델의 훈련에 사용된 하이퍼파라미터 값의 조합을 데이터베이스에 저장한다(S720). 최적모델탐색장치(100)는 도 4에서 설명한 바와 같이 종래의 다양한 평가방법을 이용하여 학습완료된 기계학습모델의 성능 평가지수를 산출하여 평가결과로 저장할 수 있다. 또는 최적모델탐색장치(100)는 도 5 및 도 6에 설명한 바와 같이 사용자로부터 평가결과를 입력받아 저장할 수 있다.

최적모델탐색장치(100)는 데이터베이스에 저장된 기계학습모델의 평가결과와 하이퍼파라미터 값의 조합을 이용하여 새로운 하이퍼파라미터 값의 조합을 생성한다(S730). 최적모델탐색장치(100)는 새롭게 생성한 하이퍼파라미터 값의 조합을 이용하여 기계학습모델을 훈련시키고(S710) 평가결과를 파악하여 저장(S720) 한 후 또 다시 새로운 하이퍼파라미터 값의 조합을 생성하는 과정을 반복 수행할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

1. 하이퍼파라미터 값의 조합을 생성하는 적어도 하나 이상의 탐색부;
   상기 조합을 기초로 기계학습모델을 훈련시키는 훈련부; 및
   훈련된 기계학습모델의 평가결과를 상기 조합과 함께 데이터베이스에 저장하는 평가부;를 포함하고,
   상기 기계학습모델은 비지도학습모델이고,
   상기 탐색부는 상기 데이터베이스에 저장된 평가결과를 기초로 상기 데이터베이스에 저장된 하이퍼파라미터의 값을 이용하여 새로운 조합을 생성하고,
   상기 평가부는, 훈련된 비지도학습모델에 대한 시각화 기반 해석 또는 수치화 기반 해석을 수행하는 해석부; 및 상기 시각화 기반 해석 또는 수치화 기반 해석의 결과를 사용자에게 제시하고, 사용자로부터 비지도학습모델에 대한 평가결과를 입력받아 저장하는 사용자평가부;를 포함하고,
   상기 훈련부는, 상기 탐색부에 의해 생성된 하이퍼파라미터 값의 서로 다른 복수 개의 조합을 기초로 동일한 복수 개의 비지도학습모델을 병렬 훈련시키고,
   상기 복수 개의 비지도학습모델은 훈련시마다 매번 원시의 기계학습모델인 것을 특징으로 하는 최적모델탐색장치.
2. 제 1항에 있어서, 상기 탐색부는,
   상기 평가결과의 피드백없이 독립적으로 하이퍼파라미터 값의 조합을 생성하는 고정탐색부; 및
   상기 평가결과를 기초로 하이퍼파라미터 값의 조합을 생성하는 동적탐색부;를 포함하고,
   상기 동적탐색부는 상기 고정탐색부에 의해 생성된 적어도 하나 이상의 하이퍼파라미터 값의 조합을 기초로 훈련시킨 기계학습모델의 평가결과가 상기 데이터베이스에 저장된 후 상기 데이터베이스에 저장된 평가결과를 기초로 동작하는 것을 특징으로 하는 최적모델탐색장치.
3. 제 1항에 있어서, 상기 훈련부는,
   상기 탐색부에 의해 생성된 하이퍼파라미터 값의 조합이 상기 데이터베이스에 저장된 하이퍼파라미터 값의 조합과 다르면 상기 기계학습모델을 훈련시키는 것을 특징으로 하는 최적모델탐색장치.
4. 삭제
5. 제 1항에 있어서,
   상기 평가부는, 기 정의된 복수의 서로 다른 모델평가방법을 이용하여 상기 기계학습모델에 대한 복수 개의 평가지표를 산출하고,
   상기 탐색부는, 각각의 모델평가방법에 대응되는 복수 개의 동적탐색부를 포함하고, 상기 복수 개의 동적탐색부의 각각은 각 평가지표를 기초로 새로운 하이퍼파라미터 값의 조합을 생성하는 것을 특징으로 하는 최적모델탐색장치.
6. 삭제
7. 제 1항에 있어서, 상기 평가부는,
   하이퍼파라미터 값의 제1 조합을 기초로 학습시킨 기계학습모델의 제1 해석결과와 하이퍼파라미터 값의 제2 조합을 기초로 학습시킨 기계학습모델의 제2 해석결과를 사용자에게 제시하는 해석부;
   사용자의 선택결과에 따라 상기 제1 조합과 상기 제2 조합에 서로 다른 선호도의 값을 부여한 평가결과를 저장하는 사용자평가부;를 포함하는 것을 특징으로 하는 최적모델탐색장치.
8. 컴퓨터로 구현되는 최적모델탐색장치에 의해 각 단계가 수행되는 최적모델탐색방법에 있어서,
   하이퍼파라미터 값의 조합을 적어도 하나 이상 생성하는 단계;
   상기 조합을 기초로 기계학습모델을 훈련시키는 단계;
   훈련된 기계학습모델의 평가결과를 상기 조합과 함께 데이터베이스에 저장하는 단계; 및
   상기 데이터베이스에 저장된 평가결과를 기초로 상기 데이터베이스에 저장된 하이퍼파라미터의 값을 이용하여 새로운 조합을 생성하는 단계;를 포함하고,
   상기 기계학습모델은 비지도학습모델이고,
   상기 데이터베이스에 저장하는 단계는, 훈련된 비지도학습모델에 대한 시각화 기반 해석 또는 수치화 기반 해석의 결과를 사용자에게 제시하고, 사용자로부터 비지도학습모델에 대한 평가결과를 입력받아 저장하는 단계를 포함하고,
   상기 훈련시키는 단계는, 하이퍼파라미터 값의 서로 다른 복수 개의 조합을 기초로 동일한 복수 개의 비지도학습모델을 병렬 훈련시키는 단계를 포함하고,
   상기 복수 개의 비지도학습모델은 훈련시마다 매번 원시의 기계학습모델인 것을 특징으로 하는 최적모델탐색방법.
9. 제 8항에 있어서, 상기 새로운 조합을 생성하는 단계는,
   상기 데이터베이스에 저장된 조합별 평가결과에 대해 통계적 방법 또는 베이지안 방법을 적용하여 새로운 조합을 생성하는 단계를 포함하는 것을 특징으로 하는 최적모델탐색방법.
10. 제 8항에 기재된 방법을 컴퓨터에 의해 수행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images