KR102321650B1

KR102321650B1 - 크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선 방법 및 장치

Info

Publication number: KR102321650B1
Application number: KR1020210094454A
Authority: KR
Inventors: 박민우; 이형주; 유미희; 임자연; 조다영; 조은지; 이융성
Original assignee: 주식회사 크라우드웍스
Priority date: 2021-07-19
Filing date: 2021-07-19
Publication date: 2021-11-04

Abstract

본 발명은 크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선 방법에 있어서, 적어도 하나의 작업자에 의해 작업 완료된 작업 데이터들을 획득하는 제1 단계; 상기 획득된 작업 데이터들에 대한 검수를 수행하여 복수의 그룹 중 어느 하나의 그룹으로 분류하는 제2 단계; 각 그룹에 포함된 데이터들을 분리하여 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋을 각각 생성하는 제3 단계; 상기 각각 생성된 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋을 이용하여 각 그룹 별 머신러닝 모델을 학습하는 제4 단계; 상기 각 그룹 별 머신러닝 모델의 성능을 각각 학습성능을 평가하는 제5 단계; 및 상기 각 그룹 별로 상기 학습성능 및 해당 머신러닝 모델의 목표성능을 비교하고, 상기 학습성능이 상기 목표성능에 만족될 때까지 상기 각 그룹 별 머신러닝 모델을 반복 학습을 수행하는 제6 단계를 포함할 수 있다.

Description

크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선 방법 및 장치{METHOD AND APPARATUS FOR IMPROVING THE LEARNING PERFORMANCE OF MACHINE LEARNING MODELS ACCORDING TO THE CHARACTERISTICS OF CROWDSOURCING BASED ON PROJECTS}

본 발명은 크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선 방법 및 장치에 관한 것으로, 보다 상세하게는 휴먼 에러를 고려하여 학습된 머신러닝 모델을 제공할 수 있도록 하는 크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선 방법 및 장치에 관한 것이다.

최근, 기업 활동의 일부 과정에 일반 대중을 참여시키는 크라우드소싱 기반으로 많은 양의 데이터를 수집 및 가공하는 기업들이 늘고 있다. 즉, 기업은 하나의 프로젝트를 오픈하여 일반 대중, 즉 작업자가 해당 프로젝트에 참여하게 함으로써, 작업자에 의해 완료된 작업 결과를 통해 필요한 정보를 수집하게 된다.

이때, 기업은 보다 신뢰도가 높은 정보를 수집하기 위해, 작업자에 의해 완료된 작업 결과를 검수자에게 배정하여 검수 작업을 수행하도록 한다.

구체적으로, 하나의 프로젝트가 오픈되면, 복수의 작업자 각각에게 복수의 작업이 배정된다. 각각의 작업자는 배정받은 복수의 작업을 수행하고, 작업 결과를 제공한다. 이후, 복수의 검수자 각각에게 작업 결과에 대한 복수의 검수 작업이 배정되고, 각각의 검수자는 배정받은 복수의 검수 작업을 수행하게 된다.

이때, 작업 결과에는 작업자에 의한 휴먼 에러(human error)가 포함될 수밖에 없는데, 데이터의 작업 난이도에 따라 다양한 휴먼 에러가 반영될 수 있다.

따라서, 휴먼 에러를 고려하여 학습된 적어도 하나의 머신러닝 모델을 제공하여 그 중 목적에 적합한 머신러닝 모델을 적용하여 사용할 수 있도록 하는 기술이 개발될 필요가 있다.

한국공개특허공보 제10-2017-0115501호 (공개일: 2017년 10월 17일)

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 휴먼 에러를 고려하여 학습된 적어도 하나의 머신러닝 모델을 제공하여 그 중 목적에 적합한 머신러닝 모델을 적용하여 사용할 수 있도록 하는 크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선 방법 및 장치를 제공함에 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선 방법은, 적어도 하나의 작업자에 의해 작업 완료된 작업 데이터들을 획득하는 제1 단계; 상기 획득된 작업 데이터들에 대한 검수를 수행하여 복수의 그룹 중 어느 하나의 그룹으로 분류하는 제2 단계; 각 그룹에 포함된 데이터들을 분리하여 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋을 각각 생성하는 제3 단계; 상기 각각 생성된 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋을 이용하여 각 그룹 별 머신러닝 모델을 학습하는 제4 단계; 상기 각 그룹 별 머신러닝 모델의 성능을 각각 학습성능을 평가하는 제5 단계; 및 상기 각 그룹 별로 상기 학습성능 및 해당 머신러닝 모델의 목표성능을 비교하고, 상기 학습성능이 상기 목표성능에 만족될 때까지 상기 각 그룹 별 머신러닝 모델을 반복 학습을 수행하는 제6 단계를 포함할 수 있다.

한편, 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선 장치는, 통신모듈; 적어도 하나의 작업자에 의해 작업 완료된 작업 데이터들 및 머신러닝 모델의 학습 성능을 개선하기 위해 필요한 적어도 하나의 프로세스를 저장하는 저장모듈; 및 상기 프로세스에 따라 동작하는 제어모듈을 포함하며, 상기 제어모듈은, 상기 복수개의 작업 데이터를 미리 설정된 항목으로 각각 분류하여 데이터 셋을 각각 생성하고, 상기 적어도 하나의 작업자에 의해 작업 완료된 작업 데이터들을 획득하고, 상기 획득된 작업 데이터들에 대한 검수를 수행하여 복수의 그룹 중 어느 하나의 그룹으로 분류하고, 각 그룹에 포함된 데이터들을 분리하여 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋을 각각 생성하고, 상기 각각 생성된 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋을 이용하여 각 그룹 별 머신러닝 모델을 학습하고, 상기 각 그룹 별 머신러닝 모델의 성능을 각각 학습성능을 평가하고, 상기 각 그룹 별로 상기 학습성능 및 해당 머신러닝 모델의 목표성능을 비교하고, 상기 학습성능이 상기 목표성능에 만족될 때까지 상기 각 그룹 별 머신러닝 모델을 반복 학습을 수행할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 의하면, 휴먼 에러를 고려하여 학습된 적어도 하나의 머신러닝 모델을 제공하여 그 중 목적에 적합한 머신러닝 모델을 적용하여 사용할 수 있도록 한다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선을 위한 머신러닝 모델 도입 여부 결정 시스템의 네트워크 구조를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 머신러닝 모델의 학습 성능 개선 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 머신러닝 모델의 학습 성능 개선 방법을 나타내는 순서도이다.
도 4는 본 발명의 실시예에 따른 머신러닝 모델의 학습 성능 개선 장치에서 각 작업자로부터 획득된 작업 데이터들을 처리하는 일 예를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 머신러닝 모델의 학습 성능 개선 장치에서 복수의 작업 데이터 각각을 복수의 그룹 중 어느 하나의 그룹으로 분류하는 동작의 일 예를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 머신러닝 모델의 학습 성능 개선 장치에서 각 그룹에 포함된 적어도 하나의 작업 데이터를 처리하는 일 예를 나타내는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선을 위한 머신러닝 모델 도입 여부 결정 시스템의 네트워크 구조를 나타내는 블록도이다.

도 1을 참조하면, 머신러닝 모델의 학습 성능 개선을 위한 머신러닝 모델 도입 여부 결정 시스템은 머신러닝 모델의 학습 성능 개선 장치(이하, '성능 개선 장치'라 칭함)(100), 의뢰 서버(200) 및 작업자 단말(300)로 구성되어 수행되며, 이때, 작업자 단말(300)은 적어도 하나일 수 있다.

성능 개선 장치(100)는 크라우드소싱 서비스를 제공하기 위한 기업(업체)의 장치 또는 단말을 나타내며, 의뢰된(오픈) 프로젝트를 플롯폼 상에 오픈하기에 앞서 적어도 하나의 작업자를 선정하여 작업을 요청하거나 사전 학습된 머신러닝 모델을 기반으로 작업을 처리한다.

구체적으로, 성능 개선 장치(100)는 의뢰 서버(200)로부터 작업 요청 정보를 수신함으로써 특정 작업에 대한 프로젝트를 의뢰받으면, 등록된 복수의 작업자들 중 적어도 하나의 작업자들에게 작업을 할당하여 의뢰한다. 여기서 작업자는 작업을 수행하는 작업자 외에도 그 작업 결과를 검수하는 검수자를 포함할 수 있다.

또한, 성능 개선 장치(100)는 적어도 하나의 작업자들로부터 작업이 완료된 작업 데이터(작업 결과)가 각각 수신되면, 이 작업 데이터들을 모두 취합한 후, 이때, 휴먼 에러에 따른 작업 난이도를 반영하여 복수의 그룹 중 어느 하나의 그룹으로 분류하고, 각 그룹에 포함된 작업 데이터들을 기반으로 각각의 머신러닝 모델을 학습한다. 또한, 성능 개선 장치(100)는 각 그룹 별로 학습된 머신러닝 모델에 대한 학습성능을 평가하고, 평가 결과에 따라 반복 학습을 수행함으로써 목표성능에 도달할 수 있도록 한다.

의뢰 서버(200)는 프로젝트를 의뢰하는 기업이나 개인, 즉, 의뢰자의 장치를 의미한다.

그 의뢰자는 의뢰 서버(200)를 통해 인공지능 학습데이터의 생성을 위한 소스데이터의 수집 또는 데이터 어노테이션 등을 목적으로 프로젝트를 의뢰한다. 프로젝트를 통해서 생성된 데이터는 지도 학습, 비지도 학습, 강화 학습 등의 임의의 기계 학습의 학습데이터로 활용될 수 있다. 소스데이터의 수집은 녹음된 음성 수집, 사진 수집 등 가공되지 않은 데이터를 수집하는 것을 의미한다. 데이터 어노테이션은 텍스트, 사진, 비디오 등의 소스 데이터에 관련 주석데이터를 입력하는 것을 의미한다. 예들 들어, 데이터 어노테이션은 주어진 지문에서 개체를 찾는 것, 유사한 문장을 찾는 것 등이 있을 수 있으나 이에 제한되지 않는다. 한편, 전술한 프로젝트의 종류는 일 실시예에 불과하며, 의뢰자의 설계에 따라 다양한 프로젝트가 본 발명에서 취급될 수 있다.

의뢰 서버(200)는 적어도 하나의 프로젝트(프로젝트 A, 프로젝트 B, ?? )를 의뢰하기 위해 각 프로젝트의 작업 데이터와 그 작업 데이터의 종류, 작업대상(객체), 작업대상조건, 작업형태, 작업완료기한, 의뢰자 및 작업자 요건(의뢰조건) 중 적어도 하나를 포함하는 작업 요청 정보를 함께 송신한다.

이때, 작업 데이터는 사진, 동영상과 같은 이미지나, 문서와 같은 텍스트일 수 있고, 작업 요청 정보는 정형화되어 있는 이미지 문서 또는 전자 문서이거나 정형화되어 있지 않은 텍스트 문서일 수 있다. 여기서, 작업 형태는 어떠한 작업을 수행해야 하는지에 대한 작업 지시 또는 작업 안내일 수 있다.

또한, 작업 형태는 수집, 바운딩(Bounding), 세그멘테이션(Segmentation), 센티멘트(Sentiment), OCR(Optical Character Recognition), 랜드마크, 라벨링(Labeling), 속성 분류, 태깅(Tagging), 구간 추출, 특성 평가 등일 수 있다.

작업자 단말(300)은 플랫폼 상에 오픈되는 오픈 프로젝트에 투입하기 위한 작업자로 선정된 일반 대중의 단말을 의미한다.

그 선정된 작업자는 작업자 단말(300), 즉, 소정의 단말을 이용하여 결정 장치(100)에 의해 작업 요청된 작업을 수행한다. 여기서, 작업자 단말(300)은 복수개로 구성될 수 있으며, 그 개수는 한정되지 않는다. 각각의 작업자 단말(300)은 결정 장치(100)가 제공하는 애플리케이션 또는 웹사이트 등을 통해 오픈 프로젝트에 참여할(투입될) 수 있다.

제1 작업자 단말(301) 및 제2 작업자 단말(302)은 결정 장치(100)로부터 플랫폼 상의 오픈 프로젝트에 대한 작업 요청이 수신되면, 프로젝트에 대한 작업 참여 여부를 결정하여 알릴 수 있다.

작업 참여 시, 제1 작업자 단말(301) 및 제2 작업자 단말(302)은 작업 요청에 따라 그 요청된 작업을 수행하고, 그 수행 결과, 즉, 적어도 하나의 작업 데이터를 플랫폼 상에 업로드(송신)한다.

한편, 작업자 단말(300)은 각각 이동 단말기, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크탑 컴퓨터(desktop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라 북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display) 등과 같은 컴퓨터 장치 또는 전기 통신 장치일 수 있으나, 이에 한정되는 것은 아니다.

도 2는 본 발명의 실시예에 따른 머신러닝 모델의 학습 성능 개선 장치의 구성을 나타내는 블록도이다.

도 2를 참조하면, 성능 개선 장치(100)는 통신모듈(110), 저장모듈(130) 및 제어모듈(150)을 포함하여 구성될 수 있다.

통신모듈(110)은 의뢰 서버(200)에 의해 의뢰된 적어도 하나의 프로젝트를 수행(완료)하기 위해 의뢰 서버(200) 및 적어도 하나의 작업자 단말(300)과 적어도 하나의 정보 또는 데이터를 송수신한다. 또한, 이 통신모듈(110)은 의뢰 서버(200) 및 적어도 하나의 작업자 단말(300), 그 외 다른 장치들과의 통신을 수행할 수도 있는 것으로, 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 한다.

무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 조건 설정 장치(100)는 앞에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.

근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 무선 통신망(Wireless Area Networks)을 결정 장치(100) 및 의뢰 서버(200) 간, 결정 장치(100) 및 적어도 하나의 작업자 단말(300) 간 무선 통신을 지원할 수 있다. 이때, 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.

저장모듈(130)은 다양한 형태의 저장소를 통칭하는 모듈로서, 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다. 저장모듈(130)은 다양한 머신러닝 모델을 저장할 수 있는데, 그 머신러닝 모델들은 작업 데이터뿐만 아니라 새로운 입력 데이터에 대하여 결과값을 추론해내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.

저장모듈(130)은 오픈 프로젝트에 대한 정보 및 기 수행된 적어도 하나의 완료 프로젝트에 대한 정보들을 저장하고, 머신러닝 모델의 학습 성능 개선을 위해 필요한 적어도 하나의 프로세스를 저장한다.

저장모듈(130)에 저장된 적어도 하나의 프로세스를 기반으로 머신러닝 모델의 학습 성능 개선을 위한 동작을 제어한다.

구체적으로, 제어모듈(150)은 적어도 하나의 작업자 각각의 작업자 단말(300)을 통해 작업이 완료된 작업 데이터(작업 결과)가 각각 수신되면, 이 작업 데이터들을 모두 취합한 후, 이때, 휴먼 에러에 따른 작업 난이도를 반영하여 복수의 그룹 중 어느 하나의 그룹으로 분류하고, 각 그룹에 포함된 작업 데이터들을 각각 세개의 데이터 셋으로 분리하여 각 그룹 별로 머신러닝 모델을 학습한다.

또한, 제어모듈(150)은 각 그룹 별로 학습된 머신러닝 모델에 대한 학습성능을 평가하고, 그 학습성능을 해당 머신러닝 모델의 목표성능과 비교한 후, 그 비교 결과에 따라 반복 학습 여부를 결정한다. 즉, 제어모듈(150)은 학습성능이 목표성능에 만족되면 학습을 종료하고, 학습성능이 목표성능에 만족되지 않으면 그 목표성능에 도달할 때까지 반복 학습을 수행하도록 한다. 이때, 제어모듈(150)은 반복 학습을 수행할 때마다 데이터를 추가하거나 데이터 셋의 데이터 비율을 조정할 수 있다.

이때, 제어모듈(150)은 하나 이상으로 구현될 수 있으며, 단수로 표현하더라도 복수로 간주될 수 있다. 제어모듈(150)은 성능 개선 장치(100)의 구성들을 컨트롤하는 모듈로서, 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한, 제어모듈(150)은 인공 지능 연산을 수행하기 위한 러닝 프로세서를 별도로 구비하거나, 자체적으로 러닝 프로세서를 구비할 수 있다.

도 3은 본 발명의 일 실시예에 따른 머신러닝 모델의 학습 성능 개선 방법을 나타내는 순서도이다.

도 3을 참조하면, 제1 단계에서 적어도 하나의 작업자 각각의 작업자 단말(300)로부터 작업이 완료된 작업 데이터(작업 결과)를 각각 획득하고(S201), 제2 단계에서 이 작업 데이터들을 모두 취합하여 휴먼 에러에 따른 작업 난이도를 기반으로 구분된 복수의 그룹 중 어느 하나의 그룹으로 각각 분류한다(S203).

그 다음으로, 제3 단계에서 각 그룹에 포함된 작업 데이터들을 분리하여 각각 세개의 데이터 셋, 즉, 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋을 생성하고(S205), 제4 단계에서 그 생성된 세개의 데이터 셋을 이용하여 각 그룹 별로 머신러닝 모델을 학습한다(S207).

그 다음으로, 제5 단계에서 S207 단계에 따른 학습 결과를 기반으로 각 그룹 별 머신러닝 모델의 학습성능을 평가하고(S209), 제6 단계에서 그 학습성능과 해당 머신러닝 모델의 목표성능을 비교한 결과에 따라 반복 학습 여부를 결정한다(S211). 만약, 학습성능이 목표성능에 만족되면 학습을 종료하는 것으로 결정하고, 학습성능이 목표성능에 만족되지 않으면 그 목표성능에 도달할 때까지 반복 학습을 수행하는 것으로 결정한다. 이때, 반복 학습은 S205 단계 내지 S211 단계를 반복 수행하는 것일 수 있으며, 반복 학습 시 마다 새로운 작업 데이터를 추가하거나 S205 단계에서 세개의 데이서 셋을 재생성할 수 있다.

도 4는 본 발명의 실시예에 따른 머신러닝 모델의 학습 성능 개선 장치에서 각 작업자로부터 획득된 작업 데이터들을 처리하는 일 예를 나타내는 도면이다. 이때, 설명의 편의를 위하여 그룹의 개수를 네 개로 한정하였으며, 이는 필요에 따라 변경하여 설정 가능한 것으로 그 개수 및 설정 기준은 한정하지 않는다.

도 4를 참조하면, 성능 개선 장치(100)는 복수의 작업자 단말, 즉, 제1 작업자 단말(301), 제2 작업자 단말(302), ??, 제n 작업자 단말(303) 각각으로부터 작업 데이터가 수신되면, 수신(획득)된 복수의 작업 데이터(10)를 미리 설정된 복수의 그룹 중 어느 하나의 그룹으로 각각 분류한다.

여기서, 복수의 그룹은 휴먼 에러가 반영된 데이터 특성에 따라 구분되어 설정된 것으로, 제1 그룹(11), 제2 그룹(12), 제3 그룹(13) 및 제4 그룹(14)을 포함한다. 여기서, 휴먼 에러로서 각 작업자들의 처리 시간(작업 시간), 작업 횟수, 반려 횟수 및 실수 횟수 등을 고려할 수 있으며, 이러한 휴먼 에러는 각 작업자에 대한 작업 이력 정보를 통해 확인할 수 있다. 이때, 작업 이력 정보는 로그 정보를 포함할 수도 있으며, 그 외 작업자의 작업과 관련한 다양한 정보들을 포함할 수 있다.

예를 들어, 제1 그룹(11)은 복수개의 작업 데이터 중 작업자들의 실수 횟수 및 반려 횟수가 적으면서도 기준 처리 시간 내에 처리한 난이도를 갖는 적어도 하나의 작업 데이터를 포함하고, 제2 그룹(12)은 복수개의 작업 데이터 중 작업자들의 실수 횟수 및 반려 횟수는 적었으나, 기준 처리 시간을 초과하여 처리한 난이도를 갖는 적어도 하나의 작업 데이터를 포함한다. 또한, 제3 그룹(13)은 복수개의 작업 데이터 중 작업자들의 실수 횟수는 적었으나 반려 횟수가 기준 반려 횟수를 초과하여 반복 처리한 난이도를 갖는 적어도 하나의 작업 데이터를 포함하고, 제4 그룹(14)은 복수개의 작업 데이터 중 작업자들의 실수 횟수가 기준 실수 횟수를 초과하여 반복 처리한 난이도를 갖는 적어도 하나의 작업 데이터를 포함한다.

이러한 복수의 그룹 중 어느 하나의 그룹으로 작업 데이터가 분류되는 일 예를 도 5를 참조하여 설명하도록 한다.

도 5는 본 발명의 실시예에 따른 머신러닝 모델의 학습 성능 개선 장치에서 복수의 작업 데이터 각각을 복수의 그룹 중 어느 하나의 그룹으로 분류하는 동작의 일 예를 나타내는 도면이다.

도 5를 참조하면, 복수의 작업 데이터(10) 각각을 제1 그룹 내지 제4 그룹 중 어느 하나의 그룹으로 분류하기 위해 각 작업 데이터에 대한 작업 이력 정보에 포함된 정보들을 미리 설정된 비교 항목들과 순차적으로 비교하고, 그 비교 결과에 따라 분류 그룹이 결정된다.

구체적으로, 작업 데이터가 입력되면, 먼저 작업 이력 정보에 포함된 해당 작업 데이터의 실수 횟수를 확인하여 기준 실수 횟수(n3)와 비교하고(S301), 그 비교 결과, 확인된 실수 횟수가 기준 실수 횟수(n3)를 초과하면 제4 그룹(14)으로 분류하고, 확인된 실수 횟수가 기준 실수 횟수(n3)를 초과하지 않으면 다음 비교 항목과의 비교 단계(S302)로 넘어간다.

S301 단계 이후 작업 이력 정보에 포함된 해당 작업 데이터의 반려 횟수를 확인하여 기준 반려 횟수(n2)와 비교하고(S302), 그 비교 결과, 확인된 반려 횟수가 기준 반려 횟수(n2)를 초과하면 제3 그룹(13)으로 분류하고, 확인된 반려 횟수가 기준 반려 횟수(n2)를 초과하지 않으면 다음 비교 항목과의 비교 단계(S303)로 넘어간다.

S302 단계 이후 작업 이력 정보에 포함된 해당 작업 데이터의 작업 시간을 확인하여 기준 작업 시간(n1)과 비교하고(S303), 그 비교 결과, 확인된 작업 시간이 기준 작업 횟수(n1)를 초과하면 제2 그룹(12)으로 분류하고, 확인된 작업 시간이 기준 작업 횟수(n1)를 초과하지 않으면 제1 그룹(11)으로 분류한다.

도 4 및 도 5를 설명함에 있어서, 기준 처리 시간(n1), 기준 반려 횟수(n2), 기준 실수 횟수(n3)는 미리 설정된 것으로, 이는 필요에 따라 변경하여 설정할 수 있다. 한편, 도 5에서는 그룹을 분류하기 위해 입력된 작업 데이터에 대해 실수 횟수, 반려 횟수 및 작업 시간 순으로 각각의 임계치(기준 처리 시간, 기준 반려 횟수, 기준 실수 횟수)와 비교하도록 하였으나, 이는 일 예에 해당할 뿐, 그 비교 항목 및 비교 순서 또한 필요에 따라 변경하여 설정할 수 있다.

도 6은 본 발명의 실시예에 따른 머신러닝 모델의 학습 성능 개선 장치에서 각 그룹에 포함된 적어도 하나의 작업 데이터를 처리하는 일 예를 나타내는 도면이다.

도 6을 참조하면, 각 그룹에 포함된 적어도 하나의 작업 데이터(20)는 미리 설정된 비율을 기반으로 세 개의 데이터 셋으로 분리된다.

이때, 세 개의 데이터 셋, 즉, 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋은 각각 머신러닝 모델을 학습하는데 사용하기 위한 작업 데이터들로 구성되는 트레이닝 세트(training set), 머신러닝 모델의 성능을 측정하는데 사용하기 위한 작업 데이터들로 구성되는 밸리데이션 세트(validation set) 및 제3 데이터 셋은 머신러닝 모델의 최종 성능을 측정하는데 사용하기 위한 작업 데이터들로 구성되는 테스트 세트(test set)일 수 있다. 이때, 밸리데이션 세트는 트레이닝 세트에서 일부 쪼개어져 생성된 세트일 수 있다.

예를 들어, 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋의 비율은 전체 작업 데이터 수를 기반으로 각각 60%, 20% 및 20%로 설정될 수 있다. 그러나, 이는 일 실시예일 뿐, 그 비율은 필요에 따라 변경되어 설정될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100: 성능 개선 장치 200: 의뢰 서버
300: 작업자 단말 301: 제1 작업자 단말
302: 제2 작업자 단말 110: 통신모듈
130: 저장모듈 150: 제어모듈
10: 복수의 작업 데이터 11: 제1 그룹
12: 제2 그룹 13: 제3 그룹
14: 제4 그룹

Claims

크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능 개선 장치에 의해 수행되는 크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능을 개선하기 위한 방법에 있어서,
적어도 하나의 작업자에 의해 작업 완료된 작업 데이터들을 획득하는 제1 단계;
상기 획득된 작업 데이터들에 대한 검수를 수행하여 복수의 그룹 중 어느 하나의 그룹으로 분류하는 제2 단계;
각 그룹에 포함된 데이터들을 분리하여 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋을 각각 생성하는 제3 단계;
상기 각각 생성된 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋을 이용하여 각 그룹 별 머신러닝 모델을 학습하는 제4 단계;
상기 각 그룹 별 머신러닝 모델의 성능을 각각 학습성능을 평가하는 제5 단계; 및
상기 각 그룹 별로 상기 학습성능 및 해당 머신러닝 모델의 목표성능을 비교하고, 상기 학습성능이 상기 목표성능에 만족될 때까지 상기 각 그룹 별 머신러닝 모델을 반복 학습을 수행하는 제6 단계를 포함하며,
상기 복수의 그룹은, 휴먼 에러(human error)가 반영된 데이터 특성에 따라 구분되어 설정되고,
상기 획득된 작업 데이터들은, 각 데이터에 대한 작업 이력 정보를 고려하여 복수의 그룹 중 어느 하나의 그룹으로 분류되고,
상기 작업 이력 정보는, 상기 획득된 작업 데이터들 각각에 대한 작업자들의 처리 시간, 반려 횟수 및 실수 횟수에 대한 정보를 포함하고,
상기 데이터의 특성은, 작업 난이도를 나타내며,
상기 복수의 그룹은, 제1 작업 난이도를 갖는 제1 그룹, 제2 작업 난이도를 갖는 제2 그룹, 제3 작업 난이도를 갖는 제3 그룹 및 제4 작업 난이도를 갖는 제4 그룹을 포함하며,
상기 작업 난이도는, 제1 작업 난이도, 제2 작업 난이도, 제3 작업 난이도 및 제4 작업 난이도 순이고,
상기 제1 작업 난이도는, 해당 작업 데이터에 대한 작업자의 상기 실수 횟수 및 상기 반려 횟수가 각각 기준 실수 횟수 및 기준 반려 횟수를 초과하지 않으면서도, 상기 처리 시간이 기준 처리 시간을 초과하지 않고 처리되는 작업 난이도를 나타내고,
상기 제2 작업 난이도는, 상기 해당 작업 데이터에 대한 작업자의 상기 실수 횟수 및 상기 반려 횟수가 각각 상기 기준 실수 횟수 및 상기 기준 반려 횟수를 초과하지 않았으나, 상기 처리 시간이 상기 기준 처리 시간을 초과하여 처리되는 작업 난이도를 나타내고,
상기 제3 작업 난이도는, 상기 해당 작업 데이터에 대한 작업자의 상기 실수 횟수가 상기 기준 실수 횟수를 초과하지 않았으나, 상기 반려 횟수가 상기 기준 반려 횟수를 초과하여 반복 처리되는 작업 난이도를 나타내며,
상기 제4 작업 난이도는, 상기 해당 작업 데이터에 대한 작업자의 상기 실수 횟수가 상기 기준 실수 횟수를 초과하여 반복되어 처리되는 작업 난이도를 나타내며,
상기 각 데이터에 대한 작업 이력 정보를 고려하여 복수의 그룹 중 어느 하나의 그룹으로 분류할 시, 상기 실수 횟수, 상기 반려 횟수 및 상기 처리 시간 순으로 각각의 임계값과 비교해가며 상기 획득된 작업 데이터들에 대한 그룹을 순차적으로 분류하는 것을 특징으로 하는,
머신러닝 모델의 학습 성능 개선 방법.
삭제
제1항에 있어서,
상기 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋은,
각 그룹에 포함된 데이터들을 미리 설정된 비율에 따라 분리하여 생성되는 것임을 특징으로 하는,
머신러닝 모델의 학습 성능 개선 방법.
삭제
삭제
삭제
삭제
제1항에 있어서,
상기 제6 단계는,
상기 비교 결과, 상기 학습성능이 상기 목표성능에 만족되지 못하는 경우, 상기 학습성능 및 상기 목표성능 간 갭(gap)을 산출하고, 상기 산출된 갭에 따라 해당 그룹의 제1 데이터 셋에 적어도 하나의 데이터를 추가하여 상기 반복 학습을 수행하는 것을 특징으로 하는,
머신러닝 모델의 학습 성능 개선 방법.
제1항에 있어서,
상기 반복 학습은,
상기 각 그룹 별로 개별적으로 수행되며, 상기 학습성능이 상기 목표성능에 만족되면 종료되는 것을 특징으로 하는,
머신러닝 모델의 학습 성능 개선 방법.
크라우드소싱 기반 프로젝트의 특성에 따른 머신러닝 모델의 학습 성능을 개선하기 위한 장치에 있어서,
통신모듈;
적어도 하나의 작업자에 의해 작업 완료된 작업 데이터들 및 머신러닝 모델의 학습 성능을 개선하기 위해 필요한 적어도 하나의 프로세스를 저장하는 저장모듈; 및
상기 프로세스에 따라 동작하는 제어모듈을 포함하며,
상기 제어모듈은,
상기 복수개의 작업 데이터를 미리 설정된 항목으로 각각 분류하여 데이터 셋을 각각 생성하고,
상기 적어도 하나의 작업자에 의해 작업 완료된 작업 데이터들을 획득하고,
상기 획득된 작업 데이터들에 대한 검수를 수행하여 복수의 그룹 중 어느 하나의 그룹으로 분류하고,
각 그룹에 포함된 데이터들을 분리하여 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋을 각각 생성하고,
상기 각각 생성된 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋을 이용하여 각 그룹 별 머신러닝 모델을 학습하고,
상기 각 그룹 별 머신러닝 모델의 성능을 각각 학습성능을 평가하고,
상기 각 그룹 별로 상기 학습성능 및 해당 머신러닝 모델의 목표성능을 비교하고, 상기 학습성능이 상기 목표성능에 만족될 때까지 상기 각 그룹 별 머신러닝 모델을 반복 학습을 수행하며,
상기 복수의 그룹은, 휴먼 에러(human error)가 반영된 데이터 특성에 따라 구분되어 설정되고,
상기 획득된 작업 데이터들은, 각 데이터에 대한 작업 이력 정보를 고려하여 복수의 그룹 중 어느 하나의 그룹으로 분류되고,
상기 작업 이력 정보는, 상기 획득된 작업 데이터들 각각에 대한 작업자들의 처리 시간, 반려 횟수 및 실수 횟수에 대한 정보를 포함하고,
상기 데이터의 특성은, 작업 난이도를 나타내며,
상기 복수의 그룹은, 제1 작업 난이도를 갖는 제1 그룹, 제2 작업 난이도를 갖는 제2 그룹, 제3 작업 난이도를 갖는 제3 그룹 및 제4 작업 난이도를 갖는 제4 그룹을 포함하며,
상기 작업 난이도는, 상기 제1 작업 난이도, 상기 제2 작업 난이도, 상기 제3 작업 난이도 및 상기 제4 작업 난이도 순이고,
상기 제1 작업 난이도는, 해당 작업 데이터에 대한 작업자의 상기 실수 횟수 및 상기 반려 횟수가 각각 기준 실수 횟수 및 기준 반려 횟수를 초과하지 않으면서도, 상기 처리 시간이 기준 처리 시간을 초과하지 않고 처리되는 작업 난이도를 나타내고,
상기 제2 작업 난이도는, 상기 해당 작업 데이터에 대한 작업자의 상기 실수 횟수 및 상기 반려 횟수가 각각 상기 기준 실수 횟수 및 상기 기준 반려 횟수를 초과하지 않았으나, 상기 처리 시간이 상기 기준 처리 시간을 초과하여 처리되는 작업 난이도를 나타내고,
상기 제3 작업 난이도는, 상기 해당 작업 데이터에 대한 작업자의 상기 실수 횟수가 상기 기준 실수 횟수를 초과하지 않았으나, 상기 반려 횟수가 상기 기준 반려 횟수를 초과하여 반복 처리되는 작업 난이도를 나타내며,
상기 제4 작업 난이도는, 상기 해당 작업 데이터에 대한 작업자의 상기 실수 횟수가 상기 기준 실수 횟수를 초과하여 반복되어 처리되는 작업 난이도를 나타내며,
상기 각 데이터에 대한 작업 이력 정보를 고려하여 복수의 그룹 중 어느 하나의 그룹으로 분류할 시, 상기 실수 횟수, 상기 반려 횟수 및 상기 처리 시간 순으로 각각의 임계값과 비교해가며 상기 획득된 작업 데이터들에 대한 그룹을 순차적으로 분류하는 것을 특징으로 하는,
머신러닝 모델의 학습 성능 개선 장치.
삭제
제10항에 있어서,
상기 제1 데이터 셋, 제2 데이터 셋 및 제3 데이터 셋은,
각 그룹에 포함된 데이터들을 미리 설정된 비율에 따라 분리하여 생성되는 것임을 특징으로 하는,
머신러닝 모델의 학습 성능 개선 장치.
삭제
삭제
삭제
삭제
제10항에 있어서,
상기 제어모듈은,
상기 비교 결과, 상기 학습성능이 상기 목표성능에 만족되지 못하는 경우, 상기 학습성능 및 상기 목표성능 간 갭(gap)을 산출하고, 상기 산출된 갭에 따라 해당 그룹의 제1 데이터 셋에 적어도 하나의 데이터를 추가하여 상기 반복 학습을 수행하는 것을 특징으로 하는,
머신러닝 모델의 학습 성능 개선 장치.
제10항에 있어서,
상기 제어모듈은,
상기 각 그룹 별로 개별적으로 수행되며, 상기 학습성능이 상기 목표성능에 만족되면 상기 반복 학습을 종료하는 것을 특징으로 하는,
머신러닝 모델의 학습 성능 개선 장치.
컴퓨터와 결합되어, 제1항, 제3항, 제8항 및 제9항 중 어느 하나에 따른 머신러닝 모델의 학습 성능 개선 방법을 실행시키기 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.