KR20240048074A

KR20240048074A - A method and a device for active learning using labeling

Info

Publication number: KR20240048074A
Application number: KR1020220127285A
Authority: KR
Inventors: 김덕석; 최보경
Original assignee: 주식회사 엠티이지
Priority date: 2022-10-05
Filing date: 2022-10-05
Publication date: 2024-04-15

Abstract

학습 대상인 대상 데이터를 획득하는 단계; 대상 데이터에 대한 추론을 수행함에 따라 복수의 클래스에 대한 복수의 잠재 벡터(latent vector)를 획득하는 단계; 복수의 잠재 벡터에 기초하여 대상 데이터에 대해서 추론 정확성이 가장 높은 제 1 확률과 2번째로 높은 제 2 확률 간의 차이를 나타내는 최소 마진을 획득하는 단계; 최소 마진에 기초하여 대상 데이터가 라벨링이 필요한 불확실 데이터인지 여부를 결정하는 단계; 및 대상 데이터가 불확실 데이터인 경우, 대상 데이터에 대한 라벨링을 요청함으로써 능동 학습을 수행하는 단계;를 포함하는, 라벨링을 이용한 능동 학습 방법, 서버, 디바이스 및 기록매체가 개시된다.Obtaining target data that is a learning target; Obtaining a plurality of latent vectors for a plurality of classes by performing inference on target data; Obtaining a minimum margin representing the difference between a first probability with the highest inference accuracy and a second probability with the second highest inference accuracy for the target data based on the plurality of latent vectors; determining whether the target data is uncertain data requiring labeling based on the minimum margin; and when the target data is uncertain data, performing active learning by requesting labeling for the target data. An active learning method using labeling, a server, a device, and a recording medium are disclosed.

Description

Active learning method and device using labeling {A method and a device for active learning using labeling}

본 개시의 기술 분야는 라벨링을 이용한 능동 학습을 제공하는 방법 및 디바이스에 관한 것으로, 확률을 이용하여 보다 효율적인 학습 방법을 제공하는 기술 분야와 관련된다.The technical field of the present disclosure relates to methods and devices that provide active learning using labeling, and to the technical field of providing a more efficient learning method using probability.

최근 들어 카메라가 부착된 내시경 장비들이 다양한 분야에서 사용되고, 대상자의 체내에 삽입되거나 시술 또는 수술 현장을 촬영하는 영상 장비들이 소형화, 보편화되면서 내외과적 수술에서 동영상을 획득하는 경우가 많아지고 있다. 또한, 최근 들어 빅 데이터, 인공 지능의 발달로 동영상을 의료 정보 콘텐츠로 가공하고 이를 기반으로 기술에 대한 표준화 연구 및 도구의 사용성에 대한 평가 연구 등 다양한 연구를 진행하고자 하는 병원과 의사가 늘어남에 따라 동영상의 저장과 주요 장면에 대한 빠른 검색이 요구되고 있다.Recently, endoscopic devices equipped with cameras have been used in various fields, and video devices that are inserted into the patient's body or film the procedure or surgery site have become miniaturized and popular, and the number of cases of video acquisition in internal and surgical surgeries is increasing. In addition, with the recent development of big data and artificial intelligence, the number of hospitals and doctors who want to process videos into medical information content and conduct various studies, such as standardization studies on technology and evaluation studies on the usability of tools based on this, has increased. Video storage and quick retrieval of key scenes are required.

특히 수술을 진행할 때 진행 상황과 관련된 다양한 정보가 사용자에게 제공되도록 하는 다양한 방식이 요구된다. 동영상은 재생하는데 시간이 많이 걸린다는 단점이 있기 때문에 사용자가 원하는 정보를 보다 용이하게 제공하기 위한 다양한 방식들이 제안되고 있다. 따라서 동영상에 대한 분석 기술이 요구되고 있으며 이에 따라 다양한 학습 방식이 제안되고 있는 상황이다.In particular, when performing surgery, various methods are required to provide users with various information related to the progress. Since videos have the disadvantage of taking a long time to play, various methods have been proposed to provide users with the information they want more easily. Therefore, video analysis technology is in demand, and various learning methods are being proposed accordingly.

한국공개특허 제 10-2021-0131061호 (2021.11.02.) 3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템Korean Patent Publication No. 10-2021-0131061 (2021.11.02.) Medical procedure and surgery guidance system using 3D virtual reality

본 개시에서 해결하고자 하는 과제는 라벨링을 이용한 능동 학습 방법 및 디바이스에 대한 것으로, 사용자가 불필요하게 다수의 라벨링을 수행하지 않고도 효율적인 학습이 수행되도록 하는 방법을 제공하는데 있다.The problem to be solved in this disclosure is about an active learning method and device using labeling, and is to provide a method that allows efficient learning to be performed without the user performing a lot of labeling unnecessarily.

본 개시에서 해결하고자 하는 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.The problems to be solved by this disclosure are not limited to the technical problems described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로써, 본 개시의 제 1 측면에 따른 라벨링을 이용한 능동 학습 방법은 학습 대상인 대상 데이터를 획득하는 단계; 상기 대상 데이터에 대한 추론을 수행함에 따라 복수의 클래스에 대한 복수의 잠재 벡터(latent vector)를 획득하는 단계; 상기 복수의 잠재 벡터에 기초하여 상기 대상 데이터에 대해서 추론 정확성이 가장 높은 제 1 확률과 2번째로 높은 제 2 확률 간의 차이를 나타내는 최소 마진을 획득하는 단계; 상기 최소 마진에 기초하여 상기 대상 데이터가 라벨링이 필요한 불확실 데이터인지 여부를 결정하는 단계; 및 상기 대상 데이터가 상기 불확실 데이터인 경우, 상기 대상 데이터에 대한 라벨링을 요청함으로써 능동 학습을 수행하는 단계;를 포함할 수 있다.As a technical means for achieving the above-described technical problem, the active learning method using labeling according to the first aspect of the present disclosure includes the steps of acquiring target data that is a learning target; Obtaining a plurality of latent vectors for a plurality of classes by performing inference on the target data; obtaining a minimum margin representing a difference between a first probability with the highest inference accuracy and a second probability with the second highest inference accuracy for the target data based on the plurality of latent vectors; determining whether the target data is uncertain data requiring labeling based on the minimum margin; And when the target data is the uncertain data, performing active learning by requesting labeling for the target data.

또한, 상기 최소 마진을 획득하는 단계는 상기 복수의 클래스 각각에 대해서 상기 대상 데이터가 대응될 확률을 획득하는 단계; 상기 획득된 복수의 확률 중에서 가장 높은 확률을 상기 제 1 확률로 결정하는 단계; 및 상기 획득된 복수의 확률 중에서 2번째로 높은 확률을 상기 제 2 확률로 결정하는 단계; 를 포함할 수 있다.Additionally, obtaining the minimum margin may include obtaining a probability that the target data corresponds to each of the plurality of classes; determining the highest probability among the obtained plurality of probabilities as the first probability; and determining the second highest probability among the obtained plurality of probabilities as the second probability. may include.

또한, 상기 대상 데이터가 대응될 확률을 획득하는 단계는 상기 복수의 클래스 각각에 대응되는 객체가 상기 대상 데이터가 나타내는 영상에 포함될 확률을 결정할 수 있다.Additionally, the step of obtaining the probability that the target data corresponds may determine the probability that an object corresponding to each of the plurality of classes is included in the image represented by the target data.

또한, 상기 대상 데이터는 의료 행위와 관련된 대상 동영상에 대한 데이터를 포함할 수 있고, 상기 객체는 상기 의료 행위와 관련된 도구 및 병변 중 적어도 하나를 포함할 수 있다.Additionally, the target data may include data on a target video related to a medical practice, and the object may include at least one of a tool and a lesion related to the medical practice.

또한, 상기 불확실 데이터인지 여부를 결정하는 단계는 상기 최소 마진이 제 1 값보다 작은 경우 상기 대상 데이터를 상기 불확실 데이터로 결정할 수 있다.Additionally, the step of determining whether the target data is uncertain data may determine the target data to be the uncertain data when the minimum margin is smaller than the first value.

또한, 상기 최소 마진이 제 2 값보다 큰 경우 상기 대상 데이터를 확실 데이터로 결정하는 단계;를 더 포함하고, 상기 제 2 값은 상기 제 1 값보다 크거나 같을 수 있다.The method may further include determining the target data as certain data when the minimum margin is greater than the second value, and the second value may be greater than or equal to the first value.

또한, 상기 확실 데이터는 언라벨된 상태로 상기 능동 학습에 이용될 수 있다.Additionally, the sure data can be used for the active learning in an unlabeled state.

본 개시의 제 2 측면에 따른 라벨링을 이용한 능동 학습 디바이스는 학습 대상인 대상 데이터를 획득하는 수신부; 및 상기 대상 데이터에 대한 추론을 수행함에 따라 복수의 클래스에 대한 복수의 잠재 벡터(latent vector)를 획득하고, 상기 복수의 잠재 벡터에 기초하여 상기 대상 데이터에 대해서 추론 정확성이 가장 높은 제 1 확률과 2번째로 높은 제 2 확률 간의 차이를 나타내는 최소 마진을 획득하고, 상기 최소 마진에 기초하여 상기 대상 데이터가 라벨링이 필요한 불확실 데이터인지 여부를 결정하고, 상기 대상 데이터가 상기 불확실 데이터인 경우, 상기 대상 데이터에 대한 라벨링을 요청함으로써 능동 학습을 수행하는 프로세서;를 포함할 수 있다.An active learning device using labeling according to a second aspect of the present disclosure includes a receiving unit that acquires target data to be learned; and obtaining a plurality of latent vectors for a plurality of classes as inference is performed on the target data, and a first probability with the highest inference accuracy for the target data based on the plurality of latent vectors; Obtain a minimum margin representing the difference between the second highest second probability, determine whether the target data is uncertain data requiring labeling based on the minimum margin, and if the target data is the uncertain data, determine the target data. It may include a processor that performs active learning by requesting labeling for data.

또한, 상기 프로세서는 상기 복수의 클래스 각각에 대해서 상기 대상 데이터가 대응될 확률을 획득하고, 상기 획득된 복수의 확률 중에서 가장 높은 확률을 상기 제 1 확률로 결정하고, 상기 획득된 복수의 확률 중에서 2번째로 높은 확률을 상기 제 2 확률로 결정할 수 있다.In addition, the processor obtains a probability that the target data corresponds to each of the plurality of classes, determines the highest probability among the plurality of probabilities as the first probability, and selects 2 among the plurality of probabilities. The highest probability can be determined as the second probability.

또한, 상기 프로세서는 상기 복수의 클래스 각각에 대응되는 객체가 상기 대상 데이터가 나타내는 영상에 포함될 확률을 결정할 수 있다.Additionally, the processor may determine the probability that an object corresponding to each of the plurality of classes is included in the image represented by the target data.

또한, 상기 프로세서는 상기 최소 마진이 제 1 값보다 작은 경우 상기 대상 데이터를 상기 불확실 데이터로 결정할 수 있다.Additionally, the processor may determine the target data as the uncertain data when the minimum margin is smaller than the first value.

또한, 상기 프로세서는 상기 최소 마진이 제 2 값보다 큰 경우 상기 대상 데이터를 확실 데이터로 결정하고, 상기 제 2 값은 상기 제 1 값보다 크거나 같을 수 있다.Additionally, the processor determines the target data as sure data when the minimum margin is greater than the second value, and the second value may be greater than or equal to the first value.

본 개시의 제 3 측면에 따라 제 1 측면을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체를 포함할 수 있다.According to the third aspect of the present disclosure, it may include a computer-readable non-transitory recording medium on which a program for implementing the first aspect is recorded.

본 개시의 일 실시 예에 따르면, 라벨링을 요구하는 횟수가 감소할 수 있기 때문에 상대적으로 적은 횟수의 라벨링만을 수행하면서도 충분히 정확한 학습을 수행할 수 있다.According to an embodiment of the present disclosure, since the number of labeling requests can be reduced, sufficiently accurate learning can be performed while performing only a relatively small number of labeling.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned may be clearly understood by those skilled in the art from the description below.

도 1은 일 실시 예에 따른 디바이스 또는 서버가 시스템 상에서 구현되는 일 예를 도시하는 도면이다.
도 2는 일 실시 예에 따른 디바이스의 구성을 개략적으로 도시한 블록도이다.
도 3은 일 실시 예에 따른 디바이스가 동작하는 각 단계를 도시한 흐름도이다.
도 4는 일 실시 예에 따른 디바이스가 불확실 데이터를 결정하는 일 예를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 디바이스가 확실 데이터를 결정하는 일 예를 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 디바이스가 라벨링을 수행하는 일 예를 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 디바이스가 라벨링에 따른 파일을 획득하는 일 예를 설명하기 위한 도면이다.FIG. 1 is a diagram illustrating an example of a device or server implemented on a system according to an embodiment.
Figure 2 is a block diagram schematically showing the configuration of a device according to an embodiment.
Figure 3 is a flowchart showing each step in which a device operates according to an embodiment.
FIG. 4 is a diagram illustrating an example in which a device determines uncertain data, according to an embodiment.
FIG. 5 is a diagram illustrating an example in which a device determines reliable data according to an embodiment.
FIG. 6 is a diagram illustrating an example in which a device performs labeling according to an embodiment.
FIG. 7 is a diagram illustrating an example in which a device acquires a file according to labeling, according to an embodiment.

본 개시에서 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시 예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 개시가 완전 하도록 하고, 해당 기술 분야에 속하는 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다. Advantages and features in the present disclosure, and methods for achieving them, will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present disclosure is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure is complete and to those skilled in the art. It is provided to provide complete information.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terms used in this specification are for describing embodiments and are not intended to limit the disclosure. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other elements in addition to the mentioned elements. Like reference numerals refer to like elements throughout the specification, and “and/or” includes each and every combination of one or more of the referenced elements. Although “first”, “second”, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be the second component within the technical spirit of the present disclosure.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 해당 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art. Additionally, terms defined in commonly used dictionaries are not to be interpreted ideally or excessively unless clearly specifically defined.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작 시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms such as “below”, “beneath”, “lower”, “above”, “upper”, etc. are used as a single term as shown in the drawing. It can be used to easily describe the correlation between a component and other components. Spatially relative terms should be understood as terms that include different directions of components during use or operation in addition to the directions shown in the drawings. For example, if a component shown in a drawing is flipped over, a component described as "below" or "beneath" another component will be placed "above" the other component. You can. Accordingly, the illustrative term “down” may include both downward and upward directions. Components can also be oriented in other directions, so spatially relative terms can be interpreted according to orientation.

이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the drawings.

도 1은 일 실시 예에 따른 디바이스(100) 또는 서버가 시스템 상에서 구현되는 일 예를 도시하는 도면이다.FIG. 1 is a diagram illustrating an example in which a device 100 or a server according to an embodiment is implemented on a system.

도 1에 도시된 바와 같이, 의료 정보 시스템은 디바이스(100), 외부 서버(130), 저장 매체(140), 통신 디바이스(150), 가상 서버(160), 사용자 단말(170) 및 네트워크 등을 포함할 수 있다.As shown in Figure 1, the medical information system includes a device 100, an external server 130, a storage medium 140, a communication device 150, a virtual server 160, a user terminal 170, and a network. It can be included.

그러나, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 의료 정보 시스템에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 의료 정보 시스템은 네트워크와 연동하여 동작하는 블록체인 서버(미도시)를 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.However, those skilled in the art can understand that other general-purpose components other than those shown in FIG. 1 may be included in the medical information system. For example, the medical information system may further include a blockchain server (not shown) that operates in conjunction with the network. Alternatively, according to another embodiment, those skilled in the art may understand that some of the components shown in FIG. 1 may be omitted.

일 실시 예에 따른 디바이스(100)는 수술 등 의료 행위와 관련된 정보를 다양한 소스로부터 획득할 수 있다. 예를 들면 디바이스(100)는 수술 등 의료 행위와 관련된 정보(예: 동영상)를 정보 획득 장치(미도시)로부터 획득할 수 있다. 정보 획득 장치(미도시) 는 촬영 장치, 녹음 장치, 생체 신호 획득 장치 등을 포함할 수 있으나, 이에 제한되지 않는다. 다른 예로 디바이스(100)는 수술 등 의료 행위와 관련된 정보(예: 동영상)를 네트워크로부터 획득할 수 있다.The device 100 according to one embodiment may obtain information related to medical procedures such as surgery from various sources. For example, the device 100 may obtain information (e.g., video) related to medical procedures such as surgery from an information acquisition device (not shown). Information acquisition devices (not shown) may include, but are not limited to, imaging devices, recording devices, and biological signal acquisition devices. As another example, the device 100 may obtain information (eg, video) related to medical procedures such as surgery from the network.

생체 신호는 체온 신호, 맥박 신호, 호흡 신호, 혈압 신호, 근전도 신호, 뇌파 신호 등 생명체로부터 획득되는 신호를 제한 없이 포함할 수 있다. 정보 획득 장치(미도시)의 일 예인 촬영 장치는 수술실 상황을 전체적으로 촬영하는 제 1 촬영 장치(예: CCTV 등)와 수술 부위를 집중적으로 촬영하는 제 2 촬영 장치(예: 내시경 등) 등을 포함할 수 있으나, 이에 제한되지 않는다. Biological signals may include signals obtained from living organisms, such as body temperature signals, pulse signals, respiration signals, blood pressure signals, electromyography signals, and brain wave signals, without limitation. An imaging device, which is an example of an information acquisition device (not shown), includes a first imaging device (e.g., CCTV, etc.) that photographs the entire operating room situation and a second imaging device (e.g., endoscope, etc.) that focuses on photographing the surgical site. It can be done, but is not limited to this.

일 실시 예에 따른 디바이스(100)는 정보 획득 장치(미도시) 또는 네트워크로부터 수술 등 의료 행위와 관련된 영상(동영상, 정지영상 등)을 획득할 수 있다. 영상은 동영상과 정지 영상을 모두 포함하는 개념으로 이해될 수 있다. 디바이스(100)는 획득한 영상에 대한 영상 처리를 수행할 수 있다. 일 실시 예에 따른 영상 처리는 각각의 영상에 대한 네이밍, 인코딩, 저장, 전송, 편집, 메타 데이터 생성 등을 포함할 수 있으나, 이에 제한되지 않는다.The device 100 according to one embodiment may acquire images (videos, still images, etc.) related to medical procedures such as surgery from an information acquisition device (not shown) or a network. Video can be understood as a concept that includes both moving images and still images. The device 100 may perform image processing on the acquired image. Image processing according to an embodiment may include naming, encoding, storage, transmission, editing, and metadata creation for each image, but is not limited thereto.

일 실시 예에 따른 디바이스(100)는 정보 획득 장치(미도시) 또는 네트워크로부터 획득한 의료 행위 관련 정보를 그대로 또는 갱신하여 네트워크로 전송할 수 있다. 디바이스(100)가 네트워크로 전송하는 전송 정보는 네트워크를 통해서 외부 디바이스(130, 140, 150, 160, 170)로 전송될 수 있다. 예를 들면, 디바이스(100)는 네트워크를 통해서 외부 서버(130), 저장 매체(140), 통신 디바이스(150), 가상 서버(160), 사용자 단말(170) 등으로 갱신된 동영상을 전송할 수 있다. 디바이스(100)는 외부 디바이스(130, 140, 150, 160, 170)로부터 다양한 정보(예: 피드백 정보, 갱신 요청 등)를 수신할 수 있다. 통신 디바이스(150)는 통신에 이용되는 디바이스를 제한 없이 의미할 수 있으며(예: 게이트웨이), 통신 디바이스(150)는 사용자 단말(180) 등 네트워크와 직접 연결되지 않는 디바이스와 통신할 수 있다.The device 100 according to one embodiment may transmit medical treatment-related information obtained from an information acquisition device (not shown) or a network as is or as updated information to the network. Transmission information transmitted by the device 100 to the network may be transmitted to external devices 130, 140, 150, 160, and 170 through the network. For example, the device 100 may transmit the updated video to the external server 130, storage medium 140, communication device 150, virtual server 160, user terminal 170, etc. through the network. . Device 100 may receive various information (eg, feedback information, update request, etc.) from external devices 130, 140, 150, 160, and 170. The communication device 150 may refer to a device used for communication without limitation (eg, a gateway), and the communication device 150 may communicate with a device that is not directly connected to the network, such as the user terminal 180.

일 실시 예에 따른 디바이스(100)는 입력부, 출력부 프로세서, 메모리 등을 포함할 수 있으며, 디스플레이 장치(미도시)도 포함할 수 있다. 예컨대, 사용자는 디스플레이 장치를 통해서 통신 상태, 메모리 사용 현황, 전력 상태(예: 배터리의 충전상태(State Of Charge), 외부 전력 공급 여부 등), 저장된 동영상에 대한 썸네일 영상, 현재 동작 중인 동작 모드 등을 등을 확인 할 수 있다. 한편, 디스플레이 장치는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 등일 수 있다. 또한, 디스플레이 장치는 구현 형태에 따라 2개 이상의 디스플레이를 포함할 수 있다. 또한, 디스플레이의 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이는 출력 장치 이외에 입력 장치로도 사용될 수 있다.The device 100 according to one embodiment may include an input unit, an output processor, memory, etc., and may also include a display device (not shown). For example, through the display device, the user can view communication status, memory usage status, power status (e.g., battery state of charge, external power supply, etc.), thumbnail images for stored videos, currently operating mode, etc. You can check, etc. Meanwhile, display devices include liquid crystal display, thin film transistor-liquid crystal display, organic light-emitting diode, flexible display, and 3D display. display), electrophoretic display, etc. Additionally, the display device may include two or more displays depending on the implementation type. Additionally, when the touchpad of the display has a layered structure and is configured as a touch screen, the display can be used as an input device in addition to an output device.

또한, 네트워크는 유선 통신 또는 무선 통신을 통해 상호 통신을 수행할 수 있다. 예컨대 네트워크는 일종의 서버로 구현될 수도 있으며, 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 포함할 수 있다. 물론, 디바이스(100)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 이용하여 각종 외부기기와 통신을 수행할 수 있다. 와이파이 칩, 블루투스 칩은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작할 수 있다.Additionally, networks may communicate with each other through wired or wireless communication. For example, a network may be implemented as a type of server and may include a Wi-Fi chip, Bluetooth chip, wireless communication chip, NFC chip, etc. Of course, the device 100 can communicate with various external devices using a Wi-Fi chip, Bluetooth chip, wireless communication chip, NFC chip, etc. Wi-Fi chips and Bluetooth chips can communicate using Wi-Fi and Bluetooth methods, respectively. When using a Wi-Fi chip or a Bluetooth chip, various connection information such as SSID and session key are first transmitted and received, and various information can be transmitted and received after establishing a communication connection using this. Wireless communication chips can perform communication according to various communication standards such as IEEE, Zigbee, 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), and LTE (Long Term Evolution). The NFC chip can operate in the NFC (Near Field Communication) method using the 13.56MHz band among various RF-ID frequency bands such as 135kHz, 13.56MHz, 433MHz, 860~960MHz, and 2.45GHz.

일 실시 예에 따른 입력부는 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미할 수 있다. 예를 들어, 입력부에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.The input unit according to one embodiment may refer to a means through which a user inputs data to control the device 100. For example, the input unit includes a key pad, dome switch, and touch pad (contact capacitive type, pressure resistance type, infrared detection type, surface ultrasonic conduction type, integral tension measurement type, Piezo effect method, etc.), jog wheel, jog switch, etc., but are not limited thereto.

일 실시 예에 따른 출력부는 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부는 디스플레이 장치, 음향 출력 장치, 및 진동 모터 등을 포함할 수 있다.The output unit according to one embodiment may output an audio signal, a video signal, or a vibration signal, and the output unit may include a display device, a sound output device, and a vibration motor.

일 실시 예에 따른 사용자 단말(170)은 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC 등 다양한 유무선 통신 디바이스를 포함할 수 있으나 이에 제한되지 않는다.The user terminal 170 according to an embodiment may include, but is not limited to, various wired and wireless communication devices such as a smartphone, SmartPad, and tablet PC.

일 실시 예에 따른 디바이스(100)는 정보 획득 장치(미도시)로부터 획득한 의료 행위 관련 정보(예: 동영상)를 갱신할 수 있다. 예를 들면, 디바이스(100)는 정보 획득 장치(미도시)로부터 획득한 영상에 대한 네이밍, 인코딩, 저장, 전송, 편집, 메타 데이터 생성 등을 수행할 수 있다. 일 예로, 디바이스(100)는 획득한 영상의 메타 데이터(예: 생성 시간)을 이용하여 영상 파일의 네이밍을 수행할 수 있다. 다른 예로, 디바이스(100)는 정보 획득 장치(미도시)로부터 획득한 의료 행위와 관련된 영상을 분류할 수 있다. 디바이스(100)는 학습된 AI를 이용하여, 의료 행위와 관련된 영상을 수술 종류, 수술자, 수술 장소 등 다양한 기준에 기초하여 분류할 수 있다.The device 100 according to one embodiment may update medical treatment-related information (eg, video) obtained from an information acquisition device (not shown). For example, the device 100 may perform naming, encoding, storage, transmission, editing, metadata creation, etc. on images acquired from an information acquisition device (not shown). As an example, the device 100 may name an image file using metadata (eg, creation time) of the acquired image. As another example, the device 100 may classify images related to medical procedures obtained from an information acquisition device (not shown). The device 100 can use learned AI to classify images related to medical procedures based on various criteria such as type of surgery, operator, and location of surgery.

또한 도 1에서 디바이스(100)는 서버로 구현될 수도 있으며, 디바이스(100)가 구현될 수 있는 물리적 장치의 범위는 제한하여 해석되지 않는다.Additionally, the device 100 in FIG. 1 may be implemented as a server, and the scope of physical devices in which the device 100 can be implemented is not interpreted as being limited.

도 2는 일 실시 예에 따른 디바이스(100)의 구성을 개략적으로 도시한 블록도이다.FIG. 2 is a block diagram schematically showing the configuration of the device 100 according to an embodiment.

도 2에 도시된 바와 같이, 일 실시 예에 따른 디바이스(100)는 수신부(210), 프로세서(220), 출력부(230) 및 메모리(240)를 포함할 수 있다. 그러나 도 2에 도시된 구성요소 모두가 디바이스(100)의 필수 구성요소인 것은 아니다. 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(100)가 구현될 수도 있고, 도 2에 도시된 구성 요소보다 적은 구성 요소에 의해 디바이스(100)가 구현될 수도 있다.As shown in FIG. 2, the device 100 according to one embodiment may include a receiving unit 210, a processor 220, an output unit 230, and a memory 240. However, not all of the components shown in FIG. 2 are essential components of the device 100. The device 100 may be implemented with more components than those shown in FIG. 2 , or the device 100 may be implemented with fewer components than the components shown in FIG. 2 .

예를 들어, 일 실시 예에 따른 디바이스(100)는 수신부(210), 프로세서(220), 출력부(230), 메모리(240) 외에 통신부(미도시) 또는 입력부(미도시)를 더 포함할 수도 있다. 또한 출력부(230)의 일 예로서 디스플레이(미도시)가 포함될 수 있다.For example, the device 100 according to one embodiment may further include a communication unit (not shown) or an input unit (not shown) in addition to the receiver 210, processor 220, output unit 230, and memory 240. It may be possible. Additionally, an example of the output unit 230 may include a display (not shown).

일 실시 예에 따른 수신부(210)는 학습 대상인 대상 데이터를 획득할 수 있다. 대상 데이터는 의료 행위와 관련된 대상 동영상에 대한 데이터를 포함할 수 있다. 구체적으로 대상 데이터는 의료 행위와 관련된 영상을 포함할 수 있다. 예를 들면 대상 데이터는 복수의 정지 영상을 포함할 수 있다.The receiving unit 210 according to one embodiment may acquire target data that is a learning target. Target data may include data about target videos related to medical practice. Specifically, the target data may include images related to medical practice. For example, target data may include a plurality of still images.

일 실시 예에 따른 프로세서(220)는 대상 데이터에 대한 추론을 수행함에 따라 복수의 클래스에 대한 복수의 잠재 벡터(latent vector)를 획득할 수 있다.The processor 220 according to an embodiment may obtain a plurality of latent vectors for a plurality of classes by performing inference on target data.

일 실시 예에 따른 프로세서(220)는 인공 지능 모델을 이용해서 대상 데이터에 대한 추론을 수행할 수 있다. 이 과정에서 프로세서(220)는 복수의 클래스에 대해서 복수의 잠재 벡터를 획득할 수 있다.The processor 220 according to one embodiment may perform inference on target data using an artificial intelligence model. In this process, the processor 220 can obtain multiple latent vectors for multiple classes.

일 실시 예에 따른 프로세서(220)는 복수의 잠재 벡터에 기초하여 대상 데이터에 대해서 추론 정확성이 가장 높은 제 1 확률과 2번째로 높은 제 2 확률 간의 차이를 나타내는 최소 마진을 획득할 수 있다.The processor 220 according to an embodiment may obtain a minimum margin representing the difference between the first probability with the highest inference accuracy and the second probability with the second highest inference accuracy for the target data based on a plurality of latent vectors.

일 실시 예에 따른 프로세서(220)는 복수의 클래스 각각에 대해서 대상 데이터가 대응될 확률을 획득할 수 있다. 예를 들면, 프로세서(220)는 복수의 클래스 각각에 대응되는 객체가 대상 데이터가 나타내는 영상에 포함될 확률을 결정할 수 있다.The processor 220 according to one embodiment may obtain a probability that target data corresponds to each of a plurality of classes. For example, the processor 220 may determine the probability that an object corresponding to each of a plurality of classes is included in the image represented by the target data.

일 실시 예에 따른 프로세서(220)는 복수의 잠재 벡터에 기초하여 대상 데이터에 대해서 추론 정확성이 가장 높은 제 1 확률과 2번째로 높은 제 2 확률 간의 차이를 나타내는 최소 마진을 획득할 수 있다. 구체적으로, 프로세서(220)는 복수의 클래스 각각에 대해서 대상 데이터가 대응될 확률을 획득할 수 있다. 예를 들면, 디바이스(100)는 복수의 클래스 각각에 대응되는 객체가 대상 데이터가 나타내는 영상에 포함될 확률을 결정할 수 있다. 일 실시 예에 따른 객체는 의료 행위와 관련된 도구, 병변 등을 포함할 수 있으나 이에 제한되지 않는다.The processor 220 according to an embodiment may obtain a minimum margin representing the difference between the first probability with the highest inference accuracy and the second probability with the second highest inference accuracy for the target data based on a plurality of latent vectors. Specifically, the processor 220 may obtain the probability that target data corresponds to each of a plurality of classes. For example, the device 100 may determine the probability that an object corresponding to each of a plurality of classes is included in an image represented by target data. Objects according to one embodiment may include tools related to medical practice, lesions, etc., but are not limited thereto.

일 실시 예에 따른 프로세서(220)는 최소 마진에 기초하여 대상 데이터가 라벨링이 필요한 불확실 데이터인지 여부를 결정할 수 있다. The processor 220 according to an embodiment may determine whether the target data is uncertain data that requires labeling based on the minimum margin.

일 실시 예에 따른 프로세서(220)는 최소 마진이 제 1 값보다 작은 경우 대상 데이터를 불확실 데이터로 결정할 수 있다. 프로세서(220)는 최소 마진이 제 1 값보다 작은 경우 대상 데이터를 불확실 데이터로 결정함으로써 라벨링을 요청할 수 있다. The processor 220 according to one embodiment may determine the target data to be uncertain data when the minimum margin is less than the first value. If the minimum margin is less than the first value, the processor 220 may request labeling by determining the target data as uncertain data.

일 실시 예에 따른 프로세서(220)는 최소 마진이 제 2 값보다 큰 경우 대상 데이터를 확실 데이터로 결정할 수 있다. 프로세서(220)는 최소 마진이 제 2 값보다 큰 경우 대상 데이터를 확실 데이터로 결정함으로써 라벨링 없이 능동 학습을 수행할 수 있다. The processor 220 according to one embodiment may determine the target data to be certain data when the minimum margin is greater than the second value. The processor 220 may perform active learning without labeling by determining the target data as certain data when the minimum margin is greater than the second value.

일 실시 예에 따른 프로세서(220)는 대상 데이터가 불확실 데이터인 경우, 대상 데이터에 대한 라벨링을 요청함으로써 능동 학습을 수행할 수 있다. 대상 데이터가 불확실 데이터라고 결정된 경우, 프로세서(220)는 대상 데이터에 대한 라벨링을 요청하고, 라벨링 요청에 대응한 응답을 회신하여 대상 데이터에 라벨링을 수행하고, 라벨링 수행에 기초하여 능동 학습을 수행할 수 있다.If the target data is uncertain data, the processor 220 according to one embodiment may perform active learning by requesting labeling for the target data. When it is determined that the target data is uncertain data, the processor 220 requests labeling for the target data, returns a response corresponding to the labeling request, performs labeling on the target data, and performs active learning based on the labeling performance. You can.

도 3은 일 실시 예에 따른 디바이스(100)가 동작하는 각 단계를 도시한 흐름도이다.FIG. 3 is a flowchart illustrating each step in which the device 100 operates according to an embodiment.

단계 S310을 참조하면, 디바이스(100)는 학습 대상인 대상 데이터를 획득할 수 있다.Referring to step S310, the device 100 may acquire target data that is a learning target.

일 실시 예에 따른 대상 데이터는 의료 행위와 관련된 대상 동영상에 대한 데이터를 포함할 수 있다. 구체적으로 대상 데이터는 의료 행위와 관련된 영상을 포함할 수 있다. 예를 들면 대상 데이터는 복수의 정지 영상을 포함할 수 있다.Target data according to one embodiment may include data about target videos related to medical practice. Specifically, the target data may include images related to medical practice. For example, target data may include a plurality of still images.

단계 S320을 참조하면, 디바이스(100)는 대상 데이터에 대한 추론을 수행함에 따라 복수의 클래스에 대한 복수의 잠재 벡터(latent vector)를 획득할 수 있다.Referring to step S320, the device 100 may obtain a plurality of latent vectors for a plurality of classes by performing inference on the target data.

일 실시 예에 따른 디바이스(100)는 인공 지능 모델을 이용해서 대상 데이터에 대한 추론을 수행할 수 있다. 이 과정에서 디바이스(100)는 복수의 클래스에 대해서 복수의 잠재 벡터를 획득할 수 있다. 예를 들면, 인공 지능 모델에서 이용되는 복수개의 클래스 중 제 1 클래스가 있는 경우, 디바이스(100)는 제 1 클래스에 대한 하나 이상의 잠재 벡터를 획득할 수 있다. The device 100 according to one embodiment may perform inference on target data using an artificial intelligence model. In this process, the device 100 can acquire multiple latent vectors for multiple classes. For example, when there is a first class among a plurality of classes used in an artificial intelligence model, the device 100 may obtain one or more latent vectors for the first class.

디바이스(100)는 잠재 벡터를 이용해서 다양한 동작을 수행할 수 있다. 예를 들면, 디바이스(100)는 제 1 클래스에 대한 하나 이상의 잠재 벡터를 이용하여 정지 영상에 제 1 클래스에 대응되는 객체가 존재하는지 여부를 결정할 수 있다. 또는 디바이스(100)는 제 1 클래스에 대한 하나 이상의 잠재 벡터를 이용하여 정지 영상에 제 1 클래스에 대응되는 객체가 존재할 확률을 결정할 수 있다.The device 100 can perform various operations using latent vectors. For example, the device 100 may determine whether an object corresponding to the first class exists in a still image using one or more latent vectors for the first class. Alternatively, the device 100 may determine the probability that an object corresponding to the first class exists in a still image using one or more latent vectors for the first class.

단계 S330을 참조하면, 디바이스(100)는 복수의 잠재 벡터에 기초하여 대상 데이터에 대해서 추론 정확성이 가장 높은 제 1 확률과 2번째로 높은 제 2 확률 간의 차이를 나타내는 최소 마진을 획득할 수 있다.Referring to step S330, the device 100 may obtain a minimum margin indicating the difference between the first probability with the highest inference accuracy and the second probability with the second highest inference accuracy for the target data based on a plurality of latent vectors.

일 실시 예에 따른 디바이스(100)는 복수의 클래스 각각에 대해서 대상 데이터가 대응될 확률을 획득할 수 있다. 예를 들면, 디바이스(100)는 복수의 클래스 각각에 대응되는 객체가 대상 데이터가 나타내는 영상에 포함될 확률을 결정할 수 있다. 일 예로 복수개의 클래스 중 제 1 클래스 내지 제 9 클래스가 있는 경우, 디바이스(100)는 제 1 클래스에 대응되는 객체(예: 그래스퍼, grasper)가 대상 데이터(예: 정지 영상)에 포함될 확률인 제 1 클래스 확률을 제 1 클래스에 대한 잠재 벡터를 이용하여 결정할 수 있다. 일 실시 예에 따른 확률은 추론 정확성을 의미할 수 있다. 동일한 방식으로 디바이스(100)는 제 2 클래스 내지 제 9 클래스에 대해서 제 2 클래스 확률 내지 제 9 클래스 확률을 결정할 수 있다. 일 실시 예에 따른 객체는 의료 행위와 관련된 도구, 병변 등을 포함할 수 있으나 이에 제한되지 않는다.The device 100 according to one embodiment may obtain a probability that target data corresponds to each of a plurality of classes. For example, the device 100 may determine the probability that an object corresponding to each of a plurality of classes is included in an image represented by target data. For example, when there are first to ninth classes among a plurality of classes, the device 100 calculates the probability that an object (e.g., grasper) corresponding to the first class is included in the target data (e.g., still image). The first class probability can be determined using the latent vector for the first class. Probability according to one embodiment may mean inference accuracy. In the same manner, the device 100 may determine second to ninth class probabilities for the second to ninth classes. Objects according to one embodiment may include tools related to medical practice, lesions, etc., but are not limited thereto.

일 실시 예에 따른 디바이스(100)는 획득된 복수의 확률(예: 제 1 클래스 확률 내지 제 9 클래스 확률) 중에서 가장 높은 확률을 제 1 확률로 결정할 수 있다. 상술된 예시를 참조하면, 제 1 클래스 확률 내지 제 9 클래스 확률 중에서 가장 높은 확률을 제 1 확률로 결정할 수 있다.The device 100 according to one embodiment may determine the highest probability among the obtained plurality of probabilities (e.g., first to ninth class probabilities) as the first probability. Referring to the above-described example, the highest probability among the first to ninth class probabilities may be determined as the first probability.

일 실시 예에 따른 디바이스(100)는 획득된 복수의 확률(예: 제 1 클래스 확률 내지 제 9 클래스 확률) 중에서 2번째로 높은 확률을 제 2 확률로 결정할 수 있다. 상술된 예시를 참조하면, 제 1 클래스 확률 내지 제 9 클래스 확률 중에서 2번째로 높은 확률을 제 2 확률로 결정할 수 있다.The device 100 according to an embodiment may determine the second highest probability among the obtained plurality of probabilities (e.g., first to ninth class probabilities) as the second probability. Referring to the above-described example, the second highest probability among the first to ninth class probabilities may be determined as the second probability.

단계 S320에서 개시된 예시를 참조하면, 일 실시 예에 따른 디바이스(100)는 제 1 확률에서 제 2 확률을 뺀 값에 대응하는 값을 최소 마진으로 결정할 수 있다. 예를 들면 디바이스(100)는 제 1 확률에서 제 2 확률을 뺀 값을 최소 마진으로 결정할 수 있다.Referring to the example disclosed in step S320, the device 100 according to one embodiment may determine a value corresponding to a value obtained by subtracting the second probability from the first probability as the minimum margin. For example, the device 100 may determine the minimum margin as the value obtained by subtracting the second probability from the first probability.

다만 디바이스(100)는 최소 마진 외에도 다양한 마진을 결정할 수 있다. 예를 들면, 디바이스(100)는 제 1 클래스 확률 내지 제 9 클래스 확률에 대해서 높은 순서에 따라 제 1 확률 내지 제 9 확률을 결정하고, 제 1 확률과 제 3 확률간의 차이에 대응하는 제 2 마진, 제 1 확률과 제 4 확률 간의 차이에 대응하는 제 3 마진 등을 획득할 수 있다.However, the device 100 can determine various margins in addition to the minimum margin. For example, the device 100 determines the first to ninth probabilities in descending order of the first to ninth class probabilities, and sets a second margin corresponding to the difference between the first and third probabilities. , a third margin corresponding to the difference between the first probability and the fourth probability, etc. can be obtained.

단계 S340을 참조하면, 디바이스(100)는 최소 마진에 기초하여 대상 데이터가 라벨링이 필요한 불확실 데이터인지 여부를 결정할 수 있다.Referring to step S340, the device 100 may determine whether the target data is uncertain data requiring labeling based on the minimum margin.

일 실시 예에 따른 디바이스(100)는 최소 마진이 제 1 값보다 작은 경우 대상 데이터를 불확실 데이터로 결정할 수 있다. 최소 마진이 제 1 값보다 작은 경우는 제 1 확률과 제 2 확률의 차이가 크지 않은 경우로 볼 수 있기 때문에 제 1 확률에 대응하는 클래스와 제 2 확률에 대응하는 클래스 중 어떤 클래스에 대한 객체가 대상 데이터에 포함된 것인지 결정하기 어려울 수 있다. 따라서 디바이스(100)는 최소 마진이 제 1 값보다 작은 경우 대상 데이터를 불확실 데이터로 결정함으로써 라벨링을 요청할 수 있다. The device 100 according to one embodiment may determine the target data to be uncertain data when the minimum margin is less than the first value. If the minimum margin is less than the first value, it can be seen as a case where the difference between the first probability and the second probability is not large, so the object for which class among the class corresponding to the first probability and the class corresponding to the second probability is It may be difficult to determine whether it is included in the target data. Therefore, if the minimum margin is smaller than the first value, the device 100 may request labeling by determining the target data as uncertain data.

일 실시 예에 따른 디바이스(100)는 최소 마진이 제 2 값보다 큰 경우 대상 데이터를 확실 데이터로 결정할 수 있다. 최소 마진이 제 2 값보다 큰 경우는 제 1 확률과 제 2 확률의 차이가 큰 경우로 볼 수 있기 때문에 제 2 확률에 대응하는 클래스가 아닌 제 1 확률에 대응하는 클래스에 대한 객체가 대상 데이터에 포함된 것으로 결정하는 것이 합리적일 수 있다. 따라서 디바이스(100)는 최소 마진이 제 2 값보다 큰 경우 대상 데이터를 확실 데이터로 결정함으로써 라벨링 없이 능동 학습을 수행할 수 있다. The device 100 according to one embodiment may determine the target data to be certain data when the minimum margin is greater than the second value. If the minimum margin is greater than the second value, it can be seen as a case where the difference between the first probability and the second probability is large, so an object for the class corresponding to the first probability, not the class corresponding to the second probability, is included in the target data. It may be reasonable to decide that it is included. Accordingly, the device 100 can perform active learning without labeling by determining the target data as certain data when the minimum margin is greater than the second value.

일 실시 예에 따를 때, 제 2 값은 제 1 값보다 크거나 같을 수 있다. According to one embodiment, the second value may be greater than or equal to the first value.

일 실시 예에 따라 제 2 값이 제 1 값보다 큰 경우에 대해 설명하면 다음과 같다. 제 2 값이 제 1 값보다 크기 때문에, 제 1 확률과 제 2 확률의 차이가 충분히 큰 경우(제 1 확률과 제 2 확률의 차이가 제 2 값보다 큰 경우)에 대해서 대상 데이터를 확실 데이터로 결정할 수 있고, 제 1 확률과 제 2 확률의 차이가 충분히 작은 경우(제 1 확률과 제 2 확률의 차이가 제 1 값보다 작은 경우)에 대해서 대상 데이터를 불확실 데이터로 결정할 수 있다. 다만 제 2 값이 제 1 값보다 큰 경우 최소 마진이 제 1 값과 제 2 값의 사이에 있을 때 대상 데이터에 대해서 라벨링 요청을 할지 언라벨 상태로 능동 학습을 수행할지 불명확할 수 있다. 일 실시 예에 따른 디바이스(100)는 최소 마진이 제 1 값과 제 2 값의 사이에 있을 때 추가적인 결정 방식을 이용하여 대상 데이터를 불확실 데이터 또는 확실 데이터로 결정할 수 있다. 예를 들면, 디바이스(100)는 최소 마진이 제 1 값과 제 2 값의 사이에 있을 때에는 세번째로 큰 확률인 제 3 확률과 제 1 확률 간의 차이 또는 제 3 확률과 제 2 확률간의 차이를 이용해서 대상 데이터를 대상 데이터를 불확실 데이터 또는 확실 데이터로 결정할 수 있다. 일 예로, 최소 마진이 제 1 값과 제 2 값의 사이에 있을 때에는 제 3 확률과 제 2 확률간의 차이가 제 1 값보다 작은 경우에는 대상 데이터를 불확실 데이터로 결정하고, 제 1 값보다 큰 경우에는 대상 데이터를 확실 데이터로 결정할 수 있다.According to one embodiment, the case where the second value is greater than the first value is described as follows. Since the second value is greater than the first value, the target data is considered certain data when the difference between the first probability and the second probability is sufficiently large (when the difference between the first probability and the second probability is greater than the second value) It can be determined, and when the difference between the first probability and the second probability is sufficiently small (when the difference between the first probability and the second probability is smaller than the first value), the target data can be determined as uncertain data. However, when the second value is greater than the first value and the minimum margin is between the first value and the second value, it may be unclear whether to request labeling for the target data or to perform active learning in an unlabeled state. The device 100 according to one embodiment may determine the target data as uncertain data or certain data using an additional decision method when the minimum margin is between the first value and the second value. For example, when the minimum margin is between the first value and the second value, the device 100 uses the difference between the third probability, which is the third largest probability, and the first probability, or the difference between the third probability and the second probability. Thus, the target data can be determined as uncertain data or certain data. For example, when the minimum margin is between the first value and the second value, if the difference between the third probability and the second probability is less than the first value, the target data is determined as uncertain data, and if it is greater than the first value, the target data is determined as uncertain data. In this case, the target data can be determined as certain data.

일 실시 예에 따라 제 2 값이 제 1 값과 같은 경우에 대해 설명하면 다음과 같다. 제 2 값이 제 1 값과 같기 때문에, 제 1 확률과 제 2 확률의 차이가 제 1 값이라는 기설정된 값보다 큰 경우에는 대상 데이터를 확실 데이터로 결정하고, 작거나 같은 경우에는 대상 데이터를 불확실 데이터로 결정할 수 있다. 제 1 값과 제 2 값이 같기 때문에 최소 마진이 제 1 값과 제 2 값의 사이에 있는 경우는 없다.According to one embodiment, a case where the second value is equal to the first value is described as follows. Since the second value is the same as the first value, if the difference between the first probability and the second probability is greater than the preset value of the first value, the target data is determined as certain data, and if it is smaller than or equal to the difference, the target data is determined as uncertain data. You can decide with data. Since the first and second values are the same, there is no case where the minimum margin is between the first and second values.

단계 S350을 참조하면, 디바이스(100)는 대상 데이터가 불확실 데이터인 경우, 대상 데이터에 대한 라벨링을 요청함으로써 능동 학습을 수행할 수 있다.Referring to step S350, when the target data is uncertain data, the device 100 may perform active learning by requesting labeling for the target data.

단계 S340에 따라 대상 데이터가 불확실 데이터라고 결정된 경우, 디바이스(100)는 대상 데이터에 대한 라벨링을 요청하고, 라벨링 요청에 대응한 응답을 회신하여 대상 데이터에 라벨링을 수행하고, 라벨링 수행에 기초하여 능동 학습을 수행할 수 있다.If it is determined that the target data is uncertain data in step S340, the device 100 requests labeling for the target data, returns a response corresponding to the labeling request, performs labeling on the target data, and performs active labeling based on the labeling. Learning can be done.

라벨링은 대상 데이터의 특성을 응답에 기초하여 결정하는 일련의 과정을 의미할 수 있다. 예를 들면, 라벨링을 통해 디바이스(100)는 대상 데이터인 정지 화면에 포함되는 객체가 제 1 클래스에 대응되는 객체인 그래스퍼인 것으로 결정할 수 있다.Labeling may refer to a series of processes that determine the characteristics of target data based on the response. For example, through labeling, the device 100 may determine that an object included in a still screen that is target data is a grasper, which is an object corresponding to the first class.

단계 S340에 따라 대상 데이터가 확실 데이터라고 결정된 경우, 디바이스(100)는 대상 데이터가 언라벨된 상태로 능동 학습에 대상 데이터를 이용할 수 있다.If the target data is determined to be certain data in step S340, the device 100 may use the target data for active learning in an unlabeled state.

추가적인 실시 예에 따를 때, 일 실시 예에 따른 디바이스(100)는 제 1 확률과 제 2 확률 뿐 아니라 세 번째로 큰 확률인 제 3 확률 등을 추가적으로 이용해서 대상 데이터를 불확실 데이터와 확실 데이터 중 어느 하나로 결정할 수 있다. According to an additional embodiment, the device 100 according to one embodiment uses not only the first probability and the second probability, but also the third probability, which is the third largest probability, to select the target data as either uncertain data or certain data. You can decide on one thing.

예를 들면, 디바이스(100)는 제 1 클래스 내지 제 9 클래스가 있는 경우, 제 1 확률 내지 제 9 확률의 평균 확률과 제 1 확률간의 차이가 기설정값 이상이고, 최소 마진이 제 2 값보다 큰 2가지 조건을 모두 만족하는 경우 대상 데이터를 확실 데이터로 결정할 수 있다.For example, when there are first to ninth classes, the device 100 determines that the difference between the average probability of the first to ninth probabilities and the first probability is greater than or equal to a preset value, and the minimum margin is greater than the second value. If both major conditions are satisfied, the target data can be determined as certain data.

다른 예로, 디바이스(100)는 제 1 클래스 내지 제 9 클래스가 있는 경우, 제 1 확률 내지 제 9 확률의 평균 확률과 제 1 확률간의 차이가 기설정값 미만이거나 최소 마진이 제 1 값보다 작은 2가지 조건 중 어느 하나를 만족하는 경우 대상 데이터를 불확실 데이터로 결정할 수 있다.As another example, if there are first to ninth classes, the device 100 may set the difference between the average probability of the first to ninth probabilities and the first probability to be less than a preset value or the minimum margin to be less than the first value. If any one of the following conditions is satisfied, the target data can be determined as uncertain data.

다른 예로, 디바이스(100)는 제 1 클래스 내지 제 9 클래스가 있는 경우, 제 1 확률을 제외한 제외한 제 2 확률 내지 제 9 확률의 표준 편차가 기설정값 이상인 조건을 추가적으로 이용해서 대상 데이터를 불확실 데이터와 확실 데이터 중 어느 하나로 결정할 수 있다. 일 예로, 제 2 확률 내지 제 9 확률의 표준 편차가 기설정값 이상인 경우 대상 데이터를 불확실 데이터로 결정하고, 기설정값 미만인 경우 대상 데이터를 확실 데이터로 결정할 수 있다.As another example, when there are first to ninth classes, the device 100 converts the target data into uncertain data by additionally using the condition that the standard deviation of the second to ninth probabilities excluding the first probability is greater than or equal to a preset value. It can be decided with either or certain data. For example, if the standard deviation of the second to ninth probabilities is greater than or equal to a preset value, the target data may be determined as uncertain data, and if it is less than the preset value, the target data may be determined as certain data.

일 실시 예에 따른 디바이스(100)는 최소 마진의 크기, 평균 확률과 제 1 확률간의 차이, 제 1 확률을 제외한 나머지 확률에 대한 표준 편차, 제 2 확률과 제 3 확률 간의 차이, 제 1 확률과 제 3 확률 간의 차이에 기초하여 대상 데이터를 불확실 데이터와 확실 데이터 중 어느 하나로 결정할 수 있다. 최소 마진이 큰 경우 제 1 확률이 제 2 확률보다 유의미하게 커진다는 점에서, 최소 마진에는 가장 큰 가중치가 부여될 수 있다. 또한, 평균 확률과 제 1 확률간의 차이가 충분히 클 경우 제 1 확률이 다른 확률들과 명확히 구별된다고 판단할 수 있기 때문에 2번째로 큰 가중치가 부여될 수 있다. 또한, 제 1 확률을 제외한 나머지 확률에 대한 표준 편차가 작을 경우 제 1 확률을 제외한 나머지 확률에 대한 표준 편차가 큰 경우보다 편차 없이 확률이 도출된 것으로 볼 수 있기 때문에, 제 1 확률을 제외한 나머지 확률에 대한 표준 편차가 충분히 작을 경우 디바이스(100)는 대상 데이터를 확실 데이터로 결정할 수 있다. 또한, 제 2 확률과 제 3 확률 간의 차이 또는 제 1 확률과 제 3 확률 간의 차이가 충분히 큰 경우 디바이스(100)는 대상 데이터를 확실 데이터로 결정할 수 있다. 따라서, 일 실시 예에 따른 디바이스(100)는 최소 마진의 크기, 평균 확률과 제 1 확률간의 차이, 제 1 확률을 제외한 나머지 확률에 대한 표준 편차, 제 2 확률과 제 3 확률 간의 차이, 제 1 확률과 제 3 확률 간의 차이의 순서로 낮아지도록 부여되는 가중치에 기초하여 대상 데이터를 불확실 데이터와 확실 데이터 중 어느 하나로 결정할 수 있다. 구체적으로 디바이스(100)는 최소 마진의 크기가 클수록, 평균 확률과 제 1 확률간의 차이가 클수록, 제 1 확률을 제외한 나머지 확률에 대한 표준 편차가 작을수록, 제 2 확률과 제 3 확률 간의 차이가 클수록, 제 1 확률과 제 3 확률 간의 차이가 클수록 대상 데이터를 확실 데이터로 결정할 수 있다.The device 100 according to an embodiment includes the size of the minimum margin, the difference between the average probability and the first probability, the standard deviation for the remaining probabilities excluding the first probability, the difference between the second probability and the third probability, the first probability and Based on the difference between the third probabilities, the target data can be determined as either uncertain data or certain data. When the minimum margin is large, the greatest weight may be assigned to the minimum margin in that the first probability is significantly greater than the second probability. Additionally, if the difference between the average probability and the first probability is sufficiently large, the first probability can be determined to be clearly distinguished from other probabilities, so the second largest weight may be assigned. In addition, when the standard deviation for the remaining probabilities excluding the first probability is small, the probability can be viewed as derived without deviation compared to when the standard deviation for the remaining probabilities excluding the first probability is large, so the remaining probabilities excluding the first probability If the standard deviation for is sufficiently small, the device 100 can determine the target data as certain data. Additionally, if the difference between the second probability and the third probability or the difference between the first probability and the third probability is sufficiently large, the device 100 may determine the target data to be certain data. Therefore, the device 100 according to one embodiment may include the size of the minimum margin, the difference between the average probability and the first probability, the standard deviation for the remaining probabilities excluding the first probability, the difference between the second probability and the third probability, and the first probability. The target data can be determined to be either uncertain data or certain data based on the weight assigned to be lowered in the order of the difference between the probability and the third probability. Specifically, the device 100 determines that the larger the size of the minimum margin, the larger the difference between the average probability and the first probability, the smaller the standard deviation for the remaining probabilities excluding the first probability, and the smaller the difference between the second probability and the third probability. The larger the difference between the first probability and the third probability, the more likely it is that the target data can be determined as certain data.

도 4는 일 실시 예에 따른 디바이스(100)가 불확실 데이터를 결정하는 일 예를 설명하기 위한 도면이다.FIG. 4 is a diagram illustrating an example in which the device 100 determines uncertain data according to an embodiment.

도 4를 참조하여, 제 1 확률(410), 제 2 확률(420), 제 1 값(440), 최소 마진(430)의 일 실시 예를 확인할 수 있다. Referring to FIG. 4, an example of the first probability 410, the second probability 420, the first value 440, and the minimum margin 430 can be confirmed.

일 실시 예에 따른 디바이스(100)는 최소 마진(430)이 제 1 값(440)보다 작은 경우 대상 데이터를 불확실 데이터로 결정할 수 있다. 최소 마진이 제 1 값(440)보다 작은 경우는 제 1 확률(410)과 제 2 확률(420)의 차이가 크지 않은 경우로 볼 수 있기 때문에 제 1 확률(410)에 대응하는 클래스(제 5 클래스)와 제 2 확률(420)에 대응하는 클래스(제 2 클래스) 중 어떤 클래스에 대한 객체가 대상 데이터에 포함된 것인지 결정하기 어려울 수 있다. 따라서 디바이스(100)는 최소 마진(430)이 제 1 값(440)보다 작은 경우 대상 데이터를 불확실 데이터로 결정함으로써 라벨링을 요청할 수 있다. The device 100 according to one embodiment may determine the target data to be uncertain data when the minimum margin 430 is smaller than the first value 440. If the minimum margin is less than the first value (440), it can be seen as a case where the difference between the first probability (410) and the second probability (420) is not large, so the class (5th) corresponding to the first probability (410) It may be difficult to determine which class among the class) and the class corresponding to the second probability 420 (the second class) is included in the target data. Accordingly, if the minimum margin 430 is smaller than the first value 440, the device 100 may request labeling by determining the target data as uncertain data.

도 5는 일 실시 예에 따른 디바이스(100)가 확실 데이터를 결정하는 일 예를 설명하기 위한 도면이다.FIG. 5 is a diagram illustrating an example in which the device 100 determines reliable data according to an embodiment.

도 5를 참조하여, 제 1 확률(510), 제 2 확률(520), 제 2 값(540), 최소 마진(530)의 일 실시 예를 확인할 수 있다. Referring to FIG. 5 , an example of the first probability 510, the second probability 520, the second value 540, and the minimum margin 530 can be confirmed.

일 실시 예에 따른 디바이스(100)는 최소 마진(530)이 제 2 값(540)보다 큰 경우 대상 데이터를 확실 데이터로 결정할 수 있다. 최소 마진(530)이 제 2 값(540)보다 큰 경우는 제 1 확률(510)과 제 2 확률(520)의 차이가 큰 경우로 볼 수 있기 때문에 제 2 확률(520)에 대응하는 클래스가 아닌 제 1 확률(510)에 대응하는 클래스에 대한 객체가 대상 데이터에 포함된 것으로 결정하는 것이 합리적일 수 있다. 따라서 디바이스(100)는 최소 마진(530)이 제 2 값(540)보다 큰 경우 대상 데이터를 확실 데이터로 결정함으로써 라벨링 없이 능동 학습을 수행할 수 있다. The device 100 according to one embodiment may determine the target data to be certain data when the minimum margin 530 is greater than the second value 540. If the minimum margin 530 is greater than the second value 540, the difference between the first probability 510 and the second probability 520 can be considered large, so the class corresponding to the second probability 520 is It may be reasonable to determine that the object for the class corresponding to the first probability 510 is included in the target data. Accordingly, the device 100 can perform active learning without labeling by determining the target data as certain data when the minimum margin 530 is greater than the second value 540.

도 6은 일 실시 예에 따른 디바이스(100)가 라벨링을 수행하는 일 예를 설명하기 위한 도면이다.FIG. 6 is a diagram illustrating an example in which the device 100 performs labeling according to an embodiment.

일 실시 예에 따른 디바이스(100)는 대상 데이터가 불확실 데이터로 결정된 경우 대상 데이터에 대한 라벨링을 요청할 수 있다. 도 6을 참조하면 라벨링이 요청된 대상 데이터는 정지 영상일 수 있다. 정지 영상 내에 어떤 객체가 포함되는지 사용자 입력에 기초하여 라벨링이 될 수 있다. 예를 들면, 9개의 옵션(610) 중 어느 하나에 대한 사용자 입력을 획득함으로써, 선택 객체(620)로 라벨링이 수행될 수 있다. 또한, 정지 영상이 동영상에서 위치하는 시간상 위치가 재생바(640)을 통해서 확인될 수 있다. 또한, 라벨링되기 전에 디바이스(100)가 대상 데이터에 대해서 획득한 잠재 벡터가 소정의 그래픽(630) 형태로 디스플레이될 수 있다.The device 100 according to an embodiment may request labeling for the target data when the target data is determined to be uncertain data. Referring to FIG. 6, the target data for which labeling is requested may be a still image. Which objects are included in a still image can be labeled based on user input. For example, labeling can be performed with a selection object 620 by obtaining user input for one of nine options 610 . Additionally, the temporal location of the still image in the video can be confirmed through the play bar 640. Additionally, the latent vector acquired by the device 100 for the target data before labeling may be displayed in the form of a predetermined graphic 630.

도 7은 일 실시 예에 따른 디바이스(100)가 라벨링에 따른 파일을 획득하는 일 예를 설명하기 위한 도면이다.FIG. 7 is a diagram illustrating an example in which the device 100 acquires a file according to labeling, according to an embodiment.

대상 데이터(710)가 불확실 데이터로 결정된 경우, 라벨링 요청 화면(720)을 통해 대상 데이터(710)에 대해서 라벨링이 수행될 수 있다. 또한 라벨링이 수행되면, 대상 데이터(710)에 대한 데이터 변환 파일(730) 또는 라벨링된 내용에 대해서 라벨링 파일(740)이 획득될 수 있다. 다만 도 7은 일 실시 예로서, 데이터 편환 파일(730)과 라벨링 파일(740)은 하나의 파일로 병합하여 제공될 수도 있다.If the target data 710 is determined to be uncertain data, labeling may be performed on the target data 710 through the labeling request screen 720. Additionally, when labeling is performed, a data conversion file 730 for the target data 710 or a labeling file 740 for the labeled content may be obtained. However, Figure 7 is an example, and the data conversion file 730 and the labeling file 740 may be provided by merging them into one file.

본 개시의 다양한 실시 예들은 기기(machine)(예를 들어, 디스플레이 장치 또는 컴퓨터)에 의해 읽을 수 있는 저장 매체(storage medium)(예를 들어, 메모리)에 저장된 하나 이상의 인스트럭션들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예를 들어, 프로세서(220))는, 저장 매체로부터 저장된 하나 이상의 인스트럭션들 중 적어도 하나의 인스트럭션을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 인스트럭션에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 인스트럭션들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present disclosure are implemented as software including one or more instructions stored in a storage medium (e.g., memory) that can be read by a machine (e.g., a display device or computer). It can be. For example, the processor of the device (eg, processor 220) may call at least one instruction among one or more instructions stored from a storage medium and execute it. This allows the device to be operated to perform at least one function according to the at least one instruction called. The one or more instructions may include code generated by a compiler or code executable by an interpreter. A storage medium that can be read by a device may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is stored semi-permanently in the storage medium. There is no distinction between temporary storage cases.

일 실시 예에 따르면, 본 개시에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, methods according to various embodiments disclosed in the present disclosure may be included and provided in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. The computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or via an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online. In the case of online distribution, at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.

본 발명에 대하여 예시한 도면을 참조로 하여 설명하였으나 개시된 실시 예와 도면에 의해 한정되는 것은 아니며 본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 실시 예를 설명하며 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측이 가능한 효과 또한 인정될 수 있다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Although the present invention has been described with reference to the illustrative drawings, it is not limited to the disclosed embodiments and drawings, and a person skilled in the art related to the present embodiments may make modifications without departing from the essential characteristics of the above-mentioned description. You will be able to understand that it can be implemented in a certain form. Therefore, the disclosed methods should be considered from an explanatory rather than a restrictive perspective. Even if the operational effects according to the configuration of the present invention are not explicitly described and explained in the description of the embodiment, the effects that can be predicted by the configuration may also be recognized. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present invention.

100: 디바이스 190: 서버
210: 수신부 220: 프로세서
230: 출력부 240: 메모리
410, 510: 제 1 확률 420, 520: 제 2 확률
430, 530: 최소 마진
440: 제 1 값 540: 제 2 값
610: 9개의 옵션 620: 선택 객체
640: 재생바 630: 소정의 그래픽
710: 대상 데이터 720: 라벨링 요청 화면
730: 데이터 편환 파일 740: 라벨링 파일100: device 190: server
210: receiving unit 220: processor
230: output unit 240: memory
410, 510: 1st probability 420, 520: 2nd probability
430, 530: Minimum margin
440: first value 540: second value
610: 9 options 620: Select object
640: Play bar 630: Predetermined graphics
710: Target data 720: Labeling request screen
730: Data conversion file 740: Labeling file

Claims

In the active learning method using labeling,
Obtaining target data that is a learning target;
Obtaining a plurality of latent vectors for a plurality of classes by performing inference on the target data;
obtaining a minimum margin representing a difference between a first probability with the highest inference accuracy and a second probability with the second highest inference accuracy for the target data based on the plurality of latent vectors;
determining whether the target data is uncertain data requiring labeling based on the minimum margin; and
When the target data is the uncertain data, performing active learning by requesting labeling for the target data.

According to claim 1,
The step of obtaining the minimum margin is
Obtaining a probability that the target data corresponds to each of the plurality of classes;
determining the highest probability among the obtained plurality of probabilities as the first probability; and
determining a second highest probability among the obtained plurality of probabilities as the second probability; Method, including.

According to claim 2,
The step of obtaining the probability that the target data corresponds to
A method of determining the probability that an object corresponding to each of the plurality of classes is included in an image represented by the target data.

According to claim 3,
The target data may include data on target videos related to medical practice,
The method of claim 1, wherein the object includes at least one of an instrument and a lesion related to the medical practice.

According to claim 1,
The step of determining whether the data is uncertain is
A method for determining the target data as the uncertain data when the minimum margin is less than a first value.

According to claim 5,
Further comprising: determining the target data as certain data when the minimum margin is greater than a second value,
wherein the second value is greater than or equal to the first value.

According to claim 6,
The method wherein the robust data is used for the active learning in an unlabeled state.

In an active learning device using labeling,
A receiving unit that acquires target data to be learned; and
Obtaining a plurality of latent vectors for a plurality of classes by performing inference on the target data,
Obtaining a minimum margin representing the difference between a first probability with the highest inference accuracy and a second probability with the second highest inference accuracy for the target data based on the plurality of latent vectors,
Based on the minimum margin, determine whether the target data is uncertain data requiring labeling,
A device comprising; a processor that performs active learning by requesting labeling for the target data when the target data is the uncertain data.

According to claim 8,
The processor is
Obtaining a probability that the target data corresponds to each of the plurality of classes,
Determining the highest probability among the obtained plurality of probabilities as the first probability,
A device that determines the second highest probability among the obtained plurality of probabilities as the second probability.

According to clause 9,
The processor is
A device that determines the probability that an object corresponding to each of the plurality of classes is included in an image represented by the target data.

According to claim 10,
The target data may include data on target videos related to medical practice,
The device, wherein the object includes at least one of an instrument and a lesion related to the medical practice.

According to claim 8,
The processor is
A device that determines the target data as the uncertain data when the minimum margin is less than a first value.

According to claim 12,
The processor is
If the minimum margin is greater than the second value, determine the target data as certain data,
The second value is greater than or equal to the first value.

A non-transitory computer-readable recording medium on which a program for implementing the method of any one of claims 1 to 7 is recorded.