KR20190124559A - Computing device and artificial intelligence based image processing service system using the same - Google Patents

Computing device and artificial intelligence based image processing service system using the same Download PDF

Info

Publication number
KR20190124559A
KR20190124559A KR1020180048683A KR20180048683A KR20190124559A KR 20190124559 A KR20190124559 A KR 20190124559A KR 1020180048683 A KR1020180048683 A KR 1020180048683A KR 20180048683 A KR20180048683 A KR 20180048683A KR 20190124559 A KR20190124559 A KR 20190124559A
Authority
KR
South Korea
Prior art keywords
content
verification
preliminary
labeled
label
Prior art date
Application number
KR1020180048683A
Other languages
Korean (ko)
Other versions
KR102117543B1 (en
Inventor
김현수
이종혁
Original Assignee
주식회사 슈퍼브에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 슈퍼브에이아이 filed Critical 주식회사 슈퍼브에이아이
Priority to KR1020180048683A priority Critical patent/KR102117543B1/en
Publication of KR20190124559A publication Critical patent/KR20190124559A/en
Application granted granted Critical
Publication of KR102117543B1 publication Critical patent/KR102117543B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Disclosed are a computing device and an artificial intelligence-based image processing service system having the same. According to one embodiment of the present invention, the disclosed classification service system comprises: a preliminary label server performing preliminary labeling by performing at least one of detection of an object included in content, determining type of the object included in the content, and displaying a region of the object included in the content based on a machine learning technique; a classification management server distributing the preliminary labeled content according to one or more of the type of the object in the content and the existence of an undetected object in the content; and a plurality of verification terminals receiving the preliminary labeled content according to the distribution and verifying the preliminary labeled content according to an input of a verifier to perform the final labeling.

Description

컴퓨팅 장치 및 이를 이용한 인공 지능 기반 영상 처리 서비스 시스템{COMPUTING DEVICE AND ARTIFICIAL INTELLIGENCE BASED IMAGE PROCESSING SERVICE SYSTEM USING THE SAME}Computing DEVICE AND ARTIFICIAL INTELLIGENCE BASED IMAGE PROCESSING SERVICE SYSTEM USING THE SAME}

본 발명의 실시예는 영상 처리 서비스 기술과 관련된다. Embodiments of the present invention relate to image processing service technology.

최근, 머신 러닝 기법의 발전으로 인공지능 알고리즘의 성능이 향상되고 있어 기존의 빅 데이터 분석 및 데이터 처리가 자동화 되고 있는 추세이다. 그러나, 이러한 인공 지능 기반의 시스템 구축에는 수작업으로 가공된 방대한 양의 가공 데이터가 필요하다. 이 경우, 많은 시간 및 비용이 소모되고, 반복 작업에 의한 낮은 정확도 등의 문제가 있다.Recently, the performance of artificial intelligence algorithms is improving due to the development of machine learning techniques, and the existing big data analysis and data processing are being automated. However, building such an artificial intelligence-based system requires a large amount of processing data processed by hand. In this case, a lot of time and cost are consumed, and there are problems such as low accuracy due to repetitive work.

한국공개특허공보 제10-2007-0039795호(2007.04.13)Korean Laid-Open Patent Publication No. 10-2007-0039795 (2007.04.13)

본 발명의 실시예는 새로운 영상 처리 서비스 기술을 제공하기 위한 것이다. An embodiment of the present invention is to provide a new image processing service technology.

개시되는 일 실시예에 따른 영상 처리 서비스 시스템은, 기계 학습(Machine Learning) 기법을 기반으로 콘텐츠 내에 포함된 객체의 검출, 상기 콘텐츠 내에 포함된 객체의 종류 판별, 및 상기 콘텐츠 내에 포함된 객체의 영역 표시 중 하나 이상을 수행하여 예비 라벨링을 수행하는 예비 라벨 서버; 상기 예비 라벨링 된 콘텐츠를 상기 콘텐츠 내 객체 종류 및 상기 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 분배 작업을 수행하는 분류 관리 서버; 및 상기 분배 작업에 따라 상기 예비 라벨링 된 콘텐츠를 수신하고, 검증자의 입력에 따라 상기 예비 라벨링 된 콘텐츠를 검증하여 최종 라벨링을 수행하는 복수 개의 검증 단말을 포함한다.An image processing service system according to an exemplary embodiment of the present disclosure may include detecting an object included in content, determining a type of an object included in the content, and an area of an object included in the content based on a machine learning technique. A preliminary label server performing preliminary labeling by performing at least one of the indications; A classification management server configured to distribute the pre-labeled content according to at least one of an object type in the content and an existence of an object not detected in the content; And a plurality of verification terminals configured to receive the pre-labeled content according to the distribution operation, verify the pre-labeled content according to a validator's input, and perform final labeling.

상기 예비 라벨 서버는, 제1 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체를 검출하여 경계 박스를 생성하는 객체 검출 모듈; 및 상기 경계 박스에 기반하여 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하는 예비 라벨링 모듈을 포함하고, 상기 분류 관리 서버는, 상기 복수 개의 검증 단말로부터 최종 라벨링 된 콘텐츠를 각각 수신하고, 수신한 상기 최종 라벨링 된 콘텐츠를 상기 예비 라벨 서버로 전송하며, 상기 객체 검출 모듈은, 상기 최종 라벨링 된 콘텐츠 내 각 객체의 경계 박스에 대한 정보를 상기 제1 기계 학습 엔진의 추가 학습 데이터로 사용할 수 있다. The preliminary label server may include: an object detection module configured to detect an object included in the content based on a first machine learning engine and generate a bounding box; And a preliminary labeling module for generating a preliminary label for the object in the content based on the bounding box, wherein the classification management server receives the final labeled content from the plurality of verification terminals, respectively, and receives the final label. The labeled content is transmitted to the preliminary label server, and the object detecting module may use the information about the bounding box of each object in the final labeled content as additional learning data of the first machine learning engine.

상기 예비 라벨 서버는, 제2 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체의 종류를 판별하는 객체 종류 판별 모듈; 및 상기 판별된 객체의 종류에 기반하여 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하는 예비 라벨링 모듈을 포함하고, 상기 분류 관리 서버는, 상기 복수 개의 검증 단말로부터 최종 라벨링 된 콘텐츠를 각각 수신하고, 수신한 상기 최종 라벨링 된 콘텐츠를 상기 예비 라벨 서버로 전송하며, 상기 객체 종류 판별 모듈은, 상기 최종 라벨링 된 콘텐츠 내 각 객체의 라벨 정보를 상기 제2 기계 학습 엔진의 추가 학습 데이터로 사용할 수 있다.The preliminary label server may include: an object type determination module configured to determine a type of an object included in the content based on a second machine learning engine; And a preliminary labeling module configured to generate a preliminary label for the object in the content based on the type of the determined object, wherein the classification management server receives the final labeled content from the plurality of verification terminals, respectively. The final labeled content is transmitted to the preliminary label server, and the object type determination module may use label information of each object in the final labeled content as additional learning data of the second machine learning engine.

상기 예비 라벨 서버는, 제3 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체가 차지하는 영역을 표시하는 객체 영역 표시 모듈; 상기 객체가 차지하는 영역에 대한 정보를 기반으로 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하는 예비 라벨링 모듈을 포함하고, 상기 분류 관리 서버는, 상기 복수 개의 검증 단말로부터 최종 라벨링 된 콘텐츠를 각각 수신하고, 수신한 상기 최종 라벨링 된 콘텐츠를 상기 예비 라벨 서버로 전송하며, 상기 객체 영역 표시 모듈은, 상기 최종 라벨링 된 콘텐츠 내 각 객체가 차지하는 영역 정보를 상기 제3 기계 학습 엔진의 추가 학습 데이터로 사용할 수 있다.The preliminary label server may include: an object area display module configured to display an area occupied by an object included in the content based on a third machine learning engine; And a preliminary labeling module configured to generate a preliminary label for the object in the content based on the information on the area occupied by the object, wherein the classification management server receives the final labeled content from the plurality of verification terminals, respectively. The received final labeled content is transmitted to the preliminary label server, and the object area display module may use area information occupied by each object in the final labeled content as additional learning data of the third machine learning engine. .

상기 분류 관리 서버는, 상기 콘텐츠 내 객체의 예비 라벨을 확인하고, 상기 복수 개의 검증 단말들 중 상기 확인된 예비 라벨과 대응되는 객체 종류를 검증하는 검증 단말로 해당 콘텐츠를 분배하는 작업 분배 모듈을 포함할 수 있다.The classification management server includes a job distribution module for identifying a preliminary label of an object in the content and distributing the corresponding content to a verification terminal verifying an object type corresponding to the checked preliminary label among the plurality of verification terminals. can do.

상기 예비 라벨 서버는, 상기 콘텐츠 내에 포함된 객체를 검출하여 경계 박스를 생성하고, 상기 작업 분배 모듈은, 상기 콘텐츠 내 복수 개의 객체가 존재하는 경우, 상기 복수 개의 객체들 중 상기 콘텐츠가 분배되는 검증 단말과 관련되지 않은 객체에 대해 상기 경계 박스 및 상기 예비 라벨을 삭제하고 상기 검증 단말로 전송할 수 있다.The preliminary label server detects an object included in the content to generate a bounding box, and the job distribution module verifies that the content is distributed among the plurality of objects when a plurality of objects exist in the content. For the object not associated with the terminal, the bounding box and the preliminary label may be deleted and transmitted to the verification terminal.

상기 분류 관리 서버는, 상기 예비 라벨링 된 콘텐츠 대비 기 설정된 비율로 최종 라벨링 된 콘텐츠를 상기 복수 개의 검증 단말로 각각 전송하고, 상기 최종 라벨링 된 콘텐츠에 대한 각 검증 단말의 검증 결과를 기반으로 각 검증 단말의 신뢰도를 산출할 수 있다.The classification management server transmits the final labeled content to the plurality of verification terminals, respectively, at a preset ratio to the pre-labeled content, and based on the verification result of each verification terminal for the final labeled content, each verification terminal. The reliability of can be calculated.

상기 분류 관리 서버는, 상기 최종 라벨링 된 콘텐츠 내 각 객체의 라벨과 상기 검증 단말이 상기 최종 라벨링 된 콘텐츠 내 각 객체에 대해 부여한 라벨의 일치 여부에 따라 해당 검증 단말의 신뢰도를 조정할 수 있다.The classification management server may adjust the reliability of the verification terminal according to whether or not the label of each object in the final labeled content and the label given to each object in the final labeled content by the verification terminal.

상기 분류 관리 서버는, 상기 각 검증 단말의 신뢰도에 따라 상기 예비 라벨링 된 콘텐츠의 분배를 재조정할 수 있다.The classification management server may readjust the distribution of the pre-labeled content according to the reliability of each verification terminal.

상기 분류 관리 서버는, 상기 검증 단말로부터 상기 콘텐츠 내 소정 객체의 클릭된 위치 정보를 수신하는 경우, 상기 콘텐츠 내 상기 객체의 클릭된 위치 정보를 기반으로 상기 객체의 경계 박스에 대한 정보, 상기 객체의 종류에 대한 정보, 및 상기 객체가 콘텐츠 내 차지하는 영역에 대한 정보 중 하나 이상을 생성할 수 있다.When the classification management server receives clicked position information of a predetermined object in the content from the verification terminal, the information about the bounding box of the object based on the clicked position information of the object in the content, One or more of information about a kind and information on an area occupied by the object in the content may be generated.

상기 분류 관리 서버는, 상기 콘텐츠 내 예비 라벨링 된 객체에 대해 해당 객체가 분류될 확률이 기 설정된 임계 확률 이상인 분류 태그를 추출하고, 추출한 분류 태그를 상기 검증 단말로 전송할 수 있다.The classification management server may extract a classification tag having a probability of classifying the object preliminarily labeled in the content more than a predetermined threshold probability, and transmit the extracted classification tag to the verification terminal.

개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 제1 기계 학습 엔진을 기반으로 콘텐츠 내에 포함된 객체를 검출하여 경계 박스를 생성하기 위한 명령; 제2 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체의 종류를 판별하기 위한 명령; 제3 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체가 차지하는 영역을 표시하기 위한 명령; 상기 콘텐츠 내에 포함된 객체의 경계 박스에 대한 정보, 상기 콘텐츠 내에 포함된 객체의 종류에 대한 정보, 및 상기 콘텐츠 내의 객체가 차지하는 영역에 대한 정보 중 하나 이상에 기반하여 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하기 위한 명령; 상기 객체에 대해 예비 라벨이 생성된 콘텐츠를 분류 관리 서버로 전송하기 위한 명령; 상기 분류 관리 서버로부터 최종 라벨링 된 콘텐츠를 수신하기 위한 명령; 및 상기 최종 라벨링 된 콘텐츠를 기반으로 상기 제1 기계 학습 엔진, 상기 제2 기계 학습 엔진, 및 상기 제3 기계 학습 엔진 중 하나 이상을 추가 학습시키기 위한 명령을 포함한다According to one embodiment, a computing device includes: one or more processors; Memory; And one or more programs, wherein the one or more programs are stored in the memory and configured to be executed by the one or more processors, wherein the one or more programs are objects contained within content based on a first machine learning engine. Detecting and generating a bounding box; Instructions for determining a type of object included in the content based on a second machine learning engine; Instructions for displaying a region occupied by an object included in the content based on a third machine learning engine; A preliminary label for the object in the content based on one or more of information on a bounding box of an object included in the content, information on a type of object included in the content, and information on an area occupied by an object in the content; Instructions for generating a message; Transmitting a content for which a preliminary label has been generated for the object to a classification management server; Instructions for receiving a final labeled content from the classification management server; And instructions for further learning one or more of the first machine learning engine, the second machine learning engine, and the third machine learning engine based on the last labeled content.

개시되는 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 예비 라벨 서버로부터 하나 이상의 객체가 포함되고 상기 객체에 대해 예비 라벨이 생성된 콘텐츠를 수신하기 위한 명령; 및 상기 콘텐츠 내 객체의 종류 및 상기 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 상기 콘텐츠를 복수 개의 검증 단말로 분배하기 위한 명령을 포함한다.According to another embodiment, a computing device includes: one or more processors; Memory; And one or more programs, wherein the one or more programs are stored in the memory and configured to be executed by the one or more processors, wherein the one or more programs include one or more objects from a preliminary label server and Instructions for receiving content for which a preliminary label has been generated; And instructions for distributing the content to a plurality of verification terminals according to one or more of a type of an object in the content and an existence of an object not detected in the content.

상기 콘텐츠를 복수 개의 검증 단말로 분배하기 위한 명령은, 상기 콘텐츠 내 객체의 예비 라벨을 확인하고, 상기 복수 개의 검증 단말들 중 상기 확인된 예비 라벨과 대응되는 객체 종류를 검증하는 검증 단말로 해당 콘텐츠를 분배하기 위한 명령을 포함할 수 있다.The command for distributing the contents to a plurality of verification terminals may include verifying a preliminary label of an object in the content and verifying the preliminary label among the plurality of verification terminals and verifying an object type corresponding to the checked preliminary label. May include instructions for distributing.

상기 검출된 객체에 대해 예비 라벨이 생성된 콘텐츠는, 상기 검출된 객체에 대해 경계 박스가 생성되어 있고, 상기 콘텐츠를 분배하기 위한 명령은, 상기 콘텐츠 내 복수 개의 객체가 존재하는 경우, 상기 복수 개의 객체들 중 상기 콘텐츠가 분배되는 검증 단말과 관련되지 않은 객체에 대해 상기 경계 박스 및 상기 예비 라벨을 삭제하기 위한 명령을 포함할 수 있다.When the preliminary label is generated for the detected object, a bounding box is generated for the detected object, and the command for distributing the content includes the plurality of objects when the plurality of objects exist in the content. And an instruction for deleting the bounding box and the preliminary label for an object that is not associated with the verification terminal to which the content is distributed among the objects.

상기 하나 이상의 프로그램들은, 상기 예비 라벨이 생성된 콘텐츠 대비 기 설정된 비율로 최종 라벨링 된 콘텐츠를 상기 복수 개의 검증 단말로 각각 전송하기 위한 명령; 및 상기 최종 라벨링 된 콘텐츠에 대한 각 검증 단말의 검증 결과를 기반으로 각 검증 단말의 신뢰도를 산출하기 위한 명령을 더 포함할 수 있다.The one or more programs may include instructions for transmitting the last labeled content to the plurality of verification terminals, respectively, at a predetermined ratio relative to the content for which the preliminary label is generated; And calculating the reliability of each verification terminal based on the verification result of each verification terminal for the last labeled content.

상기 신뢰도를 산출하기 위한 명령은, 상기 최종 라벨링 된 콘텐츠 내 각 객체의 라벨과 상기 검증 단말이 상기 최종 라벨링 된 콘텐츠 내 각 객체에 대해 부여한 라벨의 일치 여부에 따라 해당 검증 단말의 신뢰도를 조정하기 위한 명령을 포함할 수 있다.The command for calculating the reliability may include adjusting the reliability of the verification terminal according to whether or not the label of each object in the final labeled content and the label given to each object in the final labeled content by the verification terminal match. It can include a command.

상기 하나 이상의 프로그램들은, 상기 각 검증 단말의 신뢰도에 따라 상기 예비 라벨이 생성된 콘텐츠의 분배를 재조정하기 위한 명령을 더 포함할 수 있다.The one or more programs may further include an instruction to readjust the distribution of the content for which the preliminary label is generated according to the reliability of each verification terminal.

상기 하나 이상의 프로그램들은, 상기 검증 단말로부터 상기 콘텐츠 내 소정 객체의 클릭된 위치 정보를 수신하기 위한 명령; 및 상기 콘텐츠 내 상기 객체의 클릭된 위치 정보를 기반으로 상기 객체의 경계 박스에 대한 정보, 상기 객체의 종류에 대한 정보, 및 상기 객체가 콘텐츠 내 차지하는 영역에 대한 정보 중 하나 이상을 생성하기 위한 명령을 더 포함할 수 있다.The one or more programs may include instructions for receiving clicked location information of a predetermined object in the content from the verification terminal; And generating at least one of information on a bounding box of the object, information on a type of the object, and information on a region occupied by the object based on clicked position information of the object in the content. It may further include.

상기 하나 이상의 프로그램들은, 상기 콘텐츠 내 예비 라벨링 된 객체에 대해 해당 객체가 분류될 확률이 기 설정된 임계 확률 이상인 분류 태그를 추출하기 위한 명령; 및 추출한 분류 태그를 상기 검증 단말로 전송하기 위한 명령을 더 포함할 수 있다.The one or more programs may include instructions for extracting a classification tag having a probability that the object is classified for a pre-labeled object in the content more than a predetermined threshold probability; And a command for transmitting the extracted classification tag to the verification terminal.

개시되는 실시예에 의하면, 머신 러닝 기법에 의해 예비 라벨링 된 콘텐츠를 검증자에 의해 검증하고, 최종 라벨링 된 콘텐츠를 머신 러닝의 추가 학습 데이터로 사용함으로써, 머신 러닝 기법에 의한 예비 라벨링 작업의 정확도를 향상시킬 수 있게 되고, 그로 인해 검증자의 검증 작업 양을 줄일 수 있게 된다. 그 결과, 인공 지능 시스템 구축에 필요한 학습용 가공 데이터의 생성에 소모되는 시간 및 비용을 줄일 수 있고, 사람이 작업하는 양을 줄여 정확도를 향상시킬 수 있게 된다.According to the disclosed embodiment, the validity of the preliminary labeling operation by the machine learning technique is verified by verifying the pre-labeled content by the machine learning technique by the verifier and using the final labeled content as additional learning data of the machine learning technique. It can be improved, thereby reducing the verifier's verification work. As a result, it is possible to reduce the time and cost required to generate the processing data for learning required to build the artificial intelligence system, and to improve the accuracy by reducing the amount of human work.

도 1은 개시되는 일 실시예에 따른 영상 처리 서비스 시스템의 구성을 나타낸 도면
도 2는 개시되는 일 실시예에 따른 예비 라벨 서버의 구성을 나타낸 블록도
도 3은 개시되는 일 실시예에 따른 예비 라벨 서버에서 콘텐츠 내 객체를 검출하고 예비 라벨링을 수행하는 상태를 개략적으로 나타낸 도면
도 4는 개시되는 일 실시예에 따른 분류 관리 서버의 구성을 나타낸 블록도
도 5는 개시되는 일 실시예에 따른 검증 도움 모듈에서 콘텐츠 내 객체의 클릭된 위치 정보를 기반으로 해당 객체에 대해 경계 박스를 자동 생성하는 상태를 설명하기 위한 도면
도 6은 개시되는 일 실시예에 따른 검증 단말에서 예비 라벨링 된 객체에 대해 분류 태그가 표시되는 상태를 나타낸 도면
도 7은 개시되는 일 실시예에서 검증되기 전의 콘텐츠와 검증 된 후의 콘텐츠를 비교한 도면
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a diagram illustrating a configuration of an image processing service system according to an exemplary embodiment.
2 is a block diagram illustrating a configuration of a preliminary label server according to an embodiment of the present disclosure.
3 is a diagram schematically illustrating a state in which a preliminary label server detects an object in content and performs preliminary labeling according to an embodiment of the present disclosure;
4 is a block diagram illustrating a configuration of a classification management server according to an embodiment of the present disclosure.
FIG. 5 is a diagram illustrating a state in which a verification help module automatically generates a bounding box for an object based on clicked position information of an object in content according to an embodiment of the present disclosure.
6 is a diagram illustrating a state in which a classification tag is displayed for a pre-labeled object in a verification terminal according to an embodiment of the present disclosure.
FIG. 7 illustrates a comparison of content before verification with content after verification in an embodiment of the disclosure.
8 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to assist in a comprehensive understanding of the methods, devices, and / or systems described herein. However, this is only an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or an operator. Therefore, the definition should be made based on the contents throughout the specification. The terminology used in the description is for the purpose of describing embodiments of the invention only and should not be limiting. Unless expressly used otherwise, the singular forms “a,” “an,” and “the” include plural forms of meaning. In this description, expressions such as "comprises" or "equipment" are intended to indicate certain features, numbers, steps, actions, elements, portions or combinations thereof, and one or more than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, actions, elements, portions or combinations thereof.

이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다. In the following description, the terms "transfer", "communication", "transmit", "receive" and other similar meanings of signals or information are not only meant to directly convey the signal or information from one component to another. It also includes passing through other components. In particular, "transmitting" or "sending" a signal or information to a component indicates the final destination of the signal or information and does not mean a direct destination. The same is true for the "reception" of a signal or information. In addition, in this specification, that two or more pieces of data or information are "related" means that if one data (or information) is obtained, at least a portion of the other data (or information) can be obtained based thereon.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.In addition, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.

도 1은 개시되는 일 실시예에 따른 인공 지능 기반 영상 처리 서비스 시스템의 구성을 나타낸 도면이다. 1 is a diagram illustrating a configuration of an artificial intelligence-based image processing service system according to an exemplary embodiment.

도 1을 참조하면, 영상 처리 서비스 시스템(100)은 클라이언트(102), 예비 라벨 서버(104), 분류 관리 서버(106), 및 검증 단말(108)을 포함할 수 있다. 클라이언트(102), 예비 라벨 서버(104), 분류 관리 서버(106), 및 검증 단말(108)은 각각 통신 네트워크(150)를 통해 상호 통신 가능하게 연결될 수 있다. Referring to FIG. 1, the image processing service system 100 may include a client 102, a preliminary label server 104, a classification management server 106, and a verification terminal 108. The client 102, the preliminary label server 104, the classification management server 106, and the verification terminal 108 may each be communicatively connected via the communication network 150.

몇몇 실시예들에서, 통신 네트워크(150)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.In some embodiments, communication network 150 may include the Internet, one or more local area networks, wire area networks, cellular networks, mobile networks, other types of networks, or such networks. Combinations thereof.

클라이언트(102)는 분류 의뢰 요청을 예비 라벨 서버(104)로 전송할 수 있다. 분류 의뢰 요청에는 분류의 대상이 되는 콘텐츠를 포함할 수 있다. 여기서, 콘텐츠는 이미지, 비디오(동영상) 등을 포함할 수 있다. 이하에서는, 설명의 편의상 콘텐츠가 이미지인 것을 일 예로 설명하기로 한다. The client 102 may send a classification request to the preliminary label server 104. The classification request may include content targeted for classification. Here, the content may include an image, a video (video), and the like. Hereinafter, for convenience of description, it will be described as an example that the content is an image.

예비 라벨 서버(104)는 콘텐츠에 포함되는 객체의 검출, 콘텐츠에 포함되는 객체의 종류 판별, 및 콘텐츠에 포함되는, 객체의 영역 표시 중 하나 이상을 수행하여 예비 라벨을 부여할 수 있다.The preliminary label server 104 may assign the preliminary label by performing one or more of the detection of the object included in the content, the determination of the type of the object included in the content, and the area display of the object included in the content.

도 2는 개시되는 일 실시예에 따른 예비 라벨 서버(104)의 구성을 나타낸 블록도이다. 도 2를 참조하면, 예비 라벨 서버(104)는 객체 검출 모듈(111), 객체 종류 판별 모듈(113), 객체 영역 표시 모듈(115), 및 예비 라벨링 모듈(117)을 포함할 수 있다.  2 is a block diagram illustrating a configuration of a preliminary label server 104 according to an exemplary embodiment. 2, the preliminary label server 104 may include an object detection module 111, an object type determination module 113, an object area display module 115, and a preliminary labeling module 117.

객체 검출 모듈(111)은 콘텐츠(예를 들어, 이미지) 내에 포함된 각 객체를 검출할 수 있다. 예시적인 실시예에서, 객체 검출 모듈(111)은 콘텐츠 내 객체의 경계(예를 들어, 상하좌우 경계 등)를 검출하여 경계 박스(Bounding Box)를 생성할 수 있다. 즉, 객체 검출 모듈(111)은 콘텐츠 내 객체의 상하 경계 및 좌우 경계를 검출하고, 콘텐츠 내에서 해당 객체의 상하 좌우 경계를 포함하는 경계 박스를 생성할 수 있다. The object detection module 111 may detect each object included in the content (eg, an image). In an exemplary embodiment, the object detection module 111 may generate a bounding box by detecting a boundary (eg, a top, bottom, left, and right boundary) of the object in the content. That is, the object detection module 111 may detect the upper and lower borders and the left and right borders of the object in the content, and generate a bounding box including the upper and lower borders of the object in the content.

객체 검출 모듈(111)은 콘텐츠 내에서 객체 탐색을 위한 경계 박스를 예측하기 위해 제1 기계 학습 엔진을 포함할 수 있다. 예를 들어, 제1 기계 학습 엔진은 하나 이상의 객체를 포함하는 이미지를 입력 값으로 하였을 때, 출력 값으로 이미지에 포함된 각 객체에 대해 경계 박스를 출력하도록 하는 컨벌루션 신경망(Convolutional Neural Network)을 포함할 수 있다. The object detection module 111 may include a first machine learning engine to predict the bounding box for object search in the content. For example, the first machine learning engine includes a convolutional neural network that outputs a bounding box for each object included in the image as an output value when an image including one or more objects is used as an input value. can do.

객체 종류 판별 모듈(113)은 콘텐츠 내 포함된 객체의 종류를 판별할 수 있다. 객체 종류 판별 모듈(113)은 객체 검출 모듈(111)에 의해 검출된 객체의 종류를 판별할 수 있으나, 이에 한정되는 것은 아니며 콘텐츠 내 포함된 객체의 종류를 바로 판별할 수도 있다. 예를 들어, 콘텐츠 내 포함된 객체가 하나인 경우, 객체 종류 판별 모듈(113)은 해당 객체의 종류를 바로 판별할 수 있다.The object type determination module 113 may determine the type of the object included in the content. The object type determination module 113 may determine the type of the object detected by the object detection module 111, but is not limited thereto and may directly determine the type of the object included in the content. For example, when there is only one object included in the content, the object type determination module 113 may directly determine the type of the object.

예시적인 실시예에서, 객체 종류 판별 모듈(113)은 콘텐츠 내 포함된 객체의 이미지를 입력 값으로 하였을 때 출력 값으로 입력된 객체의 종류에 대한 정보를 출력하는 제2 기계 학습 엔진을 포함할 수 있다. 예를 들어, 제2 기계 학습 엔진은 소정 객체의 이미지를 입력하였을 때, 해당 객체가 어떤 종류의 것인지에 대한 정보를 출력하도록 하는 컨벌루션 신경망(Convolution Neural Network)을 포함할 수 있다. In an exemplary embodiment, the object type determination module 113 may include a second machine learning engine that outputs information on the type of the object input as an output value when the image of the object included in the content is an input value. have. For example, the second machine learning engine may include a convolutional neural network for outputting information on what kind of object the object is when an image of a predetermined object is input.

객체 영역 표시 모듈(115)은 콘텐츠 내에 포함된 객체가 차지하는 영역을 표시할 수 있다. 예를 들어, 객체 영역 표시 모듈(115)은 콘텐츠 내 각 객체가 차지하는 영역을 각 객체가 구별되도록 특정한 색의 픽셀로 채울 수 있다. 예시적인 실시예에서, 객체 영역 표시 모듈(115)은 콘텐츠 내에 포함된 객체의 이미지를 입력 값으로 하였을 때 출력 값으로 입력된 객체가 차지하는 영역에 대한 정보를 출력하는 제3 기계 학습 엔진을 포함할 수 있다. 예를 들어, 제3 기계 학습 엔진은 소정 객체의 이미지를 입력하였을 때, 해당 객체가 콘텐츠 내에서 어떤 영역을 차지하고 있는지에 대한 정보를 출력하도록 하는 컨벌루션 신경망(Convolutional Neural Network)을 포함할 수 있다. The object region display module 115 may display an area occupied by an object included in the content. For example, the object region display module 115 may fill a region occupied by each object in the content with pixels of a specific color to distinguish each object. In an exemplary embodiment, the object region display module 115 may include a third machine learning engine that outputs information on an area occupied by an object input as an output value when an image of an object included in content is used as an input value. Can be. For example, the third machine learning engine may include a convolutional neural network for outputting information on which area the object occupies in the content when the image of the predetermined object is input.

예비 라벨링 모듈(117)은 분류 의뢰 요청에 포함된 콘텐츠에 대해 예비 라벨링 작업을 수행할 수 있다. 예비 라벨링 모듈(115)은 객체 검출 모듈(111), 객체 종류 판별 모듈(113), 및 객체 영역 표시 모듈(115) 등의 작업에 기반하여 예비 라벨링 작업을 수행할 수 있다. 예비 라벨링 모듈(117)은 콘텐츠 내 각 객체에 대해 해당 객체의 경계 박스, 해당 객체의 종류, 해당 객체가 차지하는 영역 등에 기반하여 예비 라벨을 생성할 수 있다. The preliminary labeling module 117 may perform preliminary labeling on the content included in the classification request. The preliminary labeling module 115 may perform a preliminary labeling operation based on the operations of the object detection module 111, the object type determination module 113, and the object region display module 115. The preliminary labeling module 117 may generate a preliminary label for each object in the content based on the bounding box of the object, the type of the object, the area occupied by the object, and the like.

예비 라벨링 모듈(117)은 각 콘텐츠에 아이디를 부여하고, 각 콘텐츠 내에 포함된 각 객체에 대해 생성한 예비 라벨 정보를 데이터베이스(미도시)에 저장할 수 있다. 여기서, 상기 객체에 대해 생성한 예비 라벨 정보는 콘텐츠 내 해당 객체의 경계 박스의 위치 및 크기, 해당 객체의 종류 명칭, 해당 객체가 콘텐츠 내에 차지하는 영역에 대한 정보를 포함할 수 있다. The preliminary labeling module 117 may assign an ID to each content and store preliminary label information generated for each object included in each content in a database (not shown). Here, the preliminary label information generated for the object may include information about the location and size of the bounding box of the object in the content, the type name of the object, and an area occupied by the object in the content.

도 3은 개시되는 일 실시예에 따른 예비 라벨 서버(104)에서 콘텐츠 내 객체를 검출하고 객체의 영역을 표시하여 예비 라벨링을 수행하는 상태를 개략적으로 나타낸 도면이다. 도 3을 참조하면, 분류 의뢰 요청에 포함된 콘텐츠가 신호등, 차, 교통 표지판을 포함하는 이미지인 경우(도 3의 (a)), 예비 라벨 서버(104)는 제1 기계 학습 엔진을 이용하여 콘텐츠 내 포함된 객체를 탐색하여 경계 박스(11, 12, 13)를 생성할 수 있다(도 3의 (b)). 이때, 제1 기계 학습 엔진의 성능 한계로 경계 박스에 오차가 있을 수 있다. 예를 들어, 경계 박스(11)가 해당 객체의 경계와 맞지 않거나 그 위치가 해당 객체에서 약간 어긋나 있을 수 있다. 3 is a diagram schematically illustrating a state in which the preliminary label server 104 detects an object in content and displays a region of the object to perform preliminary labeling according to an exemplary embodiment. Referring to FIG. 3, when the content included in the classification request is an image including a traffic light, a car, and a traffic sign (FIG. 3A), the preliminary label server 104 uses the first machine learning engine. The bounding boxes 11, 12, and 13 may be generated by searching for an object included in the content (FIG. 3B). In this case, there may be an error in the bounding box due to the performance limitation of the first machine learning engine. For example, the bounding box 11 may not match the boundary of the object or its position may be slightly shifted from the object.

또한, 예비 라벨 서버(104)는 제2 기계 학습 엔진을 이용하여 경계 박스(11, 12, 13) 내 객체의 종류를 판별하고 예비 라벨을 생성할 수 있다(도 3의 (b)). 예비 라벨 서버(104)는 경계 박스(11)에 해당하는 객체에 신호등(Traffic Light)라는 예비 라벨을 생성하고, 경계 박스(12)에 해당하는 객체에 버스(Bus)라는 예비 라벨을 생성하며, 경계 박스(13)에 해당하는 객체에 교통 표지판(Traffic Sign)이라는 예비 라벨을 생성할 수 있다. 이때, 제2 기계 학습 엔진의 성능 한계로 예비 라벨에 오차가 있을 수 있다. 예를 들어, 경계 박스(12)에 해당하는 객체는 버스가 아닌 승용차로 분류되어야 하는데 버스로 분류하는 등의 오차가 있을 수 있다. In addition, the preliminary label server 104 may use the second machine learning engine to determine the type of the object in the bounding boxes 11, 12, 13 and generate the preliminary label (FIG. 3B). The preliminary label server 104 generates a preliminary label called Traffic Light on the object corresponding to the bounding box 11, and generates a preliminary label called Bus on the object corresponding to the bounding box 12. A preliminary label called a traffic sign may be generated on the object corresponding to the bounding box 13. In this case, there may be an error in the preliminary label due to the performance limitation of the second machine learning engine. For example, an object corresponding to the bounding box 12 should be classified as a passenger car rather than a bus, but there may be an error such as classifying as a bus.

또한, 예비 라벨 서버(104)는 제3 기계 학습 엔진을 이용하여 콘텐츠 내 객체가 차지하는 영역을 표시할 수 있다(도 3의 (c)). 예비 라벨 서버(104)는 콘텐츠에 포함되는 각 객체가 차지하는 영역을 서로 다른 색의 픽셀로 채워 표시할 수 있다. 이때, 제3 기계 학습 엔진의 성능 한계로 각 객체가 차지하는 영역 표시에 오차가 있을 수 있다. In addition, the preliminary label server 104 may display the area occupied by the object in the content by using the third machine learning engine (FIG. 3C). The preliminary label server 104 may fill and display an area occupied by each object included in the content with pixels of different colors. In this case, there may be an error in displaying an area occupied by each object due to the performance limitation of the third machine learning engine.

다시 도 1을 참조하면, 분류 관리 서버(106)는 예비 라벨 서버(104)에 의해 예비 라벨링 된 콘텐츠를 복수 개의 검증 단말(108)로 분배할 수 있다. 즉, 예비 라벨 서버(104)에 의해 예비 라벨링 된 콘텐츠는 오차가 있을 수 있으므로 검증 단말(108)에 의해 검증 작업을 거치도록 할 수 있다. 도 4는 개시되는 일 실시예에 따른 분류 관리 서버(106)의 구성을 나타낸 블록도이다. 도 4를 참조하면, 분류 관리 서버(106)는 작업 분배 모듈(121), 검증 도움 모듈(123), 및 검증 모니터링 모듈(125)을 포함할 수 있다. Referring back to FIG. 1, the classification management server 106 may distribute the content pre-labeled by the preliminary label server 104 to the plurality of verification terminals 108. That is, the content pre-labeled by the preliminary label server 104 may have an error, and thus may be subjected to a verification operation by the verification terminal 108. 4 is a block diagram illustrating a configuration of a classification management server 106 according to an embodiment of the present disclosure. Referring to FIG. 4, the classification management server 106 may include a job distribution module 121, a verification assistance module 123, and a verification monitoring module 125.

작업 분배 모듈(121)은 콘텐츠 내 객체 종류에 따라 해당 콘텐츠의 예비 라벨에 대한 검증을 담당할 검증 단말(108)을 결정할 수 있다. 이를 위해, 작업 분배 모듈(121)은 복수 개의 검증 단말(108)들이 검증하도록 설정된 객체 종류에 대한 정보를 저장할 수 있다. 즉, 각 검증 단말(108)들은 특정 종류의 객체들을 검증하기 위해 마련될 수 있다. The job distribution module 121 may determine the verification terminal 108 that is in charge of verifying the preliminary label of the corresponding content according to the object type in the content. To this end, the job distribution module 121 may store information on an object type set to be verified by the plurality of verification terminals 108. That is, each verification terminal 108 may be provided to verify specific types of objects.

작업 분배 모듈(121)은 콘텐츠 내 객체의 예비 라벨을 확인하고, 복수 개의 검증 단말(108)들 중 상기 확인된 예비 라벨과 대응되는 객체 종류를 검증하는 검증 단말(108)로 해당 콘텐츠를 분배할 수 있다. 이 경우, 검증 단말(108)을 이용하는 검증자는 기 설정된 객체에 대해서만 반복적으로 검증을 수행하면 되므로, 검증 작업에 소모되는 시간을 줄이고 검증 작업의 효율을 향상시킬 수 있게 된다.The job distribution module 121 checks the preliminary label of the object in the content and distributes the content to the verification terminal 108 verifying the object type corresponding to the checked preliminary label among the plurality of verification terminals 108. Can be. In this case, since the verifier using the verification terminal 108 only needs to repeatedly verify the predetermined object, the verification time can be reduced and the efficiency of the verification can be improved.

예시적인 실시예에서, 작업 분배 모듈(121)은 콘텐츠 내 예비 라벨링 된 복수 개의 객체가 존재하는 경우, 검증 단말(108)로 해당 콘텐츠를 전송할 때, 해당 검증 단말(108)과 관련되지 않는 객체(즉, 해당 검증 단말(108)의 검증 객체 종류와 대응되지 않는 객체)는 경계 박스, 예비 라벨, 영역 표시 등을 삭제하고 전송할 수 있다. 예를 들어, 도 3에서 소정 검증 단말(108)의 검증 객체가 신호등으로 설정된 경우, 작업 분배 모듈(121)은 해당 콘텐츠를 전송할 때, 버스 및 교통 표지판으로 예비 라벨링 된 객체는 경계 박스 및 예비 라벨을 삭제하고 전송할 수 있다. In an exemplary embodiment, the task distribution module 121, when there are a plurality of pre-labeled objects in the content, transmits the content to the verification terminal 108, the object not associated with the verification terminal 108 ( That is, the object that does not correspond to the verification object type of the verification terminal 108) may delete and transmit a bounding box, a preliminary label, an area display, and the like. For example, in FIG. 3, when the verification object of the predetermined verification terminal 108 is set to a traffic light, when the job distribution module 121 transmits the corresponding content, the object preliminarily labeled with the bus and traffic signs is bounded by the bounding box and the preliminary label. Can be deleted and sent.

또한, 작업 분배 모듈(121)은 콘텐츠 내 검출되지 못한 객체의 존재 여부에 따라 해당 콘텐츠의 검증을 담당할 검증 단말(108)을 결정할 수 있다. 즉, 복수 개의 검증 단말(108)들 중 어떤 검증 단말(108)은 예비 라벨 서버(104)에서 검출하지 못한 객체를 검출하여 라벨링 하는 작업을 수행하도록 설정될 수 있다. In addition, the job distribution module 121 may determine the verification terminal 108 that is in charge of verifying the corresponding content according to the presence or absence of an object not detected in the content. That is, any one of the plurality of verification terminals 108 may be configured to detect and label an object not detected by the preliminary label server 104.

검증 도움 모듈(123)은 검증 단말(108)에서 콘텐츠 내 객체 검출 및 예비 라벨의 검증 시, 검증 작업을 어시스턴스 할 수 있다. 예시적인 실시예에서, 검증 도움 모듈(123)은 검증 단말(108)로부터 콘텐츠 내 객체의 클릭된 위치 정보를 수신하는 경우, 콘텐츠 내 클릭된 위치와 대응되는 객체를 검출하고, 검출된 객체의 종류, 해당 객체가 차지하는 영역에 대한 정보, 및 해당 객체의 경계 박스에 대한 정보(경계 박스의 위치 및 크기 등) 등을 검증 단말(108)로 전송할 수 있다. The verification help module 123 may assist the verification operation when the object is detected in the content and the verification of the preliminary label in the verification terminal 108. In an exemplary embodiment, when the verification assistance module 123 receives the clicked position information of the object in the content from the verification terminal 108, detects the object corresponding to the clicked position in the content, and the type of the detected object. , Information about the area occupied by the object, and information about the boundary box of the object (such as the position and size of the boundary box) may be transmitted to the verification terminal 108.

도 5는 개시되는 일 실시예에 따른 검증 도움 모듈(123)에서 콘텐츠 내 객체의 클릭된 위치 정보를 기반으로 해당 객체에 대해 경계 박스를 자동 생성하는 상태를 설명하기 위한 도면이다. 도 5를 참조하면, 콘텐츠 내에서 차에 대해서는 경계 박스가 형성되어 있지 않아 예비 라벨 서버(104)가 콘텐츠 내에서 해당 객체(20)를 인식하지 못한 경우이다(도 5의 (a)). FIG. 5 is a diagram for describing a state in which the verification assistance module 123 automatically generates a bounding box for an object based on clicked position information of the object in the content, according to an exemplary embodiment. Referring to FIG. 5, there is no boundary box for a difference in the content, and thus the preliminary label server 104 does not recognize the object 20 in the content (FIG. 5A).

검증 단말(108)의 검증자는 입력 수단(예를 들어, 마우스, 키보드, 터치 스크린 등)을 통해 콘텐츠 내에서 해당 객체(20)를 클릭할 수 있다(도 5의 (b)). 그러면, 검증 단말(108)은 콘텐츠 내 객체의 클릭된 위치 정보를 검증 도움 모듈(123)로 전송할 수 있다. The verifier of the verification terminal 108 may click on the corresponding object 20 in the content through an input means (for example, a mouse, a keyboard, a touch screen, etc.) (FIG. 5B). Then, the verification terminal 108 may transmit the clicked position information of the object in the content to the verification assistance module 123.

검증 도움 모듈(123)은 콘텐츠 내 객체(20)의 클릭된 위치 정보를 기반으로 해당 객체에 대해 경계 박스(22)를 생성할 수 있다(도 5의 (c)). 이를 위해, 검증 도움 모듈(123)은 콘텐츠 내 객체의 클릭된 위치 정보를 입력 값으로 하였을 때 출력 값으로 해당 객체에 대한 경계 박스의 위치 및 크기에 대한 정보를 출력하는 제4 기계 학습 엔진을 포함할 수 있다. 검증 도움 모듈(123)은 콘텐츠 내 해당 객체에 대한 경계 박스의 위치 및 크기 정보를 검증 단말(108)로 전송할 수도 있고, 콘텐츠 내에서 해당 객체에 대해 경계 박스를 생성하여 검증 단말(108)로 전송할 수도 있다.The verification assistance module 123 may generate a bounding box 22 for the object based on the clicked position information of the object 20 in the content (FIG. 5C). To this end, the verification helper module 123 includes a fourth machine learning engine that outputs information on the position and size of the bounding box of the object as an output value when the clicked position information of the object in the content is used as an input value. can do. The verification assistance module 123 may transmit the location and size information of the bounding box of the corresponding object in the content to the verification terminal 108, and generate the bounding box for the object in the content and transmit the information to the verification terminal 108. It may be.

이 경우, 검증 단말(108)의 검증자의 입장에서는 콘텐츠 내에서 해당 객체를 클릭하는 것만으로 자동으로 경계 박스를 생성할 수 있게 되는 바, 검증자가 수작업으로 해당 객체의 상하좌우 경계를 찾아 마우스 클릭을 하고 경계 박스를 표시하는 번거로움을 줄일 수 있게 된다. In this case, the verifier of the verification terminal 108 can automatically generate the bounding box by simply clicking on the object in the content. The verifier manually finds the upper, lower, left, and right boundaries of the object, and clicks the mouse. This can reduce the hassle of displaying bounding boxes.

한편, 검증 도움 모듈(123)은 콘텐츠 내에서 검출된 객체의 종류를 판별하기 위한 제5 기계 학습 엔진 및 콘텐츠 내에서 검출된 객체가 차지하는 영역을 표시하기 위한 제6 기계 학습 엔진을 포함할 수 있다. 이 경우, 검증 도움 모듈(123)은 객체의 종류에 대한 정보 및 콘텐츠 내 객체가 차지하는 영역에 대한 정보를 검증 단말(108)로 전송할 수 있다. Meanwhile, the verification helper module 123 may include a fifth machine learning engine for determining the type of the object detected in the content and a sixth machine learning engine for displaying the area occupied by the detected object in the content. . In this case, the verification assistance module 123 may transmit the information about the type of the object and the information about the area occupied by the object in the content to the verification terminal 108.

또한, 검증 도움 모듈(123)은 검증 단말(108)이 예비 라벨링 된 객체에 대해 검증 수행 시 예비 라벨링 된 객체에 대해 기 설정된 임계 확률 이상인 분류 태그를 추출하여 검증 단말(108)로 전송할 수 있다. 도 6은 개시되는 일 실시예에 따른 검증 단말(108)에서 예비 라벨링 된 객체에 대해 분류 태그가 표시되는 상태를 나타낸 도면이다. In addition, the verification assistance module 123 may extract a classification tag that is equal to or greater than a predetermined threshold probability for the pre-labeled object when the verification terminal 108 performs the verification on the pre-labeled object, and transmit the classification tag to the verification terminal 108. 6 is a diagram illustrating a state in which a classification tag is displayed for a pre-labeled object in the verification terminal 108 according to an exemplary embodiment.

도 6을 참조하면, 검증 단말(108)에서 콘텐츠 내 "버스"로 예비 라벨된 객체(20)에 대해 검증 작업을 수행하는 경우, 검증 도움 모듈(123)은 "버스"로 예비 라벨된 객체(20)에 대해 해당 객체(20)가 분류될 확률이 기 설정된 임계 확률 이상인 분류 태그(예를 들어, 버스(bus), 카(car), 트럭(truck) 등)(30)를 추출하여 검증 단말(108)로 전송할 수 있다. Referring to FIG. 6, when the verification terminal 108 performs a verification operation on the object 20 preliminarily labeled as a "bus" in the content, the verification help module 123 performs an object preliminarily labeled as "bus" ( Validation terminal by extracting a classification tag (for example, a bus, a car, a truck, etc.) 30 having a probability that the corresponding object 20 is classified above a predetermined threshold 20. And transmit to 108.

검증 도움 모듈(123)은 제2 기계 학습 엔진과 통신 가능하게 연결될 수 있다. 검증 도움 모듈(123)은 "버스"로 예비 라벨된 객체(20)를 제2 기계 학습 엔진의 입력 값으로 하였을 때, 해당 객체(20)가 분류될 수 있는 후보들 중에서 기 설정된 임계 확률 이상인 분류 태그들을 추출하여 검증 단말(108)로 전송할 수 있다. 그러나, 이에 한정되는 것은 아니며 검증 도움 모듈(123)은 소정 객체에 대해 해당 객체가 분류될 확률이 기 설정된 임계 확률 이상인 분류 태그를 추출하기 위한 제7 기계 학습 엔진을 포함할 수도 있다. The verification assistance module 123 may be communicatively coupled with the second machine learning engine. When the verification helper module 123 uses the object 20 preliminarily labeled as "bus" as an input value of the second machine learning engine, the classification tag that is equal to or greater than a predetermined threshold probability among candidates for which the object 20 may be classified. May be extracted and transmitted to the verification terminal 108. However, the present disclosure is not limited thereto, and the verification helper module 123 may include a seventh machine learning engine for extracting a classification tag having a probability that the corresponding object is classified over a predetermined threshold probability.

이 경우, 검증 단말(108)의 검증자는 기 설정된 임계 확률 이상의 분류 태그 중에서 해당 객체(20)에 대해 최종 라벨을 선택할 수 있으므로, 최종 라벨을 결정하는데 따른 시간 및 노력을 줄일 수 있게 된다. 즉, 검증자가 해당 객체(20)에 대해 분류하는 작업을 수작업으로 하려면 수 많은 선택지 중에서 하나를 찾고 고르는 과정을 거쳐야 하기 때문에 많은 시간과 노력이 소요되지만, 개시되는 실시예에서는 검증 도움 모듈(123)이 기 설정된 임계 확률 이상의 분류 태그들을 선택지로 미리 추려주기 때문에, 해당 객체(20)를 분류하여 최종 라벨링 하는데 소요되는 시간 및 노력을 줄일 수 있게 된다.In this case, the verifier of the verification terminal 108 may select the final label for the object 20 among the classification tags having a predetermined threshold probability or more, thereby reducing time and effort for determining the final label. That is, since the verifier needs to manually find and select one of a large number of options in order to manually classify the object 20, the verification helper module 123 is required in the disclosed embodiment. Since classification tags having a predetermined threshold probability or more are previously selected as options, it is possible to reduce the time and effort required to classify and final label the object 20.

한편, 여기서는 검증 도움 모듈(123)이 분류 관리 서버(106)에 구비되는 것으로 설명하였으나, 이에 한정되는 것은 아니며 검증 도움 모듈(123)은 각 검증 단말(108)에 구비될 수도 있다. Meanwhile, although the verification help module 123 is described as being provided in the classification management server 106, the present invention is not limited thereto, and the verification help module 123 may be provided in each verification terminal 108.

검증 모니터링 모듈(125)은 최종 라벨링 된 콘텐츠를 복수 개의 검증 단말(108)로 전송할 수 있다. 여기서, 최종 라벨링 된 콘텐츠는 콘텐츠 내 각 객체에 대해 라벨링이 완료(콘텐츠 내 각 객체에 대해 정확하게 분류가 완료)된 콘텐츠를 의미할 수 있다. 검증 모니터링 모듈(125)은 예비 라벨링 된 콘텐츠 대비 기 설정된 비율로 최종 라벨링 된 콘텐츠를 각 검증 단말(108)로 전송할 수 있다. 예를 들어, 예비 라벨링 된 콘텐츠를 10번 전송하는 경우, 최종 라벨링 된 콘텐츠는 1번 전송하는 비율로 전송할 수 있다. The verification monitoring module 125 may transmit the final labeled content to the plurality of verification terminals 108. Here, the final labeled content may refer to content in which labeling is completed for each object in the content (classifying correctly for each object in the content). The verification monitoring module 125 may transmit the final labeled content to each verification terminal 108 at a preset ratio to the pre-labeled content. For example, if the pre-labeled content is transmitted ten times, the final labeled content may be transmitted at a rate of one transmission.

검증 모니터링 모듈(125)은 최종 라벨링 된 콘텐츠에 대한 검증 단말(108)의 검증 결과를 기반으로 각 검증 단말(108)의 신뢰도(해당 검증 단말(108)을 이용하여 검증 작업을 수행하는 검증자의 신뢰도)를 측정할 수 있다. 구체적으로, 검증 모니터링 모듈(125)은 최종 라벨링 된 콘텐츠 내의 각 객체의 라벨(즉, 검증 완료 된 라벨)과 검증 단말(108)이 최종 라벨링 된 콘텐츠 내의 각 객체에 대해 부여한 라벨의 일치 여부에 따라 검증 단말(108)의 신뢰도를 조정할 수 있다. The verification monitoring module 125 may verify the reliability of each verification terminal 108 based on the verification result of the verification terminal 108 on the final labeled content (reliability of the verifier performing verification work using the verification terminal 108). ) Can be measured. Specifically, the validation monitoring module 125 determines whether the label of each object in the final labeled content (i.e., the verified label) matches the label given by the verification terminal 108 for each object in the final labeled content. The reliability of the verification terminal 108 can be adjusted.

최종 라벨링 된 콘텐츠 내의 각 객체의 라벨과 검증 단말(108)이 최종 라벨링 된 콘텐츠 내의 각 객체에 대해 부여한 라벨이 일치하는 경우, 검증 모니터링 모듈(125)은 검증 단말(108)에 대한 신뢰도를 상향 조정 할 수 있다. 반면, 최종 라벨링 된 콘텐츠 내의 각 객체의 라벨과 검증 단말(108)이 최종 라벨링 된 콘텐츠 내의 각 객체에 대해 부여한 라벨이 일치하지 않는 경우, 검증 모니터링 모듈(125)은 검증 단말(108)에 대한 신뢰도를 하향 조정 할 수 있다. If the label of each object in the final labeled content and the label given by the verification terminal 108 for each object in the final labeled content match, the verification monitoring module 125 raises the confidence level for the verification terminal 108. can do. On the other hand, if the label of each object in the final labeled content and the label given by the verification terminal 108 for each object in the final labeled content do not match, the verification monitoring module 125 may trust the verification terminal 108. Can be adjusted downward.

검증 모니터링 모듈(125)은 검증 단말(108)의 신뢰도가 기 설정된 임계 신뢰도 이하가 되는 경우, 검증 단말(108)이 처리한 검증 작업을 무효 처리할 수 있다. The verification monitoring module 125 may invalidate the verification work processed by the verification terminal 108 when the reliability of the verification terminal 108 becomes less than or equal to a preset threshold reliability.

한편, 작업 분배 모듈(121)은 검증 단말(108)의 신뢰도에 따라 예비 라벨링 된 콘텐츠를 분배를 조정할 수 있다. 예를 들어, 작업 분배 모듈(121)은 검증 단말(108)의 신뢰도가 높을수록 예비 라벨링 된 콘텐츠를 다른 검증 단말(108) 보다 많이 분배할 수 있다. 또한, 작업 분배 모듈(121)은 검증 단말(108)의 신뢰도가 낮을수록 예비 라벨링 된 콘텐츠를 다른 검증 단말(108) 보다 적게 분배할 수 있다. Meanwhile, the job distribution module 121 may adjust distribution of the pre-labeled content according to the reliability of the verification terminal 108. For example, the job distribution module 121 may distribute more pre-labeled content than other verification terminals 108 as the reliability of the verification terminal 108 is higher. In addition, the job distribution module 121 may distribute the pre-labeled content less than other verification terminals 108 as the reliability of the verification terminal 108 is lower.

다시 도 1을 참조하면, 검증 단말(108)은 복수 개가 마련될 수 있다. 검증 단말(108)은 예비 라벨 서버(104)에 의해 예비 라벨링 된 콘텐츠를 검증하기 위한 검증자가 사용하는 단말기 일 수 있다. 복수 개의 검증 단말(108)들 중 하나 이상의 검증 단말(108)은 각각 특정 종류의 하나 이상의 객체를 검증하기 위해 마련될 수 있다. 이 경우, 해당 검증자는 예비 라벨링 된 콘텐츠에서 기 설정된 종류의 객체에 대해 예비 라벨이 제대로 생성되었는지를 검증하는 작업을 수행할 수 있다. 또한, 복수 개의 검증 단말(108)들 중 하나 이상의 다른 검증 단말(108)은 예비 라벨 서버(104)에서 검출하지 못한 객체를 검출하여 라벨링 하는 작업을 수행하도록 마련될 수 있다. Referring back to FIG. 1, a plurality of verification terminals 108 may be provided. The verification terminal 108 may be a terminal used by a verifier for verifying content preliminarily labeled by the preliminary label server 104. One or more verification terminals 108 of the plurality of verification terminals 108 may each be provided to verify one or more objects of a particular type. In this case, the verifier may verify that the preliminary label is properly generated for the object of the preset type in the pre-labeled content. In addition, one or more other verification terminals 108 of the plurality of verification terminals 108 may be provided to detect and label objects not detected by the preliminary label server 104.

검증자는 검증 단말(108)을 통해 예비 라벨 서버(104)에 의한 작업을 검증할 수 있다. 즉, 검증자는 예비 라벨 서버(104)에서 콘텐츠 내 객체에 대해 생성한 경계 박스가 바른 위치에 형성되어 있는지를 확인하고, 바른 위치에 형성되어 있지 않은 경우 경계 박스를 수정하여 올바른 위치에 생성할 수 있다. 또한, 검증자는 예비 라벨 서버(104)에서 콘텐츠 내 객체의 종류에 대해 생성한 예비 라벨이 바르게 형성되어 있는지를 확인하고, 바르게 형성되어 있지 않은 경우 예비 라벨을 수정하여 최종 라벨을 생성할 수 있다. 또한, 검증자는 예비 라벨 서버(104)에서 콘텐츠 내 객체가 차지하는 영역에 대해 생성한 예비 라벨이 바르게 형성되어 있는지를 확인하고, 바르게 형성되어 있지 않은 경우 예비 라벨을 수정하여 최종 라벨을 생성할 수 있다.The verifier may verify the work by the preliminary label server 104 via the verification terminal 108. That is, the verifier can check whether the bounding box created by the preliminary label server 104 for the object in the content is formed at the correct position, and if it is not formed at the correct position, modify the bounding box to generate the correct position. have. In addition, the verifier may check whether the preliminary label generated by the preliminary label server 104 for the type of the object in the content is correctly formed, and if the preliminary label is not formed correctly, modify the preliminary label to generate the final label. In addition, the verifier may check whether the preliminary label generated by the preliminary label server 104 for the area occupied by the object in the content is correctly formed, and if the preliminary label is not formed correctly, modify the preliminary label to generate the final label. .

검증 단말(108)은 검증 도움 모듈(123)로부터 예비 라벨링 된 객체에 대한 하나 이상의 분류 태그를 수신하여 표시할 수 있다. 검증 단말(108)은 화면에 표시된 분류 태그들 중 검증자가 선택하는 분류 태그를 기반으로 해당 객체의 예비 라벨을 수정할 수 있다. 검증 단말(108)은 각 객체에 대해 최종 라벨링 된 콘텐츠를 분류 관리 서버(106)로 전송할 수 있다. The verification terminal 108 may receive and display one or more classification tags for the pre-labeled object from the verification assistance module 123. The verification terminal 108 may modify the preliminary label of the corresponding object based on the classification tag selected by the verifier among the classification tags displayed on the screen. The verification terminal 108 may send the final labeled content for each object to the classification management server 106.

검증 단말(108)은 검증자의 입력에 따른 콘텐츠 내 객체의 클릭된 위치 정보를 검증 도움 모듈(123)로 전송할 수 있다. 예를 들어, 예비 라벨 서버(104)에 의해 예비 라벨링 된 콘텐츠에서 예비 라벨 서버(104)가 인식하지 못한 객체가 존재하는 경우(예를 들어, 경계 박스가 형성되어 있지 않은 객체가 존재하는 경우), 검증자는 마우스 등과 같은 입력 수단을 통해 해당 객체를 클릭할 수 있다. 검증 단말(108)이 검증 도움 모듈(123)로부터 해당 객체에 대한 경계 박스 위치 정보를 수신하는 경우, 검증자는 해당 객체의 종류를 분류하여 최종 라벨을 생성할 수 있다. The verification terminal 108 may transmit the clicked location information of the object in the content according to the verifier's input to the verification help module 123. For example, if there is an object in the content that is preliminarily labeled by the preliminary label server 104 that is not recognized by the preliminary label server 104 (eg, there is an object for which no bounding box is formed). In addition, the verifier can click the object through an input means such as a mouse. When the verification terminal 108 receives the bounding box position information about the object from the verification help module 123, the verifier may classify the type of the object to generate a final label.

도 7은 개시되는 일 실시예에서 검증되기 전의 콘텐츠(즉, 예비 라벨링 된 콘텐츠)와 검증 된 후의 콘텐츠(최종 라벨링 된 콘텐츠)를 비교한 도면으로, 도 7의 (a)는 검증되기 전의 콘텐츠를 나타낸 도면이고, 도 7의 (b)는 검증 된 후의 콘텐츠를 나타낸 도면이다. FIG. 7 is a diagram comparing content before verification (i.e., pre-labeled content) and content after verification (finally labeled content) in one embodiment, and FIG. 7A illustrates content before verification. FIG. 7B is a diagram illustrating the content after verification.

도 7을 참조하면, 콘텐츠 내에서 경계 박스(11, 12, 13)들이 해당 객체의 위치 및 크기에 맞게 수정된 것을 볼 수 있다. 또한, "버스"로 잘못 예비 라벨링 된 객체(20)에 대해 예비 라벨이 수정되어 "카"로 바르게 최종 라벨링 된 것을 볼 수 있다. Referring to FIG. 7, it can be seen that the bounding boxes 11, 12, and 13 are modified to fit the position and size of the object in the content. In addition, it can be seen that the preliminary label has been modified for the object 20 wrongly pre-labeled as "bus" and correctly labeled as "car".

여기서, 분류 관리 서버(106)는 최종 라벨링 된 콘텐츠를 예비 라벨 서버(104)로 전송할 수 있다. 그러면, 예비 라벨 서버(104)는 최종 라벨링 된 콘텐츠를 기반으로 제1 기계 학습 엔진, 제2 기계 학습 엔진, 및 제3 기계 학습 엔진을 추가 학습시킬 수 있다. 즉, 최종 라벨링 된 콘텐츠 내의 각 객체의 경계 박스의 위치 및 크기를 제1 기계 학습 엔진의 학습 데이터로 사용하여 추가 학습하도록 할 수 있다. 또한, 최종 라벨링 된 콘텐츠 내의 각 객체의 종류 정보를 제2 기계 학습 엔진의 학습 데이터로 사용하여 추가 학습하도록 할 수 있다. 또한, 최종 라벨링 된 콘텐츠 내의 각 객체가 차지하는 영역 정보를 제3 기계 학습 엔진의 학습 데이터로 사용하여 추가 학습하도록 할 수 있다.Here, the classification management server 106 may transmit the final labeled content to the preliminary label server 104. The preliminary label server 104 may then further learn the first machine learning engine, the second machine learning engine, and the third machine learning engine based on the final labeled content. That is, the position and size of the bounding box of each object in the final labeled content may be used as learning data of the first machine learning engine for further learning. In addition, the type information of each object in the final labeled content may be used as learning data of the second machine learning engine for further learning. In addition, the region information occupied by each object in the final labeled content may be used as learning data of the third machine learning engine to further learn.

이 경우, 검증자에 의해 검증이 완료된 정보가 제1 기계 학습 엔진, 제2 기계 학습 엔진, 및 제3 기계 학습 엔진의 학습 데이터로 추가 됨으로써, 제1 기계 학습 엔진, 제2 기계 학습 엔진, 및 제3 기계 학습 엔진의 정확성을 높일 수 있게 된다. 그리고, 예비 라벨 서버(104)의 작업 정확도가 높아질수록 검증자의 검증 작업 양은 줄어들게 된다.In this case, the information verified by the verifier is added to the learning data of the first machine learning engine, the second machine learning engine, and the third machine learning engine, whereby the first machine learning engine, the second machine learning engine, and It is possible to increase the accuracy of the third machine learning engine. And, as the work accuracy of the preliminary label server 104 increases, the verification work amount of the verifier decreases.

한편, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예건대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.In the present specification, a module may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware. For example, the “module” may mean a logical unit of a predetermined code and a hardware resource for performing the predetermined code, and does not necessarily mean a physically connected code or a kind of hardware. .

도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.8 is a block diagram illustrating and describing a computing environment 10 that includes a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 예비 라벨 서버(예를 들어, 예비 라벨 서버(104))일 수 있다. 또한, 컴퓨팅 장치(12)는 분류 관리 서버(예를 들어, 분류 관리 서버(106))일 수 있다. 또한, 컴퓨팅 장치(12)는 검증 단말(예를 들어, 검증 단말(108))일 수 있다.The illustrated computing environment 10 includes a computing device 12. In one embodiment, computing device 12 may be a spare label server (eg, spare label server 104). Further, computing device 12 may be a classification management server (eg, classification management server 106). In addition, computing device 12 may be a verification terminal (eg, verification terminal 108).

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.Computing device 12 includes at least one processor 14, computer readable storage medium 16, and communication bus 18. The processor 14 may cause the computing device 12 to operate according to the example embodiments mentioned above. For example, processor 14 may execute one or more programs stored in computer readable storage medium 16. The one or more programs may include one or more computer executable instructions that, when executed by the processor 14, cause the computing device 12 to perform operations in accordance with an exemplary embodiment. Can be.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer readable storage medium 16 is configured to store computer executable instructions or program code, program data and / or other suitable forms of information. The program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, computer readable storage medium 16 includes memory (volatile memory, such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash Memory devices, or any other form of storage medium that is accessible by computing device 12 and capable of storing desired information, or a suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The communication bus 18 interconnects various other components of the computing device 12, including the processor 14 and the computer readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more input / output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input / output devices 24. The input / output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input / output device 24 may be connected to other components of the computing device 12 via the input / output interface 22. Exemplary input / output device 24 may include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and / or imaging devices. Input devices, and / or output devices such as display devices, printers, speakers, and / or network cards. The example input / output device 24 may be included inside the computing device 12 as one component of the computing device 12, and may be connected to the computing device 12 as a separate device from the computing device 12. It may be.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the exemplary embodiments of the present invention have been described in detail above, those skilled in the art will appreciate that various modifications can be made to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the claims below and equivalents thereof.

100 : 분류 서비스 시스템
102 : 클라이언트
104 : 예비 라벨 서버
106 : 분류 관리 서버
108 : 검증 단말
111 : 객체 검출 모듈
113 : 객체 종류 판별 모듈
115 : 객체 영역 표시 모듈
117 : 예비 라벨링 모듈
121 : 작업 분배 모듈
123 : 검증 도움 모듈
125 : 검증 모니터링 모듈100: Classification Service System
102: client
104: spare label server
106: classification management server
108: verification terminal
111: object detection module
113: object type determination module
115: object area display module
117: preliminary labeling module
121: work distribution module
123: Verification Help Module
125: verification monitoring module

Claims (20)

기계 학습(Machine Learning) 기법을 기반으로 콘텐츠 내에 포함된 객체의 검출, 상기 콘텐츠 내에 포함된 객체의 종류 판별, 및 상기 콘텐츠 내에 포함된 객체의 영역 표시 중 하나 이상을 수행하여 예비 라벨링을 수행하는 예비 라벨 서버;
상기 예비 라벨링 된 콘텐츠를 상기 콘텐츠 내 객체 종류 및 상기 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 분배 작업을 수행하는 분류 관리 서버; 및
상기 분배 작업에 따라 상기 예비 라벨링 된 콘텐츠를 수신하고, 검증자의 입력에 따라 상기 예비 라벨링 된 콘텐츠를 검증하여 최종 라벨링을 수행하는 복수 개의 검증 단말을 포함하는, 영상 처리 서비스 시스템.
Preliminary labeling by performing one or more of the detection of an object included in the content, the determination of the type of the object included in the content, and the display of the area of the object included in the content based on a machine learning technique. Label server;
A classification management server configured to distribute the pre-labeled content according to at least one of an object type in the content and an existence of an object not detected in the content; And
And a plurality of verification terminals configured to receive the pre-labeled content according to the distribution operation, verify the pre-labeled content according to a validator's input, and perform final labeling.
청구항 1에 있어서,
상기 예비 라벨 서버는,
제1 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체를 검출하여 경계 박스를 생성하는 객체 검출 모듈; 및
상기 경계 박스에 기반하여 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하는 예비 라벨링 모듈을 포함하고,
상기 분류 관리 서버는, 상기 복수 개의 검증 단말로부터 최종 라벨링 된 콘텐츠를 각각 수신하고, 수신한 상기 최종 라벨링 된 콘텐츠를 상기 예비 라벨 서버로 전송하며,
상기 객체 검출 모듈은, 상기 최종 라벨링 된 콘텐츠 내 각 객체의 경계 박스에 대한 정보를 상기 제1 기계 학습 엔진의 추가 학습 데이터로 사용하는, 영상 처리 서비스 시스템.
The method according to claim 1,
The preliminary label server,
An object detection module that detects an object included in the content and generates a bounding box based on a first machine learning engine; And
A preliminary labeling module for generating a preliminary label for an object in the content based on the bounding box,
The classification management server receives the final labeled content from each of the plurality of verification terminals, and transmits the received last labeled content to the preliminary label server.
And the object detection module uses information on the bounding box of each object in the last labeled content as additional learning data of the first machine learning engine.
청구항 1에 있어서,
상기 예비 라벨 서버는,
제2 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체의 종류를 판별하는 객체 종류 판별 모듈; 및
상기 판별된 객체의 종류에 기반하여 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하는 예비 라벨링 모듈을 포함하고,
상기 분류 관리 서버는, 상기 복수 개의 검증 단말로부터 최종 라벨링 된 콘텐츠를 각각 수신하고, 수신한 상기 최종 라벨링 된 콘텐츠를 상기 예비 라벨 서버로 전송하며,
상기 객체 종류 판별 모듈은, 상기 최종 라벨링 된 콘텐츠 내 각 객체의 라벨 정보를 상기 제2 기계 학습 엔진의 추가 학습 데이터로 사용하는, 영상 처리 서비스 시스템.
The method according to claim 1,
The preliminary label server,
An object type determination module that determines a type of an object included in the content based on a second machine learning engine; And
A preliminary labeling module for generating a preliminary label for an object in the content based on the determined type of the object,
The classification management server receives the final labeled content from each of the plurality of verification terminals, and transmits the received last labeled content to the preliminary label server.
The object type determining module uses label information of each object in the last labeled content as additional learning data of the second machine learning engine.
청구항 1에 있어서,
상기 예비 라벨 서버는,
제3 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체가 차지하는 영역을 표시하는 객체 영역 표시 모듈;
상기 객체가 차지하는 영역에 대한 정보를 기반으로 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하는 예비 라벨링 모듈을 포함하고,
상기 분류 관리 서버는, 상기 복수 개의 검증 단말로부터 최종 라벨링 된 콘텐츠를 각각 수신하고, 수신한 상기 최종 라벨링 된 콘텐츠를 상기 예비 라벨 서버로 전송하며,
상기 객체 영역 표시 모듈은, 상기 최종 라벨링 된 콘텐츠 내 각 객체가 차지하는 영역 정보를 상기 제3 기계 학습 엔진의 추가 학습 데이터로 사용하는, 영상 처리 서비스 시스템.
The method according to claim 1,
The preliminary label server,
An object region display module configured to display an area occupied by an object included in the content based on a third machine learning engine;
A preliminary labeling module for generating a preliminary label for an object in the content based on information about an area occupied by the object,
The classification management server receives the final labeled content from each of the plurality of verification terminals, and transmits the received last labeled content to the preliminary label server.
And the object region display module uses region information occupied by each object in the last labeled content as additional learning data of the third machine learning engine.
청구항 1에 있어서,
상기 분류 관리 서버는,
상기 콘텐츠 내 객체의 예비 라벨을 확인하고, 상기 복수 개의 검증 단말들 중 상기 확인된 예비 라벨과 대응되는 객체 종류를 검증하는 검증 단말로 해당 콘텐츠를 분배하는 작업 분배 모듈을 포함하는, 영상 처리 서비스 시스템.
The method according to claim 1,
The classification management server,
And a task distribution module for identifying a preliminary label of an object in the content and distributing the corresponding content to a verification terminal verifying an object type corresponding to the identified preliminary label among the plurality of verification terminals. .
청구항 5에 있어서,
상기 예비 라벨 서버는, 상기 콘텐츠 내에 포함된 객체를 검출하여 경계 박스를 생성하고,
상기 작업 분배 모듈은,
상기 콘텐츠 내 복수 개의 객체가 존재하는 경우, 상기 복수 개의 객체들 중 상기 콘텐츠가 분배되는 검증 단말과 관련되지 않은 객체에 대해 상기 경계 박스 및 상기 예비 라벨을 삭제하고 상기 검증 단말로 전송하는, 영상 처리 서비스 시스템.
The method according to claim 5,
The preliminary label server detects an object included in the content to generate a bounding box,
The work distribution module,
If there are a plurality of objects in the content, image processing for deleting the boundary box and the preliminary label for the object that is not associated with the verification terminal to which the content is distributed among the plurality of objects, and transmits to the verification terminal Service system.
청구항 1에 있어서,
상기 분류 관리 서버는,
상기 예비 라벨링 된 콘텐츠 대비 기 설정된 비율로 최종 라벨링 된 콘텐츠를 상기 복수 개의 검증 단말로 각각 전송하고, 상기 최종 라벨링 된 콘텐츠에 대한 각 검증 단말의 검증 결과를 기반으로 각 검증 단말의 신뢰도를 산출하는, 영상 처리 서비스 시스템.
The method according to claim 1,
The classification management server,
Transmitting final labeled content to each of the plurality of verification terminals at a preset ratio to the pre-labeled content, and calculating reliability of each verification terminal based on verification results of each verification terminal for the final labeled content; Image processing service system.
청구항 7에 있어서,
상기 분류 관리 서버는,
상기 최종 라벨링 된 콘텐츠 내 각 객체의 라벨과 상기 검증 단말이 상기 최종 라벨링 된 콘텐츠 내 각 객체에 대해 부여한 라벨의 일치 여부에 따라 해당 검증 단말의 신뢰도를 조정하는, 영상 처리 서비스 시스템.
The method according to claim 7,
The classification management server,
And adjusting the reliability of the verification terminal according to whether the label of each object in the final labeled content and the label given by the verification terminal for each object in the final labeled content match.
청구항 8에 있어서,
상기 분류 관리 서버는,
상기 각 검증 단말의 신뢰도에 따라 상기 예비 라벨링 된 콘텐츠의 분배를 재조정하는, 영상 처리 서비스 시스템.
The method according to claim 8,
The classification management server,
And readjust the distribution of the pre-labeled content according to the reliability of each verification terminal.
청구항 1에 있어서,
상기 분류 관리 서버는,
상기 검증 단말로부터 상기 콘텐츠 내 소정 객체의 클릭된 위치 정보를 수신하는 경우, 상기 콘텐츠 내 상기 객체의 클릭된 위치 정보를 기반으로 상기 객체의 경계 박스에 대한 정보, 상기 객체의 종류에 대한 정보, 및 상기 객체가 콘텐츠 내 차지하는 영역에 대한 정보 중 하나 이상을 생성하는, 영상 처리 서비스 시스템.
The method according to claim 1,
The classification management server,
When receiving clicked position information of a predetermined object in the content from the verification terminal, information on the bounding box of the object, information on the type of the object, based on clicked position information of the object in the content, and And generate one or more of information about an area occupied by the object in content.
청구항 1에 있어서,
상기 분류 관리 서버는,
상기 콘텐츠 내 예비 라벨링 된 객체에 대해 해당 객체가 분류될 확률이 기 설정된 임계 확률 이상인 분류 태그를 추출하고, 추출한 분류 태그를 상기 검증 단말로 전송하는, 영상 처리 서비스 시스템.
The method according to claim 1,
The classification management server,
And extracting a classification tag having a probability of classifying the object preliminarily labeled for the pre-labeled object in the content or more, and transmitting the extracted classification tag to the verification terminal.
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고,
상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
상기 하나 이상의 프로그램들은,
제1 기계 학습 엔진을 기반으로 콘텐츠 내에 포함된 객체를 검출하여 경계 박스를 생성하기 위한 명령;
제2 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체의 종류를 판별하기 위한 명령;
제3 기계 학습 엔진을 기반으로 상기 콘텐츠 내에 포함된 객체가 차지하는 영역을 표시하기 위한 명령;
상기 콘텐츠 내에 포함된 객체의 경계 박스에 대한 정보, 상기 콘텐츠 내에 포함된 객체의 종류에 대한 정보, 및 상기 콘텐츠 내의 객체가 차지하는 영역에 대한 정보 중 하나 이상에 기반하여 상기 콘텐츠 내 객체에 대해 예비 라벨을 생성하기 위한 명령;
상기 객체에 대해 예비 라벨이 생성된 콘텐츠를 분류 관리 서버로 전송하기 위한 명령;
상기 분류 관리 서버로부터 최종 라벨링 된 콘텐츠를 수신하기 위한 명령; 및
상기 최종 라벨링 된 콘텐츠를 기반으로 상기 제1 기계 학습 엔진, 상기 제2 기계 학습 엔진, 및 상기 제3 기계 학습 엔진 중 하나 이상을 추가 학습시키기 위한 명령을 포함하는, 컴퓨팅 장치.
One or more processors;
Memory; And
Contains one or more programs,
The one or more programs are stored in the memory and configured to be executed by the one or more processors,
The one or more programs,
Instructions for detecting an object included in the content based on the first machine learning engine to generate a bounding box;
Instructions for determining a type of object included in the content based on a second machine learning engine;
Instructions for displaying a region occupied by an object included in the content based on a third machine learning engine;
A preliminary label for the object in the content based on one or more of information about a bounding box of an object included in the content, information on a type of object included in the content, and information on an area occupied by an object in the content; Instructions for generating a message;
Transmitting a content for which a preliminary label has been generated for the object to a classification management server;
Instructions for receiving a final labeled content from the classification management server; And
And instructions for further learning one or more of the first machine learning engine, the second machine learning engine, and the third machine learning engine based on the last labeled content.
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고,
상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
상기 하나 이상의 프로그램들은,
예비 라벨 서버로부터 하나 이상의 객체가 포함되고 상기 객체에 대해 예비 라벨이 생성된 콘텐츠를 수신하기 위한 명령; 및
상기 콘텐츠 내 객체의 종류 및 상기 콘텐츠 내 검출되지 못한 객체의 존재 여부 중 하나 이상에 따라 상기 콘텐츠를 복수 개의 검증 단말로 분배하기 위한 명령을 포함하는, 컴퓨팅 장치.
One or more processors;
Memory; And
Contains one or more programs,
The one or more programs are stored in the memory and configured to be executed by the one or more processors,
The one or more programs,
Instructions for receiving from the preliminary label server content that includes one or more objects and for which preliminary labels have been generated for the object; And
And distributing the content to a plurality of verification terminals in accordance with one or more of a type of object in the content and the presence or absence of an object not detected in the content.
청구항 13에 있어서,
상기 콘텐츠를 복수 개의 검증 단말로 분배하기 위한 명령은,
상기 콘텐츠 내 객체의 예비 라벨을 확인하고, 상기 복수 개의 검증 단말들 중 상기 확인된 예비 라벨과 대응되는 객체 종류를 검증하는 검증 단말로 해당 콘텐츠를 분배하기 위한 명령을 포함하는, 컴퓨팅 장치.
The method according to claim 13,
Instructions for distributing the content to a plurality of verification terminals,
And identifying a preliminary label of an object in the content and distributing the corresponding content to a verifying terminal verifying an object type corresponding to the identified preliminary label among the plurality of verifying terminals.
청구항 14에 있어서,
상기 객체에 대해 예비 라벨이 생성된 콘텐츠는, 상기 객체에 대해 경계 박스가 생성되어 있고,
상기 콘텐츠를 분배하기 위한 명령은,
상기 콘텐츠 내 복수 개의 객체가 존재하는 경우, 상기 복수 개의 객체들 중 상기 콘텐츠가 분배되는 검증 단말과 관련되지 않은 객체에 대해 상기 경계 박스 및 상기 예비 라벨을 삭제하기 위한 명령을 포함하는, 컴퓨팅 장치.
The method according to claim 14,
The content for which the preliminary label is generated for the object has a bounding box for the object.
The command for distributing the content is:
And when there are a plurality of objects in the content, deleting the bounding box and the preliminary label for an object that is not associated with a verification terminal to which the content is distributed among the plurality of objects.
청구항 13에 있어서,
상기 하나 이상의 프로그램들은,
상기 예비 라벨이 생성된 콘텐츠 대비 기 설정된 비율로 최종 라벨링 된 콘텐츠를 상기 복수 개의 검증 단말로 각각 전송하기 위한 명령; 및
상기 최종 라벨링 된 콘텐츠에 대한 각 검증 단말의 검증 결과를 기반으로 각 검증 단말의 신뢰도를 산출하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
The method according to claim 13,
The one or more programs,
Instructions for transmitting the final labeled content to the plurality of verification terminals, respectively, at a predetermined ratio relative to the content for which the preliminary label is generated; And
And calculating a reliability of each verification terminal based on a verification result of each verification terminal for the last labeled content.
청구항 16에 있어서,
상기 신뢰도를 산출하기 위한 명령은,
상기 최종 라벨링 된 콘텐츠 내 각 객체의 라벨과 상기 검증 단말이 상기 최종 라벨링 된 콘텐츠 내 각 객체에 대해 부여한 라벨의 일치 여부에 따라 해당 검증 단말의 신뢰도를 조정하기 위한 명령을 포함하는, 컴퓨팅 장치.
The method according to claim 16,
The command for calculating the reliability,
And adjusting the reliability of the verification terminal according to whether the label of each object in the final labeled content matches the label given to each object in the final labeled content by the verification terminal.
청구항 17에 있어서,
상기 하나 이상의 프로그램들은,
상기 각 검증 단말의 신뢰도에 따라 상기 예비 라벨이 생성된 콘텐츠의 분배를 재조정하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
The method according to claim 17,
The one or more programs,
And re-adjusting the distribution of the content for which the preliminary label has been generated according to the reliability of each verification terminal.
청구항 13에 있어서,
상기 하나 이상의 프로그램들은,
상기 검증 단말로부터 상기 콘텐츠 내 소정 객체의 클릭된 위치 정보를 수신하기 위한 명령; 및
상기 콘텐츠 내 상기 객체의 클릭된 위치 정보를 기반으로 상기 객체의 경계 박스에 대한 정보, 상기 객체의 종류에 대한 정보, 및 상기 객체가 콘텐츠 내 차지하는 영역에 대한 정보 중 하나 이상을 생성하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
The method according to claim 13,
The one or more programs,
Instructions for receiving clicked position information of a predetermined object in the content from the verification terminal; And
A command for generating one or more of information on a bounding box of the object, information on a type of the object, and information on a region occupied by the object based on the clicked position information of the object in the content. Further comprising a computing device.
청구항 13에 있어서,
상기 하나 이상의 프로그램들은,
상기 콘텐츠 내 예비 라벨링 된 객체에 대해 해당 객체가 분류될 확률이 기 설정된 임계 확률 이상인 분류 태그를 추출하기 위한 명령; 및
추출한 분류 태그를 상기 검증 단말로 전송하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
The method according to claim 13,
The one or more programs,
Extracting a classification tag having a probability that the object is classified for the pre-labeled object in the content more than a predetermined threshold probability; And
And transmitting the extracted classification tag to the verification terminal.
KR1020180048683A 2018-04-26 2018-04-26 Computing device and artificial intelligence based image processing service system using the same KR102117543B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180048683A KR102117543B1 (en) 2018-04-26 2018-04-26 Computing device and artificial intelligence based image processing service system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180048683A KR102117543B1 (en) 2018-04-26 2018-04-26 Computing device and artificial intelligence based image processing service system using the same

Publications (2)

Publication Number Publication Date
KR20190124559A true KR20190124559A (en) 2019-11-05
KR102117543B1 KR102117543B1 (en) 2020-06-01

Family

ID=68576850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180048683A KR102117543B1 (en) 2018-04-26 2018-04-26 Computing device and artificial intelligence based image processing service system using the same

Country Status (1)

Country Link
KR (1) KR102117543B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102176458B1 (en) * 2019-11-18 2020-11-09 셀렉트스타 주식회사 Method and apparatus for Performing Box Drawing for Data Labeling
KR102176443B1 (en) * 2019-11-18 2020-11-09 셀렉트스타 주식회사 Method and Device for Data Labeling
KR20210058768A (en) * 2020-05-18 2021-05-24 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. Method and device for labeling objects
KR102310595B1 (en) * 2021-02-10 2021-10-13 주식회사 인피닉 Annotation method of setting object properties using proposed information, and computer program recorded on record-medium for executing method thereof
KR102310585B1 (en) * 2021-02-10 2021-10-13 주식회사 인피닉 Annotation method of assigning object simply, and computer program recorded on record-medium for executing method thereof
KR20210147443A (en) * 2020-05-29 2021-12-07 (주)씽크포비엘 Method and apparatus for labeling multi-channel image training data based on crowd verification
KR102356909B1 (en) * 2021-05-13 2022-02-08 주식회사 인피닉 Annotation method of assigning object and setting object properties for learning data of artificial intelligence, and computer program recorded on record-medium for executing method thereof
KR102489448B1 (en) * 2022-07-05 2023-01-18 주식회사 뷰이 A system for providing data labeling services

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256409B1 (en) 2020-11-23 2021-05-25 주식회사 에이모 Method of generating a learning data set and computer apparatus for generating a learning data set
KR102555733B1 (en) * 2020-12-29 2023-07-14 케이웨어 (주) Object management for improving machine learning performance, control method thereof
KR102301635B1 (en) 2021-02-04 2021-09-13 주식회사 에이모 Method of inferring bounding box using artificial intelligence model and computer apparatus of inferring bounding box
KR102265678B1 (en) 2021-03-23 2021-06-16 주식회사 에이모 Method of predicting difficulty of bounding box work in the image file and computer apparatus conducting thereof
KR102337692B1 (en) 2021-04-16 2021-12-09 주식회사 에이모 Method of detecting error-suspicious bounding box and computer apparatus conducting thereof
KR102337693B1 (en) 2021-04-16 2021-12-09 주식회사 에이모 Method of detecting omitted or wrong result of bounding box work and computer apparatus conducting thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003317082A (en) * 2002-04-25 2003-11-07 Dainippon Screen Mfg Co Ltd Classification assisting apparatus, classifying apparatus, and program
KR20060006769A (en) * 2003-03-03 2006-01-19 마이크로소프트 코포레이션 Feedback loop for spam prevention
KR20070039795A (en) 2005-10-10 2007-04-13 삼성전자주식회사 Method and apparatus for clustering photographs
WO2016147653A1 (en) * 2015-03-19 2016-09-22 日本電気株式会社 Object detection device, object detection method, and recording medium
KR101887415B1 (en) * 2017-11-21 2018-08-10 주식회사 크라우드웍스 Program and method for checking data labeling product

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003317082A (en) * 2002-04-25 2003-11-07 Dainippon Screen Mfg Co Ltd Classification assisting apparatus, classifying apparatus, and program
KR20060006769A (en) * 2003-03-03 2006-01-19 마이크로소프트 코포레이션 Feedback loop for spam prevention
KR20070039795A (en) 2005-10-10 2007-04-13 삼성전자주식회사 Method and apparatus for clustering photographs
WO2016147653A1 (en) * 2015-03-19 2016-09-22 日本電気株式会社 Object detection device, object detection method, and recording medium
KR101887415B1 (en) * 2017-11-21 2018-08-10 주식회사 크라우드웍스 Program and method for checking data labeling product

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Alexander J. Quinn 외 3명. CrowdFlow: Integrating Machine Learning with Mechanical Turk for Speed-Cost-Quality Flexibility. 2010년 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102176458B1 (en) * 2019-11-18 2020-11-09 셀렉트스타 주식회사 Method and apparatus for Performing Box Drawing for Data Labeling
KR102176443B1 (en) * 2019-11-18 2020-11-09 셀렉트스타 주식회사 Method and Device for Data Labeling
WO2021101357A1 (en) * 2019-11-18 2021-05-27 셀렉트스타 주식회사 Method and apparatus for drawing bounding box for data labeling
KR20210058768A (en) * 2020-05-18 2021-05-24 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. Method and device for labeling objects
KR20210147443A (en) * 2020-05-29 2021-12-07 (주)씽크포비엘 Method and apparatus for labeling multi-channel image training data based on crowd verification
KR102310595B1 (en) * 2021-02-10 2021-10-13 주식회사 인피닉 Annotation method of setting object properties using proposed information, and computer program recorded on record-medium for executing method thereof
KR102310585B1 (en) * 2021-02-10 2021-10-13 주식회사 인피닉 Annotation method of assigning object simply, and computer program recorded on record-medium for executing method thereof
KR102356909B1 (en) * 2021-05-13 2022-02-08 주식회사 인피닉 Annotation method of assigning object and setting object properties for learning data of artificial intelligence, and computer program recorded on record-medium for executing method thereof
KR102489448B1 (en) * 2022-07-05 2023-01-18 주식회사 뷰이 A system for providing data labeling services

Also Published As

Publication number Publication date
KR102117543B1 (en) 2020-06-01

Similar Documents

Publication Publication Date Title
KR102117543B1 (en) Computing device and artificial intelligence based image processing service system using the same
US20200110965A1 (en) Method and apparatus for generating vehicle damage information
CN108171203B (en) Method and device for identifying vehicle
US11790632B2 (en) Method and apparatus for sample labeling, and method and apparatus for identifying damage classification
WO2022179138A1 (en) Image processing method and apparatus, and computer device and storage medium
CN109359194B (en) Method and apparatus for predicting information categories
CN109284801B (en) Traffic indicator lamp state identification method and device, electronic equipment and storage medium
US11164450B2 (en) Traffic flow at intersections
KR20200075072A (en) A method and apparatus for detecting an object in an image by matching a bounding box on a space-time basis
US20230150530A1 (en) Violation Inspection System Based on Visual Sensing of Self-Driving Vehicle and Method Thereof
CN111859002A (en) Method and device for generating interest point name, electronic equipment and medium
CN109635868B (en) Method and device for determining obstacle type, electronic device and storage medium
CN114140649A (en) Bill classification method, bill classification device, electronic apparatus, and storage medium
CN114490910A (en) Map generation method and device, electronic equipment and storage medium
US11727522B2 (en) Method, system, and apparatus for damage assessment and classification
CN113936232A (en) Screen fragmentation identification method, device, equipment and storage medium
CN112654999B (en) Method and device for determining labeling information
CN111639903A (en) Review processing method for architecture change and related equipment
US20230067033A1 (en) Vision-based document language identification by joint supervision
CN116964588A (en) Target detection method, target detection model training method and device
CN112445473A (en) Client layout method and device, storage medium and electronic equipment
US20210312323A1 (en) Generating performance predictions with uncertainty intervals
CN112328763A (en) Intention recognition method, device, dialogue method and system
CN113963322B (en) Detection model training method and device and electronic equipment
US11847861B2 (en) Method and system for providing signature recognition and attribution service for digital documents

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant