KR101982990B1 - Method and apparatus for questioning and answering using chatbot - Google Patents

Method and apparatus for questioning and answering using chatbot Download PDF

Info

Publication number
KR101982990B1
KR101982990B1 KR1020180170657A KR20180170657A KR101982990B1 KR 101982990 B1 KR101982990 B1 KR 101982990B1 KR 1020180170657 A KR1020180170657 A KR 1020180170657A KR 20180170657 A KR20180170657 A KR 20180170657A KR 101982990 B1 KR101982990 B1 KR 101982990B1
Authority
KR
South Korea
Prior art keywords
image data
character
query
response
response message
Prior art date
Application number
KR1020180170657A
Other languages
Korean (ko)
Inventor
김영재
김두현
박근영
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020180170657A priority Critical patent/KR101982990B1/en
Application granted granted Critical
Publication of KR101982990B1 publication Critical patent/KR101982990B1/en
Priority to PCT/KR2019/007698 priority patent/WO2020138607A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G06F17/2755
    • G06K9/00402
    • G06Q50/30
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • G06K2209/01
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Operations Research (AREA)

Abstract

Disclosed are a method and an apparatus for questioning and answering using a chatbot. The method for questioning and answering using a chatbot comprises the following steps: receiving a user input including a target of a question through a user interface; determining whether the target of the question is image data; performing image data pre-processing for image data, when the target of the question is the image data; detecting a character from the image data in which the image data pre-processing is performed; selecting an answer message corresponding to the image data from candidate answer messages stored in a database, based on a character extracted from the image data; and providing the selected answer message to a user.

Description

챗봇을 이용한 질의 응답 방법 및 장치{METHOD AND APPARATUS FOR QUESTIONING AND ANSWERING USING CHATBOT}[0001] METHOD AND APPARATUS FOR QUESTIONING AND ANNSWERING USING CHATBOT [0002]

아래 실시예들은 챗봇을 이용하여 질의 응답을 하는 기술에 관한 것이다.The following embodiments relate to a technique for performing a query response using a chatbot.

챗봇은 메신저에 채팅하듯 질문을 입력하면 인공지능(AI)이 질문 내용을 분석하여 적절한 해답을 주는 대화형 메신저이다. 최근 국내외 유수 기업들은 고객지원 서비스에 챗봇을 도입해 고객 응대에 필요한 인력을 줄임과 동시에 24시간 빠르게 응답을 처리하여 고객지원 서비스의 품질 향상을 도모하고 있다.Chatbot is an interactive messenger that allows AI to analyze questions and provide appropriate answers when a question is typed like chatting on a messenger. In recent years, leading domestic and foreign companies have introduced chatbot as a customer support service to reduce the manpower required for customer service and to improve the quality of customer support service by processing the response quickly 24 hours a day.

한편, 챗봇이 인식하여 응답할 수 있는 질의 대상이 텍스트 데이터에 국한되어 있어, 텍스트 데이터의 질의를 제공하기 어려운 사용자는 챗봇 기능을 활용하는 데에 큰 어려움이 발생할 수 있다. 이러한 문제점들을 해결하기 위하여, 다양한 형태의 데이터를 인식함으로써 더욱 폭넓은 질의 응답 기능을 제공할 수 있는 챗봇의 개발을 위한 기술적 수단이 요구된다.On the other hand, since the query object to which the chatbot can recognize and respond is limited to the text data, a user having difficulty in providing the query of the text data may have a great difficulty in utilizing the chatbot function. To solve these problems, there is a need for technical means for developing a chatbot that can provide a wider range of quality of response by recognizing various types of data.

일 실시예에 따른 챗봇을 이용한 질의 응답 방법은, 사용자 인터페이스를 통해 질의 대상을 포함하는 사용자 입력을 수신하는 단계; 상기 질의 대상이 이미지 데이터인지 여부를 판단하는 단계; 상기 질의 대상이 상기 이미지 데이터인 경우, 상기 이미지 데이터에 이미지 데이터 전처리를 수행하는 단계; 상기 이미지 데이터 전처리가 수행된 상기 이미지 데이터에서 문자를 검출하는 단계; 상기 이미지 데이터에서 추출한 문자에 기초하여, 데이터베이스에 저장된 후보 응답 메시지들 중 상기 이미지 데이터에 대응하는 응답 메시지를 선택하는 단계; 및 상기 선택된 응답 메시지를 사용자에게 제공하는 단계를 포함할 수 있다.A query response method using a chatbot according to an embodiment includes: receiving a user input including a query object through a user interface; Determining whether the query object is image data; Performing image data preprocessing on the image data when the query object is the image data; Detecting a character in the image data in which the image data preprocessing has been performed; Selecting a response message corresponding to the image data among the candidate response messages stored in the database based on the characters extracted from the image data; And providing the selected response message to a user.

상기 이미지 데이터 전처리를 수행하는 단계는, 상기 이미지 데이터의 해상도 조정, 상기 이미지 데이터의 컬러를 회색조로 변경 및 상기 이미지 데이터의 이진화 중 적어도 하나를 수행하는 단계를 포함할 수 있다.The step of performing the image data preprocessing may include performing at least one of resolution adjustment of the image data, change of the color of the image data to grayscale, and binarization of the image data.

상기 이미지 데이터에서 문자를 검출하는 단계는, 광학 문자 인식(Optical Character Recognition)을 이용하여 상기 이미지 데이터에 포함된 문자를 검출하는 단계를 포함할 수 있다.The step of detecting a character in the image data may include detecting a character included in the image data using optical character recognition.

일 실시예에 따른 챗봇을 이용한 질의 응답 방법은, 상기 이미지 데이터에서 검출된 문자의 문자열의 개수가 미리 설정된 임계값 이하인 경우, 상기 문자열 전체를 토큰화하는 단계; 및 상기 토큰화된 문자열 전체를 토큰 리스트로 리스트화하는 단계를 더 포함할 수 있다.The query response method using the chatbot according to an exemplary embodiment of the present invention includes: tokenizing the entire character string when the number of character strings detected in the image data is equal to or less than a preset threshold value; And listing the entire tokenized string as a token list.

일 실시예에 따른 챗봇을 이용한 질의 응답 방법은, 상기 이미지 데이터에서 추출된 문자의 문자열의 개수가 미리 설정된 임계값보다 큰 경우, 상기 문자열 전체를 토큰화하는 단계; 상기 토큰화된 문자열 중 상기 임계값에 기초한 개수만큼 임의 추출하는 단계; 및 상기 임의 추출된 토큰화된 문자열을 토큰 리스트로 리스트화하는 단계를 더 포함할 수 있다.The query response method using a chatbot according to an exemplary embodiment of the present invention includes: tokenizing the entire character string when the number of character strings extracted from the image data is greater than a preset threshold value; Extracting a number of tokenized strings based on the threshold value; And listing the arbitrarily extracted tokenized string as a token list.

상기 응답 메시지를 선택하는 단계는, 상기 토큰 리스트에 대해 형태소 분석을 수행하는 단계; 및 상기 형태소 분석 결과와 상기 데이터베이스에 저장된 후보 응답 메시지들을 비교하고, 상기 비교 결과에 기초하여 상기 이미지 데이터에 대응하는 응답 메시지를 선택하는 단계를 포함할 수 있다.The step of selecting the response message may include performing morpheme analysis on the token list; And comparing the morpheme analysis result with candidate response messages stored in the database, and selecting a response message corresponding to the image data based on the comparison result.

상기 형태소 분석을 수행하는 단계는, 상기 토큰 리스트에 포함된 문자열의 형태소 분석을 통해 문자열에 포함되어 있는 단어들을 추출하고, 추출된 단어들 중에서 서로 중복되는 단어를 제거하는 단계를 포함할 수 있다.The step of performing morpheme analysis may include extracting words included in the character string through morphological analysis of the character string included in the token list and removing duplicated words from the extracted words.

상기 응답 메시지를 선택하는 단계는, 상기 데이터베이스에 저장된 후보 응답 메시지들에 포함된 단어들과 상기 토큰 리스트에 포함된 문자열로부터 추출된 단어들 간의 유사도를 계산하는 단계; 및 상기 후보 응답 메시지들 중에서 상기 유사도가 미리 설정된 조건을 만족시키는 후보 응답 메시지를 상기 이미지 데이터에 대응하는 응답 메시지로 선택하는 단계를 포함할 수 있다.The step of selecting the response message may include calculating a similarity between words included in candidate response messages stored in the database and words extracted from a string included in the token list; And selecting, as a response message corresponding to the image data, a candidate response message in which the similarity satisfies a predetermined condition among the candidate response messages.

상기 유사도가 미리 설정된 조건을 만족시키지 않는 경우, 응답 불가 메시지를 포함하는 응답 메시지를 상기 사용자에게 제공하는 단계를 더 포함할 수 있다.And providing the user with a response message including a response unavailable message if the similarity does not satisfy a predetermined condition.

일 실시예에 따른 챗봇을 이용한 질의 응답 방법은, 사용자 인터페이스를 통해 질의 대상을 포함하는 사용자 입력을 수신하는 단계; 상기 질의 대상이 이미지 데이터인지 여부를 판단하는 단계; 상기 질의 대상이 상기 이미지 데이터인 경우, 상기 이미지 데이터에서 문자를 검출하는 단계; 상기 이미지 데이터에서 검출된 문자의 문자열의 개수가 미리 설정된 임계값 이하인 경우, 상기 문자열 전체를 토큰화하여 토큰 리스트를 생성하는 단계; 데이터베이스에 저장된 후보 응답 메시지들에 포함된 단어들과 상기 토큰 리스트에 포함된 문자열로부터 추출된 단어들 간의 유사도를 계산하는 단계; 상기 유사도에 기초하여 상기 후보 응답 메시지들 중 상기 이미지 데이터에 대응하는 응답 메시지를 선택하는 단계; 및 상기 선택된 응답 메시지를 사용자에게 제공하는 단계를 포함할 수 있다.A query response method using a chatbot according to an embodiment includes: receiving a user input including a query object through a user interface; Determining whether the query object is image data; Detecting a character in the image data when the query object is the image data; Generating a token list by tokenizing the entire character string when the number of character strings detected in the image data is equal to or less than a preset threshold value; Calculating a degree of similarity between words included in candidate response messages stored in a database and words extracted from a string included in the token list; Selecting a response message corresponding to the image data among the candidate response messages based on the similarity; And providing the selected response message to a user.

일 실시예에 따른 챗봇을 이용한 질의 응답 방법은, 상기 이미지 데이터에서 추출된 문자의 문자열의 개수가 미리 설정된 임계값보다 큰 경우, 상기 문자열 전체를 토큰화하는 단계; 상기 토큰화된 문자열 중 상기 임계값에 기초한 개수만큼 임의 추출하는 단계; 및 상기 임의 추출된 토큰화된 문자열을 토큰 리스트로 리스트화하는 단계를 더 포함할 수 있다.The query response method using a chatbot according to an exemplary embodiment of the present invention includes: tokenizing the entire character string when the number of character strings extracted from the image data is greater than a preset threshold value; Extracting a number of tokenized strings based on the threshold value; And listing the arbitrarily extracted tokenized string as a token list.

상기 응답 메시지를 선택하는 단계는, 상기 데이터베이스에 저장된 후보 응답 메시지들에 포함된 단어들과 상기 토큰 리스트에 포함된 문자열로부터 추출된 단어들 간의 유사도를 계산하는 단계; 및 상기 후보 응답 메시지들 중에서 상기 유사도가 미리 설정된 조건을 만족시키는 후보 응답 메시지를 상기 이미지 데이터에 대응하는 응답 메시지로 선택하는 단계를 포함할 수 있다.The step of selecting the response message may include calculating a similarity between words included in candidate response messages stored in the database and words extracted from a string included in the token list; And selecting, as a response message corresponding to the image data, a candidate response message in which the similarity satisfies a predetermined condition among the candidate response messages.

일 실시예에 따른 챗봇을 이용한 질의 응답 방법은, 상기 유사도가 미리 설정된 조건을 만족시키지 않는 경우, 응답 불가 메시지를 포함하는 응답 메시지를 상기 사용자에게 제공하는 단계를 더 포함할 수 있다.The query response method using the chatbot according to an exemplary embodiment may further include providing a response message including a response unavailable message to the user when the similarity does not satisfy a predetermined condition.

일 실시예에 따른 챗봇을 이용한 질의 응답 장치는, 질의 대상을 포함하는 사용자 입력을 수신하는 사용자 인터페이스; 상기 질의 대상이 이미지 데이터인지 여부를 판단하는 판단부; 상기 질의 대상이 상기 이미지 데이터인 경우, 상기 이미지 데이터에 이미지 데이터 전처리를 수행하는 이미지 데이터 전처리부; 상기 이미지 데이터 전처리가 수행된 상기 이미지 데이터에서 문자를 검출하는 문자 검출부; 상기 이미지 데이터에서 추출한 문자에 기초하여, 데이터베이스에 저장된 후보 응답 메시지들 중 상기 이미지 데이터에 대응하는 응답 메시지를 선택하는 처리부; 및 상기 선택된 응답 메시지를 사용자에게 제공하는 출력부를 포함할 수 있다.A query response apparatus using a chatbot according to an exemplary embodiment includes a user interface for receiving a user input including a query target; A determination unit determining whether the query object is image data; An image data preprocessing unit for preprocessing image data on the image data when the query object is the image data; A character detector for detecting a character in the image data subjected to the image data preprocessing; A processing unit for selecting a response message corresponding to the image data among the candidate response messages stored in the database based on the characters extracted from the image data; And an output unit for providing the selected response message to a user.

상기 이미지 데이터 전처리부는, 상기 이미지 데이터의 해상도 조정, 상기 이미지 데이터의 컬러를 회색조로 변경 및 상기 이미지 데이터의 이진화 중 적어도 하나를 수행할 수 있다.The image data preprocessing unit may perform at least one of resolution adjustment of the image data, change of the color of the image data to grayscale, and binarization of the image data.

상기 문자 검출부는, 광학 문자 인식(Optical Character Recognition)을 이용하여 상기 이미지 데이터에 포함된 문자를 검출할 수 있다.The character detecting unit may detect a character included in the image data by using optical character recognition.

상기 문자 검출부는, 상기 이미지 데이터에서 검출된 문자의 문자열의 개수가 미리 설정된 임계값 이하인 경우, 상기 문자열 전체를 토큰화하고, 상기 토큰화된 문자열 전체를 토큰 리스트로 리스트화할 수 있다.If the number of character strings detected in the image data is equal to or less than a preset threshold value, the character detecting unit may tokenize the entire character string and list the entire tokenized character string as a token list.

상기 문자 검출부는, 상기 이미지 데이터에서 추출된 문자의 문자열의 개수가 미리 설정된 임계값보다 큰 경우, 상기 문자열 전체를 토큰화하고, 상기 토큰화된 문자열 중 상기 임계값에 기초한 개수만큼 임의 추출하고, 상기 임의 추출된 토큰화된 문자열을 토큰 리스트로 리스트화할 수 있다.Wherein the character detection unit is configured to tokenize the entire character string if the number of character strings extracted from the image data is greater than a preset threshold value and to randomly extract a number of the tokenized character strings based on the threshold value, The arbitrary extracted tokenized character string may be listed in a token list.

상기 처리부는, 상기 데이터베이스에 저장된 후보 응답 메시지들에 포함된 단어들과 상기 토큰 리스트에 포함된 문자열로부터 추출된 단어들 간의 유사도를 계산하고, 상기 후보 응답 메시지들 중에서 상기 유사도가 미리 설정된 조건을 만족시키는 후보 응답 메시지를 상기 이미지 데이터에 대응하는 응답 메시지로 선택할 수 있다.Wherein the processing unit calculates a degree of similarity between words included in candidate response messages stored in the database and words extracted from a character string included in the token list and if the degree of similarity satisfies a predetermined condition among the candidate response messages May be selected as a response message corresponding to the image data.

상기 처리부는, 상기 유사도가 미리 설정된 조건을 만족시키지 않는 경우, 응답 불가 메시지를 포함하는 응답 메시지를 선택할 수 있다.The processing unit may select a response message including a response unavailable message if the similarity does not satisfy a preset condition.

일 실시예에 따르면, 챗봇을 이용한 질의 응답 방법에서 질의 대상이 텍스트 데이터에 한정되지 않고, 이미지 데이터가 포함된 질의 대상에 대한 응답을 제공할 수 있어 보다 다양한 형태의 질의 응답이 가능해 진다..According to one embodiment, in a query response method using a chatbot, a query object is not limited to text data but can provide a response to a query object including image data, thereby enabling various types of query responses.

일 실시예에 따르면, 이미지 데이터가 포함된 질의 대상을 입력받아 이미지 데이터에 포함된 문자를 검출하고, 검출된 문자를 기반으로 챗봇 장치의 데이터베이스에 저장된 후보 응답 메시지 중 가장 유사도가 높은 후보 응답 메시지를 응답 데이터로 선택하여 제공함으로써 이미지 데이터가 포함된 질의 대상에 대해서도 적절한 응답 데이터 제공이 가능해 진다.According to one embodiment, a query object including image data is received, and a character included in the image data is detected. Based on the detected character, a candidate response message having the highest degree of similarity among the candidate response messages stored in the database of the chat- It is possible to provide appropriate response data for the query object including the image data.

도 1은 일 실시예에 따른 챗봇을 이용한 질의 응답 시스템의 전체적인 구성을 도시한 도면이다.
도 2는 일 실시예에 따른 챗봇을 이용한 질의 응답 방법의 동작을 설명하기 위한 흐름도이다.
도 3 및 도 4는 일 실시예에 따른 챗봇을 이용한 질의 응답 방법의 일례를 설명하기 위한 흐름도들이다.
도 5는 일 실시예에 따른 챗봇을 이용한 질의 응답 장치의 구성을 도시하는 도면이다.
FIG. 1 is a diagram showing the overall configuration of a question and answer system using a chatbot according to an embodiment.
2 is a flowchart illustrating an operation of a query response method using a chatbot according to an exemplary embodiment.
FIG. 3 and FIG. 4 are flowcharts for explaining an example of a query response method using a chatbot according to an embodiment.
5 is a diagram showing a configuration of a question answering device using a chatbot according to an embodiment.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.In the following, embodiments will be described in detail with reference to the accompanying drawings. However, various modifications may be made in the embodiments, and the scope of the patent application is not limited or limited by these embodiments. It is to be understood that all changes, equivalents, and alternatives to the embodiments are included in the scope of the right.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for descriptive purposes only and are not to be construed as limiting. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this embodiment belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. In the following description of the embodiments, a detailed description of related arts will be omitted if it is determined that the gist of the embodiments may be unnecessarily blurred.

도 1은 일 실시예에 따른 챗봇을 이용한 질의 응답 시스템의 전체적인 구성을 도시한 도면이다.FIG. 1 is a diagram showing the overall configuration of a question and answer system using a chatbot according to an embodiment.

도 1을 참조하면, 챗봇을 이용한 질의 응답 장치(100)는 사용자로부터 질의를 받으면 질의에 대응하는 응답을 챗봇(chatbot)을 이용하여 사용자에게 제공하는 장치이다. 예를 들어, 질의 응답 장치(100)는 텍스트 형태의 질의뿐만 아니라 이미지 형태의 질의를 수신할 수도 있고, 각각의 질의를 분석하여 질의에 적합한 최적의 응답을 도출하여 사용자에게 제공할 수 있다.Referring to FIG. 1, a query response device 100 using a chatbot is a device that provides a response corresponding to a query to a user using a chatbot when receiving a query from a user. For example, the Q & A apparatus 100 may receive not only a text form query but also an image form query, analyzing each query, and deriving an optimal response suitable for the query and providing the query to the user.

질의 응답 장치(100)는 이미지 데이터를 분석하는 이미지 데이터 분석부(105), 형태소를 분석하는 형태소 분석부(110) 및 응답 메시지를 선택하여 사용자에게 제공하는 응답 메시지 제공부(115) 및 사용자 입력을 수신할 수 있는 사용자 인터페이스(160)를 포함할 수 있다.The Q & A apparatus 100 includes an image data analyzing unit 105 for analyzing image data, a morpheme analyzing unit 110 for analyzing morphemes, a response message providing unit 115 for selecting and providing a response message to a user, And a user interface 160 that can receive the data.

일 실시예에서 이미지 데이터 분석부(105)는 수신한 이미지 데이터에 이미지 데이터 전처리를 수행하는 이미지 데이터 전처리부(120), 이미지 데이터 전처리가 수행된 이미지 데이터에서 문자를 검출하는 문자 검출부(125) 및 검출된 문자의 문자열을 토큰화하여 토큰화된 문자열을 토큰 리스트로 리스트화하는 토큰화 수행부(130)를 포함할 수 있다.In one embodiment, the image data analyzing unit 105 includes an image data preprocessing unit 120 for preprocessing image data on the received image data, a character detecting unit 125 for detecting a character in image data subjected to image data preprocessing, And a tokenization performing unit 130 for tokenizing the character string of the detected character and listing the tokenized character string as a token list.

형태소 분석부(110)는 사용자 입력에 포함된 질의 대상이 이미지 데이터인 경우에, 토큰 리스트로 리스트화된 문자열에 형태소 분석을 수행하여 단어를 검출하고, 중복된 단어를 제거하는 처리부 2(135) 및 사용자 입력에 포함된 질의 대상이 텍스트 데이터인 경우에, 텍스트 데이터에 대해 형태소 분석을 통한 문장 성분 분석 결과를 태그로 분류하여 텍스트 데이터에 태그 정보를 추가하는 처리부 1(140)을 포함할 수 있다. 응답 메시지 제공부(115)는 형태소 분석부(110)에서 전달받은 형태소 분석 결과와 후보 응답 메시지 간의 유사도를 계산하여 미리 설정된 유사도 조건을 만족시키는 후보 응답 메시지를 응답 메시지로 선택하는 처리부(145), 후보 응답 메시지를 저장하는 데이터베이스(150) 및 응답 메시지를 사용자에게 제공할 수 있는 출력부(155)를 포함할 수 있다.The morpheme analysis unit 110 includes a processing unit 2 (135) for performing morpheme analysis on a string listed in the token list to detect a word and removing duplicated words when the query subject included in the user input is image data, And a processing unit 1 140 for classifying the sentence component analysis result through morphological analysis on the text data and adding the tag information to the text data when the inquiry object included in the user input is text data . The response message providing unit 115 includes a processing unit 145 for calculating a similarity between the morpheme analysis result received from the morpheme analysis unit 110 and the candidate response message and selecting a candidate response message satisfying a preset similarity condition as a response message, A database 150 for storing a candidate response message, and an output unit 155 for providing a response message to a user.

위 실시예에서, 사용자로부터 수신한 사용자 입력에 포함된 질의 대상이 이미지 데이터일 경우, 사용자로부터 수신한 이미지 데이터는 이미지 데이터 전처리부(120)에서 이미지 데이터 전처리가 수행될 수 있다. 이미지 데이터 전처리부(120)는 문자 검출부(125)가 이미지 데이터에 포함된 문자를 검출할 수 있도록 이미지 데이터 전처리를 수행한다. 이미지 데이터 전처리부(120)는 이미지 데이터에 대해 해상도를 조정하고, 이미지 데이터의 컬러를 회색조로 변경하여 이미지 데이터의 이진화를 수행할 수 있다. 문자 검출부(125)는 이미지 데이터 전처리가 수행된 이미지 데이터에서 문자를 검출할 수 있다. 문자 검출부(125)는 이미지 데이터에 포함된 문자를 기계가 읽을 수 있는 문자로 변환하는 광학 문자 인식(Optical Character Recognition) 기능을 활용하여 전처리가 수행된 이미지 데이터에서 문자를 검출할 수 있다. 문자 검출부(125)에서 검출된 문자의 문자열은 토큰화 수행부(130)에서 토큰화될 수 있고, 토큰화된 문자열은 토큰 리스트로 리스트화될 수 있다.In the above embodiment, when the query object included in the user input received from the user is image data, the image data preprocessing unit 120 may pre-process the image data received from the user. The image data preprocessing unit 120 performs image data preprocessing so that the character detection unit 125 can detect characters included in the image data. The image data preprocessing unit 120 may adjust the resolution of the image data and convert the color of the image data into grayscale to perform binarization of the image data. The character detecting unit 125 can detect a character in image data subjected to image data preprocessing. The character detecting unit 125 can detect a character in the preprocessed image data by utilizing an optical character recognition function for converting a character included in the image data into a machine-readable character. The character string detected by the character detecting unit 125 may be tokenized in the tokenizing unit 130, and the tokenized character string may be listed in the token list.

이미지 데이터 분석부(105)에서 이미지 데이터 전처리가 수행되고, 문자가 검출되고, 토큰화가 수행된 후 리스트화된 문자열의 토큰 리스트는 형태소 분석부(110)에 포함된 처리부 2(135)에서 형태소 분석이 수행될 수 있다. 처리부 2(135)는 토큰 리스트에 포함된 문자열의 형태소 분석을 통해 문자열에 포함되어 있는 단어들을 추출할 수 있다. 형태소 분석 결과는 응답 메시지 제공부(115)에 포함된 처리부(145)에서 데이터베이스(150)에 저장되어 있는 후보 응답 메시지 간의 유사도가 계산될 수 있다. 처리부(145)는 형태소 분석 결과에 포함된 단어들과 후보 응답 메시지에 포함된 단어들 간의 유사도를 계산하여, 미리 설정된 유사도 조건을 만족하는 후보 응답 메시지를 응답 메시지로 선택할 수 있다. 유사도 조건을 만족하는 후보 응답 메시지가 없을 경우, 처리부(145)는 응답 불가 메시지를 응답 메시지로 선택할 수 있다. 출력부(155)는 처리부(145)에서 선택한 응답 메시지를 사용자 인터페이스를 통해 사용자에게 제공할 수 있다.After the image data preprocessing is performed in the image data analyzing unit 105, the characters are detected, and the tokenizing is performed, the token list of the listed strings is subjected to morphological analysis in the processing unit 2 135 included in the morpheme analysis unit 110 Can be performed. The processing unit 2 (135) can extract the words included in the character string through morphological analysis of the character string included in the token list. The similarity between the candidate response messages stored in the database 150 in the processing unit 145 included in the response message providing unit 115 may be calculated. The processing unit 145 may calculate the similarity between the words included in the morpheme analysis result and the words included in the candidate response message and select the candidate response message satisfying the preset similarity condition as a response message. If there is no candidate response message satisfying the similarity condition, the processing unit 145 may select the response-disabled message as a response message. The output unit 155 may provide the user with a response message selected by the processing unit 145 through the user interface.

다른 실시예에서, 사용자로부터 수신한 사용자 입력에 포함된 질의 대상이 텍스트 데이터일 경우, 사용자는 챗봇을 이용한 질의 응답 장치(100)의 형태소 분석부(110)와 응답 메시지 제공부(115)를 통해 질의 대상과 연관된 답변을 제공받을 수 있다. 텍스트 데이터는 형태소 분석부(110)에 포함된 처리부 1(140)에서 형태소 분석을 통한 문장 성분 분석이 수행되어, 문장 성분 분석 결과를 태그로 분류하여 텍스트 데이터에 태그 정보가 추가될 수 있다. 형태소 분석을 통한 문장 성분 분석 결과는 응답 메시지 제공부(115)에 포함된 처리부(150)에서 데이터베이스(150)에 저장된 후보 응답 메시지 간에 문장 구조 패턴이 일치하는지 여부를 판단할 수 있다. 형태소 분석 결과와 패턴이 일치하는 후보 응답 메시지가 존재하는 것으로 판단되는 경우, 처리부(150)는 형태소 분석 결과와 패턴이 일치하는 후보 응답 메시지를 응답 메시지로 선택할 수 있다. 형태소 분석 결과와 패턴이 일치하는 후보 응답 메시지가 존재하지 않거나 두 개 이상 존재하는 경우, 처리부(150)는 응답 불가 메시지를 응답 메시지로 선택할 수 있다. 처리부(150)에서 선택된 응답 메시지는, 출력부(155)를 통해 사용자에게 제공될 수 있다.In another embodiment, when the inquiry object included in the user input received from the user is text data, the user can access the morphological analysis unit 110 of the question answering machine 100 using the chatbot and the response message providing unit 115 You can be provided with answers related to the query subject. The text data is analyzed by morphological analysis in the processing unit 1 140 included in the morpheme analysis unit 110, and tag information is added to the text data by classifying the sentence component analysis result into a tag. The analysis result of the sentence component through the morpheme analysis can determine whether or not the sentence structure pattern matches the candidate response messages stored in the database 150 in the processing unit 150 included in the response message providing unit 115. If it is determined that there is a candidate response message whose pattern matches the morpheme analysis result, the processor 150 may select a candidate response message having a pattern identical to the morpheme analysis result as a response message. If there is no candidate response message having the same pattern as the morpheme analysis result, or if there are two or more candidate response messages, the processing unit 150 may select a response-disabled message as a response message. The response message selected by the processing unit 150 may be provided to the user through the output unit 155. [

이하에서는, 도면들을 참조하여 챗봇을 이용한 질의 응답 방법을 보다 자세히 설명한다.Hereinafter, a query response method using a chatbot will be described in more detail with reference to the drawings.

도 2는 일 실시예에 따른 챗봇을 이용한 질의 응답 방법의 동작을 설명하기 위한 흐름도이다. 챗봇을 이용한 질의 응답 방법은 본 명세서에서 설명되는 챗봇을 이용한 질의 응답 장치에 의해 수행될 수 있다.2 is a flowchart illustrating an operation of a query response method using a chatbot according to an exemplary embodiment. The query response method using the chatbot can be performed by the query response apparatus using the chatbot described in this specification.

도 2를 참조하면, 단계(210)에서 질의 응답 장치는 사용자 인터페이스를 통해 질의 대상을 포함하는 사용자 입력을 수신할 수 있다. 일 실시예에서, 챗봇은 이미지, 텍스트 등의 형태의 데이터를 포함하는 질의 대상을 사용자 입력으로 수신할 수 있다.Referring to FIG. 2, in step 210, the query response device may receive user input including a query object via a user interface. In one embodiment, the chatbot may receive, as user input, a query subject that includes data in the form of images, text, and the like.

단계(220)에서 질의 응답 장치는 질의 대상이 이미지 데이터인지 여부를 판단할 수 있다. 사용자 입력에 포함된 질의 대상이 이미지 데이터인 것으로 판단되는 경우, 단계(230)에서 질의 응답 장치는 이미지 데이터에 이미지 데이터 전처리를 수행할 수 있다. 일 실시예에서, 질의 응답 장치는 사용자 입력으로 수신한 이미지 데이터의 해상도 조정, 이미지 데이터의 컬러를 회색조로 변경 및 이미지 데이터의 이진화 등을 수행할 수 있다.In step 220, the query response device may determine whether the query object is image data. If it is determined that the query object contained in the user input is image data, the query response apparatus can perform image data preprocessing on the image data in step 230. [ In one embodiment, the query response device may perform resolution adjustment of image data received at the user input, change the color of the image data to grayscale, and binarize the image data.

단계(240)에서, 질의 응답 장치는 해상도 조정, 컬러를 회색조로 변경 및 미리 설정된 임계값을 기준으로 한 이진화 등을 통해 이미지 데이터 전처리가 수행된 이미지 데이터에서 문자를 검출할 수 있다.In step 240, the question answering device can detect a character in the image data subjected to image data preprocessing through resolution adjustment, color change to grayscale, and binarization based on a preset threshold value.

일 실시예에서, 질의 응답 장치는 광학 문자 인식(OCR)을 이용하여 이미지 데이터에 포함된 문자를 검출할 수 있다. 여기서, 광학 문자 인식은 이미지 데이터에 포함된 문자를 기계가 읽을 수 있는 문자로 변환하는 기능을 의미할 수 있다. 광학 문자 인식을 통해 이미지 데이터에서 검출된 문자는 문자열의 공백문자를 기준으로 토큰화될 수 있고, 문자열의 분량이 일정 기준치, 즉 미리 정해진 임계값을 초과하는 경우, 토큰화된 문자열 중 임계값에 기초한 개수만큼 문자열을 임의 추출할 수 있다. 예를 들어, 문자의 문자열의 개수가 미리 설정된 임계값 이하인 경우, 문자열 전체를 토큰화하고, 토큰화된 문자열 전체를 토큰 리스트로 리스트화할 수 있다. 반면에, 문자의 문자열의 개수가 미리 설정된 임계값보다 큰 경우, 문자열 전체를 토큰화하고, 토큰화된 문자열 중 임계값의 다섯 배에 달하는 개수만큼 토큰화된 문자열을 임의로 추출할 수 있다. 또한, 임의 추출된 토큰화된 문자열을 토큰 리스트로 리스트화할 수 있다. In one embodiment, the Q ' response device can detect characters contained in image data using optical character recognition (OCR). Here, optical character recognition may mean a function of converting a character included in image data into a machine-readable character. The characters detected in the image data through optical character recognition can be tokenized based on the whitespace character of the string, and when the amount of the character string exceeds a certain reference value, that is, a predetermined threshold value, The number of strings can be arbitrarily extracted based on the number of bases. For example, if the number of character strings is less than or equal to a preset threshold value, the entire string may be tokenized and the entire tokenized string may be listed as a token list. On the other hand, if the number of character strings is greater than a preset threshold value, the entire character string can be tokenized and the tokenized character string can be extracted as many as five times as many as the threshold value among the tokenized strings. In addition, the arbitrarily extracted tokenized character string can be listed in the token list.

단계(250)에서, 질의 응답 장치는 이미지 데이터에서 추출한 문자에 기초하여, 데이터베이스에 저장된 후보 응답 메시지들 중 이미지 데이터에 대응하는 응답 메시지를 선택할 수 있다.In step 250, the query response device may select a response message corresponding to the image data, among the candidate response messages stored in the database, based on the characters extracted from the image data.

일 실시예에서, 질의 응답 장치는 토큰화된 문자열로 구성된 토큰 리스트에 대해 형태소 분석을 수행할 수 있다. 여기서, 형태소 분석은 토큰화된 문자열을 뜻을 가진 가장 작은 말의 단위로 분류하는 것을 의미할 수 있다. 또한 형태소 분석은 토큰 리스트에 포함된 문자열의 형태소 분석을 통해 문자열에 포함되어 있는 단어들을 추출하고, 추출된 단어들 중에서 서로 중복되는 단어를 제거하는 과정이 포함될 수 있다. 질의 응답 장치는 형태소 분석을 통해 문자열에서 추출된 단어들과 데이터베이스에 저장된 후보 응답 메시지들에 포함된 단어들 간의 유사도를 계산할 수 있다. 질의 응답 장치는 후보 응답 메시지들 중에서 계산된 유사도가 미리 설정된 조건을 만족시키는 후보 응답 메시지를 이미지 데이터에 대응하는 응답 메시지를 선택할 수 있다. 이때, 미리 설정된 조건을 만족시키는 유사도에 대응하는 후보 응답 메시지가 없을 경우, 질의 응답 장치는 응답 불가 메시지를 포함하는 응답 메시지를 선택할 수 있다.In one embodiment, the query response device may perform morphological analysis on a token list comprised of tokenized strings. Here, morpheme analysis can mean tokenized strings are categorized into the smallest unit of words with their meanings. Also, the morphological analysis may include a process of extracting words included in a character string through morphological analysis of a string included in the token list, and removing duplicated words from the extracted words. The query response device can calculate the similarity between the words extracted from the character string and the words included in the candidate response messages stored in the database through morphological analysis. The query response apparatus can select a response message corresponding to the image data as the candidate response message in which the degree of similarity calculated in the candidate response messages satisfies predetermined conditions. At this time, if there is no candidate response message corresponding to the degree of similarity satisfying the predetermined condition, the QA device can select the response message including the response-disabled message.

단계(260)에서, 질의 응답 장치는 선택된 응답 메시지를 사용자에게 제공할 수 있다.At step 260, the query response device may provide the user with a selected response message.

다른 실시예에서, 단계 (220)에서 질의 응답 장치는 질의 대상이 이미지 데이터인지 여부를 판단한 결과, 질의 대상이 이미지 데이터가 아닌 것으로 판단된 경우, 단계(270)에서, 사용자 입력에 포함된 텍스트 데이터에 포함된 문자를 검출할 수 있다.In another embodiment, in step 220, the query response device determines in step 270 that the query object is not image data as a result of determining whether the query object is image data, Can be detected.

도 3 및 도 4는 일 실시예에 따른 질의 응답 방법의 일례를 설명하기 위한 흐름도들이다.3 and 4 are flowcharts for explaining an example of a query response method according to an embodiment.

도3을 참조하면, 단계(305)에서 질의 응답 장치는 사용자 인터페이스를 통해 사용자로부터 질의 대상을 포함하는 사용자 입력을 수신할 수 있다. 일 실시예에 따르면, 사용자 입력은 이미지 데이터 및 텍스트 데이터를 포함할 수 있다.Referring to FIG. 3, in step 305, the query response device may receive user input including a query object from a user via a user interface. According to one embodiment, the user input may include image data and text data.

단계(310)에서, 질의 응답 장치는 사용자 입력에 포함된 질의 대상이 이미지 데이터인지 여부를 판단할 수 있다. 단계(310)에서 사용자 입력에 포함된 질의 대상이 텍스트 데이터로 판단되는 경우, 단계(350)에서 질의 응답 장치는 형태소 분석을 통한 문장 성분 분석 결과를 태그로 분류하여 텍스트 데이터에 태그 정보를 추가할 수 있다.In step 310, the query response device may determine whether the query target contained in the user input is image data. If the query object included in the user input is determined to be text data in step 310, the query response apparatus classifies the results of the sentence component analysis through morphological analysis into tags and adds the tag information to the text data in step 350 .

이와 다르게, 사용자 입력에 포함된 질의 대상이 이미지 데이터로 판단되는 경우, 질의 응답 장치는 단계(315)에서 수신한 이미지 데이터에 대한 이미지 데이터 전처리를 수행할 수 있다. 이미지 데이터 전처리를 수행하는 과정에서 질의 응답 장치는 이미지 데이터의 해상도를 문자 추출이 용이한 해상도로 조정할 수 있고, 이미지 데이터의 컬러를 회색조로 변경하여 적응적 경계화(Adaptive Threshold)를 통해 이미지 데이터의 이진화를 수행할 수 있다. 이미지 데이터를 구역으로 나누어 구역별로 각각 이진화를 처리하는 적응적 경계화를 통해 이미지 데이터의 이진화를 수행함으로써, 이미지 데이터 전처리부는 이미지 데이터의 전체를 기준으로 이진화를 수행하는 것보다 이미지 데이터에 포함된 문자를 추출하기에 용이한 이미지 데이터의 이진화를 수행할 수 있다.Alternatively, if the query object contained in the user input is determined to be image data, the QA device may perform image data preprocessing on the image data received in step 315. In the course of performing the image data preprocessing, the query response apparatus can adjust the resolution of the image data to a resolution that facilitates character extraction, and changes the color of the image data to grayscale so that the image data is converted into grayscale by adaptive thresholding Binarization can be performed. The image data preprocessing unit performs the binarization of the image data through the adaptive alerting process in which the binarization is performed for each zone by dividing the image data into zones, It is possible to perform binarization of image data that is easy to extract.

단계(320)에서, 질의 응답 장치는 이미지 데이터에서 문자를 검출할 수 있다. 일 실시예에서, 질의 응답 장치가 이미지 데이터에서 문자를 검출하기 위하여 광학 문자 인식(Optical Character Recognition) 기능을 활용할 수 있다.In step 320, the query response device may detect the character in the image data. In one embodiment, the QA device may utilize Optical Character Recognition functionality to detect characters in the image data.

단계(320)에서 검출된 문자와 관련하여, 단계(325)에서 질의 응답 장치는 문자의 문자열 개수가 미리 설정된 임계값보다 큰지 또는 이하인지 여부를 판단할 수 있다. 검출된 문자열의 개수가 미리 설정된 임계값보다 크다고 판단된 경우, 단계(330)에서, 질의 응답 장치는 전체 문자열을 문자열의 공백문자를 기준으로 토큰화할 수 있고, 토큰화된 문자열 중 임계값의 N배(N은 자연수)에 달하는 개수만큼 토큰화된 문자열을 임의로 추출할 수 있다. 검출된 문자열의 개수가 미리 설정된 임계값보다 작거나 같다고 판단된 경우, 단계(335)에서, 질의 응답 장치는 전체 문자열을 문자열의 공백문자를 기준으로 토큰화할 수 있다.With respect to the character detected in step 320, the query response device in step 325 may determine whether the number of characters in the character string is greater than or equal to a predetermined threshold value. If it is determined in step 330 that the number of detected strings is greater than a preset threshold value, the QA device can tokenize the entire string based on the space character of the string, and the N of the tokenized strings A tokenized string can be arbitrarily extracted as many as the number of times (N is a natural number). If it is determined that the number of detected strings is less than or equal to a predetermined threshold value, then in step 335, the query response device can tokenize the entire string based on the whitespace character of the string.

단계(340)에서 질의 응답 장치는 단계(330) 및 단계(335)에서 토큰화된 문자열을 토큰 리스트로 리스트화할 수 있다.In step 340, the query response device may list the tokenized strings in step 330 and step 335 into a token list.

단계(345)에서, 질의 응답 장치는 토큰 리스트에 포함된 문자열에 형태소 분석을 수행할 수 있다. 형태소 분석을 통해, 예를 들어 “철수가 책을 읽었다”의 문장은 “철수/가/책/을/읽/었/다”로 분석될 수 있다. 일 실시예에서, 질의 응답 장치는 형태소 분석을 수행을 통해 분류된 문자열 중에서 단어들을 추출할 수 있고, 추출된 단어들 중에서 중복되는 단어들을 제거할 수 있다.At step 345, the query response device may perform a morphological analysis on the string included in the token list. Through a morphological analysis, for example, the sentence "I have read a book" can be analyzed as "withdrawn / read / read / read / read". In one embodiment, the question answering device can extract words from the strings sorted through the morphological analysis and remove redundant words from the extracted words.

단계(345)를 수행한 결과로 문자열에서 추출된 단어 및 단계(350)을 수행한 결과로 분석된 텍스트 데이터를 기반으로, 단계(355)에서 질의 응답 장치는 형태소 분석 결과를 생성할 수 있다.Based on the word extracted from the string as a result of step 345 and the text data analyzed as a result of performing step 350, the query response apparatus can generate a morphological analysis result in step 355.

이후에, 도 4를 참조하면, 도3의 단계(355)에서 생성된 형태소 분석 결과를 기반으로, 단계(405)에서 질의 응답 장치는 질의 대상이 이미지 데이터인지 여부를 판단할 수 있다. 질의 대상이 이미지 데이터로 판단된 경우, 단계(410)에서 질의 응답 장치는 형태소 분석 결과와 데이터베이스에 저장된 후보 응답 메시지 간의 유사도를 계산할 수 있다.Thereafter, referring to FIG. 4, based on the morpheme analysis result generated in step 355 of FIG. 3, in step 405, the QA device may determine whether the query object is image data. If the query object is determined to be image data, the query response device may calculate the similarity between the morpheme analysis result and the candidate response message stored in the database in step 410.

일 실시예에서, 형태소 분석 결과에 포함된 단어들과 데이터베이스에 저장된 후보 응답 메시지 간의 유사도를 계산하는 방법은 다음과 같을 수 있다. 질의 응답 장치는 데이터베이스에 저장된 각각의 후보 응답 메시지에 포함된 단어들을 검출하여 각 후보 응답 메시지에 대응하는 리스트로 리스트화할 수 있다. 형태소 분석 결과에 포함된 단어들과 리스트에 포함된 후보 응답 메시지에 대응하는 단어들 중에서 서로 일치하는 단어의 개수를, 후보 응답 메시지에 대응하는 리스트에 포함된 단어의 개수로 나눠 형태소 분석 결과에 포함된 단어들과 데이터베이스에 저장된 후보 응답 메시지 간의 유사도를 계산할 수 있다.In one embodiment, the method of calculating the similarity between the words included in the morpheme analysis result and the candidate response message stored in the database may be as follows. The query response apparatus can detect words included in each candidate response message stored in the database and list them in a list corresponding to each candidate response message. The number of words matching each other among the words included in the morpheme analysis result and the words corresponding to the candidate response message included in the list is divided into the number of words included in the list corresponding to the candidate response message and included in the morpheme analysis result And the similarity between candidate words and the candidate response message stored in the database can be calculated.

단계(415)에서, 질의 응답 장치는 데이터베이스에 저장된 후보 응답 메시지들에 대응하는 유사도들 중에서 미리 정해진 유사도의 조건을 만족하는 후보 응답 메시지가 존재하는지 여부를 판단할 수 있다. 미리 정해진 유사도의 조건은 예를 들어, 계산된 유사도들 중에서 최댓값에 대응하는 후보 응답 메시지가 단 하나인 경우가 될 수 있다. 유사도의 최댓값에 대응하는 후보 응답 메시지가 2개 이상 존재하거나, 0개인 경우에는 미리 정해진 유사도의 조건을 만족하는 후보 응답 메시지가 존재하지 않는다고 판단될 수 있다. In step 415, the query response apparatus can determine whether there is a candidate response message satisfying a condition of a predetermined degree of similarity among the similarities corresponding to the candidate response messages stored in the database. The predetermined similarity condition may be, for example, a case where there is only one candidate response message corresponding to the maximum value among the calculated similarities. If there are two or more candidate response messages corresponding to the maximum value of the similarity degree, or if there are 0, it can be determined that there is no candidate response message satisfying the predetermined similarity condition.

미리 정해진 유사도의 조건을 만족하는 후보 응답 메시지가 존재하는 경우, 단계(420)에서 질의 응답 장치는 해당 후보 응답 메시지를 응답 메시지로 선택할 수 있다. 반대로, 미리 정해진 유사도의 조건을 만족하는 후보 응답 메시지가 존재하지 않는 경우, 단계(425)에서 질의 응답 장치는 질의 대상에 대응하는 응답 메시지로 응답 불가 메시지를 선택할 수 있다.If there is a candidate response message satisfying a predetermined similarity condition, the query response device may select the corresponding candidate response message as a response message in step 420. On the other hand, if there is no candidate response message satisfying the predetermined similarity condition, the query response device can select the response unavailable message in the response message corresponding to the query object in step 425. [

질의 대상이 이미지 데이터로 판단되지 않은 경우, 단계(435)에서 질의 응답 장치는 질의 대상에 대응하는 텍스트 데이터의 형태소 분석 결과를 기반으로 형태소 분석 결과와 패턴이 일치하는 후보 응답 메시지가 존재하는지 여부를 판단할 수 있다.If the query object is not determined to be image data, the query response apparatus determines whether there is a candidate response message whose pattern matches the morphological analysis result based on the morpheme analysis result of the text data corresponding to the query object in step 435 It can be judged.

형태소 분석 결과와 문장 구조 패턴이 일치하는 후보 응답 메시지가 존재하는 것으로 판단되는 경우, 단계(440)에서 질의 응답 장치는 형태소 분석 결과와 문장 구조 패턴이 일치하는 후보 응답 메시지를 응답 메시지로 선택할 수 있다. 이와 달리, 형태소 분석 결과와 문장 구조 패턴이 일치하는 후보 응답 메시지가 존재하지 않는 것으로 판단되는 경우, 단계(425)에서 질의 응답 장치는 응답 메시지로 응답 불가 메시지를 선택할 수 있다.If it is determined that there is a candidate response message in which the morpheme analysis result and the sentence structure pattern coincide with each other, the query response apparatus can select a candidate response message in which the morpheme analysis result and the sentence structure pattern coincide with each other as a response message in step 440 . Alternatively, if it is determined that there is no candidate response message that matches the morpheme analysis result and the sentence structure pattern, the QA device can select the non-response message in the response message in step 425.

단계(430)에서 질의 응답 장치는 선택된 응답 메시지를 질의 대상에 대한 응답으로 사용자에게 제공할 수 있다.In step 430, the query response device may provide the selected response message to the user in response to the query subject.

도 5는 일 실시예에 따른 챗봇을 이용한 질의 응답 장치의 구성을 도시하는 도면이다.5 is a diagram showing a configuration of a question answering device using a chatbot according to an embodiment.

도5를 참조하면, 질의 응답 장치(500)는 사용자 입력 인터페이스(510), 판단부(520), 이미지 데이터 전처리부(530), 문자 검출부(540), 처리부(550), 출력부(560) 및 데이터베이스(570)를 포함할 수 있다.5, the Q & A apparatus 500 includes a user input interface 510, a determination unit 520, an image data preprocessing unit 530, a character detection unit 540, a processing unit 550, an output unit 560, And a database 570.

사용자 입력 인터페이스(510)는 사용자로부터 질의 대상을 포함하는 사용자 입력을 수신할 수 있다. 판단부(520)는 사용자 입력 인터페이스(510)에서 수신한 사용자 입력에 포함된 질의 대상이 이미지 데이터인지 여부를 판단할 수 있다. 질의 대상이 이미지 데이터로 판단된 경우, 이미지 데이터 전처리부(530)는 이미지 데이터에 이미지 데이터 전처리를 수행할 수 있다. 여기서, 이미지 데이터 전처리는 이미지 데이터에서 문자를 추출하기 적절한 크기로 이미지 데이터의 크기를 조정, 이미지 데이터의 컬러를 회색조로 변경 및 미리 설정된 임계값을 기준으로 이미지 데이터를 이진화하는 등의 과정이 포함될 수 있다.The user input interface 510 may receive a user input that includes a query object from a user. The determination unit 520 may determine whether the query object included in the user input received from the user input interface 510 is image data. If the query object is determined to be image data, the image data preprocessing unit 530 may perform image data preprocessing on the image data. Here, the image data preprocessing may include a process of adjusting the size of the image data to an appropriate size for extracting characters from the image data, changing the color of the image data to grayscale, and binarizing the image data based on a predetermined threshold value have.

문자 검출부(540)는 이미지 데이터 전처리가 수행된 이미지 데이터에서 문자를 검출할 수 있다. 문자 검출부(540)는 광학 문자 인식을 이용하여 이미지 데이터에 포함된 문자를 검출할 수 있다. 광학 문자 인식을 통해 이미지 데이터에서 검출된 문자는 문자의 문자열의 개수가 미리 설정된 임계값 이하인 경우와 미리 설정된 임계값보다 큰 경우를 분류하여 상이한 방식으로 문자열을 토큰화하고 토큰화된 문자열을 토큰 리스트로 리스트화할 수 있다. The character detecting unit 540 can detect a character in image data subjected to image data preprocessing. The character detecting unit 540 can detect a character included in the image data using optical character recognition. The characters detected in the image data through the optical character recognition are classified into a case where the number of character strings is less than or equal to a predetermined threshold value and a case where the number of character strings is greater than a predetermined threshold value to tokenize the character string in a different manner, As shown in FIG.

이미지 데이터에서 검출된 문자의 문자열의 개수가 미리 설정된 임계값보다 작거나 같은 경우, 문자 검출부(540)는 문자열 전체를 토큰화하고, 토큰화된 문자열 전체를 토큰 리스트로 리스트화할 수 있다. 반면에, 이미지 데이터에서 검출된 문자의 문자열의 개수가 미리 설정된 임계값보다 큰 경우에, 문자 검출부(540)는 문자열 전체를 토큰화하고, 토큰화된 문자열 중에서 임계값에 기초한 개수만큼 임의로 토큰을 추출할 수 있다. 여기서 추출된 토큰화된 문자열은 토큰 리스트로 리스트화될 수 있다. 임계값에 기초한 개수는 예를 들어, 임계값의 5배에 달하는 개수가 될 수 있다.If the number of characters of the character detected in the image data is smaller than or equal to a preset threshold value, the character detecting unit 540 can tokenize the entire character string and list the entire tokenized character string as a token list. On the other hand, when the number of character strings of the character detected in the image data is larger than a predetermined threshold value, the character detecting unit 540 tokenizes the entire character string, and randomly generates a token from the tokenized character string Can be extracted. The extracted tokenized strings may be listed in a token list. The number based on the threshold value can be, for example, five times the threshold value.

처리부(550)는 이미지 데이터에서 추출한 문자에 기초하여, 데이터베이스(570)에 저장된 후보 응답 메시지들 중 이미지 데이터에 대응하는 응답 메시지를 선택할 수 있다. The processing unit 550 can select a response message corresponding to the image data among the candidate response messages stored in the database 570 based on the characters extracted from the image data.

일 실시예에서, 처리부(550)는 문자 검출부(540)에서 리스트화 한 토큰 리스트에 대해 형태소 분석을 수행할 수 있다. 처리부(550)가 수행한 형태소 분석의 결과로 추출된 단어들 중에서 중복된 단어들은 제거될 수 있다. 처리부(550)는 토큰 리스트에서 추출된 단어들을 데이터베이스(570)에 저장된 후보 응답 메시지들에 포함된 단어들과 유사도를 계산할 수 있다. 계산된 유사도 중에서 가장 높은 값을 가진 유사도에 대응하는 후보 응답 메시지가 응답 메시지로 선택될 수 있다. 가장 높은 값을 가진 하나의 유사도가 존재하지 않는 경우, 처리부(550)는 응답 불가 메시지를 응답 메시지로 선택할 수 있다. 출력부(560)는 선택된 응답 메시지를 사용자에게 제공할 수 있다.In one embodiment, the processing unit 550 may perform morphological analysis on the list of tokens listed in the character detection unit 540. As a result of the morphological analysis performed by the processing unit 550, redundant words among the extracted words can be removed. The processing unit 550 may calculate similarities with the words included in the candidate response messages stored in the database 570 from the words extracted from the token list. A candidate response message corresponding to the degree of similarity having the highest value among the calculated similarities may be selected as a response message. If there is not one similarity having the highest value, the processing unit 550 can select the response-disabled message as a response message. The output unit 560 may provide the selected response message to the user.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (21)

챗봇을 이용한 질의 응답 방법에 있어서,
사용자 인터페이스를 통해 질의 대상을 포함하는 사용자 입력을 수신하는 단계;
상기 질의 대상이 이미지 데이터인지 여부를 판단하는 단계;
상기 질의 대상이 상기 이미지 데이터인 경우, 상기 이미지 데이터에 이미지 데이터 전처리를 수행하는 단계;
상기 이미지 데이터 전처리가 수행된 상기 이미지 데이터에서 문자를 검출하는 단계;
상기 이미지 데이터에서 검출된 문자의 문자열의 개수가 미리 설정된 임계값 이하인 경우, 상기 문자열을 토큰화하는 단계;
상기 토큰화된 문자열을 토큰 리스트로 리스트화하는 단계;
상기 토큰 리스트와 상기 이미지 데이터에서 검출한 문자에 기초하여, 데이터베이스에 저장된 후보 응답 메시지들 중 상기 이미지 데이터에 대응하는 응답 메시지를 선택하는 단계; 및
상기 선택된 응답 메시지를 사용자에게 제공하는 단계
를 포함하는,
챗봇을 이용한 질의 응답 방법.
In a query response method using a chatbot,
Receiving a user input including a query object via a user interface;
Determining whether the query object is image data;
Performing image data preprocessing on the image data when the query object is the image data;
Detecting a character in the image data in which the image data preprocessing has been performed;
Tokenizing the character string if the number of characters of the character detected in the image data is equal to or less than a preset threshold value;
Listing the tokenized string as a token list;
Selecting a response message corresponding to the image data among the candidate response messages stored in the database based on the token list and the character detected in the image data; And
Providing the selected response message to a user
/ RTI >
A query response method using chatbots.
제1항에 있어서,
상기 이미지 데이터 전처리를 수행하는 단계는,
상기 이미지 데이터의 해상도 조정, 상기 이미지 데이터의 컬러를 회색조로 변경 및 상기 이미지 데이터의 이진화 중 적어도 하나를 수행하는 단계
를 포함하는,
챗봇을 이용한 질의 응답 방법.
The method according to claim 1,
Wherein the performing the image data preprocessing comprises:
Adjusting the resolution of the image data, changing the color of the image data to grayscale, and performing at least one of binarizing the image data
/ RTI >
A query response method using chatbots.
제1항에 있어서,
상기 이미지 데이터에서 문자를 검출하는 단계는,
광학 문자 인식(Optical Character Recognition)을 이용하여 상기 이미지 데이터에 포함된 문자를 검출하는 단계
를 포함하는,
챗봇을 이용한 질의 응답 방법.
The method according to claim 1,
Wherein the step of detecting a character in the image data comprises:
Detecting a character included in the image data using optical character recognition
/ RTI >
A query response method using chatbots.
삭제delete 챗봇을 이용한 질의 응답 방법에 있어서,
사용자 인터페이스를 통해 질의 대상을 포함하는 사용자 입력을 수신하는 단계;
상기 질의 대상이 이미지 데이터인지 여부를 판단하는 단계;
상기 질의 대상이 상기 이미지 데이터인 경우, 상기 이미지 데이터에 이미지 데이터 전처리를 수행하는 단계;
상기 이미지 데이터 전처리가 수행된 상기 이미지 데이터에서 문자를 검출하는 단계;
상기 이미지 데이터에서 검출된 문자의 문자열의 개수가 미리 설정된 임계값보다 큰 경우, 상기 문자열을 토큰화하는 단계;
상기 토큰화된 문자열 중 상기 임계값에 기초한 개수만큼 임의 추출하는 단계;
상기 임의 추출된 토큰화된 문자열을 토큰 리스트로 리스트화하는 단계;
상기 토큰 리스트와 상기 이미지 데이터에서 검출한 문자에 기초하여, 데이터베이스에 저장된 후보 응답 메시지들 중 상기 이미지 데이터에 대응하는 응답 메시지를 선택하는 단계; 및
상기 선택된 응답 메시지를 사용자에게 제공하는 단계
를 포함하는,
챗봇을 이용한 질의 응답 방법.
In a query response method using a chatbot,
Receiving a user input including a query object via a user interface;
Determining whether the query object is image data;
Performing image data preprocessing on the image data when the query object is the image data;
Detecting a character in the image data in which the image data preprocessing has been performed;
Tokenizing the character string if the number of characters of the character detected in the image data is greater than a preset threshold value;
Extracting a number of tokenized strings based on the threshold value;
Listing the randomly extracted tokenized string in a token list;
Selecting a response message corresponding to the image data among the candidate response messages stored in the database based on the token list and the character detected in the image data; And
Providing the selected response message to a user
/ RTI >
A query response method using chatbots.
제5항에 있어서,
상기 응답 메시지를 선택하는 단계는,
상기 토큰 리스트에 대해 형태소 분석을 수행하는 단계; 및
상기 형태소 분석 결과와 상기 데이터베이스에 저장된 후보 응답 메시지들을 비교하고, 상기 비교 결과에 기초하여 상기 이미지 데이터에 대응하는 응답 메시지를 선택하는 단계
를 포함하는,
챗봇을 이용한 질의 응답 방법.
6. The method of claim 5,
The step of selecting the response message comprises:
Performing morpheme analysis on the token list; And
Comparing the morpheme analysis result with a candidate response message stored in the database, and selecting a response message corresponding to the image data based on the comparison result
/ RTI >
A query response method using chatbots.
제6항에 있어서,
상기 형태소 분석을 수행하는 단계는,
상기 토큰 리스트에 포함된 문자열의 형태소 분석을 통해 문자열에 포함되어 있는 단어들을 추출하고, 추출된 단어들 중에서 서로 중복되는 단어를 제거하는 단계
를 포함하는,
챗봇을 이용한 질의 응답 방법.
The method according to claim 6,
The step of performing the morpheme analysis comprises:
Extracting words included in the character string through morphological analysis of the string included in the token list, and removing words overlapping each other among the extracted words
/ RTI >
A query response method using chatbots.
제7항에 있어서,
상기 응답 메시지를 선택하는 단계는,
상기 데이터베이스에 저장된 후보 응답 메시지들에 포함된 단어들과 상기 토큰 리스트에 포함된 문자열로부터 추출된 단어들 간의 유사도를 계산하는 단계; 및
상기 후보 응답 메시지들 중에서 상기 유사도가 미리 설정된 조건을 만족시키는 후보 응답 메시지를 상기 이미지 데이터에 대응하는 응답 메시지로 선택하는 단계
를 포함하는,
챗봇을 이용한 질의 응답 방법.
8. The method of claim 7,
The step of selecting the response message comprises:
Calculating a degree of similarity between words included in the candidate response messages stored in the database and words extracted from a string included in the token list; And
Selecting a response message corresponding to the image data among the candidate response messages, the candidate response message satisfying the predetermined condition as the similarity degree;
/ RTI >
A query response method using chatbots.
제8항에 있어서,
상기 유사도가 미리 설정된 조건을 만족시키지 않는 경우, 응답 불가 메시지를 포함하는 응답 메시지를 상기 사용자에게 제공하는 단계
를 더 포함하는,
챗봇을 이용한 질의 응답 방법.
9. The method of claim 8,
Providing a response message to the user including a response unavailable message if the similarity does not satisfy a predetermined condition
≪ / RTI >
A query response method using chatbots.
챗봇을 이용한 질의 응답 방법에 있어서,
사용자 인터페이스를 통해 질의 대상을 포함하는 사용자 입력을 수신하는 단계;
상기 질의 대상이 이미지 데이터인지 여부를 판단하는 단계;
상기 질의 대상이 상기 이미지 데이터인 경우, 상기 이미지 데이터에서 문자를 검출하는 단계;
상기 이미지 데이터에서 검출된 문자의 문자열의 개수가 미리 설정된 임계값 이하인 경우, 상기 문자열 전체를 토큰화하여 토큰 리스트를 생성하는 단계;
데이터베이스에 저장된 후보 응답 메시지들에 포함된 단어들과 상기 토큰 리스트에 포함된 문자열로부터 추출된 단어들 간의 유사도를 계산하는 단계;
상기 유사도에 기초하여 상기 후보 응답 메시지들 중 상기 이미지 데이터에 대응하는 응답 메시지를 선택하는 단계; 및
상기 선택된 응답 메시지를 사용자에게 제공하는 단계
를 포함하는,
챗봇을 이용한 질의 응답 방법.
In a query response method using a chatbot,
Receiving a user input including a query object via a user interface;
Determining whether the query object is image data;
Detecting a character in the image data when the query object is the image data;
Generating a token list by tokenizing the entire character string when the number of character strings detected in the image data is equal to or less than a preset threshold value;
Calculating a degree of similarity between words included in candidate response messages stored in a database and words extracted from a string included in the token list;
Selecting a response message corresponding to the image data among the candidate response messages based on the similarity; And
Providing the selected response message to a user
/ RTI >
A query response method using chatbots.
제10항에 있어서,
상기 이미지 데이터에서 추출된 문자의 문자열의 개수가 미리 설정된 임계값보다 큰 경우, 상기 문자열 전체를 토큰화하는 단계;
상기 토큰화된 문자열 중 상기 임계값에 기초한 개수만큼 임의 추출하는 단계; 및
상기 임의 추출된 토큰화된 문자열을 토큰 리스트로 리스트화하는 단계
를 더 포함하는,
챗봇을 이용한 질의 응답 방법.
11. The method of claim 10,
If the number of character strings extracted from the image data is greater than a predetermined threshold, tokenizing the entire character string;
Extracting a number of tokenized strings based on the threshold value; And
Listing the randomly extracted tokenized string in a token list
≪ / RTI >
A query response method using chatbots.
제10항에 있어서,
상기 응답 메시지를 선택하는 단계는,
상기 데이터베이스에 저장된 후보 응답 메시지들에 포함된 단어들과 상기 토큰 리스트에 포함된 문자열로부터 추출된 단어들 간의 유사도를 계산하는 단계; 및
상기 후보 응답 메시지들 중에서 상기 유사도가 미리 설정된 조건을 만족시키는 후보 응답 메시지를 상기 이미지 데이터에 대응하는 응답 메시지로 선택하는 단계
를 포함하는,
챗봇을 이용한 질의 응답 방법.
11. The method of claim 10,
The step of selecting the response message comprises:
Calculating a degree of similarity between words included in the candidate response messages stored in the database and words extracted from a string included in the token list; And
Selecting a response message corresponding to the image data among the candidate response messages, the candidate response message satisfying the predetermined condition as the similarity degree;
/ RTI >
A query response method using chatbots.
제12항에 있어서,
상기 유사도가 미리 설정된 조건을 만족시키지 않는 경우, 응답 불가 메시지를 포함하는 응답 메시지를 상기 사용자에게 제공하는 단계
를 더 포함하는,
챗봇을 이용한 질의 응답 방법.
13. The method of claim 12,
Providing a response message to the user including a response unavailable message if the similarity does not satisfy a predetermined condition
≪ / RTI >
A query response method using chatbots.
제1항 내지 제3항 및 제5항 내지 제13항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for causing a computer to execute the method according to any one of claims 1 to 3 and 5 to 13. 질의 대상을 포함하는 사용자 입력을 수신하는 사용자 인터페이스;
상기 질의 대상이 이미지 데이터인지 여부를 판단하는 판단부;
상기 질의 대상이 상기 이미지 데이터인 경우, 상기 이미지 데이터에 이미지 데이터 전처리를 수행하는 이미지 데이터 전처리부;
상기 이미지 데이터 전처리가 수행된 상기 이미지 데이터에서 문자를 검출하는 문자 검출부;
상기 이미지 데이터에서 검출한 문자에 기초하여, 데이터베이스에 저장된 후보 응답 메시지들 중 상기 이미지 데이터에 대응하는 응답 메시지를 선택하는 처리부; 및
상기 선택된 응답 메시지를 사용자에게 제공하는 출력부를 포함하고,
상기 문자 검출부는,
상기 이미지 데이터에서 검출된 문자의 문자열의 개수가 미리 설정된 임계값 이하인 경우, 상기 문자열을 토큰화하고,
상기 토큰화된 문자열을 토큰 리스트로 리스트화하는,
챗봇을 이용한 질의 응답 장치.
A user interface for receiving user input including a query target;
A determination unit determining whether the query object is image data;
An image data preprocessing unit for preprocessing image data on the image data when the query object is the image data;
A character detector for detecting a character in the image data subjected to the image data preprocessing;
A processing unit for selecting a response message corresponding to the image data among the candidate response messages stored in the database, based on the character detected in the image data; And
And an output unit for providing the selected response message to a user,
Wherein the character detection unit comprises:
Tokenize the character string when the number of characters of the character detected in the image data is equal to or less than a preset threshold value,
Listing the tokenized string as a token list,
Query response device using chatbot.
제15 항에 있어서,
상기 이미지 데이터 전처리부는,
상기 이미지 데이터의 해상도 조정, 상기 이미지 데이터의 컬러를 회색조로 변경 및 상기 이미지 데이터의 이진화 중 적어도 하나를 수행하는,
챗봇을 이용한 질의 응답 장치.
16. The method of claim 15,
The image data pre-
Adjusting the resolution of the image data, changing the color of the image data to grayscale, and performing binarization of the image data.
Query response device using chatbot.
제15 항에 있어서,
상기 문자 검출부는,
광학 문자 인식(Optical Character Recognition)을 이용하여 상기 이미지 데이터에 포함된 문자를 검출하는,
챗봇을 이용한 질의 응답 장치.
16. The method of claim 15,
Wherein the character detection unit comprises:
Detecting a character included in the image data using optical character recognition,
Query response device using chatbot.
삭제delete 질의 대상을 포함하는 사용자 입력을 수신하는 사용자 인터페이스;
상기 질의 대상이 이미지 데이터인지 여부를 판단하는 판단부;
상기 질의 대상이 상기 이미지 데이터인 경우, 상기 이미지 데이터에 이미지 데이터 전처리를 수행하는 이미지 데이터 전처리부;
상기 이미지 데이터 전처리가 수행된 상기 이미지 데이터에서 문자를 검출하는 문자 검출부;
상기 이미지 데이터에서 검출한 문자에 기초하여, 데이터베이스에 저장된 후보 응답 메시지들 중 상기 이미지 데이터에 대응하는 응답 메시지를 선택하는 처리부; 및
상기 선택된 응답 메시지를 사용자에게 제공하는 출력부를 포함하고,
상기 문자 검출부는,
상기 이미지 데이터에서 추출된 문자의 문자열의 개수가 미리 설정된 임계값보다 큰 경우, 상기 문자열을 토큰화하고,
상기 토큰화된 문자열 중 상기 임계값에 기초한 개수만큼 임의 추출하고,
상기 임의 추출된 토큰화된 문자열을 토큰 리스트로 리스트화하는,
챗봇을 이용한 질의 응답 장치.
A user interface for receiving user input including a query target;
A determination unit determining whether the query object is image data;
An image data preprocessing unit for preprocessing image data on the image data when the query object is the image data;
A character detector for detecting a character in the image data subjected to the image data preprocessing;
A processing unit for selecting a response message corresponding to the image data among the candidate response messages stored in the database, based on the character detected in the image data; And
And an output unit for providing the selected response message to a user,
Wherein the character detection unit comprises:
If the number of character strings extracted from the image data is larger than a predetermined threshold value,
Extracting a number of the tokenized strings based on the threshold value,
And to list the tokenized strings in the token list,
Query response device using chatbot.
제15 항 또는 제19항에 있어서,
상기 처리부는,
상기 데이터베이스에 저장된 후보 응답 메시지들에 포함된 단어들과 상기 토큰 리스트에 포함된 문자열로부터 추출된 단어들 간의 유사도를 계산하고,
상기 후보 응답 메시지들 중에서 상기 유사도가 미리 설정된 조건을 만족시키는 후보 응답 메시지를 상기 이미지 데이터에 대응하는 응답 메시지로 선택하는
챗봇을 이용한 질의 응답 장치.
The method according to claim 15 or 19,
Wherein,
Calculating similarities between words included in the candidate response messages stored in the database and words extracted from the strings included in the token list,
A candidate response message that satisfies a predetermined condition among the candidate response messages is selected as a response message corresponding to the image data
Query response device using chatbot.
제20 항에 있어서,
상기 처리부는,
상기 유사도가 미리 설정된 조건을 만족시키지 않는 경우, 응답 불가 메시지를 포함하는 응답 메시지를 선택하는,
챗봇을 이용한 질의 응답 장치.
21. The method of claim 20,
Wherein,
Selecting a response message including a response unavailable message if the similarity does not satisfy a predetermined condition,
Query response device using chatbot.
KR1020180170657A 2018-12-27 2018-12-27 Method and apparatus for questioning and answering using chatbot KR101982990B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180170657A KR101982990B1 (en) 2018-12-27 2018-12-27 Method and apparatus for questioning and answering using chatbot
PCT/KR2019/007698 WO2020138607A1 (en) 2018-12-27 2019-06-26 Method and device for providing question and answer using chatbot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180170657A KR101982990B1 (en) 2018-12-27 2018-12-27 Method and apparatus for questioning and answering using chatbot

Publications (1)

Publication Number Publication Date
KR101982990B1 true KR101982990B1 (en) 2019-05-27

Family

ID=66679148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180170657A KR101982990B1 (en) 2018-12-27 2018-12-27 Method and apparatus for questioning and answering using chatbot

Country Status (2)

Country Link
KR (1) KR101982990B1 (en)
WO (1) WO2020138607A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148451B1 (en) * 2019-10-02 2020-08-27 한경훈 Method, server, and system for providing question and answer data set synchronization service for integration management and inkage of multi-shopping mall
KR20210062809A (en) 2019-11-22 2021-06-01 동아대학교 산학협력단 Artificial Intelligence based Medical Question Answering Chatbot Device and Method
WO2021107208A1 (en) * 2019-11-27 2021-06-03 주식회사 와이즈넛 Integrated chatbot agent platform system for chatbot channel connection and integration, and service method thereof
WO2021107307A1 (en) * 2019-11-29 2021-06-03 주식회사 아토즈소프트 Chatbot-based method for providing fishing information, and device for same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120058538A (en) * 2009-08-07 2012-06-07 구글 인코포레이티드 Architecture for responding to a visual query

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070018388A (en) * 2005-08-09 2007-02-14 (주)다음소프트 Method and system of providing conversational agent service using images
KR100769465B1 (en) * 2006-03-29 2007-10-24 엔에이치엔(주) Query matching method and system using category matching
EP2041678B1 (en) * 2006-06-29 2018-10-17 Google LLC Recognizing text in images
KR102592287B1 (en) * 2016-12-30 2023-10-19 주식회사 카카오 Messenger searching method based on interaction, and server and application implementing the same method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120058538A (en) * 2009-08-07 2012-06-07 구글 인코포레이티드 Architecture for responding to a visual query

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148451B1 (en) * 2019-10-02 2020-08-27 한경훈 Method, server, and system for providing question and answer data set synchronization service for integration management and inkage of multi-shopping mall
KR20210062809A (en) 2019-11-22 2021-06-01 동아대학교 산학협력단 Artificial Intelligence based Medical Question Answering Chatbot Device and Method
WO2021107208A1 (en) * 2019-11-27 2021-06-03 주식회사 와이즈넛 Integrated chatbot agent platform system for chatbot channel connection and integration, and service method thereof
KR20210065629A (en) * 2019-11-27 2021-06-04 주식회사 와이즈넛 Chatbot integration agent platform system and service method thereof
KR102357620B1 (en) * 2019-11-27 2022-02-03 주식회사 와이즈넛 Chatbot integration agent platform system and service method thereof
WO2021107307A1 (en) * 2019-11-29 2021-06-03 주식회사 아토즈소프트 Chatbot-based method for providing fishing information, and device for same
KR20210067819A (en) * 2019-11-29 2021-06-08 주식회사 아토즈소프트 Method for providing fishing information based on chatbot and apparatus thereof
KR102307289B1 (en) * 2019-11-29 2021-09-30 주식회사 아토즈소프트 Method for providing fishing information based on chatbot and apparatus thereof

Also Published As

Publication number Publication date
WO2020138607A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
KR101982990B1 (en) Method and apparatus for questioning and answering using chatbot
CN109460455B (en) Text detection method and device
Bissacco et al. Photoocr: Reading text in uncontrolled conditions
EP1016033B1 (en) Automatic language identification system for multilingual optical character recognition
US5862259A (en) Pattern recognition employing arbitrary segmentation and compound probabilistic evaluation
CN109902223B (en) Bad content filtering method based on multi-mode information characteristics
CN112686036B (en) Risk text recognition method and device, computer equipment and storage medium
CN103605691A (en) Device and method used for processing issued contents in social network
CN103605690A (en) Device and method for recognizing advertising messages in instant messaging
CN110633456B (en) Language identification method, language identification device, server and storage medium
KR20200063067A (en) Apparatus and method for validating self-propagated unethical text
US20180005087A1 (en) Pattern recognition device, pattern recognition method, and computer program product
US9396177B1 (en) Systems and methods for document tracking using elastic graph-based hierarchical analysis
CN103116752A (en) Picture auditing method and system
CN111309288B (en) Analysis method and device of software requirement specification file suitable for banking business
Pavlopoulos et al. Challenging Error Correction in Recognised Byzantine Greek
KR20210013433A (en) TF-IDF-based Vector Conversion and Data Analysis Apparatus and Method
CN110321557A (en) A kind of file classification method, device, electronic equipment and storage medium
US9811726B2 (en) Chinese, Japanese, or Korean language detection
Akhil An overview of tesseract OCR engine
CN112818984B (en) Title generation method, device, electronic equipment and storage medium
CN111695117B (en) Webshell script detection method and device
Yasin et al. Transformer-Based Neural Machine Translation for Post-OCR Error Correction in Cursive Text
CN103605692A (en) Device and method used for shielding advertisement contents in ask-and-answer community
KR20220138960A (en) Apparatus and metohd for generating named entity recognition model based on knowledge enbedding model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant