KR20190058066A

KR20190058066A - Method and Apparatus for Managing of Consulting Data

Info

Publication number: KR20190058066A
Application number: KR1020170155700A
Authority: KR
Inventors: 송인선; 이강태; 이경준; 최형기
Original assignee: 주식회사 케이티
Priority date: 2017-11-21
Filing date: 2017-11-21
Publication date: 2019-05-29

Abstract

The present invention relates to a method for consulting data management, capable of searching for the consulting data, and a device thereof. According to the method of the present invention, the electronic device performs the steps of: acquiring personal information of a customer terminal requesting video consulting, and connecting the customer terminal and a consulting terminal; acquiring consulting data including video and audio data in accordance with the video consulting between the customer and consulting terminals; extracting a sound section from the audio data, encrypting the personal information when the voice data includes the same personal information as the personal information, and converting the voice data excluding the personal information into text data to generate abstract data; and extracting at least one keyword from the text data and setting an index for searching the abstract data with the keyword. Moreover, other embodiments are possible.

Description

TECHNICAL FIELD The present invention relates to a method and apparatus for managing consultation data,

본 발명은 상담데이터 관리 방법 및 장치에 관한 것으로, 레코딩된 상담데이터를 분석하여 유의미한 구간만을 획득하고, 상담데이터에서 추출된 키워드를 기반으로 색인을 설정하여 상담데이터의 검색을 수행할 수 있는 상담데이터 관리 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for managing consultation data, and more particularly, to a method and apparatus for managing consultation data by analyzing recorded consultation data to acquire only meaningful intervals, setting an index based on keywords extracted from the consultation data, Management method and apparatus.

일반적으로, 기업의 고객 센터는 콜센터의 형태로 운영되고, 고객의 불만, 문의사항, 제안 의견 등을 상담자를 통해 전화로 접수한다. 상담자는 고객으로부터 문의사항에 대한 답변 등을 요청하게 되고, 상담자는 각종 데이터베이스를 포함하는 정보제공서버로부터 답변에 대응하는 응답을 검색하여 고객에게 음성 또는 데이터로 제공한다. 아울러, 최근에는 음성 통화를 이용한 상담뿐 아니라, 화상 통화를 이용한 상담도 활성화되고 있다. Generally, a corporate customer center operates in the form of a call center, and receives customer complaints, inquiries, suggestions, etc. through a telephone call. The consultant requests an answer to the inquiry from the customer, and the consultant retrieves a response corresponding to the answer from the information providing server including various databases and provides the answer or voice to the customer. In addition, in recent years, consultations using video calls as well as consultations using voice calls have been activated.

기업에서는 고객과 상담자와의 통화 내용을 녹화 또는 녹음하여 상담 내용으로 별도 관리한다. 이를 통해, 고객 또는 상담자는 상담이 완료된 이후에 필요에 의해 상담 내용을 확인할 수 있다. 이때, 상담 내용은 통화 중에 발생된 공백 등이 모두 녹화 또는 녹음된 상태이기 때문에 상담 내용 확인 시에 필요한 상담 내용만을 확인하기 어려운 문제점이 발생한다. The company records or records the contents of the conversation with the customer and the consultant and manages them separately as consultation contents. Through this, the customer or the consultant can confirm the contents of the consultation as needed after the consultation is completed. At this time, since the consultation contents are all recorded or recorded in the blank during the call, there arises a problem that it is difficult to confirm only the consultation contents necessary for checking the consultation contents.

이러한 종래의 문제점을 해결하기 위한 본 발명의 다양한 실시 예들은 레코딩된 상담데이터에서 유의미한 구간만을 획득하여 요약된 상담데이터를 생성하고, 상담데이터에서 추출된 키워드를 기반으로 색인을 설정하여 상담데이터의 검색을 수행할 수 있는 상담데이터 관리 방법 및 장치를 제공하는 것이다. In order to solve such conventional problems, various embodiments of the present invention generate summarized consultation data by acquiring only meaningful intervals in the recorded consultation data, set an index based on the keywords extracted from the consultation data, And to provide a method and an apparatus for managing consultation data.

본 발명의 일 실시 예에 따른 상담데이터 관리 방법은, 전자장치가 화상 상담을 요청한 고객단말의 개인 정보를 획득하고, 상기 고객단말과 상담단말을 연결하는 단계, 상기 고객단말과 상기 상담단말 사이의 화상 상담에 따라 영상데이터, 음성데이터를 포함하는 상담데이터를 획득하는 단계, 상기 음성데이터에서 유음 구간을 추출하고, 상기 음성데이터에 상기 개인 정보와 동일한 개인 정보가 포함된 상태이면 상기 개인 정보를 암호화하고, 상기 개인 정보를 제외한 음성데이터를 텍스트데이터로 변환하여 요약데이터를 생성하는 단계 및 상기 텍스트데이터에서 적어도 하나의 핵심어를 추출하고, 상기 핵심어로 상기 요약데이터의 검색을 위한 색인을 설정하는 단계를 포함하는 것을 특징으로 한다.A method for managing consultation data according to an embodiment of the present invention includes the steps of acquiring personal information of a customer terminal requesting a video consultation and connecting the customer terminal and a consulting terminal, The method comprising the steps of: acquiring consultation data including video data and voice data in accordance with a video consultation; extracting a languor interval from the voice data; if the voice data includes the same personal information as the personal information, Extracting at least one key word from the text data, and setting an index for searching the summary data with the key word, the step of generating summary data by converting the speech data excluding the personal information into text data, .

또한, 고객단말과 상기 상담단말을 연결하는 단계는, 상기 고객단말로 상담분야를 안내하는 단계, 상기 고객단말에서 선택된 상담분야에 따라 필요한 상기 개인 정보를 획득하는 단계 및 상기 개인 정보를 저장하고 상기 고객단말과 상기 상담단말과 연결하는 단계를 포함하는 것을 특징으로 한다.The step of connecting the client terminal and the consultation terminal may include the steps of guiding the consultation field to the client terminal, acquiring the personal information necessary for the consultation field selected by the client terminal, storing the personal information, And connecting the client terminal and the consultation terminal.

또한, 고객단말에서 선택된 상담분야와 관련된 적어도 하나의 상담자를 상기 고객단말로 안내하는 단계, 상기 고객단말로부터 상담자에 대한 선택신호를 수신하는 단계 및 상기 선택신호에 대응되는 상담자와의 상담 가능여부를 확인하는 단계를 더 포함하는 것을 특징으로 한다.The method may further include the steps of: guiding at least one counselor related to a consulting field selected by the client terminal to the client terminal; receiving a selection signal for the counselor from the client terminal; The method comprising the steps of:

또한, 요약데이터를 생성하는 단계는, 상기 상담데이터에 자료데이터의 포함여부를 확인하는 단계, 상기 상담데이터를 상기 영상데이터, 상기 음성데이터 및 상기 자료데이터로 분류하는 단계 및 상기 분류된 각 데이터를 분석하는 단계를 포함하는 것을 특징으로 한다.The step of generating the summary data may include the steps of: checking whether the data is included in the consultation data; classifying the consultation data into the image data, the voice data, and the data data; The method comprising the steps of:

또한, 음성데이터의 상기 유음 구간에 대응되는 타임 스탬프를 확인하는 단계, 상기 타임 스탬프를 기반으로 상기 영상데이터에서 상기 유음 구간에 대응되는 구간을 추출하는 단계, 상기 추출된 구간을 기준으로 상기 음성데이터 및 영상데이터의 인덱싱을 수행하는 단계를 더 포함하는 것을 특징으로 한다.The method may further include the steps of: checking a time stamp corresponding to the lunar section of the audio data; extracting a section corresponding to the lunar section from the video data based on the time stamp; And performing indexing of the image data.

또한, 자료데이터를 구성하는 프레임들을 분석하는 단계 및 상기 프레임들의 분석 결과를 기반으로 상기 자료데이터의 인덱싱을 수행하는 단계를 더 포함하는 것을 특징으로 한다.The method may further include analyzing frames constituting the data and performing indexing of the data based on the analysis results of the frames.

또한, 인덱싱이 수행된 상기 음성데이터, 영상데이터 및 자료데이터와 상기 텍스트데이터를 이용하여 상기 요약데이터를 생성하는 단계를 더 포함하는 것을 특징으로 한다.The method may further include generating the summary data using the voice data, the image data, the data data, and the text data indexed.

또한, 색인을 설정하는 단계는, 상기 고객단말에서 선택된 상담분야를 확인하는 단계, 상기 유음 구간에 대응되는 텍스트데이터를 분석하여 적어도 하나의 핵심어를 추출하는 단계, 상기 상담분야에서 상기 핵심어의 키워드 사용가능여부를 확인하는 단계 및 상기 키워드로의 사용이 가능하면 상기 핵심어로 상기 요약데이터에 상기 색인을 설정하는 단계를 포함하는 것을 특징으로 한다.The step of setting an index may include the steps of: identifying a consultation field selected by the customer terminal; extracting at least one keyword by analyzing text data corresponding to the lunar section; And if the keyword is available, setting the index to the summary data using the keyword.

또한, 키워드 사용가능여부를 확인하는 단계는, 상기 상담분야와 관련된 온톨로지를 호출하는 단계를 더 포함하는 것을 특징으로 한다. The step of confirming the availability of the keyword may further include the step of calling an ontology associated with the consultation field.

아울러, 본 발명의 일 실시 예에 따른 상담데이터 관리 장치는, 고객단말과 상담단말을 연결하는 통신부 및 화상 상담을 요청한 상기 고객단말의 개인 정보 및 상기 고객단말과 상기 상담단말의 화상 상담에 따른 상담데이터를 획득하고, 상기 상담데이터에 포함된 음성데이터에서 추출된 유음 구간에서 확인된 상기 개인 정보와 동일한 개인 정보를 암호화하고 상기 개인 정보를 제외한 음성데이터를 텍스트데이터로 변환하여 요약데이터를 생성하고, 상기 텍스트데이터에서 추출된 적어도 하나의 핵심어로 상기 요약데이터의 색인을 설정하는 제어부를 포함하는 것을 특징으로 한다.Further, the consultation data management apparatus according to an embodiment of the present invention may include a communication unit for connecting the customer terminal and the consultation terminal, personal information of the customer terminal requesting the image consultation, and consultation on the image consultation of the customer terminal and the consultation terminal Encrypting the personal information identical to the personal information identified in the lunar section extracted from the voice data included in the consultation data, converting the voice data excluding the personal information into text data to generate summary data, And a controller for setting an index of the summary data to at least one keyword extracted from the text data.

또한, 제어부는, 상기 고객단말로 상담분야를 안내하고, 상기 고객단말에서 선택된 상담분야에 따라 필요한 상기 개인 정보를 획득하여 저장하는 것을 특징으로 한다.Further, the control unit may guide the consultation field to the customer terminal and acquire and store the necessary personal information according to the consultation field selected by the customer terminal.

또한, 제어부는, 상기 선택된 상담분야와 관련된 적어도 하나의 상담자를 상기 고객단말로 안내하고, 상기 고객단말로부터 수신된 선택신호에 대응되는 상담자와의 상담 가능여부를 확인하는 것을 특징으로 한다.The control unit may guide at least one counselor related to the selected counseling field to the client terminal and confirm whether or not consultation with a counselor corresponding to the selection signal received from the client terminal is possible.

또한, 제어부는, 상기 상담데이터에 자료데이터가 포함된 상태이면, 상기 상담데이터를 상기 영상데이터, 상기 음성데이터 및 상기 자료데이터로 분류하고, 각 데이터를 분석하는 것을 특징으로 한다.The controller may classify the consultation data into the image data, the voice data, and the data data, and analyze each data if the consultation data includes data data.

또한, 제어부는, 상기 유음 구간에 대응되는 타임 스탬프를 확인하고, 상기 타임 스탬프를 기반으로 상기 영상데이터에서 상기 유음 구간에 대응되는 구간을 추출하고, 상기 추출된 구간을 기준으로 상기 음성데이터 및 영상데이터의 인덱싱을 수행하는 것을 특징으로 한다.In addition, the control unit may check the time stamp corresponding to the lunght section, extract a section corresponding to the lunght section from the video data based on the time stamp, And performs indexing of the data.

또한, 제어부는, 상기 자료데이터를 구성하는 프레임들을 분석하고, 상기 프레임들의 분석 결과를 기준으로 상기 자료데이터의 인덱싱을 수행하는 것을 특징으로 한다.In addition, the controller analyzes the frames constituting the data and performs indexing of the data based on an analysis result of the frames.

또한, 제어부는, 상기 인덱싱이 수행된 상기 음성데이터, 영상데이터 및 자료데이터와 상기 텍스트데이터를 이용하여 상기 요약데이터를 생성하는 것을 특징으로 한다.The control unit may generate the summary data using the voice data, the image data, the data data, and the text data on which the indexing has been performed.

또한, 제어부는, 상기 고객단말에서 선택된 상담분야를 확인하고, 상기 유음 구간에 대응되는 텍스트데이터를 분석하여 상기 상담분야와 관련된 적어도 하나의 핵심어를 추출하고, 상기 핵심어의 키워드 사용가능여부를 확인하는 것을 특징으로 한다.The controller may identify the consultation field selected by the customer terminal, extract at least one key word related to the consultation field by analyzing the text data corresponding to the lunar section, and determine whether the keyword can be used .

또한, 제어부는, 상기 핵심어가 상기 키워드로의 사용이 가능하면 상기 핵심어로 상기 요약데이터에 상기 색인을 설정하는 것을 특징으로 한다.The control unit may set the index to the summary data by using the keyword if the keyword can be used as the keyword.

또한, 제어부는, 상기 상담분야와 관련된 온톨로지를 호출하여 상기 키워드 사용가능여부를 확인하는 것을 특징으로 한다. In addition, the control unit calls the ontology related to the consultation field to confirm whether or not the keyword can be used.

상술한 바와 같이 본 발명의 상담데이터 관리 방법 및 장치는, 레코딩된 상담데이터에서 유의미한 구간만을 획득하여 요약된 상담데이터를 생성하고, 키워드로 상담데이터를 검색할 수 있도록 상담데이터에서 추출된 키워드로 색인을 설정함으로써, 상담데이터의 관리 및 확인을 용이하게 할 수 있는 효과가 있다. As described above, the method and apparatus for managing consultation data according to the present invention can acquire only meaningful intervals in recorded consultation data to generate summarized consultation data, and use the keywords extracted from the consultation data as indexes It is possible to facilitate management and confirmation of the consultation data.

도 1은 본 발명의 실시 예에 따른 상담데이터를 관리하는 시스템을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 상담데이터를 관리하는 전자장치의 주요 구성을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 상담데이터 관리 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시 예에 따른 상담자를 선택하는 방법을 설명하기 위한 상세순서도이다.
도 5는 본 발명의 실시 예에 따른 상담데이터를 요약하는 방법을 설명하기 위한 상세순서도이다.
도 6은 본 발명의 실시 예에 따른 상담데이터에 색인을 설정하는 방법을 설명하기 위한 상세순서도이다. 1 is a diagram showing a system for managing consultation data according to an embodiment of the present invention.
2 is a diagram showing a main configuration of an electronic device for managing consultation data according to an embodiment of the present invention.
3 is a flowchart for explaining a consultation data management method according to an embodiment of the present invention.
4 is a detailed flowchart for explaining a method of selecting a consultant according to an embodiment of the present invention.
5 is a detailed flowchart for explaining a method of summarizing consultation data according to an embodiment of the present invention.
6 is a detailed flowchart for explaining a method of setting an index on consultation data according to an embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The following detailed description, together with the accompanying drawings, is intended to illustrate exemplary embodiments of the invention and is not intended to represent the only embodiments in which the invention may be practiced. In order to clearly illustrate the present invention in the drawings, parts not related to the description may be omitted, and the same reference numerals may be used for the same or similar components throughout the specification.

본 발명의 일 실시 예에서, “또는”, “적어도 하나” 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.In one embodiment of the present invention, the expressions " or ", " at least one ", etc. may denote one of the words listed together or may represent a combination of two or more. For example, " A or B ", " at least one of A and B " may include only one of A or B, and may include both A and B.

도 1은 본 발명의 실시 예에 따른 상담데이터를 관리하는 시스템을 나타낸 도면이다. 1 is a diagram showing a system for managing consultation data according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 시스템(10)은 고객단말(100), 전자장치(200) 및 상담단말(300)을 포함할 수 있다. Referring to FIG. 1, a system 10 according to the present invention may include a customer terminal 100, an electronic device 200, and a consultation terminal 300.

고객단말(100)은 상담자와 화상 상담을 하고자 하는 고객이 사용하는 장치로, 스마트 폰, 휴대전화기, 타블렛 PC, 마이크가 구비된 컴퓨터 등 상담단말(300)과 상담을 수행할 수 있는 단말장치일 수 있다. 이때, 고객단말(100)은 상담단말(300)과의 화상 상담을 위해 카메라(미도시)를 구비할 수 있다. 고객단말(100)는 전자장치(200)를 통해 상담단말(300)과 연결되어 통신을 수행할 수 있다. 이를 위해, 고객단말(100)은 LTE(long term evolution), LTE-A(long term evolution-advanced), wifi(wireless fidelity) 등의 통신을 통해 화상 통신을 수행할 수 있다. The customer terminal 100 is a terminal device used by a customer who wishes to have a consultation with a consultant, and is a terminal device capable of performing consultation with a consulting terminal 300 such as a smart phone, a mobile phone, a tablet PC, . At this time, the customer terminal 100 may be provided with a camera (not shown) for image consultation with the consultation terminal 300. The customer terminal 100 is connected to the consulting terminal 300 through the electronic device 200 and can perform communication. To this end, the customer terminal 100 can perform image communication through communication such as long term evolution (LTE), long term evolution-advanced (LTE-A), wifi (wireless fidelity)

전자장치(200)는 고객과 상담자 사이에 이루어진 화상 상담이 레코딩된 상담데이터를 분석하여, 상담데이터에서 유의미한 구간만을 획득하여 상담데이터를 요약한다. 또한, 전자장치(200)는 상담데이터의 검색이 가능하도록 상담데이터에서 추출된 키워드를 기반으로 색인을 설정한다. 이를 위해, 전자장치(200)는 고객단말(100) 및 상담단말(300)과 LTE(long term evolution), LTE-A(long term evolution-advanced), wifi(wireless fidelity) 등의 통신을 수행하고, 상담단말(300)과 고객단말(100)의 세션을 연결하여 화상 상담을 가능하게 한다. The electronic device 200 analyzes the consultation data on which the video consultation performed between the customer and the consultant is recorded and obtains only a meaningful section in the consultation data to summarize the consultation data. In addition, the electronic device 200 sets an index based on the keyword extracted from the consultation data so that the consultation data can be retrieved. To this end, the electronic device 200 performs communication such as long term evolution (LTE), long term evolution-advanced (LTE-A) and wireless fidelity (LTE) with the customer terminal 100 and the consultation terminal 300 , The session between the consultation terminal 300 and the customer terminal 100 is connected to enable a video consultation.

보다 구체적으로, 전자장치(200)는 화상 상담을 요청한 고객단말(100)의 개인 정보를 획득하고, 고객단말(100)과 상담단말(300)을 연결한다. 전자장치(200)는 고객단말(100)과 상담단말(300) 사이의 화상 상담에 따라 영상데이터, 음성데이터를 포함하는 상담데이터를 획득한다. 전자장치(200)는 음성데이터에서 유음 구간을 추출하고, 유음 구간에서 확인된 개인 정보를 암호화하고, 개인 정보를 제외한 음성데이터를 텍스트데이터로 변환하여 상담데이터의 요약데이터를 생성한다. 전자장치(200)는 텍스트데이터에서 적어도 하나의 핵심어를 추출하고, 핵심어로 요약데이터의 검색을 위한 색인을 설정한다.More specifically, the electronic device 200 acquires the personal information of the customer terminal 100 requesting the image consultation, and connects the customer terminal 100 and the consultation terminal 300. The electronic device 200 acquires consultation data including video data and voice data in accordance with a video consultation between the customer terminal 100 and the consultation terminal 300. [ The electronic device 200 extracts a languor section from the voice data, encrypts the personal information identified in the languor section, and converts the voice data excluding the personal information into text data to generate summary data of the consultation data. The electronic device 200 extracts at least one keyword from the text data and sets an index for retrieval of the summary data to the keyword.

상담단말(300)은 고객과의 상담을 수행하는 상담자가 사용하는 장치로, 스마트 폰, 휴대전화기, 타블렛 PC, 마이크가 구비된 컴퓨터 등 고객단말(100)과 상담을 수행할 수 있는 단말장치일 수 있다. 이때, 상담단말(300)은 고객단말(100)과의 화상 상담을 위해 카메라(미도시)를 구비할 수 있다. 상담단말(300)는 전자장치(200)를 통해 고객단말(100)과 연결되어 통신을 수행할 수 있다. 이를 위해, 상담단말(300)은 LTE(long term evolution), LTE-A(long term evolution-advanced), wifi(wireless fidelity) 등의 통신을 통해 화상 통신을 수행할 수 있다. The consultation terminal 300 is a device used by a consultant who performs consultation with a customer and is a terminal device capable of performing consultation with a customer terminal 100 such as a smart phone, a mobile phone, a tablet PC, . At this time, the consultation terminal 300 may include a camera (not shown) for video consultation with the customer terminal 100. The consulting terminal 300 can communicate with the customer terminal 100 through the electronic device 200 to perform communication. To this end, the consulting terminal 300 can perform image communication through communication such as long term evolution (LTE), long term evolution-advanced (LTE-A), wifi (wireless fidelity)

도 2는 본 발명의 실시 예에 따른 상담데이터를 관리하는 전자장치의 주요 구성을 나타낸 도면이다. 2 is a diagram showing a main configuration of an electronic device for managing consultation data according to an embodiment of the present invention.

도 2를 참조하면, 본 발명에 따른 전자장치(200)는 고객과 상담자 사이에 이루어진 상담이 레코딩된 상담데이터를 분석하여, 상담데이터에서 유의미한 구간만을 획득하여 상담데이터를 요약한다. 또한, 전자장치(200)는 상담데이터의 검색이 가능하도록 상담데이터에서 추출된 키워드를 기반으로 색인을 설정한다. 이를 위해, 제어부(250)는 통신부(210), 입력부(220), 표시부(230), 메모리(240) 및 제어부(250)를 포함할 수 있다. Referring to FIG. 2, the electronic device 200 according to the present invention analyzes the consultation data recorded with the consultation made between the customer and the consultant, and obtains only meaningful intervals in the consultation data to summarize the consultation data. In addition, the electronic device 200 sets an index based on the keyword extracted from the consultation data so that the consultation data can be retrieved. The control unit 250 may include a communication unit 210, an input unit 220, a display unit 230, a memory 240, and a controller 250.

통신부(210)는 고객단말(100)및 상담단말(300)과의 통신을 수행한다. 이를 위해, 통신부(210)는 LTE(long term evolution), LTE-A(long term evolution-advanced) 등의 통신을 수행할 수 있다. The communication unit 210 performs communication with the customer terminal 100 and the consultation terminal 300. To this end, the communication unit 210 may perform communication such as long term evolution (LTE) and long term evolution-advanced (LTE-A).

입력부(220)는 전자장치(200)의 사용자 입력에 대응하여 입력 데이터를 발생시킨다. 입력부(220)는 적어도 하나의 입력수단을 포함한다. 입력부(220)는 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key) 및 버튼(button)을 포함한다.The input unit 220 generates input data corresponding to a user input of the electronic device 200. The input unit 220 includes at least one input means. The input unit 220 includes a key pad, a dome switch, a touch panel, a touch key, and a button.

표시부(230)는 전자장치(200)의 동작에 따른 출력 데이터를 출력한다. 이를 위해, 표시부(230)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함한다. 표시부(230)는 입력부(220)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다.The display unit 230 outputs output data according to the operation of the electronic device 200. [ The display unit 230 may be a liquid crystal display (LCD), a light emitting diode (LED) display, an organic LED (OLED) display, a micro electro mechanical systems display and an electronic paper display. The display unit 230 may be combined with the input unit 220 and implemented as a touch screen.

메모리(240)는 전자장치(200)의 동작 프로그램들을 저장한다. 메모리(240)는 상담분야와 관련된 온톨로지를 저장할 수 있다. 메모리(240)는 음성데이터를 텍스트데이터로 변환할 수 있는 STT(speech to text) 알고리즘을 저장할 수 있다. 메모리(240)는 상담단말(300)이 고객단말(100)과의 화상 상담 중에 고객단말(100)로 제공할 수 있는 자료데이터를 저장할 수 있다. The memory 240 stores operating programs of the electronic device 200. Memory 240 may store ontologies associated with the field of consulting. The memory 240 may store a speech to text (STT) algorithm capable of converting speech data into text data. The memory 240 may store data data that the consulting terminal 300 can provide to the customer terminal 100 during a video consultation with the customer terminal 100.

제어부(250)는 화상 상담을 요청한 고객단말(100)의 개인 정보를 획득하고, 고객단말(100)과 상담단말(300)을 연결한다. 제어부(250)는 고객단말(100)과 상담단말(300) 사이의 화상 상담에 따라 영상데이터, 음성데이터를 포함하는 상담데이터를 획득한다. 제어부(250)는 음성데이터에서 유음 구간을 추출하고, 유음 구간에서 확인된 개인 정보를 암호화하고, 개인 정보를 제외한 음성데이터를 텍스트데이터로 변환하여 요약데이터를 생성한다. 제어부(250)는 텍스트데이터에서 적어도 하나의 핵심어를 추출하고, 핵심어로 요약데이터의 검색을 위한 색인을 설정한다. The control unit 250 acquires the personal information of the customer terminal 100 requesting the image consultation and connects the customer terminal 100 and the consultation terminal 300. [ The control unit 250 acquires the consultation data including the image data and the voice data according to the image consultation between the customer terminal 100 and the consultation terminal 300. [ The control unit 250 extracts the lunght section from the voice data, encrypts the personal information confirmed in the longevity section, and converts the voice data excluding the personal information into text data to generate summary data. The control unit 250 extracts at least one keyword from the text data, and sets an index for retrieving the summary data as a keyword.

보다 구체적으로, 제어부(250)는 고객단말(100)로부터 상담 요청신호가 수신되고, 상담자를 선택하기 위한 선택신호가 수신되면, 고객단말(100)로 고객이 상담을 원하는 상담분야를 안내한다. 제어부(250)는 고객단말(100)로부터 상담분야가 선택되면, 선택된 상담분야에 대하여 상담이 가능한 상담자를 안내한다. 제어부(250)는 고객단말(100)로부터 상담자가 선택되면 선택된 상담자에게 할당된 상담단말(300)과 고객단말(100)을 연결한다. More specifically, when a consultation request signal is received from the customer terminal 100 and a selection signal for selecting a consultant is received, the control unit 250 guides the customer terminal 100 to a consultation area where the customer wants to consult. When the consulting field is selected from the customer terminal 100, the control unit 250 guides the consultant who can consult about the selected consulting field. The control unit 250 connects the customer terminal 100 to the consulting terminal 300 assigned to the selected consultant when the consultant is selected from the customer terminal 100. [

제어부(250)는 고객단말(100)로부터 개인 정보를 수신하고 수신된 개인 정보를 메모리(240)에 저장한다. 이때, 제어부(250)는 고객단말(100)이 선택한 상담분야에 따라 필요한 개인 정보를 고객단말(100)로 요청할 수 있다. 예컨대, 고객단말(100)로부터 상담분야가 선택되지 않으면 제어부(250)는 고객의 성명, 전화번호 등의 기본적인 개인 정보만을 요청할 수 있다. 이때, 개인 정보는 음성데이터 또는 동영상데이터로 수신될 수 있으며, 개인 정보가 동영상데이터로 수신될 경우에 제어부(250)는 동영상데이터에서 음성데이터만을 추출할 수 있다.The control unit 250 receives the personal information from the customer terminal 100 and stores the received personal information in the memory 240. At this time, the control unit 250 can request the customer terminal 100 with necessary personal information according to the consultation field selected by the customer terminal 100. For example, if the consulting field is not selected from the customer terminal 100, the control unit 250 can request only basic personal information such as the name of the customer, the telephone number, and the like. At this time, the personal information may be received as voice data or moving image data, and when the personal information is received as moving image data, the control unit 250 may extract only voice data from the moving image data.

또한, 제어부(250)는 고객단말(100)로부터 카드 사용내역과 관련된 상담분야가 선택되면, 제어부(250)는 고객의 성명, 전화번호 등의 기본적인 개인 정보에 카드번호 등의 개인 정보를 추가적으로 요청할 수 있다. 제어부(250)는 상담분야에 따라 카드번호가 암호화 대상인 항목인 것으로 확인할 수 있고, 암호화 대상인 항목을 확인하여 암호화할 수 있다. 예컨대, 제어부(250)는 암호화된 카드번호를 “암호화 대상 항목/암호화된 카드 번호(예: 1111-0000-1111-0000)/음성데이터의 PCM(pulse code modulation)데이터/암호화된 카드번호를 복호하기 위한 복호화 키/타임스탬프 기반으로 음성데이터에서 카드번호가 확인된 시각”의 순서로 메모리(240)에 저장할 수 있다.When the consulting field related to the card usage details is selected from the customer terminal 100, the control unit 250 additionally requests personal information such as a card number to the basic personal information such as the name and phone number of the customer . The control unit 250 can confirm that the card number is an item to be encrypted according to the consultation field, and can confirm and encrypt the item to be encrypted. For example, the control unit 250 decrypts the encrypted card number as " encryption target item / encrypted card number (e.g., 1111-0000-1111-0000) / PCM (pulse code modulation) data of voice data / encrypted card number The time at which the card number is confirmed in the voice data based on the decryption key / time stamp for "

제어부(250)는 고객단말(100)로부터 개인 정보가 수신된 이후에, 고객단말(100)과 상담단말(300)에서 획득되는 상담데이터를 획득한다. 이때, 상담데이터는, 음성데이터와 영상데이터를 포함할 수 있다. 아울러, 화상 상담 시에 상담단말(300)에서 고객단말(100)에 자료데이터를 제공한 경우, 상담데이터는 자료데이터를 추가적으로 포함할 수 있다. 제어부(250)는 고객단말(100)과 상담단말(300)의 화상 상담이 종료되면, 획득된 상담데이터를 요약데이터로 생성한다. The control unit 250 acquires the consultation data acquired at the customer terminal 100 and the consultation terminal 300 after the personal information is received from the customer terminal 100. [ At this time, the consultation data may include voice data and image data. In addition, when the consulting terminal 300 provides the data to the customer terminal 100 during the video consultation, the consulting data may additionally include data data. When the video consultation between the customer terminal 100 and the consultation terminal 300 ends, the control unit 250 generates the obtained consultation data as summary data.

제어부(250)는 상담데이터에 자료데이터가 포함된 경우 상담데이터를 음성데이터, 영상데이터 및 자료데이터로 분류할 수 있고, 상담데이터에 자료데이터가 포함되지 않은 경우 상담데이터를 음성데이터와 영상데이터로 분류할 수 있다. 제어부(250)는 타임스탬프를 이용하여 음성데이터, 영상데이터 및 자료데이터의 동기화를 수행한다. 이때, 제어부(250)는 고객단말(100)에서 수신되는 음성데이터 및 영상데이터, 상담단말(300)에서 수신되는 음성데이터 및 영상데이터, 자료데이터에 포함된 음성데이터 및 영상데이터를 각각 분류할 수 있다.The control unit 250 can classify the consultation data into voice data, image data, and data data when the consultation data includes data data. When the consultation data does not include the data data, the control unit 250 converts the consultation data into voice data and image data Can be classified. The controller 250 synchronizes the voice data, the video data, and the data using the time stamp. At this time, the control unit 250 can classify voice data and image data received from the customer terminal 100, voice data and image data received from the consulting terminal 300, voice data included in the data data, and image data, respectively have.

제어부(250)는 음성데이터를 분석하여 음성데이터에 존재하는 무음 구간을 제거한다. 제어부(250)는 음성데이터에서 제거된 무음 구간의 타임스탬프를 확인하고, 제거된 무음 구간의 타임스탬프와 동일한 타임스탬프를 영상데이터에서 확인한다. 제어부(250)는 제거된 무음 구간과 동일한 구간을 영상데이터에서 제거하고, 음성데이터와 영상데이터에 인덱싱을 수행한다. 아울러, 상담데이터에 자료데이터가 존재할 경우, 제어부(250)는 자료데이터를 구성하는 프레임들을 확인하고, 프레임들간의 비교를 통해 영상차이가 임계치 이상인 프레임에 대응되는 타임스탬프를 기준으로 자료데이터에 인덱싱을 수행한다. 제어부(250)는 무음 구간이 제거된 음성데이터의 PCM데이터를 확인하여 상담자 선택 시에 메모리(240)에 저장된 음성데이터의 PCM데이터와 비교한다. 제어부(250)는 PCM데이터의 비교결과, 확인된 PCM데이터와 저장된 PCM데이터가 임계치 이상 유사하면, 음성데이터에 개인 정보가 존재하는 것으로 확인하고, 확인된 개인 정보를 암호화할 수 있다. The control unit 250 analyzes the voice data and removes a silent period existing in the voice data. The controller 250 checks the time stamp of the silent section removed from the voice data and confirms the same time stamp as the time stamp of the silent section removed from the image data. The control unit 250 removes the same section as the removed silent section from the image data, and indexes the audio data and the image data. In addition, when there is data data in the consultation data, the control unit 250 identifies the frames constituting the data data, compares the frames with each other, and indexes the data based on the time stamp corresponding to the frame whose image difference is equal to or greater than the threshold value . The control unit 250 checks the PCM data of the voice data from which the silent section has been removed, and compares the PCM data with the PCM data of the voice data stored in the memory 240 when the consultant is selected. If the determined PCM data and the stored PCM data are equal to or more than a threshold value as a result of the comparison of the PCM data, the control unit 250 can confirm that the personal information exists in the voice data and can encrypt the confirmed personal information.

제어부(250)는 음성데이터에서 개인 정보를 제외한 음성데이터를 텍스트데이터로 변환한다. 이때, 음성데이터의 텍스트데이터 변환은 일반적으로 사용하는 STT(speech to text) 기술을 이용할 수 있다. 제어부(250)는 변환된 텍스트데이터의 분석을 통해 대화 유형을 분석할 수 있다. 보다 구체적으로, 상담 시에 대화 유형은 크게 고객이 질문하고 상담자가 답변하는 유형, 상담자가 질문하고 고객이 답변하는 유형, 고객이 상술하고 상담자가 답변하는 유형 및 상담자가 상술하고 고객이 답변하는 유형으로 분류될 수 있다. 제어부(250)는 텍스트데이터들의 자연어 처리 및 분석을 통해 고객 또는 상담자가 발화한 문장이 의문문인지 평서문인지를 구분하고, 발화 순서를 기반으로 질문 및 답변을 구분할 수 있다. The control unit 250 converts the voice data excluding the personal information into the text data. At this time, text data conversion of voice data can use a commonly used speech to text (STT) technique. The control unit 250 may analyze the conversation type through analysis of the converted text data. More specifically, the type of conversation at the time of counseling is largely determined by the types of questions the client answers and the counselor answers, the types of questions the counselor answers and the client answers, the type of the client's answer and the counselor answers, . &Lt; / RTI > The control unit 250 can distinguish whether a sentence uttered by a customer or a consultant is a question sentence or a statement sentence through natural language processing and analysis of text data, and can classify a question and an answer based on a speech order.

제어부(250)는 음성데이터, 영상데이터 및 자료데이터를 상담 내용의 요약에 필요한 내용 정보가 포함된 최소 단위 예컨대, 무음 구간을 제거한 하나의 문장으로 인덱싱하였으므로, 이를 이용하여 요약데이터를 생성한다. 제어부(250)는 고객단말(100)로 제공할 요약데이터와 상담단말(300)로 제공할 요약데이터를 별도로 생성할 수 있다. 보다 구체적으로, 고객단말(100)로 제공할 요약데이터의 경우, 고객이 의도한 질문 또는 상술구간보다 상담자의 답변 또는 상술구간에 중요도가 높다. 따라서, 제어부(250)는 상담자의 답변이나 상술이 포함된 구간이 포함된 음성데이터에 동일한 시점에 획득된 영상데이터를 배경 영상으로 표시하고, 고객의 질문 또는 상술내용은 배경 영상에 텍스트데이터로 오버레이하여 요약데이터를 생성할 수 있다. 아울러, 상담자의 답변이나 상술이 포함된 구간에 자료데이터가 있을 경우, 자료데이터에 우선 순위를 높게 설정하여 자료데이터를 배경 영상으로 표시하고, 고객의 질문 또는 상술내용은 배경 영상에 텍스트데이터로 오버레이하여 요약데이터를 생성할 수 있다.The controller 250 indexes the voice data, the image data, and the data data into a single sentence in which a minimum unit including content information necessary for summarizing the consultation contents is removed, for example, a silent section, so that the summary data is generated using the index. The control unit 250 may separately generate summary data to be provided to the customer terminal 100 and summary data to be provided to the consulting terminal 300. More specifically, in the case of the summary data to be provided to the customer terminal 100, the importance is high in the answer of the therapist or the detailed section than the question or the recommended section of the customer. Accordingly, the controller 250 displays the image data obtained at the same time point in the voice data including the answer of the therapist or the interval including the description as a background image, and the question or detail content of the customer is overlaid on the background image as text data To generate summary data. In addition, when there is data data in the section including the answer or the consultant's question, the data data is set as the background image by setting the data data with a high priority, and the customer's question or the description is overlaid on the background image with the text data To generate summary data.

제어부(250)는 화상 상담이전에 고객단말(100)에서 선택된 상담분야를 확인하고, 생성된 요약데이터에 포함된 텍스트데이터 중에서 핵심어를 추출한다. 이때, 제어부(250)는 텍스트데이터에서 명사를 추출하고, 확인된 상담분야와 관련된 명사를 핵심어로 추출할 수 있다. 제어부(250)는 메모리(240)에 저장된 온톨로지 중에서 고객단말(100)이 선택된 상담분야와 관련된 온톨로지를 호출한다. The control unit 250 confirms the consultation field selected by the customer terminal 100 prior to the video consultation, and extracts the keyword from the text data included in the generated summary data. At this time, the control unit 250 extracts a noun from the text data, and extracts a noun related to the confirmed consultation field as a key word. The control unit 250 calls the ontology associated with the consulting field selected by the customer terminal 100 from the ontologies stored in the memory 240. [

제어부(250)는 추출된 핵심어를 온톨로지에 적용하여 키워드로의 사용이 가능한지를 확인한다. 제어부(250)는 추출된 핵심어가 온톨로지를 구성하는 노드 중 어느 하나의 노드에 할당된 값과 동일하면 핵심어를 키워드로 사용이 가능한 것으로 확인할 수 있다. 제어부(250)는 추출된 핵심어를 포함하는 텍스트데이터가 대응되는 음성데이터의 구간 예컨대, 하나의 문장, 키워드, 키워드가 할당된 노드의 부모 노드에 할당된 값, 키워드가 할당된 노드와 부모 노드 사이의 연관성 값을 확인하여 메모리(240)에 저장함으로써 요약데이터에 색인을 설정한다. The control unit 250 applies the extracted key word to the ontology to confirm whether or not the keyword can be used. If the extracted keyword is the same as the value assigned to any one of the nodes constituting the ontology, the control unit 250 can confirm that the keyword can be used as a keyword. The control unit 250 determines whether or not the text data including the extracted keyword is a value assigned to the parent node of the node to which the corresponding voice data is allocated, for example, one sentence, keyword, keyword, And sets the index to the summary data by storing the association value in the memory 240.

도 3은 본 발명의 실시 예에 따른 상담데이터 관리 방법을 설명하기 위한 순서도이다. 3 is a flowchart for explaining a consultation data management method according to an embodiment of the present invention.

도 3을 참조하면, 301단계에서 제어부(250)는 고객단말(100)로부터 상담 요청신호의 수신여부를 확인한다. 301단계의 확인결과, 상담 요청신호가 수신되면 제어부(250)는 303단계를 수행하고, 상담 요청신호가 수신되지 않으면 제어부(250)는 상담 요청신호의 수신을 대기한다. 이때, 상담 요청신호는 화상 상담을 위한 요청신호일 수 있다. Referring to FIG. 3, in step 301, the control unit 250 confirms whether or not a consultation request signal is received from the customer terminal 100. As a result of checking in step 301, when the consultation request signal is received, the controller 250 performs step 303. If the consultation request signal is not received, the controller 250 waits for the reception of the consultation request signal. At this time, the consultation request signal may be a request signal for the video consultation.

303단계에서 제어부(250)는 상담자를 선택하기 위한 선택신호의 수신여부를 확인한다. 303단계에서 제어부(250)는 고객단말(100)로부터 상담자를 선택하기 위한 선택신호가 수신되면 제어부(250)는 305단계를 수행하고, 선택신호가 수신되지 않으면 307단계를 수행한다. 307단계에서 제어부(250)는 상담자에게 할당된 상담단말(300)을 랜덤하게 선택하여 고객단말(100)과 연결하고, 고객단말(100)과 상담단말(300)이 연결되면 제어부(250)는 309단계를 수행한다. In step 303, the control unit 250 confirms whether or not a selection signal for selecting a counselor is received. In step 303, the controller 250 performs step 305, and if the selection signal is not received from the customer terminal 100, the controller 250 performs step 307. In step 307, The controller 250 randomly selects the consulting terminal 300 allocated to the consultant in step 307 and connects the consulting terminal 300 to the customer terminal 100. When the consulting terminal 300 is connected to the customer terminal 100, Step 309 is performed.

305단계에서 제어부(250)는 고객단말(100)로부터 수신된 신호를 기반으로 고객단말(100)이 선택한 상담자에게 할당된 상담단말(300)을 선택하고 307단계를 수행한다. 307단계에서 제어부(250)는 선택된 상담단말(300)과 고객단말(100)을 연결하고, 309단계를 수행한다. 고객단말(100)이 상담단말(300)을 선택하는 동작은 하기의 도 4를 이용하여 상세하게 설명하기로 한다. The controller 250 selects the consulting terminal 300 allocated to the consultant selected by the client terminal 100 based on the signal received from the client terminal 100 in step 305. In step 307, In step 307, the controller 250 connects the selected consulting terminal 300 to the customer terminal 100, and performs step 309. [ The operation of the customer terminal 100 to select the consultation terminal 300 will be described in detail with reference to FIG.

309단계에서 제어부(250)는 고객단말(100)과 상담단말(300)의 화상 상담의 진행에 따라 발생되는 상담데이터를 획득한다. 이때, 상담데이터는, 음성데이터와 영상데이터를 포함할 수 있다. 아울러, 화상 상담 시에 상담단말(300)에서 고객단말(100)에 자료데이터를 제공한 경우, 상담데이터는 자료데이터를 추가적으로 포함할 수 있다. 311단계에서 제어부(250)는 고객단말(100)와 상담단말(300)의 화상 상담이 완료됨이 확인되면 313단계를 수행하고, 화상 상담이 완료됨이 확인되지 않으면 309단계로 회귀하여 상담데이터를 지속적으로 획득할 수 있다. In step 309, the control unit 250 acquires the consultation data generated in accordance with the progress of the video consultation between the customer terminal 100 and the consultation terminal 300. At this time, the consultation data may include voice data and image data. In addition, when the consulting terminal 300 provides the data to the customer terminal 100 during the video consultation, the consulting data may additionally include data data. If it is determined in step 311 that the video consultation of the customer terminal 100 and the consultation terminal 300 is completed, the control unit 250 performs step 313. If the video consultation is not completed, the control unit 250 returns to step 309, Can be obtained continuously.

313단계에서 제어부(250)는 획득된 상담데이터를 요약하여 요약데이터를 생성하고, 315단계를 수행한다. 315단계에서 제어부(250)는 요약데이터에 색인을 설정하고, 317단계를 수행한다. 이때, 상담데이터를 요약하는 내용은 하기의 도 5를 이용하여 상세하게 설명하고, 색인을 설정하는 내용은 하기의 도 6을 이용하여 상세하게 설명하기로 한다. In step 313, the control unit 250 summarizes the obtained consultation data to generate summary data, and performs step 315. In step 315, In step 315, the control unit 250 sets an index to the summary data, and performs step 317. [ The summary of the consultation data will be described in detail with reference to FIG. 5, and the contents of setting the index will be described in detail with reference to FIG. 6 below.

317단계에서 제어부(250)는 생성된 요약데이터를 메모리(240)에 저장하고, 요약데이터에 설정된 색인을 요약데이터와 함께 저장한다. 따라서, 고객은 자신이 상담하고 싶은 내용을 상담 이전에 색인을 이용하여 미리 검색해볼 수 있다. 또한, 상담자는 색인을 이용하여 고객으로부터 요청된 상담과 유사한 상담 내용을 검색해볼 수 있다. In step 317, the controller 250 stores the generated summary data in the memory 240, and stores the index set in the summary data together with the summary data. Therefore, the customer can search the contents he / she wants to consult in advance using the index before consulting. Also, the consultant can search the consultation contents similar to the consultation requested from the customer using the index.

도 4는 본 발명의 실시 예에 따른 상담자를 선택하는 방법을 설명하기 위한 상세순서도이다. 4 is a detailed flowchart for explaining a method of selecting a consultant according to an embodiment of the present invention.

도 4를 참조하면, 401단계에서 제어부(250)는 고객단말(100)로 상담분야를 안내한다. 403단계에서 제어부(250)는 고객단말(100)로부터 상담분야에 대한 선택신호의 수신여부를 확인한다. 403단계의 확인결과, 고객단말(100)로부터 상담분야에 대한 선택신호가 수신되면 제어부(250)는 405단계를 수행하고, 선택신호가 수신되지 않으면 제어부(250)는 411단계를 수행한다. 411단계에서 제어부(250)는 고객단말(100)로부터 개인 정보를 수신하고 413단계를 수행한다. 413단계에서 제어부(250)는 수신된 개인 정보를 메모리(240)에 저장한다. 이때, 제어부(250)는 403단계에서 고객단말(100)로부터 상담분야에 대한 선택신호가 수신되지 않았으므로, 고객단말(100)을 사용하는 고객의 성명, 전화번호 등 기본적인 개인 정보만을 수신할 수 있다. Referring to FIG. 4, in step 401, the control unit 250 guides the consultation field to the customer terminal 100. In step 403, the control unit 250 confirms whether or not the selection signal for the consultation field is received from the customer terminal 100. If it is determined in step 403 that the selection signal for the consulting field is received from the customer terminal 100, the controller 250 performs step 405. If the selection signal is not received, the controller 250 performs step 411. [ In step 411, the controller 250 receives the personal information from the customer terminal 100 and performs step 413. In step 413, the controller 250 stores the received personal information in the memory 240. At this time, since the selection signal for the consultation field is not received from the customer terminal 100 in step 403, the controller 250 can receive only the basic personal information such as the name of the customer using the customer terminal 100, have.

405단계에서 제어부(250)는 고객단말(100)로 선택된 상담분야를 전문적으로 상담하는 상담자의 리스트를 안내한다. 이때, 고객단말(100)이 이전에 동일한 상담분야를 상담한 이력이 있으면, 제어부(250)는 이전의 상담을 담당했던 상담자를 제일 먼저 안내할 수 있다. 407단계에서 제어부(250)는 고객단말(100)로부터 상담자에 대한 선택신호가 수신되면 409단계를 수행하고, 선택신호가 수신되지 않으면 411단계를 수행한다. In step 405, the controller 250 guides the list of counselors who professionally consult the counseling field selected by the client terminal 100. [ At this time, if the client terminal 100 has a history of consulting the same consulting field previously, the controller 250 can first guide the consultant who was in charge of the previous consultation. In step 407, the controller 250 performs step 409 if the selection signal for the consultant is received from the customer terminal 100, and performs step 411 if the selection signal is not received.

411단계에서 제어부(250)는 고객단말(100)로부터 개인 정보를 수신하고 413단계를 수행한다. 413단계에서 제어부(250)는 수신된 개인 정보를 메모리(240)에 저장한다. 아울러, 개인 정보는 음성데이터 또는 동영상데이터로 수신될 수 있으며, 개인 정보가 동영상데이터로 수신될 경우에는 동영상데이터에서 음성데이터만을 추출할 수 있다. In step 411, the controller 250 receives the personal information from the customer terminal 100 and performs step 413. In step 413, the controller 250 stores the received personal information in the memory 240. In addition, the personal information can be received as voice data or moving picture data, and when personal information is received as moving picture data, only voice data can be extracted from the moving picture data.

이때, 제어부(250)는 403단계에서 고객단말(100)로부터 상담분야가 선택되었으므로, 고객단말(100)을 사용하는 고객의 성명, 전화번호 및 선택된 상담분야와 관련된 상담 시 필요한 개인 정보를 추가적으로 수신할 수 있다. 예컨대, 카드 사용내역과 관련된 상담분야가 선택되면, 제어부(250)는 고객단말(100)로부터 카드번호 등의 개인 정보를 추가적으로 수신할 수 있다. 제어부(250)는 상담분야에 따라 카드번호가 암호화 대상인 항목인 것으로 확인할 수 있고, 암호화 대상인 항목을 암호화할 수 있다. 예컨대, 제어부(250)는 암호화된 카드번호를 “암호화 대상 항목/암호화된 카드번호(예: 1111-0000-1111-0000)/음성데이터의 PCM데이터/암호화된 카드번호를 복호하기 위한 복호화 키/타임스탬프 기반으로 음성데이터에서 카드번호가 확인된 시각”의 순서로 메모리(240)에 저장할 수 있다. At this time, since the consulting field is selected from the customer terminal 100 in step 403, the controller 250 additionally receives the name of the customer using the customer terminal 100, the telephone number, and the personal information required for consultation related to the selected consulting field can do. For example, when a consulting field related to card usage details is selected, the control unit 250 may additionally receive personal information such as a card number from the customer terminal 100. [ The control unit 250 can confirm that the card number is an item to be encrypted according to the consultation field, and can encrypt the item to be encrypted. For example, the control unit 250 sets the encrypted card number to " encryption target item / encrypted card number (e.g., 1111-0000-1111-0000) / PCM data of voice data / decryption key / Time at which the card number is confirmed in the voice data based on the time stamp ".

407단계에서 제어부(250)는 고객단말(100)로부터 상담자에 대한 선택신호가 수신되면 409단계에서 제어부(250)는 선택된 상담자와의 상담이 가능한지를 확인할 수 있다. 409단계에서 제어부(250)는 선택된 상담자가 다른 고객과 상담 중이면 상담이 불가능한 것으로 확인하여 415단계를 수행한다. 415단계에서 제어부(250)는 고객단말(100)로 현재 상담이 불가능함을 알리는 메시지를 전송하고 407단계로 회귀한다. 407단계에서 제어부(250)는 고객단말(100)로부터 선택된 상담자와 상담대기를 위한 선택신호가 수신되면 409단계를 수행하고, 상담대기를 위한 선택신호가 수신되지 않으면 411단계를 수행한다. In step 407, when the controller 250 receives a selection signal for the counselor from the client terminal 100, the controller 250 can check whether consultation with the selected counselor is possible. In step 409, if the selected consultant is in consultation with another customer, the controller 250 determines that consultation is impossible and performs step 415. [ In step 415, the control unit 250 transmits a message informing that the current consultation is impossible to the customer terminal 100, and returns to step 407. [ In step 407, the control unit 250 performs step 409 if a selection signal for waiting for a consultation with the selected consultant is received from the customer terminal 100, and performs step 411 if a selection signal for waiting for consultation is not received.

아울러, 409단계에서 제어부(250)는 선택된 상담자가 상담 중이 아니면 상담이 가능한 것으로 확인하여 411단계를 수행한다. 이때, 제어부(250)는 403단계에서 고객단말(100)로부터 상담분야가 선택되었으므로, 고객단말(100)을 사용하는 고객의 성명, 전화번호 및 선택된 상담분야와 관련된 상담 시 필요한 개인 정보를 추가적으로 수신할 수 있다. 411단계에서 제어부(250)는 고객단말(100)로부터 개인 정보를 수신하고 413단계를 수행한다. 413단계에서 제어부(250)는 수신된 개인 정보를 메모리(240)에 저장하고, 도 3의 307단계로 리턴한다. 이때, 제어부(250)는 개인 정보 중 암호화 대상인 개인 정보를 암호화하여 메모리(240)에 저장한다. In step 409, the controller 250 determines whether consultation is possible if the selected consultant is not in consultation, and performs step 411. At this time, since the consulting field is selected from the customer terminal 100 in step 403, the controller 250 additionally receives the name of the customer using the customer terminal 100, the telephone number, and the personal information required for consultation related to the selected consulting field can do. In step 411, the controller 250 receives the personal information from the customer terminal 100 and performs step 413. In step 413, the controller 250 stores the received personal information in the memory 240, and returns to step 307 of FIG. At this time, the controller 250 encrypts the personal information to be encrypted among the personal information and stores it in the memory 240.

도 5는 본 발명의 실시 예에 따른 상담데이터를 요약하는 방법을 설명하기 위한 상세순서도이다. 5 is a detailed flowchart for explaining a method of summarizing consultation data according to an embodiment of the present invention.

도 5를 참조하면, 501단계에서 제어부(250)는 상담데이터에 자료데이터의 존재여부를 확인한다. 501단계의 확인결과 상담데이터에 자료데이터가 존재하면 제어부(250)는 503단계를 수행한다. 503단계에서 제어부(250)는 상담데이터를 음성데이터, 영상데이터 및 자료데이터로 분류할 수 있다. 제어부(250)는 타임스탬프를 이용하여 음성데이터, 영상데이터 및 자료데이터의 동기화를 수행한다. 이때, 제어부(250)는 고객단말(100)에서 수신되는 음성데이터 및 영상데이터, 상담단말(300)에서 수신되는 음성데이터 및 영상데이터, 자료데이터에 포함된 음성데이터 및 영상데이터를 각각 분류할 수 있다. 501단계의 확인결과 상담데이터에 자료데이터가 존재하지 않으면 제어부(250)는 505단계를 수행한다. 505단계에서 제어부(250)는 상담데이터를 음성데이터 및 영상데이터로 분류할 수 있다. Referring to FIG. 5, in step 501, the controller 250 checks whether or not there is data data in the consultation data. If it is determined in step 501 that data exists in the consultation data, the controller 250 performs step 503. In step 503, the control unit 250 may classify the consultation data into voice data, image data, and data data. The controller 250 synchronizes the voice data, the video data, and the data using the time stamp. At this time, the control unit 250 can classify voice data and image data received from the customer terminal 100, voice data and image data received from the consulting terminal 300, voice data included in the data data, and image data, respectively have. If it is determined in step 501 that the data does not exist in the consultation data, the controller 250 performs step 505. [ In step 505, the control unit 250 may classify the consultation data into voice data and image data.

507단계에서 제어부(250)는 분류된 각각의 데이터를 분석한다. 509단계에서 제어부(250)는 음성데이터 중 무음 구간을 제거한다. 511단계에서 제어부(250)는 타임스탬프를 기준으로 상담데이터에 인덱싱을 수행한다. 보다 구체적으로, 제어부(250)는 음성데이터에서 제거된 무음 구간의 타임스탬프를 확인한다. 제어부(250)는 제거된 무음 구간의 타임스탬프와 동일한 타임스탬프를 영상데이터에서 확인한다. 제어부(250)는 제거된 무음 구간과 동일한 구간을 영상데이터에서 제거하고, 음성데이터와 영상데이터에 인덱싱을 수행한다. 아울러, 상담데이터에 자료데이터가 존재할 경우, 제어부(250)는 자료데이터를 구성하는 프레임들을 확인하고, 프레임들간의 비교를 통해 영상차이가 임계치 이상인 프레임에 대응되는 타임스탬프를 기준으로 자료데이터에 인덱싱을 수행한다. In step 507, the controller 250 analyzes each classified data. In step 509, the control unit 250 removes the silent section of the voice data. In step 511, the control unit 250 performs indexing on the consultation data based on the time stamp. More specifically, the control unit 250 checks the time stamp of the silent section removed from the voice data. The controller 250 checks the video data for the same time stamp as the time stamp of the removed silent section. The control unit 250 removes the same section as the removed silent section from the image data, and indexes the audio data and the image data. In addition, when there is data data in the consultation data, the control unit 250 identifies the frames constituting the data data, compares the frames with each other, and indexes the data based on the time stamp corresponding to the frame whose image difference is equal to or greater than the threshold value .

513단계에서 제어부(250)는 무음 구간이 제거된 음성데이터에 도 4의 411단계에서 수신된 개인 정보의 존재여부를 확인한다. 513단계의 확인결과, 개인 정보가 존재하면 제어부(250)는 515단계를 수행하고, 개인 정보가 존재하지 않으면 제어부(250)는 517단계를 수행한다. 513단계에서 제어부(250)는 무음 구간이 제거된 음성데이터의 PCM데이터를 확인하여 도 4의 413단계에서 저장된 음성데이터의 PCM데이터와 비교한다. 제어부(250)는 PCM데이터의 비교결과, 확인된 PCM데이터와 저장된 PCM데이터가 임계치 이상 유사하면, 음성데이터에 개인 정보가 존재하는 것으로 확인할 수 있다. 515단계에서 제어부(250)는 확인된 개인 정보를 암호화할 수 있다. In step 513, the controller 250 checks whether the personal information received in step 411 of FIG. 4 exists in the voice data from which the silent section has been removed. As a result of checking in step 513, if there is personal information, the controller 250 performs step 515, and if there is no personal information, the controller 250 performs step 517. [ In step 513, the controller 250 checks the PCM data of the voice data from which the silent section has been removed, and compares the PCM data with the PCM data of the voice data stored in step 413 of FIG. The control unit 250 can confirm that the personal information exists in the voice data if the confirmed PCM data and the stored PCM data are equal to or more than a threshold value as a result of the comparison of the PCM data. In step 515, the control unit 250 can encrypt the identified personal information.

517단계에서 제어부(250)는 음성데이터에서 개인 정보를 제외한 음성데이터를 텍스트데이터로 변환한다. 이때, 음성데이터의 텍스트데이터 변환은 일반적으로 사용하는 STT(speech to text) 기술을 이용할 수 있다. 519단계에서 제어부(250)는 변환된 텍스트데이터의 분석을 통해 대화 유형을 분석할 수 있다. 보다 구체적으로, 상담 시에 대화 유형은 크게 고객이 질문하고 상담자가 답변하는 유형, 상담자가 질문하고 고객이 답변하는 유형, 고객이 상술하고 상담자가 답변하는 유형 및 상담자가 상술하고 고객이 답변하는 유형으로 분류될 수 있다. 제어부(250)는 텍스트데이터들의 자연어 처리 및 분석을 통해 고객 또는 상담자가 발화한 문장이 의문문인지 평서문인지를 구분하고, 발화 순서를 기반으로 질문, 답변, 상술을 구분할 수 있다. In step 517, the control unit 250 converts the voice data excluding the personal information into the text data. At this time, text data conversion of voice data can use a commonly used speech to text (STT) technique. In step 519, the controller 250 may analyze the conversation type through analysis of the converted text data. More specifically, the type of conversation at the time of counseling is largely determined by the types of questions the client answers and the counselor answers, the types of questions the counselor answers and the client answers, the type of the client's answer and the counselor answers, . &Lt; / RTI > The control unit 250 can distinguish whether a sentence uttered by a customer or a consultant is a question sentence or a statement sentence through natural language processing and analysis of text data, and can distinguish a question, an answer, and an explanation based on a speech order.

521단계에서 제어부(250)는 상담데이터를 요약하여 요약데이터를 생성한다. 제어부(250)는 511단계에서 음성데이터, 영상데이터 및 자료데이터를 상담 내용의 요약에 필요한 내용 정보가 포함된 최소 단위 예컨대, 무음 구간을 제거한 하나의 문장으로 인덱싱하였으므로, 이를 이용하여 요약데이터를 생성한다. In step 521, the control unit 250 generates summary data by summarizing the consultation data. In step 511, the control unit 250 indexes the voice data, the image data, and the data data into a single sentence in which a minimum unit including content information necessary for summarizing the consultation contents is removed, for example, a silent section. do.

제어부(250)는 고객단말(100)로 제공할 요약데이터와 상담단말(300)로 제공할 요약데이터를 별도로 생성할 수 있다. 보다 구체적으로, 고객단말(100)로 제공할 요약데이터의 경우, 고객이 의도한 질문 또는 상술구간보다 상담자의 답변 또는 상술구간에 중요도가 높다. 따라서, 제어부(250)는 상담자의 답변이나 상술이 포함된 구간이 포함된 음성데이터에 동일한 시점에 획득된 영상데이터를 배경 영상으로 표시하고, 고객의 질문 또는 상술내용은 배경 영상에 텍스트데이터로 오버레이하여 요약데이터를 생성할 수 있다. 아울러, 상담자의 답변이나 상술이 포함된 구간에 자료데이터가 있을 경우, 자료데이터에 우선 순위를 높게 설정하여 자료데이터를 배경 영상으로 표시하고, 고객의 질문 또는 상술내용은 배경 영상에 텍스트데이터로 오버레이하여 요약데이터를 생성할 수 있다. The control unit 250 may separately generate summary data to be provided to the customer terminal 100 and summary data to be provided to the consulting terminal 300. More specifically, in the case of the summary data to be provided to the customer terminal 100, the importance is high in the answer of the therapist or the detailed section than the question or the recommended section of the customer. Accordingly, the controller 250 displays the image data obtained at the same time point in the voice data including the answer of the therapist or the interval including the description as a background image, and the question or detail content of the customer is overlaid on the background image as text data To generate summary data. In addition, when there is data data in the section including the answer or the consultant's question, the data data is set as the background image by setting the data data with a high priority, and the customer's question or the description is overlaid on the background image with the text data To generate summary data.

예를 들면, 제어부(250)의 확인결과, 도 3의 307단계에 해당하는 고객단말(100)과 상담단말(300)이 연결된 시점이 T0고, 도 3의 311단계에 해당하는 화상 상담이 종료된 시점이 T7이다. 제어부(250)는 음성데이터의 분석결과, 무음 구간인 T0부터 T1까지, T2부터 T4까지를 음성데이터에서 제거한다. 제어부(250)는 영상데이터에서 T0부터 T1까지, T2부터 T4까지를 제거한다. 제어부(250)는 음성데이터의 유음 구간인 T1부터 T2까지, T4부터 T7까지에 인덱싱을 수행한다. 또한, 제어부(250)는 영상데이터에서 음성데이터의 유음 구간에 대응되는 구간인 T1부터 T2까지, T4부터 T7까지에 인덱싱을 수행한다. 제어부(250)는 음성데이터의 유음 구간에서 개인 정보가 확인되면, 이를 암호화한다. 제어부(250)는 개인 정보를 제외한 음성데이터를 텍스트데이터로 변환한다. 즉, 제어부(250)는 T1부터 T2, T4부터 T7까지 구간에 대응되는 음성데이터를 텍스트데이터로 변환한다. For example, when the control unit 250 determines that the time point at which the customer terminal 100 and the consulting terminal 300 corresponding to step 307 in FIG. 3 are connected is T0, and the video consultation corresponding to step 311 in FIG. 3 is terminated The point of time is T7. As a result of the analysis of the voice data, the control unit 250 removes from T0 to T1 and from T2 to T4 from the voice data. The control unit 250 removes T2 to T4 from T0 to T1 in the image data. The control unit 250 performs indexing from T4 to T7 from T1 to T2, which is a lunar section of the voice data. In addition, the control unit 250 performs indexing from T4 to T7 from T1 to T2 corresponding to the lunar section of the audio data in the video data. The control unit 250 encrypts the personal information when the personal information is confirmed in the lunar section of the voice data. The control unit 250 converts the voice data excluding the personal information into text data. That is, the controller 250 converts the audio data corresponding to the section from T1 to T2 and from T4 to T7 into text data.

제어부(250)는 T1부터 T2, T4부터 T7까지 구간까지의 텍스트데이터를 분석하여 대화 유형을 분석한다. 제어부(250)는 대화 유형의 분석을 통해 T1부터 T2까지는 고객단말(100)이 질문한 구간이고, T4부터 T7까지는 상담단말(300)이 질문에 대하여 답변한 구간임을 확인한다. 또한, 제어부(250)는 T5부터 T6까지 상담단말(300)이 고객단말(100)로 자료데이터를 제공하였음을 확인할 수 있다. The controller 250 analyzes the text data from T1 to T2 and from T4 to T7 to analyze the conversation type. The control unit 250 confirms that the user terminal 100 is in a period from T1 to T2 through the analysis of the conversation type, and that the consulting terminal 300 answers the question from T4 to T7. Also, the controller 250 can confirm that the consulting terminal 300 has provided the data to the customer terminal 100 from T5 to T6.

제어부(250)는 T4부터 T7까지 상담단말(300)에서 획득된 영상데이터를 배경 화면으로 설정한다. 이때, T5부터 T6까지 고객단말(100)에 제공된 자료데이터는 상담단말(300)에서 획득된 영상데이터보다 우선순위가 높으므로, T5에서 T6까지는 자료데이터를 배경 화면으로 설정한다. 제어부(250)는 T4부터 T7까지 상담단말(300)에서 획득된 음성데이터를 배경 화면과 함께 출력되도록 편집하고, 고객단말(100)로부터 수신된 질문은 텍스트데이터로 배경 화면에 오버레이하여 표시되도록 편집할 수 있다. 이와 같이, 제어부(250)는 T0에서 T7까지 진행된 화상 상담을 T4부터 T7까지로 요약한 요약데이터를 생성할 수 있다. 만약, 고객단말(100)과 상담단말(300)이 연결된 시점부터 화상 상담이 종료된 시점까지, 복수의 질문과 응답이 존재하면, 제어부(250)는 분석된 대화 유형별로 요약데이터를 생성할 수 있다. 이와 같이, 제어부(250)는 상담데이터를 요약한 요약데이터를 생성하고, 도 3의 315단계로 회귀한다. 315단계에서 제어부(250)는 요약데이터에 색인을 설정한다. 이는 도 6을 이용하여 보다 구체적으로 설명하기로 한다. 도 6은 본 발명의 실시 예에 따른 상담데이터에 색인을 설정하는 방법을 설명하기 위한 상세순서도이다. The control unit 250 sets the image data acquired from the consulting terminal 300 from T4 to T7 as a background screen. At this time, since the data data provided to the customer terminal 100 from T5 to T6 has a higher priority than the image data obtained from the consulting terminal 300, data data from T5 to T6 are set as background images. The control unit 250 edits the voice data acquired from the consulting terminal 300 from T4 to T7 so as to be output together with the background screen and edits the question received from the customer terminal 100 to display the overlay on the background screen as text data can do. In this way, the control unit 250 can generate summary data summarizing the image consultation proceeding from T0 to T7 from T4 to T7. If there are a plurality of questions and responses from when the client terminal 100 and the consulting terminal 300 are connected to when the video consulting ends, the controller 250 can generate summary data for each type of analyzed conversation have. In this way, the control unit 250 generates summary data that summarizes the consultation data, and returns to step 315 of FIG. In step 315, the control unit 250 sets an index on the summary data. This will be described in more detail with reference to FIG. 6 is a detailed flowchart for explaining a method of setting an index on consultation data according to an embodiment of the present invention.

도 6을 참조하면, 601단계에서 제어부(250)는 도 4에서 선택된 상담분야를 확인한다. 603단계에서 제어부(250)는 생성된 요약데이터에 포함된 텍스트데이터 중에서 핵심어를 추출한다. 이때, 제어부(250)는 텍스트데이터에서 명사를 추출하고, 확인된 상담분야와 관련된 명사를 핵심어로 추출할 수 있다. 예를 들어, 상담분야가 금융일 경우, 제어부(250)는 텍스트데이터에서 “원”, “통장”, “적금”, “예금”, “대출” 등의 명사를 핵심어로 추출할 수 있다. 605단계에서 제어부(250)는 메모리(240)에 저장된 온톨로지를 호출한다. 이때, 제어부(250)는 확인된 상담분야와 관련된 온톨로지를 호출할 수 있다. 예컨대, 금융상담과 관련된 온톨로지는 제1 노드가 “금융상담”으로 형성되고, “금융상담”의 자식 노드인 제2 노드가 “상품가입”, “대출상담”, “월급”, “파산”, “통화문의” 등으로 형성될 수 있다. 또한, “통화문의”의 자식 노드인 제3 노드가 “환율”, “원화”, “유로” 등으로 형성될 수 있다. Referring to FIG. 6, in step 601, the control unit 250 confirms the consultation field selected in FIG. In step 603, the controller 250 extracts keywords from the text data included in the generated summary data. At this time, the control unit 250 extracts a noun from the text data, and extracts a noun related to the confirmed consultation field as a key word. For example, when the consulting field is financial, the control unit 250 can extract nouns such as "circle", "bankbook", "deposit", "deposit", "loan" In step 605, the control unit 250 calls the ontology stored in the memory 240. At this time, the control unit 250 may call the ontology associated with the identified consulting field. For example, an ontology related to financial consultation is a system in which a first node is formed as a "financial consultation", and a second node which is a child node of "financial consultation" Quot; call inquiry " or the like. In addition, the third node which is a child node of the " currency inquiry " may be formed of " currency exchange rate ", "

607단계에서 제어부(250)는 추출된 핵심어를 온톨로지에 적용하여 키워드로의 사용이 가능한지를 확인한다. 제어부(250)는 추출된 핵심어가 온톨로지를 구성하는 노드 중 어느 하나의 노드와 동일하면 핵심어를 키워드로 사용이 가능한 것으로 확인할 수 있다. 607단계에서 제어부(250)는 핵심어가 키워드로 사용이 가능하면 609단계를 수행하고, 키워드로 사용이 불가능하면 603단계로 회귀하여 상기의 단계를 재수행할 수 있다. In operation 607, the control unit 250 applies the extracted keyword to the ontology to check whether or not the keyword can be used. If the extracted key word is the same as any one of the nodes constituting the ontology, the control unit 250 can confirm that the keyword can be used as a keyword. In step 607, the controller 250 performs step 609 if the keyword is available as a keyword, and returns to step 603 if the keyword is not available.

609단계에서 제어부(250)는 요약데이터에 색인을 수행한다. 제어부(250)는 추출된 핵심어를 포함하는 텍스트데이터가 대응되는 음성데이터의 구간 예컨대, 하나의 문장, 키워드, 키워드가 할당된 노드의 부모 노드에 할당된 값, 키워드가 할당된 노드와 부모 노드 사이의 연관성 값을 확인하여 메모리(240)에 저장함으로써 요약데이터에 색인을 설정한다. In step 609, the controller 250 performs indexing on the summary data. The control unit 250 determines whether or not the text data including the extracted keyword is a value assigned to the parent node of the node to which the corresponding voice data is allocated, for example, one sentence, keyword, keyword, And sets the index to the summary data by storing the association value in the memory 240.

따라서, 고객단말(100)로부터 “유로화”라는 검색어가 입력되면 제어부(250)는 “유로화”와 연관성이 높은 키워드를 온톨로지에서 추출한다. 제어부(250)는 “유로화”와 연관성이 높은 키워드가 “유로”인 것으로 확인하고, “유로”가 키워드로 포함된 문장을 포함하는 요약데이터, “유로”의 부모 노드인 “통화문의”를 키워드로 포함된 문장을 포함하는 요약데이터, 키워드가 포함된 문장을 포함하는 요약데이터의 기준으로 앞 뒤로 임계 개수의 요약데이터까지를 검색결과로 추출하여 고객단말(100)로 제공할 수 있다. 이때, 검색어와 연관성이 높은 키워드가 포함된 문장은 고객의 질문, 답변 및 상술, 상담자의 답변, 질문 및 상술 중 어느 하나일 수 있으므로, 제어부(250)는 키워드가 포함된 문장을 포함하는 요약데이터를 확인할 수 있다. 아울러, 요약데이터에 개인 정보가 포함된 경우, 도 5의 515단계에서 개인 정보는 암호화되고, 개인 정보에 대응되는 음성데이터는 텍스트데이터로 변환되지 않으므로, 요약데이터에서 확인이 불가하다. 이와 같이, 제어부(250)는 요약데이터에 색인을 설정하고, 도 3의 317단계로 회귀한다. Therefore, when the search term " euro " is inputted from the customer terminal 100, the control unit 250 extracts a keyword having high relevance to the " euro currency " from the ontology. The control unit 250 confirms that the keyword having high relevance to the "euro" is the "euro", the summary data including the sentence including the "euro" as the keyword, the "currency inquiry" , Summary data including a sentence including a keyword, summary data including a sentence including a keyword, and summary data of a threshold number before and after a keyword may be extracted as search results and provided to the customer terminal 100. At this time, the sentence including the keyword having high relevance to the search term may be any one of the customer's question, the answer and the description, the consultant's answer, the question, and the description. . If the summary data includes the personal information, the personal information is encrypted in step 515 of FIG. 5, and the voice data corresponding to the personal information is not converted into the text data, so it can not be confirmed in the summary data. In this way, the control unit 250 sets an index to the summary data, and returns to step 317 in FIG.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The embodiments of the present invention disclosed in the present specification and drawings are merely illustrative examples of the present invention and are not intended to limit the scope of the present invention in order to facilitate understanding of the present invention. Accordingly, the scope of the present invention should be construed as being included in the scope of the present invention, all changes or modifications derived from the technical idea of the present invention.

Claims

Acquiring personal information of a customer terminal requesting a video consultation by the electronic device, and connecting the customer terminal and the consulting terminal;
Obtaining consultation data including image data and voice data according to a video consultation between the client terminal and the consultation terminal;
Extracting a voice section from the voice data, encrypting the personal information when the voice data includes the same personal information as the personal information, converting the voice data excluding the personal information into text data to generate summary data ; And
Extracting at least one keyword from the text data and setting an index for searching the summary data with the keyword;
Wherein the consultation data management method comprises:

The method according to claim 1,
Wherein the step of connecting the customer terminal and the consultation terminal comprises:
Guiding the consultation field to the customer terminal;
Acquiring the necessary personal information according to a consultation field selected by the customer terminal; And
Storing the personal information and connecting the customer terminal and the consultation terminal;
Wherein the consultation data management method comprises:

3. The method of claim 2,
Directing at least one counselor related to the selected counseling field to the client terminal;
Receiving a selection signal for a therapist from the customer terminal; And
Confirming whether or not consultation with a therapist corresponding to the selection signal is possible;
Further comprising the steps of:

3. The method of claim 2,
Wherein generating the summary data comprises:
Confirming whether or not data data is included in the consultation data;
Classifying the consultation data into the image data, the voice data, and the data data; And
Analyzing each of the classified data;
Wherein the consultation data management method comprises:

5. The method of claim 4,
Confirming a time stamp corresponding to the loud voice section of the voice data;
Extracting a section corresponding to the loud voice section from the image data based on the time stamp;
Performing indexing of the audio data and the video data based on the extracted section;
Further comprising the steps of:

6. The method of claim 5,
Analyzing frames constituting the data; And
Performing indexing of the data based on an analysis result of the frames;
Further comprising the steps of:

The method according to claim 6,
Generating the summary data using the indexed audio data, image data, and data and text data;
Further comprising the steps of:

The method according to claim 6,
The step of setting the index comprises:
Confirming a consultation field selected by the customer terminal;
Extracting at least one key word by analyzing text data corresponding to the lunght section;
Confirming whether or not the keywords can be used in the consultation field; And
Setting the index to the summary data using the keyword if the keyword is available;
Wherein the consultation data management method comprises:

9. The method of claim 8,
The step of verifying whether or not the keyword is available,
Invoking an ontology associated with the consulting field;
Further comprising the steps of:

A communication unit for connecting the customer terminal and the consultation terminal; And
Acquiring the personal information of the customer terminal requesting the video consultation and the consultation data in accordance with the video consultation of the customer terminal and the consultation terminal and acquiring the same personal information identified in the lunation section extracted from the voice data included in the consultation data A controller for encrypting the personal information, converting the voice data excluding the personal information into text data to generate summary data, and setting an index of the summary data to at least one keyword extracted from the text data;
Wherein the electronic device manages the consultation data.

11. The method of claim 10,
Wherein,
Wherein the consultation field is guided to the customer terminal, and the personal information necessary for the consultation field selected by the customer terminal is acquired and stored.

12. The method of claim 11,
Wherein,
Guidance to at least one counselor related to the selected counseling field to the client terminal and checking whether or not consultation with a counselor corresponding to the selection signal received from the client terminal is possible.

12. The method of claim 11,
Wherein,
Classifies the consultation data into the image data, the voice data, and the data data when the consultation data includes data data, and analyzes the data.

14. The method of claim 13,
Wherein,
Extracts a section corresponding to the lunght section from the video data based on the time stamp, indexes the voice data and the video data based on the extracted section, Wherein the electronic device manages the consultation data.

15. The method of claim 14,
Wherein,
Analyzes the frames constituting the data, and performs indexing of the data based on an analysis result of the frames.

16. The method of claim 15,
Wherein,
And the summary data is generated using the voice data, the image data, the data data, and the text data on which the indexing has been performed.

16. The method of claim 15,
Wherein,
Wherein the consultation field selected by the customer terminal is identified and at least one keyword related to the consultation field is extracted by analyzing the text data corresponding to the lunght section to confirm whether or not the keyword is available for the keyword An electronic device for managing data.

18. The method of claim 17,
Wherein,
And if the keyword can be used as the keyword, sets the index to the summary data with the keyword.

19. The method of claim 18,
Wherein,
And an ontology associated with the consultation field is called to confirm whether the keyword is usable.