KR102371563B1

KR102371563B1 - Device and sever for providing a subject of conversation and method for providing the same

Info

Publication number: KR102371563B1
Application number: KR1020210031470A
Authority: KR
Inventors: 김혜인; 이상일; 이성규; 홍성설; 신정훈; 이연우
Original assignee: 삼성전자주식회사
Priority date: 2013-08-05
Filing date: 2021-03-10
Publication date: 2022-03-07
Also published as: KR20210031665A

Abstract

본 발명의 일 실시예에 따른 대화 소재 제공 방법은 통화 중인 사용자의 음성 데이터를 텍스트로 변환하는 단계; 상기 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하는 단계; 상기 키워드에 대한 관심 정보를 획득하는 단계; 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정하는 단계; 및 상기 관심 정보 및 상기 토픽들을 표시하는 단계를 포함한다.Conversation material providing method according to an embodiment of the present invention includes the steps of converting voice data of a user in a call into text; selecting a keyword representing a user's intention from the text; obtaining interest information about the keyword; determining topics related to the keyword based on user information; and displaying the interest information and the topics.

Description

Device and server for providing a subject of conversation and method for providing the same

본 발명의 실시예들은 대화의 소재를 제공하는 장치, 서버 및 방법에 관한 것이다.Embodiments of the present invention relate to an apparatus, a server, and a method for providing material for a conversation.

텔레비전 또는 스마트폰 등은 사용자가 시청 가능한 영상을 표시하고, 사용자에게 정보를 제공할 수 있는 장치이다. 최근에는 사용자는 텔레비전을 이용하여 방송을 시청할 뿐만 아니라, 웹 서핑과 같이 정보를 검색하거나 사용자 간에 통화하는 수단으로 사용되기도 한다. A television or a smart phone is a device capable of displaying a user-viewable image and providing information to the user. Recently, a user not only watches a broadcast using a television, but is also used as a means to search for information or communicate between users, such as surfing the web.

특히, 영상 통화가 가능한 텔레비전을 이용하여 사용자가 대화를 하는 동안, 텔레비전은 사용자에게 정보를 제공하기도 하고, 광고 등의 영상을 제공하기도 한다. 사용자는 상대방과 통화 중에 대화를 진행하기 위하여 필요한 정보를 획득하고 싶지만, 통화 중 문자 입력을 수행하는데 불편함이 있고, 정보를 검색하는데 다소 시간이 걸린다. 따라서, 사용자가 통화 중 대화의 진행을 돕기 위해 사용자에게 필요한 정보들을 제공할 필요가 있다.In particular, while a user is having a conversation using a television capable of video calls, the television may provide information to the user or provide images such as advertisements. A user wants to acquire information necessary to conduct a conversation with the other party during a call, but it is inconvenient to input text during a call, and it takes some time to search for information. Accordingly, it is necessary to provide necessary information to the user in order to assist the user in conducting a conversation during a call.

본 발명은 통화 중인 사용자에게 대화를 진행하기 위한 대화 소재를 제공하는 장치, 서버 및 방법을 제공함에 있다.An object of the present invention is to provide an apparatus, a server, and a method for providing a conversation material for conducting a conversation to a user on a call.

본 발명의 일 실시예에 따르면, 대화 소재 제공 방법은 통화 중인 사용자의 음성 데이터를 텍스트로 변환하는 단계; 상기 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하는 단계; 상기 키워드에 대한 관심 정보를 획득하는 단계; 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정하는 단계; 및 상기 관심 정보 및 상기 토픽들을 표시하는 단계를 포함한다.According to an embodiment of the present invention, a method for providing a conversation material includes converting voice data of a user during a call into text; selecting a keyword representing a user's intention from the text; obtaining interest information about the keyword; determining topics related to the keyword based on user information; and displaying the interest information and the topics.

본 발명의 또 다른 실시예에 따르면, 대화 소재를 제공하는 장치는 통화 중인 사용자의 음성 데이터를 텍스트로 변환하는 텍스트 변환부; 상기 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하는 키워드 선정부; 상기 키워드에 대한 관심 정보를 획득하는 관심 정보 획득부; 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정하는 토픽 결정부; 및 상기 관심 정보 및 상기 토픽들을 표시하는 표시부를 포함한다.According to another embodiment of the present invention, an apparatus for providing a conversation material includes a text conversion unit for converting voice data of a user during a call into text; a keyword selection unit for selecting a keyword representing a user's intention from among the text; an interest information acquisition unit configured to acquire interest information on the keyword; a topic determining unit that determines topics related to the keyword based on user information; and a display unit for displaying the interest information and the topics.

본 발명의 또 다른 실시예에 따르면, 서버는 통화 중인 사용자의 음성 데이터를 변환한 텍스트를 수신하는 수신부; 상기 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하고, 상기 키워드에 대한 관심 정보를 획득하고, 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정하는 정보 처리부; 상기 관심 정보 및 상기 토픽들을 송신하는 송신부를 포함한다.According to another embodiment of the present invention, the server includes a receiver for receiving text converted from voice data of a user in a call; an information processing unit that selects a keyword representing a user's intention from the text, obtains interest information on the keyword, and determines topics related to the keyword based on the user's information; and a transmitter for transmitting the interest information and the topics.

본 발명의 실시예에 따르면, 통화 중인 사용자에게 사용자의 대화 의도를 반영한 관심 정보 및 토픽(topic)을 제공할 수 있는 효과가 있다.According to an embodiment of the present invention, there is an effect that interest information and a topic reflecting the user's conversation intention can be provided to a user on a call.

또 다른 실시예에 따르면, 관심 정보, 서브 토픽 및 관련 토픽을 동시에 제공하여, 사용자가 원하는 정보를 선택할 수 있는 효과가 있다.According to another embodiment, interest information, a sub-topic, and a related topic are simultaneously provided, so that a user can select desired information.

또 다른 실시예에 따르면, 사용자의 관심을 반영한 정보들을 재구성하여 제공할 수 있는 효과가 있다.According to another embodiment, there is an effect that information reflecting the user's interest can be reconfigured and provided.

또 다른 실시예에 따르면, 사용자의 대화 중 탐지된 장소, 시간, 인물 등을 나타내는 단어를 키워드로 결정하고, 사용자의 SMS, SNS에서 키워드와 매칭되는 단어를 포함하는 SMS, SNS를 제공할 수 있는 효과가 있다.According to another embodiment, it is possible to determine a word representing a place, time, person, etc. detected during a user's conversation as a keyword, and provide SMS and SNS including a word matching the keyword in the user's SMS and SNS. It works.

도 1은 본 발명의 일 실시예에 따른 대화 소재 제공 장치(100)를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 대화 소재 제공 장치(100)를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 서버(200)를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 서버(200)를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 대화 소재를 제공하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 프로세스를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 프로세스를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 대화 소재를 표시하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 대화 소재를 표시하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 방법을 설명하기 위한 도면이다.1 is a diagram illustrating an apparatus 100 for providing conversation material according to an embodiment of the present invention.
2 is a diagram illustrating an apparatus 100 for providing conversation material according to an embodiment of the present invention.
3 is a diagram illustrating a server 200 according to an embodiment of the present invention.
4 is a diagram illustrating a server 200 according to an embodiment of the present invention.
5 is a view for explaining a method of providing a conversation material according to an embodiment of the present invention.
6 is a flowchart illustrating a method of providing a conversation material according to an embodiment of the present invention.
7 is a diagram illustrating a process for providing a conversation material according to an embodiment of the present invention.
8 is a diagram illustrating a process for providing a conversation material according to an embodiment of the present invention.
9 is a view for explaining a method of displaying a conversation material according to an embodiment of the present invention.
10 is a diagram for explaining a method of displaying a conversation material according to an embodiment of the present invention.
11 is a view for explaining a method of providing a conversation material according to an embodiment of the present invention.

하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다. The following description and accompanying drawings are for understanding the operation according to the present invention, and parts that can be easily implemented by those skilled in the art may be omitted.

또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. In addition, the specification and drawings are not provided for the purpose of limiting the present invention, and the scope of the present invention should be defined by the claims. The terms used in this specification should be interpreted with meanings and concepts consistent with the technical idea of the present invention so that the present invention can be most appropriately expressed.

이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다. Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 대화 소재 제공 장치(100)를 나타낸 도면이다. 1 is a diagram illustrating an apparatus 100 for providing conversation material according to an embodiment of the present invention.

도 1을 참조하면, 대화 소재 제공 장치(100)는 텍스트 변환부(110), 키워드 선정부(120), 관심 정보 획득부(130), 토픽 결정부(140) 및 표시부(150)를 포함한다. 대화 소재 제공 장치(100)는 통화 중인 사용자가 대화를 계속하여 진행할 수 있도록, 표시부(150)를 통하여 사용자에게 대화 소재를 제공한다. Referring to FIG. 1 , the conversation material providing apparatus 100 includes a text conversion unit 110 , a keyword selection unit 120 , an interest information acquisition unit 130 , a topic determination unit 140 , and a display unit 150 . . The conversation material providing apparatus 100 provides the conversation material to the user through the display unit 150 so that the conversational user can continue the conversation.

사용자는 통화 중 문자를 입력하여 검색을 수행하기가 쉽지 않다. 따라서, 사용자가 문자를 직접 입력하지 않더라도 사용자의 대화 내용을 분석하여 사용자가 원하는 정보를 제공하는 것이 필요하다. It is not easy for a user to perform a search by entering text during a call. Therefore, it is necessary to provide information desired by the user by analyzing the user's conversation contents even if the user does not directly input text.

또한, 사용자는 대화 중 언급된 주제에 대하여 보다 심화된 대화를 진행하고 싶은 경우가 있다. 이 경우, 언급된 주제에 관한 세부적인 정보들을 제공함으로써, 사용자의 대화를 도울 수 있다.In addition, there is a case in which the user wants to conduct a more in-depth conversation with respect to a topic mentioned during the conversation. In this case, by providing detailed information about the mentioned topic, it is possible to help the user's conversation.

또한, 사용자는 대화 중 이전의 대화 내용이나 사용자 자신이 이전에 방문했던 곳 등을 확인하고 싶을 때가 있다. 따라서, 사용자의 이전 대화 내용을 표시하거나 사용자가 이전에 방문했던 곳 등을 표시하여 사용자의 욕구를 충족시킬 수 있다.In addition, there are times when the user wants to check the contents of a previous conversation or a place the user has visited before during the conversation. Accordingly, it is possible to satisfy the user's desire by displaying the contents of the user's previous conversation or by displaying the place the user has previously visited.

대화 소재 제공 장치(100)는 사용자가 통화 중 원하는 정보가 무엇인지 의도를 파악하여, 사용자가 원하는 정보를 제공할 수 있다.The conversation material providing apparatus 100 may provide information desired by the user by identifying an intention of the information desired by the user during a call.

대화 소재 제공 장치(100)는 영상 또는 정보를 표시할 수 있는 장치로서, 예를 들면 텔레비전, 스마트폰 또는 태블릿 PC의 형태로 구현될 수 있다. The conversation material providing device 100 is a device capable of displaying images or information, and may be implemented in the form of, for example, a television, a smartphone, or a tablet PC.

또한, 대화 소재 제공 장치(100)는 영상 또는 음성 통화가 가능한 장치일 수 있다. 대화 소재 제공 장치(100)는 정보 처리를 위해 외부의 서버와 네트워크를 통해 연결되고, 서버와 정보를 송수신할 수 있다.In addition, the conversation material providing device 100 may be a device capable of video or voice calls. The conversation material providing apparatus 100 may be connected to an external server through a network for information processing, and may transmit/receive information to and from the server.

텍스트 변환부(110)는 사용자의 대화 중 입력되는 음성 데이터를 텍스트로 변환한다. 음성 데이터는 사용자가 대화 소재 제공 장치(100)를 이용하여 상대방과 통화하는 동안 입력되는 사용자의 음성을 나타낸다. 또한, 음성 데이터에는 사용자의 음성뿐만 아니라, 사용자와 통화하는 상대방의 음성도 포함될 수 있다. The text conversion unit 110 converts voice data input during a user's conversation into text. The voice data represents the user's voice input while the user makes a call with the other party using the conversation material providing apparatus 100 . In addition, the voice data may include not only the user's voice, but also the voice of the other party who makes a call with the user.

텍스트 변환부(110)는 변환된 텍스트를 키워드 선정부(120)로 출력한다. The text converting unit 110 outputs the converted text to the keyword selecting unit 120 .

키워드 선정부(120)는 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정한다. 키워드는 하나 또는 그 이상의 단어들일 수 있으며, 사용자의 대화에서 인식될 수 있는 사용자의 의도(intention), 문맥(context), 견해(opinion) 또는 감정(sentiment) 등을 고려하여 선정될 수 있다. 또한, 키워드는 사용자의 대화에서뿐만 아니라, 사용자의 이전 대화 히스트리(history), SNS(social network service) 또는 문자(SMS) 등을 고려하여 선정될 수도 있다. 즉, 다수의 의미를 내포하는 단어의 경우, 키워드 선정부(120)는 사용자의 이전 대화 히스토리를 참고하여 다수의 의미 중 어느 하나의 의미를 갖는 것으로 단어를 해석할 수 있다.The keyword selection unit 120 selects a keyword indicating the intention of the user from among the text. The keyword may be one or more words, and may be selected in consideration of the user's intention, context, opinion, or sentiment that can be recognized in the user's conversation. In addition, the keyword may be selected in consideration of not only the user's conversation, but also the user's previous conversation history, social network service (SNS), or text message (SMS). That is, in the case of a word containing a plurality of meanings, the keyword selector 120 may interpret the word as having one meaning among the plurality of meanings with reference to the user's previous conversation history.

키워드 선정부(120)는 텍스트에서 반복되는 단어를 키워드로 선정하거나 동일한 카테고리 내에서 복수의 단어들이 사용되는 경우 해당 카테고리를 키워드로 선정할 수 있다. 또한, 키워드 선정부(120)는 사용자의 SNS 계정으로 업로드된 정보들을 검색하거나 사용자의 문자들을 검색하여 키워드를 선정할 수 있다.The keyword selector 120 may select a word repeated in text as a keyword or select a corresponding category as a keyword when a plurality of words are used within the same category. Also, the keyword selector 120 may select a keyword by searching for information uploaded to the user's SNS account or by searching for the user's text.

키워드 선정부(120)는 텍스트에서 장소, 시간 또는 인물 등의 단어가 탐지되면, 장소, 시간 또는 인물 등을 나타내는 단어를 키워드로 결정할 수 있다. 또한, 관심 정보 획득부(130)는 장소, 시간 또는 인물 등을 나타내는 단어가 인접하여 탐지된 경우, 탐지된 단어들을 키워드로 결정할 수도 있다. 예를 들어, 한 문장에서 장소, 시간 또는 인물 등을 나타내는 단어가 2개 이상 탐지된 경우, 탐지된 단어들이 키워드로 결정된다.When words such as place, time, or person are detected in the text, the keyword selector 120 may determine a word representing the place, time, or person as a keyword. Also, when words representing a place, time, or person are detected adjacently, the interest information obtaining unit 130 may determine the detected words as keywords. For example, when two or more words representing a place, time, or person are detected in one sentence, the detected words are determined as keywords.

키워드 선정부(120)는 선정된 키워드를 관심 정보 획득부(130)로 출력한다.The keyword selecting unit 120 outputs the selected keyword to the interest information obtaining unit 130 .

관심 정보 획득부(130)는 입력된 키워드에 대한 관심 정보를 획득한다. 관심 정보는 키워드와 일치하는 상세한 정보(detail information)를 나타낸다. 다시 말해서, 관심 정보는 키워드를 이용하여 검색된 정보들 중에서, 사용자가 관심 있는 상세한 정보를 나타낸다. The interest information acquisition unit 130 acquires interest information on the input keyword. Interest information indicates detailed information matching the keyword. In other words, the interest information indicates detailed information that the user is interested in from among information searched for using a keyword.

관심 정보는 키워드를 검색하여 획득된 홈페이지 또는 검색된 정보들 중에서 사용자가 원하는 정보들만이 취합된 정보일 수 있다. 즉, 키워드를 검색하고, 검색된 결과들 중에서 사용자의 의도와 가장 부합하는 정보를 선택함으로써 제공되는 상세한 정보를 관심 정보라고 할 수 있다. 또한, 검색된 정보들 중에서 일부 정보만을 각각 추출하고, 추출된 정보를 재구성하여 관심 정보를 생성할 수도 있다. 즉, 관심 정보는 사용자의 의도에 따라 편집될 수 있다. The interest information may be a homepage obtained by searching for a keyword or information in which only information desired by a user from among the searched information is collected. That is, detailed information provided by searching for a keyword and selecting information that most closely matches the user's intention from among the search results may be referred to as interest information. Also, information of interest may be generated by extracting only some information from among the searched information, and reconstructing the extracted information. That is, the interest information may be edited according to a user's intention.

관심 정보 획득부(130)는 사용자의 디바이스 또는 사용자의 SNS 계정을 이용하여 관심 정보를 획득할 수 있다. 다시 말해서, 관심 정보 획득부(130)는 사용자가 통화를 하기 위해 사용 중인 디바이스 이외에 사용자의 또 다른 디바이스에 저장된 정보들을 검색하여 관심 정보를 획득할 수 있다. 또한, 관심 정보 획득부(130)는 사용자의 SNS 계정으로 로그인하여, 사용자가 SNS에 업로드한 글, 사진 또는 댓글 등을 검색하여 관심 정보를 획득할 수도 있다.The interest information acquisition unit 130 may acquire interest information by using the user's device or the user's SNS account. In other words, the interest information acquisition unit 130 may acquire the interest information by searching for information stored in another device of the user other than the device the user is using to make a call. In addition, the interest information acquisition unit 130 may log in to the user's SNS account and obtain the interest information by searching for articles, photos, or comments uploaded by the user to the SNS.

관심 정보 획득부(130)는 사용자의 SMS 또는 SNS에서 장소, 시간 또는 인물을 나타내는 단어와 일치하는 단어를 검색하고, 일치하는 단어를 포함하는 사용자의 SMS 또는 SNS에 업로드된 글, 사진 또는 댓글 등을 관심 정보로 획득할 수 있다. 다시 말해서, 키워드 선정부(120)에서 장소, 시간 또는 인물을 나타내는 단어가 키워드로 선정되었다면, 관심 정보 획득부(130)는 사용자의 정보 즉, 사용자의 대화 히스토리, 사용자의 SMS, 또는 사용자의 SNS를 검색하여 일치하는 단어를 찾는다. 관심 정보 획득부(130)는 사용자의 대화 히스토리, 사용자의 SMS 또는 사용자의 SNS에서 일치하는 단어가 발견되면, 일치하는 단어를 포함하는 사용자의 대화 히스토리의 일부분, 사용자의 SMS 또는 사용자의 SNS에 개시된 내용 등을 관심 정보로 획득한다. 사용자는 획득된 관심 정보를 확인함으로써, 대화 중 언급된 장소, 시간 또는 인물 등에 대한 정보를 획득할 수 있다. 이와 관련하여, 도 11에서 일 예를 들어 보다 상세히 설명한다.The interest information acquisition unit 130 searches for a word matching a word representing a place, time, or person in the user's SMS or SNS, and includes a text, photo, or comment uploaded to the user's SMS or SNS including the matching word. can be obtained as information of interest. In other words, if a word representing a place, time, or person is selected as a keyword in the keyword selector 120 , the interest information obtaining unit 130 provides the user's information, that is, the user's conversation history, the user's SMS, or the user's SNS. search to find matching words. When a matching word is found in the user's conversation history, the user's SMS, or the user's SNS, the interest information acquisition unit 130 is a part of the user's conversation history including the matching word, the user's SMS or the user's SNS. Acquire contents, etc. as information of interest. The user may acquire information about a place, time, or person mentioned during a conversation by checking the acquired interest information. In this regard, an example in FIG. 11 will be described in more detail.

토픽 결정부(140)는 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정한다. 사용자의 정보는 사용자의 이전 대화 히스트리, SNS, SMS, 모바일 메신저, 관심사항, 검색 이력 또는 사용자가 자주 가는 장소 등 사용자에 관한 모든 정보를 포함한다. 또한, 사용자 정보는 사용자가 소유하고 있는 다양한 디바이스로부터 획득할 수 있는 정보를 포함한다. The topic determining unit 140 determines topics related to the keyword based on user information. The user's information includes all information about the user, such as the user's previous conversation history, SNS, SMS, mobile messenger, interests, search history, or places the user frequently visits. In addition, the user information includes information obtainable from various devices owned by the user.

사용자의 SNS의 경우, 사용자가 SNS 계정에 로그인을 허락하거나, 로그인 된 상태일 경우에 검색이 가능하다. 또한, 모바일 메신저에서 친구들과 주고 받은 대화 내용도 사용자의 정보에 포함될 수 있다.In the case of the user's SNS, it is possible to search when the user is allowed to log in to the SNS account or is logged in. In addition, the contents of conversations exchanged with friends in the mobile messenger may be included in the user's information.

토픽의 종류로서 서브 토픽(sub topic)과 관련 토픽(related topic)이 있을 수 있다. 서브 토픽은 키워드의 하위 개념에 해당하는 토픽들을 나타낸다. 관련 토픽은 키워드와 대등한 개념에 해당하는 토픽들을 나타낸다. 또한, 서브 토픽에는 관련 토픽에 대한 서브 토픽도 포함된다. 구체적으로, 서브 토픽 및 관련 토픽은 키워드의 형태로 결정되고 표시될 수 있다.As a type of topic, there may be a sub topic and a related topic. A sub-topic indicates topics corresponding to a sub-concept of a keyword. The related topic indicates topics corresponding to a concept equivalent to a keyword. In addition, a sub-topic also includes a sub-topic for a related topic. Specifically, a sub-topic and a related topic may be determined and displayed in the form of a keyword.

토픽 결정부(140)는 사용자의 정보와 키워드를 이용하여 토픽들을 결정한다. 토픽 결정부(140)는 사용자의 정보를 검색하여, 키워드와 일치하는 정보를 찾고, 일치하는 정보를 토픽으로 결정할 수 있다. The topic determining unit 140 determines topics using user information and keywords. The topic determiner 140 may search for user information, find information matching a keyword, and determine the matching information as a topic.

또한, 토픽 결정부(140)는 사용자의 정보를 이용하여 사용자 관심 모델(user interest model)을 생성하고, 사용자 관심 모델과 키워드를 이용하여 토픽을 결정할 수 있다. Also, the topic determiner 140 may generate a user interest model using user information and determine a topic using the user interest model and keywords.

사용자 관심 모델은 사용자가 관심을 갖는 분야들을 미리 결정해둔 모델일 수 있다. 사용자 관심 모델은 사용자의 정보가 업데이트 될 때마다 업데이트 될 수 있다. 다시 말해서, 사용자가 웹 사이트를 방문하거나, 어플리케이션을 사용하는 등의 행위가 발생하면, 사용자의 행위를 기초로 사용자 관심 모델은 업데이트된다.The user interest model may be a model in which fields in which the user is interested are determined in advance. The user interest model may be updated whenever user information is updated. In other words, when an action, such as a user visits a website or uses an application, occurs, the user interest model is updated based on the user's action.

예를 들어, 사용자 관심 모델은 사용자의 정보가 업데이트 될 때마다, 토픽 후보들(topic candidate)에 부여하는 가중치를 수정함으로써 업데이트 될 수 있다. 즉, 사용자 관심 모델에는 복수의 토픽 후보들이 포함될 수 있으며, 각각의 토픽 후보들에는 가중치가 부여된다. 토픽 후보들에 부여된 가중치는 사용자의 정보가 업데이트될 때마다 수정될 수 있다.For example, the user interest model may be updated by modifying a weight given to topic candidates whenever user information is updated. That is, a plurality of topic candidates may be included in the user interest model, and a weight is assigned to each topic candidate. Weights given to topic candidates may be modified whenever user information is updated.

토픽 결정부(140)는 사용자의 정보를 이용하여 사용자가 어떠한 분야들에 관심이 있는지를 미리 설정해두고, 키워드가 입력되면 입력된 키워드와 관련된 분야들에서 토픽을 결정한다. 토픽 결정부(140)는 키워드와 관련된 하위 개념의 분야에서는 하위 토픽을 결정하고, 키워드와 관련된 대등한 개념의 분야에서는 관련 토픽을 결정한다.The topic determining unit 140 sets in advance which fields the user is interested in by using the user's information, and when a keyword is input, determines a topic in fields related to the input keyword. The topic determining unit 140 determines a sub-topic in a field of a sub-concept related to a keyword, and determines a related topic in a field of an equivalent concept related to a keyword.

텍스트 변환부(110), 키워드 선정부(120), 관심 정보 획득부(130) 및 토픽 결정부(140) 들은 하나 또는 그 이상의 프로세서에 의해 구현될 수 있다.The text converter 110 , the keyword selector 120 , the interest information obtainer 130 , and the topic determiner 140 may be implemented by one or more processors.

표시부(150)는 관심 정보 및 토픽들을 표시한다. 표시부(150)는 관심 정보만을 표시하거나, 관심 정보 및 토픽들을 동시에 표시한다. 표시부(150)는 표시 영역에 관심 정보를 가장 크게 표시하고, 토픽들은 하단에 관심 정보보다 작게 표시할 수 있다. 또한, 표시부(150)는 관심 정보 및 토픽들과 함께 키워드를 함께 표시할 수 있다. 이때, 사용자의 대화 중 키워드가 변경되면, 표시부(150)는 표시 영역상의 일부분에 이전 키워드들을 표시한다. 이와 관련하여, 도 9에서 보다 상세히 설명한다.The display unit 150 displays interest information and topics. The display unit 150 displays only the interest information or simultaneously displays the interest information and topics. The display unit 150 may display the interest information in the largest size in the display area, and the topics may be displayed smaller than the interest information in the lower part. Also, the display unit 150 may display keywords together with interest information and topics. In this case, if the keyword is changed during the user's conversation, the display unit 150 displays the previous keywords on a part of the display area. In this regard, it will be described in more detail with reference to FIG. 9 .

표시부(150)는 키워드 및 토픽들의 관계를 도시하는 그래프를 표시할 수도 있다. 즉, 표시부(150)는 키워드와 하위 토픽 또는 관련 토픽들의 관계를 나타내는 그래프를 표시할 수 있다. 이와 관련하여, 도 10에서 보다 상세히 설명한다.The display unit 150 may display a graph showing the relationship between keywords and topics. That is, the display unit 150 may display a graph indicating the relationship between the keyword and the sub-topic or related topics. In this regard, it will be described in more detail with reference to FIG. 10 .

사용자는 표시부(150)에 표시된 관심 정보 및 토픽들을 통해 관심 있는 정보들을 획득할 수 있고, 정보들을 이용하여 상대방과 대화를 더 진행할 수 있다.The user may acquire information of interest through the interest information and topics displayed on the display unit 150 , and may further conduct a conversation with the other party using the information.

표시부(150)는 텔레비전 또는 스마트폰의 스크린 등을 나타낸다. 예를 들면, 표시부(150)는 액정 표시 장치, 플라즈마 디스플레이 패널(Plasma Display Panel), 유기 전계 발광 표시 장치(Organic electroluminescence panel) 등의 형태로 구현될 수 있다.The display unit 150 represents a TV or a screen of a smart phone. For example, the display unit 150 may be implemented in the form of a liquid crystal display device, a plasma display panel, an organic electroluminescence panel, or the like.

도 2는 본 발명의 일 실시예에 따른 대화 소재 제공 장치(100)를 나타낸 도면이다. 도 2는 도 1의 대화 소재 제공 장치(100)의 또 다른 실시예를 나타낸 도면이다. 따라서, 이하 생략된 내용이라 하더라도 대화 소재 제공 장치(100)에 관하여 이상에서 기술된 내용은 도 2의 실시예에 따른 대화 소재 제공 장치(100)에도 적용된다. 2 is a diagram illustrating an apparatus 100 for providing conversation material according to an embodiment of the present invention. FIG. 2 is a diagram illustrating another embodiment of the conversation material providing apparatus 100 of FIG. 1 . Therefore, even if omitted below, the above-described content regarding the conversation material providing apparatus 100 is also applied to the conversation material providing apparatus 100 according to the embodiment of FIG. 2 .

도 2를 참조하면, 대화 소재 제공 장치(100)는 음성 인식부(190), 프로세서(160) 표시부(150), 메모리(170) 및 네트워크 연결부(180)를 포함한다.Referring to FIG. 2 , the conversation material providing apparatus 100 includes a voice recognition unit 190 , a processor 160 display unit 150 , a memory 170 , and a network connection unit 180 .

음성 인식부(190)는 사용자의 음성을 인식한다. 예를 들어, 음성 인식부(190)는 마이크와 같이 소리를 전기 신호로 변환하는 디바이스를 나타낸다.The voice recognition unit 190 recognizes the user's voice. For example, the voice recognition unit 190 represents a device that converts a sound into an electrical signal, such as a microphone.

프로세서(160)는 음성 인식부(190)로부터 입력된 음성 데이터를 이용하여 사용자에게 대화 소재를 제공한다. 프로세서(160)는 네트워크 연결부(180)를 통해 서버로부터 정보를 획득할 수 있으며, 메모리(170)에 저장된 정보를 획득할 수 있다. 프로세서(160)는 획득된 정보 및 음성 데이터를 이용하여 현재 통화 중인 사용자가 원하는 관심 정보를 획득하고, 토픽들을 결정하여 표시부(150)로 출력할 수 있다.The processor 160 provides a conversation material to the user by using the voice data input from the voice recognition unit 190 . The processor 160 may obtain information from the server through the network connection unit 180 , and may obtain information stored in the memory 170 . The processor 160 may obtain interest information desired by a user currently on a call by using the obtained information and voice data, determine topics, and output the determined topics to the display unit 150 .

프로세서(160)는 음성 인식부(190)뿐만 아니라, 네트워크 연결부(180), 메모리(170) 및 표시부(150)와 연결되어 상호간에 데이터를 입출력 할 수 있다. The processor 160 may be connected to the voice recognition unit 190 as well as the network connection unit 180 , the memory 170 and the display unit 150 to input/output data to and from each other.

프로세서(160)는 네트워크 연결부(180)를 통해, 외부의 기기 또는 서버와 연결될 수 있다. 또한, 프로세서(160)는 네트워크 연결부(180)를 통해 외부의 기기 또는 서버에 저장된 정보들을 검색하거나 획득할 수 있다. 예를 들어, 프로세서(160)는 음성 데이터에서 선정된 키워드를 서버로 송신하고, 서버로부터 사용자의 관심 정보를 획득할 수도 있다.The processor 160 may be connected to an external device or server through the network connection unit 180 . In addition, the processor 160 may search for or obtain information stored in an external device or server through the network connection unit 180 . For example, the processor 160 may transmit a keyword selected from the voice data to the server, and obtain user interest information from the server.

프로세서(160)는 메모리(170)에 저장된 정보들을 이용할 수 있다. 메모리(170)에는 사용자의 SNS 계정에 대한 정보, 사용자의 SMS, 사진, 설치된 어플리케이션 등이 저장된다.The processor 160 may use information stored in the memory 170 . The memory 170 stores information about the user's SNS account, the user's SMS, photos, installed applications, and the like.

프로세서(160)는 사용자 관심 모델을 생성하고 업데이트할 수 있다. 프로세서(160)는 사용자의 정보를 바탕으로 사용자 관심 모델을 생성하고, 생성된 사용자 관심 모델에 선정된 키워드를 입력함으로써 토픽들을 결정할 수 있다. 또한, 프로세서(160)는 키워드를 선정할 때마다, 선정된 키워드를 반영하여 사용자 관심 모델을 업데이트할 수 있다.The processor 160 may generate and update the user interest model. The processor 160 may generate a user interest model based on user information, and may determine topics by inputting a selected keyword into the generated user interest model. Also, whenever a keyword is selected, the processor 160 may update the user interest model by reflecting the selected keyword.

도 1에 도시된 텍스트 변환부(110), 키워드 선정부(120), 관심 정보 획득부(130) 및 토픽 결정부(140)는 프로세서(160)에 포함될 수 있다. The text converter 110 , the keyword selector 120 , the interest information obtainer 130 , and the topic determiner 140 shown in FIG. 1 may be included in the processor 160 .

프로세서(160)는 입력된 데이터를 처리하는 장치로서, 다수의 논리 게이트(logic gate)들의 어레이(array)로 구현될 수 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.The processor 160 is a device for processing input data, and may be implemented as an array of a plurality of logic gates, and is a memory in which a general-purpose microprocessor and a program executable in the microprocessor are stored. It may be implemented in combination. In addition, it can be understood by those skilled in the art that the present embodiment may be implemented in other types of hardware.

도 3은 본 발명의 일 실시예에 따른 서버(200)를 나타낸 도면이다. 도 3을 참조하면, 서버(200)는 수신부(210), 정보 처리부(220), 송신부(230) 및 메모리(240)를 포함한다. 서버(200)는 대화 소재 제공 장치(100)로부터 수신된 정보를 바탕으로 관심 정보를 선정하거나 토픽들을 결정할 수 있다. 서버(200)는 관심 정보 또는 토픽들을 송신부(230)를 통하여 대화 소재 제공 장치(100)로 전송한다.3 is a diagram illustrating a server 200 according to an embodiment of the present invention. Referring to FIG. 3 , the server 200 includes a receiving unit 210 , an information processing unit 220 , a transmitting unit 230 , and a memory 240 . The server 200 may select information of interest or determine topics based on the information received from the conversation material providing apparatus 100 . The server 200 transmits interest information or topics to the conversation material providing apparatus 100 through the transmitter 230 .

수신부(210)는 대화 소재 제공 장치(100)로부터 데이터를 수신한다. 수신되는 데이터는 음성 데이터 또는 음성 데이터가 변환된 텍스트 일 수 있다. 또한, 수신부(210)는 키워드도 수신할 수 있다.The receiving unit 210 receives data from the conversation material providing apparatus 100 . The received data may be voice data or text converted from voice data. In addition, the receiving unit 210 may also receive a keyword.

수신부(210)는 대화 소재 제공 장치(100)로부터 수신된 데이터를 정보 처리부(220)로 출력한다.The receiving unit 210 outputs the data received from the conversation material providing apparatus 100 to the information processing unit 220 .

수신부(210) 또는 송신부(230)는 안테나와 같이, 유무선 통신에서 전자기파를 보내거나 받는 장치일 수 있다.The receiver 210 or the transmitter 230 may be a device that transmits or receives electromagnetic waves in wired/wireless communication, such as an antenna.

정보 처리부(220)는 수신부(210)를 통해 입력된 데이터를 이용하여 관심 정보를 선정하거나 토픽들을 결정할 수 있다.The information processing unit 220 may select information of interest or determine topics by using the data input through the reception unit 210 .

정보 처리부(220)는 입력되는 음성 데이터를 텍스트로 변환한다. 음성 데이터는 사용자가 대화 소재 제공 장치(100)를 이용하여 상대방과 통화하는 동안 입력되는 사용자의 음성이 기록된 데이터를 나타낸다. 또한, 음성 데이터는 사용자의 음성뿐만 아니라, 사용자와 통화하는 상대방의 음성도 포함될 수 있다. The information processing unit 220 converts input voice data into text. The voice data represents data in which the user's voice input while the user makes a call with the other party using the conversation material providing apparatus 100 is recorded. In addition, the voice data may include not only the user's voice, but also the voice of the other party who makes a call with the user.

정보 처리부(220)는 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정한다. 키워드는 하나 또는 그 이상의 단어들일 수 있으며, 사용자의 대화에서 인식될 수 있는 사용자의 의도(intention), 문맥(context), 견해(opinion) 또는 감정(sentiment) 등을 고려하여 선정될 수 있다. 또한, 키워드는 사용자의 대화에서뿐만 아니라, 사용자의 이전 대화 히스트리, SNS 또는 SMS 등을 고려하여 선정될 수도 있다. The information processing unit 220 selects a keyword representing the intention of the user from among the text. The keyword may be one or more words, and may be selected in consideration of the user's intention, context, opinion, or sentiment that can be recognized in the user's conversation. In addition, the keyword may be selected in consideration of not only the user's conversation, but also the user's previous conversation history, SNS or SMS.

정보 처리부(220)는 텍스트에서 반복되는 단어를 키워드로 선정하거나 동일한 카테고리 내에서 복수의 단어들이 사용되는 경우 해당 카테고리를 키워드로 선정할 수 있다. The information processing unit 220 may select a word that is repeated in text as a keyword or select a corresponding category as a keyword when a plurality of words are used within the same category.

또한, 정보 처리부(220)는 사용자의 SNS 계정으로 업로드된 정보들을 검색하거나 사용자의 문자들을 검색하여 키워드를 선정할 수 있다.In addition, the information processing unit 220 may select a keyword by searching for information uploaded to the user's SNS account or by searching for the user's text.

정보 처리부(220)는 텍스트에서 장소, 시간 또는 인물 등의 단어가 탐지되면, 장소, 시간 또는 인물 등을 나타내는 단어를 키워드로 결정할 수 있다. 또한, 정보 처리부(220)는 장소, 시간 또는 인물 등을 나타내는 단어가 한 문장 내에서 인접하여 탐지된 경우, 탐지된 단어들을 키워드로 결정할 수도 있다.When words such as place, time, or person are detected in the text, the information processing unit 220 may determine a word representing the place, time, or person as a keyword. Also, when words representing a place, time, or person are detected adjacent to each other in one sentence, the information processing unit 220 may determine the detected words as keywords.

정보 처리부(220)는 입력된 키워드에 대한 관심 정보를 획득한다. The information processing unit 220 acquires interest information on the input keyword.

정보 처리부(220)는 사용자의 디바이스 또는 사용자의 SNS 계정을 이용하여 관심 정보를 획득할 수 있다. 다시 말해서, 정보 처리부(220)는 사용자가 통화를 하기 위해 사용 중인 디바이스 이외에 사용자의 또 다른 디바이스에 저장된 정보들을 검색하여 관심 정보를 획득할 수 있다. 또한, 정보 처리부(220)는 사용자의 SNS 계정으로 로그인하여, 사용자가 SNS에 업로드한 글, 사진 또는 댓글 등을 검색하여 관심 정보를 획득할 수도 있다. 이하, SNS라 함은 사용자의 계정으로 로그인 가능한 SNS에 사용자가 업로드한 글, 사진 또는 댓글 등을 의미한다. 또한, SMS라 함은 사용자가 소유하는 디바이스에서 사용자가 주고 받은 메시지를 의미한다.The information processing unit 220 may acquire interest information by using the user's device or the user's SNS account. In other words, the information processing unit 220 may acquire interest information by searching for information stored in another device of the user other than the device the user is using to make a call. Also, the information processing unit 220 may obtain interest information by logging in to the user's SNS account and searching for articles, photos, or comments uploaded by the user to the SNS. Hereinafter, the term "SNS" means a post, photo, or comment uploaded by a user to an SNS that can log in with the user's account. In addition, the SMS means a message exchanged by a user in a device owned by the user.

정보 처리부(220)는 사용자의 SMS 또는 SNS에서 장소, 시간 또는 인물을 나타내는 단어와 일치하는 단어를 검색하고, 일치하는 단어를 포함하는 사용자의 SMS 또는 SNS를 관심 정보로 획득할 수 있다. 다시 말해서, 장소, 시간 또는 인물을 나타내는 단어가 키워드로 선정되었다면, 정보 처리부(220)는 사용자의 정보 즉, 사용자의 대화 히스토리, 사용자의 SMS, 또는 사용자의 SNS를 검색하여 일치하는 단어를 찾는다. 정보 처리부(220)는 사용자의 대화 히스토리, 사용자의 SMS 또는 사용자의 SNS에서 일치하는 단어가 발견되면, 일치하는 단어를 포함하는 사용자의 대화 히스토리의 일부분, 사용자의 SMS 또는 사용자의 SNS에 개시된 내용 등을 관심 정보로 획득한다. 사용자는 획득된 관심 정보를 확인함으로써, 대화 중 언급된 장소, 시간 또는 인물 등에 대한 정보를 획득할 수 있다. The information processing unit 220 may search for a word matching a word representing a place, time, or person in the user's SMS or SNS, and obtain the user's SMS or SNS including the matching word as interest information. In other words, if a word representing a place, time, or person is selected as a keyword, the information processing unit 220 searches the user's information, that is, the user's conversation history, the user's SMS, or the user's SNS to find a matching word. When a matching word is found in the user's conversation history, the user's SMS or the user's SNS, the information processing unit 220 includes a part of the user's conversation history including the matching word, the content disclosed in the user's SMS or the user's SNS, etc. is obtained as information of interest. The user may acquire information about a place, time, or person mentioned during a conversation by checking the acquired interest information.

정보 처리부(220)는 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정한다. 사용자의 정보는 사용자의 이전 대화 히스트리, SNS, SMS, 관심사항, 검색 이력 또는 사용자가 자주 가는 장소 등 사용자에 관한 모든 정보를 포함한다. 또한, 사용자 정보는 사용자가 소유하고 있는 다양한 디바이스로부터 획득할 수 있는 정보를 포함한다.The information processing unit 220 determines topics related to the keyword based on user information. The user's information includes all information about the user, such as the user's previous conversation history, SNS, SMS, interests, search history, or places the user frequently visits. In addition, the user information includes information obtainable from various devices owned by the user.

정보 처리부(220)는 사용자의 정보와 키워드를 이용하여 토픽들을 결정한다. 정보 처리부(220)는 사용자의 정보를 검색하여, 키워드와 일치하는 정보를 찾고, 일치하는 정보를 토픽으로 결정할 수 있다. The information processing unit 220 determines topics using user information and keywords. The information processing unit 220 may search for user information, find information matching a keyword, and determine the matching information as a topic.

또한, 정보 처리부(220)는 사용자의 정보를 이용하여 사용자 관심 모델(user interest model)을 생성하고, 사용자 관심 모델과 키워드를 이용하여 토픽을 결정할 수 있다. 사용자 관심 모델은 사용자가 관심을 갖는 분야들을 미리 결정해둔 모델일 수 있다. Also, the information processing unit 220 may generate a user interest model using user information, and may determine a topic using the user interest model and keywords. The user interest model may be a model in which fields in which the user is interested are determined in advance.

사용자의 정보가 업데이트 될 때마다, 사용자 관심 모델은 업데이트 될 수 있다. 다시 말해서, 사용자가 웹 사이트를 방문하거나, 어플리케이션을 사용하는 등의 행위가 발생하면, 사용자의 행위를 기초로 사용자 관심 모델은 업데이트된다.Whenever the user's information is updated, the user interest model may be updated. In other words, when an action, such as a user visits a website or uses an application, occurs, the user interest model is updated based on the user's action.

정보 처리부(220)는 사용자의 정보를 이용하여 사용자가 어떠한 분야들에 관심이 있는지를 미리 설정해두고, 키워드가 입력되면 입력된 키워드와 관련된 분야들에서 토픽을 결정한다. 정보 처리부(220)는 키워드와 관련된 하위 개념의 분야에서는 하위 토픽을 결정하고, 키워드와 관련된 대등한 개념의 분야에서는 관련 토픽을 결정한다.The information processing unit 220 sets in advance which fields the user is interested in by using the user's information, and when a keyword is input, determines a topic from fields related to the input keyword. The information processing unit 220 determines a sub-topic in a field of a sub-concept related to a keyword, and determines a related topic in a field of an equivalent concept related to the keyword.

메모리(240)는 정보 처리부(220)에서 처리하는 데이터들을 저장하거나, 정보 처리부(220)에 의해 생성된 사용자 관심 모델을 나타내는 데이터를 저장한다. The memory 240 stores data processed by the information processing unit 220 or data representing a user interest model generated by the information processing unit 220 .

메모리(240)는 비휘발성 저장 매체로서, 예를 들면 하드디스크 드라이브, 플래시 메모리, SSD(solid state disk), 자기 기록 매체 등일 수 있다.The memory 240 is a non-volatile storage medium, and may be, for example, a hard disk drive, a flash memory, a solid state disk (SSD), a magnetic recording medium, or the like.

도 4는 본 발명의 일 실시예에 따른 서버(200)를 나타낸 도면이다. 도 4는 도 3의 서버(200)의 또 다른 실시예를 나타낸 도면이다. 따라서, 이하 생략된 내용이라 하더라도 서버(200)에 관하여 이상에서 기술된 내용은 도 4의 실시예에 따른 서버(200)에도 적용된다.4 is a diagram illustrating a server 200 according to an embodiment of the present invention. FIG. 4 is a diagram illustrating another embodiment of the server 200 of FIG. 3 . Therefore, even if omitted below, the contents described above with respect to the server 200 are also applied to the server 200 according to the embodiment of FIG. 4 .

도 4를 참조하면, 서버(200)는 형태소 분석기(310), 문맥 분석기(320) 및 인텐션 분석기(330)를 포함하며, 온톨로지(340), 사용자 히스토리(350) 및 사용자 관심 모델(360)를 저장한다.Referring to FIG. 4 , the server 200 includes a morpheme analyzer 310 , a context analyzer 320 , and an intention analyzer 330 , and an ontology 340 , a user history 350 , and a user interest model 360 . Save.

서버(200)는 텍스트를 분석하여 사용자의 대화 의도를 해석할 수 있다. 구체적으로, 서버(200)는 텍스트에 포함된 단어들의 형태소를 구분하고, 형태소들의 문맥 상의 의미를 해석하여 사용자의 대화 의도를 해석할 수 있다. The server 200 may interpret the user's conversation intention by analyzing the text. Specifically, the server 200 may classify morphemes of words included in the text and interpret the meaning of the morphemes in context to interpret the user's conversation intention.

형태소 분석기(310)는 텍스트에 포함된 명사, 동사, 관사 또는 조사 등을 인식한다. 즉, 형태소 분석기(310)는 텍스트에 포함된 단어들이 각각 어떠한 품사를 갖는지를 판단한다. 형태소 분석기(310)에 의한 분석은 서버(200)에 텍스트가 수신되면 수행되는 최초의 단계일 수 있다.The morpheme analyzer 310 recognizes a noun, a verb, an article, an article, and the like included in the text. That is, the morpheme analyzer 310 determines which parts of speech each word included in the text has. Analysis by the morpheme analyzer 310 may be the first step performed when the text is received by the server 200 .

문맥 분석기(320)는 텍스트에 포함된 문장 또는 단어들의 전후 관계를 분석한다. 텍스트에 동일한 단어가 포함되어 있더라도, 문맥 분석기(320)는 문장 등의 전후 관계에 따라서 동일한 단어를 다른 의미로 해석할 수 있다. 문맥 분석기(320)는 형태소 분석기(310)에 의해 형태소 분석이 완료된 이후에, 형태소 분석 결과에 기초하여 수행된다.The context analyzer 320 analyzes the context of sentences or words included in the text. Even if the same word is included in the text, the context analyzer 320 may interpret the same word as a different meaning according to the context of a sentence or the like. The context analyzer 320 is performed based on the morpheme analysis result after the morpheme analysis is completed by the morpheme analyzer 310 .

인텐션 분석기(330)는 텍스트에 포함된 사용자의 의도를 분석한다. 다시 말해서, 인텐션 분석기(330)는 사용자가 지금 하고자 하는 대화의 의도를 분석한다. 인텐션 분석기(330)는 문맥 분석기(320)에서 해석된 단어의 의미를 통해 사용자의 의도를 확인할 수 있다.The intention analyzer 330 analyzes the user's intention included in the text. In other words, the intention analyzer 330 analyzes the intention of the conversation that the user wants to have now. The intention analyzer 330 may confirm the intention of the user through the meaning of the word interpreted by the context analyzer 320 .

서버(200)는 사용자 히스토리(350)를 수집하고 저장한다. 서버(200)는 저장된 사용자 히스토리(350)를 이용하여 사용자의 의도를 판단할 수도 있으며, 사용자의 관심 정보 또는 토픽을 결정할 수도 있다. 서버(200)는 대화 소재 제공 장치(100)를 포함하여, 사용자가 접속하는 웹 사이트 등으로부터 정보를 수집할 수 있다.The server 200 collects and stores the user history 350 . The server 200 may determine the user's intention by using the stored user history 350 and may determine the user's interest information or topic. The server 200 may collect information from a web site accessed by a user, including the conversation material providing device 100 .

서버(200)는 사용자 히스토리(350)를 저장하여 사용자 관심 모델(360)을 생성할 때 이용할 수도 있다. The server 200 may store the user history 350 and use it when generating the user interest model 360 .

또한, 서버(200)는 사용자 히스토리(350)를 주기적으로 업데이트 할 수도 있다.Also, the server 200 may periodically update the user history 350 .

서버(200)는 사용자 관심 모델(360)을 생성하고 저장한다. 서버(200)는 사용자 히스토리(350)를 이용하여 사용자 관심 모델(360)을 생성할 수 있다.The server 200 creates and stores the user interest model 360 . The server 200 may generate the user interest model 360 by using the user history 350 .

서버(200)는 온톨로지(340)를 이용하여 사용자의 관심 정보 또는 토픽을 재구성할 수 있다. 온톨로지(340)는 입력된 정보를 재구성하는 데이터 베이스를 나타낸다. 예를 들어, 서버(200)는 선정된 사용자 관심 정보에 그림, 영상 또는 문자 등이 포함되는 경우, 그림, 영상, 또는 문자 등의 정보를 어떻게 구성할 것인지를 결정한다. 또한, 서버(200)는 관심 정보 및 토픽의 배치 등을 결정한다.The server 200 may reconstruct the user's interest information or topic using the ontology 340 . The ontology 340 represents a database that reconstructs input information. For example, when the selected user interest information includes a picture, an image, or a text, the server 200 determines how to configure information such as a picture, an image, or a text. In addition, the server 200 determines the arrangement of interest information and topics.

서버(200)는 재구성된 정보들을 대화 소재 제공 장치(100)로 전송할 수 있다.The server 200 may transmit the reconstructed information to the conversation material providing apparatus 100 .

도 5는 본 발명의 일 실시예에 따른 대화 소재를 제공하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 대화 소재 제공 장치(100)는 사용자의 대화 및 사용자의 정보를 이용하여 관심 정보 및 토픽들을 표시한다.5 is a view for explaining a method of providing a conversation material according to an embodiment of the present invention. Referring to FIG. 5 , the conversation material providing apparatus 100 displays interest information and topics by using the user's conversation and user information.

도 5에서는 대화 소재 제공 장치(100)가 키워드를 선정함에 있어서 사용자의 정보를 이용할 수 있음을 나타낸다. 다시 말해서, 대화 소재 제공 장치(100)는 사용자의 대화만을 분석하여 키워드를 선정할 수도 있지만, 사용자의 정보에 기초하여 키워드를 선정할 수도 있다. 5 shows that the conversation material providing apparatus 100 can use user information in selecting a keyword. In other words, the conversation material providing apparatus 100 may select a keyword by analyzing only the user's conversation, or may select a keyword based on the user's information.

510 블록은 사용자의 대화를 나타낸다. 510 블록에서 사용자의 음성 데이터를 획득하는 것은 대화 소재 제공 장치(100)에서 수행된다.Block 510 represents the user's conversation. Obtaining the user's voice data in block 510 is performed by the conversation material providing apparatus 100 .

520 블록은 사용자의 정보를 나타낸다. 사용자의 정보는 사용자의 현재 위치 또는 자주 가는 곳 등의 장소에 대한 정보를 포함할 수 있다.Block 520 represents user information. The user's information may include information about a place such as the user's current location or frequently visited place.

530 단계에서, 사용자의 정보에 기초하여 키워드가 선정되며, 530 단계는 대화 소재 제공 장치(100) 또는 서버(200)에서 수행될 수 있다. 예를 들어, 현재 사용자의 위치가 어딘지에 따라, 키워드가 선정될 있다. 사용자가 이동하는 경우에는, 사용자의 이동 경로에 따라 새로운 키워드가 선정될 수 있다. 키워드가 선정되면, 540 단계로 진행한다.In operation 530 , a keyword is selected based on user information, and operation 530 may be performed by the conversation material providing apparatus 100 or the server 200 . For example, depending on where the current user is located, a keyword may be selected. When the user moves, a new keyword may be selected according to the moving path of the user. If the keyword is selected, the process proceeds to step 540 .

540 단계에서, 대화 소재 제공 장치(100) 또는 서버(200)는 선정된 키워드에 대한 관심 정보를 획득한다. In step 540, the conversation material providing apparatus 100 or the server 200 acquires interest information on the selected keyword.

550 단계에서, 대화 소재 제공 장치(100) 또는 서버(200)는 서브 토픽을 결정한다.In step 550, the conversation material providing apparatus 100 or the server 200 determines a sub-topic.

560 단계에서, 대화 소재 제공 장치(100) 또는 서버(200)는 관련 토픽을 결정한다.In step 560, the conversation material providing apparatus 100 or the server 200 determines a related topic.

540 내지 560 단계는 순차적으로 또는 동시에 수행될 수 있다.Steps 540 to 560 may be performed sequentially or simultaneously.

570 단계에서, 대화 소재 제공 장치(100)는 관심 정보 및 토픽들을 표시한다. 서버(200)는 관심 정보 및 토픽들을 대화 소재 제공 장치(100)로 전송한다. 570 단계는 540 내지 560 단계가 모두 수행된 이후에 수행된다. 다만, 대화 소재 제공 장치(100)의 경우, 540단계가 먼저 종료된 경우 관심 정보만을 우선적으로 표시할 수도 있다.In operation 570, the conversation material providing apparatus 100 displays interest information and topics. The server 200 transmits interest information and topics to the conversation material providing apparatus 100 . Step 570 is performed after all steps 540 to 560 are performed. However, in the case of the conversation material providing apparatus 100 , only interest information may be preferentially displayed when step 540 is completed first.

도 6은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 방법을 설명하기 위한 순서도이다. 도 6은 도 1의 대화 소재 제공 장치(100)의 또 다른 실시예를 나타낸 도면이다. 따라서, 이하 생략된 내용이라 하더라도 대화 소재 제공 장치(100)에 관하여 이상에서 기술된 내용은 도 6의 실시예에 따른 대화 소재 제공 장치(100)에도 적용된다.6 is a flowchart illustrating a method of providing a conversation material according to an embodiment of the present invention. 6 is a diagram illustrating another embodiment of the conversation material providing apparatus 100 of FIG. 1 . Accordingly, even if omitted below, the contents described above with respect to the dialogue material providing apparatus 100 are also applied to the dialogue material providing apparatus 100 according to the embodiment of FIG. 6 .

610 단계에서, 대화 소재 제공 장치(100)는 통화 중인 사용자의 음성 데이터를 텍스트로 변환한다.In step 610, the conversation material providing apparatus 100 converts the voice data of the user during a call into text.

620 단계에서, 대화 소재 제공 장치(100)는 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정한다.In operation 620, the conversation material providing apparatus 100 selects a keyword representing the user's intention from the text.

630 단계에서, 대화 소재 제공 장치(100)는 키워드에 대한 관심 정보를 획득한다.In operation 630, the conversation material providing apparatus 100 acquires interest information on a keyword.

640 단계에서, 대화 소재 제공 장치(100)는 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정한다.In operation 640, the conversation material providing apparatus 100 determines topics related to the keyword based on user information.

650 단계에서, 대화 소재 제공 장치(100)는 관심 정보 및 상기 토픽들을 표시한다.In operation 650 , the conversation material providing apparatus 100 displays interest information and the topics.

도 7은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 프로세스를 도시한 도면이다. 도 7을 참조하면, 대화 소재 제공 장치(100)와 서버(200)가 정보를 송수신하는 것을 나타낸다. 도 7은 대화 소재 제공 장치(100)에서 주요 단계들이 수행되는 프로세스를 도시한다. 7 is a diagram illustrating a process for providing a conversation material according to an embodiment of the present invention. Referring to FIG. 7 , the conversation material providing apparatus 100 and the server 200 transmit and receive information. 7 illustrates a process in which main steps are performed in the conversation material providing apparatus 100 .

서버(200)는 사용자의 정보를 수집하고(702), 사용자의 정보를 대화 소재 제공 장치(100)로 전송한다(703). 서버(200)는 사용자 정보를 전송하는 동작만 수행하고, 나머지 동작은 대화 소재 제공 장치(100)에서 수행된다.The server 200 collects user information ( 702 ), and transmits the user information to the conversation material providing apparatus 100 ( 703 ). The server 200 performs only an operation of transmitting user information, and the remaining operations are performed by the conversation material providing apparatus 100 .

대화 소재 제공 장치(100)에서는 사용자의 음성 데이터를 텍스트로 변환하는 동작(701), 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하는 동작(704), 키워드에 대한 관심 정보를 획득하는 동작(705)들이 수행될 수 있다.In the conversation material providing apparatus 100, an operation (701) of converting the user's voice data into text, an operation (704) of selecting a keyword indicating the intention of the user from among the text (704), an operation (705) of obtaining interest information on the keyword can be performed.

또한, 대화 소재 제공 장치(100)에서는 사용자 관심 모델을 업데이트하는 동작(706)이 수행될 수 있는데, 사용자 관심 모델이 대화 소재 제공 장치(100)에서 생성되거나 대화 소재 제공 장치(100)에 저장되어 있는 경우에 사용자 관심 모델에 대한 업데이트가 수행될 수 있다.In addition, an operation 706 of updating the user interest model may be performed in the conversation material providing device 100 , and the user interest model is generated in the conversation material providing device 100 or stored in the conversation material providing device 100 . Updates to the user interest model may be performed, if any.

대화 소재 제공 장치(100)는 서브 토픽 및 관련 토픽을 결정하는 동작(707) 및 관심 정보 및 토픽들을 표시하는 동작(708)을 수행할 수 있다.The conversation material providing apparatus 100 may perform an operation 707 of determining a sub-topic and a related topic and an operation 708 of displaying interest information and topics.

도 8은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 프로세스를 도시한 도면이다. 도 8은 서버(200)에서 주요 단계들이 수행되는 프로세스를 도시한다. 서버(200)는 대화 소재 제공 장치(100)로부터 텍스트를 수신(802)한 이후에, 관심 정보 및 토픽들을 전송할 때의 동작들을 수행한다.8 is a diagram illustrating a process for providing a conversation material according to an embodiment of the present invention. 8 shows a process in which the main steps are performed in the server 200 . After receiving (802) the text from the conversation material providing apparatus 100, the server 200 performs operations when transmitting interest information and topics.

대화 소재 제공 장치(100)는 사용자의 음성 데이터를 텍스트로 변환하고(801), 변환된 텍스트를 서버(200)로 전송한다(802).The conversation material providing apparatus 100 converts the user's voice data into text (801), and transmits the converted text to the server 200 (802).

서버(200)는 사용자의 정보 또는 대화 히스토리를 수집한다(803). 서버(200)는 서버(200)내의 메모리(240)에 수집된 사용자의 정보를 저장할 수 있다. 서버(200)는 일정한 주기 또는 사용자의 정보가 업데이트 될 때마다 메모리(240)에 업데이트된 정보를 저장한다.The server 200 collects user information or conversation history ( 803 ). The server 200 may store the collected user information in the memory 240 in the server 200 . The server 200 stores the updated information in the memory 240 at a certain period or whenever user information is updated.

서버(200)는 수신된 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하는 동작(804), 키워드에 대한 관심 정보를 획득하는 동작(805), 사용자 관심 모델을 업데이트하는 동작(806) 및 서브 토픽 및 관련 토픽을 결정하는 동작(807)을 수행할 수 있다.The server 200 performs an operation 804 of selecting a keyword representing the user's intention from among the received text, an operation 805 of obtaining interest information about the keyword, an operation 806 of updating the user interest model, and a sub-topic and An operation 807 of determining a related topic may be performed.

서버(200)는 관심 정보의 선정과 토픽들의 결정이 종료되면, 관심 정보 및 토픽들을 대화 소재 제공 장치(100)로 전송한다(808). 서버(200)는 선정된 관심 정보 및 결정된 토픽들을 어떻게 표시할 것인지를 결정할 수 있다. 즉, 서버(200)는 관심 정보 또는 토픽들이 표시되는 위치나 크기 등을 결정할 수 있다.When the selection of the interest information and the determination of topics are finished, the server 200 transmits the interest information and topics to the conversation material providing apparatus 100 ( 808 ). The server 200 may determine how to display the selected interest information and the determined topics. That is, the server 200 may determine a location or size in which interest information or topics are displayed.

대화 소재 제공 장치(100)는 수신된 관심 정보 및 토픽들을 표시한다(809).The conversation material providing apparatus 100 displays the received interest information and topics ( S809 ).

도 9는 본 발명의 일 실시예에 따른 대화 소재를 표시하는 방법을 설명하기 위한 도면이다. 도 9를 참조하면, 도 9는 디지털 텔레비전에 사용자가 통화 중 대화 소재를 표시되는 것을 도시하고 있다.9 is a view for explaining a method of displaying a conversation material according to an embodiment of the present invention. Referring to FIG. 9 , FIG. 9 shows that a user displays conversation material during a call on the digital television.

사용자(910) 및 상대방(920)은 현재 통화 중인 사람들을 나타낸다. 도 9에서는 영상 통화를 하고 있는 사람들을 도시하고 있으나, 영상 통화가 아닌 단순히 음성 통화를 하는 경우도 본 발명의 실시예에 포함된다. 또한, 2명 이상의 사람들이 통화하는 다중 통화의 경우도 본 발명의 실시예에 포함된다.The user 910 and the counterpart 920 represent people currently on a call. Although FIG. 9 shows people making a video call, a case of simply making an audio call instead of a video call is also included in the embodiment of the present invention. In addition, the case of multiple calls in which two or more people make a call is also included in the embodiment of the present invention.

관심 정보(930)는 사용자(910)와 상대방(920)이 대화하고자 하는 키워드에 대한 정보를 나타낸다. 키워드가 결정되면, 대화 소재 제공 장치(100)는 키워드를 검색하여 정보를 획득할 수 있다. 검색된 정보 중에서, 사용자(910)의 관심 사항에 해당하는 정보를 선별하고, 선별된 정보를 표시할 수 있다. 이때, 선별된 정보는 관심 정보(930)를 나타낸다. The interest information 930 indicates information on keywords with which the user 910 and the counterpart 920 want to communicate. When the keyword is determined, the conversation material providing apparatus 100 may obtain information by searching for the keyword. From among the searched information, information corresponding to the interest of the user 910 may be selected, and the selected information may be displayed. In this case, the selected information indicates interest information 930 .

관심 정보(930)는 어느 하나의 정보를 나타낼 수도 있다. 예를 들어, 관심 정보(930)는 사용자(910)가 원하는 여행지에 대한 정보로서, 여행지의 홈페이지일 수 있다. 대화 소재 제공 장치(100)는 여행지의 홈페이지를 직접 표시함으로써, 사용자에게 여행지에 대한 정보를 직접적으로 제공한다. The interest information 930 may indicate any one piece of information. For example, the interest information 930 is information on a travel destination desired by the user 910 , and may be a homepage of the travel destination. The conversation material providing apparatus 100 directly provides information on the travel destination to the user by directly displaying the homepage of the travel destination.

또한, 관심 정보(930)는 다수의 정보들이 정리된 형태일 수도 있다. 예를 들어, 관심 정보(930)는 사용자가 원하는 여행지에 대한 정보로서, 여행지 근처에 위치한 식당들 또는 여행지에 위치한 숙박 시설들을 열거하는 형태의 정보일 수 있다. 또는, 관심 정보(930)는 사용자(910)가 원하는 여행지의 위치, 가는 방법, 여행지 홈페이지 정보, 여행지에 위치한 식당들 또는 숙박 시설들의 연락처 등을 정리한 형태의 정보일 수도 있다.Also, the interest information 930 may be in a form in which a plurality of pieces of information are organized. For example, the interest information 930 is information on a travel destination desired by the user, and may be information in the form of listing restaurants located near the travel destination or accommodation facilities located in the travel destination. Alternatively, the interest information 930 may be information in a form in which a location of a travel destination desired by the user 910, a method of going, information on a travel site homepage, and contact information of restaurants or accommodation facilities located in the travel destination are arranged.

도 9는 관심 정보(930)가 가장 넓은 표시 영역에 도시되고 있는 것을 나타낸다. 도 9에서는 관심 정보(930)가 우측 상단에 도시되었으나, 관심 정보(930)가 표시되는 위치나 크기는 변경될 수 있다.9 shows that the interest information 930 is displayed in the widest display area. In FIG. 9 , the interest information 930 is shown in the upper right corner, but the position or size at which the interest information 930 is displayed may be changed.

이전 관심 정보(940)는 이전에 선정된 관심 정보를 나타낸다. 이전 관심 정보(940)는 관심 정보(930)보다 작은 크기로 표시된다. 또한, 관심 정보(930)가 변경되면, 관심 정보(930)에 표시되었던 내용을 이전 관심 정보(940)에 추가로 표시한다.The previous interest information 940 indicates previously selected interest information. The previous interest information 940 is displayed in a smaller size than the interest information 930 . Also, when the interest information 930 is changed, the content displayed on the interest information 930 is additionally displayed on the previous interest information 940 .

도 9에서는 이전 관심 정보(940)로 날씨, 아이리스 주제곡 및 안면도 수목원을 도시하고 있다. 날씨, 아이리스 주제곡 및 안면도 수목원은 관심 정보(930)에 표시되었던 키워드들이다. 사용자(910)는 이전 관심 정보(940)에 표시된 사항들을 선택하여 다시 관심 정보(930)로 표시되게 할 수 있다. 이전 관심 정보(940)에 표시된 사항이 선택되면, 관심 정보(930)와 이전 관심 정보(940)는 모두 업데이트된다. 즉, 선택된 이전 관심 정보와 관심 정보(930)는 위치가 서로 바뀌어 표시된다.In FIG. 9 , the weather, iris theme song, and Anmyeondo arboretum are shown as previous interest information 940 . Weather, Iris theme song, and Anmyeondo arboretum are keywords displayed in the interest information 930 . The user 910 may select items previously displayed in the interest information 940 to be displayed again as the interest information 930 . When an item displayed on the previous interest information 940 is selected, both the interest information 930 and the previous interest information 940 are updated. That is, the positions of the previously selected interest information and the interest information 930 are changed and displayed.

서브 토픽 또는 관련 토픽들(950)은 대화 소재 제공 장치(100)의 가장 하단에 표시된다. 서브 토픽 또는 관련 토픽들(950)도 사용자에 의해 선택될 수 있으며, 선택된 토픽은 관심 정보(930)로 표시된다.The sub-topic or related topics 950 are displayed at the bottom of the conversation material providing apparatus 100 . A sub-topic or related topics 950 may also be selected by a user, and the selected topic is displayed as interest information 930 .

도 10은 본 발명의 일 실시예에 따른 대화 소재를 표시하는 방법을 설명하기 위한 도면이다. 도 10은 스마트폰에서 관심 정보 또는 토픽들이 표시되는 것을 설명하기 위한 도면이다. 스마트폰의 경우 텔레비전보다 표시 가능한 영역이 좁을 수 있다. 따라서, 스마트폰의 경우, 상단과 하단으로 나누어 상단에는 관심 정보를 표시하고, 하단에는 토픽들을 표시할 수 있다. 또한, 좌측과 우측으로 나누어, 관심 정보는 좌측에 표시하고, 우측에는 토픽들을 표시할 수 있다.10 is a diagram for explaining a method of displaying a conversation material according to an embodiment of the present invention. 10 is a diagram for explaining that interest information or topics are displayed on a smartphone. In the case of a smartphone, the displayable area may be narrower than that of a television. Accordingly, in the case of a smartphone, interest information may be displayed on the upper part by dividing it into an upper part and a lower part, and topics may be displayed on the lower part. In addition, by dividing into left and right, interest information may be displayed on the left, and topics may be displayed on the right.

도 10에서는 스마트폰의 표시 영역을 상단과 하단으로 나누어 표시하는 경우를 나타낸다. 또한, 도 10에서는 관심 정보를 표시하는 대신에, 상단에 관계 그래프(1010)를 표시하고 있다. 10 shows a case in which the display area of the smartphone is divided into an upper part and a lower part to be displayed. Also, in FIG. 10 , the relationship graph 1010 is displayed at the top instead of displaying interest information.

관계 그래프(1010)는 키워드와 토픽들의 관계를 도시하는 그래프를 나타낸다. 예를 들어, 여행이 키워드로 선정된 경우, 서브 또는 관련 토픽들로 하이킹, 제주도, 미국, 바다 등이 결정될 수 있다. 토픽들은 사용자의 이전 여행지 또는 대화 중 언급된 여행지들로 결정될 수 있다. 또한, 미국 여행에 대한 서브 토픽으로 미국의 도시들 중에서 라스베가스 또는 LA 등이 결정될 수 있다.The relationship graph 1010 represents a graph showing the relationship between keywords and topics. For example, when travel is selected as a keyword, hiking, Jeju Island, the United States, the sea, etc. may be determined as sub or related topics. Topics may be determined by the user's previous travel destinations or destinations mentioned during the conversation. Also, as a sub topic for travel to the United States, Las Vegas or LA may be determined among cities in the United States.

스마트폰의 하단에는 서브 또는 관련 토픽들(1020)이 문자로 표시된다. 예들 들어, 영화가 키워드로 선정된 경우, 서브 또는 관련 토픽들로 아이언맨, 셜록 홈즈, 오블리언 및 로미위드러브 등이 결정될 수 있다. 토픽들은 현재 개봉 중인 영화 또는 사용자가 최근에 관람한 영화들 중에서 결정될 수 있다. 또한, 아이언맨에 대한 서브 토픽으로 아이언맨3의 개봉관이나 주연 배우의 이름인 로버트 다우니가 결정될 수 있다.At the bottom of the smartphone, sub or related topics 1020 are displayed as text. For example, when a movie is selected as a keyword, Iron Man, Sherlock Holmes, Oblivion, Romy With Love, etc. may be determined as sub or related topics. Topics may be determined among movies that are currently being released or movies that the user has recently watched. In addition, as a sub-topic about Iron Man, the release theater of Iron Man 3 or the name of the lead actor, Robert Downey, may be determined.

도 11은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 방법을 설명하기 위한 도면이다.11 is a view for explaining a method of providing a conversation material according to an embodiment of the present invention.

도 11을 참조하면, 대화 소재 제공 장치는 사용자의 대화(1110)에 포함된 단어와 매칭되는 단어를 포함하는 SMS(1120)를 표시한다. 사용자는 표시된 SMS(1120)를 확인하여 대화를 진행할 수 있다.Referring to FIG. 11 , the conversation material providing apparatus displays an SMS 1120 including a word matching a word included in the user's conversation 1110 . The user may proceed with the conversation by checking the displayed SMS 1120 .

사용자의 대화(1110)에서 "지난 주말에 우리 어디 갔었지?" 라는 의문문이 탐지되는 경우, 대화 소재 제공 장치(100)는 의문문에 포함된 장소, 시간 또는 인물을 나타내는 단어를 추출한다. 또한, 대화 소재 제공 장치(100)는 의문문에 포함된 장소, 시간 또는 인물 등을 나타내는 의문사를 추출할 수도 있다. 대화 소재 제공 장치(100)는 장소, 시간 또는 인물을 나타내는 단어 또는 의문사와 매칭되는 SMS 또는 SNS를 검색한다. 대화 소재 제공 장치(100)는 검색된 SMS 또는 SNS를 표시하거나, 검색된 SMS 또는 SNS에 포함된 정보를 추출하여 표시한다.In the user's conversation 1110 "Where did we go last weekend?" When the interrogative sentence is detected, the conversation material providing apparatus 100 extracts a word representing a place, time, or person included in the interrogative sentence. Also, the conversation material providing apparatus 100 may extract interrogative words indicating a place, time, or person included in the interrogative sentence. The conversation material providing apparatus 100 searches for an SMS or SNS matching a word or an interrogative word representing a place, time, or person. The conversation material providing apparatus 100 displays the searched SMS or SNS, or extracts and displays information included in the searched SMS or SNS.

사용자는 대화 중 이전에 있었던 일을 기억하지 못하는 경우가 있다. 사용자가 이전 일을 기억하지 못하는 경우, 대화 소재 제공 장치(100)는 사용자의 SMS 또는 SNS의 기록을 검색하여 표시하여 준다.Users may not remember what happened before during a conversation. When the user does not remember the previous work, the conversation material providing apparatus 100 searches for the user's SMS or SNS record and displays it.

예를 들어 설명하면, 사용자의 대화(1110)에서 "지난 주말에 우리 어디 갔었지?" 라는 의문문이 탐지되면, 대화 소재 제공 장치(100)는 "지난 주말" 이라는 시간을 나타내는 단어를 추출하고, "지난 주말"의 날짜를 계산한다. 대화 소재 제공 장치(100)는 계산된 날짜에 수신된 SMS나 사용자가 업로드한 SNS의 글을 검색한다. 대화 소재 제공 장치(100)는 계산된 날짜에 수신된 SMS들 중에서 장소를 나타내는 단어를 포함하는 SMS를 표시한다. 또한, 대화 소재 제공 장치(100)는 계산된 날짜 또는 전후의 날짜에 업로드된 사용자 계정의 SNS의 글들 중에서 장소를 나타내는 단어를 포함하는 SNS의 글을 표시한다.For example, in the user's conversation 1110, "Where did we go last weekend?" When the question is detected, the conversation material providing apparatus 100 extracts a word representing the time “last weekend” and calculates the date of “last weekend”. The conversation material providing device 100 searches for an SMS received on the calculated date or an SNS post uploaded by the user. The conversation material providing apparatus 100 displays an SMS including a word indicating a place among SMSs received on the calculated date. In addition, the conversation material providing apparatus 100 displays the SNS text including the word indicating the place from among the SNS posts of the user account uploaded on the calculated date or before and after the date.

예를 들어, 대화 소재 제공 장치(100)는 "지난 주말"이 언제인지 계산하여, 7월 9일임을 확인한다. 대화 소재 제공 장치(100)는 7월 9일에 사용자의 SMS에서 카드 결제 내역이 있는 경우, 카드 결제 내역을 표시한다. 카드 결제 내역은 사용자가 7월 9일에 어느 장소에 갔었는지를 알 수 있는 정보를 제공한다. 만약, 7월 9일에 카드 결제 내역이 복수 개가 있는 경우, 대화 소재 제공 장치(100)는 복수의 카드 결제 내역을 표시하거나, 카드 결제 내역에 포함된 장소를 추출하여 표시한다.For example, the conversation material providing apparatus 100 calculates when "last weekend" is and confirms that it is July 9th. The conversation material providing device 100 displays card payment details when there is card payment details in the user's SMS on July 9th. Card payment history provides information that allows users to know where they went on July 9th. If there are a plurality of card payment details on July 9, the conversation material providing device 100 displays a plurality of card payment details or extracts a place included in the card payment history and displays it.

사용자의 대화(1110) 중에서 "어디" 라는 장소를 나타내는 의문사가 포함되는 경우, 대화 소재 제공 장치(100)는 장소를 키워드로 추출할 수 있다. 즉, 사용자는 지난 주말에 어느 장소에 갔었는지가 궁금한 것이기 때문에, 대화 소재 제공 장치(100)는 지난 주말에 검색된 SMS에서 장소를 나타내는 단어인 "에버랜드"를 키워드로 추출할 수 있다.When an interrogative word indicating a place "where" is included in the user's conversation 1110 , the conversation material providing apparatus 100 may extract the place as a keyword. That is, since the user is curious about which place he went to last weekend, the conversation material providing apparatus 100 may extract "Everland," which is a word indicating a place, as a keyword from the SMS searched for last weekend.

또 다른 예로서, 대화 소재 제공 장치(100)는 의문문에 장소, 시간 또는 인물을 나타내는 단어가 적어도 2개 이상 포함된 경우에 SMS, SNS를 검색할 수 있다.As another example, the conversation material providing apparatus 100 may search for SMS or SNS when at least two words representing a place, time, or person are included in the interrogative sentence.

또 다른 예로서, 대화 소재 제공 장치(100)는 하나의 문장에 장소, 시간 또는 인물을 나타내는 단어와 장소, 시간 또는 인물을 나타내는 의문사가 모두 포함되는 경우에 SMS, SNS를 검색할 수 있다.As another example, the conversation material providing apparatus 100 may search for SMS and SNS when a single sentence includes both a word representing a place, time, or person and an interrogative word representing a place, time, or person.

한편, 본 발명은 컴퓨터 판독가능 기록매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 기록매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.On the other hand, the present invention can be implemented by storing a computer-readable code in a computer-readable recording medium. The computer-readable recording medium includes all types of storage devices in which data readable by a computer system is stored.

상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 기록매체로부터 프로세서에 의하여 독출되어 실행될 때, 본 발명을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명의 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다. The computer readable code is configured to perform the steps of implementing the present invention when read from the computer readable recording medium by a processor and executed. The computer readable code may be implemented in various programming languages. In addition, functional programs, codes, and code segments for implementing embodiments of the present invention may be easily programmed by those skilled in the art to which the present invention pertains.

한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)를 포함한다. Meanwhile, the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. In addition, the structure of the data used in the above-described method may be recorded in a computer-readable recording medium through various means. The computer-readable recording medium includes a magnetic storage medium (eg, ROM, RAM, USB, floppy disk, hard disk, etc.) and an optically readable medium (eg, CD-ROM, DVD, etc.).

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.So far, the present invention has been focused on preferred embodiments. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in modified forms without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the above description, and the invention claimed by the claims and inventions equivalent to the claimed invention should be construed as being included in the present invention.

Claims

converting a user's utterance during a conversation into text;
extracting a word or interrogative word corresponding to a place, time, or person for each sentence of the text;
searching for user information of the user based on the extracted word or interrogative word; and
Displaying a search result including a word matching the extracted word or interrogative word;
The searching step is
checking a date corresponding to the word corresponding to the time when the word corresponding to the time and the interrogative word corresponding to the place are extracted;
retrieving card payment details of text messages received on the confirmed date; and
and checking a word matching an interrogative word corresponding to the place in the searched card payment history.

According to claim 1,
The extracting step is
When the sentence of the text is an interrogative sentence, the method of extracting a word or interrogative word corresponding to a place, time, or person included in the interrogative sentence.

3. The method of claim 2,
The searching step is
When at least two words or interrogative words corresponding to a place, a time, or a person are extracted from the interrogative sentence, the user information of the user is retrieved.

According to claim 1,
The searching step is
When at least one word corresponding to a place, time, or person and at least one interrogative word corresponding to a place, time, or person are all extracted from one sentence, the method of searching for user information of the user.

According to claim 1,
Further comprising the step of interpreting the extracted word as a word representing the intention of the user based on the conversation history of the user,
The searching step is
Searching for user information of the user based on the interpreted word or interrogative word,
The step of displaying the search result is,
Displaying a search result including a word matching the interpreted word or interrogative word.

According to claim 1,
The searching step is
A method of searching for at least one of a conversation history of the user, a text message of the user, content uploaded to a social network service through the user's account, and conversation content of a mobile messenger based on the extracted word or interrogative word.

delete

According to claim 1,
The displaying step is
A method of extracting and displaying, as a word matching an interrogative word corresponding to the place, a word indicating a place included in the card payment history.

According to claim 1,
The displaying step is
selecting information corresponding to the user's interest from among the searched user information; and
Reconstructing the information corresponding to the selected interest, comprising the step of displaying interest information.

A computer-readable recording medium in which a program for executing the method of any one of claims 1 to 6, 8, and 9 on a computer is recorded.

a microphone for receiving a user's utterance;
display;
processor; and
a memory in which one or more instructions executable by the processor are stored;
The processor by executing the one or more instructions,
Converts the user's utterance in conversation to text, extracts words or interrogative words corresponding to places, times, or people for each sentence of the text, and searches for user information of the user based on the extracted words or interrogative words and displaying a search result including a word matching the extracted word or interrogative word on the display,
When the word corresponding to the time and the interrogative word corresponding to the place are extracted, the processor checks the date corresponding to the word corresponding to the time, and retrieves the card payment details of the text message received on the confirmed date, An information providing device for checking a word matching a question word corresponding to the place in the searched card payment history.

12. The method of claim 11,
The processor by executing the one or more instructions,
When the sentence of the text is an interrogative sentence, the information providing apparatus for extracting a word or interrogative phrase corresponding to a place, time, or person included in the interrogative sentence.

13. The method of claim 12,
The processor by executing the one or more instructions,
When at least two or more words or interrogative words corresponding to a place, time, or person are extracted from the interrogative sentence, the information providing apparatus for searching the user information of the user.

12. The method of claim 11,
The processor by executing the one or more instructions,
When at least one word corresponding to a place, time, or person and at least one interrogative word corresponding to a place, time, or person are all extracted from one sentence, the information providing apparatus for searching the user information of the user.

12. The method of claim 11,
The processor by executing the one or more instructions,
Interpret the extracted word as a word representing the user's intention based on the user's conversation history, search the user information of the user based on the interpreted word or interrogative word, and find the interpreted word or interrogative word Displaying a search result including a matching word on the display, the information providing device.

12. The method of claim 11,
The processor by executing the one or more instructions,
Based on the extracted word or interrogative word, at least one of the user's conversation history stored in the information providing device, the user's text message, the content uploaded to the social network service through the user's account, and the conversation content of the mobile messenger One searching, informational device.

delete

12. The method of claim 11,
The processor by executing the one or more instructions,
The information providing apparatus, extracting a word representing a place included in the card payment history as a word matching the interrogative word corresponding to the place and displaying the extracted word on the display.

12. The method of claim 11,
The processor by executing the one or more instructions,
Selecting information corresponding to the user's interest from among the searched user information, reconstructing the information corresponding to the selected interest, and displaying the interest information on the display.

12. The method of claim 11,
further comprising a network interface;
The processor by executing the one or more instructions,
Through the network interface, by searching for at least one of the user's conversation history, the user's text message, the content uploaded to the social network service using the user's account, and the conversation content of the mobile messenger stored in an external device or server through the network interface , to obtain a search result including a word matching the extracted word or interrogative word, the information providing device.