KR102265406B1 - Server and method for comtrolling the server - Google Patents
Server and method for comtrolling the server Download PDFInfo
- Publication number
- KR102265406B1 KR102265406B1 KR1020200154914A KR20200154914A KR102265406B1 KR 102265406 B1 KR102265406 B1 KR 102265406B1 KR 1020200154914 A KR1020200154914 A KR 1020200154914A KR 20200154914 A KR20200154914 A KR 20200154914A KR 102265406 B1 KR102265406 B1 KR 102265406B1
- Authority
- KR
- South Korea
- Prior art keywords
- content
- user
- voice input
- server
- list
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000004891 communication Methods 0.000 claims description 63
- 230000002452 interceptive effect Effects 0.000 abstract description 16
- 239000000284 extract Substances 0.000 abstract description 12
- 230000004044 response Effects 0.000 description 57
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 5
- 238000012508 change request Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012943 effectiveness check Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
디스플레이 장치와 대화형 시스템을 구현하는 서버가 개시된다. 본 서버는 디스플레이 장치에서 수집한 사용자의 음성에 대응되는 텍스트 정보를 디스플레이 장치로부터 수신하는 통신부 및, 텍스트 정보로부터 발화 요소를 추출하고, 추출된 발화 요소를 이용하여 컨텐츠를 검색하기 위한 쿼리를 생성하여 컨텐츠에 대한 메타데이터를 항목 별로 구분하여 저장하는 외부 서버로 전송하도록 제어하는 제어부를 포함하며, 제어부는, 추출된 발화 요소에 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하이면, 기설정된 항목을 컨텐츠 검색 기준으로 추가하여 상기 쿼리를 생성한다.A server implementing a display device and an interactive system is disclosed. The server generates a communicator for receiving text information corresponding to the user's voice collected from the display device from the display device, extracts utterance elements from the text information, and generates a query for searching content using the extracted utterance elements. and a control unit for controlling to transmit the metadata for the contents to an external server that divides and stores the metadata for each item, wherein the control unit transmits the predetermined item if the content classification criterion in the item corresponding to the extracted utterance element is less than or equal to a predetermined number The query is created by adding it as a content search criterion.
Description
본 발명은 서버 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는 대화형 시스템을 구성하는 서버 및 그의 제어 방법에 관한 것이다. The present invention relates to a server and a control method thereof, and more particularly, to a server constituting an interactive system and a control method thereof.
전자 기술의 발달에 힘입어 다양한 종류의 디스플레이 장치가 개발되어 보급되고 사용자의 요구에 따라 점차 다양한 기능을 구비하게 되었다. 특히, TV의 경우, 최근에는 인터넷과 연결되어 인터넷 서비스까지 지원하고, 사용자는 TV를 통해 많은 수의 디지털 방송 채널까지 시청할 수 있게 되었다. With the development of electronic technology, various types of display devices have been developed and distributed, and have gradually been provided with various functions according to the needs of users. In particular, in the case of a TV, it is recently connected to the Internet to support Internet services, and users can watch a large number of digital broadcasting channels through the TV.
한편, 최근에는 디스플레이 장치를 조금 더 편리하고 직관적으로 제어하기 위하여 사용자의 음성을 통해 디스플레이 장치를 제어하는 기술이 개발되고 있다. 특히, TV의 경우, 사용자의 음성을 인식하고, 볼륨 조절 또는 채널 변경과 같이 사용자의 음성에 대응되는 기능을 수행할 수 있게 되었다.On the other hand, recently, in order to control the display device more conveniently and intuitively, a technology for controlling the display device through the user's voice has been developed. In particular, in the case of a TV, it is possible to recognize a user's voice and perform a function corresponding to the user's voice, such as adjusting a volume or changing a channel.
그러나, 종래에는 사용자의 음성에 따라 컨텐츠를 검색하여 사용자에게 제공하지 못한다는 점에서 한계가 존재하였다. However, in the related art, there is a limitation in that the content cannot be searched and provided to the user according to the user's voice.
본 발명은 상술한 필요성에 따른 것으로, 서버를 통해 대화형 시스템을 구성할 때, 컨텐츠를 효율적으로 검색할 수 있는 서버 및 그의 제어 방법을 제공함에 있다. An object of the present invention is to provide a server capable of efficiently retrieving content when configuring an interactive system through the server and a method for controlling the same.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치와 대화형 시스템을 구현하는 서버는 상기 디스플레이 장치에서 수집한 사용자의 음성에 대응되는 텍스트 정보를 상기 디스플레이 장치로부터 수신하는 통신부 및, 상기 텍스트 정보로부터 발화 요소를 추출하고, 상기 추출된 발화 요소를 이용하여 컨텐츠를 검색하기 위한 쿼리를 생성하여 컨텐츠에 대한 메타데이터를 항목 별로 구분하여 저장하는 외부 서버로 전송하도록 제어하는 제어부를 포함하며, 상기 제어부는, 상기 추출된 발화 요소에 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하이면, 기설정된 항목을 컨텐츠 검색 기준으로 추가하여 상기 쿼리를 생성한다.;A display device and a server implementing an interactive system according to an embodiment of the present invention for achieving the above object include a communication unit for receiving text information corresponding to a user's voice collected by the display device from the display device; , extracting a speech element from the text information, generating a query for searching content using the extracted speech element, and controlling to transmit the metadata about the content to an external server that classifies and stores the content by item; and the control unit generates the query by adding a preset item as a content search criterion when the number of content classification criteria in the items corresponding to the extracted utterance element is less than or equal to a preset number;
여기에서, 본 실시 예에 따른 서버는 상기 각 항목 내의 컨텐츠 구분 기준에 대한 정보를 저장하는 저장부를 더 포함하며, 상기 제어부는, 상기 컨텐츠 구분 기준에 대한 정보에 기초하여 상기 추출된 발화 요소에 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하인지 여부를 판단할 수 있다.Here, the server according to the present embodiment further includes a storage unit for storing information on the content classification criterion in each item, and the control unit corresponds to the extracted speech element based on the information on the content classification criterion. It may be determined whether the content classification criteria in the selected items are equal to or less than a preset number.
또한, 상기 제어부는, 사용자 선호도 정보에 기초하여 상기 컨텐츠 검색 기준으로 추가하는 상기 기설정된 항목을 결정할 수 있다.Also, the controller may determine the preset item to be added as the content search criterion based on user preference information.
그리고, 상기 제어부는, 상기 기설정된 항목이 상기 컨텐츠 검색 기준으로 추가되어 생성된 상기 쿼리에 의해 컨텐츠 검색이 수행되지 않는 경우, 상기 추출된 발화 요소를 이용하여 컨텐츠를 검색하기 위한 쿼리를 재생성할 수 있다.In addition, when the content search is not performed by the query generated by adding the preset item as the content search criterion, the control unit may regenerate a query for searching content using the extracted speech element. have.
한편, 상기 컨텐츠 구분 기준이 기설정된 개수 이하인 항목은, 방송 타입 항목 및 화질 항목 중 적어도 하나일 수 있다.Meanwhile, the items for which the content classification criterion is less than or equal to a preset number may be at least one of a broadcast type item and a quality item.
또한, 상기 기설정된 항목은, 방송 시간 항목 및 방송 채널 항목 중 적어도 하나일 수 있다.Also, the preset item may be at least one of a broadcast time item and a broadcast channel item.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치와 대화형 시스템을 구현하는 서버의 제어 방법은 상기 디스플레이 장치에서 수집한 사용자의 음성에 대응되는 텍스트 정보를 상기 디스플레이 장치로부터 수신하는 단계, 상기 텍스트 정보로부터 발화 요소를 추출하고, 상기 추출된 발화 요소를 이용하여 컨텐츠를 검색하기 위한 쿼리를 생성하는 단계 및, 상기 생성된 쿼리를 컨텐츠에 대한 메타데이터를 항목 별로 구분하여 저장하는 외부 서버로 전송하는 단계를 포함하며, 상기 생성하는 단계는, 상기 추출된 발화 요소에 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하이면, 기설정된 항목을 컨텐츠 검색 기준으로 추가하여 상기 쿼리를 생성한다..On the other hand, the control method of a server implementing an interactive system with a display device according to an embodiment of the present invention includes the steps of receiving text information corresponding to a user's voice collected by the display device from the display device, the text information extracting utterance elements from , generating a query for searching content by using the extracted utterance elements, and transmitting the generated query to an external server that classifies and stores metadata for content by item and, in the generating, when the number of content classification criteria in the items corresponding to the extracted utterance element is less than or equal to a preset number, the query is generated by adding a preset item as a content search criterion.
여기에서, 상기 생성하는 단계는, 기저장된 컨텐츠 구분 기준에 대한 정보에 기초하여 상기 추출된 발화 요소에 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하인지 여부를 판단할 수 있다.Here, in the generating, it may be determined whether the number of content classification criteria in the item corresponding to the extracted utterance element is less than or equal to a preset number based on pre-stored information on the content classification criterion.
또한, 상기 생성하는 단계는, 사용자 선호도 정보에 기초하여 상기 컨텐츠 검색 기준으로 추가하는 상기 기설정된 항목을 결정할 수 있다.Also, in the generating, the preset item to be added as the content search criterion may be determined based on user preference information.
그리고, 상기 생성하는 단계는, 상기 기설정된 항목이 상기 컨텐츠 검색 기준으로 추가되어 생성된 상기 쿼리에 의해 컨텐츠 검색이 수행되지 않는 경우, 상기 추출된 발화 요소를 이용하여 컨텐츠를 검색하기 위한 쿼리를 재생성할 수 있다.And, in the generating step, when the content search is not performed by the query generated by adding the preset item as the content search criterion, regenerating a query for searching content using the extracted speech element can do.
한편, 상기 컨텐츠 구분 기준이 기설정된 개수 이하인 항목은, 방송 타입 항목 및 화질 항목 중 적어도 하나일 수 있다.Meanwhile, the items for which the content classification criterion is less than or equal to a preset number may be at least one of a broadcast type item and a quality item.
또한, 상기 기설정된 항목은, 방송 시간 항목 및 방송 채널 항목 중 적어도 하나일 수 있다.Also, the preset item may be at least one of a broadcast time item and a broadcast channel item.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자의 음성에서 추출된 발화 요소만으로 컨텐츠를 검색할 경우 많은 컨텐츠가 검색되어 컨텐츠 검색의 효율성이 낮아질 수 있는 문제점을 해소할 수 있다. 또한, 대화형 시스템을 이용하는 사용자는 디스플레이 장치와의 대화 횟수를 줄이면서 자신의 발화 의도에 부합하는 컨텐츠 검색 결과를 제공받을 수 있어 편의성이 향상될 수 있다.According to various embodiments of the present invention as described above, when content is searched only with utterance elements extracted from the user's voice, it is possible to solve a problem in that a lot of content is searched and the efficiency of content search may be lowered. In addition, the user who uses the interactive system may be provided with a content search result that matches his/her intention of uttering while reducing the number of conversations with the display device, so that convenience may be improved.
도 1은 본 발명의 일 실시 예에 따른 대화형 시스템을 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치에 대한 블록도,
도 3은 본 발명의 일 실시 예에 따른 제1 서버에 대한 블록도,
도 4는 본 발명의 일 실시 예에 따른 제2 서버에 대한 블록도,
도 5는 본 발명의 일 실시 예에 따른 구조화된 메타데이터의 일 예를 나타내는 도면,
도 6는 도 4에 도시된 제2 서버의 세부 구성을 설명하기 위한 블록도,
도 7은 본 발명의 일 실시 예에 따른 컨텐츠 검색 기준을 추가하는 방법의 일 예를 설명하기 위한 도면,
도 8 내지 도 9는 본 발명의 일 실시 예에 따라 디스플레이 장치에서 제공되는 UI 화면의 일 예를 도시한 도면들, 그리고
도 10은 본 발명의 일 실시 예에 따른 서버의 제어 방법을 설명하기 위한 흐름도이다. 1 is a diagram for explaining an interactive system according to an embodiment of the present invention;
2 is a block diagram of a display device according to an embodiment of the present invention;
3 is a block diagram of a first server according to an embodiment of the present invention;
4 is a block diagram of a second server according to an embodiment of the present invention;
5 is a diagram illustrating an example of structured metadata according to an embodiment of the present invention;
Figure 6 is a block diagram for explaining the detailed configuration of the second server shown in Figure 4;
7 is a view for explaining an example of a method of adding a content search criterion according to an embodiment of the present invention;
8 to 9 are diagrams illustrating an example of a UI screen provided by a display device according to an embodiment of the present invention, and
10 is a flowchart illustrating a method for controlling a server according to an embodiment of the present invention.
이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시 예에 따른 대화형 시스템을 설명하기 위한 도면이다. 도 1에 도시된 바와 같이, 대화형 시스템(1000)은 디스플레이 장치(100), 제1 서버(200), 제2 서버(300) 및 외부 서버(400)를 포함한다. 여기에서, 제2 서버(300)은 대화형 인터페이스 장치로 명명할 수도 있다.1 is a diagram for explaining an interactive system according to an embodiment of the present invention. As shown in FIG. 1 , the
디스플레이 장치(100)는 디스플레이 장치(100)를 제어하기 위한 리모컨(미도시)에 의해 제어될 수 있다. 구체적으로, 디스플레이 장치(100)는 리모컨(미도시)로부터 수신된 리모컨 제어 신호에 대응되는 동작을 수행할 수 있다. 예를 들어, 디스플레이 장치(100)가 도 1과 같이 TV로 구현된 경우, 디스플레이 장치(100)는 리모컨(미도시)로부터 수신된 리모컨 제어 신호에 따라 전원 온/오프, 채널 전환, 볼륨 조절 등의 기능을 수행할 수 있다.The
또한, 디스플레이 장치(100)는 사용자의 음성에 대응되는 다양한 동작을 수행할 수 있다.Also, the
구체적으로, 디스플레이 장치(100)는 사용자의 음성에 대응되는 기능을 수행하거나, 사용자의 음성에 대응되는 시스템 응답을 출력할 수 있다.Specifically, the
이를 위해, 디스플레이 장치(100)는 수집된 사용자의 음성을 제1 서버(200)로 전송한다. 제1 서버(200)는 디스플레이 장치(100)로부터 사용자의 음성이 수신되면, 수신된 사용자의 음성을 텍스트 정보(즉, 텍스트)로 변환하고 텍스트 정보를 디스플레이 장치(100)로 전송한다.To this end, the
그리고, 디스플레이 장치(100)는 제1 서버(200)로부터 수신된 텍스트 정보를 제2 서버(300)로 전송한다. 제2 서버(300)는 디스플레이 장치(100)로부터 텍스트 정보가 수신되면, 수신된 텍스트 정보에 대응되는 응답 정보를 생성하여 디스플레이 장치(100)로 전송한다. Then, the
디스플레이 장치(100)는 제2 서버(300)로부터 수신된 응답 정보에 기초하여 다양한 동작을 수행할 수 있다. 여기에서, 응답 정보는 디스플레이 장치(100)가 특정 기능을 수행하기 위한 제어 명령 및 디스플레이 장치(100)에서 출력되는 시스템 응답과 관련된 다양한 정보를 포함할 수 있다.The
구체적으로, 디스플레이 장치(100)는 사용자의 음성에 대응되는 기능을 수행할 수 있다. 즉, 디스플레이 장치(100)는 디스플레이 장치(100)에서 제공 가능한 기능 중 사용자의 음성에 대응되는 기능을 수행할 수 있다. 예를 들어, 디스플레이 장치(100)에 채널 전환을 위한 사용자의 음성이 입력되면, 제2 서버(300)는 디스플레이 장치(100)의 채널을 전환하기 위한 제어 명령을 디스플레이 장치(100)로 전송할 수 있다. 이에 따라, 디스플레이 장치(100)는 수신된 제어 명령에 기초하여 채널을 전환할 수 있다. Specifically, the
또한, 디스플레이 장치(100)는 사용자의 음성에 대응되는 시스템 응답을 출력할 수 있다. 여기에서, 시스템 응답은 음성 및 UI 화면 중 적어도 하나의 형태로 출력될 수 있다. Also, the
예를 들어, 디스플레이 장치(100)에 방송 프로그램의 검색을 요청하는 사용자의 음성이 입력되면, 제2 서버(300)는 발화 의도에 부합하는 컨텐츠를 검색하고, 검색 결과를 디스플레이 장치(100)로 전송할 수 있다. 이에 따라, 디스플레이 장치(100)는 발화 의도에 따라 검색된 컨텐츠에 대한 리스트를 포함하는 UI 화면을 디스플레이할 수 있다.For example, when a user's voice requesting a search for a broadcast program is input to the
이와 같이, 디스플레이 장치(100)는 제2 서버(300)로부터 수신된 응답 정보에 기초하여, 사용자의 음성에 대응되는 다양한 동작을 수행할 수 있다.As such, the
한편, 제2 서버(300)는 사용자의 발화 의도가 컨텐츠의 검색과 관련된 경우, 외부 서버(400)를 통해 사용자의 발화 의도에 부합하는 컨텐츠를 검색하고, 검색 결과를 디스플레이 장치(100)로 전송할 수 있다.Meanwhile, when the user's utterance intention is related to content search, the
여기에서, 외부 서버(400)는 메타데이터를 구조화하여(structured) 저장할 수 있다. 예를 들어, 외부 서버(400)는 EPG, Music, VOD, Photo, Application 등에 대한 메타데이터 정보를 구조화하여 저장하는 메타데이터 서버로 구현될 수 있다.Here, the
구체적으로, 외부 서버(400)는 컨텐츠에 대한 메타데이터를 항목(또는, 필드)별로 구분하고, 각 항목 내의 컨텐츠 구분 기준에 따라 컨텐츠에 대한 메타데이터를 구조화하여 저장할 수 있다. 여기에서, 항목은 컨텐츠에 대한 메타데이터를 구분하는 속성이고, 컨텐츠 구분 기준은 각 필드 내에서 컨텐츠를 구분하기 위한 세부 속성이 될 수 있다. 예를 들어, 항목이 방송 타입인 경우, 컨텐츠 구분 기준은 재방송, 본방송과 같이 방송 타입을 세분화할 수 있는 속성이 될 수 있다. 다른 예로, 항목이 화질인 경우, 컨텐츠 구분 기준은 HD(High Definition), SD(Standard Definition)와 같이 화질을 세분화할 수 있는 속성이 될 수 있다.Specifically, the
구체적으로, 제2 서버(300)는 텍스트 정보에서 발화 요소를 추출하고, 추출된 발화 요소를 이용하여 컨텐츠 검색을 위한 쿼리(query)를 생성할 수 있다. 이때, 제2 서버(300)는 추출된 발화 요소에 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하이면, 기설정된 항목을 컨텐츠 검색 기준으로 추가하여 쿼리를 생성하여 외부 서버(400)로 전송할 수 있다.Specifically, the
예를 들어, 사용자가 "재방송 프로그램 찾아줘"라고 발화한 경우를 가정한다. 이 경우, 제2 서버(300)는 수신된 텍스트 정보에서 "재방송"을 방송 타입과 관련된 발화 요소로 추출하고, 외부 서버(400)에 저장된 구조화된 메타데이터에서 방송 타입에 대한 컨텐츠 구분 기준을 판단한다. 방송 타입은 재방송 및 본방송과 같이 2개의 컨텐츠 구분 기준으로 구분되므로, 제2 서버(300)는 현재 사용자가 시청하는 방송 채널을 컨텐츠 검색 기준으로 추가하여 컨텐츠 검색을 위한 쿼리를 생성할 수 있다.For example, it is assumed that the user utters "find a rebroadcast program". In this case, the
이에 따라, 외부 서버(400)는 제2 서버(300)로부터 수신된 쿼리에 따라, 재방송 중에서 현재 사용자가 시청하는 방송 채널에서 제공되는 방송 프로그램을 검색하고, 검색된 방송 프로그램에 대한 정보(가령, 타이틀, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널, 썸네일 중 적어도 하나)를 제2 서버(300)로 전송할 수 있다. 제2 서버(300)는 외부 서버(400)로부터 사용자의 음성에 대응되는 검색 결과가 수신되면, 디스플레이 장치(100)에서 사용자의 음성에 대응되는 시스템 응답을 출력하기 위한 응답 정보를 디스플레이 장치(100)로 전송할 수 있다. 이에 따라, 디스플레이 장치(100)는 "재방송 프로그램 찾아줘"와 같은 사용자의 음성에 대한 시스템 응답으로 재방송 중에서 현재 사용자가 시청하는 방송 채널에서 제공되는 방송 프로그램에 대한 리스트를 출력할 수 있다.Accordingly, according to the query received from the
이와 같이, 본 발명의 일 실시 예에 따른 서버는 텍스트 정보로부터 추출된 발화 요소에 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하이면, 기설정된 항목을 컨텐츠 검색 기준으로 추가하여 쿼리를 생성할 수 있다. 이에 따라, 사용자의 음성에서 추출된 발화 요소만으로 컨텐츠를 검색할 경우 많은 컨텐츠가 검색되어 컨텐츠 검색의 효율성이 낮아질 수 있는 문제점을 해소할 수 있다. As such, the server according to an embodiment of the present invention can generate a query by adding the preset item as a content search criterion if the content classification criteria in the item corresponding to the utterance element extracted from the text information is less than or equal to the preset number. have. Accordingly, it is possible to solve a problem in that, when content is searched using only the utterance elements extracted from the user's voice, a lot of content is searched and the efficiency of content search is lowered.
한편, 도 1에서는 디스플레이 장치(100)가 TV인 것으로 도시하였으나 이는 일 예에 불과하다. 즉, 디스플레이 장치(100)는 TV뿐만 아니라, 스마트폰과 같은 휴대폰, 데스크탑 PC, 노트북, 네비게이션 등과 같은 다양한 전자 장치로 구현될 수 있다.Meanwhile, although the
또한, 도 1에서 제1 서버(200) 및 제2 서버(300)가 별도의 서버로 구현되는 것으로 도시하였으나 이 역시 일 예에 불과하다. 즉, 제1 서버(200)와 제2 서버(300)를 포함하는 하나의 대화형 서버로 구현될 수 있음은 물론이다. 이와 같은 경우, 디스플레이 장치(100)는 대화형 서버로 사용자의 음성을 전송하며, 대화형 서버는 디스플레이 장치(100)로부터 수신된 사용자의 음성을 텍스트 정보로 변환하고, 변환된 텍스트 정보를 이용하여 발화 의도에 부합하는 컨텐츠를 검색할 수 있다. 이 경우, 대화형 서버는 텍스트 정보로부터 추출된 발화 요소에 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하이면, 기설정된 항목을 컨텐츠 검색 기준으로 추가하여 쿼리를 생성할 수 있다. 따라서, 제1 서버(200)와 제2 서버(300)를 포함하는 하나의 대화형 서버로 구현되는 경우, 디스플레이 장치(100)는 사용자의 음성을 대화형 서버로 전송할 수 있다.Also, although it is illustrated that the
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치에 대한 블록도이다. 도 2와 같이, 디스플레이 장치(100)는 출력부(110), 음성 수집부(120), 제1 통신부(130), 제2 통신부(135), 저장부(140), 수신부(150), 신호 처리부(160), 리모컨 신호 수신부(171), 입력부(173), 인터페이스부(175) 및 제어부(180)를 포함할 수 있다. 2 is a block diagram of a display device according to an embodiment of the present invention. As shown in FIG. 2 , the
도 2에서는 디스플레이 장치(100)에 포함될 수 있는 다양한 구성요소에 대하여 도시하였으나, 디스플레이 장치(100)가 반드시 전체 구성요소들을 포함하여야 하는 것은 아니며, 이들 구성요소만을 가지는 것으로 한정되는 것도 아니다. 즉, 디스플레이 장치(100)의 제품 종류에 따라 구성요소들 일부가 생략되거나 추가될 수 있고, 또는, 타 구성요소들로 대체될 수도 있음은 물론이다. Although FIG. 2 illustrates various components that may be included in the
출력부(110)는 음성 및 영상 중 적어도 하나를 출력한다. 구체적으로, 출력부(110)는 음성 수집부(120)를 통해 수집된 사용자의 음성에 대응되는 시스템 응답을 음성 및 UI 화면 중 적어도 하나의 형태로 출력할 수 있다.The
여기에서, UI 화면은 사용자의 음성에 대응되는 시스템 응답이 텍스트 형식으로 표현되거나, 사용자의 음성에 따라 검색된 검색 결과가 리스트 형식으로 표현될 수 있다. Here, on the UI screen, a system response corresponding to the user's voice may be expressed in a text format, or a search result searched according to the user's voice may be expressed in a list format.
이를 위해, 출력부(110)는 디스플레이부(111) 및 오디오 출력부(113)를 구비할 수 있다. To this end, the
구체적으로, 디스플레이부(111)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현될 수 있다. Specifically, the
디스플레이부(111)는 디스플레이 장치(100)를 통해 제공 가능한 다양한 디스플레이 화면을 제공할 수 있다. 특히, 디스플레이부(111)는 사용자의 음성에 대응되는 시스템 응답을 UI 화면으로 구성하여 디스플레이할 수 있다. The
한편, 오디오 출력부(113)는 잭 등과 같은 출력 포트 또는 스피커 등으로 구현되어, 사용자의 음성에 대응되는 시스템 응답을 음성 형태로 출력할 수 있다. Meanwhile, the
또한, 출력부(110)는 다양한 컨텐츠를 출력할 수 있다. 여기에서, 컨텐츠는 방송 컨텐츠, VOD 컨텐츠 등을 포함할 수 있다. 예를 들어, 디스플레이부(111)는 컨텐츠를 구성하는 영상을 출력하고, 오디오 출력부(113)는 컨텐츠를 구성하는 오디오를 출력할 수 있다.Also, the
음성 수집부(120)는 사용자의 음성을 수집한다. 예를 들어, 음성 수집부(120)는 사용자의 음성을 수집하기 위한 마이크로 구현되며, 디스플레이 장치(100)에 내장되어 일체형을 이루거나, 디스플레이 장치(100)와 분리된 형태로 구현될 수 있다. 분리된 형태로 구현되는 경우, 음성 수집부(120)는 사용자가 손으로 쥐는 형태, 또는 식탁이나 테이블에 놓일 수 있는 형태로 구현될 수 있으며, 디스플레이 장치(100)와 유선 또는 무선 네트워크를 통하여 연결되어, 수집된 사용자의 음성을 디스플레이 장치(100)로 전송할 수 있다.The
한편, 음성 수집부(120)는 수집된 음성이 사용자의 음성인지를 판단하고, 사용자의 음성에서 노이즈(예를 들어, 에어컨 소리, 청소기 소리, 음악 소리 등)를 필터링할 수도 있다.Meanwhile, the
예를 들어, 음성 수집부(120)는 아날로그 형태의 사용자 음성이 입력되면, 이를 샘플링하여 디지털 신호로 변환한다. 그리고, 음성 수집부(120)는 변환된 디지털 신호의 에너지를 계산하여, 디지털 신호의 에너지가 기설정된 값 이상인지 여부를 판단한다. For example, when an analog user voice is input, the
디지털 신호의 에너지가 기설정된 값 이상인 경우, 음성 수집부(120)는 디지털 신호에서 노이즈 성분을 제거하여 제1 통신부(130)로 전달한다. 이때, 노이즈 성분은 가정 환경에서 발생할 수 있는 돌발성 잡음으로써, 에어컨 소리, 청소기 소리, 음악 소리 등이 포함될 수 있다. 한편, 디지털 신호의 에너지가 기설정된 값 미만인 경우, 음성 수집부(120)는 디지털 신호에 별다른 처리 과정을 수행하지 않고, 다른 입력을 기다린다. When the energy of the digital signal is equal to or greater than a preset value, the
이에 따라, 사용자의 음성이 아닌 다른 소리에 의해 전체 오디오 처리 과정이 활성화되지 않아, 불필요한 전력 소모를 방지할 수 있다.Accordingly, since the entire audio processing process is not activated by a sound other than the user's voice, unnecessary power consumption can be prevented.
제1 통신부(130)는 제1 서버(도 1의 200)와 통신을 수행한다. 구체적으로, 제1 통신부(130)는 사용자의 음성을 제1 서버(200)로 전송하고, 사용자의 음성에 대응되는 텍스트 정보를 제1 서버(200)로부터 수신할 수 있다.The
제2 통신부(135)는 제2 서버(도 1의 300)와 통신을 수행한다. 구체적으로, 제2 통신부(135)는 수신된 텍스트 정보를 제2 서버(300)로 전송하고, 텍스트 정보에 대응되는 응답 정보를 제2 서버(300)로부터 수신할 수 있다.The
이를 위해, 제1 통신부(130) 및 제2 통신부(135)는 다양한 통신 방식을 이용하여 제1 서버(200) 및 제2 서버(300)와 통신을 수행할 수 있다. To this end, the
예를 들어, 제1 통신부(130) 및 제2 통신부(135)는 유/무선 LAN(Local Area Network), WAN, 이더넷, 블루투스(Bluetooth), 지그비(Zigbee), USB(Universal Serial Bus), IEEE 1394, 와이파이(Wifi) 등을 이용하여, 제1 서버(200) 및 제2 서버(300)와 통신을 수행할 수 있다. 이를 위해, 제1 통신부(130) 및 제2 통신부(135)는 각 통신 방식에 대응되는 칩 또는 입력 포트 등을 구비할 수 있다. 예를 들어, 유선 LAN 방식으로 통신을 수행하는 경우, 제1 통신부(130) 및 제2 통신부(135)는 유선 LAN 카드(미도시) 및 입력 포트(미도시)를 구비할 수 있다. For example, the
한편, 상술한 실시 예에서는, 디스플레이 장치(100)가 제1 서버(200) 및 제2 서버(300)와 통신을 수행하기 위해, 별도의 통신부(130, 135)를 구비하는 것으로 설명하였으나 이는 일 예에 불과하다. 즉, 디스플레이 장치(100)는 하나의 통신 모듈을 통해 제1 서버(200) 및 제2 서버(300)와 통신을 할 수 있음은 물론이다.Meanwhile, in the above-described embodiment, it has been described that the
또한, 상술한 실시 예에서는, 제1 통신부(130) 및 제2 통신부(135)는 제1 서버(200) 및 제2 서버(300)와 통신을 수행하는 것으로 설명하였으나, 이는 일 예에 불과하다. 즉, 제1 통신부(130) 및 제2 통신부(135)는 웹 서버(미도시)에 연결되어 웹 브라우징을 수행할 수도 있다.Also, in the above-described embodiment, the
저장부(140)는 디스플레이 장치(100)를 동작시키기 위해 필요한 각종 프로그램 등이 저장되는 저장매체로서, 메모리, HDD(Hard Disk Drive) 등으로 구현가능하다. 예를 들어, 저장부(140)는 제어부(180)의 동작 수행을 위한 프로그램을 저장하기 위한 ROM, 제어부(180)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM 등을 구비할 수 있다. 또한 각종 참조 데이터를 저장하기 위한 EEROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다.The
수신부(150)는 다양한 컨텐츠를 수신한다. 여기에서, 컨텐츠는 방송 컨텐츠, VOD 컨텐츠 등을 포함할 수 있다.The receiver 150 receives various contents. Here, the content may include broadcast content, VOD content, and the like.
구체적으로, 수신부(150)는 방송 네트워크를 이용하여 방송 프로그램을 전송하는 방송국 또는 인터넷을 이용하여 컨텐츠 파일을 전송하는 웹 서버로부터 컨텐츠를 수신할 수 있다. Specifically, the receiver 150 may receive content from a broadcasting station that transmits a broadcast program using a broadcasting network or a web server that transmits a content file using the Internet.
*방송국으로부터 컨텐츠를 수신하는 실시 예의 경우에는, 수신부(150)는 튜너(미도시), 복조기(미도시), 등화기(미도시) 등과 같은 구성을 포함하는 형태로 구현될 수 있다. 반면, 웹 서버와 같은 소스로부터 컨텐츠를 수신하는 실시 예의 경우에는, 수신부(150)는 네트워크 인터페이스 카드(미도시)로 구현될 수 있다. * In the case of receiving content from a broadcasting station, the receiver 150 may be implemented in a form including a tuner (not shown), a demodulator (not shown), an equalizer (not shown), and the like. On the other hand, in the case of receiving content from a source such as a web server, the receiver 150 may be implemented as a network interface card (not shown).
이와 같이, 수신부(150)는 실시 예에 따라 다양한 형태로 구현될 수 있다. As such, the receiver 150 may be implemented in various forms according to embodiments.
신호 처리부(160)는 수신부(150) 또는 인터페이스부(175)를 통해 수신된 컨텐츠가 출력부(110)를 통해 출력될 수 있도록 컨텐츠에 대한 신호처리를 수행한다. The
구체적으로, 신호 처리부(160)는 컨텐츠에 포함된 영상에 대해 디코딩, 스케일링 및 프레임 레이트 변환 등의 동작을 수행하여, 디스플레이부(111)에서 출력 가능한 형태로 변환할 수 있다. 또한, 신호 처리부(160)는 컨텐츠에 포함된 오디오 신호에 대해 디코딩 등의 신호 처리를 수행하여 오디오 출력부(113)에서 출력 가능한 형태로 변환할 수 있다. Specifically, the
리모컨 신호 수신부(171)는 외부의 리모컨으로부터 리모컨 제어 신호를 수신한다. 제어부(180)는 리모컨 신호 수신부(171)에 수신된 리모컨 제어 신호에 기초하여, 다양한 동작을 실행할 수 있다. 예를 들어, 제어부(180)는 리모컨 신호 수신부(171)를 통해 수신된 제어 신호에 따라, 전원 온/오프, 채널 변경, 볼륨 조절 등의 기능을 실행할 수 있다.The remote control
입력부(173)는 다양한 사용자 명령을 입력받는다. 제어부(180)는 입력부(173)에서 입력된 사용자 명령에 대응되는 동작을 실행할 수 있다. 예를 들어, 제어부(180)는 입력부(173)에서 입력된 사용자 명령에 따라 전원 온/오프, 채널 변경, 볼륨 조절 등을 실행할 수 있다.The
이를 위해, 입력부(173)는 입력 패널로 구현될 수 있다. 입력 패널은 터치패드(Touch Pad) 혹은 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad) 또는 터치 스크린(Touch Screen) 방식으로 이루어질 수 있다. To this end, the
인터페이스부(175)는 외부 기기(미도시)와 통신을 수행한다. 여기에서, 외부 기기(미도시)는 다양한 유형의 전자 장치로 구현되어, 디스플레이 장치(100)로 컨텐츠를 전송할 수 있다. 예를 들어, 디스플레이 장치(100)가 TV로 구현된 경우, 외부 기기(미도시)는 휴대폰, 셋탑박스, DVD 플레이어, 블루레이 디스크 플레이어, 게임기 등과 같이 디스플레이 장치(100)에 연결되어 기능을 수행할 수 있는 다양한 유형의 전자 장치로 구현될 수 있다.The interface unit 175 communicates with an external device (not shown). Here, the external device (not shown) may be implemented as various types of electronic devices to transmit content to the
예를 들어, 인터페이스부(175)는 HDMI, USB 등의 각종 유선 통신 방식 또는, 블루투스, 지그비 등의 무선 통신 방식에 따라 외부 기기(미도시)와 통신을 수행할 수 있다. 이를 위해, 인터페이스부(175)는 각 통신 방식에 대응되는 칩 또는 입력 포트 등을 구비할 수 있다. 예를 들어, HDMI 통신 방식에 따라 외부 기기(미도시)와 통신을 수행하는 경우, 인터페이스부(175)는 HDMI 포트를 구비할 수 있다.For example, the interface unit 175 may communicate with an external device (not shown) according to various wired communication methods such as HDMI and USB or wireless communication methods such as Bluetooth and Zigbee. To this end, the interface unit 175 may include a chip or an input port corresponding to each communication method. For example, when performing communication with an external device (not shown) according to the HDMI communication method, the interface unit 175 may include an HDMI port.
제어부(180)는 디스플레이 장치(100)의 전반적인 동작을 제어한다. 즉, 제어부(180)는 출력부(110), 음성 수집부(120), 제1 통신부(130), 제2 통신부(135), 저장부(135), 수신부(150), 신호 처리부(160), 리모컨 신호 수신부(171), 입력부(173) 및 인터페이스부(175)의 동작을 제어할 수 있다. 제어부(180)는 CPU(central processing unit) 및 디스플레이 장치(100)를 제어하기 위한 모듈 및 데이터를 저장하는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.The
구체적으로, 제어부(180)는 음성 수집부(120)를 통해 사용자의 음성을 수집하고, 수집된 사용자의 음성을 제1 서버(300)로 전송하도록 제1 통신부(130)를 제어할 수 있다. 그리고, 제어부(180)는 사용자의 음성에 대응되는 텍스트 정보가 수신되면, 수신된 텍스트 정보를 제2 서버(300)로 전송하도록 제2 통신부(135)를 제어할 수 있다. Specifically, the
한편, 제어부(180)는 사용자의 음성에 대응되는 응답 정보가 제2 서버(300)로부터 수신되면, 수신된 응답 정보에 기초하여 다양한 동작을 수행할 수 있다.Meanwhile, when response information corresponding to the user's voice is received from the
구체적으로, 제어부(180)는 수신된 응답 정보에 기초하여 사용자의 음성에 대응되는 기능을 실행할 수 있다.Specifically, the
이를 위해, 응답 정보는 디스플레이 장치(100)의 기능을 제어하기 위한 제어 명령을 포함할 수 있다. 여기에서, 제어 명령은 디스플레이 장치(100)에서 실행 가능한 기능들 중 사용자의 음성에 대응되는 기능을 실행하기 위한 명령을 포함할 수 있다. 이에 따라, 제어부(180)는 제2 서버(300)로부터 수신된 제어 명령에 기초하여, 사용자의 음성에 대응되는 기능이 실행되도록 디스플레이 장치(100)의 각 구성요소를 제어할 수 있다. To this end, the response information may include a control command for controlling the function of the
예를 들어, TV로 구현된 디스플레이 장치(100)가 "○번(채널 번호) 틀어줘"라는 사용자의 음성을 수집하면, 제2 서버(300)는 "○번(채널 번호) 틀어줘"라는 사용자의 음성에 포함된 발화 의도는 ○번(채널 번호)으로 채널 변경을 요청하는 것으로 판단하고, 판단된 발화 의도에 따라 ○번(채널 번호)으로 채널 변경을 변경하기 위한 제어 명령을 디스플레이 장치(100)로 전송할 수 있다. 이에 따라, 제어부(180)는 수신된 제어 명령에 기초하여 ○번(채널 번호)을 선국하고, 선국된 채널을 통해 제공되는 컨텐츠를 출력하도록 제어할 수 있다. For example, when the
다만, 이는 일 예일 뿐, 제어부(180)는 수집된 사용자의 음성에 따라 전원 온/오프. 볼륨 조절 등 다양한 동작이 수행되도록 디스플레이 장치(100)의 각 구성요소를 제어할 수도 있다.However, this is only an example, and the
또한, 응답 정보는 디스플레이 장치(100)에서 출력되는 시스템 응답과 관련된 다양한 정보를 포함할 수 있다. 이 경우, 응답 정보는 사용자의 음성에 대응되는 시스템 응답을 출력하기 위한 제어 명령을 더 포함할 수 있다. Also, the response information may include various information related to a system response output from the
구체적으로, 컨텐츠 검색을 위한 발화 의도를 갖는 사용자의 음성이 디스플레이 장치(100)에서 수집된 경우, 제2 서버(300)는 사용자의 발화 의도를 판단하고, 판단된 발화 의도에 부합하는 컨텐츠를 검색할 수 있다. 그리고, 제2 서버(300)는 검색된 컨텐츠에 대한 정보 가령, 타이틀, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널, 썸네일 중 적어도 하나를 디스플레이 장치(100)로 전송할 수 있다.Specifically, when the user's voice having an utterance intention for content search is collected by the
이 경우, 제어부(180)는 수신된 정보를 이용하여 사용자의 음성에 대응되는 시스템 응답을 음성 및 UI 화면 중 적어도 하나의 형태로 출력할 수 있다. 상술한 예에서, 제어부(180)는 제2 서버(300)로부터 수신된 컨텐츠에 대한 정보를 이용하여 컨텐츠에 대한 리스트를 생성하고, 생성된 리스트를 포함하는 UI 화면을 출력할 수 있다. 이때, 제어부(180)는 검색된 컨텐츠에 대한 타이틀, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널, 썸네일 중 적어도 하나를 리스트에 부가할 수 있다. In this case, the
한편, 응답 정보는 디스플레이 장치(100)에서 출력되는 시스템 응답이 텍스트 형식으로 표현된 시스템 응답 정보를 포함할 수도 있다. 이에 따라, 제어부(180)는 수신된 응답 정보를 이용하여 사용자의 음성에 대응되는 시스템 응답을 음성 및 UI 화면 중 적어도 하나의 형태로 출력하도록 출력부(110)를 제어할 수 있다.Meanwhile, the response information may include system response information in which a system response output from the
예를 들어, 제어부(180)는 TTS(Text to Speech) 엔진을 이용하여, 텍스트 형식으로 표현된 시스템 응답 정보를 음성으로 변환하여 오디오 출력부(113)를 통해 출력할 수 있다. 여기에서, TTS 엔진은 텍스트를 음성으로 변환하기 위한 모듈로서, 종래 개시되어 있는 다양한 TTS 알고리즘을 이용하여 텍스트를 음성으로 변환할 수 있다. 또한, 제어부(150)는 시스템 응답 정보를 구성하는 텍스트가 포함되도록 UI 화면을 구성하여 디스플레이부(110)를 통해 출력할 수도 있다.For example, the
한편, 제어부(180)는 사용자 선호도 정보를 분석하고, 사용자 선호도 정보를 저장부(140)에 저장할 수 있다. 구체적으로, 제어부(180)는 전원 온 또는 채널 전환 명령이 입력될 때마다, EPG 정보에 기초하여 선국된 채널에서 제공되는 컨텐츠를 판단하고, 판단된 컨텐츠에 대한 타이틀, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널 중 적어도 하나에 대한 정보를 저장할 수 있다. 그리고, 제어부(180)는 전원 온 또는 입력 단자 변경 명령이 입력될 때마다, 인터페이스부(175)에 연결된 외부 기기(미도시)에서 제공되는 컨텐츠를 판단하고, 판단된 컨텐츠에 대한 타이틀, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널 중 적어도 하나에 대한 정보를 저장할 수 있다. 이를 위해, 제어부(180)는 외부 기기(미도시)에 저장된 컨텐츠에 대한 정보의 전송을 요청할 수도 있다.Meanwhile, the
그리고, 제어부(180)는 기설정된 횟수 이상 시청한 컨텐츠에 대한 타이틀, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널을 사용자가 선호하는 채널, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널로 판단하여, 저장부(140)에 저장할 수 있다. 그리고, 제어부(180)는 제2 서버(300)로부터 사용자 선호도 정보에 대한 요청 명령이 수신되면, 사용자 선호도 정보를 제2 서버(300)로 전송할 수 있다.In addition, the
하지만, 이는 일 예일 뿐, 제어부(180)는 기설정된 이벤트에 따라 사용자 선호도 정보를 입력받기 위한 UI 화면을 디스플레이하고, UI 화면을 통해 입력된 사용자 선호도 정보를 저장부(140)에 저장할 수도 있다.However, this is only an example, and the
한편, 제어부(180)는 사용자가 현재 시청하고 있는 채널에 대한 정보를 제2 서버(300)로 전송할 수 있다. 예를 들어, 제어부(180)는 제2 서버(300)로부터 요청 명령이 수신되면, 수신부(150)를 통해 현재 선국된 채널을 판단하고 판단된 채널에 대한 정보를 제2 서버(300)로 전송할 수 있다. Meanwhile, the
도 3은 본 발명의 일 실시 예에 따른 제1 서버에 대한 블록도를 나타낸다. 도 3에 도시된 바와 같이, 제1 서버(200)는 통신부(210) 및 제어부(220)를 포함한다.3 is a block diagram of a first server according to an embodiment of the present invention. As shown in FIG. 3 , the
통신부(210)는 디스플레이 장치(100)와 통신을 수행한다. 구체적으로, 통신부(210)는 디스플레이 장치(100)로부터 사용자의 음성을 수신하고, 사용자의 음성에 대응되는 텍스트 정보를 디스플레이 장치(100)로 전송할 수 있다. 이를 위해, 통신부(210)는 다양한 통신 모듈을 포함할 수 있다.The
제어부(220)는 제1 서버(200)의 전반적인 동작을 제어한다. 특히, 제어부(220)는 디스플레이 장치(100)로부터 사용자의 음성이 수신되면, 사용자의 음성에 대응되는 텍스트 정보를 생성하고, 이를 디스플레이 장치(100)로 전송하도록 통신부(210)를 제어한다.The
구체적으로, 제어부(220)는 STT(Speech to Text) 엔진을 이용하여, 사용자의 음성에 대응되는 텍스트 정보를 생성할 수 있다. 여기에서, STT 엔진은 음성 신호를 텍스트로 변환하기 위한 모듈로서, 종래 개시되어 있는 다양한 STT 알고리즘을 이용하여 음성 신호를 텍스트로 변환할 수 있다.Specifically, the
예를 들어, 제어부(220)는 수신된 사용자의 음성 내에서 사용자가 발화한 음성의 시작과 끝을 검출하여 음성 구간을 판단한다. 구체적으로, 제어부(220)는 수신된 음성 신호의 에너지를 계산하고, 계산된 에너지에 따라 음성 신호의 에너지 레벨을 분류하여, 동적 프로그래밍을 통해 음성 구간을 검출할 수 있다. 그리고, 제어부(220)은 검출된 음성 구간 내에서 음향 모델(Acoustic Model)을 기초로 음성의 최소 단위인 음소를 검출하여 음소 데이터를 생성하고, 생성된 음소 데이터에 HMM(Hidden Markov Model) 확률 모델을 적용하여 사용자의 음성을 텍스트로 변환할 수 있다. For example, the
도 4는 본 발명의 일 실시 예에 따른 제2 서버에 대한 블록도를 나타낸다. 도 4에 도시된 바와 같이, 제2 서버(300)는 통신부(310) 및 제어부(320)를 포함한다.4 is a block diagram of a second server according to an embodiment of the present invention. As shown in FIG. 4 , the
통신부(310)는 디스플레이 장치(100)와 통신을 수행한다. 구체적으로, 통신부(310)는 디스플레이 장치(100)에서 수집한 사용자의 음성에 대응되는 텍스트 정보를 디스플레이 장치(100)로부터 수신할 수 있다. 그리고, 통신부(310)는 수신된 텍스트 정보에 대응되는 응답 정보를 디스플레이 장치(100)로 전송할 수 있다.The
또한, 통신부(310)는 외부 서버(도 1의 400)와 통신을 수행한다. 구체적으로, 통신부(310)는 컨텐츠 검색을 위한 쿼리를 외부 서버(400)로 전송하고, 그에 따른 검색 결과를 외부 서버(400)로부터 수신할 수 있다. Also, the
이를 위해, 통신부(310)는 다양한 통신 모듈을 포함할 수 있다. 예를 들어, 통신부(310)는 유/무선 LAN(Local Area Network), 이더넷(ethernet), 블루투스(Bluetooth), 지그비(Zigbee), USB(Universal Serial Bus), IEEE 1394, 와이파이(Wifi)등의 통신 방식을 통해 디스플레이 장치(100) 및 외부 서버(400)와 통신을 수행할 수 있다. 이를 위해, 통신부(310)는 각 통신 방식에 대응되는 칩 또는 입력 포트 등을 구비할 수 있다. 예를 들어, 유선 LAN 방식으로 통신을 수행하는 경우, 통신부(310)는 유선 LAN 카드(미도시) 및 입력 포트(미도시)를 구비할 수 있다. To this end, the
하지만, 이는 일 예일 뿐, 통신부(310)는 디스플레이 장치(100) 및 외부 서버(400) 각각과 통신을 수행하기 위한 별도의 통신 모듈을 구비할 수도 있다.However, this is only an example, and the
제어부(320)는 제2 서버(300)의 전반적인 동작을 제어한다. 특히, 제어부(320)는 텍스트 정보로부터 발화 요소를 추출하고, 추출된 발화 요소를 이용하여 컨텐츠를 검색하기 위한 쿼리를 생성하여 외부 서버(400)로 전송할 수 있다. 여기에서, 외부 서버(400)는 컨텐츠에 대한 메타데이터를 항목 별로 구분하여 저장할 수 있다.The
구체적으로, 제어부(320)는 디스플레이 장치(100)로부터 텍스트 정보가 수신되면, 텍스트 정보로부터 발화 요소를 추출하고 추출된 발화 요소를 이용하여 사용자의 발화 의도를 판단할 수 있다. Specifically, when text information is received from the
예를 들어, "재방송 프로그램 찾아줘"와 같은 텍스트 정보가 디스플레이 장치(100)로부터 수신된 경우를 가정한다. 이 경우, 제어부(320)는 기저장된 키워드를 이용하여 "재방송 프로그램 찾아줘"와 같은 텍스트 정보에서 방송 타입과 관련된 발화 요소인 "재방송 프로그램"이라는 용어를 추출할 수 있다. 그리고, 제어부(320)는 기저장된 키워드를 이용하여 "찾아줘"라는 용어는 검색 요청에 해당하는 것으로 판단하고, "재방송 프로그램 찾아줘"의 발화 의도는 재방송 프로그램에 대한 검색을 요청하는 것으로 판단할 수 있다.For example, it is assumed that text information such as “find a rebroadcast program” is received from the
이와 같이, 사용자의 발화 의도가 컨텐츠 검색과 관련된 경우, 제어부(320)는 추출된 발화 요소를 이용하여 컨텐츠 검색을 위한 쿼리를 생성할 수 있다. 이때, 제어부(320)는 추출된 발화 요소가 외부 서버(400)에 저장된 구조화된 메타데이터에서 매핑되는 항목 및 해당 항목의 컨텐츠 구분 기준을 판단한다.As such, when the user's utterance intention is related to content search, the
그리고, 제어부(320)는 추출된 발화 요소가 매핑되는 항목의 컨텐츠 구분 기준에 기초하여, 추출된 발화 요소의 검색 속성의 유효성(attributes effectiveness check)을 판단한다. 구체적으로, 제어부(320)는 추출된 발화 요소가 매핑되는 항목 내의 컨텐츠 구분 기준의 개수가 기설정된 개수인지 여부에 따라, 컨텐츠 구분 기준의 개수가 기설정된 개수 이하이면 추출된 발화 요소가 검색 조건으로서 부적합한 것으로 판단할 수 있다. 여기에서, 기설정된 개수는 2개가 될 수 있으나, 이에 한정되는 것은 아니다.Then, the
추출된 발화 요소가 검색 조건으로서 부적합한 것으로 판단된 경우, 제어부(320)는 추출된 발화 요소와 의미상으로 독립적인 속성들(semantically orthogonal attributes) 중 적어도 하나를 컨텐츠 검색 기준으로 추가하여 쿼리를 생성할 수 있다. 여기에서, 의미상으로 독립적인 속성들은 컨텐츠 검색을 위한 사용자의 발화 의도를 해치지 않을 속성으로, 기설정되어 있을 수 있다. When it is determined that the extracted speech element is inappropriate as a search condition, the
구체적으로, 제어부(320)는 추출된 발화 요소에 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하이면, 기설정된 항목을 컨텐츠 검색 기준으로 추가하여 쿼리를 생성할 수 있다.Specifically, if the number of content classification criteria in the items corresponding to the extracted utterance elements is less than or equal to the preset number, the
여기에서, 컨텐츠 구분 기준이 기설정된 개수 이하인 항목은 방송 타입 항목 및 화질 항목 중 적어도 하나일 수 있다. 또한, 기설정된 항목은 방송 시간 항목 및 방송 채널 항목 중 적어도 하나일 수 있다.Here, the item for which the content classification criterion is less than or equal to a preset number may be at least one of a broadcast type item and a quality item. Also, the preset item may be at least one of a broadcast time item and a broadcast channel item.
*이하에서는, 보다 구체적인 설명을 위해 외부 서버(400)가 도 5와 같이 메타데이터를 구조화하여 저장하는 경우를 가정하여 설명하도록 한다.* Hereinafter, for a more detailed description, it is assumed that the
먼저, 외부 서버(400)는 컨텐츠에 대한 메타데이터를 항목 별로 구분할 수 있다. 여기에서, 항목은 메타데이터에 포함된 다양한 컨텐츠 정보로, 외부 서버(400)는 도 5와 같이, 타이틀, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널과 같은 항목으로 구분하여 메타데이터를 저장할 수 있다.First, the
그리고, 외부 서버(400)는 각 항목 내의 컨텐츠 구분 기준에 따라 컨텐츠에 대한 메타데이터를 구조화하여 저장할 수 있다. In addition, the
예를 들어, 외부 서버(400)는 도 5와 같이, 타이틀을 컨텐츠 구분 기준으로 하여 컨텐츠에 대한 메타데이터를 구분한 타이틀 항목(510), 출연자를 컨텐츠 구분 기준으로 하여 컨텐츠에 대한 메타데이터를 구분한 출연자 항목(520), 제작자를 컨텐츠 구분 기준으로 하여 컨텐츠에 대한 메타데이터를 구분한 제작자 항목(530), 장르를 컨텐츠 구분 기준으로 하여 컨텐츠에 대한 메타데이터를 구분한 장르 항목(540), 방송 타입을 컨텐츠 구분 기준으로 하여 컨텐츠에 대한 메타데이터를 구분한 방송 타입 항목(550), 방송 시간을 컨텐츠 구분 기준으로 하여 컨텐츠에 대한 메타데이터를 구분한 방송 시간 항목(560), 화질을 컨텐츠 구분 기준으로 하여 컨텐츠에 대한 메타데이터를 구분한 화질 항목(570), 시청 등급을 컨텐츠 구분 기준으로 하여 컨텐츠에 대한 메타데이터를 구분한 시청 등급 항목(580) 및 방송 채널을 컨텐츠 구분 기준으로 하여 컨텐츠에 대한 메타데이터를 구분한 시청 등급 항목(590)으로 구분하여 컨텐츠에 대한 메타데이터를 구조화하여 저장할 수 있다. For example, as shown in FIG. 5 , the
하지만, 이는 일 예일 뿐이며, 외부 서버(400)는 메타데이터를 구성하는 다양한 컨텐츠에 대한 정보를 이용하여 메타데이터를 구조화하여 저장할 수 있음은 물론이다.However, this is only an example, and it goes without saying that the
이하에서는, 외부 서버(400)가 도 5와 같이 메타데이터를 구조화하여 저장한 경우, 제어부(320)에서 컨텐츠 검색을 위한 쿼리를 생성하는 방법을 설명하도록 한다.Hereinafter, when the
예를 들어, "재방송 프로그램 찾아줘"와 같은 텍스트 정보가 디스플레이 장치(100)로부터 수신된 경우, 제어부(320)는 "재방송 프로그램 찾아줘"에서 "재방송 프로그램"을 발화 요소로 추출할 수 있다.For example, when text information such as "Find a rebroadcast program" is received from the
이 경우, "재방송 프로그램"은 방송 타입과 관련된 발화 요소로 구조화된 메타데이터에서 매핑되는 항목은 방송 타입 항목(550)에 해당된다. 이에 따라, 제어부(320)는 구조화된 메타데이터에서 방송 타입 항목(550) 내의 컨텐츠 구분 기준의 개수를 확인한다. In this case, "rebroadcast program" is a speech element related to a broadcast type, and an item mapped in the structured metadata corresponds to the
방송 타입 항목(550)은 본방송과 재방송 즉, 2개의 컨텐츠 구분 기준으로 구분되므로, 제어부(320)는 추출된 발화 요소가 매핑되는 항목 내의 컨텐츠 구분 기준의 개수가 기설정된 개수 이하인 것으로 판단하고, 추출된 발화 요소가 검색 조건으로서 부적합한 것으로 판단할 수 있다.Since the
이와 같이, 추출된 발화 요소가 매핑되는 항목 내의 컨텐츠 구분 기준의 개수가 기설정된 개수 이하일 때 추출된 발화 요소가 검색 조건으로서 부적합한 것으로 판단하는 것은, 추출된 발화 요소만으로 컨텐츠를 검색할 경우 많은 컨텐츠가 검색되어 컨텐츠 검색의 효율성이 낮아지기 때문이다.As such, when the number of content classification criteria in the item to which the extracted utterance elements are mapped is less than or equal to a preset number, it is determined that the extracted utterance elements are inappropriate as a search condition. This is because the efficiency of content retrieval is lowered.
따라서, 제어부(320)는 기설정된 항목을 컨텐츠 검색 기준으로 추가하여 컨텐츠 검색을 위한 쿼리를 생성할 수 있다. 구체적으로, 제어부(320)는 기설정된 항목 내의 검색 조건값을 설정하고, 설정된 검색 조건값과 추출된 발화 요소를 이용하여 컨텐츠 검색을 위한 쿼리를 생성할 수 있다. Accordingly, the
여기에서, 기설정된 항목은 방송 시간 항목 및 방송 채널 항목 중 적어도 하나일 수 있다. Here, the preset item may be at least one of a broadcast time item and a broadcast channel item.
한편, 기설정된 각 항목마다 설정되는 조건값은 각 항목마다 기설정되어 있을 수 있다. 예를 들어, 방송 시간 항목의 경우 현재 시간부터 기설정된 시간(가령, 24시간) 이내에 방송되는 컨텐츠로 조건값이 기설정되어 있을 수 있고, 방송 채널 항목의 경우 사용자가 현재 시청하는 채널에서 방송되는 컨텐츠로 조건값이 기설정되어 있을 수 있다. Meanwhile, a condition value set for each preset item may be preset for each item. For example, in the case of a broadcast time item, a condition value may be preset as content that is broadcast within a preset time (eg, 24 hours) from the current time, and in the case of a broadcast channel item, the content is broadcast on the channel currently viewed by the user. A condition value may be preset as content.
이에 따라, 방송 시간 항목을 컨텐츠 검색 기준으로 추가하는 경우, 제어부(320)는 방송 시간 항목에 대해 현재 시간부터 기설정된 시간 이내에 방송되는 컨텐츠를 조건값으로 설정할 수 있다. 그리고, 제어부(320)는 방송 시간은 24시간 이내이고 방송 타입은 재방송인 컨텐츠의 검색을 위한 쿼리를 생성하고, 생성된 쿼리를 외부 서버(400)로 전송할 수 있다. Accordingly, when a broadcast time item is added as a content search criterion, the
이에 따라, 외부 서버(400)는 제2 서버(300)로부터 수신된 쿼리를 이용하여 컨텐츠 검색을 수행하고 검색 결과를 제2 서버(300)로 전송할 수 있다. 이때, 외부 서버(300)는 검색된 컨텐츠에 대한 정보(가령, 타이틀, 썸네일, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널 등 중 적어도 하나)를 검색 결과로 전송할 수 있다. 예를 들어, 현재 시간이 1월 7일 10시인 경우, 외부 서버(400)는 도 5와 같은 구조화된 메티데이터를 이용하여 검색된 컨텐츠에 대한 타이틀 정보인 Title_BBB, Title_CCC를 전송할 수 있다.Accordingly, the
다른 한편, 방송 채널 항목을 컨텐츠 검색 기준으로 추가하는 경우, 제어부(320)는 방송 채널 항목에 대해 사용자가 현재 시청하는 채널에 대한 정보를 조건값으로 설정할 수 있다. 이를 위해, 제어부(320)는 디스플레이 장치(100)에서 현재 선국된 채널에 대한 정보를 요청하여, 사용자가 현재 시청하는 채널에 대한 정보를 수신받을 수 있다. 이에 따라, 디스플레이 장치(100)에서 현재 CH22를 선국하고 있는 경우, 제어부(320)는 방송 채널은 CH22이고 방송 타입은 재방송인 컨텐츠의 검색을 위한 쿼리를 생성하고, 생성된 쿼리를 외부 서버(400)로 전송할 수 있다. On the other hand, when a broadcast channel item is added as a content search criterion, the
이에 따라, 외부 서버(400)는 제2 서버(300)로부터 수신된 쿼리를 이용하여 컨텐츠 검색을 수행하고 검색 결과를 제2 서버(300)로 전송할 수 있다. 이때, 외부 서버(300)는 검색된 컨텐츠에 대한 정보(가령, 타이틀, 썸네일, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널 등 중 적어도 하나)를 검색 결과로 전송할 수 있다. 예를 들어, 외부 서버(400)는 도 5와 같은 구조화된 메티데이터를 이용하여 검색된 컨텐츠에 대한 타이틀 정보인 Title_III를 전송할 수 있다.Accordingly, the
한편, 상술한 바와 같이, 컨텐츠 검색을 위한 추가 조건으로 방송 채널 항목 또는 방송 시간 항목을 부가하는 것은, 컨텐츠 검색을 위한 사용자의 발화 의도를 해치지 않기 위함이다. 즉, 상기의 예에서 사용자의 발화 의도는 단순히 재방송 프로그램에 대한 검색 요청이었다는 점에서, 타이틀, 출연자, 제작자, 장르 등과 같은 항목을 추가 조건으로 설정할 경우 사용자의 발화 의도를 해칠 우려가 있게 된다. 따라서, 사용자의 발화 의도를 해칠 염려가 적은 방송 채널 항목 또는 방송 시간 항목을 부가하게 되는 것이다.Meanwhile, as described above, adding a broadcast channel item or a broadcast time item as an additional condition for content search is in order not to impair the user's utterance intention for content search. That is, in the above example, since the user's utterance intention was simply a search request for a rebroadcast program, when items such as title, performer, producer, genre, etc. are set as additional conditions, there is a risk of damaging the user's utterance intention. Accordingly, a broadcast channel item or a broadcast time item, which is less likely to impair the user's utterance intention, is added.
한편, 제어부(320)는 외부 서버(400)로부터 수신된 검색 결과를 이용하여 응답 정보를 생성하고, 생성된 응답 정보를 디스플레이 장치(100)로 전송할 수 있다.Meanwhile, the
여기에서, 응답 정보는 디스플레이 장치(100)에서 출력되는 시스템 응답과 관련된 다양한 정보를 포함할 수 있다. 이 경우, 응답 정보는 사용자의 음성에 대응되는 시스템 응답을 출력하기 위한 제어 명령을 더 포함할 수 있다. Here, the response information may include various information related to a system response output from the
상술한 예와 같이, 디스플레이 장치(100)에서 "재방송 프로그램 찾아줘"를 수집한 경우, 제어부(320)는 외부 서버(400)로부터 수신된 컨텐츠에 대한 정보(가령, 타이틀, 썸네일, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널 등 중 적어도 하나)를 디스플레이 장치(100)로 전송할 수 있다. 이 경우, 제어부(320)는 컨텐츠에 대한 정보를 이용하여 컨텐츠 리스트를 출력하기 위한 제어 명령을 디스플레이 장치(100)로 전송할 수도 있다.As in the above example, when "find a rebroadcast program" is collected from the
이에 따라, 디스플레이 장치(100)는 제2 서버(300)로부터 수신된 응답 정보에 기초하여 사용자의 음성에 대응되는 시스템 응답을 출력할 수 있다. 즉, 디스플레이 장치(100)는 컨텐츠 검색을 위한 사용자의 음성에 대해, 검색된 컨텐츠에 대한 리스트를 구성된 UI 화면을 출력할 수 있다. 이 경우, 디스플레이 장치(100)는 검색된 컨텐츠에 대한 정보(가령, 타이틀, 썸네일, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널 등 중 적어도 하나)를 리스트에 부가할 수 있다. Accordingly, the
상술한 예에서, 디스플레이 장치(100)는 "재방송 프로그램 찾아줘"라는 사용자의 음성에 대해, 컨텐츠 BBB 및 컨텐츠 CCC로 구성된 리스트 또는, 컨텐츠 III로 구성된 리스트를 출력할 수 있다.In the above-described example, the
이와 같이, 본 발명의 일 실시 예에 따르면 추출된 발화 요소가 검색 조건으로서 부적합한 경우, 컨텐츠 검색 기준으로 자동으로 추가하여 컨텐츠 검색을 수행할 수 있다.As described above, according to an embodiment of the present invention, when the extracted utterance element is not suitable as a search condition, it is possible to perform a content search by automatically adding it as a content search criterion.
한편, 상술한 예에서는, 추출된 발화 요소에 매핑되는 항목이 방송 타입 항목인 경우를 설명하였으나, 이는 일 예에 불과하다. 즉, 화질 항목(570)은 HD와 SD 즉, 2개의 컨텐츠 구분 기준으로 구분되므로, 화질과 관련된 발화 요소가 추출된 경우, 추출된 발화 요소가 검색 조건으로서 부적합한 것으로 판단할 수도 있다.Meanwhile, in the above example, the case where the item mapped to the extracted speech element is a broadcast type item has been described, but this is only an example. That is, since the
또한, 상술한 예에서는 하나의 기설정된 항목을 컨텐츠 검색 기준으로 추가하는 것으로 설명하였으나, 이는 일 예에 불과하다. 즉, 제어부(320)는 복수의 기설정된 항목을 컨텐츠 검색 기준으로 추가할 수도 있다. 구체적으로, 제어부(320)는 방송 시간 항목과 방송 채널 항목 각각에 조건값을 설정하고, 설정된 복수의 조간값과 추출된 발화 요소를 이용하여 컨텐츠 검색을 위한 쿼리를 생성할 수 있다. Also, in the above example, it has been described that one preset item is added as a content search criterion, but this is only an example. That is, the
또한, 상술한 예에서는 기설정된 항목을 컨텐츠 검색 기준으로 추가하는 것으로 설명하였으나, 이는 일 예에 불과하다. 즉, 제어부(320)는 사용자 선호도 정보에 기초하여 컨텐츠 검색 기준으로 추가하는 기설정된 항목을 결정할 수도 있다. 여기에서, 사용자 선호도 정보는 사용자가 선호하는 채널, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널 중 적어도 하나를 포함할 수 있다. 이 경우, 사용자 선호도 정보는 디스플레이 장치(100)로부터 수신받을 수 있다.Also, in the above example, it has been described that a preset item is added as a content search criterion, but this is only an example. That is, the
일 예로, 사용자가 선호하는 장르가 영화인 경우를 가정한다. 이 경우, 제어부(320)는 장르 항목을 추가되는 컨텐츠 검색 기준으로 결정하고, 결정된 컨텐츠 검색 기준을 이용하여 컨텐츠 검색을 위한 쿼리를 생성할 수 있다. 즉, 상술한 예에서, 제어부(320)는 장르 항목에 대해 영화를 조건값으로 설정하고, 장르는 영화이고 방송 타입은 재방송인 컨텐츠의 검색을 위한 쿼리를 생성하고, 생성된 쿼리를 외부 서버(400)로 전송할 수 있다. 이에 따라, 외부 서버(400)는 도 5와 같은 구조화된 메티데이터를 이용하여 검색된 컨텐츠에 대한 타이틀 정보인 Title_HHH를 전송할 수 있다.As an example, it is assumed that the genre preferred by the user is a movie. In this case, the
또한, 상술한 예에서는 추출된 발화 요소가 검색 기준으로 부적합한 경우, 컨텐츠 검색 기준으로 자동으로 추가하여 컨텐츠 검색을 수행하는 것으로 설명하였으나 이는 일 예에 불과하다. 즉, 제어부(320)는 컨텐츠 검색 기준의 추가 여부를 사용자에게 문의하고, 사용자의 답변에 기초하여 컨텐츠 검색 기준의 추가 여부를 결정할 수 있다.In addition, in the above-described example, when the extracted utterance element is not suitable as the search criterion, it has been described that the content search is performed by automatically adding it as the content search criterion, but this is only an example. That is, the
구체적으로, 제어부(320)는 추출된 발화 요소가 검색 기준으로 부적합한 경우, 디스플레이 장치(100)에서 컨텐츠 검색 기준의 추가 여부에 대한 질문을 시스템 응답으로 출력하기 위한 응답 정보를 생성하여 디스플레이 장치(100)로 전송할 수 있다. Specifically, when the extracted utterance element is inappropriate as a search criterion, the
이 경우, 제어부(320)는 디스플레이 장치(100)에서 출력되는 시스템 응답을 텍스트 형식으로 표현하여 디스플레이 장치(100)로 전송할 수 있다. 예를 들어, 제어부(320)는 "말씀하신 조건은 검색하기에 부적합합니다. 방송 시간을 제안해서 검색해 드릴까요?"를 텍스트 형식으로 표현하여 디스플레이 장치(100)로 전송할 수 있다. In this case, the
이에 따라, 디스플레이 장치(100)는 제2 서버(300)로부터 수신된 응답 정보에 기초하여 컨텐츠 검색 기준의 추가 여부에 대한 질문을 시스템 응답으로 출력할 수 있다. 예를 들어, 디스플레이 장치(100)는 "말씀하신 조건은 검색하기에 부적합합니다. 방송 시간을 제안해서 검색해 드릴까요?"를 포함하는 UI 화면을 출력할 수 있다.Accordingly, the
그리고, 제어부(320)는 이후 수신된 텍스트 정보에 기초하여 컨텐츠 검색 조건을 추가하여 컨텐츠 검색을 수행할 수 있다. 가령, 제어부(320)는 "예"와 같은 텍스트 정보가 수신되면 기저장된 키워드에 기초하여 "예"라는 용어는 긍정의 의미에 해당하는 것으로 판단하고, 기설정된 항목을 컨텐츠 검색 조건으로 추가하여 컨텐츠 검색을 수행할 수 있다. 한편, 제어부(320)는 "아니요"와 같은 텍스트 정보가 수신되면 기저장된 키워드에 기초하여 "아니요"라는 용어는 부정의 의미에 해당하는 것으로 판단하고, 컨텐츠 검색 조건으로 추가함이 없이 추출된 발화 요소만을 이용하여 컨텐츠 검색을 수행할 수 있다. Then, the
또한, 상술한 예에서는 추출된 발화 요소가 검색 기준으로 부적합한 경우 컨텐츠 검색 기준으로 자동으로 추가하는 것으로 설명하였으나, 이는 일 예에 불과하다. 즉, 제어부(320)는 추출된 발화 요소에 따라 검색되는 컨텐츠가 없는 경우, 추출된 발화 요소의 일부만을 이용하여 컨텐츠 검색을 수행할 수도 있다. Also, in the above-described example, it has been described that the extracted utterance element is automatically added as a content search criterion when it is not suitable as a search criterion, but this is only an example. That is, when there is no content to be searched for according to the extracted utterance elements, the
예를 들어, "채널 7번에서 하는 모든 연령 시청 가능한 재방송 프로그램 찾아줘"와 같은 텍스트 정보가 디스플레이 장치(100)로부터 수신된 경우를 가정한다. 이 경우, 제어부(320)는 기저장된 키워드를 이용하여 "채널 7번에서 하는 모든 연령 시청 가능한 재방송 프로그램 찾아줘"와 같은 텍스트 정보에서 방송 채널과 관련된 발화 요소인 "채널 7번"이라는 용어를 추출하고, 시청 등급과 관련된 발화 요소인 "모든 연령"이라는 용어를 추출하고, 방송 타입과 관련된 발화 요소인 "재방송 프로그램"이라는 용어를 추출할 수 있다. 이에 따라, 제어부(320)는 "채널 7번에서 하는 모든 연령 시청 가능한 재방송 프로그램 찾아줘"의 발화 의도는 채널 7번에서 하는 모든 연령 시청 가능한 재방송 프로그램에 대한 검색을 요청하는 것으로 판단할 수 있다.For example, it is assumed that text information such as “Find a rebroadcast program that can be viewed by any age on
이 경우, 제어부(320)는 추출된 발화 요소를 이용하여 컨텐츠 검색을 위한 쿼리를 생성할 수 있다. 상술한 예에서, 제어부(320)는 방송 채널이 CH7이고 시청 등급이 모든 연령이고 방송 타입은 재방송인 컨텐츠의 검색을 위한 쿼리를 생성하고, 생성된 쿼리를 외부 서버(400)로 전송할 수 있다.In this case, the
하지만, 외부 서버(400)가 도 5와 같은 구조화된 메타데이터를 갖는 경우, 제2 서버(300)로부터 수신된 쿼리를 만족하는 컨텐츠는 존재하지 않는다는 점에서, 외부 서버(400)는 검색 결과가 존재하지 않는 응답을 제2 서버(300)로 전송할 수 있다.However, when the
이 경우, 제어부(320)는 추출된 발화 요소에서 일부만을 이용하여 컨텐츠 검색을 위한 쿼리를 재차 생성할 수 있다. 구체적으로, 제어부(320)는 방송 시간 타입 및 방송 채널 타입 중 적어도 하나에 대응되는 추출된 발화 요소를 제거하고, 남은 발화 요소만을 이용하여 컨텐츠 검색을 위한 쿼리를 재차 생성할 수 있다. 상술한 예에서, 제어부(320)는 방송 채널, 시청 등급, 방송 타입 중 적어도 하나에 대응되는 발화 요소를 제거하고, 남은 발화 요소를 이용하여 컨텐츠 검색을 위한 쿼리를 재차 생성할 수 있다. 즉, 제어부(320)는 방송 채널에 대한 발화 요소를 제거하고 시청 등급이 모든 연령이고 방송 타입은 재방송인 컨텐츠의 검색을 위한 쿼리를 생성하거나, 시청 등급에 대한 발화 요소를 제거하고 방송 채널이 CH7이고 방송 타입은 재방송인 컨텐츠의 검색을 위한 쿼리를 생성하거나, 또는, 방송 타입에 대한 발화 요소를 제거하고 방송 채널이 CH7이고 시청 등급이 모든 연령인 컨텐츠의 검색을 위한 쿼리를 생성할 수 있다. In this case, the
다른 한편, 제어부(320)는 기설정된 항목이 컨텐츠 검색 기준으로 추가되어 생성된 쿼리에 의해 컨텐츠 검색이 수행되지 않는 경우, 추출된 발화 요소를 이용하여 컨텐츠를 검색하기 위한 쿼리를 재생성할 수 있다. 즉, 제어부(320)는 추출된 발화 요소와 컨텐츠 검색 기준으로 추가된 검색 조건값을 모두 만족하는 컨텐츠가 존재하지 않는 경우, 추출된 발화 요소만을 이용하여 컨텐츠 검색을 위한 쿼리를 재차 생성할 수 있다. On the other hand, when a content search is not performed by a query generated by adding a preset item as a content search criterion, the
상술한 예에서, 사용자가 현재 시청하는 채널이 2번인 것으로 가정한다. 이 경우, 제어부(320)는 방송 채널은 CH2이고 방송 타입은 재방송인 컨텐츠의 검색을 위한 쿼리를 생성하고, 생성된 쿼리를 외부 서버(400)로 전송할 수 있다. In the above example, it is assumed that the channel currently watched by the user is No. In this case, the
하지만, 외부 서버(400)가 도 5와 같은 구조화된 메타데이터를 갖는 경우, 제2 서버(300)로부터 수신된 쿼리를 만족하는 컨텐츠는 존재하지 않는다는 점에서, 외부 서버(400)는 검색 결과가 존재하지 않는 응답을 제2 서버(300)로 전송할 수 있다. 이 경우, 제어부(320)는 추출된 발화 요소만을 이용하여 컨텐츠 검색을 위한 쿼리를 재차 생성할 수 있다. 즉, 상술한 예에서, 제어부(320)는 방송 타입이 재방송인 컨텐츠의 검색을 위한 쿼리를 생성하고, 생성된 쿼리를 외부 서버(400)로 전송할 수 있다. However, when the
도 6는 도 4에 도시된 제2 서버의 세부 구성을 설명하기 위한 블록도이다. 도 6에 따르면, 제2 서버(300)는 도 4에 도시된 구성요소 외에 저장부(330)를 더 포함할 수 있다. 한편, 도 6에 도시된 구성요소들 중 도 4에 도시된 구성요소와 중복되는 구성요소들은 그 기능이 동일하므로 자세한 설명은 생략하도록 한다.FIG. 6 is a block diagram illustrating a detailed configuration of the second server shown in FIG. 4 . Referring to FIG. 6 , the
저장부(330)는 각 항목 내의 컨텐츠 구분 기준에 대한 정보를 저장할 수 있다. 즉, 저장부(330)는 외부 서버(400)에 저장된 구조화된 메타데이터의 각 항목 및 각 항목을 구분하는 컨텐츠 구분 기준에 대한 정보를 저장할 수 있다. 이에 따라, 제어부(320)는 컨텐츠 구분 기준에 대한 정보에 기초하여 추출된 발화 요소에 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하인지 여부를 판단할 수 있다.The
또한, 저장부(330)는 디스플레이 장치(100)로부터 수신된 텍스트 정보를 이용하여 사용자의 발화 의도를 판단하기 위한 다양한 정보를 저장할 수 있다.Also, the
구체적으로, 저장부(330)는 디스플레이 장치(100)로부터 수신된 텍스트 정보를 이용하여, 사용자의 음성에서 목적 영역(domain), 목적 기능(user action), 주요 특징(slot) 등을 분석하기 위한 다양한 정보를 저장할 수 있다.Specifically, the
여기에서, 목적 영역은 "방송", "기기 제어" 등과 같이 사용자가 발화한 음성이 속하는 주제에 따라 구분될 수 있다. 그리고, 목적 기능은 "정보 출력", "기기 제어" 등과 같이 사용자의 발화 의도를 나타내며, 주요 특징은 목적 영역에 대한 개체 정보 즉, 목적 영역에서 의도하는 사용자의 발화 의도를 구체화할 수 있는 정보를 나타낸다. Here, the target area may be divided according to a subject to which the user's voice belongs, such as "broadcasting" and "device control". In addition, the target function indicates the user's intention to speak, such as "information output" and "device control", and the main feature is object information about the target area, that is, information that can materialize the user's intention to speak in the target area. indicates.
구체적으로, 저장부(330)는 목적 영역에서 목적 기능을 분석하고 주요 특징을 추출하기 위한 키워드를 저장할 수 있다. Specifically, the
예를 들어, 저장부(330)는 방송 목적 영역에서 "추천해줘", "검색해줘", "찾아줘", "보여줘" 등과 같은 키워드는 목적 기능이 정보 검색에 대한 요청에 해당하고, 컨텐츠의 타이틀, 출연자, 제작자, 장르, 방송 타입, 방송 시간, 화질, 시청 등급, 방송 채널 등과 같이 컨텐츠와 관련되는 다양한 키워드를 저장하고, 각 키워드는 주요 특징에 해당한다는 정보를 저장할 수 있다. 구체적인 일 예로, "재방송 프로그램"이라는 용어는 방송 타입과 관련된 키워드이고, 이는 주요 특징에 해당한다는 정보를 저장할 수 있다.For example, in the
다른 예로, 저장부(330)는 기기 제어 목적 영역에서 "틀어줘", "높여줘", "낮춰줘", "꺼줘", "실행해줘" 등과 같은 키워드는 목적 기능이 기기 제어에 대한 요청에 해당하고, 채널명, 채널 번호, 볼륨, 전원 등과 같이 기기 제어와 관련된 다양한 키워드를 저장하고, 각 키워드는 주요 특징에 해당한다는 정보를 저장할 수 있다.As another example, in the
또 다른 예로, 저장부(330)는 각 목적 영역에서 "예", "그래" 등과 같은 용어는 긍정의 의미를 갖는 키워드이고, "아니요", "싫어" 등과 같은 용어는 부정의 의미를 갖는 키워드에 해당한다는 정보를 저장할 수 있다.As another example, in the
또한, 저장부(330)는 말뭉치(corpus) 데이터베이스를 구비할 수 있다. 여기에서, 말뭉치 데이터베이스는 예문 및 그에 대한 답변을 저장하는 형태로 구현될 수 있다. Also, the
즉, 저장부(330)는 각 목적 영역별로 복수의 예문 및 각 예문에 대한 답변을 저장할 수 있다. 이 경우, 저장부(330)는 예문을 해석하기 위한 및 예문에 대응되는 답변을 각 예문마다 태깅(tagging)하여 저장할 수 있다.That is, the
예를 들어, 저장부(330)는 방송 목적 영역에서 "재방송 프로그램 찾아줘"라는 예문을 저장할 수 있다. 이 경우, 저장부(330)는 "재방송 프로그램 찾아줘"와 같은 예문을 해석하기 위한 정보를 해당 예문에 태깅하여 저장할 수 있다. 구체적으로, 저장부(330)는 "재방송 프로그램 찾아줘"와 같은 예문에서 "재방송 프로그램"은 주요 특징으로 방송 타입을 나타내며, "찾아줘"는 컨텐츠에 대한 검색 요청을 나타낸다는 정보를 해당 예문에 태깅하여 저장할 수 있다. For example, the
다른 예로, 저장부(330)는 기기 제어 목적 영역에서 "○번 틀어줘"와 같은 예문을 저장할 수 있다. 이 경우, 저장부(330)는 "○번 틀어줘"와 같은 예문을 해석하기 위한 정보를 해당 예문에 태깅하여 저장할 수 있다. 구체적으로, 저장부(330)는 "○번 틀어줘"와 같은 예문에서 "○번"은 주요 특징으로 채널 번호를 나타내며, "틀어줘"는 전원 오프 요청을 나타내는 정보를 해당 예문에 태깅하여 저장할 수 있다. As another example, the
이에 따라, 제어부(320)는 저장부(330)에 저장된 정보를 이용하여 디스플레이 장치(100)로부터 수신된 텍스트 정보에서 발화 요소를 추출하고, 이를 이용하여 사용자의 발화 의도를 판단할 수 있다. Accordingly, the
예를 들어, "재방송 프로그램 찾아줘"와 같은 텍스트 정보가 디스플레이 장치(100)로부터 수신된 경우를 가정한다. 이 경우, 제어부(320)는 "재방송 프로그램"이라는 용어는 방송 타입과 관련된 주요 특징이라는 점에서, "재방송 프로그램 찾아줘"에서 "재방송 프로그램"를 발화 요소로 추출할 수 있다. 그리고, 제어부(320)는 "추천해줘"는 목적 기능에서 정보 검색 요청에 해당하는 것으로 판단하고, "재방송 프로그램 찾아줘"의 발화 의도는 재방송 프로그램에 대한 검색을 요청하는 것으로 판단할 수 있다. 이 경우, 제어부(320)는 사용자의 음성이 검색이 부적합한 것으로 판단하고, 검색 조건을 추가하여 컨텐츠 검색을 위한 쿼리를 생성하여 외부 서버(400)로 전송할 수 있다. 그리고, 제어부(320)는 디스플레이 장치(100)에서 "재방송 프로그램 찾아줘"에 대응되는 시스템 응답을 출력하기 위한 응답 정보를 디스플레이 장치(100)로 전송할 수 있다. For example, it is assumed that text information such as “find a rebroadcast program” is received from the
다른 예로, "○번 틀어줘"와 같은 텍스트 정보가 디스플레이 장치(100)로부터 수신된 경우를 가정한다. 이 경우, 제어부(320)는 "○번"라는 용어는 채널 번호와 관련된 주요 특징이라는 점에서, "○번 틀어줘"에서 "○번"을 발화 요소로 추출할 수 있다. 그리고, 제어부(320)는 "틀어줘"는 목적 기능에서 채널 변경 요청에 해당하는 것으로 판단하고, "○번 틀어줘"의 발화 의도는 ○번으로 채널 변경 요청인 것으로 판단할 수 있다. 이 경우, 제어부(320)는 디스플레이 장치(100)가 채널을 ○번으로 변경하기 위한 제어 명령을 디스플레이 장치(100)로 전송할 수 있다.As another example, it is assumed that text information such as “play ○ times” is received from the
도 7은 본 발명의 일 실시 예에 따른 컨텐츠 검색 기준을 추가하는 방법의 일 예를 설명하기 위한 도면이다.7 is a diagram for explaining an example of a method of adding a content search criterion according to an embodiment of the present invention.
한편, 컨텐츠 검색 기준을 추가하는 방법에 대해서는 도 4 내지 도 6에서 구체적으로 설명한바 있다는 점에서, 본 도면에서는 개략적으로 설명하도록 한다.Meanwhile, since the method of adding the content search criteria has been described in detail with reference to FIGS. 4 to 6 , it will be schematically described in this drawing.
제2 서버(300)는 사용자의 음성에 대응되는 텍스트 정보가 수신되면(S710), 사용자의 음성에서 발화 요소를 추출한다(S720). 그리고, 제2 서버(300)는 추출된 발화 요소의 검색 속성의 유효성을 판단한다(S730). 구체적으로, 제2 서버(300)는 추출된 발화 요소가 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하인지 여부에 기초하여 추출된 발화 요소의 검색 속성의 유효성을 판단할 수 있다.When text information corresponding to the user's voice is received (S710), the
이에 따라, 추출된 발화 요소가 검색 조건으로 적합한 것으로 판단되면(S730-Y), 제2 서버(300)는 추출된 발화 요소를 이용하여 컨텐츠 검색을 위한 쿼리를 생성하고, 생성된 쿼리를 정보 소스 즉, 외부 서버(400)로 전송할 수 있다. Accordingly, when it is determined that the extracted speech element is suitable as the search condition (S730-Y), the
한편, 추출된 발화 요소가 검색 조건으로 부적합한 것으로 판단되면(S730-N), 컨텐츠 검색 기준으로 추가할 항목을 판단할 수 있다(S740). 이 경우, 제2 서버(300)는 컨텐츠 검색 기준을 추가할지 여부를 사용자에게 문의하기 위한 질문을 생성하고(S750), 생성된 질문을 디스플레이 장치(100)를 통해 사용자에게 제공할 수도 있다. 그리고, 질문에 대한 답변에 기초하여, 컨텐츠 검색 기준을 추출된 발화 요소에 부가하거나, 추출된 발화 요소만으로 컨텐츠 검색을 위한 쿼리를 생성하고, 생성된 쿼리를 정보 소스 즉, 외부 서버(400)로 전송할 수 있다. Meanwhile, if it is determined that the extracted utterance element is not suitable as a search condition (S730-N), it is possible to determine an item to be added as a content search criterion (S740). In this case, the
도 8 내지 도 9는 본 발명의 일 실시 예에 따라 디스플레이 장치에서 제공되는 UI 화면의 일 예를 도시한 도면들이다.8 to 9 are diagrams illustrating an example of a UI screen provided by a display device according to an embodiment of the present invention.
예를 들어, 도 8(a)와 같이, 사용자가 "재방송 프로그램 찾아줘"라고 발화한 경우를 가정한다.For example, it is assumed that the user utters "find a rebroadcast program" as shown in FIG. 8(a).
이 경우, 디스플레이 장치(100)는 도 8(b)와 같이, 제2 서버(300)로부터 수신된 응답 정보에 기초하여, 컨텐츠에 대한 리스트를 포함하는 UI 화면(810)을 디스플레이할 수 있다. 이 경우, 컨텐츠에 대한 리스트는 방송 시간 및 방송 채널 중 적어도 하나가 컨텐츠 검색 기준으로 추가되어 검색된 컨텐츠에 대한 리스트일 수 있다.In this case, the
한편, 도 9(a)와 같이, 사용자가 "재방송 프로그램 찾아줘"라고 발화한 경우를 가정한다.Meanwhile, it is assumed that the user utters "find a rebroadcast program" as shown in FIG. 9( a ).
이 경우, 디스플레이 장치(100)는 도 9(b)와 같이 제2 서버(300)로부터 수신된 응답 정보에 기초하여, 컨텐츠 검색 기준의 추가 여부를 문의하기 위한 UI 화면(910)을 디스플레이할 수 있다. 이에 따라, 도 9(c)와 같이, 사용자가 "예"라고 발화하면, 디스플레이 장치(100)는 제2 서버(300)로부터 수신된 응답 정보에 기초하여, 컨텐츠에 대한 리스트를 포함하는 UI 화면(920)을 디스플레이할 수 있다. 이 경우, 컨텐츠에 대한 리스트는 방송 시간이 컨텐츠 검색 기준으로 추가되어 검색된 컨텐츠에 대한 리스트일 수 있다.In this case, the
도 10은 본 발명의 일 실시 예에 따른 서버의 제어 방법을 설명하기 위한 흐름도이다. 10 is a flowchart illustrating a method for controlling a server according to an embodiment of the present invention.
먼저, 디스플레이 장치에서 수집한 사용자의 음성에 대응되는 텍스트 정보를 디스플레이 장치로부터 수신한다(S1010).First, text information corresponding to the user's voice collected by the display apparatus is received from the display apparatus (S1010).
이후, 텍스트 정보로부터 발화 요소를 추출하고, 추출된 발화 요소를 이용하여 컨텐츠를 검색하기 위한 쿼리를 생성한다(S1020). Thereafter, a utterance element is extracted from the text information, and a query for searching content is generated using the extracted utterance element (S1020).
구체적으로, 추출된 발화 요소에 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하이면, 기설정된 항목을 컨텐츠 검색 기준으로 추가하여 쿼리를 생성한다.Specifically, if the content classification criteria in the items corresponding to the extracted utterance elements are less than or equal to the preset number, the query is generated by adding the preset items as the content search criteria.
여기에서, 컨텐츠 구분 기준이 기설정된 개수 이하인 항목은 방송 타입 항목 및 화질 항목 중 적어도 하나일 수 있다. 또한, 기설정된 항목은, 방송 시간 항목 및 방송 채널 항목 중 적어도 하나일 수 있다.Here, the item for which the content classification criterion is less than or equal to a preset number may be at least one of a broadcast type item and a quality item. Also, the preset item may be at least one of a broadcast time item and a broadcast channel item.
이를 위해, 기저장된 컨텐츠 구분 기준에 대한 정보에 기초하여 추출된 발화 요소에 대응되는 항목 내의 컨텐츠 구분 기준이 기설정된 개수 이하인지 여부를 판단할 수 있다.To this end, it may be determined whether the number of content classification criteria in the item corresponding to the extracted utterance element is less than or equal to a preset number based on the pre-stored information on the content classification criterion.
또한, 사용자 선호도 정보에 기초하여 컨텐츠 검색 기준으로 추가하는 상기 기설정된 항목을 결정할 수도 있다.Also, the preset item to be added as a content search criterion may be determined based on user preference information.
한편, 기설정된 항목이 컨텐츠 검색 기준으로 추가되어 생성된 쿼리에 의해 컨텐츠 검색이 수행되지 않는 경우, 추출된 발화 요소를 이용하여 컨텐츠를 검색하기 위한 쿼리를 재생성할 수 있다.Meanwhile, when a content search is not performed by a query generated by adding a preset item as a content search criterion, a query for searching content may be regenerated using the extracted speech element.
그리고, 생성된 쿼리를 컨텐츠에 대한 메타데이터를 항목 별로 구분하여 저장하는 외부 서버로 전송한다(S1030).Then, the generated query is transmitted to an external server that classifies and stores metadata for content by item (S1030).
이에 대해서는, 기설정된 항목 또는, 사용자 선호도 정보 등을 고려하여 쿼리를 생성하는 방법에 대해서는 도 1 내지 도 9에서 상술한바 있다.In this regard, a method of generating a query in consideration of a preset item or user preference information has been described above with reference to FIGS. 1 to 9 .
또한, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다. In addition, a non-transitory computer readable medium in which a program for sequentially performing the control method according to the present invention is stored may be provided.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.The non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device. Specifically, the above-described various applications or programs may be provided by being stored in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
또한, 디스플레이 장치 및 서버에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 디스플레이 장치 및 서버에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다. In addition, although a bus is not shown in the above block diagram of the display device and the server, communication between the respective components in the display device and the server may be made through the bus. In addition, each device may further include a processor such as a CPU or a microprocessor that performs the various steps described above.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims In addition, various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
300 : 제2 서버 310 : 통신부
320 : 제어부300: second server 310: communication unit
320: control unit
Claims (20)
디스플레이부;
신호 수신부;
음성 수신부; 및
상기 신호 수신부를 통해 수신한 신호에 기초한 컨텐츠를 상기 디스플레이부에 출력하는 동안 상기 음성 수신부를 통해 사용자 음성 입력을 수신하고,
상기 수신된 사용자 음성 입력에 대응되는 결과 화면을 위해 상기 컨텐츠에 대응되는 정보를 이용하는 경우, 상기 사용자 음성 입력 및 상기 컨텐츠에 대응되는 정보에 기초한 제1 리스트를 출력하도록 상기 디스플레이부를 제어하고,
상기 수신된 사용자 음성 입력에 대응되는 결과 화면을 위해 상기 컨텐츠에 대응되는 정보를 이용하지 않는 경우, 상기 사용자 음성 입력에 기초한 제2 리스트를 출력하도록 상기 디스플레이부를 제어하는 프로세서;를 포함하는 디스플레이 장치.In the display device,
display unit;
signal receiving unit;
voice receiver; and
receiving a user voice input through the voice receiving unit while outputting content based on the signal received through the signal receiving unit to the display unit;
When the information corresponding to the content is used for the result screen corresponding to the received user voice input, the display unit is controlled to output a first list based on the information corresponding to the user voice input and the content,
and a processor controlling the display unit to output a second list based on the user voice input when the information corresponding to the content is not used for the result screen corresponding to the received user voice input.
상기 컨텐츠에 대응되는 정보는, 컨텐츠 채널에 대한 정보를 포함하고,
상기 프로세서는,
상기 사용자 음성 입력에 대응되는 결과 화면을 위해 상기 컨텐츠에 대응되는 정보를 이용 하는 경우, 상기 사용자 음성 입력 및 상기 컨텐츠 채널에 대한 정보에 기초한 상기 제1 리스트를 출력하는, 디스플레이 장치.According to claim 1,
The information corresponding to the content includes information on a content channel,
The processor is
When the information corresponding to the content is used for the result screen corresponding to the user voice input, the display device outputs the first list based on the information on the user voice input and the content channel.
상기 제1 리스트는,
상기 컨텐츠에 대응되는 컨텐츠 채널에서 제공되는 복수의 컨텐츠 프로그램을 포함하는, 디스플레이 장치.3. The method of claim 2,
The first list is
A display device comprising a plurality of content programs provided from a content channel corresponding to the content.
상기 제1 리스트는,
상기 복수의 컨텐츠 프로그램에 대응되는 복수의 썸네일을 포함하는, 디스플레이 장치.4. The method of claim 3,
The first list is
A display device comprising a plurality of thumbnails corresponding to the plurality of content programs.
상기 프로세서는,
상기 제1 및 제2 리스트 중 하나를 상기 컨텐츠에 오버랩하여 출력하는, 디스플레이 장치.According to claim 1,
The processor is
and outputting one of the first and second lists while overlapping the content.
상기 제1 리스트에 포함된 컨텐츠는, 상기 제2 리스트에 포함된 컨텐츠와 상이한, 디스플레이 장치.According to claim 1,
The content included in the first list is different from the content included in the second list.
상기 프로세서는,
상기 사용자 음성 입력에 대응되는 결과 화면을 위해 상기 컨텐츠에 대응되는 정보를 이용 하는 경우, 통신부를 통해 서버로 전송한 상기 사용자 음성 입력 및 상기 컨텐츠에 대응되는 정보에 기초한 상기 제1 리스트에 대응되는 데이터를 상기 서버로부터 수신하는, 디스플레이 장치.According to claim 1,
The processor is
When the information corresponding to the content is used for the result screen corresponding to the user's voice input, data corresponding to the first list based on the information corresponding to the user's voice input and the content transmitted to the server through the communication unit Receiving from the server, the display device.
사용자 음성 입력에 대응되는 결과 화면을 위해 상기 컨텐츠에 대응되는 정보를 이용하는 경우는, 상기 사용자 음성 입력에 기초하여 컨텐츠를 검색할 경우 기설정된 개수 이상의 복수의 컨텐츠가 검색되는 경우인, 디스플레이 장치. According to claim 1,
When the information corresponding to the content is used for the result screen corresponding to the user's voice input, when a plurality of content equal to or greater than a preset number are searched for when the content is searched based on the user's voice input.
상기 프로세서는,
상기 사용자 음성 입력에 대응되는 결과 화면을 위해 상기 컨텐츠에 대응되는 정보를 이용하는 경우, 상기 컨텐츠에 대응되는 정보를 더 고려한 결과 화면을 제공받을 것인지를 문의하는 UI를 출력하고,
상기 UI가 출력되는 동안 수신된 후속 사용자 음성 입력에 기초하여, 상기 사용자 음성 입력 및 상기 컨텐츠에 대응되는 정보에 기초한 제1 리스트 및 상기 사용자 음성 입력에 기초한 제2 리스트 중 하나를 출력하는, 디스플레이 장치.According to claim 1,
The processor is
When the information corresponding to the content is used for the result screen corresponding to the user's voice input, a UI inquiring whether to receive a result screen in consideration of the information corresponding to the content is output,
A display device configured to output one of a first list based on information corresponding to the user voice input and the content and a second list based on the user voice input based on a subsequent user voice input received while the UI is being output. .
상기 제1 및 제2 리스트에 대한 정보는, LAN(Local Area Network), 이더넷(ethernet) 및 와이파이(Wifi) 중 하나를 통해 서버로부터 수신하는, 디스플레이 장치.According to claim 1,
The information on the first and second lists is received from a server through one of a local area network (LAN), ethernet and Wi-Fi, a display device.
컨텐츠를 출력하는 동안 사용자 음성 입력을 수신하는 단계; 및
상기 수신된 사용자 음성 입력에 대응되는 결과 화면을 위해 상기 컨텐츠에 대응되는 정보를 이용하는 경우, 상기 사용자 음성 입력 및 상기 컨텐츠에 대응되는 정보에 기초한 제1 리스트를 출력하고,
상기 수신된 사용자 음성 입력에 대응되는 결과 화면을 위해 상기 컨텐츠에 대응되는 정보를 이용하지 않는 경우, 상기 사용자 음성 입력에 기초한 제2 리스트를 출력하는 단계;를 포함하는 디스플레이 장치의 제어 방법.A method for controlling a display device, comprising:
receiving a user voice input while outputting content; and
When the information corresponding to the content is used for the result screen corresponding to the received user voice input, a first list is output based on the information corresponding to the user voice input and the content,
and outputting a second list based on the user's voice input when the information corresponding to the content is not used for the result screen corresponding to the received user's voice input.
상기 컨텐츠에 대응되는 정보는, 컨텐츠 채널에 대한 정보를 포함하고,
상기 제1 리스트를 출력하는 단계는,
상기 사용자 음성 입력에 대응되는 결과 화면을 위해 상기 컨텐츠에 대응되는 정보를 이용하는 경우, 상기 사용자 음성 입력 및 상기 컨텐츠 채널에 대한 정보에 기초한 상기 제1 리스트를 출력하는, 디스플레이 장치의 제어 방법.12. The method of claim 11,
The information corresponding to the content includes information on a content channel,
The step of outputting the first list comprises:
When the information corresponding to the content is used for the result screen corresponding to the user voice input, the control method of the display apparatus, outputting the first list based on the information on the user voice input and the content channel.
상기 제1 리스트는,
상기 컨텐츠에 대응되는 컨텐츠 채널에서 제공되는 복수의 컨텐츠 프로그램을 포함하는, 디스플레이 장치의 제어 방법.13. The method of claim 12,
The first list is
A method of controlling a display device, comprising a plurality of content programs provided from a content channel corresponding to the content.
상기 제1 리스트는,
상기 복수의 컨텐츠 프로그램에 대응되는 복수의 썸네일을 포함하는, 디스플레이 장치의 제어 방법.14. The method of claim 13,
The first list is
A method of controlling a display device, comprising a plurality of thumbnails corresponding to the plurality of content programs.
상기 제1 리스트를 출력하는 단계는,
상기 제1 리스트를 상기 컨텐츠에 오버랩하여 출력하는 단계;를 포함하고,
상기 제2 리스트를 출력하는 단계는,
상기 제2 리스트를 상기 컨텐츠에 오버랩하여 출력하는 단계;를 포함하는, 디스플레이 장치의 제어 방법.12. The method of claim 11,
The step of outputting the first list comprises:
Including; outputting the first list overlapped with the content;
Outputting the second list comprises:
and outputting the second list overlapping the content.
상기 제1 리스트에 포함된 컨텐츠는, 상기 제2 리스트에 포함된 컨텐츠와 상이한, 디스플레이 장치의 제어 방법.12. The method of claim 11,
The content included in the first list is different from the content included in the second list.
상기 사용자 음성 입력에 대응되는 결과 화면을 위해 상기 컨텐츠에 대응되는 정보를 이용하는 경우, 서버로 전송한 상기 사용자 음성 입력 및 상기 컨텐츠에 대응되는 정보에 기초한 상기 제1 리스트에 대응되는 데이터를 상기 서버로부터 수신하는 단계;를 더 포함하는, 디스플레이 장치의 제어 방법.12. The method of claim 11,
When the information corresponding to the content is used for the result screen corresponding to the user's voice input, data corresponding to the first list based on the information corresponding to the user's voice input and the content transmitted to the server is transmitted from the server. Receiving; further comprising, the control method of the display device.
사용자 음성 입력에 대응되는 결과 화면을 위해 상기 컨텐츠에 대응되는 정보를 이용하는 경우는, 상기 사용자 음성 입력에 기초하여 컨텐츠를 검색할 경우 기설정된 개수 이상의 복수의 컨텐츠가 검색되는 경우인, 디스플레이 장치의 제어 방법.12. The method of claim 11,
When the information corresponding to the content is used for the result screen corresponding to the user's voice input, when the content is searched based on the user's voice input, a plurality of content equal to or greater than a preset number is retrieved. Control of the display device Way.
상기 제1 리스트를 출력하는 단계는,
상기 컨텐츠에 대응되는 정보를 더 고려한 결과 화면을 제공받을 것인지를 문의하는 UI를 출력하는 단계; 및
상기 UI가 출력되는 동안 수신된 후속 사용자 음성 입력에 기초하여, 상기 사용자 음성 입력 및 상기 컨텐츠에 대응되는 정보에 기초한 상기 제1 리스트를 출력하는 단계;를 포함하는, 디스플레이 장치의 제어 방법.12. The method of claim 11,
The step of outputting the first list comprises:
outputting a UI inquiring whether to receive a screen as a result of further consideration of information corresponding to the content; and
and outputting the first list based on information corresponding to the user voice input and the content based on a subsequent user voice input received while the UI is being output.
상기 제1 및 제2 리스트에 대한 정보는, LAN(Local Area Network), 이더넷(ethernet) 및 와이파이(Wifi) 중 하나를 통해 서버로부터 수신하는, 디스플레이 장치의 제어 방법.
12. The method of claim 11,
The information on the first and second lists is received from a server through one of a local area network (LAN), ethernet and Wi-Fi, a control method of a display device.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200154914A KR102265406B1 (en) | 2020-05-27 | 2020-11-18 | Server and method for comtrolling the server |
KR1020210074953A KR102379049B1 (en) | 2020-11-18 | 2021-06-09 | Server and method for comtrolling the server |
KR1020220035383A KR102456114B1 (en) | 2020-11-18 | 2022-03-22 | Server and method for comtrolling the server |
KR1020220131627A KR102587051B1 (en) | 2020-11-18 | 2022-10-13 | Server and method for comtrolling the server |
KR1020230131913A KR102667446B1 (en) | 2023-10-04 | Server and method for comtrolling the server |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200063911A KR102182689B1 (en) | 2020-05-27 | 2020-05-27 | Server and method for comtrolling the server |
KR1020200154914A KR102265406B1 (en) | 2020-05-27 | 2020-11-18 | Server and method for comtrolling the server |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200063911A Division KR102182689B1 (en) | 2020-05-27 | 2020-05-27 | Server and method for comtrolling the server |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210074953A Division KR102379049B1 (en) | 2020-11-18 | 2021-06-09 | Server and method for comtrolling the server |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200133697A KR20200133697A (en) | 2020-11-30 |
KR102265406B1 true KR102265406B1 (en) | 2021-06-16 |
Family
ID=73642106
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200154914A KR102265406B1 (en) | 2020-05-27 | 2020-11-18 | Server and method for comtrolling the server |
KR1020210074953A KR102379049B1 (en) | 2020-11-18 | 2021-06-09 | Server and method for comtrolling the server |
KR1020220035383A KR102456114B1 (en) | 2020-11-18 | 2022-03-22 | Server and method for comtrolling the server |
KR1020220131627A KR102587051B1 (en) | 2020-11-18 | 2022-10-13 | Server and method for comtrolling the server |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210074953A KR102379049B1 (en) | 2020-11-18 | 2021-06-09 | Server and method for comtrolling the server |
KR1020220035383A KR102456114B1 (en) | 2020-11-18 | 2022-03-22 | Server and method for comtrolling the server |
KR1020220131627A KR102587051B1 (en) | 2020-11-18 | 2022-10-13 | Server and method for comtrolling the server |
Country Status (1)
Country | Link |
---|---|
KR (4) | KR102265406B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080103780A1 (en) | 2006-10-31 | 2008-05-01 | Dacosta Behram Mario | Speech recognition for internet video search and navigation |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9201923B2 (en) * | 2005-10-04 | 2015-12-01 | Robert Bosch Corporation | Method and apparatus for organizing and optimizing content in dialog systems |
KR101789619B1 (en) * | 2010-11-22 | 2017-10-25 | 엘지전자 주식회사 | Method for controlling using voice and gesture in multimedia device and multimedia device thereof |
KR20120060692A (en) * | 2010-12-02 | 2012-06-12 | 삼성전자주식회사 | Display apparatus and contents searching method |
-
2020
- 2020-11-18 KR KR1020200154914A patent/KR102265406B1/en active IP Right Grant
-
2021
- 2021-06-09 KR KR1020210074953A patent/KR102379049B1/en active IP Right Grant
-
2022
- 2022-03-22 KR KR1020220035383A patent/KR102456114B1/en active IP Right Grant
- 2022-10-13 KR KR1020220131627A patent/KR102587051B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080103780A1 (en) | 2006-10-31 | 2008-05-01 | Dacosta Behram Mario | Speech recognition for internet video search and navigation |
Also Published As
Publication number | Publication date |
---|---|
KR102379049B1 (en) | 2022-03-28 |
KR20220042092A (en) | 2022-04-04 |
KR20220145302A (en) | 2022-10-28 |
KR20210071924A (en) | 2021-06-16 |
KR102456114B1 (en) | 2022-10-19 |
KR102587051B1 (en) | 2023-10-10 |
KR20200133697A (en) | 2020-11-30 |
KR20230146496A (en) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11700409B2 (en) | Server and method for controlling server | |
EP2752846A1 (en) | Dialogue-type interface apparatus and method for controlling the same | |
KR101309794B1 (en) | Display apparatus, method for controlling the display apparatus and interactive system | |
US20140195244A1 (en) | Display apparatus and method of controlling display apparatus | |
US20140195230A1 (en) | Display apparatus and method for controlling the same | |
JP2014132756A (en) | Display apparatus and control method therefor | |
KR102265406B1 (en) | Server and method for comtrolling the server | |
KR102667446B1 (en) | Server and method for comtrolling the server | |
KR102182689B1 (en) | Server and method for comtrolling the server | |
KR102118195B1 (en) | Server and method for comtrolling the server | |
KR20240077476A (en) | Server and method for comtrolling the server |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |