KR101248844B1 - 방송콘텐츠의 부가정보 제공 방법 및 그 시스템 - Google Patents

방송콘텐츠의 부가정보 제공 방법 및 그 시스템 Download PDF

Info

Publication number
KR101248844B1
KR101248844B1 KR1020110073412A KR20110073412A KR101248844B1 KR 101248844 B1 KR101248844 B1 KR 101248844B1 KR 1020110073412 A KR1020110073412 A KR 1020110073412A KR 20110073412 A KR20110073412 A KR 20110073412A KR 101248844 B1 KR101248844 B1 KR 101248844B1
Authority
KR
South Korea
Prior art keywords
voice feature
additional information
broadcast content
information
feature data
Prior art date
Application number
KR1020110073412A
Other languages
English (en)
Other versions
KR20130012306A (ko
Inventor
조영봉
김도형
Original Assignee
주식회사 아이플래테아코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이플래테아코리아 filed Critical 주식회사 아이플래테아코리아
Priority to KR1020110073412A priority Critical patent/KR101248844B1/ko
Priority to CN201280034697.3A priority patent/CN103748887B/zh
Priority to US14/129,968 priority patent/US9301006B2/en
Priority to EP12817169.1A priority patent/EP2739060A4/en
Priority to PCT/KR2012/005468 priority patent/WO2013015546A2/ko
Publication of KR20130012306A publication Critical patent/KR20130012306A/ko
Application granted granted Critical
Publication of KR101248844B1 publication Critical patent/KR101248844B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2542—Management at additional data server, e.g. shopping server, rights management server for selling goods, e.g. TV shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6187—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a telephone network, e.g. POTS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Abstract

본 발명은 방송콘텐츠의 부가정보 제공 방법 및 그 시스템에 관한 것으로서, 보다 상세하게는 텔레비전을 통하여 디스플레이되는 방송콘텐츠에 상응하는 부가정보를 별도의 시청자단말기로 제공하는 방법 및 그 시스템에 관한 것이다. 본 발명에 따른 방송콘텐츠의 부가정보 제공 방법은 음성특징추출서버에서 수행되고, 방송콘텐츠의 오디오특징데이터를 추출하여 미리 설정된 단위로 그룹화한 음성특징정보를 구비된 저장 공간에 저장하는 단계 및 저장된 하나 이상의 음성특징정보 중 시청자단말기로부터 수신된 음성특징데이터에 상응하는 음성특징정보를 검출하여 시청자단말기로 전송하는 단계를 포함하되, 시청자단말기는 입력된 오디오신호에서 미리 설정된 방법에 따라 음성특징데이터를 추출하여 음성특징추출서버로 전송하고, 수신된 음성특징정보에서 음성특징데이터에 대응되는 시간적위치를 판단하며, 시간적위치에 상응하는 부가정보를 디스플레이하는 것을 특징으로 한다. 본 발명에 따르면, 시청자가 시청 중인 콘텐츠에 대한 부가정보를 당해 콘텐츠가 디스플레이되고 있는 단말기와 별도의 단말기로 전송할 수 있고. 방송콘텐츠의 부가정보 제공 시스템의 부하를 최소화할 수 있으며, 네크워크 대역 소모를 최소화할 수 있다.

Description

방송콘텐츠의 부가정보 제공 방법 및 그 시스템{Method for providing additional information of broadcasting contents and system thereof}
본 발명은 방송콘텐츠의 부가정보 제공 방법 및 그 시스템에 관한 것으로서, 보다 상세하게는 텔레비전을 통하여 디스플레이되는 방송콘텐츠에 상응하는 부가정보를 별도의 시청자단말기로 제공하는 방법 및 그 시스템에 관한 것이다.
오늘날 디지털 기술의 발달로 텔레비전(TV)이 점차 디지털화되고 있고(기존 아날로그 텔레비전에서 디지털 텔레비전으로 교체되고 있음), 한편으론 별도의 망을 통해 서로 다른 특성의 콘텐츠를 제공하던 방송과 통신의 융합이 가속화되고 있다. 즉, 일 방향의 아날로그 방송에서 시청자인 시청자와 대화하는 양방향성의 디지털 방송으로 그 주도권이 넘어가고 있다. 또한, 이동식 멀티미디어 방송(DMB, Digital Multimedia Broadcasting), 인터넷 등을 통하여 방송콘텐츠가 제공되는 등 시청자가 방송콘텐츠를 이용할 수 있는 방법도 다양해지고 있다.
이와 더불어, 텔레비전을 매체로 전자상거래가 구현되는 티-커머스(T-commerce)가 상용화되고 있고, 방송콘텐츠를 통하여 노출되는 각종 상품, 장소 등에 대한 부가정보들이 실시간으로 시청자에게 제공되고 있다. 즉, 시청자는 텔레비전을 통하여 각종 상품을 구매하거나 금융업무를 수행할 수 있고, 시청 중인 방송콘텐츠에서 노출되는 상품, 장소 등에 대한 정보를 실시간으로 인식할 수도 있다. 예를 들어, 시청자는 인터넷 텔레비전을 이용하여 원하는 상품을 구매할 수 있고, DMB 수신장치를 이용하여 방송콘텐츠와 함께 제공되는 유알엘(URL, Uniform Resource Locator)에 바로 접속하여 원하는 정보를 얻을 수도 있다.
그런데, 종래의 경우 부가정보는 디스플레이되는 방송콘텐츠의 영상에 겹치게 출력되므로 시청자의 방송콘텐츠 시청환경을 저해하는 문제점이 있다. 부가정보가 텔레비전 또는 DMB 수신장치 등을 통해 디스플레이되는 영상 위에 출력되므로 디스플레이되는 영상의 일부분이 가려질 수 밖에 없기 때문이다.
또한, 시청자가 부가정보에 포함된 유알엘에 접속하고자 하는 경우, 방송콘텐츠를 디스플레이하는 장치(예를 들어, 개인컴퓨터 또는 이동단말기 등)에서는 웹브라우저(web browser) 등의 소프트웨어가 실행되어 시청자의 시청환경이 중단되는 문제점이 있다. 물론, 디스플레이 화면을 분할하여 방송콘텐츠가 디스플레이되는 화면과 웹페이지 접속화면을 동시에 디스플레이할 수도 있지만 이 경우에는 방송콘텐츠의 영상이 작아지게 되어 시청자의 시청환경이 저해되는 문제점이 여전히 남게 된다. 이는 티-커머스(T-commerce) 활성화의 주된 장애요인이 되고 있다. 즉, 티-커머스는 텔레비전 및/또는 DMB 수신장치를 이용한 전자상거래를 의미하는데, 시청자가 텔레비전 등을 통하여 전자상거래를 이용하고자 하는 경우 상술한 이유로 시청자의 시청환경이 중단될 수 밖에 없기 때문이다.
또한, 아날로그 텔레비전을 이용하거나 공공장소에 설치된 텔레비전을 이용하여 방송콘텐츠를 시청하는 시청자는 부가정보를 이용할 수 없는 문제점이 있다. 아날로그 텔레비전은 부가정보 자체를 수신할 수 없으므로 시청자가 당연히 부가정보를 이용할 수 없고, 공공장소에 설치된 텔레비전은 부가정보를 수신하였다고 하여도 시청자가 당해 텔레비전을 조작할 수 없는 경우가 대부분이기 때문이다.
또한, 시청자가 방송콘텐츠를 시청하면서 관련된 부가정보를 이용하기 위해서는 별도의 인터넷 텔레비전(Internet TV) 등을 구매하여야 하므로 시청자에게 금전적인 부담을 주는 문제점도 남아 있다.
이를 해결하기 위하여, 시청자가 방송콘텐츠를 시청하고 있는 장치(예를 들어, 텔레비전, 데스크탑 컴퓨터 등)와 부가정보가 제공되는 장치가 분리될 필요가 있고, 당해 분리를 위해서는 방송콘텐츠와 부가정보가 동기화되어야 한다.
이와 관련하여, 종래기술로는 실시간 방송에 한하여 방송을 송출하는 쪽과 수신하는 쪽이 GPS 시계 등을 이용해 동일한 시간을 유지하는 방식이 있다(미국특허등록번호 US 7,673,316). 그런데, 당해 종래기술은 현재 시청자가 어떠한 콘텐츠를 시청 중인지를 자동으로 알아낼 방법이 없으며 주문형 비디오나 디브이디(DVD) 등의 콘텐츠에는 적용될 수 없는 단점이 있다. 즉, 당해 종래기술은 오로지 현재 방송사업자(CP, Contents Provider)에 의하여 제공되고 있는 방송콘텐츠에 대해서만 적용 가능한 기술인 문제점이 있다.
다른 종래기술로는 서버(Server)에서 시청자가 시청하고 있는 콘텐츠의 음성정보를 수신하고, 수신된 음성정보(예를 들어, 오디오 핑거프린트, Audio fingerprint)의 당해 콘텐츠 내에서의 시간적 위치를 판단하며, 판단된 시간적 위치에 상응하는 부가정보를 검출하여 시청자의 단말기로 전송하는 방식이 있다(미국특허공개번호 US2011/0063503). 그런데, 당해 다른 종래기술은 원격 서버에서 수신된 음성정보를 이용하여 당해 음성정보의 시간적 위치에 대한 검색이 이뤄지므로 시청자가 시청 콘텐츠를 변경(즉, 채널 이동 또는 재생 시간 건너 뛰기 등)하였는지 여부를 알아내기 위해 주기적으로 시청자 단말기와 서버가 상호 통신을 수행해야 하므로 네트워크 대역이 소모되고 서버에 부하를 주는 단점이 있다. 물론, 서버와 시청자 단말기 간의 통신 주기를 길게 하면 네트워크 대역 소모 및/또는 서버에 가해지는 부하는 경감할 수 있으나 시청자의 콘텐츠 시청 변화에 민감하게 대응할 수 없는 문제점이 새롭게 발생된다.
미국특허등록번호 US 7,673,316 미국특허공개번호 US2011/0063503
상술한 문제점을 해결하기 위하여 본 발명은 시청자가 시청 중인 콘텐츠에 대한 부가정보를 당해 콘텐츠가 디스플레이되고 있는 단말기와 별도의 단말기로 전송할 수 있는 방송콘텐츠의 부가정보 제공 방법 및 그 시스템을 제공하고자 한다.
또한, 본 발명은 시청자가 어떠한 콘텐츠를 시청 중인지를 자동으로 알아낼 수 있는 방송콘텐츠의 부가정보 제공 방법 및 그 시스템을 제공하고자 한다.
또한, 본 발명은 시스템의 부하를 최소화하고 네크워크 대역 소모를 최소화할 수 있는 방송콘텐츠의 부가정보 제공 방법 및 그 시스템을 제공하고자 한다.
본 발명의 일 측면에 따르면, 음성특징추출서버에서 데이터통신망을 통하여 연결된 시청자단말기로 방송콘텐츠의 부가정보를 제공하는 방법에 있어서, 방송콘텐츠의 오디오특징데이터를 추출하여 미리 설정된 단위로 그룹화한 음성특징정보를 구비된 저장 공간에 저장하는 단계; 및 저장된 하나 이상의 상기 음성특징정보 중 상기 시청자단말기로부터 수신된 음성특징데이터에 상응하는 음성특징정보를 검출하여 상기 시청자단말기로 전송하는 단계;를 포함하되, 상기 시청자단말기는 입력된 오디오신호에서 미리 설정된 방법에 따라 상기 음성특징데이터를 추출하여 상기 음성특징추출서버로 전송하고, 수신된 상기 음성특징정보에서 상기 음성특징데이터에 대응되는 시간적위치를 판단하며, 상기 시간적위치에 상응하는 부가정보를 디스플레이하는 것을 특징으로 하는 방송콘텐츠의 부가정보 제공 방법이 제공된다.
여기서, 상기 방송콘텐츠의 부가정보 제공 방법은 상기 음성특징정보에 상응하는 상기 부가정보를 상기 시청자단말기로 전송하는 단계;를 더 포함할 수 있다.
또한, 상기 방송콘텐츠의 부가정보 제공 방법은 상기 시청자단말기로부터 부가정보요청이 수신되면 상응하는 상기 부가정보를 상기 시청자단말기로 전송하는 단계;를 더 포함하되, 상기 시청자단말기는 상기 시간적위치에 대한 정보가 포함된 상기 부가정보요청을 전송하고, 상기 부가정보요청에 대응하여 상기 부가정보가 수신되면 상기 시간적위치에 상응하는 부가정보를 디스플레이할 수 있다.
또한, 상기 방송콘텐츠의 오디오특징데이터를 추출하여 미리 설정된 단위로 그룹화하는 단계는, 상기 방송콘텐츠의 오디오특징데이터를 미리 설정된 시간 단위 또는 용량 단위로 그룹화하는 단계;를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 시청자단말기에서 시청자에게 방송콘텐츠의 부가정보를 제공하는 방법에 있어서, 입력된 오디오신호에서 미리 설정된 방법에 따라 제n 음성특징데이터를 추출하여 데이터통신망을 통하여 연결된 음성특징추출서버로 전송하는 단계; 상기 제n 음성특징데이터에 대응하여 수신된 제n 음성특징정보에서 상기 제n 음성특징데이터에 대응되는 제n 시간적위치를 판단하는 단계; 및 상기 제n 시간적위치에 상응하는 부가정보를 디스플레이하는 단계;를 포함하되, 상기 n은 자연수이고, 상기 음성특징추출서버는 방송콘텐츠의 오디오특징데이터를 추출하여 미리 설정된 단위로 그룹화한 음성특징정보 중 상기 제n 음성특징데이터에 상응하는 상기 제n 음성특징정보를 검출하여 전송하는 것을 특징으로 하는 방송콘텐츠의 부가정보 제공 방법이 제공된다.
여기서, 상기 부가정보를 디스플레이하는 단계는, 상기 제n 시간적위치에 대한 정보가 포함된 부가정보요청을 상기 음성특징추출서버로 전송하는 단계; 상기 음성특징추출서버로부터 상기 부가정보요청에 대응하여 상기 부가정보가 수신되는 단계; 및 상기 제n 시간적위치에 상응하는 부가정보를 디스플레이하는 단계;를 포함하되, 상기 음성특징추출서버는 상기 부가정보요청이 수신되면 상기 제n 시간적위치에 상응하는 상기 부가정보를 전송할 수 있다.
또한, 상기 방송콘텐츠의 부가정보 제공 방법은 상기 음성특징추출서버로부터 상기 제n 음성특징정보에 상응하는 상기 부가정보를 수신하는 단계;를 더 포함할 수 있다.
또한, 상기 방송콘텐츠의 부가정보 제공 방법은 미리 설정된 이벤트가 발생되면 제n+1 음성특징데이터를 추출하는 단계; 기저장된 하나 이상의 음성특징정보 중 상기 제n+1 음성특징데이터에 상응하는 제n+1 음성특징정보를 검출하는 단계; 상기 제n+1 음성특징정보에서 상기 제n+1 음성특징데이터에 대응되는 제n+1 시간적위치를 판단하는 단계; 및 상기 제n+1 시간적위치에 상응하는 부가정보를 디스플레이하는 단계;를 더 포함할 수 있다.
또한, 상기 방송콘텐츠의 부가정보 제공 방법은 기저장된 하나 이상의 음성특징정보 중 상기 제n+1 음성특징데이터에 상응하는 음성특징정보가 검색되지 않으면, 제n+1 음성특징데이터를 상기 음성특징추출서버로 전송하는 단계; 및 상기 음성특징추출서버로부터 상기 제n+1 음성특징데이터에 대응하여 상기 제n+1 음성특징정보가 수신되는 단계;를 더 포함할 수 있다.
또한, 상기 제n+1 음성특징데이터를 추출하는 단계는, 미리 설정된 시간이 경과되면 상기 제n+1 음성특징데이터를 추출하는 단계;를 포함할 수 있다.
본 발명의 또 다른 측면에 따르면, 상술한 방송콘텐츠의 부가정보 제공 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
본 발명에 따르면, 시청자가 시청 중인 콘텐츠에 대한 부가정보를 당해 콘텐츠가 디스플레이되고 있는 단말기와 별도의 단말기로 전송할 수 있다.
또한, 본 발명에 따르면 방송콘텐츠의 부가정보 제공 시스템의 부하를 최소화할 수 있으며, 네크워크 대역 소모를 최소화할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 부가정보제공시스템의 개략적인 구성도.
도 2는 본 발명의 일 실시예에 따른 음성특징추출서버에 대한 블록구성도.
도 3은 텔레비전을 통하여 디스플레이되고 있는 방송콘텐츠의 영상의 일 실시예를 도시한 도면.
도 4는 종래의 기술에 의하여 부가정보가 텔레비전을 통하여 디스플레이되고 있는 경우를 예시한 도면.
도 5는 본 발명의 일 실시예에 의하여 부가정보가 시청자단말기를 통하여 디스플레이되고 있는 경우를 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 음성특징추출서버에서 방송콘텐츠의 음성특징정보를 저장하는 방법에 대한 순서도.
도 7은 본 발명의 일 실시예에 따른 방송콘텐츠의 부가정보 제공 방법에 대한 순서도.
도 8은 본 발명의 다른 실시예에 따른 방송콘텐츠의 부가정보 제공 방법에 대한 순서도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 부가정보제공시스템의 개략적인 구성도이다.
도 1을 참조하면, 부가정보제공시스템(100)은 부가정보제공시스템(100), 방송제공장치(110), 방송통신망(120), 텔레비전(130), 음성특징추출서버(140), 스마트폰(150-1), 노트북컴퓨터(150-2) 등의 시청자단말기(이하, 150-m으로 통칭함, 단 m은 자연수), 데이터통신망(160) 및 웹서버(170)를 포함한다. 또한, 비록 도시되지는 않았지만 부가정보제공시스템(100)은 라디오(Radio, 미도시)를 더 포함할 수도 있다.
여기서, 방송제공장치(110)는 텔레비전(130), 라디오(미도시) 및/또는 음성특징추출서버(140)로 방송콘텐츠를 위성, 지상파, 인터넷 또는 케이블 등과 같은 방송통신망(120)을 이용하여 송출한다. 즉, 방송콘텐츠는 위성, 지상파, 케이블 등의 방송매체를 통하여 유통되는 음성 및/또는 영상을 통칭하고, 방송통신망(120)은 방송콘텐츠가 방송제공장치(110)에서 텔레비전(130), 라디오(미도시) 및/또는 음성특징추출서버(140)로 전송될 수 있도록 하는 네트워크를 의미한다.
텔레비전(130), 라디오(미도시)는 수신된 방송콘텐츠를 영상 및/또는 음성으로 바꾸어 출력하여, 시청자로 하여금 방송콘텐츠를 시각적 및/또는 청각적으로 인식할 수 있도록 한다.
음성특징추출서버(140)는 방송콘텐츠의 오디오특징데이터를 추출하여 미리 설정된 단위로 그룹화한 음성특징정보를 구비된 저장 공간에 저장한다. 여기서, 음성특징추출서버(140)는 방송제공장치(110)에서 방송콘텐츠를 수신할 수 있다. 또한, 음성특징추출서버(140)는 구비된 외부 데이터 입출력 장치(예를 들어, CD플레이어, USB 포트 등)를 통하여 방송콘텐츠를 수신할 수도 있다. 또한, 음성특징정보의 생성 동작에 대한 상세한 설명은 후술한다.
또한, 음성특징추출서버(140)는 저장 공간에 저장된 하나 이상의 음성특징정보 중 시청자단말기(150-m)로부터 수신된 음성특징데이터에 상응하는 음성특징정보를 검출하여 시청자단말기(150-m)로 전송한다.
또한, 음성특징추출서버(140)는 텔레비전(130), 라디오(미도시)에서 출력되는 방송콘텐츠에 상응하는 부가정보를 데이터통신망(160)을 통하여 시청자단말기(150-m)로 전송한다. 여기서, 데이터통신망(160)은 시청자단말기(150-m)로 데이터를 제공할 수 있는 통신망으로서, 인터넷(Internet), 이동통신망(Mobile network), 인트라넷(Intranet) 등을 포함한다.
시청자단말기(150-m)는 시청자의 조작에 따라 부가정보수신모드로서 동작이 개시되면 구비된 마이크를 입력된 오디오신호에서 미리 설정된 방법에 따라 음성특징데이터를 생성하여 음성특징추출서버(140)로 전송한다. 또한, 시청자단말기(150-m)는 음성특징데이터의 전송에 대응하여 음성특징정보가 수신되면 음성특징정보를 분석하여 음성특징정보에서 당해 음성특징데이터에 대응되는 시간적위치를 판단하여 시청자가 방송콘텐츠의 어느 부분을 시청하고 있는지를 판단할 수 있다. 여기서, 음성특징데이터의 생성 방법 및 상술한 시간적위치 판단에 대한 상세한 설명은 후술한다.
또한, 시청자단말기(150-m)는 음성특징추출서버(140)에서 데이터통신망(160)을 통하여 부가정보가 수신되면 이를 현재 디스플레이되는 화면과 동기화하여 디스플레이할 수 있다. 따라서, 시청자는 현재 시청하고 있는 방송콘텐츠에 대한 부가정보를 실시간으로 인식할 수 있다. 여기서, 시청자단말기(150-m)는 스마트폰(Smartphone), 이동통신 단말기(Mobile Phone), 태블릿 컴퓨터(Tablet computer), 피디에이(PDA, Personal Digital Assistant), 개인용 컴퓨터(PC, Personal Computer) 등의 장치일 수 있다. 또한, 부가정보는 방송콘텐츠 자체에 대한 정보, 출연자가 사용하는 상품에 대한 정보, 촬영 장소에 대한 정보, 방송콘텐츠에 관련된 웹페이지 주소 등 당해 방송콘텐츠에 관련된 정보가 포함된 데이터일 수 있다.
또한, 웹서버(170)는 시청자단말기(150-m)가 접속되면, 시청자단말기(150)의 요청에 상응하는 데이터를 제공하는 서버이다. 예를 들어, 음성특징추출서버(140)에서 수신된 부가정보에 당해 웹서버(170)의 주소가 포함되어 있고, 시청자단말기(150-m)가 시청자의 선택에 따라 웹서버(170)의 주소에 접속한 경우를 가정한다. 이때, 웹서버(170)는 시청자단말기(150-m))로 미리 저장되어 있는 데이터를 전송할 수 있다.
상술한 바와 같이, 음성특징추출서버(140)는 방송제공장치(110)에서 수신된 방송콘텐츠의 오디오특징데이터를 추출하여 '미리 설정된 단위로 그룹화'하여 저장한 후, 추후 시청자단말기(150-m)로부터 수신된 음성특징데이터에 상응하는 음성특징정보를 검출하여 시청자단말기(150-m)로 전송한다. 또한, 음성특징추출서버(140)는 음성특징정보에 상응하는 부가정보를 시청자단말기(150-m)로 전송할 수 있다.
이후, 시청자단말기(150-m)는 음성특징정보를 분석하여 현재 시청자가 시청하고 있는 부분이 당해 방송콘텐츠의 어떠한 부분인지를 판단하여, 상응하는 부가정보가 출력되도록 할 수 있다.
이에 따라, 방송콘텐츠가 출력되는 장치와 부가정보가 출력되는 장치가 서로 분리될 수 있고, 시청자는 방송콘텐츠 시청 환경이 중단되거나 저해되지 않으면서 부가정보를 용이하게 이용할 수 있다. 이하, 도 2 및 도 3을 참조하여 음성특징추출서버(140) 및 시청자단말기(150-m)의 동작에 대하여 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 음성특징추출서버에 대한 블록구성도이다.
도 2를 참조하면, 음성특징추출서버(140)는 방송콘텐츠수신부(210), 음성음성특징정보추출부(220), 데이터베이스부(230) 및 서버통신부(250)를 포함한다. 또한, 비록 도시되지는 않았지만, 외부의 장치 또는 저장 매체와 데이터를 송수신하기 위한 외부입출력부(예를 들어, CD플레이어, USB 포트 등)(미도시)를 더 포함할 수 있음은 상술한 바와 같다.
먼저, 방송콘텐츠수신부(210)는 방송통신망(120)을 통하여 연결된 방송제공장치(110)로부터 방송콘텐츠를 수신하여 음성특징정보추출부(220)로 출력한다. 여기서, 방송콘텐츠수신부(210)는 셋톱박스(Set top box)를 포함할 수 있고, 셋톱박스는 방송콘텐츠가 전송되는 방송채널(Broadcast channel)의 개수만큼 구비될 수 있다. 예를 들어, 현재 방송채널이 100개인 경우(즉, 방송콘텐츠를 제공하는 사업자(PP, Program Provider, 예를 들어, CNN, NBC 등)의 수가 100인 경우)를 가정하면, 방송콘텐츠수신부(210)는 100개의 셋톱박스를 포함할 수 있다. 한편, 방송콘텐츠는 외부입출력부(미도시)를 통하여 입력될 수도 있음은 자명하다.
음성특징정보추출부(220)는 입력된 방송콘텐츠를 이용하여 미리 설정된 방법에 따라 음성특징정보를 추출한다. 즉, 음성특징정보추출부(220)는 방송콘텐츠의 오디오특징데이터를 추출하고, 이를 미리 설정된 단위로 그룹화하여 음성특징정보를 추출할 수 있다.
예를 들어, 음성특징정보추출부(220)는 방송콘텐츠의 음성 주파수 성분에 대한 정보 등(즉, 오디오특징데이터)을 미리 설정된 방법에 따라 추출하고, 추출된 정보를 미리 설정된 시간 단위로 그룹화하여 음성특징정보를 생성할 수 있다. 즉, 당해 방송콘텐츠의 러닝타임(Running tine)이 60분이고, 미리 설정된 시간이 10분인 경우를 가정한다. 이때, 음성특징정보추출부(220)는 당해 방송콘텐츠의 오디오특징데이터를 추출하여 총 6개의 음성특징정보를 생성할 수 있다. 또한, 각각의 음성특징정보는 10분에 상응하는 방송콘텐츠의 음성에 대한 특징정보일 수 있다.
다른 예를 들어, 음성특징정보추출부(220)는 방송콘텐츠의 오디오특징데이터를 미리 설정된 방법에 따라 추출하고, 추출된 정보를 미리 설정된 용량 단위로 그룹화하여 음성특징정보를 생성할 수도 있다. 즉, 당해 방송콘텐츠 전체에 대한 오디오특징데이터의 용량이 300[KB]이고, 미리 설정된 시간이 50[KB]인 경우를 가정한다. 이때, 음성특징정보추출부(220)는 당해 방송콘텐츠의 오디오특징데이터를 추출하여 총 6개의 음성특징정보를 생성할 수 있을 것이다.
여기서, 오디오특징데이터는 오디오핑거프린트(audio fingerprint)일 수 있고, 방송콘텐츠의 음성에서 오디오핑거프린트를 추출하는 기술은 당업자에 있어서 자명한 사항이므로 이에 대한 설명은 생략한다.
데이터베이스부(230)에는 음성특징정보추출부(220)에서 추출된 음성특징정보 및 각각의 음성특징정보에 매칭되는 부가정보가 저장된다. 여기서, 부가정보는 음성특징추출서버(140) 운영자의 조작에 따라 데이터베이스부(230)에 저장될 수 있다. 즉, 부가정보는 방송콘텐츠에 포함되어 음성특징추출서버(140)로 수신되는 것이 아니라, 방송콘텐츠의 수신과는 별개의 방법을 통하여 입력되어 저장된 정보일 수 있다. 예를 들어, 부가정보는 음성특징추출서버(140)의 운영자가 음성특징추출서버(140)와 연결된 입력부(예를 들어, 키보드, 마우스 등)를 조작하여 생성한 정보일 수 있다. 다른 예를 들어, 부가정보는 인터넷, 근거리통신망 등을 통하여 다른 장치로부터 수신된 정보일 수도 있다.
또한, 여기에서는 부가정보가 각각의 음성특징정보에 매칭되는 것으로 설명하였으나, 이는 예시에 불과하다. 따라서, 부가정보는 방송콘텐츠 전체에 매칭될 수도 있을 것이다. 즉, 부가정보는 매칭된 음성특징정보에 상응하는 시간 동안 디스플레이되는 방송콘텐츠에 대한 정보만을 포함할 수도 있고, 방송콘텐츠 전체에 대한 정보를 모두 포함할 수도 있다.
서버통신부(240)는 시청자단말기(150-m)와 데이터통신망(160)을 통하여 연결되어 시청자단말기(150-m)와 각종 데이터를 송수신하는 모뎀을 포함한다.
상술한 바와 같이, 음성특징추출서버(140)는 방송콘텐츠의 오디오특징데이터를 추출하여 미리 설정된 단위(즉, 시간 및/또는 용량 단위)로 그룹화하여 음성특징정보를 생성하고, 생성된 음성특징정보를 데이터베이스부(230)에 저장한다. 이하, 시청자단말기(150-m)가 음성특징추출서버(140)에 수신된 음성특징정보를 이용하여 시청자가 시청 중인 방송콘텐츠와 부가정보를 동기화하는 동작에 대하여 상세하게 설명한다.
다시 도 1을 참조하면, 시청자단말기(150-m)는 시청자의 조작에 의하여 부가정보수신모드로 동작이 개시되면, 구비된 마이크를 통하여 미리 설정된 시간 동안 입력된 오디오신호에서 제n 음성특징데이터를 생성할 수 있고, 생성된 음성데이터를 음성특징추출서버(140)로 전송한다(단, n은 자연수). 여기서, 음성특징데이터는 오디오핑거프린트(audio fingerprint)일 수 있고, 방송콘텐츠의 음성에서 오디오핑거프린트를 추출하는 기술은 당업자에 있어서 자명한 사항이므로 이에 대한 설명은 생략한다. 또한, 제n 음성특징데이터는 n번째 생성된 음성특징데이터를 의미하는 것이다.
음성특징추출서버(140)는 제n 음성특징데이터가 수신되면, 데이터베이스부(230)에 저장된 하나 이상의 음성특징정보 중 수신된 제n 음성특징데이터에 상응하는 제n 음성특징정보를 검출하여 시청자단말기(150-m)로 전송한다. 이때, 음성특징추출서버(140)는 검출된 제n 음성특징정보에 매칭되는 부가정보도 시청자단말기(150-m)로 전송할 수 있다. 한편, 제n 음성특징정보가 10분 단위로 그룹화된 경우, 10분의 오디오에 상응하는 오디오핑거프린트의 데이터 용량은 50[KB] 정도인 경우가 일반적이므로 데이터통신망(160)의 대역폭 소모는 거의 발생되지 않을 것이다. 또한, 제n 음성특징정보는 제n 음성특징데이터에 상응하는 '부분'을 포함하는 음성특징정보를 의미하는 것이다.
시청자단말기(150-m)는 제n 음성특징데이터의 전송에 대응하여 제n 음성특징정보가 수신되면, 제n 음성특징정보에서 제n 음성특징데이터에 대응되는 제n 시간적위치를 판단한다.
여기서, 시간적위치는 음성특징정보에서 음성특징데이터에 대응되는 시간적 위치를 의미한다. 예를 들어, 제n 음성특징정보가 10분 단위로 그룹화되었고, 시청자가 시청 중인 방송콘텐츠의 러닝타임1초부터 10분까지에 상응하는 경우를 가정한다. 또한, 제n 음성특징데이터가 제n 음성특징정보 중 5분에 상응하는 경우를 가정한다. 이때, 시청자단말기(150-m)는 제n 음성특징정보와 제n 음성특징데이터를 비교하여 제n 음성특징정보에서 제n 음성특징데이터에 상응하는 부분에 대한 시간적위치를 판단할 수 있을 것이다. 즉, 상술한 예시에서 시청자단말기(150-m)는 수신된 제n 음성특징정보가 시청 중인 방송콘텐츠의 러닝타임 중 1초부터 10분까지 부분에 대한 음성특징정보인지 판단할 수 있고, 제n 음성특징정보와 제n 음성특징데이터를 비교하여 제m 음성특징데이터가 시청 중인 방송콘텐츠의 러닝타임 중 5분 부분에 대한 음성특징데이터임을 판단할 수 있을 것이다. 따라서, 상술한 예시에서 제n 시간적위치는 5분에 상응할 것이다.
이후, 시청자단말기(150-m)는 판단된 제n 시간적위치에 상응하는 부가정보를 디스플레이할 수 있다. 부가정보는 상술한 바와 같이 제n 음성특징정보와 함께 시청자단말기(150-m)로 수신될 수도 있고, 시청자단말기(150-m)가 판단된 제n 시간적위치에 상응하는 부가정보를 음성특징추출서버(140)로 요청하여 수신할 수도 있다. 즉, 시청자단말기(150-m)는 부가정보를 제n 음성특징정보와 함께 수신하거나 제n 시간적위치를 판단한 후 제n 시간적위치에 상응하는 부가정보를 음성특징추출서버(140)로 요청하여 수신할 수도 있다. 따라서, 음성특징추출서버(140)는 제n 시간적위치에 상응하는 부가정보요청이 수신되면 제n 음성특징정보에 상응하는 부가정보 중 제n 시간적위치에 상응하는 부가정보를 데이터베이스부(230)에서 독출하여 시청자단말기(150-m)로 전송할 수 있을 것이다.
한편, 시청자단말기(150-m)는 부가정보를 디스플레이할 때, 제n 음성특징데이터가 생성되고, 제n 시간적위치가 판단될 때까지의 경과된 시간을 고려하여 부가정보를 디스플레이할 수도 있을 것이다. 즉, 제n 음성특징데이터가 생성되고, 제n 시간적위치가 판단될 때까지 경과된 시간이 '2초'인 경우, 시청자단말기(150-m)는 제n 시간적위치인 '5분'에 상응하는 부가정보가 아닌 '5분 2초'에 상응하는 부가정보를 디스플레이할 수 있을 것이다.
한편, 시청자단말기(150-m)는 제n 음성특징데이터를 추출한 후 미리 설정된 이벤트가 발생되면 제n+1 음성특징데이터를 추출한다. 예를 들어, 시청자단말기(150-m)는 제n 음성특징데이터가 추출된 후 미리 설정된 시간이 경과되면 마이크를 통하여 입력되는 오디오신호에서 제n+1 음성특징데이터를 추출할 수 있다. 다른 예를 들어, 시청자단말기(150-m)는 시청자의 입력부(예를 들어, 터치패드, 키패드 등)(미도시) 조작이 입력되면 마이크를 통하여 입력되는 오디오신호에서 제n+1 음성특징데이터를 추출할 수 있다.
또한, 시청자단말기(150-m)는 추출된 제n+1 음성특징데이터와 기저장된 하나 이상의 음성특징정보를 비교하여 제n+1 시간적위치를 판단한다. 시청자단말기(150-m)가 제n+1 시간적위치를 판단하는 동작은 상술한 제n 시간적위치를 판단하는 동작과 동일 또는 유사할 수 있다. 즉, 시청자단말기(150-m)는 수신된 음성특징정보를 저장하고 있을 수 있고, 추후 미리 설정된 이벤트가 발생되면 제n+1 음성특징데이터를 추출하여 기저장된 하나 이상의 음성특징정보와 제n+1 음성특징데이터를 비교하여 제n+1 시간적위치(즉, 제n+1 음성특징데이터가 생성될 시점의 방송콘텐츠의 러닝타임)를 판단할 수 있을 것이다.
또한, 시청자단말기(150-m)는 판단된 제n+1 시간적위치에 상응하는 부가정보를 디스플레이한다. 제n+1 시간적위치에 상응하는 부가정보는 음성특징추출서버(140)로부터 수신되어 시청자단말기(150-m)에 기저장되어 있거나 시청자단말기(150-m)가 제n+1 시간적위치에 상응하는 부가정보요청을 음성특징추출서버(140)로 전송하여 수신할 수도 있다.
또한, 시청자단말기(150-m)는 제n+1 시간적위치가 판단되지 않으면 제n+1 음성특징데이터를 음성특징추출서버(140)로 전송한다. 제n+1 시간적위치가 판단되지 않는 경우는 제n+1 음성특징데이터에 상응하는 음성특징정보가 시청자단말기(150-m)에 저장되어 있지 않는 경우일 것이기 때문이다. 따라서, 음성특징추출서버(140)는 제n+1 음성특징데이터가 수신되면 제n+1 음성특징데이터에 상응하는 제n+1 음성특징정보를 데이터베이스부(230)에서 독출하여 시청자단말기(150-m)로 전송할 수 있다. 이후, 시청자단말기(150-m)는 수신된 제n+1 음성특징정보를 이용하여 제n+1 시간적위치를 판단하고, 상응하는 부가정보를 디스플레이할 수 있다.
상술한 바와 같이, 본 발명에 따른 방송콘텐츠의 부가정보제공시스템(100)에서의 음성특징추출서버(140)는 제n 음성특징데이터에 상응하는 제n 음성특징정보 만을 검출해서 시청자단말기(150-m)로 전송할 뿐이고, 시청자단말기(150-m)에서 제n 시간적위치를 판단하여 부가정보를 시청자가 시청 중인 방송콘텐츠와 동기화하여 디스플레이한다.
시청자단말기(150-m)에서 수행되는 제n 시간적위치 판단 동작은 제n 음성특징데이터의 위치를 찾아내는 동작으로서 음성특징추출서버(140)에서 수행되기에는 부하가 매우 큰 연산이다. 음성특징추출서버(140)의 데이터베이스부(230)에는 대용량의 음성특징정보가 저장되어 있으며, 대다수의 시청자단말기(150-m)로부터 음성특징데이터가 수신되기 때문이다.
따라서, 본 발명에 따른 방송콘텐츠의 부가정보제공시스템(100)에서는 시청자단말기(150-m)가 제n 시간적위치를 판단하는 연산을 수행하도록 함으로서 음성특징추출서버(140)에 가중되는 부하를 줄이고, 네트워크 대역 소모를 최소화할 수 있을 것이다. 음성특징추출서버(140)는 시청자단말기(150-m)로부터 저용량의 음성특징데이터를 수신하고, 이에 대응하여 저용량의 음성특징정보를 시청자단말기(150-m)로 전송할 뿐이기 때문이다.
또한, 음성특징데이터에 상응하는 오디오핑거프린트와 음성특징정보에 상응하는 오디오핑거프린트는 서로 상이할 수도 있다. 음성에서 오디오핑거프린트를 추출하는 방법은 다양할 수 있기 때문이다. 이 경우 서로 상이한 오디오핑거프린트를 사용하였으므로, 음성특징추출서버(140)의 데이터베이스부(230)에는 상이한 방법에 의하여 생성된 복수의 음성특징정보가 각각 저장될 것이다. 즉, 음성특징추출서버(140)는 하나의 방송콘텐츠에 대하여 복수의 오디오핑거프린트 생성 방법에 따라 복수의 오디오특징데이터를 생성할 수 있다. 예를 들어, 음성특징추출서버(140)는 하나의 방송콘텐츠에 대하여 제1 오디오핑거프린트생성방법 및 제2 오디오핑거프린트생성방법에 따라 오디오특징데이터를 각각 생성할 수 있다.
여기서, 시청자단말기(150-m)에서 제1 오디오핑거프린트생성방법(이하 제1 방법) 및 제2 오디오핑거프린트생성방법(이하, 제2 방법)에 따라 음성특징데이터가 각각 생성되고, 제1 방법에 따라 생성된 음성특징데이터가 음성특징추출서버(140)로 전송된 경우를 가정한다. 이때, 음성특징추출서버(140)는 제1 방법에 따라 생성된 음성특징정보 중 수신된 음성특징데이터에 상응하는 음성특징정보를 검출하고, 제2 방법에 따라 생성된 음성특징정보 중 상기 '검출된 음성특징정보'에 대응되는 음성특징정보를 독출하여 '독출된 음성특징정보'를 시청자단말기(150-m)로 전송할 수 있다. 이후, 시청자단말기(150-m)는 음성특징정보를 수신하면 제2 방법에 따라 생성된 음성특징데이터와 수신된 음성특징정보를 비교하여 시간적위치를 판단할 수 있을 것이다.
이는 음성특징데이터에 상응하는 음성특징정보를 검출하는데에 적합한 오디오핑거프린트생성방법과 음성특징정보 중 음성특징데이터에 상응하는 정확한 시간적위치를 판단하는데 적합한 오디오핑거프린트생성방법이 서로 상이할 수 있기 때문이다.
한편, 이상에서는 이해와 설명의 편의를 위하여 부가정보가 음성특징추출서버(140)에 저장되어 있는 것을 가정하였으나, 부가정보는 음성특징추출서버(140) 외에 다른 서버 및/또는 장치에 저장되어 있을 수 있다. 따라서, 부가정보가 저장되는 서버 및/또는 장치 등은 본 발명의 권리범위를 제한하지 못함은 자명하다.
이하, 도 3 내지 도 5의 예시를 참조하여 종래의 경우 및 본 발명에 따른 경우의 각 실시예를 비교하여 설명한다.
도 3은 텔레비전을 통하여 디스플레이되고 있는 방송콘텐츠의 영상의 일 실시예를 도시한 도면이고, 도 4는 종래의 기술에 의하여 부가정보가 텔레비전을 통하여 디스플레이되고 있는 경우를 예시한 도면이며, 도 5는 본 발명의 일 실시예에 의하여 부가정보가 시청자단말기를 통하여 디스플레이되고 있는 경우를 예시한 도면이다.
먼저, 도 3을 참조하면 텔레비전(130)에서 뉴스(NEWS)에 상응하는 방송콘텐츠가 디스플레이되고 있고, 뉴스의 내용은 나이키(NIKE)의 신제품에 대한 것인 경우가 예시된다.
또한, 도 4를 참조하면 종래의 기술에 의하여 텔레비전(130)에 방송콘텐츠인 뉴스(410), 나이키의 신제품에 대한 설명(420) 및 뉴스 프로그램 자체에 대한 설명(430)이 각각 디스플레이되고 있는 경우가 예시된다. 즉, 종래에는 방송콘텐츠에 대한 부가정보가 방송콘텐츠의 영상 위에 겹쳐져서 디스플레이되거나 도 4에 예시된 바와 같이 방송콘텐츠의 크기를 줄이고, 나머지 부분에 부가정보가 디스플레이될 수 밖에 없었다. 하나의 장치에서 방송콘텐츠와 부가정보가 동시에 디스플레이되거나 둘 중 하나만 디스플레이되어야 하기 때문이다. 또한, 시청자는 티-커머스 또는 부가정보를 이용하기 위하여 리모콘(440)(Remote control)을 이용하여야 하는데, 리모콘(440)은 텔레비전의 채널을 변경하기 위하여 제작된 장치이므로 티-커머스 또는 방송콘텐츠의 부가정보를 이용하기 위한 유저인터페이스(UI, User Interface)는 적합하지 않은 문제점이 있다.
반면, 도 5를 참조하면 본 발명에 따라 텔레비전(130)에는 방송콘텐츠인 뉴스만 디스플레이되고, 뉴스에 대한 부가정보인 나이키의 신제품에 대한 설명(510) 및 뉴스 프로그램 자체에 대한 설명(520)은 시청자단말기(150-m)를 통하여 디스플레이된다. 따라서, 시청자는 시청자단말기(150-m)를 이용하여 당해 나이키의 신제품에 대한 상세한 설명을 시청자단말기(150-m)를 통하여 얻을 수 있고, 나아가 당해 나이키 신제품을 구매할 수 있는 웹사이트로 바로 접속하여 당해 상품을 용이하게 구매할 수 있을 것이다.
그러므로 본 발명에 따르면 부가정보가 디스플레이되는 장치가 방송콘텐츠가 디스플레이되는 장치와 상이하므로 부가정보의 이용이 시청자의 시청환경을 저해하지 않으며 나아가 티-커머스의 활성화를 도모할 수 있음은 자명하다.
도 6은 본 발명의 일 실시예에 따른 음성특징추출서버에서 방송콘텐츠의 음성특징정보를 저장하는 방법에 대한 순서도이다.
이하, 도 6을 참조하여 본 발명의 일 실시예에 따른 음성특징추출서버(140)에서 방송콘텐츠에 대한 음성특징정보를 저장하는 방법에 대하여 설명한다. 이하에서 설명될 각 단계들은 도 2를 참조하여 설명한 음성특징추출서버(140)의 각 구성요소들에 의하여 수행되는 단계들일 수 있으나, 이해와 설명의 편의를 위하여 음성특징추출서버(140)에서 수행되는 것으로 통칭하여 설명한다. 따라서, 이하에서 설명되는 각 단계들을 수행하는 주체는 생략될 수 있다.
단계 S610에서, 방송통신망(120)을 통하여 연결된 방송제공장치(110)로부터 방송콘텐츠가 수신되면, 또는 외부입출력부(미도시)를 통하여 방송콘텐츠가 입력되면 방송콘텐츠의 오디오특징데이터를 추출하고, 이를 미리 설정된 단위로 그룹화하여 음성특징정보를 추출한다(단계 S620). 예를 들어, 음성특징추출서버(140)는 방송콘텐츠의 음성 주파수 성분에 대한 정보 등(즉, 오디오특징데이터)을 미리 설정된 방법에 따라 추출하고, 추출된 정보를 미리 설정된 시간 단위로 그룹화하여 음성특징정보를 생성할 수 있다. 다른 예를 들어, 음성특징정보추출부(220)는 방송콘텐츠의 오디오특징데이터를 미리 설정된 방법에 따라 추출하고, 추출된 정보를 미리 설정된 용량 단위로 그룹화하여 음성특징정보를 생성할 수도 있다. 여기서, 오디오특징데이터는 오디오핑거프린트(audio fingerprint)일 수 있고, 방송콘텐츠의 음성에서 오디오핑거프린트를 추출하는 기술은 당업자에 있어서 자명한 사항이므로 이에 대한 설명은 생략한다.
단계 S630에서, 추출된 음성특징정보를 구비된 저장 공간(즉, 데이터베이스부(230))에 저장한다.
단계 S640에서, 당해 방송콘텐츠에 상응하는 부가정보를 구비된 저장 공간에 저장한다. 여기서, 부가정보는 음성특징추출서버(140)의 운영자의 조작에 따라 데이터베이스부(230)에 저장될 수 있다. 즉, 부가정보는 방송콘텐츠에 포함되어 음성특징추출서버(140)로 수신되는 것이 아닌 방송콘텐츠의 수신과는 별개의 방법을 통하여 수신된 정보일 수도 있다. 또한, 부가정보는 그룹화된 음성특징정보 각각에 매칭되는 부가정보이거나, 방송콘텐츠 전체에 대한 정보를 모두 포함하는 정보일 수 있다.
도 7은 본 발명의 일 실시예에 따른 방송콘텐츠의 부가정보 제공 방법에 대한 순서도이다.
이하, 도 7을 참조하여 본 발명의 일 실시예에 따른 방송콘텐츠의 부가정보 제공 방법에 대하여 설명한다. 이하에서 설명될 각 단계들은 도 1 및 도 2를 참조하여 설명한 음성특징추출서버(140)의 각 구성요소 및 시청자단말기(150-m)에 의하여 수행되는 단계들일 수 있으나, 이해와 설명의 편의를 위하여 음성특징추출서버(140) 또는 시청자단말기(150-m)에서 수행되는 것으로 통칭하여 설명한다. 또한, 이하에서 설명될 각 단계들은 도 6을 참조하여 설명한 방송콘텐츠의 특징정보 저장 방법이 수행된 이후에 수행되는 동작일 수 있다.
단계 S710에서, 시청자단말기(150-m)는 시청자의 조작에 따라 부가정보수신모드로 동작 개시되면, 마이크를 통하여 입력된 오디오신호에서 미리 설정된 방법에 따라 제n 음성특징데이터를 추출하여 전송한다(단계 S720). 여기서, 오디오특징데이터는 오디오핑거프린트(audio fingerprint)일 수 있고, 방송콘텐츠의 음성에서 오디오핑거프린트를 추출하는 기술은 당업자에 있어서 자명한 사항이므로 이에 대한 설명은 생략한다.
단계 S730에서, 음성특징추출서버(140)는 수신된 제n 음성특징데이터에 상응하는 제n 음성특징정보를 검출한다. 즉, 음성특징추출서버(140)는 수신된 제n 음성특징데이터와 데이터베이스부(230)에 기저장되어 있는 하나 이상의 음성특징정보를 비교하여 제n 음성특징데이터에 상응하는 제n 음성특징정보를 검출할 수 있다.
단계 S740에서, 음성특징추출서버(140)는 검출된 제m 음성특징정보를 시청자단말기(150-m)로 전송한다.
단계 S750에서, 시청자단말기(150-m)는 수신된 제n 음성특징정보와 제n 음성특징데이터를 이용하여 제n 시간적위치를 판단한다. 즉, 시청자단말기(150-m)는 제n 음성특징정보에서 제n 음성특징데이터에 대응되는 제n 시간적위치를 판단한다. 여기서, 시간적위치는 음성특징정보에서 음성특징데이터에 대응되는 시간적 위치를 의미한다. 예를 들어, 제n 음성특징정보가 10분 단위로 그룹화되었고, 시청자가 시청 중인 방송콘텐츠의 러닝타임1초부터 10분까지에 상응하는 경우를 가정한다. 또한, 제n 음성특징데이터가 제n 음성특징정보 중 5분에 상응하는 경우를 가정한다. 이때, 시청자단말기(150-m)는 제n 음성특징정보와 제n 음성특징데이터를 비교하여 제n 음성특징정보에서 제n 음성특징데이터에 상응하는 부분에 대한 시간적위치를 판단할 수 있을 것이다. 즉, 상술한 예시에서 시청자단말기(150-m)는 수신된 제n 음성특징정보가 시청 중인 방송콘텐츠의 러닝타임 중 1초부터 10분까지 부분에 대한 음성특징정보인지 판단할 수 있고, 제n 음성특징정보와 제n 음성특징데이터를 비교하여 제m 음성특징데이터가 시청 중인 방송콘텐츠의 러닝타임 중 5분 부분에 대한 음성특징데이터임을 판단할 수 있을 것이다. 따라서, 상술한 예시에서 제n 시간적위치는 5분에 상응할 것이다.
단계 S760에서, 시청자단말기(150-m)는 제n 시간적위치에 상응하는 부가정보를 요청하는 부가정보요청을 음성특징추출서버(140)로 전송하고, 음성특징추출서버(140)는 부가정보요청을 수신하면 제n 시간적위치에 상응하는 부가정보를 데이터베이스부(230)에서 검출하여 시청자단말기(150-m)로 전송한다(단계 S770).
단계 S780에서, 시청자단말기(150-m)는 부가정보가 수신되면 제n 시간적위치에 상응하는 부가정보를 디스플레이한다. 이때, 시청자단말기(150-m)는 제n 음성특징데이터가 생성되고, 제n 시간적위치가 판단될 때까지의 경과된 시간을 고려하여 부가정보를 디스플레이할 수도 있을 것이다.
도 8은 본 발명의 다른 실시예에 따른 방송콘텐츠의 부가정보 제공 방법에 대한 순서도이다.
이하, 도 8을 참조하여 본 발명의 다른 실시예에 따른 방송콘텐츠의 부가정보 제공 방법에 대하여 설명한다. 이하에서 설명될 각 단계들은 도 1을 참조하여 설명한 시청자단말기(150-m)에 의하여 수행되는 단계들일 수 있다. 따라서, 이하에서 설명될 각 단계들을 수행하는 주체는 생략한다.
단계 S810에서, 미리 설정된 이벤트가 발생되면 제n+1 음성특징데이터를 추출한다(단계 S820). 예를 들어, 시청자단말기(150-m)는 제n 음성특징데이터가 추출된 후 미리 설정된 시간이 경과되면 마이크를 통하여 입력되는 오디오신호에서 제n+1 음성특징데이터를 추출할 수 있다. 다른 예를 들어, 시청자단말기(150-m)는 시청자의 입력부(예를 들어, 터치패드, 키패드 등)(미도시) 조작이 입력되면 마이크를 통하여 입력되는 오디오신호에서 제n+1 음성특징데이터를 추출할 수 있다.
단계 S830에서, 추출된 제n+1 음성특징데이터와 기저장된 하나 이상의 음성특징정보를 비교하여 제n+1 시간적위치를 판단한다. 시청자단말기(150-m)가 제n+1 시간적위치를 판단하는 동작은 상술한 제n 시간적위치를 판단하는 동작과 동일 또는 유사할 수 있다. 즉, 시청자단말기(150-m)는 수신된 음성특징정보를 저장하고 있을 수 있고, 추후 미리 설정된 이벤트가 발생되면 제n+1 음성특징데이터를 추출하여 기저장된 하나 이상의 음성특징정보와 제n+1 음성특징데이터를 비교하여 제n+1 시간적위치(즉, 제n+1 음성특징데이터가 생성될 시점의 방송콘텐츠의 러닝타임)를 판단할 수 있을 것이다.
단계 S840에서, 제n+1 시간적위치가 판단 가능하면, 판단된 제n+1 시간적위치에 상응하는 부가정보를 디스플레이한다(단계 S850). 제n+1 시간적위치에 상응하는 부가정보는 음성특징추출서버(140)로부터 수신되어 시청자단말기(150-m)에 기저장되어 있거나 시청자단말기(150-m)가 제n+1 시간적위치에 상응하는 부가정보요청을 음성특징추출서버(140)로 전송하여 수신할 수도 있다.
반면, 단계 S840에서의 판단 결과 제n+1 시간적위치가 판단되지 않으면 제n+1 음성특징데이터를 음성특징추출서버(140)로 전송한다(단계 S860). 제n+1 시간적위치가 판단되지 않는 경우는 제n+1 음성특징데이터에 상응하는 음성특징정보가 시청자단말기(150-m)에 저장되어 있지 않는 경우일 것이기 때문이다.
따라서, 단계 S870에서 음성특징추출서버(140)는 제n+1 음성특징데이터가 수신되면 제n+1 음성특징데이터에 상응하는 제n+1 음성특징정보를 데이터베이스부(230)에서 독출하여 시청자단말기(150-m)로 전송하고, 시청자단말기(150-m)는 수신된 제n+1 음성특징정보를 이용하여 제n+1 시간적위치를 판단하여 부가정보를 디스플레이할 수 있다(즉, 상술한 단계 S730 이하 단계).
상술한 바와 같이, 본 발명에 따른 음성특징추출서버(140)는 시청자가 시청 또는 청취하고 있는 방송콘텐츠에 상응하는 오디오특징데이터 중 일부분(즉, 음성특징정보)을 시청자단말기(150-m)로 전송할 수 있고, 시청자단말기(150-m)는 수신된 음성특징정보에서 음성특징데이터에 대응되는 시간적위치를 판단하여 시청자가 시청 또는 청취하고 있는 방송콘텐츠에 동기화하여 디스플레이할 수 있다.
따라서, 본 발명에 따르면 방송콘텐츠가 디스플레이되는 장치와 부가정보가 디스플레이되는 장치가 서로 상이하므로 시청자가 부가정보를 이용하는 경우에도 시청자의 방송콘텐츠 시청환경이 저해되거나 중단되지 않을 수 있다. 또한, 본 발명에 따르면 부가정보가 디스플레이되는 장치가 시청자의 조작이 용이한 스마트폰, 태블릿 컴퓨터 등일 수 있으므로 티-커머스의 활성화를 도모할 수 있다. 시청자가 스마트폰의 터치패드를 터치하여 부가정보로서 디스플레이되는 웹페이지에 접속하여도 방송콘텐츠의 시청환경이 저해되거나 중단되지 않으므로 시청자는 원활하게 방송콘텐츠 시청과 부가정보의 폭넓은 이용이 가능하기 때문이다.
예를 들어, 시청자가 라디오(미도시)을 통하여 A라는 가수(singer, 歌手)의 신곡이 소개되는 방송콘텐츠를 이용하고 있는 경우를 가정한다. 이때, 시청자는 자신의 스마트폰(150-1)을 이용하여 당해 신곡에 대한 정보(예를 들어, 작곡가, 작사가, 노래가사 등)를 실시간으로 얻을 수 있고, 나아가 당해 신곡을 즉시 구매할 수 있는 웹페이지에 간단한 터치패드 조작에 의하여 접속할 수 있다.
다른 예를 들어, 시청자가 텔레비전(130)을 통하여 B라는 상품의 광고에 대한 방송콘텐츠를 이용하고 있는 경우를 가정한다. 이때, 시청자는 자신의 태블릿 컴퓨터(미도시)를 이용하여 당해 상품에 대한 정보(예를 들어, 가격, 특징, 구매이벤트 등)를 실시간으로 얻을 수 있고, 나아가 간단한 터치패드 조작에 의하여 당해 상품을 즉시 구매할 수 있는 웹페이지에 접속할 수 있다.
또한, 본 발명에 따르면 시청자가 아날로그 텔레비전(130)을 시청하거나, 공공의 장소에서 텔레비전(130)을 시청하는 경우에도 방송콘텐츠를 시청하면서 관련된 부가정보를 이용할 수 있고, 라디오를 청취하는 시청자도 방송콘텐츠에 대한 부가정보를 이용할 수 있다. 기존에는 인터넷 텔레비전을 이용할 수 없는 시청자와 라디오를 청취하는 시청자는 시청 또는 청취하는 방송콘텐츠에 대한 부가정보를 실시간으로 이용할 수 없었으나, 본 발명은 시청자의 스마트폰(150-1) 등이 음성특징데이터를 생성하여 전송하면, 음성특징추출서버(140)에서 상응하는 부가정보를 스마트폰(150-1)으로 전송하고, 스마트폰(150-1)에서 수신된 부가정보와 출력되는 방송콘텐츠를 동기화하여 디스플레이하기 때문에 아날로그-텔레비전(130)을 이용하는 시청자나 라디오(미도시)를 이용하는 시청자도 방송콘텐츠의 부가정보를 실시간으로 이용할 수 있음은 자명하다.
또한, 본 발명에 따르면 시청자는 시청자단말기(150-m)를 통하여 생성된 시청데이터를 이용하여 방송콘텐츠의 부가정보를 이용하므로 부가정보의 이용을 위하여 별도의 인터넷 텔레비전을 구매할 필요가 없음은 자명하다.
또한, 본 발명에 따르면 음성특징추출서버(140)는 제n 음성특징데이터에 상응하는 제n 음성특징정보 만을 검출해서 시청자단말기(150-m)로 전송할 뿐이고, 시청자단말기(150-m)에서 제n 시간적위치를 판단하여 부가정보를 시청자가 시청 중인 방송콘텐츠와 동기화하여 디스플레이하므로 음성특징추출서버(140)에 가중되는 부하를 줄이고, 네트워크 대역 소모를 최소화할 수 있을 것이다. 음성특징추출서버(140)는 시청자단말기(150-m)로부터 저용량의 음성특징데이터를 수신하고, 이에 대응하여 저용량의 음성특징정보를 시청자단말기(150-m)로 전송할 뿐이기 때문이다.
상술한 본 발명에 따른 방송콘텐츠의 부가정보 제공 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 부가정보제공시스템
110 : 방송제공장치
120 : 방송망
130 : 텔레비전
140 : 음성특징추출서버
150-1 : 스마트폰
150-2 : 노트북컴퓨터
160 : 통신망
170 : 웹서버

Claims (11)

  1. 음성특징추출서버에서 데이터통신망을 통하여 연결된 시청자단말기로 방송콘텐츠의 부가정보를 제공하는 방법에 있어서,
    방송콘텐츠의 오디오특징데이터를 추출하여 미리 설정된 단위로 그룹화한 음성특징정보를 구비된 저장 공간에 저장하는 단계; 및
    저장된 하나 이상의 상기 음성특징정보 중 상기 시청자단말기로부터 수신된 음성특징데이터에 상응하는 음성특징정보를 검출하여 상기 시청자단말기로 전송하는 단계;
    를 포함하되,
    상기 시청자단말기는 구비된 마이크를 통해 입력된 오디오신호에서 미리 설정된 방법에 따라 상기 음성특징데이터를 추출하여 상기 음성특징추출서버로 전송하고, 수신된 상기 음성특징정보에서 상기 음성특징데이터에 대응되는 시간적위치를 판단하며, 상기 시간적위치에 상응하는 부가정보를 디스플레이하는 것을 특징으로 하는 방송콘텐츠의 부가정보 제공 방법.
  2. 제1항에 있어서,
    상기 음성특징정보에 상응하는 상기 부가정보를 상기 시청자단말기로 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 방송콘텐츠의 부가정보 제공 방법.
  3. 제1항에 있어서,
    상기 시청자단말기로부터 부가정보요청이 수신되면 상응하는 상기 부가정보를 상기 시청자단말기로 전송하는 단계;
    를 더 포함하되,
    상기 시청자단말기는 상기 시간적위치에 대한 정보가 포함된 상기 부가정보요청을 전송하고, 상기 부가정보요청에 대응하여 상기 부가정보가 수신되면 상기 시간적위치에 상응하는 부가정보를 디스플레이하는 것을 특징으로 하는 방송콘텐츠의 부가정보 제공 방법.
  4. 제1항에 있어서,
    상기 방송콘텐츠의 오디오특징데이터를 추출하여 미리 설정된 단위로 그룹화하는 단계는,
    상기 방송콘텐츠의 오디오특징데이터를 미리 설정된 시간 단위 또는 용량 단위로 그룹화하는 단계;
    를 포함하는 것을 특징으로 하는 방송콘텐츠의 부가정보 제공 방법.
  5. 시청자단말기에서 시청자에게 방송콘텐츠의 부가정보를 제공하는 방법에 있어서,
    구비된 마이크를 통해 입력된 오디오신호에서 미리 설정된 방법에 따라 제n 음성특징데이터를 추출하여 데이터통신망을 통하여 연결된 음성특징추출서버로 전송하는 단계;
    상기 제n 음성특징데이터에 대응하여 수신된 제n 음성특징정보에서 상기 제n 음성특징데이터에 대응되는 제n 시간적위치를 판단하는 단계; 및
    상기 제n 시간적위치에 상응하는 부가정보를 디스플레이하는 단계;
    를 포함하되,
    상기 n은 자연수이고, 상기 음성특징추출서버는 방송콘텐츠의 오디오특징데이터를 추출하여 미리 설정된 단위로 그룹화한 음성특징정보 중 상기 제n 음성특징데이터에 상응하는 상기 제n 음성특징정보를 검출하여 전송하는 것을 특징으로 하는 방송콘텐츠의 부가정보 제공 방법.
  6. 제5항에 있어서,
    상기 부가정보를 디스플레이하는 단계는,
    상기 제n 시간적위치에 대한 정보가 포함된 부가정보요청을 상기 음성특징추출서버로 전송하는 단계;
    상기 음성특징추출서버로부터 상기 부가정보요청에 대응하여 상기 부가정보가 수신되는 단계; 및
    상기 제n 시간적위치에 상응하는 부가정보를 디스플레이하는 단계;
    를 포함하되,
    상기 음성특징추출서버는 상기 부가정보요청이 수신되면 상기 제n 시간적위치에 상응하는 상기 부가정보를 전송하는 것을 특징으로 하는 방송콘텐츠의 부가정보 제공 방법.
  7. 제5항에 있어서,
    상기 음성특징추출서버로부터 상기 제n 음성특징정보에 상응하는 상기 부가정보를 수신하는 단계;
    를 더 포함하는 것을 특징으로 하는 방송콘텐츠의 부가정보 제공 방법.
  8. 제5항에 있어서,
    상기 제n 음성특징데이터가 추출된 후 미리 설정된 이벤트가 발생되면 제n+1 음성특징데이터를 추출하는 단계;
    기저장된 하나 이상의 음성특징정보 중 상기 제n+1 음성특징데이터에 상응하는 제n+1 음성특징정보를 검출하는 단계;
    상기 제n+1 음성특징정보에서 상기 제n+1 음성특징데이터에 대응되는 제n+1 시간적위치를 판단하는 단계; 및
    상기 제n+1 시간적위치에 상응하는 부가정보를 디스플레이하는 단계;
    를 더 포함하는 것을 특징으로 하는 방송콘텐츠의 부가정보 제공 방법.
  9. 제8항에 있어서,
    기저장된 하나 이상의 음성특징정보 중 상기 제n+1 음성특징데이터에 상응하는 음성특징정보가 검색되지 않으면, 제n+1 음성특징데이터를 상기 음성특징추출서버로 전송하는 단계; 및
    상기 음성특징추출서버로부터 상기 제n+1 음성특징데이터에 대응하여 상기 제n+1 음성특징정보가 수신되는 단계;
    를 더 포함하는 것을 특징으로 하는 방송콘텐츠의 부가정보 제공 방법.
  10. 제8항에 있어서,
    상기 제n+1 음성특징데이터를 추출하는 단계는,
    상기 제n 음성특징데이터가 추출된 후 미리 설정된 시간이 경과되면 상기 제n+1 음성특징데이터를 추출하는 단계;
    를 포함하는 것을 특징으로 하는 방송콘텐츠의 부가정보 제공 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 기재된 방송콘텐츠의 부가정보 제공 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020110073412A 2011-07-25 2011-07-25 방송콘텐츠의 부가정보 제공 방법 및 그 시스템 KR101248844B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110073412A KR101248844B1 (ko) 2011-07-25 2011-07-25 방송콘텐츠의 부가정보 제공 방법 및 그 시스템
CN201280034697.3A CN103748887B (zh) 2011-07-25 2012-07-10 用于在广播内容上提供附加信息的方法及系统
US14/129,968 US9301006B2 (en) 2011-07-25 2012-07-10 Method and system for providing additional information on broadcasting content
EP12817169.1A EP2739060A4 (en) 2011-07-25 2012-07-10 METHOD AND SYSTEM FOR PROVIDING ADDITIONAL INFORMATION ON BROADCAST CONTENT
PCT/KR2012/005468 WO2013015546A2 (ko) 2011-07-25 2012-07-10 방송콘텐츠의 부가정보 제공 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110073412A KR101248844B1 (ko) 2011-07-25 2011-07-25 방송콘텐츠의 부가정보 제공 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20130012306A KR20130012306A (ko) 2013-02-04
KR101248844B1 true KR101248844B1 (ko) 2013-04-01

Family

ID=47601607

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110073412A KR101248844B1 (ko) 2011-07-25 2011-07-25 방송콘텐츠의 부가정보 제공 방법 및 그 시스템

Country Status (5)

Country Link
US (1) US9301006B2 (ko)
EP (1) EP2739060A4 (ko)
KR (1) KR101248844B1 (ko)
CN (1) CN103748887B (ko)
WO (1) WO2013015546A2 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101369475B1 (ko) * 2013-01-23 2014-03-06 (주)엔써즈 방송 시청률 조사 시스템 및 방법
KR102069547B1 (ko) 2013-04-19 2020-01-28 삼성전자주식회사 방송 통신 시스템에서 부가 정보를 송수신하는 방법 및 장치
WO2015138798A1 (en) 2014-03-13 2015-09-17 Verance Corporation Interactive content acquisition using embedded codes
US10504200B2 (en) 2014-03-13 2019-12-10 Verance Corporation Metadata acquisition using embedded watermarks
GB2526154B (en) * 2014-05-16 2020-12-30 Intrasonics Sarl Broadcast media synchronisation system
US9805434B2 (en) 2014-08-20 2017-10-31 Verance Corporation Content management based on dither-like watermark embedding
WO2016086047A1 (en) 2014-11-25 2016-06-02 Verance Corporation Enhanced metadata and content delivery using watermarks
US9942602B2 (en) 2014-11-25 2018-04-10 Verance Corporation Watermark detection and metadata delivery associated with a primary content
CN104519373B (zh) * 2014-12-16 2017-12-01 微梦创科网络科技（中国）有限公司 媒体节目互动方法及相关设备
US9602891B2 (en) 2014-12-18 2017-03-21 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
KR20160146022A (ko) * 2015-06-11 2016-12-21 삼성전자주식회사 디스플레이장치, 사용자단말기 및 그 제어방법
US10504552B2 (en) * 2015-09-07 2019-12-10 Sony Corporation Transmission device, transmission method, reception device, and reception method
US9596502B1 (en) * 2015-12-21 2017-03-14 Max Abecassis Integration of multiple synchronization methodologies
KR102560635B1 (ko) * 2015-12-28 2023-07-28 삼성전자주식회사 컨텐트 인식 장치 및 그 동작 방법
US11540009B2 (en) 2016-01-06 2022-12-27 Tvision Insights, Inc. Systems and methods for assessing viewer engagement
EP4080794A1 (en) 2016-01-06 2022-10-26 TVision Insights, Inc. Systems and methods for assessing viewer engagement
KR102102453B1 (ko) * 2016-01-08 2020-04-20 주식회사 아이플래테아 시청률 산출 서버, 시청률 산출 방법, 및 시청률 산출 리모트 장치
CN105828220A (zh) * 2016-03-23 2016-08-03 乐视网信息技术（北京）股份有限公司 一种向视频文件中添加音频文件的方法和装置
JP7209359B2 (ja) * 2017-04-20 2023-01-20 テレビジョン・インサイツ、インコーポレイテッド 複数テレビジョン測定のための方法および装置
WO2020222338A1 (ko) * 2019-05-02 2020-11-05 엘지전자 주식회사 화상 정보를 제공하는 인공 지능 장치 및 그 방법
KR102281494B1 (ko) * 2020-02-18 2021-07-26 주식회사 엘지유플러스 멀티미디어 콘텐츠 재생 처리를 위한 장치, 시스템 및 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070045622A (ko) * 2005-10-28 2007-05-02 주식회사 케이티프리텔 방송 컨텐츠 정보 제공 방법 및 시스템
KR20070097678A (ko) * 2006-03-28 2007-10-05 주식회사 케이티프리텔 방송 프로그램과 연동한 부가 정보 제공 장치 및 방법과이를 이용한 모바일 정보통신 단말
KR20090091892A (ko) * 2008-02-26 2009-08-31 에스케이 텔레콤주식회사 방송 컨텐츠와 부가 정보의 동기화 방법 및 시스템
KR20100050208A (ko) * 2008-11-05 2010-05-13 에스케이텔레콤 주식회사 셋탑박스를 이용한 방송컨텐츠의 상세정보 전송시스템 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW540235B (en) 2001-05-10 2003-07-01 Ibm System and method for enhancing broadcast programs with information on the world wide web
US7913155B2 (en) * 2006-02-15 2011-03-22 International Business Machines Corporation Synchronizing method and system
US8489774B2 (en) * 2009-05-27 2013-07-16 Spot411 Technologies, Inc. Synchronized delivery of interactive content
US20110063503A1 (en) * 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
US20110307786A1 (en) * 2010-06-11 2011-12-15 Brian Shuster Method and apparatus for bookmarking and retrieval of video content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070045622A (ko) * 2005-10-28 2007-05-02 주식회사 케이티프리텔 방송 컨텐츠 정보 제공 방법 및 시스템
KR20070097678A (ko) * 2006-03-28 2007-10-05 주식회사 케이티프리텔 방송 프로그램과 연동한 부가 정보 제공 장치 및 방법과이를 이용한 모바일 정보통신 단말
KR20090091892A (ko) * 2008-02-26 2009-08-31 에스케이 텔레콤주식회사 방송 컨텐츠와 부가 정보의 동기화 방법 및 시스템
KR20100050208A (ko) * 2008-11-05 2010-05-13 에스케이텔레콤 주식회사 셋탑박스를 이용한 방송컨텐츠의 상세정보 전송시스템 및 그 방법

Also Published As

Publication number Publication date
US9301006B2 (en) 2016-03-29
WO2013015546A2 (ko) 2013-01-31
US20140130087A1 (en) 2014-05-08
CN103748887B (zh) 2017-07-21
EP2739060A4 (en) 2015-02-11
WO2013015546A3 (ko) 2013-03-21
KR20130012306A (ko) 2013-02-04
EP2739060A2 (en) 2014-06-04
CN103748887A (zh) 2014-04-23

Similar Documents

Publication Publication Date Title
KR101248844B1 (ko) 방송콘텐츠의 부가정보 제공 방법 및 그 시스템
KR101313293B1 (ko) 방송콘텐츠의 부가정보 제공 시스템 및 그 방법
US20200221163A9 (en) Method for receiving enhanced service and display apparatus thereof
US10567834B2 (en) Using an audio stream to identify metadata associated with a currently playing television program
KR102058761B1 (ko) 단말 장치, 서버 장치, 정보 처리 방법, 프로그램, 및 링킹 애플리케이션 공급 시스템
CA2814196C (en) Video display device and method of controlling the same
KR100985190B1 (ko) 워터마크를 이용한 정보 제공 방법 및 시스템
KR20070033559A (ko) 디지털 방송 수신 단말기의 전자 프로그램 가이드 데이터관리 장치 및 방법
JP2008079139A (ja) インタラクティブ装置およびインタラクティブ装置の制御方法
US20230036192A1 (en) Live audio advertising bidding and moderation system
KR101214515B1 (ko) 방송콘텐츠의 부가정보 제공 시스템 및 그 방법
US10091544B1 (en) Visual identifier to trigger an action
US20100145805A1 (en) Apparatus for providing digital contents using dmb channel and method thereof
EP2385470A2 (en) Recording and reproducing apparatus and recording and reproducing method
US10395642B1 (en) Caption data fishing
KR101143942B1 (ko) 방송사업자 판단 방법 및 그 시스템
WO2021238187A1 (zh) 信息联动系统及服务器
US20140380361A1 (en) Process and user interface for downloading musical content

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160310

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170404

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180322

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190321

Year of fee payment: 7