KR20090091892A - Method and system for synchronization between broadcasting contents and data information - Google Patents

Method and system for synchronization between broadcasting contents and data information

Info

Publication number
KR20090091892A
KR20090091892A KR1020080017097A KR20080017097A KR20090091892A KR 20090091892 A KR20090091892 A KR 20090091892A KR 1020080017097 A KR1020080017097 A KR 1020080017097A KR 20080017097 A KR20080017097 A KR 20080017097A KR 20090091892 A KR20090091892 A KR 20090091892A
Authority
KR
South Korea
Prior art keywords
additional information
pts
additional
communication
broadcast
Prior art date
Application number
KR1020080017097A
Other languages
Korean (ko)
Other versions
KR101436887B1 (en
Inventor
정구익
이군섭
유재황
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020080017097A priority Critical patent/KR101436887B1/en
Publication of KR20090091892A publication Critical patent/KR20090091892A/en
Application granted granted Critical
Publication of KR101436887B1 publication Critical patent/KR101436887B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Abstract

A synchronization method of broadcasting contents and additional information and a system providing the service according to the flow of the time are provided to supply a service which temporally is synchronized by controlling the error of synchronization by the request of a user. A communication unit(210) performs communication with a communications terminal. An additional information database(220) stores the additional information connected with the broadcasting contents. A start PTS(Presentation Time Stamp) searcher(230) extracts the start PTS about a channel program ID. An additional information extractor(240) calculates the program progress time by using the searched start presentation time stamp. The extracting unit extracts the additional information corresponding to the calculated program progress time.

Description

방송 컨텐츠와 부가 정보의 동기화 방법 및 시스템{Method and System for synchronization between broadcasting contents and data information} Method and system for synchronization between broadcasting contents and data information

본 발명은 방송 컨텐츠와 부가 정보의 동기화 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 통신 단말기가 방송 컨텐츠를 출력하는 중에 통신망을 통한 부가 서비스가 요청되면, 통신 컨텐츠 제공 서버가 구비된 부가 정보 데이터베이스를 검색하여 해당 채널의 프로그램 ID에 대한 시작 PTS(Presentation Time Stamp) 및 해당 부가 정보를 추출하여 통신 단말기에 전송하고, 통신 단말기는 시작 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산한 후 프로그램 진행 시간에 해당하는 부가 정보를 추출하여 방송 화면상에 출력하는 방송 컨텐츠와 부가 정보의 동기화 방법 및 시스템에 관한 것이다. The present invention relates to a method and a system for synchronizing broadcast content with additional information. More specifically, when an additional service is requested through a communication network while a communication terminal outputs broadcast content, an additional information database provided with a communication content providing server is provided. Search and extract the starting PTS (Presentation Time Stamp) and corresponding additional information about the program ID of the corresponding channel and transmit it to the communication terminal.The communication terminal calculates the program progress time until the service request point by using the start PTS and then The present invention relates to a method and system for synchronizing broadcast content with additional information by extracting additional information corresponding to a running time and outputting the same on a broadcast screen.

현재 모바일 데이터 통신 서비스에는 무선 인터넷 서비스, 이동 컴퓨팅 서비스, 무선 데이터 통신 서비스, 무선 인터넷 접속 서비스, 위성 통신 서비스 등이 사용되고 있다.Current mobile data communication services include wireless Internet services, mobile computing services, wireless data communication services, wireless Internet access services, and satellite communication services.

이러한, 모바일 데이터 통신 서비스 중에서 사업의 다각화, 시장성, 기술의 진보성 등으로 인하여 가장 각광을 받고 있는 분야로서 각종 컨텐츠를 개인 정보단말기로 제공하는 무선 방송 서비스 분야가 손꼽히며, 현재 CP(Contents Provider)와 방송 사업자 및 이동통신 사업자를 주축으로 하는 데이터 방송 서비스가 제공되고 있다.Among the mobile data communication services, the wireless broadcasting service field that provides various contents as personal information terminals is one of the most popular fields due to diversification of business, marketability, and technological progress, and currently includes CP (Contents Provider) and There is provided a data broadcasting service centered on broadcasters and mobile communication providers.

기존의 데이터 방송 서비스의 경우, 방송망을 통하여 통신망과의 인터페이스를 위한 추가 정보(예,URL)를 전달하고 사용자가 이를 활용하여 통신망에 접속하거나, 또는 통신망에서 방송 프로그램상에 표시되는 정보를 전달하는 방식을 사용한다.In the case of the existing data broadcasting service, additional information (e.g., URL) for interfacing with the communication network is transmitted through the broadcasting network, and a user accesses the communication network by using it, or delivers information displayed on the broadcasting program in the communication network. Use the method.

그러나, 방송망을 통하여 추가 정보를 전달하는 것은 추가적인 방송주파수 자원을 사용하여야 하는 문제를 발생시키고 시청자의 추가 정보에 대한 요청이 존재하지 않는 상황에서도 정보를 전달하는 비효율과 모든 사용자에게 동일한 정보를 전달하는 서비스의 제약이 있다. However, transmitting additional information through a broadcasting network causes a problem of using additional broadcasting frequency resources, and inefficiency of transmitting information even in the absence of a request for additional information from a viewer, and delivering the same information to all users. There is a service limitation.

또한, 통신망을 통하여 방송과 연계된 정보를 제공하는 서비스의 경우에는, 방송정보와 통신망의 부가정보가 시간적으로 긴밀한 관계를 갖도록 하기가 어려운 실정이며, 이로 인해, 방송 프로그램의 세부내용에 따른 부가정보를 시간적으로 매칭시켜 제공하지 못하고, 프로그램 단위로 정보를 묶어서 제공하는 한정적인 방식에만 의존하고 있는 실정이다.In addition, in the case of a service providing information associated with a broadcast through a communication network, it is difficult to have a close relationship between broadcast information and additional information of a communication network in time, and thus, additional information according to the details of a broadcast program. Does not provide time matching, and relies only on a limited way of providing information by program unit.

또한, 방송망을 통해 제공되는 데이터 방송만 이용할 경우 채널 용량의 한계가 있어 원하는 부가 정보 등을 충분히 제공하기가 쉽지 않고, 양방향 통신을 이용하려면 어차피 통신과의 결합이 필수적이다. 보다 정확한 방송 연계 서비스를 위해서는 방송 컨텐츠의 시간의 흐름에 따라 각각의 화면마다 정확히 동기화된 서비스를 제공하는 것이 필수적이다.In addition, when only data broadcasting provided through a broadcasting network is used, there is a limit in channel capacity, and thus it is not easy to provide enough desired additional information. In order to use bidirectional communication, a combination with communication is essential. For more accurate broadcast associated service, it is essential to provide a service that is exactly synchronized to each screen according to the passage of time of broadcast content.

프로그램 단위가 아닌 각각의 화면 또는 화면의 객체 움직임, 오디오 사운드 등 방송 컨텐츠와 완벽하게 동기화된 부가 정보를 제공해야 될 경우, 방송 이전에 이미 방송 컨텐츠와 동기화된 통신 컨텐츠를 제작하게 된다. If it is necessary to provide additional information that is perfectly synchronized with the broadcast content, such as movement of each screen or screen, audio sound, not a program unit, communication content that is already synchronized with the broadcast content is produced before the broadcast.

그러나, 네트워크 지연, 프로세싱 지연 등에 의해 제작되었을때 일치했던 방송 컨텐츠와 통신 컨텐츠의 동기는 통신 단말기에서 틀어질 가능성이 있고, 사용자의 취향에 따라 동기화의 원하는 정도가 차이가 날 수도 있다. However, the synchronization of the broadcast content and the communication content that was matched when produced by a network delay, a processing delay, or the like may be changed in the communication terminal, and a desired degree of synchronization may vary according to the user's taste.

따라서, 본 발명의 목적은 시간적으로 동기화된 방송/통신 융합 서비스 제공 시 기술적으로 나타날 수 있는 네트워크 지연, 프로세싱 지연, 시스템 지연 등에 의하여 통신 단말기에서 사용자가 체감하는 동기화가 정확히 표현되지 않을 경우, 사용자의 요청에 의해 동기화의 오차를 조절하여 시간적으로 동기화된 서비스를 제공받을 수 있는 방송 컨텐츠와 부가 정보 동기화 방법 및 시스템을 제공하는데 있다. Accordingly, an object of the present invention is to provide a user's experience in the case where the synchronization experienced by the user in the communication terminal is not accurately represented by a network delay, a processing delay, a system delay, and the like, which may occur technically when providing a synchronized broadcast / communication service in time. The present invention provides a method and system for synchronizing broadcast content and additional information capable of receiving a service synchronized in time by adjusting an error of synchronization by request.

본 발명의 다른 목적은 방송망과 통신망을 통해 동기화되는 서비스에서의 시간 오차를 보정할 수 있을 뿐만 아니라 사용자의 동기화 요청 상황을 직접 반영할 수 있는 방송 컨텐츠와 부가 정보 동기화 방법 및 시스템을 제공하는데 있다. Another object of the present invention is to provide a method and a system for synchronizing broadcast content and additional information that can not only correct a time error in a service synchronized through a broadcast network and a communication network, but also directly reflect a user's synchronization request situation.

본 발명의 또 다른 목적은 서비스에 따라 사용자가 동기화 정도를 통신 단말기에서 조절함으로써 서비스의 유연성을 가지게 하는 방송 컨텐츠와 부가 정보 동기화 방법 및 시스템을 제공하는데 있다. It is still another object of the present invention to provide a method and system for synchronizing broadcast content and additional information, which allows a user to have flexibility in service by adjusting a degree of synchronization in a communication terminal according to a service.

상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 방송망을 통해 제공되는 방송 컨텐츠와 통신망을 통해 제공되는 부가 정보의 동기화 방법에 있어서, (a)통신 단말기에서 방송 컨텐츠를 출력하는 중에 통신망을 통한 부가 서비스가 요청되면, 해당 채널 ID 및 프로그램 ID를 포함하는 부가 서비스 요청 메시지를 생성하여 통신 컨텐츠 제공 서버에 전송하는 단계, (b)상기 통신 컨텐츠 제공 서버에서 부가 서비스 요청 메시지가 수신되면, 구비된 부가 정보 데이터베이스를 검색하여 상기 메시지에 포함된 채널의 프로그램 ID에 대한 시작 PTS 및 해당 부가 정보를 추출하여 상기 통신 단말기에 전송하는 단계, (c)상기 통신 단말기에서 시작 PTS 및 부가 정보가 수신되면, 상기 시작 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산하고, 상기 수신된 부가 정보에서 상기 계산된 프로그램 진행 시간에 해당하는 부가 정보를 추출하여 방송 화면상에 출력하는 단계를 포함하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 방법이 제공된다. According to an aspect of the present invention to achieve the above object, a method of synchronizing the broadcast content provided through the broadcast network and the additional information provided through the communication network, (a) while outputting the broadcast content from the communication terminal through the communication network When an additional service is requested, generating an additional service request message including a corresponding channel ID and a program ID and transmitting the generated additional service request message to a communication content providing server, (b) when the additional service request message is received from the communication content providing server, Searching the additional information database and extracting the starting PTS for the program ID of the channel included in the message and the corresponding additional information and transmitting the extracted additional information to the communication terminal, (c) when the starting PTS and the additional information are received at the communication terminal, Calculate the program progress time up to the point of service request using the start PTS And, the synchronization method of the additional information and the broadcast contents, characterized in that it comprises a step to extract the additional information corresponding to the progression of the calculated time to the program output on the TV screen in the received additional information is provided.

상기 방송 컨텐츠와 부가 정보의 동기화 방법은 통신 단말기가 방송 화면상에 부가 정보를 출력하는 중에 동기화 보정이 요청되면, 동기화 보정을 위한 PTS 증감분을 계산하고, 상기 계산된 PTS 증감분에 따라 해당 부가 정보를 앞으로 또는 뒤로 하여 출력하는 단계를 더 포함하는 것을 특징으로 한다. In the synchronization method of the broadcast content and the additional information, if the synchronization correction is requested while the communication terminal outputs the additional information on the broadcast screen, the PTS increment for the correction correction is calculated, and the corresponding additional information is calculated according to the calculated PTS increment. And outputting forward or backward.

상기 동기화 보정 요청은 미리 정해진 버튼을 이용하여 입력된다. The synchronization correction request is input using a predetermined button.

상기 동기화 보정을 위한 PTS 증감분은 보정 요청 PTS의 차이를 시작 PTS에 더하거나 빼서 구하거나, 보정 요청 PTS의 차이를 동기화 보정 요청 시점의 PTS에 더하거나 빼서 구한다. The PTS increment for the synchronization correction is obtained by adding or subtracting the difference of the correction request PTS to the starting PTS or by adding or subtracting the difference of the correction request PTS to the PTS at the time of the synchronization correction request.

상기 (a)단계는 상기 방송 컨텐츠를 출력하는 중에 상기 통신 컨텐츠 제공 서버에 접속을 요청하여, 상기 통신 컨텐츠 제공 서버와 접속되면, 부가 서비스 목록 제공 화면을 디스플레이하는 단계, 상기 디스플레이된 부가 서비스 목록 제공 화면을 통해 원하는 부가 서비스가 선택되면, 현재 방송중인 프로그램에 대한 채널 ID 및 프로그램 ID를 포함하는 부가 서비스 요청 메시지를 생성하여 상기 통신 컨텐츠 제공 서버에 전송하는 단계를 포함한다. In the step (a), requesting access to the communication content providing server while outputting the broadcast content, and when connected to the communication content providing server, displaying an additional service list providing screen and providing the displayed additional service list. If the desired additional service is selected through the screen, generating an additional service request message including a channel ID and a program ID for the currently broadcast program, and transmitting the generated additional service request message to the communication content providing server.

상기 (c)단계는 상기 시작 PTS와 부가 정보가 서비스 요청 시점의 PTS와 상기 시작 PTS의 차를 이용하여 프로그램 진행 시간을 계산하는 단계, 상기 부가 정보에서 상기 계산된 프로그램 진행 시간에 해당하는 부가 정보를 추출하여 방송 화면상에 출력하는 단계를 포함한다. The step (c) is a step of calculating a program progress time using the difference between the start PTS and the additional information PTS at the time of the service request and the start PTS, and additional information corresponding to the calculated program progress time in the additional information. Extracting and outputting the image on a broadcast screen.

본 발명의 다른 측면에 따르면, 방송망을 통해 제공되는 방송 컨텐츠와 통신망을 통해 제공되는 부가 정보의 동기화 방법에 있어서, (a)통신 단말기에서 방송 컨텐츠를 출력하는 중에 통신망을 통한 부가 서비스가 요청되면, 해당 채널 ID, 프로그램 ID 및 서비스 요청 시점의 PTS를 포함하는 부가 서비스 요청 메시지를 생성하여 통신 컨텐츠 제공 서버에 전송하는 단계, (b)상기 통신 컨텐츠 제공 서버에서 부가 서비스 요청 메시지가 수신되면, 구비된 부가 정보 데이터베이스를 검색하여 상기 메시지에 포함된 채널의 프로그램 ID에 대한 시작 PTS를 검색하는 단계, (c)상기 통신 컨텐츠 제공 서버에서 상기 검색된 시작 PTS 및 서비스 요청 시점의 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산하고, 부가 정보 데이터베이스를 검색하여 상기 계산된 프로그램 진행 시간에 해당하는 부가 정보를 추출하여 상기 통신 단말기에 전송하는 단계, (d)상기 통신 단말기에서 통신 컨텐츠 제공 서버로부터 부가 정보가 수신되면, 방송 화면상에 상기 수신된 부가 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 방법이 제공된다. According to another aspect of the present invention, in a method of synchronizing broadcast content provided through a broadcast network and additional information provided through a communication network, (a) when an additional service is requested through a communication network while outputting broadcast content from a communication terminal, Generating an additional service request message including a corresponding channel ID, a program ID, and a PTS at the time of the service request and transmitting the generated additional service request message to the communication content providing server; (b) when the additional service request message is received from the communication content providing server, Searching the additional information database to search for a start PTS for the program ID of the channel included in the message; (c) the communication content providing server to the service request point using the searched start PTS and the service request point PTS; The program progress time of the program and search the additional information database Extracting additional information corresponding to the calculated program progress time and transmitting the extracted additional information to the communication terminal; (d) when the additional information is received from the communication content providing server in the communication terminal, outputting the received additional information on a broadcast screen; Provided is a method of synchronizing broadcast content and additional information, comprising the step of: a.

상기 방송 컨텐츠와 부가 정보의 동기화 방법은 통신 단말기가 방송 화면상에 상기 부가 정보를 출력하는 중에 동기화 보정이 요청되면, 동기화 보정을 위한 PTS 증감분을 계산하고, 상기 계산된 PTS 증감분에 따라 해당 부가 정보를 앞으로 또는 뒤로 하여 출력하는 단계를 더 포함하는 것을 특징으로 한다. In the synchronization method of the broadcast content and the additional information, if the synchronization correction is requested while the communication terminal outputs the additional information on the broadcast screen, the PTS increment for the synchronization correction is calculated, and the corresponding additional information is calculated according to the calculated PTS increment. It characterized in that it further comprises the step of outputting forward or backward.

상기 서비스 요청 시점까지의 프로그램 진행 시간은 상기 서비스 요청 시점의 PTS와 상기 시작 PTS의 차를 이용하여 구한다. The program progress time until the service request time is obtained using the difference between the PTS at the service request time and the start PTS.

본 발명의 또 다른 측면에 따르면, 방송망을 통해 제공되는 방송 컨텐츠를 출력하는 통신 단말기에 방송 컨텐츠와 동기화된 부가 정보를 통신망을 통해 제공하는 통신 컨텐츠 제공 서버에 있어서, 상기 통신 단말기와의 통신을 위한 통신부, 상기 방송 컨텐츠와 연계된 부가 정보가 저장된 부가 정보 데이터베이스, 상기 통신부를 통해 부가 서비스 요청 메시지가 수신되면, 상기 메시지에 포함된 채널의 프로그램 ID에 대한 시작 PTS를 상기 부가 정보 데이터베이스를 검색하여 추출하는 시작 PTS 검색부, 상기 시작 PTS 검색부에서 검색된 시작 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산하고, 상기 채널의 프로그램 ID에 해당하는 부가 정보 중에서 상기 계산된 프로그램 진행 시간에 해당하는 부가 정보를 부가 정보 데이터베이스에서 추출하여 통신부에 전송하는 부가 정보 추출부를 포함하는 것을 특징으로 하는 통신 컨텐츠 제공 서버가 제공된다. According to another aspect of the present invention, a communication content providing server for providing additional information synchronized with broadcast content through a communication network to a communication terminal for outputting broadcast content provided through a broadcast network, the communication terminal for A communication unit, an additional information database storing additional information associated with the broadcast content, and when an additional service request message is received through the communication unit, extracts a starting PTS for a program ID of a channel included in the message by searching the additional information database; A start PTS search unit to calculate a program progress time up to a service request time by using the start PTS searched by the start PTS search unit, and correspond to the calculated program progress time from additional information corresponding to the program ID of the channel; Add the additional information to the additional information database. Extracted by the communication unit is provided a communication content server is provided comprising parts of the additional information extracted to be transmitted to the.

상기 부가 정보 데이터베이스에는 각 채널의 프로그램 ID별 시작 PTS와 그에 대한 부가 정보가 맵핑되어 있다. In the additional information database, a start PTS for each program ID of each channel and additional information thereof are mapped.

상기 부가 서비스 요청 메시지는 채널 ID, 프로그램 ID, 서비스 요청 시점의 PTS 중 적어도 하나를 포함한다. The additional service request message includes at least one of a channel ID, a program ID, and a PTS at the time of the service request.

본 발명의 또 다른 측면에 따르면, 통신부, 입력부 및 출력부가 구비되어 방송망을 통해 제공되는 방송 컨텐츠와 통신망을 통해 제공되는 부가 정보를 동기화하여 출력하는 통신 단말기에 있어서, 상기 입력부를 통해 부가 서비스가 요청되면, 해당 시점의 채널 ID 및 프로그램 ID를 포함하는 부가 서비스 요청 메시지를 생성하여 상기 통신부를 통해 통신 컨텐츠 제공 서버에 전송하는 서비스 요청 메시지 생성부, 상기 부가 서비스 요청 메시지에 대한 응답으로 통신 컨텐츠 제공 서버로부터 시작 PTS 및 해당 부가 정보를 포함하는 부가 서비스 정보가 수신되면, 상기 시작 PTS 및 서비스 요청 시점의 PTS를 이용하여 서비스 요청 시점까지의 방송 진행 시간을 계산하는 방송 진행 시간 계산부, 상기 부가 서비스 정보내 부가 정보에서 상기 방송 진행 시간 계산부에서 계산된 방송 진행 시간이 지난 시점에 해당하는 부가 정보를 추출하여 상기 출력부를 통해 출력되도록 하는 부가 정보 추출부, 상기 방송 컨텐츠와 부가 정보 추출부에서 추출된 부가 정보가 출력되는 중에 상기 입력부를 통해 동기화 보정이 요청되면, 동기화 보정을 위한 PTS 증감분을 계산하고, 상기 계산된 PTS 증감분에 따라 해당 부가 정보를 출력하는 동기화 보정부를 포함하는 것을 특징으로 하는 통신 단말기가 제공된다. According to another aspect of the invention, the communication terminal, the input unit and the output unit is provided with a communication terminal for synchronizing and outputting the broadcast content provided through the broadcast network and the additional information provided through the communication network, the additional service is requested through the input unit A service request message generation unit for generating an additional service request message including a channel ID and a program ID of the corresponding time point and transmitting the additional service request message to the communication content providing server through the communication unit; and a communication content providing server in response to the additional service request message. When the additional service information including the starting PTS and the additional information is received from the broadcast progress time calculation unit for calculating the broadcast progress time to the service request time using the start PTS and the PTS of the service request time, the additional service information The broadcast progress time meter in my additional information An additional information extracting unit which extracts additional information corresponding to a time point when the broadcast progress time calculated by the unit has passed, and outputs it through the output unit, while the additional information extracted by the broadcasting content and the additional information extracting unit is output; When the synchronization correction is requested through, a communication terminal is provided, comprising a synchronization correction unit for calculating a PTS increment for synchronization correction and outputting corresponding additional information according to the calculated PTS increment.

상기 방송 진행 시간 계산부는 상기 서비스 요청 시점의 PTS와 시작 PTS의 차를 이용하여 서비스 요청 시점까지의 방송 진행 시간을 계산한다. The broadcast progress time calculation unit calculates a broadcast progress time until a service request time by using a difference between the PTS at the time of the service request and the start PTS.

상기 동기화 보정부는 상기 구해진 PTS 증감분을 부가 정보 시작의 기준이 되는 시작 PTS에 + 또는 -하여 해당 부가 정보가 해당 방송화면보다 빠르게 또는 느리게 출력되게 한다. The synchronization correction unit + or-the obtained PTS increments to or from the start PTS, which is a reference for starting additional information, so that the additional information is output faster or slower than the corresponding broadcast screen.

또한, 상기 동기화 보정부는 상기 구해진 PTS 증감분을 현재 PTS에 + 또는 -하여 해당 부가 정보가 해당 방송화면보다 빠르게 또는 느리게 출력되게 한다. In addition, the synchronization correction unit + or-to the obtained PTS increments to the current PTS so that the additional information is output faster or slower than the broadcast screen.

본 발명의 또 다른 측면에 따르면, 방송망을 통해 제공되는 방송 컨텐츠와 통신망을 통해 제공되는 부가 정보를 동기화하기 위한 시스템에 있어서, 방송 컨텐츠를 출력하는 중에 통신망을 통한 부가 서비스가 요청되면, 해당 채널 ID 및 프로그램 ID를 포함하는 부가 서비스 요청 메시지를 생성하여 통신 컨텐츠 제공 서버에 전송하고, 상기 통신 컨텐츠 제공 서버로부터 시작 PTS 및 부가 정보가 수신되면, 상기 시작 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산하고, 상기 수신된 부가 정보에서 상기 계산된 프로그램 진행 시간에 해당하는 부가 정보를 추출하여 방송 화면상에 출력하는 통신 단말기, 상기 통신 단말기로부터 부가 서비스 요청 메시지가 수신되면, 구비된 부가 정보 데이터베이스를 검색하여 상기 메시지에 포함된 채널 ID의 프로그램 ID에 대한 시작 PTS 및 해당 부가 정보를 추출하여 상기 통신 단말기에 전송하는 통신 컨텐츠 제공 서버를 포함하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 시스템이 제공된다. According to another aspect of the present invention, in the system for synchronizing the broadcast content provided through the broadcast network and the additional information provided through the communication network, if the additional service is requested through the communication network while outputting the broadcast content, the corresponding channel ID And generates an additional service request message including a program ID and transmits the generated service request message to a communication content providing server, and when a start PTS and additional information are received from the communication content providing server, a program progress time until a service request time using the start PTS. A communication terminal for extracting additional information corresponding to the calculated program progress time from the received additional information and outputting the additional information on a broadcast screen; and when an additional service request message is received from the communication terminal, the additional information database provided. Search for and include in the message The synchronization system of additional information and broadcast, characterized in that to extract the start PTS and the additional information on the program ID ID includes a communication content providing server to transmit the content to the communication terminal is provided.

상기 통신 단말기는 방송 컨텐츠와 부가 정보를 방송 화면상에 출력하는 중에 동기화 보정이 요청되면, 동기화 보정을 위한 PTS 증감분을 계산하고, 상기 계산된 PTS 증감분에 따라 해당 부가 정보를 출력한다. When the synchronization correction is requested while outputting the broadcast content and the additional information on the broadcast screen, the communication terminal calculates the PTS increment for synchronization correction and outputs the additional information according to the calculated PTS increment.

상술한 바와 같이 본 발명에 따르면, 시간적으로 동기화된 방송/통신 융합 서비스 제공시 기술적으로 나타날 수 있는 네트워크 지연, 프로세싱 지연, 시스템 지연 등에 의하여 통신 단말기에서 사용자가 체감하는 동기화가 정확히 표현되지 않을 경우, 사용자의 요청에 의해 동기화의 오차를 조절하여 시간적으로 동기화된 서비스를 제공받을 수 있는 방송 컨텐츠와 부가 정보 동기화 방법 및 시스템을 제공할 수 있다. As described above, according to the present invention, when the synchronization experienced by the user in the communication terminal is not accurately represented by a network delay, a processing delay, a system delay, etc., which may technically appear when providing a synchronized broadcast / communication service in time, A method and system for synchronizing broadcast content and additional information capable of receiving a service synchronized in time by adjusting an error of synchronization by a user's request can be provided.

또한, 방송망과 통신망을 통해 동기화되는 서비스에서의 시간 오차를 보정할 수 있을 뿐만 아니라 사용자의 동기화 요청 상황을 직접 반영할 수 있는 방송 컨텐츠와 부가 정보 동기화 방법 및 시스템을 제공할 수 있다. In addition, it is possible to provide a method and a system for synchronizing broadcast content and additional information that can correct a time error in a service synchronized through a broadcast network and a communication network, and can directly reflect a user's request for synchronization.

또한, 서비스에 따라 사용자가 동기화 정도를 통신 단말기에서 조절함으로써 서비스의 유연성을 가지게 하는 방송 컨텐츠와 부가 정보 동기화 방법 및 시스템을 제공할 수 있다. In addition, the present invention can provide a method and system for synchronizing broadcast content with additional information that allows a user to adjust the degree of synchronization in a communication terminal according to a service.

도 1은 본 발명에 따른 방송 컨텐츠와 부가 정보의 동기화를 위한 시스템을 나타낸 도면. 1 is a diagram showing a system for synchronizing broadcast content and additional information according to the present invention;

도 2는 본 발명에 따른 통신 컨텐츠 제공 서버의 구성을 개략적으로 나타낸 블럭도. 2 is a block diagram schematically showing the configuration of a communication content providing server according to the present invention;

도 3은 본 발명에 따른 통신 단말기의 구성을 개략적으로 나타낸 블럭도. 3 is a block diagram schematically showing the configuration of a communication terminal according to the present invention;

도 4는 본 발명의 일 실시예에 따른 방송 컨텐츠와 부가 정보의 동기화 방법을 나타낸 흐름도.4 is a flowchart illustrating a method of synchronizing broadcast content and additional information according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 사용자의 요청에 따라 방송 컨텐츠와 부가 정보를 동기화하는 방법을 나타낸 흐름도. 5 is a flowchart illustrating a method of synchronizing broadcast content and additional information according to a user request according to an embodiment of the present invention.

도 6은 본 발명의 다른 실시예에 따른 방송 컨텐츠와 부가 정보의 동기화 방법을 나타낸 흐름도.6 is a flowchart illustrating a synchronization method of broadcast content and additional information according to another embodiment of the present invention.

도 7은 본 발명의 다른 실시예에 따른 사용자의 요청에 따라 방송 컨텐츠와 부가 정보를 동기화하는 방법을 나타낸 흐름도. 7 is a flowchart illustrating a method for synchronizing broadcast content and additional information according to a user's request according to another embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

100 : 방송 센터 110 : 통신 단말기100: broadcast center 110: communication terminal

120 : 통신 컨텐츠 제공 서버 210, 310 : 통신부120: communication content providing server 210, 310: communication unit

220 : 시작 PTS 검색부 220 : 부가 정보 데이터베이스220: start PTS search unit 220: additional information database

230 : 부가 정보 추출부 320 : 입력부230: additional information extraction unit 320: input unit

330 : 저장부 340 : 출력부330 storage unit 340 output unit

350 : 서비스 요청 메시지 생성부 360 : 진행 시간 계산부350: service request message generation unit 360: progress time calculation unit

370 : 부가 정보 추출부 380 : 동기화 보정부370: additional information extraction unit 380: synchronization correction unit

본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.Details of the above-described objects and technical configurations of the present invention and the effects thereof according to the present invention will be more clearly understood by the following detailed description based on the accompanying drawings.

도 1은 본 발명에 따른 방송 컨텐츠와 부가 정보의 동기화를 위한 시스템을 나타낸 도면이다. 1 is a diagram illustrating a system for synchronizing broadcast content and additional information according to the present invention.

도 1을 참조하면, 방송 컨텐츠와 부가 정보의 동기화를 위한 시스템은 방송망을 통해 방송 컨텐츠를 제공하는 방송 센터(100), 상기 방송 센터(100)로부터 제공되는 방송 컨텐츠를 수신하는 중에 통신망을 통해 부가 서비스를 요청하는 통신 단말기(110), 상기 통신 단말기(110)로부터 부가 서비스 요청 메시지가 수신되면 해당 부가 서비스를 제공하는 통신 컨텐츠 제공 서버(120)를 포함한다. Referring to FIG. 1, a system for synchronizing broadcast content with additional information may include a broadcast center 100 providing broadcast content through a broadcast network, and a broadcast center provided through the broadcast network while receiving broadcast content provided from the broadcast center 100. The communication terminal 110 requesting a service includes a communication content providing server 120 that provides a corresponding additional service when the additional service request message is received from the communication terminal 110.

상기 통신 컨텐츠 제공 서버(120)에는 상기 방송망을 통해 송출되는 방송 컨텐츠와 동일한 방송 컨텐츠를 컨텐츠 제공자로부터 제공받아 상기 방송 컨텐츠와 연계된 부가 정보가 저장되어 있다. 여기서, 상기 부가 정보는 특정 프로그램의 줄거리 정보, 배우의 인물정보, 배경음악 정보, 프로그램에 등장하는 제품에 대한 정보 등을 포함한다. The communication content providing server 120 receives the same broadcast content from the content provider as the broadcast content transmitted through the broadcast network and stores additional information associated with the broadcast content. Here, the additional information includes plot information of a specific program, character information of an actor, background music information, information about products appearing in the program, and the like.

또한, 상기 통신 컨텐츠 제공 서버(120)는 상기 통신 단말기(110)로부터 부가 서비스 요청 메시지가 수신되면, 상기 메시지에 포함된 요청 채널 EID(Event Identification)의 시작 PTS(Presentation Time Stamp)를 검색하여 그 시작 PTS와 해당 부가 정보를 상기 통신 단말기(110)에 전송한다. 상기 EID는 각 채널에 편성되어 있는 프로그램마다 고유하게 부여된 ID 즉, 프로그램 ID를 말한다.When the additional service request message is received from the communication terminal 110, the communication content providing server 120 searches for the start time stamp (PTS) of the request channel EID (Event Identification) included in the message. The start PTS and the corresponding additional information are transmitted to the communication terminal 110. The EID refers to an ID uniquely assigned to each program organized in each channel, that is, a program ID.

또한, 상기 통신 컨텐츠 제공 서버(120)는 상기 통신 단말기(110)로부터 부가 서비스 요청 메시지가 수신되면, 상기 메시지에 포함된 요청 채널 EID의 시작 PTS를 검색하고, 그 검색된 시작 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산한다. 그런 다음 상기 통신 컨텐츠 제공 서버(120)는 상기 서비스 요청 시점의 해당 부가 정보를 추출하여 상기 통신 단말기(110)에 전송한다. In addition, when the communication content providing server 120 receives the additional service request message from the communication terminal 110, the communication content providing server 120 searches for a start PTS of the request channel EID included in the message, and uses the searched start PTS to request a service. Calculate the program run time up to the point in time. Then, the communication content providing server 120 extracts the corresponding additional information at the time of the service request and transmits it to the communication terminal 110.

상기와 같은 역할을 수행하는 통신 컨텐츠 제공 서버(120)에 대한 상세한 설명은 도 2를 참조하기로 한다.A detailed description of the communication content providing server 120 performing the above role will be given with reference to FIG. 2.

상기 통신 단말기(110)는 방송 서비스와 통신 서비스를 동시에 구현할 수 있도록 구현된 이동통신 단말기를 포함하는 다양한 단말기를 지칭하는 것으로서, 방송망을 통해 수신되는 방송 컨텐츠와 요청에 따라 통신망을 통해 통신 컨텐츠 제공 서버(120)로부터 수신되는 상기 방송 컨텐츠와 동기화된 부가정보를 디스플레이한다. The communication terminal 110 refers to various terminals including a mobile communication terminal implemented to simultaneously implement a broadcast service and a communication service, and provides a communication content providing server through a communication network in response to a broadcast content received through a broadcast network and a request. The additional information synchronized with the broadcast content received from 120 is displayed.

즉, 상기 통신 단말기(110)는 방송망을 통해 방송 센터(100)로부터 송출되는 방송 컨텐츠를 출력하는 중에 통신망을 통한 부가 서비스가 요청되면, 해당 채널 ID, EID를 포함하는 부가 서비스 요청 메시지를 생성하여 상기 통신 컨텐츠 제공 서버(120)에 전송한다. That is, when an additional service is requested through the communication network while outputting the broadcast content transmitted from the broadcasting center 100 through the broadcasting network, the communication terminal 110 generates an additional service request message including a corresponding channel ID and an EID. It transmits to the communication content providing server 120.

또한, 상기 통신 단말기(110)는 방송 컨텐츠의 출력중에 부가 서비스 요청에 따라 상기 통신 컨텐츠 제공 서버(120)로부터 전송된 부가 정보를 출력한다. In addition, the communication terminal 110 outputs additional information transmitted from the communication content providing server 120 in response to an additional service request while outputting broadcast content.

또한, 상기 통신 단말기(110)는 방송 컨텐츠와 상기 통신 컨텐츠 제공 서버(120)로부터 전송된 부가 정보가 출력되는 중에 상기 부가 정보의 동기화 보정이 요청되면, 동기화 보정을 위한 PTS 증감분을 계산하여 해당 부가 정보를 출력한다. In addition, when the synchronization correction of the additional information is requested while the broadcast content and the additional information transmitted from the communication content providing server 120 are output, the communication terminal 110 calculates the PTS increment for synchronization correction and adds the corresponding information. Print information.

상기와 같은 역할을 수행하는 통신 단말기(110)에 대한 상세한 설명은 도 3을 참조하기로 한다. A detailed description of the communication terminal 110 performing the above role will be given with reference to FIG. 3.

이하 상기와 같이 구성된 시스템에서 방송 컨텐츠와 통신 컨텐츠를 동기화하는 방법에 대하여 설명하기로 한다. Hereinafter, a method of synchronizing broadcast content and communication content in the system configured as described above will be described.

먼저, 비디오와 오디오 방송과의 동기화는 PTS의 계산으로 가능하다. First, synchronization of video and audio broadcasting is possible by calculation of the PTS.

방송 센터(100)가 방송망을 통해 방송 컨텐츠를 송출할 때, 비디오와 오디오 데이터는 PES 패킷의 형태로 전송되며, 각 PES 패킷에는 비디오와 오디오 동기화를 맞추기 위한 시간 정보인 PTS 필드가 있다. 이 PTS는 1초에 90000씩 증가하며, 약 26시간의 주기를 가지고 라운드-트립(round-trip)하며, 이 PTS를 통해 통신 단말기(110)는 비디오와 오디오 데이터가 언제 출력되어야 하는지 알 수 있다. When the broadcast center 100 broadcasts broadcast content through a broadcast network, video and audio data are transmitted in the form of PES packets, and each PES packet has a PTS field, which is time information for synchronizing video and audio. This PTS is incremented by 90000 per second and round-trips with a period of about 26 hours, through which the communication terminal 110 can know when video and audio data should be output. .

비디오 또는 오디오 데이터가 통신 단말기(110)에서 언제 출력되는지를 알 수 있다는 말은 해당 비디오 또는 오디오에 맞추어 동기화된 서비스를 제공할 수 있다는 말이고, 따라서 방송망이 아닌 통신망을 통해 다운 받은 정보 역시 비디오 또는 오디오와 PTS 단위로 정확히 맞추어 서비스를 제공할 수 있다는 것이 된다. Knowing when the video or audio data is output from the communication terminal 110 means that the service can be synchronized according to the video or audio. Therefore, the information downloaded through the communication network other than the broadcasting network is also used as the video or audio data. It is possible to provide a service exactly in units of audio and PTS.

따라서, 필요한 것은 사용자가 통신망을 통한 부가 서비스를 요청하는 그 시점에서의 비디오 또는 오디오 PTS가 어느 값인지, 그리고 그때의 방송 프로그램 시작 시간에서의 PTS를 알고 있으면, 방송 중간에 서비스를 요청할 때의 PTS를 통해 프로그램 시작 시간부터 서비스 요청 시간까지 얼마나 시간이 흘렀는지를 계산할 수 있으며, 이를 통해 미리 만들어 놓은 해당 통신 컨텐츠를 서비스할 수 있는 것이다. 그러면, 방송 프로그램에 맞추어 제작해 놓은 통신 컨텐츠에서 시작 후 몇분 몇 초 지났을 때 화면에 등장하는 또는 오디오에 해당하는 부가 정보를 통신망을 통해 제공해주는 것이다. Therefore, what is needed is a PTS when requesting a service in the middle of a broadcast, if the user knows what value the video or audio PTS is at that point in requesting an additional service over the communication network, and the PTS at the broadcast program start time at that time. Through it, it is possible to calculate how much time has passed from the program start time to the service request time, and through this, it is possible to service the corresponding communication content prepared in advance. Then, the communication content prepared for the broadcasting program provides additional information corresponding to the audio or the audio appearing on the screen when a few minutes and a few seconds have passed since the start of the communication program.

이를 위해서는 서비스를 제어하는 통신 컨텐츠 제공 서버(120)가 필요하며 이 통신 컨텐츠 제공 서버(120)는 방송 편성과 운행 정보 등 해당 프로그램이 언제 시작하고 언제 끝나는지에 대한 정보를 방송 센터(100)와 공유하고, 통신 단말기(110)가 서비스 요청을 하면 해당 방송 프로그램의 시작 시점의 PTS를 추출하여 제공한다.To this end, a communication content providing server 120 for controlling a service is required, and the communication content providing server 120 shares information on when and when a corresponding program starts and ends, such as broadcasting schedule and operation information, with the broadcasting center 100. When the communication terminal 110 requests a service, the communication terminal 110 extracts and provides a PTS at the start of a corresponding broadcast program.

통신 단말기(110)는 각 프로그램마다 채널 ID와 EID를 통해 구별이 가능하므로 사용자가 서비스를 요청하면 그 서비스 요청 시점의 채널 ID와 EID를 포함하는 부가 서비스 요청 메시지를 생성하여 상기 통신 컨텐츠 제공 서버(120)에 전송한다. Since the communication terminal 110 can distinguish each channel through a channel ID and an EID, when the user requests a service, the communication terminal 110 generates an additional service request message including the channel ID and the EID at the time of the service request and provides the communication content providing server ( 120).

그러면, 상기 통신 컨텐츠 제공 서버(120)는 채널 EID를 이용하여 해당 프로그램을 판단하고, 그 프로그램에서의 시작 PTS를 추출하여 상기 통신 단말기(110)에 전송한다.Then, the communication content providing server 120 determines the corresponding program by using the channel EID, extracts the starting PTS from the program, and transmits it to the communication terminal 110.

상기 통신 단말기(110)는 상기 통신 컨텐츠 제공 서버(120)로부터 전송 받은 시작 PTS와 미리 저장된 서비스 요청 시점의 PTS를 이용하여 프로그램 시작 시점에서 몇분 몇 초가 흐른 시점에서 서비스를 요청했는지를 계산하여 그 해당 시점에서의 부가 정보를 방송 화면에 디스플레이한다. The communication terminal 110 calculates how many minutes and seconds have passed since the start of the program by using the start PTS received from the communication content providing server 120 and the PTS at the time of the pre-stored service request. The additional information at the viewpoint is displayed on the broadcast screen.

그러면, 통신 단말기(110)는 시간적으로 동기화된 방송/통신 융합 서비스를 제공받을 수 있다. Then, the communication terminal 110 may be provided with a broadcast / communication convergence service synchronized in time.

그러나, 상기 통신 단말기(110)에서 부가 서비스 요청 시 그 시점의 정확한 PTS 값을 찾았고, 상기 통신 컨텐츠 제공 서버(120)로부터 시작 PTS를 받았다고 해도 통신 단말기(110)에서의 프로세싱 파워로 인한 디스플레이의 시간 지연, 원래 부가 정보 소스 제작시의 시간 오차, 방송센터 운행정보의 시작 PTS 값이 오차 등 외부 요인에 따라 방송 화면과 해당 부가 정보의 디스플레이가 완벽하게 맞지 않을 수 있다. However, when the communication terminal 110 finds the correct PTS value at the time when the additional service is requested, and the start PTS is received from the communication content providing server 120, the display time due to the processing power in the communication terminal 110. The display of the broadcast screen and the corresponding additional information may not be perfectly matched by external factors such as a delay, a time error in producing the original additional information source, and an error in the starting PTS value of the broadcasting center operation information.

또한, 가사 제공 서비스 등 사용자가 실제 방송보다 약간 일찍 정보를 받아보고 싶을 경우 등 통신망을 통해 받은 부가 정보의 디스플레이 시점을 사용자가 변경하고 싶어질 때도 있을 것이다. In addition, the user may want to change the display time of the additional information received through the communication network, such as when the user wants to receive the information slightly earlier than the actual broadcast service.

이를 위해 상기 통신 단말기(110)에서 오프셋을 변경하여 동기화를 조절한다. 즉, 방송화면의 경우 스트리밍으로 계속 받아 화면에 표현하고 있으므로, 방송 화면은 지연시키기 힘들다. 부가 정보는 이미 만들어져 있으므로 시간의 지연 뿐 아니라 해당 방송 시점 이전에서도 정보를 얻을 수 있으므로 부가 정보 요청에서 오프셋을 주어 원래 시점보다 빠르거나 느리게 정보를 표현할 수 있다. To this end, the synchronization is controlled by changing the offset in the communication terminal 110. That is, in the case of a broadcast screen, the broadcast screen is hardly delayed because it is continuously received and displayed on the screen. Since the additional information is already generated, the information can be obtained not only in time delay but also before the corresponding broadcast time, so that the information can be expressed faster or slower than the original time by giving an offset in the additional information request.

도 2는 본 발명에 따른 통신 컨텐츠 제공 서버의 구성을 개략적으로 나타낸 블럭도이다. 2 is a block diagram schematically showing the configuration of a communication content providing server according to the present invention.

도 2를 참조하면, 통신 컨텐츠 제공 서버는 통신부(210), 부가 정보 데이터베이스(220), 시작 PTS 검색부(230), 부가 정보 추출부(240)를 포함한다.Referring to FIG. 2, the communication content providing server includes a communication unit 210, an additional information database 220, a start PTS search unit 230, and an additional information extraction unit 240.

상기 부가 정보 데이터베이스(220)에는 방송 컨텐츠와 동일한 방송 컨텐츠를 컨텐츠 제공자로부터 제공받아 상기 방송 컨텐츠와 연계된 부가 정보가 저장되어 있다. 여기서, 상기 부가 정보는 특정 프로그램의 줄거리 정보, 배우의 인물정보, 배경음악 정보, 프로그램에 등장하는 제품에 대한 정보 등을 포함한다. 상기 부가 정보는 채널ID, EID 별로 시작 PTS가 맵핑되어 있다. The additional information database 220 receives the same broadcast content as a broadcast content from a content provider and stores additional information associated with the broadcast content. Here, the additional information includes plot information of a specific program, character information of an actor, background music information, information about products appearing in the program, and the like. The additional information is mapped to a starting PTS for each channel ID and EID.

상기 시작 PTS 검색부(230)는 상기 통신부(210)를 통해 부가 서비스 요청 메시지가 수신되면, 상기 메시지에 포함된 요청 채널 EID의 시작 PTS를 상기 부가 정보 데이터베이스(220)를 검색하여 추출한다. When the additional service request message is received through the communication unit 210, the start PTS search unit 230 searches for and extracts the additional information database 220 from the start PTS of the request channel EID included in the message.

즉, 상기 부가 정보 데이터베이스(220)에는 채널 EID별 시작 PTS와 그에 대한 부가 정보가 맵핑되어 있으므로, 상기 시작 PTS 검색부(230)는 상기 부가 정보 데이터베이스(220)를 검색하여 상기 채널 EID에 해당하는 시작 PTS를 추출한다. That is, since the starting PTS for each channel EID and additional information thereof are mapped in the additional information database 220, the starting PTS search unit 230 searches for the additional information database 220 and corresponds to the channel EID. Extract the starting PTS.

상기 부가 정보 추출부(240)는 상기 채널 EID에 대해 상기 부가 정보 요청 메시지에 포함된 해당 부가 정보를 상기 부가 정보 데이터베이스(220)에서 추출하여 상기 통신부(210)를 통해 상기 통신 단말기에 전송한다. The additional information extractor 240 extracts the additional information included in the additional information request message for the channel EID from the additional information database 220 and transmits the additional information to the communication terminal through the communication unit 210.

또한, 상기 부가 정보 추출부(240)는 상기 시작 PTS 검색부(230)에서 검색된 시작 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산하고, 그 계산된 서비스 요청 시점의 해당 부가 정보를 추출하여 상기 통신 단말기에 전송한다. 여기서, 상기 서비스 요청 시점까지의 프로그램 진행 시간은 서비스 요청 시점의 PTS와 시작 PTS와의 차 일 수 있다. In addition, the additional information extracting unit 240 calculates a program progress time up to a service request time by using the starting PTS searched by the starting PTS search unit 230, and extracts the corresponding additional information at the calculated service request time. To the communication terminal. Here, the program progress time until the service request time may be a difference between the PTS and the start PTS at the service request time.

도 3은 본 발명에 따른 통신 단말기의 구성을 개략적으로 나타낸 블럭도이다. 3 is a block diagram schematically showing the configuration of a communication terminal according to the present invention.

도 3을 참조하면, 통신 단말기는 통신부(310), 사용자 명령을 입력 받는 입력부(320), 각종 데이터를 저장하는 저장부(330), 상기 입력부(320)에서 발생되는 키 데이터 및 각종 정보 신호를 입력 받아 표시하는 출력부(340), 서비스 요청 메시지 생성부(350), 진행 시간 계산부(360), 부가 정보 추출부(370), 동기화 보정부(380)를 포함한다. Referring to FIG. 3, the communication terminal includes a communication unit 310, an input unit 320 for receiving a user command, a storage unit 330 for storing various data, and key data and various information signals generated by the input unit 320. And an output unit 340 for receiving and displaying an input, a service request message generator 350, a progress time calculator 360, an additional information extractor 370, and a synchronization corrector 380.

상기 서비스 요청 메시지 생성부(350)는 상기 입력부(320)를 통해 부가 서비스가 요청되면, 해당 시점의 채널 ID 및 EID를 포함하는 부가 서비스 요청 메시지를 생성하여 상기 통신부(310)를 통해 상기 통신 컨텐츠 제공 서버에 전송되도록 한다. 여기서, 상기 부가 서비스 요청 메시지는 부가 서비스를 요청한 시점의 PTS를 포함할 수도 있다. When an additional service is requested through the input unit 320, the service request message generator 350 generates an additional service request message including a channel ID and an EID at a corresponding time, and transmits the communication content through the communication unit 310. To be sent to the provisioning server. Here, the additional service request message may include a PTS at the time of requesting the additional service.

상기 진행 시간 계산부(360)는 상기 서비스 요청 메시지 생성부(350)에서 생성된 부가 서비스 요청 메시지에 대한 응답으로 상기 통신 컨텐츠 제공 서버로부터 시작 PTS를 포함하는 부가 서비스 정보가 수신되면, 상기 시작 PTS와 서비스 요청 시점의 PTS를 이용하여 서비스 요청 시점까지의 방송 진행 시간을 계산한다. The advancing time calculator 360 receives the additional service information including the starting PTS from the communication content providing server in response to the additional service request message generated by the service request message generating unit 350. And using the PTS at the time of the service request, calculates the broadcast progress time until the service request.

즉, 상기 진행 시간 계산부(360)는 상기 서비스 요청 시점의 PTS와 시작 PTS와의 차를 이용하여 서비스 요청 시점까지의 방송 진행 시간을 계산한다.That is, the progress time calculation unit 360 calculates a broadcast progress time until the service request time by using the difference between the PTS at the service request time and the start PTS.

상기 부가 정보 추출부(370)는 상기 통신 컨텐츠 제공 서버로부터 전송된 부가 서비스 정보에서 상기 진행 시간 계산부(360)에서 계산된 프로그램 진행 시간이 지난 시점에 해당하는 부가 정보를 추출하여 상기 출력부(340)를 통해 출력되도록 한다. The additional information extracting unit 370 extracts additional information corresponding to a time point when the program progress time calculated by the progress time calculating unit 360 is passed from the additional service information transmitted from the communication content providing server, and outputs the information to the output unit ( To be output through 340.

상기 동기화 보정부(380)는 방송 컨텐츠와 상기 부가 정보 추출부(370)에서 추출된 부가 정보가 출력되는 중에 상기 입력부(320)를 통해 동기화 보정이 요청되면, 동기화 보정을 위한 PTS 증감분을 계산하고, 상기 계산된 PTS 증감분에 따라 해당 부가 정보를 출력하는 역할을 수행한다. The synchronization correction unit 380 calculates a PTS increment for synchronization correction when a synchronization correction is requested through the input unit 320 while broadcasting content and additional information extracted from the additional information extraction unit 370 are output. And outputs corresponding additional information according to the calculated PTS increment.

상기 동기화 보정 요청은 특정 버튼 등을 이용하여 입력할 수 있다. The synchronization correction request may be input using a specific button.

예를 들어, 오프셋(Offset) 단위시간을 a초라하고, 단위시간의 PTS 증가 또는 감소는 a/90000인 경우에 대하여 설명하기로 한다. For example, a case where the offset unit time is a second and the PTS increase or decrease of the unit time is a / 90000 will be described.

통신 단말기 사용자가 특정 버튼(볼륨+,- 등 Offset 시간의 조절을 가능하게 하는 입력버튼)을 통해 동기화 보정을 요청하면, 상기 동기화 보정부(380)는 해당 버튼을 한번 누를 때마다 a/90000의 PTS값을 증가 또는 감소시켜 그에 해당하는 부가 정보가 출력되도록 한다. When the user of the communication terminal requests a synchronization correction through a specific button (an input button for adjusting the offset time, such as volume + and-), the synchronization correction unit 380 presses the button once every time. The PTS value is increased or decreased so that additional information corresponding thereto is output.

즉, 오프셋 버튼을 n번 눌렀다면(같은 방향으로) 총 a*n초만큼 동기화 정도를 빠르게 또는 느리게 조절할 수 있으며 이때 상기 통신 단말기는 PTS를 a×n×90000 만큼 증가 또는 감소시켜 그에 해당하는 부가 정보를 출력시킨다.That is, if the offset button is pressed n times (in the same direction), the synchronization degree can be adjusted quickly or slowly by a total of a * n seconds, and the communication terminal increases or decreases the PTS by a × n × 90000 so that the corresponding addition is performed. Print information.

실제적인 계산은 구해진 PTS 증감분을 부가 정보 시작의 기준이 되는 시작PTS값에 + 또는 - 한다. 그러면, 해당 부가 정보가 해당 방송화면보다 빠르게 또는 느리게 출력된다. 상기와 같이 통신 단말기에서의 간단한 키조작에 의한 PTS 연산을 통해 통신 컨텐츠 제공 서버 또는 방송센터, 부가 정보와 상관없이 동기화를 조절할 수 있다. The actual calculation adds the obtained PTS increments to or from the starting PTS value, which is the basis of the start of the side information. Then, the additional information is output faster or slower than the corresponding broadcast screen. As described above, synchronization may be controlled regardless of a communication content providing server, a broadcasting center, and additional information through a PTS operation by simple key manipulation in a communication terminal.

도 4는 본 발명에 따른 방송 컨텐츠와 부가 정보의 동기화 방법을 나타낸 흐름도이다.4 is a flowchart illustrating a method of synchronizing broadcast content and additional information according to the present invention.

도 4를 참조하면, 통신 단말기는 방송망을 통해 방송 컨텐츠를 수신하여 출력하는 중에(S400), 사용자에 의해 통신망을 통해 부가 서비스가 요청되면(S402), 채널 ID, EID를 포함하는 부가 서비스 요청 메시지를 생성하여 통신 컨텐츠 제공 서버에 전송한다(S404).Referring to FIG. 4, when the communication terminal receives and outputs broadcast content through the broadcasting network (S400), and the user requests an additional service through the communication network (S402), the communication terminal includes an additional service request message including a channel ID and an EID. Generate and transmit to the communication content providing server (S404).

즉, 상기 사용자는 통신 단말기를 이용하여 방송 컨텐츠를 시청하는 중에 상기 통신 컨텐츠 제공 서버에 접속을 요청하여, 상기 통신 컨텐츠 제공 서버와 접속되면, 해당 프로그램에서 제공하는 부가 서비스 목록 제공 화면이 디스플레이된다. 상기 사용자는 상기 디스플레이된 부가 서비스 목록 제공 화면을 통해 원하는 부가 서비스를 선택한다. That is, the user requests a connection to the communication content providing server while watching broadcast content using a communication terminal, and when the user is connected to the communication content providing server, an additional service list providing screen provided by the corresponding program is displayed. The user selects a desired additional service through the displayed additional service list providing screen.

그러면, 상기 통신 단말기는 현재 방송중인 프로그램에 대한 채널 ID, EID를 포함하는 부가 서비스 요청 메시지를 생성하여 상기 통신 컨텐츠 제공 서버에 전송한다. Then, the communication terminal generates an additional service request message including a channel ID and an EID for a currently broadcast program and transmits the additional service request message to the communication content providing server.

상기 통신 컨텐츠 제공 서버는 부가 서비스 요청 메시지가 수신되면(S406), 부가 정보 데이터베이스를 검색하여 상기 메시지에 포함된 채널 EID에 대한 시작 PTS와 해당 부가 정보를 추출한다(S408). 즉, 상기 부가 정보 데이터베이스에는 각 프로그램별 시작 PTS, 부가 정보 등이 등록되어 있으므로, 상기 통신 컨텐츠 제공 서버는 상기 메시지에 포함된 채널 EID에 대한 시작 PTS와 해당 부가 정보를 추출할 수 있다. When the additional content request server receives the additional service request message (S406), the communication content providing server searches the additional information database and extracts a start PTS for the channel EID included in the message and corresponding additional information (S408). That is, since the start PTS for each program and the additional information are registered in the additional information database, the communication content providing server may extract the start PTS for the channel EID included in the message and the corresponding additional information.

그런 다음 상기 통신 컨텐츠 제공 서버는 상기 추출된 시작 PTS와 해당 부가 정보를 포함하는 부가 서비스 정보를 상기 통신 단말기에 전송한다(S410).Then, the communication content providing server transmits additional service information including the extracted start PTS and corresponding additional information to the communication terminal (S410).

상기 통신 단말기는 시작 PTS와 부가 정보를 포함하는 부가 서비스 정보가 수신되면(S412), 상기 시작 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산한다(S414). 즉, 상기 통신 단말기는 부가 서비스를 요청한 시점에 대한 PTS를 저장하고 있으므로, 상기 서비스 요청 시점의 PTS와 상기 시작 PTS의 차를 이용하여 프로그램 진행 시간을 계산한다. When the communication terminal receives the additional service information including the starting PTS and the additional information (S412), the communication terminal calculates a program progress time up to the service request time using the starting PTS (S414). That is, since the communication terminal stores the PTS for the time of requesting the additional service, the program progress time is calculated using the difference between the PTS at the time of the service request and the start PTS.

그런 다음 상기 통신 단말기는 상기 부가 서비스 정보에 포함된 부가 정보에서 상기 계산된 프로그램 진행 시간에 해당하는 부가 정보를 추출하여 방송 화면상에 출력한다(S416).Thereafter, the communication terminal extracts additional information corresponding to the calculated program progress time from the additional information included in the additional service information and outputs the additional information on the broadcast screen (S416).

도 5는 본 발명의 일 실시예에 따른 사용자의 요청에 따라 방송 컨텐츠와 부가 정보를 동기화하는 방법을 나타낸 흐름도이다. 5 is a flowchart illustrating a method of synchronizing broadcast content and additional information according to a user request according to an embodiment of the present invention.

도 5를 참조하면, 단계 500부터 단계 516은 도 4에 도시된 단계 400부터 단계 416과 상응하므로 그 설명은 생략하기로 한다. Referring to FIG. 5, since step 500 to step 516 correspond to step 400 to step 416 shown in FIG. 4, a description thereof will be omitted.

단계 516의 수행 후, 통신 단말기는 사용자에 의해 추가의 부가 서비스 요청이 있는지를 판단한다(S518).After performing step 516, the communication terminal determines whether there is an additional additional service request by the user (S518).

단계 518의 판단결과 추가 부가 서비스 요청이 없으면, 상기 통신 단말기는 사용자에 의해 동기화 보정 요청이 있는지를 판단한다(S520).If there is no additional additional service request as a result of the determination in step 518, the communication terminal determines whether there is a synchronization correction request by the user (S520).

즉, 통신 컨텐츠 제공 서버로부터 전송된 부가 정보는 이미 만들어져 있으므로 시간의 지연 뿐 아니라 해당 방송 시점 이전에서도 정보를 얻을 수 있으므로, 부가 정보 요청에서 오프셋을 주어 원래 시점보다 빠르거나 느리게 정보를 표현할 수 있다. That is, since the additional information transmitted from the communication content providing server is already made, the information can be obtained not only in time delay but also before the corresponding broadcast time. Therefore, the information can be expressed faster or slower than the original time by giving an offset in the additional information request.

상기 사용자는 미리 정해진 버튼을 이용하여 동기화 보정을 요청할 수 있다. The user may request synchronization correction using a predetermined button.

단계 520의 판단결과 동기화 보정이 요청되면, 상기 통신 단말기는 동기화 보정을 위한 PTS 증감분을 계산한다(S522). 즉, 상기 통신 단말기는 상기 동기화 보정을 위한 버튼의 눌러진 회수를 이용하여 동기화 보정을 위한 PTS 증감분을 계산한다. As a result of the determination of step 520, when the synchronization correction is requested, the communication terminal calculates a PTS increment for the synchronization correction (S522). That is, the communication terminal calculates the PTS increments for synchronization correction by using the number of times the button for synchronization correction is pressed.

단계 522의 수행 후, 상기 통신 단말기는 상기 계산된 PTS 증감분에 따른 해당 부가 정보를 출력한다(S524). 즉, 상기 통신 단말기는 상기 출력되는 부가 정보를 상기 계산된 PTS 증감분에 따라 빠르게 또는 느리게 하여 출력한다. After performing step 522, the communication terminal outputs corresponding additional information according to the calculated PTS increment (S524). That is, the communication terminal outputs the additional information to be output quickly or slowly according to the calculated PTS increment.

예를들어, 오프셋(Offset) 단위시간을 a초, 버튼입력횟수를 n이면, 보정요청 PTS의 차이()는 a×n×90000일 수 있다. 그러면, 상기 통신 단말기는 상기 를 통해 시작 PTS의 값을 변경시킨다. 해당 부가 정보를 빠르게 보고 싶을때는, 시작 PTS를 시작PTS + 로 변경하고, 해당 부가 정보를 느리게 보고 싶을때는 시작 PTS를 시작PTS - 로 변경한다.For example, if the offset unit time is a second and the number of button inputs is n, the difference of the correction request PTS ( ) May be a × n × 90000. Then, the communication terminal is Change the value of the starting PTS. If you want to see the additional information quickly, start PTS + PTS + If you want to see the additional information slowly, start PTS- Change to

또한, 상기 통신 단말기는 시작PTS를 그대로 두고 부가 정보 시작시간을 만큼 빼거나 더하여도 같은 효과를 얻을 수 있다.In addition, the communication terminal leaves the start PTS as it is and provides the start time of additional information. You can get the same effect by subtracting or adding as much.

상기와 같이 보정된 PTS값을 기준으로 부가 정보의 서비스를 해당 화면에 출력시키면 사용자의 요청에 의한 보정된 동기화 시간 흐름에 따른 서비스 제공이 가능해진다.When the service of the additional information is output on the screen based on the corrected PTS value as described above, the service can be provided according to the corrected synchronization time flow at the request of the user.

도 6은 본 발명의 다른 실시예에 따른 방송 컨텐츠와 부가 정보의 동기화 방법을 나타낸 흐름도이다.6 is a flowchart illustrating a method of synchronizing broadcast content and additional information according to another embodiment of the present invention.

도 6을 참조하면, 통신 단말기는 방송망을 통해 방송 컨텐츠를 수신하여 출력하는 중에(S600), 사용자에 의해 통신망을 통해 부가 서비스가 요청되면(S602), 채널 ID, EID, 서비스 요청 시점의 PTS를 포함하는 부가 서비스 요청 메시지를 생성하여 통신 컨텐츠 제공 서버에 전송한다(S604).Referring to FIG. 6, while receiving and outputting broadcast content through a broadcasting network (S600), when a supplementary service is requested through a communication network (S602), the communication terminal displays a channel ID, an EID, and a PTS at the time of requesting a service. The additional service request message is generated and transmitted to the communication content providing server (S604).

즉, 상기 사용자는 통신 단말기를 이용하여 방송 컨텐츠를 시청하는 중에 상기 통신 컨텐츠 제공 서버에 접속을 요청하여, 상기 통신 컨텐츠 제공 서버와 접속되면, 해당 프로그램에서 제공하는 부가 서비스 목록 제공 화면이 디스플레이된다. 상기 사용자는 상기 디스플레이된 부가 서비스 목록 제공 화면을 통해 원하는 부가 서비스를 선택한다. That is, the user requests a connection to the communication content providing server while watching broadcast content using a communication terminal, and when the user is connected to the communication content providing server, an additional service list providing screen provided by the corresponding program is displayed. The user selects a desired additional service through the displayed additional service list providing screen.

그러면, 상기 통신 단말기는 현재 방송중인 프로그램에 대한 채널 ID, EID, 서비스 요청 시점의 PTS를 포함하는 부가 서비스 요청 메시지를 생성하여 상기 통신 컨텐츠 제공 서버에 전송한다. Then, the communication terminal generates an additional service request message including a channel ID, an EID, and a PTS at the time of the service request for the currently broadcast program, and transmits the additional service request message to the communication content providing server.

상기 통신 컨텐츠 제공 서버는 부가 서비스 요청 메시지가 수신되면(S606), 부가 정보 데이터베이스를 검색하여 상기 메시지에 포함된 채널 EID에 대한 시작 PTS를 검색한다(S608).When receiving the additional service request message (S606), the communication content providing server searches the additional information database to search for a start PTS for the channel EID included in the message (S608).

그런다음 상기 통신 컨텐츠 제공 서버는 상기 검색된 시작 PTS와 상기 서비스 요청 시점의 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산한다(S610). 즉, 상기 통신 컨텐츠 제공 서버는 부가 서비스를 요청한 시점에 대한 PTS를 수신하였으므로, 상기 서비스 요청 시점의 PTS와 상기 시작 PTS의 차를 이용하여 프로그램 진행 시간을 계산한다. Then, the communication content providing server calculates a program progress time up to a service request time using the searched start PTS and the PTS at the service request time (S610). That is, since the communication content providing server receives the PTS for the time of requesting the additional service, the program progress time is calculated using the difference between the PTS at the time of the service request and the start PTS.

그런 다음 상기 통신 컨텐츠 제공 서버는 상기 부가 정보 데이터베이스를 검색하여 상기 계산된 프로그램 진행 시간에 해당하는 부가 정보를 추출하여 상기 통신 단말기에 전송한다(S612).Then, the communication content providing server searches the additional information database, extracts additional information corresponding to the calculated program progress time, and transmits the additional information to the communication terminal (S612).

상기 통신 단말기는 상기 통신 컨텐츠 제공 서버로부터 부가 정보가 수신되면(S614), 방송 화면상에 상기 수신된 부가 정보를 출력한다(S616).When the additional information is received from the communication content providing server (S614), the communication terminal outputs the received additional information on a broadcast screen (S616).

도 7은 본 발명의 다른 실시예에 따른 사용자의 요청에 따라 방송 컨텐츠와 부가 정보를 동기화하는 방법을 나타낸 흐름도이다. 7 is a flowchart illustrating a method of synchronizing broadcast content and additional information according to a user's request according to another embodiment of the present invention.

도 7을 참조하면, 단계 700부터 단계 716은 도 6에 도시된 단계 600부터 단계 616과 상응하므로 그 설명은 생략하기로 한다. Referring to FIG. 7, since steps 700 to 716 correspond to steps 600 to 616 shown in FIG. 6, a description thereof will be omitted.

단계 716의 수행 후, 통신 단말기는 사용자에 의해 추가의 부가 서비스 요청이 있는지를 판단한다(S718).After performing step 716, the communication terminal determines whether there is an additional additional service request by the user (S718).

단계 718의 판단결과 추가 부가 서비스 요청이 없으면, 상기 통신 단말기는 사용자에 의해 동기화 보정 요청이 있는지를 판단한다(S720).If there is no additional additional service request as a result of the determination in step 718, the communication terminal determines whether there is a synchronization correction request by the user (S720).

즉, 통신 컨텐츠 제공 서버로부터 전송된 부가 정보는 이미 만들어져 있으므로 시간의 지연 뿐 아니라 해당 방송 시점 이전에서도 정보를 얻을 수 있으므로, 부가 정보 요청에서 오프셋을 주어 원래 시점보다 빠르거나 느리게 정보를 표현할 수 있다. That is, since the additional information transmitted from the communication content providing server is already made, the information can be obtained not only in time delay but also before the corresponding broadcast time. Therefore, the information can be expressed faster or slower than the original time by giving an offset in the additional information request.

상기 사용자는 미리 정해진 버튼을 이용하여 동기화 보정을 요청할 수 있다. The user may request synchronization correction using a predetermined button.

단계 720의 판단결과 동기화 보정이 요청되면, 상기 통신 단말기는 동기화 보정을 위한 PTS 증감분을 계산한다(S722). 즉, 상기 통신 단말기는 상기 동기화 보정을 위한 버튼의 눌러진 회수를 이용하여 동기화 보정을 위한 PTS 증감분을 계산한다. As a result of the determination in step 720, when the synchronization correction is requested, the communication terminal calculates a PTS increment for the synchronization correction (S722). That is, the communication terminal calculates the PTS increments for synchronization correction by using the number of times the button for synchronization correction is pressed.

단계 722의 수행 후, 상기 통신 단말기는 상기 계산된 PTS 증감분에 따른 해당 부가 정보를 출력한다(S724). 즉, 상기 통신 단말기는 상기 출력되는 부가 정보를 상기 계산된 PTS 증감분에 따라 빠르게 또는 느리게 하여 출력한다. After performing step 722, the communication terminal outputs corresponding additional information according to the calculated PTS increments (S724). That is, the communication terminal outputs the additional information to be output quickly or slowly according to the calculated PTS increment.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art will appreciate that the present invention can be implemented in other specific forms without changing the technical spirit or essential features thereof. Therefore, the above-described embodiments are to be understood as illustrative in all respects and not as restrictive. The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. do.

이상과 같이 본 발명에 따른 방송 컨텐츠와 부가 정보의 동기화 방법 및 시스템은 시간적으로 동기화된 방송/통신 융합 서비스 제공시 기술적으로 나타날 수 있는 네트워크 지연, 프로세싱 지연, 시스템 지연 등에 의하여 통신 단말기에서 사용자가 체감하는 동기화가 정확히 표현되지 않을 경우 사용자의 요청에 의해 동기화의 오차를 조절하여 시간적으로 동기화된 서비스를 제공할 수 있는 기술에 적용할 수 있다. As described above, the method and system for synchronizing broadcast content and additional information according to the present invention are experienced by a user in a communication terminal due to a network delay, a processing delay, a system delay, and the like, which may technically appear when providing a synchronized broadcast / communication service in time. If the synchronization is not accurately represented, it can be applied to a technology that can provide a time-synchronized service by adjusting the error of synchronization at the request of a user.

Claims (19)

방송망을 통해 제공되는 방송 컨텐츠와 통신망을 통해 제공되는 부가 정보의 동기화 방법에 있어서, In the synchronization method of the broadcast content provided through the broadcasting network and the additional information provided through the communication network, (a)통신 단말기에서 방송 컨텐츠를 출력하는 중에 통신망을 통한 부가 서비스가 요청되면, 해당 채널 ID 및 프로그램 ID를 포함하는 부가 서비스 요청 메시지를 생성하여 통신 컨텐츠 제공 서버에 전송하는 단계;(a) if an additional service is requested through a communication network while outputting broadcast content from a communication terminal, generating an additional service request message including a corresponding channel ID and a program ID and transmitting the generated service request message to a communication content providing server; (b)상기 통신 컨텐츠 제공 서버에서 부가 서비스 요청 메시지가 수신되면, 구비된 부가 정보 데이터베이스를 검색하여 상기 메시지에 포함된 채널의 프로그램 ID에 대한 시작 PTS 및 해당 부가 정보를 추출하여 상기 통신 단말기에 전송하는 단계;및(b) When the additional service request message is received from the communication content providing server, the additional information database is searched, the start PTS for the program ID of the channel included in the message, and the corresponding additional information are extracted and transmitted to the communication terminal. Step; and (c)상기 통신 단말기에서 시작 PTS 및 부가 정보가 수신되면, 상기 시작 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산하고, 상기 수신된 부가 정보에서 상기 계산된 프로그램 진행 시간에 해당하는 부가 정보를 추출하여 방송 화면상에 출력하는 단계(c) If the start PTS and the additional information are received at the communication terminal, the program progress time until the service request point is calculated using the start PTS, and the additional time corresponding to the calculated program progress time is received from the received additional information. Extracting the information and outputting it on the broadcast screen 를 포함하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 방법.Method of synchronizing the broadcast content and the additional information comprising a. 제1항에 있어서, The method of claim 1, 상기 통신 단말기에서 상기 방송 화면상에 상기 부가 정보를 출력하는 중에 동기화 보정이 요청되면, 동기화 보정을 위한 PTS 증감분을 계산하고, 상기 계산된 PTS 증감분에 따라 해당 부가 정보를 앞으로 또는 뒤로 하여 출력하는 단계를 더 포함하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 방법.If a synchronization correction is requested while the communication terminal is outputting the additional information on the broadcast screen, calculating a PTS increment for synchronization correction and outputting the additional information forward or backward according to the calculated PTS increment. The method of synchronizing the broadcast content and the additional information further comprising. 제2항에 있어서,The method of claim 2, 상기 동기화 보정 요청은 미리 정해진 버튼을 이용하여 입력되는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 방법.And the synchronization correction request is input by using a predetermined button. 제2항에 있어서,The method of claim 2, 상기 동기화 보정을 위한 PTS 증감분은 보정 요청 PTS의 차이를 시작 PTS에 더하거나 빼서 구하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 방법.The method of synchronizing broadcast content and additional information according to claim 1, wherein the increment of PTS for synchronization correction is obtained by adding or subtracting a difference of a correction request PTS to a starting PTS. 제2항에 있어서,The method of claim 2, 상기 동기화 보정을 위한 PTS 증감분은 보정 요청 PTS의 차이를 동기화 보정 요청 시점의 PTS에 더하거나 빼서 구하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 방법.The PTS increment for the synchronization correction is obtained by adding or subtracting the difference between the correction request PTSs to the PTS at the time of the synchronization correction request. 제1항에 있어서, The method of claim 1, 상기 (a)단계는, In step (a), 방송 컨텐츠를 출력하는 중에 상기 통신 컨텐츠 제공 서버에 접속을 요청하여 통신 컨텐츠 제공 서버와 접속되면, 부가 서비스 목록 제공 화면을 디스플레이하는 단계;Requesting access to the communication content providing server while outputting broadcast content, and displaying an additional service list providing screen when connected to the communication content providing server; 상기 디스플레이된 부가 서비스 목록 제공 화면을 통해 원하는 부가 서비스가 선택되면, 현재 방송중인 프로그램에 대한 채널 ID 및 프로그램 ID를 포함하는 부가 서비스 요청 메시지를 생성하여 상기 통신 컨텐츠 제공 서버에 전송하는 단계를 포함하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 방법.If a desired additional service is selected through the displayed additional service list providing screen, generating an additional service request message including a channel ID and a program ID for a currently broadcast program, and transmitting the generated additional service request message to the communication content providing server. And a broadcast content and additional information. 제1항에 있어서, The method of claim 1, 상기 (c)단계는,Step (c) is, 상기 시작 PTS 및 부가 정보가 수신되면, 서비스 요청 시점의 PTS와 상기 시작 PTS의 차를 이용하여 프로그램 진행 시간을 계산하는 단계;If the start PTS and the additional information are received, calculating a program progress time using a difference between the PTS at the time of the service request and the start PTS; 상기 부가 정보에서 상기 계산된 프로그램 진행 시간에 해당하는 부가 정보를 추출하여 방송 화면상에 출력하는 단계를 포함하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 방법.And extracting additional information corresponding to the calculated program progress time from the additional information and outputting the additional information on a broadcast screen. 방송망을 통해 제공되는 방송 컨텐츠와 통신망을 통해 제공되는 부가 정보의 동기화 방법에 있어서, In the synchronization method of the broadcast content provided through the broadcasting network and the additional information provided through the communication network, (a)통신 단말기에서 방송 컨텐츠를 출력하는 중에 통신망을 통한 부가 서비스가 요청되면, 해당 채널 ID, 프로그램 ID 및 서비스 요청 시점의 PTS를 포함하는 부가 서비스 요청 메시지를 생성하여 통신 컨텐츠 제공 서버에 전송하는 단계;(a) When an additional service is requested through a communication network while outputting broadcast content from a communication terminal, an additional service request message including a corresponding channel ID, a program ID, and a PTS at the time of service request is generated and transmitted to the communication content providing server. step; (b)상기 통신 컨텐츠 제공 서버에서 부가 서비스 요청 메시지가 수신되면, 구비된 부가 정보 데이터베이스를 검색하여 상기 메시지에 포함된 채널의 프로그램 ID에 대한 시작 PTS를 검색하는 단계;(b) searching for a start PTS for a program ID of a channel included in the message by searching an additional information database provided when an additional service request message is received at the communication content providing server; (c)상기 통신 컨텐츠 제공 서버에서 상기 검색된 시작 PTS 및 서비스 요청 시점의 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산하고, 부가 정보 데이터베이스를 검색하여 상기 계산된 프로그램 진행 시간에 해당하는 부가 정보를 추출하여 상기 통신 단말기에 전송하는 단계;및(c) the communication content providing server calculates a program progress time up to a service request point by using the searched start PTS and a PTS of a service request point, and searches an additional information database to add the corresponding program progress time. Extracting information and transmitting the extracted information to the communication terminal; and (d)상기 통신 단말기에서 통신 컨텐츠 제공 서버로부터 부가 정보가 수신되면, 방송 화면상에 상기 수신된 부가 정보를 출력하는 단계(d) if the communication terminal receives additional information from a communication content providing server, outputting the received additional information on a broadcast screen; 를 포함하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 방법.Method of synchronizing the broadcast content and the additional information comprising a. 제8항에 있어서, The method of claim 8, 상기 통신 단말기에서 상기 방송 화면상에 상기 부가 정보를 출력하는 중에 동기화 보정이 요청되면, 동기화 보정을 위한 PTS 증감분을 계산하고, 상기 계산된 PTS 증감분에 따라 해당 부가 정보를 앞으로 또는 뒤로 하여 출력하는 단계를 더 포함하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 방법.If a synchronization correction is requested while the communication terminal is outputting the additional information on the broadcast screen, calculating a PTS increment for synchronization correction and outputting the additional information forward or backward according to the calculated PTS increment. The method of synchronizing the broadcast content and the additional information further comprising. 제8항에 있어서, The method of claim 8, 상기 서비스 요청 시점까지의 프로그램 진행 시간은 상기 서비스 요청 시점의 PTS와 상기 시작 PTS의 차를 이용하여 구하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 방법.The program progress time until the service request time is obtained by using a difference between the PTS at the service request time and the start PTS. 방송망을 통해 제공되는 방송 컨텐츠를 출력하는 통신 단말기에 방송 컨텐츠와 동기화된 부가 정보를 통신망을 통해 제공하는 통신 컨텐츠 제공 서버에 있어서, A communication content providing server for providing additional information synchronized with broadcast content through a communication network to a communication terminal that outputs broadcast content provided through a broadcasting network. 상기 통신 단말기와의 통신을 위한 통신부;A communication unit for communicating with the communication terminal; 상기 방송 컨텐츠와 연계된 부가 정보가 저장된 부가 정보 데이터베이스;An additional information database storing additional information associated with the broadcast content; 상기 통신부를 통해 부가 서비스 요청 메시지가 수신되면, 상기 메시지에 포함된 채널의 프로그램 ID에 대한 시작 PTS를 상기 부가 정보 데이터베이스를 검색하여 추출하는 시작 PTS 검색부;및When the additional service request message is received through the communication unit, a start PTS search unit for searching and extracting the additional information database starting PTS for the program ID of the channel included in the message; And 상기 시작 PTS 검색부에서 검색된 시작 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산하고, 상기 채널의 프로그램 ID에 해당하는 부가 정보 중에서 상기 계산된 프로그램 진행 시간에 해당하는 부가 정보를 부가 정보 데이터베이스에서 추출하여 통신부에 전송하는 부가 정보 추출부The program progress time until the service request point is calculated using the start PTS searched by the start PTS search unit, and additional information corresponding to the calculated program progress time is added from the additional information corresponding to the program ID of the channel. Information extraction unit to extract from the data transmission to the communication unit 를 포함하는 것을 특징으로 하는 통신 컨텐츠 제공 서버.Communication content providing server comprising a. 제11항에 있어서, The method of claim 11, 상기 부가 정보 데이터베이스에는 각 채널의 프로그램 ID별 시작 PTS와 그에 대한 부가 정보가 맵핑되어 있는 것을 특징으로 하는 통신 컨텐츠 제공 서버.And the additional PTS for each program ID of each channel and additional information thereof are mapped in the additional information database. 제11항에 있어서, The method of claim 11, 상기 부가 서비스 요청 메시지는 채널 ID, 프로그램 ID, 서비스 요청 시점의 PTS 중 적어도 하나를 포함하는 것을 특징으로 하는 통신 컨텐츠 제공 서버.The additional service request message includes at least one of a channel ID, a program ID, and a PTS at the time of a service request. 통신부, 입력부 및 출력부가 구비되어 방송망을 통해 제공되는 방송 컨텐츠와 통신망을 통해 제공되는 부가 정보를 동기화하여 출력하는 통신 단말기에 있어서, A communication terminal having a communication unit, an input unit, and an output unit for synchronizing and outputting broadcast content provided through a broadcast network and additional information provided through a communication network, 상기 입력부를 통해 부가 서비스가 요청되면, 해당 시점의 채널 ID 및 프로그램 ID를 포함하는 부가 서비스 요청 메시지를 생성하여 상기 통신부를 통해 통신 컨텐츠 제공 서버에 전송하는 서비스 요청 메시지 생성부;A service request message generator for generating an additional service request message including a channel ID and a program ID at a corresponding time when the additional service is requested through the input unit, and transmitting the additional service request message to the communication content providing server through the communication unit; 상기 부가 서비스 요청 메시지에 대한 응답으로 통신 컨텐츠 제공 서버로부터 시작 PTS 및 해당 부가 정보를 포함하는 부가 서비스 정보가 수신되면, 상기 시작 PTS 및 서비스 요청 시점의 PTS를 이용하여 서비스 요청 시점까지의 방송 진행 시간을 계산하는 방송 진행 시간 계산부;When the additional service information including the starting PTS and the corresponding additional information is received from the communication content providing server in response to the additional service request message, a broadcast progress time until the service request time using the starting PTS and the PTS at the time of the service request. A broadcast progress time calculating unit calculating a; 상기 부가 서비스 정보내 부가 정보에서 상기 방송 진행 시간 계산부에서 계산된 방송 진행 시간이 지난 시점에 해당하는 부가 정보를 추출하여 상기 출력부를 통해 출력되도록 하는 부가 정보 추출부;및An additional information extractor configured to extract additional information corresponding to a time point when the broadcast progress time calculated by the broadcast progress time calculation unit is passed from the additional information in the additional service information and output the extracted additional information through the output unit; and 상기 방송 컨텐츠와 부가 정보 추출부에서 추출된 부가 정보가 출력되는 중에 상기 입력부를 통해 동기화 보정이 요청되면, 동기화 보정을 위한 PTS 증감분을 계산하고, 상기 계산된 PTS 증감분에 따라 해당 부가 정보를 출력하는 동기화 보정부If the synchronization correction is requested through the input unit while the broadcast content and the additional information extracted by the additional information extraction unit are output, calculating the PTS increment for synchronization correction and outputting the corresponding additional information according to the calculated PTS increment. Synchronization correction unit 를 포함하는 것을 특징으로 하는 통신 단말기.Communication terminal comprising a. 제14항에 있어서, The method of claim 14, 상기 방송 진행 시간 계산부는 상기 서비스 요청 시점의 PTS와 시작 PTS의 차를 이용하여 서비스 요청 시점까지의 방송 진행 시간을 계산하는 것을 특징으로 하는 통신 단말기.And the broadcast progress time calculator calculates a broadcast progress time until a service request time by using a difference between the PTS at the time of the service request and the start PTS. 제14항에 있어서, The method of claim 14, 상기 동기화 보정부는 상기 구해진 PTS 증감분을 부가 정보 시작의 기준이 되는 시작 PTS에 + 또는 -하여 해당 부가 정보가 해당 방송화면보다 빠르게 또는 느리게 출력되게 하는 것을 특징으로 하는 통신 단말기. And the synchronization correction unit adds the obtained PTS increments to or from the start PTS, which is a reference for starting additional information, so that the additional information is output faster or slower than the corresponding broadcast screen. 제14항에 있어서, The method of claim 14, 상기 동기화 보정부는 상기 구해진 PTS 증감분을 현재 PTS에 + 또는 -하여 해당 부가 정보가 해당 방송화면보다 빠르게 또는 느리게 출력되게 하는 것을 특징으로 하는 통신 단말기.And the synchronization correction unit adds the obtained PTS increments to or from the current PTS so that the additional information is output faster or slower than the corresponding broadcast screen. 방송망을 통해 제공되는 방송 컨텐츠와 통신망을 통해 제공되는 부가 정보를 동기화하기 위한 시스템에 있어서, A system for synchronizing broadcast content provided through a broadcasting network with additional information provided through a communication network, 방송 컨텐츠를 출력하는 중에 통신망을 통한 부가 서비스가 요청되면, 해당 채널 ID 및 프로그램 ID를 포함하는 부가 서비스 요청 메시지를 생성하여 통신 컨텐츠 제공 서버에 전송하고, 상기 통신 컨텐츠 제공 서버로부터 시작 PTS 및 부가 정보가 수신되면, 상기 시작 PTS를 이용하여 서비스 요청 시점까지의 프로그램 진행 시간을 계산하고, 상기 수신된 부가 정보에서 상기 계산된 프로그램 진행 시간에 해당하는 부가 정보를 추출하여 방송 화면상에 출력하는 통신 단말기;When an additional service is requested through a communication network while outputting broadcast content, an additional service request message including a corresponding channel ID and a program ID is generated and transmitted to a communication content providing server, and the starting PTS and the additional information are transmitted from the communication content providing server. Is received, calculates a program progress time until the service request time using the start PTS, and extracts additional information corresponding to the calculated program progress time from the received additional information and outputs it on the broadcast screen ; 상기 통신 단말기로부터 부가 서비스 요청 메시지가 수신되면, 구비된 부가 정보 데이터베이스를 검색하여 상기 메시지에 포함된 채널 ID의 프로그램 ID에 대한 시작 PTS 및 해당 부가 정보를 추출하여 상기 통신 단말기에 전송하는 통신 컨텐츠 제공 서버When the additional service request message is received from the communication terminal, search for the additional information database provided to provide a communication content for extracting the start PTS for the program ID of the channel ID included in the message and the additional information and transmitting the additional information to the communication terminal. server 를 포함하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 시스템.System for synchronizing the broadcast content and additional information, comprising a. 제18항에 있어서, The method of claim 18, 상기 통신 단말기는 방송 컨텐츠와 부가 정보를 방송 화면상에 출력하는 중에 동기화 보정이 요청되면, 동기화 보정을 위한 PTS 증감분을 계산하고, 상기 계산된 PTS 증감분에 따라 해당 부가 정보를 출력하는 것을 특징으로 하는 방송 컨텐츠와 부가 정보의 동기화 시스템.When the synchronization correction is requested while outputting the broadcast content and the additional information on the broadcast screen, the communication terminal calculates the PTS increment for synchronization correction and outputs the additional information according to the calculated PTS increment. Synchronization system of broadcast content and additional information.
KR1020080017097A 2008-02-26 2008-02-26 Method and System for synchronization between broadcasting contents and data information KR101436887B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080017097A KR101436887B1 (en) 2008-02-26 2008-02-26 Method and System for synchronization between broadcasting contents and data information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080017097A KR101436887B1 (en) 2008-02-26 2008-02-26 Method and System for synchronization between broadcasting contents and data information

Publications (2)

Publication Number Publication Date
KR20090091892A true KR20090091892A (en) 2009-08-31
KR101436887B1 KR101436887B1 (en) 2014-09-02

Family

ID=41209088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080017097A KR101436887B1 (en) 2008-02-26 2008-02-26 Method and System for synchronization between broadcasting contents and data information

Country Status (1)

Country Link
KR (1) KR101436887B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011027935A1 (en) * 2009-09-07 2011-03-10 에스케이 텔레콤주식회사 Signal interference minimizing system and method for broadcasting and telecommunication convergence section within short-range area, and device applied thereto
WO2012070902A3 (en) * 2010-11-24 2012-07-19 엘지전자 주식회사 Video display device and control method thereof
WO2012128563A3 (en) * 2011-03-22 2013-01-03 한국전자통신연구원 Heterogeneous network-based linked broadcast content transmitting/receiving device and method
WO2013015546A3 (en) * 2011-07-25 2013-03-21 주식회사 아이플래테아코리아 Method and system for providing additional information on broadcasting content
KR102181005B1 (en) * 2020-01-06 2020-11-19 쉐어잇 주식회사 Broadcast system and method having time synchronization function

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100589823B1 (en) 2003-02-19 2006-06-14 비브콤 인코포레이티드 Method and apparatus for fast metadata generation, delivery and access for live broadcast program
KR100646851B1 (en) * 2004-11-03 2006-11-23 한국전자통신연구원 Terrestrial DMB broadcasting tranceiving System for synchronizing data service with audio/video service
KR100718011B1 (en) * 2005-07-19 2007-05-14 에스케이 텔레콤주식회사 System and Method for Providing Supplement Information classified by Broadcasting Program
KR100783267B1 (en) 2006-04-18 2007-12-06 주식회사 케이티프리텔 System and method for providing value added service in digital multimedia broadcasting

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011027935A1 (en) * 2009-09-07 2011-03-10 에스케이 텔레콤주식회사 Signal interference minimizing system and method for broadcasting and telecommunication convergence section within short-range area, and device applied thereto
US8798033B2 (en) 2009-09-07 2014-08-05 Sk Telecom Co., Ltd. System and method for minimizing signal interference between broadcasting signals and communication signals within local area and apparatus applied to the same
WO2012070902A3 (en) * 2010-11-24 2012-07-19 엘지전자 주식회사 Video display device and control method thereof
US8848108B2 (en) 2010-11-24 2014-09-30 Lg Electronics Inc. Video display device and control method thereof
US9154668B2 (en) 2010-11-24 2015-10-06 Lg Electronics Inc. Video display device and control method thereof
US9253372B2 (en) 2010-11-24 2016-02-02 Lg Electronics Inc. Video display device and control method thereof
US10080046B2 (en) 2010-11-24 2018-09-18 Lg Electronics Inc. Video display device and control method thereof
WO2012128563A3 (en) * 2011-03-22 2013-01-03 한국전자통신연구원 Heterogeneous network-based linked broadcast content transmitting/receiving device and method
WO2013015546A3 (en) * 2011-07-25 2013-03-21 주식회사 아이플래테아코리아 Method and system for providing additional information on broadcasting content
KR101248844B1 (en) * 2011-07-25 2013-04-01 주식회사 아이플래테아코리아 Method for providing additional information of broadcasting contents and system thereof
US9301006B2 (en) 2011-07-25 2016-03-29 Iplateiakorea Co., Ltd. Method and system for providing additional information on broadcasting content
KR102181005B1 (en) * 2020-01-06 2020-11-19 쉐어잇 주식회사 Broadcast system and method having time synchronization function

Also Published As

Publication number Publication date
KR101436887B1 (en) 2014-09-02

Similar Documents

Publication Publication Date Title
US20220303599A1 (en) Synchronizing Program Presentation
KR101253546B1 (en) System and method for synchronization between broadcasting contents and data information
US8407741B2 (en) System, server and method for providing supplementary information service related to broadcast content
CN102170584A (en) Method, device and system for playing media between synchronic HS (HTTP (HyperText Transfer Protocol) Streaming) terminal equipment
KR20090091892A (en) Method and system for synchronization between broadcasting contents and data information
CN102232300B (en) Send based on peer-to-peer communications and receive the method and apparatus of personal broadcaster data
CN114402572B (en) Using in-band metadata as a basis for accessing reference fingerprints to facilitate content-related actions
US20130031580A1 (en) Apparatus and method for inserting advertisement in a broadcasting system
CN111343477A (en) Data transmission method and device, electronic equipment and storage medium
EP2436178B1 (en) Method and apparatus for distributing a multimedia content
KR100828297B1 (en) System and method for synchronization between broadcasting contents and communication contents using image recognition
US20230010310A1 (en) Content modification system with viewer behavior-based content delivery selection feature
KR100864483B1 (en) System and method for synchronization between broadcasting contents and data information
KR20200053177A (en) Method and Apparatus for Switching Media Service Channel Using Time Information Change
CN104883608B (en) A kind of method for pushing and supplying system
JP2016046624A (en) Content distribution server, receiver and content distribution program
KR20200053178A (en) Method and Apparatus for Switching Media Service Channel
CN104869434A (en) Method/terminals used for transmitting multimedia flows, playing device and server
KR100864908B1 (en) System and method for producting communication network -based bifs service, and server applied to the same
KR100889198B1 (en) System and method for linking ppl information based on communication network with broadcast program, and broadcast receiving terminal applied to the same
Kim et al. Timing control for synchronizing multimedia streaming over heterogeneous networks
JP6210719B2 (en) CONTENT DISTRIBUTION SERVER AND ITS PROGRAM, CONTENT RECEIVING DEVICE AND ITS PROGRAM
KR20160086121A (en) Method for changing sound of iptv contents, server and computer program

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180817

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190806

Year of fee payment: 6