KR100726612B1 - Data related to digital multimedia broadcasting transmitting system and method thereof - Google Patents

Data related to digital multimedia broadcasting transmitting system and method thereof Download PDF

Info

Publication number
KR100726612B1
KR100726612B1 KR1020050068426A KR20050068426A KR100726612B1 KR 100726612 B1 KR100726612 B1 KR 100726612B1 KR 1020050068426 A KR1020050068426 A KR 1020050068426A KR 20050068426 A KR20050068426 A KR 20050068426A KR 100726612 B1 KR100726612 B1 KR 100726612B1
Authority
KR
South Korea
Prior art keywords
broadcast program
data
dmb
broadcast
information
Prior art date
Application number
KR1020050068426A
Other languages
Korean (ko)
Other versions
KR20070013801A (en
Inventor
이군섭
이동학
김성근
오세현
이명성
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020050068426A priority Critical patent/KR100726612B1/en
Publication of KR20070013801A publication Critical patent/KR20070013801A/en
Application granted granted Critical
Publication of KR100726612B1 publication Critical patent/KR100726612B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/65—Arrangements characterised by transmission systems for broadcast
    • H04H20/71—Wireless systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/10—Aspects of broadcast communication characterised by the type of broadcast system
    • H04H2201/11—Aspects of broadcast communication characterised by the type of broadcast system digital multimedia broadcasting [DMB]

Abstract

DMB에서의 방송 채널정보와 독립적 또는 부가적으로 연동되는 데이터 정보를 전송하는 DMB 연동 데이터 전송 시스템 및 그 방법이 개시된다. 이를 위하여, 방송프로그램을 방송망을 통해 송출하는 방송서버를 포함하는 DMB 연동 데이터 전송 시스템은, 상기 방송프로그램을 방송망을 통해서 수신하고, 상기 방송프로그램과 관련 있는 데이터정보를 통신망을 통해 송수신하며, 상기 통신망을 통해 무선인터넷에 접속하는 무선단말기; 및 상기 방송서버와 방송프로그램 및 데이터 정보를 공유하고, 상기 통신망을 통해 상기 방송프로그램과 관련 있는 데이터정보를 무선단말기와 송수신하는 통신서버를 포함하여, 방송프로그램 관련 데이터를 통신망을 통해 전달하고, 상기 데이터를 방송프로그램과 연계시켜 활용할 수 있다.Disclosed are a DMB interworking data transmission system and method for transmitting data information independently or additionally interlocked with broadcast channel information in a DMB. To this end, the DMB interworking data transmission system including a broadcast server for transmitting a broadcast program through a broadcast network, receiving the broadcast program through a broadcast network, and transmits and receives data information associated with the broadcast program through a communication network, the communication network Wireless terminal for accessing the wireless Internet through; And a communication server that shares broadcast program and data information with the broadcast server, and transmits and receives data information related to the broadcast program with a wireless terminal through the communication network, and transmits broadcast program related data through a communication network. Data can be used in conjunction with broadcast programs.

DMB, 방송프로그램, 이미지 선택, DMB, program, image selection,

Description

ＤＭＢ 연동 데이터 전송 시스템 및 그 방법{DATA RELATED TO DIGITAL MULTIMEDIA BROADCASTING TRANSMITTING SYSTEM AND METHOD THEREOF}DMB interlocking data transmission system and method thereof {DATA RELATED TO DIGITAL MULTIMEDIA BROADCASTING TRANSMITTING SYSTEM AND METHOD THEREOF}

도1은 본 발명의 바람직한 실시예에 따른 DMB 연동 데이터 전송 시스템의 구성을 나타내는 도면.1 is a diagram showing the configuration of a DMB interworking data transmission system according to a preferred embodiment of the present invention.

도2는 본 발명의 일 실시예에 따른 DMB 연동 데이터 전송 방법을 나타내는 순서도.2 is a flowchart illustrating a DMB interworking data transmission method according to an embodiment of the present invention.

도3 내지 도4는 본 발명의 일 실시예에 따라 무선단말기 화면상에 선택된 물체의 이미지를 표시하는 방법을 설명하는 도면.3 to 4 illustrate a method of displaying an image of a selected object on a screen of a wireless terminal according to an embodiment of the present invention.

도5는 본 발명의 다른 실시예에 따른 DMB 연동 데이터 전송 방법을 나타내는 순서도.5 is a flowchart illustrating a DMB interworking data transmission method according to another embodiment of the present invention.

도6은 본 발명의 다른 실시예에 따라 무선인터넷 브라우징 시 방송프로그램과 연동시키는 방법을 설명하는 도면.6 is a view for explaining a method of interworking with a broadcast program when browsing the Internet according to another embodiment of the present invention.

* 도면의 주요부분에 대한 부호설명** Explanation of Codes on Major Parts of Drawings *

100: 방송서버100: broadcast server

200: 이동통신서버200: mobile communication server

300: 무선단말기300: wireless terminal

본 발명은 데이터 전송 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 DMB에서의 방송 채널정보와 독립적 또는 부가적으로 연동되는 데이터 정보를 전송하는 DMB 연동 데이터 전송 시스템 및 그 방법에 관한 것이다. The present invention relates to a data transmission system and a method thereof, and more particularly, to a DMB interworking data transmission system and method for transmitting data information independently or additionally linked to broadcast channel information in the DMB.

DMB서비스는 가입자들이 옥외에서 또는 이동 중에도 무지향성 수신안테나를 장착한 개인 휴대용 또는 차량용 수신단말기를 통해 비디오, 오디오 및 데이터 등 다양한 멀티미디어 방송을 다채널로 시청하거나 청취할 수 있는 방송 서비스를 말한다.DMB service is a broadcasting service that allows subscribers to watch or listen to various multimedia broadcasts such as video, audio, and data through a personal portable or vehicle receiving terminal equipped with an omnidirectional receiving antenna outdoors or on the move.

상기 서비스는 종전의 아날로그 방송 형태를 디지털화 함으로써 고품질 CD 수준의 음질, 다양한 데이터 서비스, 양방향성, 우수한 이동수신 품질 등을 제공하게 되고 기존의 보고 듣는 방송 개념을 보고 듣고 참여하는 방송으로 확장 시켰으며, 데이터 방송을 통해 음악방송 외에도 뉴스, 교통정보, 기상정보, 지리위치정보, 동영상 정보 등과 같은 다양한 멀티미디어 정보를 문자와 그래픽으로 전송할 수 있게 되었다.By digitizing the previous analog broadcast type, the service provides high quality CD level sound quality, various data services, two-way interactivity, and excellent mobile reception quality. Through broadcasting, various multimedia information such as news, traffic information, weather information, geographic location information, video information, etc. can be transmitted in text and graphics.

이러한 DMB서비스는, 방송프로그램 및 방송프로그램 관련 데이터 전송 시, 독립형 데이터(NPAD: Non-Program Aided Data) 또는 연동형 데이터(PAD)의 형태에 상관없이 일방향(Unidirectional)으로 전송하였고, 이러한 일방향 전송은 그 전달매체로서 종래의 방송 채널을 활용하는 방식을 취함에 따라, 매체의 전달방식이나 그 활용방식에 있어서 제약이 되어 왔으며, 다양한 서비스 방식을 제한하는 문제점이 있었다.When the DMB service transmits broadcast program and broadcast program related data, the DMB service is transmitted in one direction regardless of the form of non-program Aided data (NPAD) or linked data (PAD). As a method of utilizing a conventional broadcast channel as the transmission medium, there have been limitations in the medium delivery method and its utilization method, and there is a problem of limiting various service methods.

따라서, 본 발명의 목적은, 방송망 및 통신망을 통해서 따로 전달되었던 연관성이 있는 정보간에 효율적으로 연결하는 DMB 연동 데이터 전송 시스템 및 그 방법을 제공하는 데 있다.Accordingly, it is an object of the present invention to provide a DMB interworking data transmission system and method for efficiently connecting related information that has been transmitted separately through a broadcasting network and a communication network.

또한, 본 발명의 다른 목적은, 효율적으로 연결된 연관성 있는 정보를 이용하여 T-커머스(Commerce) 서비스를 위한 DMB 연동 데이터 전송 시스템 및 그 방법을 제공하는 데 있다.Another object of the present invention is to provide a DMB interworking data transmission system and method for a T-Commerce service using efficiently connected related information.

상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따라 방송프로그램을 방송망을 통해 송출하는 방송서버를 포함하는 DMB 연동 데이터 전송 시스템은, 상기 방송프로그램을 방송망을 통해서 수신하고, 상기 방송프로그램과 관련 있는 데이터정보를 통신망을 통해 송수신하며, 상기 통신망을 통해 무선인터넷에 접속하는 무선단말기; 및 상기 방송서버와 방송프로그램 및 데이터 정보를 공유하고, 상기 통신망을 통해 상기 방송프로그램과 관련 있는 데이터정보를 무선단말기와 송수신하는 통신서버를 포함하는 것을 특징으로 한다.In order to achieve the above object, according to an embodiment of the present invention, a DMB interworking data transmission system including a broadcast server for transmitting a broadcast program through a broadcast network, receiving the broadcast program through a broadcast network, and associated with the broadcast program A wireless terminal for transmitting and receiving data information through a communication network and accessing the wireless Internet through the communication network; And a communication server that shares broadcast program and data information with the broadcast server and transmits and receives data information related to the broadcast program with a wireless terminal through the communication network.

여기서, 상기 무선단말기는, 상기 방송프로그램 시청 도중 특정 물체를 선택하는 인터페이스를 포함하는 것을 특징으로 한다.The wireless terminal may include an interface for selecting a specific object while watching the broadcast program.

이때, 상기 인터페이스는, 상기 무선인터넷 접속 중에 특정 물체를 선택하는 것을 특징으로 한다.In this case, the interface is characterized in that for selecting a specific object during the wireless Internet connection.

그리고, 상기 무선단말기는, 상기 선택된 물체에 대하여 추가적인 정보가 있 는 경우에 이를 사용자에 알리는 표시수단을 더 포함하는 것을 특징으로 하다.The wireless terminal may further include display means for informing the user of additional information about the selected object.

또한, 상기 무선단말기는, 상기 선택된 물체에 대하여 이미지 데이터를 생성하는 이미지 처리부; 및 상기 이미지 데이터를 상기 통신망을 통해 통신서버로 전송하는 통신모듈을 포함하는 것을 특징으로 한다.The wireless terminal may further include an image processor configured to generate image data of the selected object; And a communication module for transmitting the image data to a communication server through the communication network.

한편, 본 발명의 일 실시예에 따라 방송센터로부터 방송프로그램을 수신하고, 통신서버로부터 무선데이터를 송수신하는 무선단말기의 DMB 연동 데이터 전송 방법은, (A) 상기 방송프로그램을 디스플레이 도중 특정 물체에 대한 선택을 입력받는 단계; (B) 상기 물체에 대한 이미지 데이터를 생성하는 단계; 및 (C) 상기 생성된 이미지 데이터를 상기 통신서버로 전송하여 상기 이미지 데이터에 대한 데이터정보를 수신하는 단계를 포함하는 것을 특징으로 한다.Meanwhile, according to an embodiment of the present invention, a method for transmitting DMB-linked data of a wireless terminal that receives a broadcast program from a broadcasting center and transmits and receives wireless data from a communication server includes: (A) displaying a broadcast program for a specific object while displaying the broadcast program; Receiving a selection; (B) generating image data for the object; And (C) transmitting the generated image data to the communication server to receive data information on the image data.

여기서, 상기 방법은, (D) 상기 이미지 데이터와 관련된 해당 주소에 접속하는 단계를 더 포함하는 것을 특징으로 한다.The method may further include (D) accessing a corresponding address associated with the image data.

또한, 상기 (A) 단계는, 상기 물체의 윤곽선을 토대로 선택되는 것을 특징으로 한다.In addition, the step (A) is characterized in that selected based on the contour of the object.

또한, 상기 (A) 단계는, 상기 물체의 중심이 특정된 후, 반경을 입력받아 상기 물체 중심의 원형으로 선택되는 특징으로 한다.Also, in the step (A), after the center of the object is specified, a radius is received and a circle of the center of the object is selected.

그리고, 상기 (A) 단계는, 상기 물체의 중심을 기준으로 다각형으로 선택되는 것을 특징으로 한다.In addition, the step (A) is characterized in that the polygon is selected based on the center of the object.

한편, 본 발명의 다른 실시예에 따라 방송센터로부터 방송프로그램을 수신하고, 통신서버로부터 무선데이터를 송수신하는 무선단말기의 DMB 연동 데이터 전송 방법은, (A) 상기 무선데이터를 브라우징 하는 도중 특정 물체에 대한 선택을 입력받는 단계; (B) 상기 물체에 대한 이미지 데이터를 생성하는 단계; 및 (C) 상기 생성된 이미지 데이터를 상기 통신서버로 전송하여 상기 이미지 데이터에 대한 방송프로그램 정보 및/또는 방송 데이터정보를 수신하는 단계를 포함하는 것을 특징으로 한다.Meanwhile, according to another embodiment of the present invention, a method for transmitting DMB-linked data of a wireless terminal that receives a broadcast program from a broadcasting center and transmits and receives wireless data from a communication server includes: (A) a specific object while browsing the wireless data. Receiving a selection about; (B) generating image data for the object; And (C) transmitting the generated image data to the communication server to receive broadcast program information and / or broadcast data information for the image data.

또한, 상기 방법은, (D) 상기 이미지 데이터와 관련된 해당 주소에 접속하는 단계를 더 포함하는 것을 특징으로 한다.The method may further comprise (D) accessing a corresponding address associated with the image data.

이때, 상기 (A) 단계는, 상기 물체의 윤곽선을 토대로 선택되는 것을 특징으로 한다.In this case, step (A) is characterized in that the selection based on the contour of the object.

또한, 상기 (A) 단계는, 상기 물체의 중심이 특정된 후, 반경을 입력받아 상기 물체 중심의 원형으로 선택되는 특징으로 한다.Also, in the step (A), after the center of the object is specified, a radius is received and a circle of the center of the object is selected.

그리고, 상기 (A) 단계는, 상기 물체의 중심을 기준으로 다각형으로 선택되는 것을 특징으로 한다.In addition, the step (A) is characterized in that the polygon is selected based on the center of the object.

다른 한편, 방송센터로부터 방송프로그램을 수신하고, 상기 방송프로그램과 관련된 데이터정보를 송수신하며, 무선단말기로 상기 데이터정보를 제공하는 통신서버의 DMB 연동 데이터 전송 방법은, (A) 상기 무선단말기로부터 이미지 데이터를 수신하는 단계; (B) 상기 이미지 데이터에 대하여 상기 방송프로그램과 관련된 데이터 정보들 가운데 유사한 데이터정보 및/또는 방송프로그램을 추출하는 단계; 및 (C) 상기 추출된 방송프로그램 관련 데이터정보를 상기 무선단말기로 전송하는 단계를 포함하는 것을 특징으로 한다.On the other hand, DMB interworking data transmission method of a communication server that receives a broadcast program from a broadcast center, transmits and receives data information related to the broadcast program, and provides the data information to a wireless terminal, (A) the image from the wireless terminal Receiving data; (B) extracting similar data information and / or broadcast program among data information related to the broadcast program with respect to the image data; And (C) transmitting the extracted broadcast program related data information to the wireless terminal.

이하에서는, 첨부도면 및 바람직한 실시예를 참조하여 본 발명을 상세히 설명한다. 도면상에서 동일 또는 유사한 구성요소에 대하여는 동일한 참조번호를 부여하였다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings and preferred embodiments. Like reference numerals refer to like or similar elements throughout the drawings.

도1은 본 발명의 바람직한 실시예에 따른 DMB 연동 데이터 전송 시스템의 구성을 나타내는 도면이다.1 is a view showing the configuration of a DMB interworking data transmission system according to a preferred embodiment of the present invention.

도1에 도시한 바와 같이, 방송망을 통해 DMB를 송출하는 방송서버(100); 이동통신망을 운영하고, 이동통신망을 통해 상기 방송서버(100)와 연동되는 데이터(NPAD 또는 PAD)를 후술할 무선단말기(300)로 제공하는 이동통신서버(200); 및 상기 방송서버(100) 및 이동통신서버(200)와 연동 가능한 무선단말기(300)를 포함한다.As shown in Fig. 1, a broadcasting server 100 for transmitting DMB through a broadcasting network; A mobile communication server 200 which operates a mobile communication network and provides data (NPAD or PAD) interworking with the broadcast server 100 to the wireless terminal 300 to be described later through a mobile communication network; And a wireless terminal 300 interoperable with the broadcast server 100 and the mobile communication server 200.

방송서버(100)는 방송프로그램을 방송망을 통해 무선단말기(300)로 전송한다. 그리고, 방송서버(100)는 상기 방송프로그램과 데이터(NPAD 또는 PAD) 정보를 이동통신서버(200)와 공유한다. 이에 따라, 방송서버(100)에서는 대역외 채널(예, 이동통신망)을 통해 무선단말기(300)와 양방향처리가 가능하다.The broadcast server 100 transmits a broadcast program to the wireless terminal 300 through a broadcast network. The broadcast server 100 shares the broadcast program and data (NPAD or PAD) information with the mobile communication server 200. Accordingly, the broadcast server 100 may bidirectionally process with the wireless terminal 300 through an out-of-band channel (eg, a mobile communication network).

이동통신서버(200)는 상기 방송서버(100)와 방송프로그램 및 데이터 정보를 공유하고, 또한 이동통신망을 통해 상기 방송프로그램과 관련 있는 데이터정보를 무선단말기(300)와 송수신한다. 이때, 본 실시예에서는 대역외 채널의 예로서, 이동통신망을 그 대표적인 예로 설명하였으나, 무선망 또는 유선망 모두가 대역외 채널로서 이용될 수 있음은 당업자에게는 자명한 일이다.The mobile communication server 200 shares broadcast program and data information with the broadcast server 100, and also transmits and receives data information related to the broadcast program with the wireless terminal 300 through a mobile communication network. In this embodiment, although the mobile communication network has been described as a representative example of the out-of-band channel, it is obvious to those skilled in the art that both a wireless network and a wired network can be used as the out-of-band channel.

무선단말기(300)는 방송프로그램을 방송망을 통해서 수신하고, 상기 방송프로그램과 관련 있거나, 방송프로그램 컨텐츠 내용물과 관련 있는 정보를 통신망을 통해 전달함으로써, 방송망의 한정된 용량을 보완하고 일 방향적인 특성을 개선할 수 있다. 예컨대, 도3 내지 도4에 도시한 바와 같이, 방송프로그램 시청 도중 특정 캐릭터나 상품을 선택하여 해당 정보를 이동통신서버(200)로 요청한 후, 이를 수신하여 화면에 디스플레이 한다. 이때, 이동통신서버(200)는 해당 상품 또는 캐릭터에 대한 정보를 방송서버(100)로부터 수신한다. 이에 따라, 방송서버(100)는 양방향 데이터 전송을 위하여 한 채널만을 이용하므로 전송 용량을 크게 줄일 수 있다.The wireless terminal 300 receives a broadcast program through a broadcast network and transmits information related to the broadcast program or contents related to broadcast program contents through a communication network, thereby supplementing a limited capacity of the broadcast network and improving unidirectional characteristics. can do. For example, as shown in Figs. 3 to 4, after viewing a broadcast program, a specific character or product is selected to request the corresponding information to the mobile communication server 200, and then received and displayed on the screen. At this time, the mobile communication server 200 receives information on the product or character from the broadcast server 100. Accordingly, since the broadcast server 100 uses only one channel for bidirectional data transmission, the transmission capacity can be greatly reduced.

이하, 첨부된 도면을 참고하여 본 발명의 제1실시예에 따른 DMB 연동 데이터 전송 방법을 설명한다.Hereinafter, a DMB interworking data transmission method according to a first embodiment of the present invention will be described with reference to the accompanying drawings.

먼저, 사용자가 무선단말기(300)로 방송프로그램을 시청하다가 맘에 드는 상품이나 캐릭터를 발견하면 상기 무선단말기(300)의 화면상에서 해당 상품이나 캐릭터를 선택한다(S210-S220).First, when a user finds a favorite product or character while watching a broadcast program with the wireless terminal 300, the user selects the corresponding product or character on the screen of the wireless terminal 300 (S210-S220).

그러면, 무선단말기(300)는 해당 상품 또는 캐릭터를 이동통신서버(200)로 전송하여 상기 상품 또는 캐릭터에 대한 기본정보를 수신한다(S230). 여기서, 상기 S230 단계에서 선택된 상품 또는 캐릭터들에 추가정보가 있는 경우에는, 화면에 그 추가정보가 있음을 알리는 아이콘 또는 윤곽선 정보를 디스플레이 한다. 이에 따라, 사용자로부터 상기 아이콘 또는 윤곽선 정보가 포함된 화면을 선택을 입력 받으면, 무선단말기(300)는 이동통신서버(200)에 해당 상품 또는 캐릭터에 대한 추가정보를 수신한다. Then, the wireless terminal 300 transmits the corresponding goods or characters to the mobile communication server 200 to receive the basic information about the goods or characters (S230). If there is additional information on the goods or characters selected in step S230, an icon or contour information indicating that the additional information is present on the screen is displayed. Accordingly, when a user receives a selection of a screen including the icon or the contour information from the user, the wireless terminal 300 receives additional information on the corresponding product or character from the mobile communication server 200.

그런 다음, 사용자는 계속해서 방송프로그램을 시청하거나, 상기 상품 또는 캐릭터와 관련된 URL에 접속하여 브라우징 한다(S240).Then, the user continues to watch the broadcast program or access and browse the URL associated with the product or the character (S240).

여기서, 상기 단계 320에서와 같이 방송프로그램 시청 중에 특정 캐릭터 또는 상품을 선택하는 방법을 보다 상세히 설명한다.Here, a method of selecting a specific character or a product while watching a broadcast program as described in step 320 will be described in more detail.

도3 내지 도4는 본 발명의 일 실시예에 따라 무선단말기 화면상에 선택된 물체의 이미지를 표시하는 방법을 설명하는 도면으로써, 도3은 윤곽선을 통해 물체의 이미지를 나타내고, 도4는 원(중심좌표와 반경 정보)을 통해 물체의 이미지를 나타낸다.3 to 4 illustrate a method of displaying an image of a selected object on a screen of a wireless terminal according to an embodiment of the present invention. FIG. 3 shows an image of an object through outlines, and FIG. Center coordinates and radius information) to represent an image of an object.

먼저, 도3에 도시한 바와 같이 윤곽선을 이용하는 경우를 설명하다. 물체의 윤곽정보를 나타내기 위하여, 카운터코딩, 쉐이프코딩, 자동분할(automatic segmentation), 반자동분할 기술로부터 도출된 정보를 따로 추출하여 그 정보를 이동통신서버(200)로 전송하고, 사용자가 물체를 클릭할 경우에 이러한 물체의 윤곽정보를 화면에 표시한다. 이와 같은 방법은 물체의 윤곽선 정보를 전달하기 위하여 많은 정보가 필요하므로 무선단말기(300)와 같이 메모리 용량이 적은 단말기(300)에서는 적용하기 어렵다.First, a case of using an outline as shown in FIG. 3 will be described. In order to display the contour information of the object, information derived from counter coding, shape coding, automatic segmentation, semi-automatic segmentation technology is separately extracted, and the information is transmitted to the mobile communication server 200. When clicked, outline information of these objects is displayed on the screen. Such a method is difficult to apply in the terminal 300 having a small memory capacity, such as the wireless terminal 300, because a lot of information is required to transfer the contour information of the object.

그 다음, 도4에 도시한 바와 같이 원 또는 다각형을 통해 물체의 이미지를 나타내는 경우를 설명한다. 즉, 이동통신망이나 방송망을 통하여 전송하는 상품과 관련된 물체의 중심과 반경을 구하기 위하여, 계산에 의해 무게중심을 구하고 상기 무게중심으로부터 물체의 최장거리로 반경을 구하는 방법과, 또는 반 자동분할로 나타난 물체의 윤곽선을 포함하도록 원을 그리는 방법을 통해 사용자에게 효율적인 인터페이스를 제공한다.Next, a case where an image of an object is represented through a circle or a polygon as shown in FIG. 4 will be described. That is, in order to find the center and radius of the object related to the goods transmitted through the mobile communication network or broadcasting network, the method of calculating the center of gravity by calculation and the radius from the center of gravity to the longest distance of the object, or semi-automatic division The method of drawing a circle to include the outline of an object provides an efficient interface to the user.

한편, 무선단말기(300)는 선택된 캐릭터 또는 상품에 대하여 추가적인 정보를 제공하기 위하여 화면에 터치패드 기능과 같은 입력수단을 제공하여 해당 캐릭터 또는 상품을 터치할 경우 추가적인 정보를 얻을 수 있다.On the other hand, the wireless terminal 300 may obtain additional information when the character or product is touched by providing an input means such as a touch pad function on the screen to provide additional information about the selected character or product.

또한, 첨부된 도면을 참고하여 본 발명의 제2실시예에 따른 DMB 연동 데이터 전송 방법을 설명한다In addition, with reference to the accompanying drawings will be described DMB interworking data transmission method according to a second embodiment of the present invention

무선단말기(300)는 사용자에 의해 이동통신망에 접속되어 상품이나 특정 정보를 검색한다(S510).The wireless terminal 300 is connected to the mobile communication network by the user to search for goods or specific information (S510).

이어, 무선단말기(300)는 상기 상품이나 특정 정보와 관련된 방송프로그램 정보를 이동통신망을 통해 이동통신서버(200)에 요청한다(S520). 이때, 무선단말기(300)는 해당 상품이나 특정 정보에 추가적인 정보가 있는 경우, 전술한 바와 같이, 화면에 터치패드 기능과 같은 입력수단을 제공하여 해당 캐릭터 또는 상품을 터치할 경우 추가적인 정보를 얻을 수 있다.Subsequently, the wireless terminal 300 requests broadcast program information related to the product or specific information to the mobile communication server 200 through the mobile communication network (S520). In this case, when the wireless terminal 300 has additional information on the corresponding product or specific information, as described above, additional information may be obtained when the corresponding character or the product is touched by providing an input means such as a touch pad function on the screen. have.

이어, 무선단말기(300)는, 도6에 도시한 바와 같이, 상기 상품이나 특정 정보와 시간적으로 동기된 방송프로그램이나 상기 이동통신서버(200)에 기 저장된 제품의 이미지를 수신한다(S530).Subsequently, as shown in FIG. 6, the wireless terminal 300 receives an image of a broadcast program synchronized with time on the product or specific information or a product previously stored in the mobile communication server 200 (S530).

그런 다음, 사용자는 계속해서 방송프로그램을 시청하거나, 상기 상품 또는 캐릭터와 관련된 URL에 접속하여 브라우징 한다(S540).Then, the user continuously watches the broadcast program or accesses and browses a URL related to the product or the character (S540).

이와 같은 방법은, 무선단말기(300)가 기존에 이동통신망에서 제공되는 상품 과 관련된 방송컨텐츠를 시청하기 위해서는 상기 이동통신망에 접속해서 방송컨텐츠와 관련된 데이터를 다운로드 받아야 했던 과정을 생략하고, 방송망을 통해 수신 중이거나 저장된 정보를 활용할 수 있는 특징이 있다.In this way, the wireless terminal 300 omits the process of accessing the mobile communication network to download the data related to the broadcast content in order to watch the broadcast content related to the goods provided in the mobile communication network, and through the broadcast network There is a feature that can utilize the information received or stored.

지금까지 본 발명을 바람직한 실시예를 참조하여 상세히 설명하였지만, 당업자는 본 발명의 사상 및 범위를 벗어나지 않고 다양한 변형 또는 수정이 가능하다는 것을 알 것이다.While the present invention has been described in detail with reference to preferred embodiments, those skilled in the art will recognize that various modifications or changes can be made without departing from the spirit and scope of the invention.

이상 설명한 바와 같이, 본 발명에 따르면 데이터(NPAD 또는 PAD)를 통신망을 통해 전달하고, 상기 데이터를 방송프로그램과 연계시켜 활용할 수 있는 효과가 있다.As described above, according to the present invention, data (NPAD or PAD) is transmitted through a communication network, and the data can be utilized in connection with a broadcast program.

또한, 본 발명에 따르면, 방송프로그램을 활용하여 통신망을 통해 수신된 정보로부터 추가적인 정보를 획득하는 효과가 있다.In addition, according to the present invention, there is an effect of obtaining additional information from the information received through the communication network using a broadcast program.

Claims (20)

방송프로그램을 방송망을 통해 송출하는 방송서버를 포함하는 DMB 연동 데이터 전송 시스템에 있어서, In the DMB interworking data transmission system including a broadcast server for transmitting a broadcast program through a broadcast network, 상기 방송프로그램을 방송망을 통해서 수신하고, 상기 방송프로그램과 관련 있는 데이터정보를 통신망을 통해 송수신하며, 상기 통신망을 통해 무선인터넷에 접속하는 무선단말기; 및A wireless terminal for receiving the broadcast program through a broadcast network, transmitting and receiving data information related to the broadcast program through a communication network, and accessing a wireless Internet through the communication network; And 상기 방송서버와 방송프로그램 및 데이터 정보를 공유하고, 상기 통신망을 통해 상기 방송프로그램과 관련 있는 데이터정보를 무선단말기와 송수신하는 통신서버를 포함하며,And a communication server that shares broadcast program and data information with the broadcast server, and transmits and receives data information related to the broadcast program with a wireless terminal through the communication network. 상기 무선단말기는,The wireless terminal, 상기 방송프로그램 시청 도중 특정 물체를 선택하는 인터페이스를 포함하는 것을 특징으로 하는 DMB 연동 데이터 전송 시스템.And an interface for selecting a specific object during viewing of the broadcast program. 삭제delete 제1항에 있어서, 상기 인터페이스는,The method of claim 1, wherein the interface, 상기 무선인터넷 접속 중에 특정 물체를 선택하는 것을 특징으로 하는 DMB 연동 데이터 전송 시스템.DMB linked data transmission system, characterized in that for selecting a specific object during the wireless Internet connection. 제1항 또는 제3항에 있어서, 상기 인터페이스는,The method of claim 1 or 3, wherein the interface, 터치 패드인 것을 특징으로 하는 DMB 연동 데이터 전송 시스템.DMB linked data transmission system, characterized in that the touch pad. 제1항 또는 제3항에 있어서, 상기 무선단말기는,According to claim 1 or 3, wherein the wireless terminal, 상기 선택된 물체에 대하여 추가적인 정보가 있는 경우에 이를 사용자에 알리는 표시수단을 더 포함하는 것을 특징으로 하는 DMB 연동 데이터 전송 시스템.And a display means for notifying the user when there is additional information on the selected object. 제1항 또는 제3항에 있어서, 상기 무선단말기는,According to claim 1 or 3, wherein the wireless terminal, 상기 선택된 물체에 대하여 이미지 데이터를 생성하는 이미지 처리부; 및An image processor for generating image data with respect to the selected object; And 상기 이미지 데이터를 상기 통신망을 통해 통신서버로 전송하는 통신모듈을 포함하며,And a communication module for transmitting the image data to a communication server through the communication network. 상기 이미지 처리부는The image processing unit 단말화면상에 디스플레이되는 상기 방송프로그램에 대한 카운터코딩을 통해 추출되는 방송시청 시간정보 및 상기 단말화면상의 방송프로그램에 대한 자동분할 또는 반자동분할을 통해 추출되는 상기 선택된 물체의 화면상 위치정보를 포함하여 상기 이미지 데이터를 생성하는 것을 특징으로 하는 DMB 연동 데이터 전송 시스템.Including broadcast viewing time information extracted through counter coding for the broadcast program displayed on the terminal screen and position information on the screen of the selected object extracted through automatic splitting or semi-automatic splitting of the broadcast program on the terminal screen. DMB interworking data transmission system, characterized in that for generating the image data. 제6항에 있어서, 상기 통신모듈은,The method of claim 6, wherein the communication module, 상기 이미지 데이터에 대한 정보를 상기 통신서버로부터 수신하는 것을 특징으로 하는 DMB 연동 데이터 전송 시스템.And receiving information about the image data from the communication server. 방송센터로부터 방송프로그램을 수신하고, 통신서버로부터 무선데이터를 송수신하는 무선단말기의 DMB 연동 데이터 전송 방법에 있어서,In the DMB interworking data transmission method of a wireless terminal for receiving a broadcast program from a broadcasting center, and transmitting and receiving wireless data from a communication server, (A) 상기 무선단말기가 단말화면에 상기 방송프로그램을 디스플레이하는 도중 특정 물체에 대한 선택을 입력받는 단계;(A) receiving, by the wireless terminal, a selection for a specific object while displaying the broadcast program on a terminal screen; (B) 상기 물체에 대한 이미지 데이터를 생성하는 단계; 및 (B) generating image data for the object; And (C) 상기 이미지 데이터를 상기 통신서버로 전송하여 상기 이미지 데이터에 대한 데이터정보를 수신하는 단계를 포함하며,(C) transmitting the image data to the communication server to receive data information on the image data, 상기 이미지 데이터는,The image data, 상기 무선단말기의 단말화면상에 디스플레이되는 상기 방송프로그램에 대한 카운터코딩을 통해 추출되는 방송시청 시간정보 및 상기 단말화면상의 방송프로그램에 대한 자동분할 또는 반자동분할을 통해 추출되는 상기 선택된 물체의 화면상 위치정보를 포함하여 생성되는 것을 특징으로 하는 DMB 연동 데이터 전송 방법.Broadcast viewing time information extracted through counter coding for the broadcast program displayed on the terminal screen of the wireless terminal and the position on the screen of the selected object extracted through automatic splitting or semi-automatic splitting of the broadcast program on the terminal screen. DMB interworking data transmission method characterized in that it is generated including information. 제8항에 있어서, The method of claim 8, (D) 상기 이미지 데이터와 관련된 해당 주소에 접속하는 단계를 더 포함하는 것을 특징으로 하는 DMB 연동 데이터 전송 방법.And (D) accessing a corresponding address related to the image data. 제8항 또는 제9항에 있어서, 상기 (A) 단계는,The method of claim 8 or 9, wherein step (A) is 상기 물체의 윤곽선을 토대로 선택되는 것을 특징으로 하는 DMB 연동 데이터 전송 방법.DMB linked data transmission method characterized in that the selection based on the contour of the object. 제8항 또는 제9항에 있어서, 상기 (A) 단계는,The method of claim 8 or 9, wherein step (A) is 상기 물체의 중심이 특정된 후, 반경을 입력받아 상기 물체 중심의 원형으로 선택되는 특징으로 하는 DMB 연동 데이터 전송 방법.DMB-linked data transmission method characterized in that after the center of the object is specified, receiving a radius selected as a circle of the center of the object. 제8항 또는 제9항에 있어서, 상기 (A) 단계는,The method of claim 8 or 9, wherein step (A) is 상기 물체의 중심을 기준으로 다각형으로 선택되는 것을 특징으로 하는 DMB 연동 데이터 전송 방법.DMB linked data transmission method characterized in that the selection based on the center of the object polygon. 제8항 또는 제9항에 있어서, 상기 (C) 단계는,The method of claim 8 or 9, wherein step (C) is 상기 데이터정보에 추가 정보가 포함된 경우, 해당 사실을 알리는 아이콘 또는 윤곽선을 표시하는 것을 특징으로 하는 DMB 연동 데이터 전송 방법.If the additional information is included in the data information, DMB-linked data transmission method characterized in that it displays an icon or outline indicating the fact. 방송센터로부터 방송프로그램을 수신하고, 통신서버로부터 무선데이터를 송수신하는 무선단말기의 DMB 연동 데이터 전송 방법에 있어서,In the DMB interworking data transmission method of a wireless terminal for receiving a broadcast program from a broadcasting center, and transmitting and receiving wireless data from a communication server, (A) 상기 무선데이터를 브라우징 하는 도중 특정 물체에 대한 선택을 입력받는 단계;(A) receiving a selection for a specific object while browsing the wireless data; (B) 상기 물체에 대한 이미지 데이터를 생성하는 단계; 및(B) generating image data for the object; And (C) 상기 생성된 이미지 데이터를 상기 통신서버로 전송하여 상기 이미지 데이터에 대한 방송프로그램 정보 및 방송 데이터정보 중에서 적어도 어느 하나를 수신하는 단계를 포함하며,(C) transmitting the generated image data to the communication server to receive at least one of broadcast program information and broadcast data information for the image data, 상기 이미지 데이터는,The image data, 상기 무선단말기의 단말화면상에 디스플레이되는 상기 무선데이터에 대한 카운터코딩을 통해 추출되는 데이터 시간정보 및 상기 단말화면상의 무선데이터에 대한 자동분할 또는 반자동분할을 통해 추출되는 상기 선택된 물체의 화면상 위치정보를 포함하여 생성되는 것을 특징으로 하는 DMB 연동 데이터 전송 방법.Data time information extracted through counter coding for the wireless data displayed on the terminal screen of the wireless terminal and position information on the screen of the selected object extracted through automatic splitting or semi-automatic splitting of the wireless data on the terminal screen. DMB interworking data transmission method characterized in that it is generated, including. 제14항에 있어서, The method of claim 14, (D) 상기 이미지 데이터와 관련된 해당 주소에 접속하는 단계를 더 포함하는 것을 특징으로 하는 DMB 연동 데이터 전송 방법.And (D) accessing a corresponding address related to the image data. 제14항 또는 제15항에 있어서, 상기 (A) 단계는,The method of claim 14 or 15, wherein the step (A), 상기 물체의 윤곽선을 토대로 선택되는 것을 특징으로 하는 DMB 연동 데이터 전송 방법.DMB linked data transmission method characterized in that the selection based on the contour of the object. 제14항 또는 제15항에 있어서, 상기 (A) 단계는,The method of claim 14 or 15, wherein the step (A), 상기 물체의 중심이 특정된 후, 반경을 입력받아 상기 물체 중심의 원형으로 선택되는 특징으로 하는 DMB 연동 데이터 전송 방법.DMB-linked data transmission method characterized in that after the center of the object is specified, receiving a radius selected as a circle of the center of the object. 제14항 또는 제15항에 있어서, 상기 (A) 단계는,The method of claim 14 or 15, wherein the step (A), 상기 물체의 중심을 기준으로 다각형으로 선택되는 것을 특징으로 하는 DMB 연동 데이터 전송 방법.DMB linked data transmission method characterized in that the selection based on the center of the object polygon. 제14항 또는 제15항에 있어서, 상기 (C) 단계는,The method of claim 14 or 15, wherein step (C) is 상기 방송프로그램 및 방송 데이터정보 중 적어도 어느 하나에 추가 정보가 포함된 경우, 해당 사실을 알리는 아이콘 또는 윤곽선을 표시하는 것을 특징으로 하는 DMB 연동 데이터 전송 방법.And at least one of the broadcast program and the broadcast data information includes an icon or an outline indicating a corresponding fact. 방송센터로부터 방송프로그램을 수신하고, 상기 방송프로그램과 관련된 데이터정보를 송수신하며, 무선단말기로 상기 데이터정보를 제공하는 통신서버의 DMB 연동 데이터 전송 방법에 있어서,In the DMB interworking data transmission method of a communication server receiving a broadcast program from a broadcasting center, transmitting and receiving data information related to the broadcast program, and providing the data information to a wireless terminal, (A) 상기 방송프로그램에 대한 시청 도중에 특정 물체를 선택하여 생성된 이미지 데이터를 상기 무선단말기로부터 수신하는 단계;(A) receiving image data generated by selecting a specific object during viewing of the broadcast program from the wireless terminal; (B) 상기 이미지 데이터에 대하여 상기 방송프로그램과 관련된 데이터 정보들 가운데 유사한 데이터정보 및 방송프로그램 중 적어도 어느 하나를 추출하는 단계; 및(B) extracting at least one of similar data information and a broadcast program among data information related to the broadcast program with respect to the image data; And (C) 상기 추출된 방송프로그램 관련 데이터정보를 상기 무선단말기로 전송하는 단계를 포함하며,(C) transmitting the extracted broadcast program related data information to the wireless terminal, 상기 이미지 데이터는,The image data, 상기 무선단말기의 단말화면상에 디스플레이되는 상기 방송프로그램에 대한 카운터코딩을 통해 추출되는 방송시청 시간정보 및 상기 단말화면상의 방송프로그램에 대한 자동분할 또는 반자동분할을 통해 추출되는 상기 선택된 물체의 화면상 위치정보를 포함하여 생성되는 것을 특징으로 하는 DMB 연동 데이터 전송 방법.Broadcast viewing time information extracted through counter coding for the broadcast program displayed on the terminal screen of the wireless terminal and the position on the screen of the selected object extracted through automatic splitting or semi-automatic splitting of the broadcast program on the terminal screen. DMB interworking data transmission method characterized in that it is generated including information.
KR1020050068426A 2005-07-27 2005-07-27 Data related to digital multimedia broadcasting transmitting system and method thereof KR100726612B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050068426A KR100726612B1 (en) 2005-07-27 2005-07-27 Data related to digital multimedia broadcasting transmitting system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050068426A KR100726612B1 (en) 2005-07-27 2005-07-27 Data related to digital multimedia broadcasting transmitting system and method thereof

Publications (2)

Publication Number Publication Date
KR20070013801A KR20070013801A (en) 2007-01-31
KR100726612B1 true KR100726612B1 (en) 2007-06-11

Family

ID=38013452

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050068426A KR100726612B1 (en) 2005-07-27 2005-07-27 Data related to digital multimedia broadcasting transmitting system and method thereof

Country Status (1)

Country Link
KR (1) KR100726612B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100945658B1 (en) * 2007-12-06 2010-03-04 한국전자통신연구원 Apparatus and method for providing broadcast service based location

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258011A (en) 2000-03-08 2001-09-21 Sony Corp Data transmission method and device, data reception method and device, data display method and device, and information service method and device
KR20010092114A (en) * 2000-03-20 2001-10-24 김영민 Method and system for homeshopping by using a TV
KR20050029754A (en) * 2003-09-22 2005-03-28 주식회사 휴림인터랙티브 Order information service method by individual in digital satellite broadcasting system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258011A (en) 2000-03-08 2001-09-21 Sony Corp Data transmission method and device, data reception method and device, data display method and device, and information service method and device
KR20010092114A (en) * 2000-03-20 2001-10-24 김영민 Method and system for homeshopping by using a TV
KR20050029754A (en) * 2003-09-22 2005-03-28 주식회사 휴림인터랙티브 Order information service method by individual in digital satellite broadcasting system

Also Published As

Publication number Publication date
KR20070013801A (en) 2007-01-31

Similar Documents

Publication Publication Date Title
US9301006B2 (en) Method and system for providing additional information on broadcasting content
EP1594239A2 (en) Method and apparatus for providing coordinated cross media services to users
US20060218580A1 (en) System and method for a acquiring URL coordinated with multimedia programming
EP1732326A1 (en) Method for providing interactive digital broadcasting service in mobile communication terminal
JP2005535181A (en) System and method for providing real-time ticker information
CN102572573A (en) Method for pushing information according to played content
KR101412198B1 (en) Method and System for Zapping Advertisement Service
US10313740B2 (en) Integration of control data into digital broadcast content for access to ancillary information
KR101706606B1 (en) Tv screen control device and system including same
KR100738685B1 (en) Apparatus and its method for providing additional information using bi-directional broadcasting service
US20140359659A1 (en) Display controller, document management server, and broadcast transmitter
US20140215525A1 (en) Image display apparatus, content recommendation information receiving method, server and content recommendation method
CN102685567A (en) Digital television terminal, hot channel control method and server
KR20120103961A (en) Apparatus for personalized related advertisement, mobile for playing related advertisement and method for providing personalized related advertisement
KR100642768B1 (en) System of Searching DMB Broadcasting Program Using Wireless Communication Network and Method thereof
CN102760270A (en) Method and server for directionally pushing advertisements to mobile terminal
KR100726612B1 (en) Data related to digital multimedia broadcasting transmitting system and method thereof
EP3681168B1 (en) Video display device and method of controlling the device
US20060235711A1 (en) System and method for online transaction
CN201571157U (en) Network TV set and medium real-time playing system
KR100845145B1 (en) Advertising method by rich media service connected with digital multimedia broadcasting
KR20140099983A (en) System, apparatus, method and computer readable recording medium for providing an advertisement using a redirect
KR101770270B1 (en) Display Apparatus and Control Method thereof
JPH1074180A (en) Internet connecting device
WO2004056111A1 (en) E-commerce payment system for digital broadcasting and the method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20130403

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140522

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150521

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee