KR101922552B1 - 멀티미디어 컨텐트 전송 시스템에서 적응적 스트리밍을 이용한 트래픽 제어 방법 및 장치 - Google Patents
멀티미디어 컨텐트 전송 시스템에서 적응적 스트리밍을 이용한 트래픽 제어 방법 및 장치 Download PDFInfo
- Publication number
- KR101922552B1 KR101922552B1 KR1020110129916A KR20110129916A KR101922552B1 KR 101922552 B1 KR101922552 B1 KR 101922552B1 KR 1020110129916 A KR1020110129916 A KR 1020110129916A KR 20110129916 A KR20110129916 A KR 20110129916A KR 101922552 B1 KR101922552 B1 KR 101922552B1
- Authority
- KR
- South Korea
- Prior art keywords
- representations
- metadata
- information
- content
- modulated
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000005540 biological transmission Effects 0.000 title claims description 15
- 230000003044 adaptive effect Effects 0.000 title description 8
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012092 media component Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/38—Flow control; Congestion control by adapting coding or compression rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
Abstract
본 발명은 클라이언트에 의한 트래픽 선점을 방지하기 위해, 망사업자가 서버와 클라이언트 사이에서 트래픽을 조절할 수 있는 방법을 제안한다.
본 발명은 멀티미디어 컨텐트 전송 시스템에서 서버가 컨텐트를 스트리밍하는 방법에 있어서, 사업자가 네트워크 상황을 판단하는 과정; 판단 결과, 소정의 조건을 고려하여 메타데이터 변조 여부를 결정하는 과정; 및 상기 변조 여부가 반영된 데이터를 상기 단말에게 전달하는 과정을 포함한다.
본 발명은 멀티미디어 컨텐트 전송 시스템에서 서버가 컨텐트를 스트리밍하는 방법에 있어서, 사업자가 네트워크 상황을 판단하는 과정; 판단 결과, 소정의 조건을 고려하여 메타데이터 변조 여부를 결정하는 과정; 및 상기 변조 여부가 반영된 데이터를 상기 단말에게 전달하는 과정을 포함한다.
Description
본 발명은 멀티미디어 컨텐트 전송 시스템에서 적응적 스트림을 이용한 트래픽 제어 방법 및 장치에 관한 것이다.
최근 온라인 컨텐트의 이용 증가로 인하여 컨텐트 원활한 전송의 중요성이 대두되고 있다. 이에 따라 가용한 전송 대역폭이나 사용자의 기기 성능의 변화에 따라 컨텐트의 비트율(bit rate)이 적응적으로 변경되는 적응적 스트리밍(Adaptive Streaming) 기술이 활발히 논의되고 있다.
적응적 스트리밍의 대표적인 방식은 DASH(Dynamic Adaptive Streaming over HTTP)가 있고, 이는 컨텐트를 구성하는 방법과 이를 전송하는 방법에 관한 기술이다.
도 1은 DASH 컨텐트를 이용한 방송 통신 시스템 블록도이다.
도 1을 참조하면 DASH 컨텐트(110)는 여러 벌의 서로 다른 화질, 해상도, 비트 레이트 등을 갖는 미디어 세그먼트의 열인 Representation(110a)과, 이들을 그룹으로 묶은 AdaptationSet들(110b), 그리고 이러한 관계를 기술한 메타데이터(110c)로 이루어진다.
재생장치(또는 클라이언트)(120)는 메타데이터를 받아 재생해야 할 AdaptationSet들을 알고, 각 AdaptationSet내의 복수 개의 Representation들 중 네트워크 상황과 재생장치의 능력(Capability)에 해당하는 각각 하나의 Representation을 선택하고, 이를 다운로드 받아 재생한다.
도 2는 일반적인 DASH 컨텐트를 이용한 방송 통신 시스템의 일 예를 도시한 블록도이다.
DASH는 서버 제어 방식 스트리밍을 클라이언트 제어 방식으로 변경한 것이다. 서버 제어 방식에서는 서버가 연결된 모든 클라이언트와의 연결을 알고, 각 클라이언트가 요구하는 부분을 만들어내어 각 네트워크 상황에 맞는 최적의 컨텐트를 전송한다. 그러나 도 2의 210과 같이, 클라이언트가 많아짐에 따라 서버에 부하가 과중되는 단점이 있었다. DASH에서는 이를 서버가 미리 여러 경우에 대한 미디어 세그먼트 및 메타데이터를 생성해두고 클라이언트는 상황에 따라 요청해 재생하는 것으로 함으로써 서버의 부하 없이 네트워크 상황에 따라 최적의 컨텐트를 다운로드 받아 재생할 수 있는 이점이 있다.
그러나 모든 클라이언트가 가용한 데이터 트래픽 내에서 Best effort를 시도하므로 적은 수의 클라이언트로도 네트워크 트래픽을 모두 차지할 수 있는 단점이 있다. 또한 클라이언트의 DASH 클라이언트 로직(client logic) 구현은 재생장치의 영역으로, 네트워크 트래픽을 낮추기 위해 망 사업자가 할 수 있는 제어의 방법이 없다. 또한 서버는 컨텐트를 제공할 뿐 중간의 통신망 네트워크와 같은 망사업자의 문제점을 해결하기 위해 서버가 망사업자 특정적인 컨텐트를 구성하는 데에는 어려움이 있다. 왜냐하면 서버와 클라이언트 사이에는 서로 다른 여러 개의 망사업자가 존재할 수 있으므로 특정 사업자를 위해 컨텐트를 구성할 수도 없으며, 네트워크 상황에 따라 컨텐트를 재작성하는 것도 최초의 DASH의 도입취지와 맞지 않는 문제점이 있다.
본 발명은 DASH 기술을 사용한 멀티미디어 컨텐트 전송 시스템에서 클라이언트 폭주로 인한 트래픽 저하 및 이를 예방할 수 있는 방법 및 장치를 제공한다.
본 발명은 DASH 기술을 사용한 멀티미디어 컨텐트 전송 시스템에서 통신 사업자가 컨텐트 제공 서버와 클라이언트 사이의 트래픽을 제어할 수 있는 방법 및 장치를 제공한다.
본 발명의 실시 예에 따른 스트리밍 방법은, 멀티미디어 컨텐트 전송 시스템에서 서버가 컨텐트를 스트리밍하는 방법에 있어서, 사업자가 네트워크 상황을 판단하는 과정; 판단 결과, 소정의 조건을 고려하여 메타데이터 변조 여부를 결정하는 과정; 및 상기 변조 여부가 반영된 데이터를 상기 단말에게 전달하는 과정을 포함한다.
본 발명의 실시 예에 따른 스트리밍 방법은, 멀티미디어 컨텐트 전송 시스템에서 서버가 컨텐트를 스트리밍하는 방법에 있어서, 사업자가 동적으로 네트워크 상황을 판단하는 과정; 및 판단 결과, 단말의 트래픽 과부하가 발생할 것으로 판단한 경우, 명령어를 상기 단말로 전송하는 과정을 포함한다.
본 발명은 DASH 기술을 사용한 멀티미디어 컨텐트 전송 시스템에서 클라이언트 폭주로 인한 트래픽 저하를 방지할 수 있다.
본 발명은 DASH 기술을 사용한 멀티미디어 컨텐트 전송 시스템에서 클라이언트에 의한 트래픽 선점을 방지할 수 있다.
도 1은 DASH 컨텐트를 이용한 방송 통신 시스템 블록도,
도 2는 일반적인 DASH 컨텐트를 이용한 방송 통신 시스템의 일 예를 도시한 블록도,
도 3은 본 발명의 실시 예에 따른 DASH 메타데이터 변조를 이용한 망 사업자 트래픽 제어 방법을 설명하기 위한 멀티미디어 컨텐트 전송 시스템 블록 구성도,
도 4는 본 발명의 실시 예에 따른 DASH 컨텐트를 이용한 방송 통신 시스템의 일 예를 도시한 블록도,
도 5는 본 발명의 제1 실시 예에 따른 메타데이터의 변조 결정 방법을 도시한 흐름도,
도 6은 본 발명의 제5 실시 예에 따른 디바이스 관리를 이용한 메타데이터 처리 방법을 설명하기 위한 네트워크 구성도,
도 7은 사업자의 디바이스 관리(Device Management) 서버를 이용하여 적응적 스트리밍 서비스에 대한 트래픽 제어 하는 방법을 설명하기 흐름도.
도 2는 일반적인 DASH 컨텐트를 이용한 방송 통신 시스템의 일 예를 도시한 블록도,
도 3은 본 발명의 실시 예에 따른 DASH 메타데이터 변조를 이용한 망 사업자 트래픽 제어 방법을 설명하기 위한 멀티미디어 컨텐트 전송 시스템 블록 구성도,
도 4는 본 발명의 실시 예에 따른 DASH 컨텐트를 이용한 방송 통신 시스템의 일 예를 도시한 블록도,
도 5는 본 발명의 제1 실시 예에 따른 메타데이터의 변조 결정 방법을 도시한 흐름도,
도 6은 본 발명의 제5 실시 예에 따른 디바이스 관리를 이용한 메타데이터 처리 방법을 설명하기 위한 네트워크 구성도,
도 7은 사업자의 디바이스 관리(Device Management) 서버를 이용하여 적응적 스트리밍 서비스에 대한 트래픽 제어 하는 방법을 설명하기 흐름도.
하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
후술될 상세한 설명에는 상술한 기술적 과제를 이루기 위한 본 발명에 있어서 대표적인 실시 예를 제시할 것이다. 또한 본 발명의 설명의 편의를 위하여 3GPP(3rd Generation Partnership Project), MPEG(Moving Picture Experts Group), OIPF(Open IPTV Forum), UPnP(universal plug and play)에서 정의하고 있는 개체들의 명칭들을 동일하게 사용한 것이나, 이러한 표준 및 명칭들이 본 발명의 범위를 한정하는 것은 아니며, 유사한 기술적 배경을 가지는 시스템에 적용 가능함은 물론이다.
본 발명은 클라이언트에 의한 트래픽 선점을 방지하기 위해, 망사업자가 서버와 클라이언트 사이에서 트래픽을 조절할 수 있는 방법을 제안한다.
도 3은 본 발명의 실시 예에 따른 DASH 메타데이터 변조를 이용한 망 사업자 트래픽 제어 방법을 설명하기 위한 멀티미디어 컨텐트 전송 시스템 블록 구성도이다.
도3의 두 통신망중 오른쪽 통신망에서는 DASH 컨텐트의 메타데이터가 일부 미디어 세그먼트(점선을 제외한 나머지)만을 보여주고 있다. 이는 후술할 "일부 adaptationset과 일부 representation"을 도식화 한 것이다.
망사업자는 사업자 네트워크의 상황을 감지하고, 트래픽이 증가하는 네트워크 최종 노드 또는 그 최종 노드와 연결된 임시 저장 서버(Cache server)에 있는 메타데이터 또는 컨텐트 전달 네트워크(Content Delivery Network; CDN)가 제공하는 컨텐트 제공 서버의 메타데이터를 변조하여 클라이언트가 선택할 수 있는 AdaptationSet 및 Representation의 선택폭을 전부 또는 일부만 제공한다. 망사업자를 통해 서버와 연결하는 클라이언트는 서버로부터 받은 메타데이터 내에서 서술된 AdaptationSet 및 Representation에 해당하는 미디어 세그먼트 만을 재생하므로 망사업자가 도중에 서버로부터 받은 데이터를 전달하는 과정에서 임의의 변조가 적용된 메타데이터를 받으면 해당 메타데이터 내에서 서술된 일부 AdaptationSet과 일부 Representation들을 전체 선택폭으로 알고 헤딩하는 미디어 세그먼트를 다운로드 받아 재생하게 된다.
도 4는 본 발명의 실시 예에 따른 DASH 컨텐트를 이용한 방송 통신 시스템의 일 예를 도시한 블록도이다.
메타데이터는 서버가 별도의 무결성을 요구하지 않는 한 변조가 가능하며, 변조된 메타데이터는 올바른 형식(well-formed)이어야 한다. 또한 DASH 규격에 대한 호환성이 보장되어야 한다.
서버와 클라이언트 사이에는 여러 가지 네트워크 노드가 존재하며, 그 기능에 따라 컨텐트 제공 서버(410), CDN(420), Cache server(430), End node(440), 클라이언트(450)로 구분한다.
컨텐트 제공 서버(410)는 컨텐트를 제공하며, CDN(420)을 통해 망 사업자와 연결된다.
CDN(420)은 컨텐트 제공 사업자(410)가 원활한 컨텐트의 제공을 위해 사용하며, 컨텐트 제공 서버(410)로부터 받은 컨텐트를 여러 데이터 서버에 여러 벌로 저장하여 망사업자의 요구를 분산해 데이터를 보다 빨리 제공한다.
Cache server(430)는 여러 번 반복되는 동일한 요구를 보다 원활히 처리하기 위해 사용하며, 서로 다른 클라이언트가 동일한 컨텐트를 요구하는 경우 CDN 또는 컨텐트 제공 서버(410)를 거치지 않고 바로 데이터를 제공한다.
End node(440)는 클라이언트와 바로 연결되는 통신망 사업자의 최종 영역으로, 연결된 각 클라이언트들의 트래픽 상황 및 전체 트래픽의 상황을 통신망 사업자가 알 수 있다.
메타데이터의 변조는 통신망 사업자가 제어할 수 있는 Cache server(430)에서 이루어지며 통신망 사업자에 속한 End node(440)에서의 트래픽 상황에 따라 End node에 돌려줄 메타데이터의 변조 여부가 결정된다.
본 발명의 제1 실시 예: 메타데이터의 변조 결정
도 5는 본 발명의 제1 실시 예에 따른 메타데이터의 변조 결정 방법을 도시한 흐름도이다.
망 사업자는 501 단계에서 네트워크의 상황을 인지(또는 결정)하고, End node를 모니터링한다.
망 사업자는 503 단계에서 각 End node가 가질 최적 네트워크 수준을 결정하고, End node의 트래픽이 해당 수준을 넘으면 DASH 컨텐트의 변조를 결정한다. 즉, 망 사업자는 505 단계에서 End node의 트래픽이 최적 네트워크 수준 보다 높은가를 판단한다.
만약 End node의 트래픽이 최적 네트워크 수준을 넘어간다고 판단하면, 망 사업자는 513 단계에서 해당 End node와 연결된 cache server에서 DASH 컨텐트가 처리되고 있는 지 확인한다.
DASH 컨텐트가 처리되고 있으면, 망 사업자는 515 단계에서 메타데이터의 여러 가지 경우의 수 중 네트워크에 미치는 영향이 가장 큰 것부터 disable 시킨다. DASH 컨텐트가 처리되고 있지 않으면, 망 사업자는 517 단계에서 다른 처리를 수행한다.
한편, 505, 507 단계에서 만약 End node의 트래픽이 최적 네트워크 수준을 넘어가지 않는다고 판단하면, 망 사업자는 509 단계에서 해당 End node와 연결된 cache server에서 DASH 메타데이터가 변조된 적이 있는가를 판단한다. 만약, 변조된 적이 있는 경우, 511 단계로 진행하여, disable된 것 들 중 네트워크에 미치는 영향이 가장 적은 것부터 enable시킨다. 그러나 변조된 적이 없는 경우, 망 사업자는 501 단계로 귀환한다.
결과적으로, 망 사업자는 트래픽을 검토하고 영향이 없으면, 망 사업자는 차상위로 영향이 큰 것부터 계속해서 disable 시키고, 트래픽이 최적 네트워크 수준과 유사한 상태가 되면 현재 상태를 유지한다.
트래픽이 최적 네트워크 수준 이하로 떨어지면, disable된 것들 중 네트워크에 미치는 영향이 가장 작은 것부터 enable 시킨다. 트래픽을 검토하고 영향이 없으면 차상위로 영향이 작은 것부터 계속해서 enable 시킨다. 트래픽이 최적 네트워크 수준과 유사한 상태가 되면 현재 상태를 유지한다.
본 발명의 제2 실시 예: 컨텍스트를 유지하는 메타데이터의 변조 방법
메타데이터의 여러 내용에 대한 변조가 가능하다. 본 발명의 제2 실시 예에서는 DASH 컨텐트의 컨텍스트를 유지하면서 트래픽 제어를 위한 메타데이터 변조를 하는 방법을 설명한다.
메타데이터에는 Period, AdaptationSet, Representation이 기재된다.
같은 시간 내에 제공되는 컨텐트 구성요소들은 Period하위에 AdaptationSet별로 기재된다.
같은 컨텍스트로 제공되는 한 컨텐트 구성요소의 서로 다른 품질의 미디어 세그먼트열은 AdaptationSet 하위에 Representation으로 기재된다.
따라서 하나의 AdaptationSet내에 기재된 Representation들은 DASH 컨텐트의 컨텍스트를 유지하면서 품질만이 서로 다르므로 Representation을 변조한다.
트래픽에 영향을 미치는 상위 Representation을 찾는 방법은 다음과 같다.
Representation은 Bandwidth(이상 mandatory), QualityRanking(이하 optional), Width, Height, Framerate, ScanType 등의 속성을 가지고 있다.
Bandwidth가 큰 것부터 트래픽에 영향을 미치는 상위 Representation으로 결정할 수 있으며, 같은 Bandwidth를 가지는 경우에는 optional 속성들을 큰 값부터 차례로 순서화한다.
변조의 방식은 XML의 element의 이름을 바꾸거나 주석화하는 방법이 있다.
메타데이터에서 <Representation> 엘리먼트를 찾아 해당 Representation이 완료되는 end tag ( </Representation>)부분을 찾아 disable 시킨다.
Disable의 방법은 Representation element의 이름을 DASH에서 알 수 없는 상태로 바꾸는 것이다.
주석화 ( <!--resentation> … </resentation--->)
Representation의 앞 세글자를 !--으로 변환한다.
End tag의 /Representation을 /resentation--->으로 변환한다.
치환 ( <_epresentation > … </_epresentation> )
Represerntation의 일부 글자를 다른 알파벳 또는 기호로 변환한다.
단, 변환된 글자는 기존 DASH에서 사용하지 않는 element여야 한다.
Enable시에는 주석화 또는 치환된 element이름을 원래대로 복원하도록 한다.
본 발명의 제3 실시 예: 컨텍스트를 유지하지 않는 메타데이터의 변조 방법
DASH 컨텐트의 구성요소 중 AdaptationSet은 각각 하나의 미디어 컴포넌트, 예를 들면 Audio, Video, 그리고 role descriptor가 제공되어 해당 value를 통해 Main이나 Alternative와 같이 Audio, Video와 섞어 그 역할을 지시할 수 있도록 되어 있다.
따라서 메타데이터의 변조 시에 Role을 통해 Main과 Alternative가 제공되는 경우, Audio나 Video 중 하나를 변조 결정하면 해당 컴포넌트 타입의 Alternative와 Main을 모두 disable 시켜야 한다.
왜냐하면 Main이나 Alternative의 구분 없이 하나만 disable 시키는 경우 어차피 DASH 클라이언트는 Main또는 Alternative중 하나만을 재생하므로 변조의 효과가 없고 클라이언트에서는 다른 컨텍스트가 제공되므로 망사업자 및 클라이언트 모두 원하지 않는 결과가 일어날 수 있기 때문이다.
따라서 같은 미디어 컴포넌트의 모든 Role을 확인하여 변조시키면 비디오나 오디오중 하나가 재생되지 않지만 DASH 특성상 네트워크 속도가 낮아지면 발생할 수 있는 경우이므로 클라이언트는 별다른 기능상의 문제 없이 변조된 동작을 수행할 수 있다.
본 발명의 제4 실시 예: 시점에 따른 변조 대상의 결정 방법
서로 다른 DASH 컨텐트가 제공되고 있는 경우, 망 사업자는 어떤 DASH 컨텐트를 변조할 것인지 결정할 수 있다.
문제가 되는 End node들이 사용하는 모든 DASH 컨텐트를 변조할 수도 있으나 DASH 특성상 변조되었다고 해서 곧 바로 트래픽이 낮아지는 것이 아니다.
즉, 메타데이터내의 minimumUpdatePeriod를 확인하여 해당 값이 낮은 순서대로 변조할 DASH 컨텐트를 고르는 것이 적절하다.
왜냐하면 minimumUpdatePeriod이 짧으면 DASH 클라이언트가 메타데이터를 업데이트하는 시간이 짧아지므로 메타데이터 변조를 통해 클라이언트 동작에 영향을 줄 수 있는 확률이 그만큼 높아지기 때문이다.
만약 minimumUpdatePeriod이 없다면 DASH 클라이언트는 이미 다운로드 받은 메타데이터를 재생완료 시점까지 업데이트하지 않을 수 있으며, 이 경우 메타데이터가 망 사업자 영역 내에서 아무리 변경되어도 클라이언트 동작에 영향을 미치지 않는다.
본 발명의 제5 실시 예: Device Management를 이용한 메타데이터 적용 방법
도 6은 본 발명의 제5 실시 예에 따른 디바이스 관리를 이용한 메타데이터 처리 방법을 설명하기 위한 네트워크 구성도이다.
본 발명의 제5 실시 예는 단말기가 미리 서비스에 대한 완전한 메타데이터를 수신 받게 하고 망사업자가 동적으로 망상황을 판단하여 필요한 경우 단말에 명령어를 보내 단말이 그에 적합하게 메타데이터를 처리할 수 있도록 하는 방법이다.
도 7은 사업자의 디바이스 관리(Device Management) 서버를 이용하여 적응적 스트리밍 서비스에 대한 트래픽 제어 하는 방법을 설명하기 흐름도이다.
도 6 및 도 7을 참조하면, 클라이언트가 사업자의 포털 등 서버를 통해 컨텐츠를 선택한다. 701단계에서 709까지는 기존의 적응적인 스트리밍 방식과 동일하다. 서비스 수신 중 사업자 망의 트래픽 과부하가 발생할 경우 사업자는 711 단계에서 망 내의 모든 단말에 대한 트래픽 저감의 필요성을 인지하고, 트래픽 저감을 위해 단말이 사용 가능한 최대한의 대역폭인가를 판단한다. 713 단계에서 사업자는 망 내의 모든 단말에 단말이 사용 가능한 최대 대역폭 값에 대한 메시지를 모든 단말에 전송한다. 715 단계 ~ 717 단계에서 단말은 해당 메시지를 수신한 후 해당 대역폭 보다 작은 Representation에 대해서만 세그먼트를 수신 받는다. 이 때 단말은 본 발명의 제2 실시 예와 같이 메타데이터에 대한 변조를 진행할 수 있다.
Claims (20)
- 컨텐트(content) 전송 시스템에서 네트워크 서버의 트래픽 제어 방법에 있어서,
리프리젠테이션들(representation)에 대한 정보를 포함하는 메타데이터 및 상기 리프리젠테이션들을 컨텐트 서버로부터 수신하는 과정;
상기 네트워크 서버에 의해 관리되는 트래픽 양을 측정하는 과정;
상기 측정된 트래픽 양이 임계값을 초과하는 지에 대해 판단하는 과정;
상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 디스에이블(disable)함으로써 상기 메타데이터를 변조하는 과정;
상기 측정된 트래픽 양이 상기 임계값을 초과하는 경우, 상기 리프리젠테이션들 중 적어도 하나에 대한 상기 디스에이블된 정보를 기반으로 상기 리프리젠테이션들을 변조하는 과정;
상기 변조된 메타데이터 및 상기 변조된 리프리젠테이션들을 포함하는, 변조된 컨텐트를 생성하는 과정; 및
상기 변조된 컨텐트를 클라이언트에 전송하는 과정을 포함하고,
상기 리프리젠테이션들 및 상기 메타데이터는 하나의 컨텐트에 포함되고,
상기 리프리젠테이션들 중 적어도 하나에 대한 정보는 상기 리프리젠테이션들의 최대 대역폭을 기반으로 디스에이블됨을 특징으로 하는 트래픽 제어 방법.
- 제1항에 있어서,
상기 리프리젠테이션들 중 적어도 하나는 상기 리프리젠테이션들의 대역폭 크기를 기반으로 선택된 것임을 특징으로 하는 트래픽 제어 방법.
- 제2항에 있어서,
상기 선택된 적어도 하나의 리프리젠테이션들이 동일한 대역폭을 갖는 경우, 상기 선택된 동일한 대역폭을 갖는 리프리젠테이션들은 품질 정보, 넓이 정보, 높이 정보 및 프레임율(Frame Rate) 정보 중 적어도 하나를 기반으로 재선택됨을 특징으로 하는 트래픽 제어 방법.
- 제1항에 있어서,
상기 트래픽 양이 상기 임계값 미만인 경우, 상기 컨텐트의 상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 인에이블(enable)하도록 상기 메타데이터를 변조하는 과정을 더 포함하는 트래픽 제어 방법.
- 제4항에 있어서,
상기 메타데이터의 변조 과정은, 상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 디스에이블(disable)하도록 변조된 메타데이터가 있는 경우 수행됨을 특징으로 하는 트래픽 제어 방법.
- 제1항에 있어서,
상기 메타데이터를 변조하는 과정은, 상기 메타데이터의 업데이트 주기가 가장 짧은 경우에 수행됨을 특징으로 하는 트래픽 제어 방법.
- 제1항에 있어서,
상기 메타데이터는 상기 트래픽 양이 상기 임계값을 초과하지 않을 때까지 상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 디스에이블하도록 변조됨을 특징으로 하는 트래픽 제어 방법.
- 컨텐트(content) 전송 시스템에서 클라이언트의 트래픽 제어 방법에 있어서,
컨텐트 서버로부터 제공되는, 리프리젠테이션(representation)들에 대한 정보가 포함된 메타데이터 및 상기 리프리젠테이션들을 네트워크 서버를 통해 수신하는 과정과,
상기 네트워크 서버에 의해 관리되는 트래픽 양이 임계값보다 큰 경우 상기 네트워크 서버로부터 컨텐트를 제공받기 위해 사용할 수 있는 최대 대역폭에 대한 정보를 수신하는 과정과,
상기 최대 대역폭에 대한 정보를 기반으로 상기 컨텐트의 상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 디스에이블(disable)하도록 상기 메타데이터를 변조하는 과정과,
상기 리프리젠테이션들 중 적어도 하나에 관한 상기 디스에이블된 정보를 기반으로 상기 리프리젠테이션들을 상기 최대 대역폭 이하의 대역폭을 갖도록 변조하는 과정과,
상기 변조된 리프리젠테이션들 및 상기 변조된 메타데이터를 포함하는, 변조된 컨텐트의 제공 요청 메시지를 상기 네트워크 서버에 전송하는 과정과,
상기 변조된 컨텐트를 상기 네트워크 서버로부터 수신하는 과정을 포함하고,
상기 리프리젠테이션들 및 상기 메타데이터는 하나의 컨텐트에 포함되고,
상기 리프리젠테이션들 중 적어도 하나에 관한 정보는 상기 리프리젠테이션들의 최대 대역폭 크기에 기반하여 디스에이블된 것임을 특징으로 하는 트래픽 제어 방법.
- 제8항에 있어서,
상기 트래픽 양이 상기 임계값보다 작은 경우, 상기 컨텐트의 상기 리프리젠테이션들 중 적어도 하나에 관한 상기 정보를 인에이블(enable)하도록 상기 메타데이터를 변조하고, 상기 리프리젠테이션들 중 적어도 하나에 관한 상기 인에이블(enable)된 정보를 기반으로 상기 리프리젠테이션들을 변조하는 과정을 더 포함하는 트래픽 제어 방법.
- 컨텐트(content) 전송 시스템에서 네트워크 서버의 트래픽 제어 방법에 있어서,
상기 네트워크 서버에 의해 관리되는 트래픽 양이 임계값을 초과하는지 판단하는 과정과,
상기 트래픽 양이 상기 임계값을 초과하는 경우, 메타데이터 및 리프리젠테이션(representation)들을 포함하는, 컨텐트를 제공받기 위해 사용할 수 있는 최대 대역폭에 대한 정보를 클라이언트에 전송하는 과정과,
변조된 메타데이터와 변조된 리프리젠테이션들을 포함하는 변조된 컨텐트를 제공하라는 요구 메시지를 상기 클라이언트로부터 수신하는 과정과,
상기 변조된 컨텐트를 클라이언트에 전송하는 과정을 포함하고,
상기 변조된 메타데이터는 상기 최대 대역폭에 대한 정보에 기반하여 상기 컨텐트의 상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 디스에이블(disable)하도록 변조된 메타데이터이고,
상기 변조된 리프리젠테이션들은 상기 리프리젠테이션들 중 적어도 하나에 대한 상기 디스에이블된 정보에 기반하여 상기 리프리젠테이션들이 변조된 리프리젠테이션들이고,
상기 변조된 리프리젠테이션들은 상기 최대 대역폭 이하의 대역폭을 갖도록 변조된 리프리젠테이션들임을 특징으로 하는 트래픽 제어 방법.
- 컨텐트(content) 전송 시스템에서 트래픽을 제어하는 네트워크 서버에 있어서,
컨텐트 제공 서버로부터 리프리젠테이션(representation)들에 대한 정보가 포함된 메타데이터 및 상기 리프리젠테이션들을 수신하는 수신부;
상기 네트워크 서버에 의해 관리되는 트래픽 양을 측정하고, 상기 트래픽 양이 임계값을 초과하는지 여부에 대해 판단하고, 상기 트래픽 양이 상기 임계값보다 큰 경우 상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 디스에이블(diable)하도록 메타데이터를 변조하고, 상기 리프리젠테이션들 중 적어도 하나에 대한 상기 디스에이블된 정보를 기반으로 상기 리프리젠테이션들을 변조하고, 상기 변조된 메타데이터 및 상기 변조된 리프리젠테이션들을 포함하는 변조된 컨텐트를 생성하는 제어부; 및
상기 변조된 컨텐트를 클라이언트로 전송하는 송신부를 포함하고,
상기 리프리젠테이션들 중 적어도 하나에 대한 정보는 상기 리프리젠테이션들의 최대 대역폭을 기반으로 디스에이블됨을 특징으로 하는 네트워크 서버.
- 제11항에 있어서,
상기 리프리젠테이션들 중 적어도 하나는 상기 리프리젠테이션들의 대역폭 크기를 기반으로 선택된 것임을 특징으로 하는 네트워크 서버.
- 제12항에 있어서,
상기 선택된 적어도 하나의 리프리젠테이션들이 동일한 대역폭을 갖는 경우, 상기 선택된 동일한 대역폭을 갖는 리프리젠테이션들은 품질 정보, 넓이 정보, 높이 정보 및 프레임율(Frame Rate) 정보 중 적어도 하나를 기반으로 재선택됨을 특징으로 하는 네트워크 서버.
- 제11항에 있어서, 상기 제어부는,
상기 측정된 트래픽 양이 상기 임계값 미만인 경우, 상기 컨텐트의 상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 인에이블(enable)하도록 상기 메타데이터를 변조함을 특징으로 하는 네트워크 서버.
- 제14항에 있어서, 상기 제어부는,
상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 디스에이블(disable)하도록 변조된 메타데이터가 있는 경우 상기 메타데이터를 변조함을 특징으로 하는 네트워크 서버.
- 제11항에 있어서, 상기 제어부는,
상기 메타데이터의 업데이트 주기가 가장 짧은 경우에 상기 메타데이터를 변조함을 특징으로 하는 네트워크 서버.
- 제11항에 있어서,상기 제어부는,
상기 트래픽 양이 상기 임계값을 초과하지 않을 때까지, 상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 디스에이블하도록 상기 메타데이터를 변조함을 특징으로 하는 네트워크 서버.
- 컨텐트(content) 전송 시스템에서 클라이언트에 있어서,
리프리젠테이션(representation)들에 대한 정보가 포함된 메타데이터 및 상기 리프리젠테이션들을 컨텐트 서버로부터 수신하고, 네트워크 서버에 의해 관리되는 트래픽 양이 임계값보다 큰 경우 상기 네트워크 서버로부터 컨텐트를 제공받기 위해 사용할 수 있는 최대 대역폭에 대한 정보를 수신하는 수신부;
상기 최대 대역폭에 대한 정보를 기반으로 상기 컨텐트의 상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 디스에이블(disable)하도록 메타데이터를 변조하고, 상기 리프리젠테이션들 중 적어도 하나에 대한 상기 디스에이블된 정보를 기반으로 상기 최대 대역폭 이하의 대역폭을 갖도록 상기 리프리젠테이션들을 변조하는 제어부; 및
상기 변조된 메타데이터 및 상기 변조된 리프리젠테이션들에 상응하는 변조된 컨텐트의 제공 요청을 위한 메시지를 상기 네트워크 서버에 전송하는 전송부를 포함하고,
상기 메타데이터 및 상기 리프리젠테이션들은 하나의 컨텐트에 포함되고,
상기 수신부는 상기 네트워크 서버로부터 상기 변조된 컨텐트를 수신하고,
상기 리프리젠테이션들 중 적어도 하나에 대한 정보는 상기 리프리젠테이션들의 최대 대역폭 크기에 기반하여 디스에이블됨을 특징으로 하는 클라이언트.
- 제18항에 있어서, 상기 제어부는,
상기 트래픽 양이 상기 임계값 이하인 경우, 상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 인에이블(enable)하도록 상기 메타데이터를 변조하고, 상기 적어도 하나에 대한 상기 인에이블된 정보를 기반으로 리프리젠테이션들을 변조함을 특징으로 하는 클라이언트.
- 컨텐트(content) 전송 시스템의 네트워크 서버에 있어서,
상기 네트워크 서버에 의해 관리되는 트래픽 양이 임계값을 초과하는지 여부를 판단하는 제어부와,
상기 트래픽 양이 상기 임계값을 초과하는 경우, 메타데이터 및 리프리젠테이션(representation)들을 포함하는 컨텐트를 제공받기 위해 사용할 수 있는 최대 대역폭에 대한 정보를 클라이언트로 전송하고, 상기 클라이언트의 요청에 따라, 컨텐트 제공 서버로부터 제공되는 상기 최대 대역폭에 따른 컨텐트를 상기 클라이언트로 전송하는 송신부와,
변조된 메타데이터 및 변조된 리프리젠테이션들을 포함하는 변조된 컨텐트의 제공 요청을 위한 메시지를 클라이언트로부터 수신하는 수신부를 포함하고,
상기 변조된 메타데이터는 상기 최대 대역폭에 대한 상기 정보를 기반으로 상기 컨텐트의 상기 리프리젠테이션들 중 적어도 하나에 대한 정보를 디스에이블(disable)하도록 상기 메타데이터가 변조된 것이고, 상기 변조된 리프리젠테이션들은 상기 리프리젠테이션들 중 적어도 하나에 대한 디스에이블된 정보를 기반으로 변조된 것이고, 상기 변조된 리프리젠테이션들은 상기 최대 대역폭 이하의 대역폭을 갖고,
상기 제어부는 상기 변조된 컨텐트를 생성하고,
상기 송신부는 상기 변조된 컨텐트를 상기 클라이언트에게 전송하고,
상기 리프리젠테이션들 중 적어도 하나에 대한 정보는 상기 리프리젠테이션들의 최대 대역폭 크기에 기반하여 디스에이블(disable)됨을 특징으로 하는 네트워크 서버.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110129916A KR101922552B1 (ko) | 2011-12-06 | 2011-12-06 | 멀티미디어 컨텐트 전송 시스템에서 적응적 스트리밍을 이용한 트래픽 제어 방법 및 장치 |
US14/363,364 US9692801B2 (en) | 2011-12-06 | 2012-12-05 | Method and apparatus for controlling traffic using adaptive streaming in multi-media content transmission system |
PCT/KR2012/010482 WO2013085279A1 (ko) | 2011-12-06 | 2012-12-05 | 멀티미디어 컨텐트 전송 시스템에서 적응적 스트리밍을 이용한 트래픽 제어 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110129916A KR101922552B1 (ko) | 2011-12-06 | 2011-12-06 | 멀티미디어 컨텐트 전송 시스템에서 적응적 스트리밍을 이용한 트래픽 제어 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130063413A KR20130063413A (ko) | 2013-06-14 |
KR101922552B1 true KR101922552B1 (ko) | 2018-11-29 |
Family
ID=48574567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110129916A KR101922552B1 (ko) | 2011-12-06 | 2011-12-06 | 멀티미디어 컨텐트 전송 시스템에서 적응적 스트리밍을 이용한 트래픽 제어 방법 및 장치 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9692801B2 (ko) |
KR (1) | KR101922552B1 (ko) |
WO (1) | WO2013085279A1 (ko) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2744216T3 (es) * | 2013-01-16 | 2020-02-24 | Huawei Tech Co Ltd | Inserción y adición de parámetros de URL en flujo continuo adaptativo |
US9628528B2 (en) | 2013-07-19 | 2017-04-18 | Electronics And Telecommunications Research Institute | Apparatus and method for providing content |
WO2015105327A1 (ko) * | 2014-01-08 | 2015-07-16 | 한국전자통신연구원 | Dash를 사용하는 비디오 재생을 위한 비트 깊이 표현 방법 |
KR20150133037A (ko) | 2014-05-19 | 2015-11-27 | 삼성전자주식회사 | 콘텐츠 재생 방법 및 이를 구현하는 전자 장치 |
FR3022426A1 (fr) * | 2014-06-16 | 2015-12-18 | Orange | Gestion par un equipement intermediaire de la qualite de transmission d'un flux de donnees vers un terminal mobile |
KR101718127B1 (ko) | 2016-02-24 | 2017-03-20 | 광운대학교 산학협력단 | 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011044287A1 (en) | 2009-10-06 | 2011-04-14 | Openwave Systems Inc. | Managing network traffic by editing a manifest file and/or using intermediate flow control |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100829427B1 (ko) * | 2002-02-07 | 2008-05-15 | 엘지전자 주식회사 | 이씨엔 기반 멀티미디어 스트림 전송 및 수신 방법 |
KR100486713B1 (ko) | 2002-09-17 | 2005-05-03 | 삼성전자주식회사 | 멀티미디어 스트리밍 장치 및 방법 |
US7225267B2 (en) | 2003-01-27 | 2007-05-29 | Microsoft Corporation | Reactive bandwidth control for streaming data |
US7987285B2 (en) | 2007-07-10 | 2011-07-26 | Bytemobile, Inc. | Adaptive bitrate management for streaming media over packet networks |
US8838824B2 (en) * | 2009-03-16 | 2014-09-16 | Onmobile Global Limited | Method and apparatus for delivery of adapted media |
US8914835B2 (en) | 2009-10-28 | 2014-12-16 | Qualcomm Incorporated | Streaming encoded video data |
US8874712B2 (en) * | 2010-01-20 | 2014-10-28 | Futurewei Technologies, Inc. | System and method for differentiated services in adaptive streaming |
US9137278B2 (en) * | 2010-04-08 | 2015-09-15 | Vasona Networks Inc. | Managing streaming bandwidth for multiple clients |
US9319448B2 (en) * | 2010-08-10 | 2016-04-19 | Qualcomm Incorporated | Trick modes for network streaming of coded multimedia data |
US9479739B2 (en) * | 2010-10-04 | 2016-10-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and apparatuses for adaptive control of streaming |
US9253233B2 (en) * | 2011-08-31 | 2016-02-02 | Qualcomm Incorporated | Switch signaling methods providing improved switching between representations for adaptive HTTP streaming |
US8751679B2 (en) * | 2011-10-07 | 2014-06-10 | Ericsson Television Inc. | HTTP adaptive streaming server with automatic rate shaping |
-
2011
- 2011-12-06 KR KR1020110129916A patent/KR101922552B1/ko active IP Right Grant
-
2012
- 2012-12-05 WO PCT/KR2012/010482 patent/WO2013085279A1/ko active Application Filing
- 2012-12-05 US US14/363,364 patent/US9692801B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011044287A1 (en) | 2009-10-06 | 2011-04-14 | Openwave Systems Inc. | Managing network traffic by editing a manifest file and/or using intermediate flow control |
Also Published As
Publication number | Publication date |
---|---|
US20150039721A1 (en) | 2015-02-05 |
KR20130063413A (ko) | 2013-06-14 |
US9692801B2 (en) | 2017-06-27 |
WO2013085279A1 (ko) | 2013-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107743698B (zh) | 用于多路径媒体传递的方法和装置 | |
US11553018B2 (en) | Dynamically switched multicast delivery | |
KR101922552B1 (ko) | 멀티미디어 컨텐트 전송 시스템에서 적응적 스트리밍을 이용한 트래픽 제어 방법 및 장치 | |
WO2009128528A1 (ja) | サーバ装置とコンテンツ配信方法とプログラム | |
CN107683608B (zh) | 接收设备、发送设备与数据处理方法 | |
US11277456B2 (en) | System and method for delivering an audio-visual con tent to a client device | |
CN108063769B (zh) | 一种内容服务的实现方法、装置及内容分发网络节点 | |
US20130013799A1 (en) | Method and apparatus for transmitting and receiving content in a broadcasting system | |
EP3047627B1 (en) | Dash representations adaptations in network | |
KR20120114016A (ko) | 사용자 컨텐츠를 외부 단말기에서 네트워크 적응적으로 스트리밍하는 방법 및 장치 | |
MX2015003953A (es) | Aparato y metodo relativo a la transmision de contenido a uno o mas dispositivos de usuario. | |
WO2016174960A1 (ja) | 受信装置、送信装置、およびデータ処理方法 | |
US9888272B2 (en) | Method, terminal and CDN server in IPTV system for realizing playing while downloading | |
KR101718127B1 (ko) | 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법 | |
CN110832821B (zh) | 下载视听内容的方法和设备 | |
EP2953315B1 (en) | Method for operating a cache arranged along a transmission path between client terminals and at least one server, and corresponding cache | |
US10425458B2 (en) | Adaptive bit rate streaming with multi-interface reception | |
US11418273B2 (en) | Reception device, transmission device, and data processing method | |
KR20180024841A (ko) | 스트리밍 서비스 서버 및 그의 제어 방법 | |
US20170085623A1 (en) | Content downloading and network provisioning | |
KR102597653B1 (ko) | 무선 스트리밍 방법 | |
KR20050047228A (ko) | 고화질 인터넷 방송 시스템의 멀티캐스트 서비스 방법 | |
US20220417610A1 (en) | Systems and methods for selecting a data delivery network | |
CA3047368A1 (en) | A method for managing media streams | |
WO2009103346A1 (en) | Method and apparatus for obtaining media over a communications network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |