KR102208814B1

KR102208814B1 - 통신 시스템에서 패킷 송수신 방법 및 장치

Info

Publication number: KR102208814B1
Application number: KR1020140037265A
Authority: KR
Inventors: 황성희; 양현구
Original assignee: 삼성전자주식회사
Priority date: 2014-03-28
Filing date: 2014-03-28
Publication date: 2021-01-28
Also published as: US20170104685A1; EP3125536A4; US11876723B2; WO2015147610A3; US10728161B2; US11509594B2; KR20150112661A; CN106664155B; JP6511470B2; US20230041787A1; EP3125536A2; EP3125536B1; US20200351213A1; CN106664155A; CN113783661A; CN113783661B; WO2015147610A2; JP2017516346A

Abstract

본 발명은 통신 시스템에서 패킷을 송신하는 방법에 있어서, MMT(MPEG(Moving Picture Experts Group) Media Transport) 패킷들을 생성하고, 상기 MMT 패킷들 각각에 대하여, 드롭되었는지 여부를 나타내는 별도의 정보를 생성하고, 상기 별도의 정보에 순방향 오류 정정(FEC: Forward Error Correction) 보호(Protection)를 수행하여 리페어 데이터를 생성하고, 상기 MMT 패킷들과 상기 리페어 데이터를 전송한다.

Description

통신 시스템에서 패킷 송수신 방법 및 장치 {METHOD AND APPARATUS FOR TRANSMITTING AND RECEIVING A PACKET IN A COMMUNICATION SYSTEM}

본 발명은 통신 시스템에서 패킷을 송수신하는 방법 및 장치에 관한 것이다.

통신 시스템에서 컨텐츠(Contents)의 다양화와 HD(High Definition) 컨텐츠, UHD(Ultra High Definition) 컨텐츠와 같은 고 용량 컨텐츠의 증가로 인해 데이터 혼잡(Data Congestion)은 점점 더 심화되고 있다. 이러한 상황으로 인하여 송신기(Sender), 일례로 호스트(Host) A가 보낸 컨텐츠가 수신기(Receiver), 일례로 호스트 B에게 정상적으로 전달되지 않고, 상기 컨텐츠의 일부가 경로(Route)상에서 손실되는 상황이 발생한다.

일반적으로 데이터(Data)는 패킷(Packet) 단위로 전송되므로 컨텐츠의 손실은 패킷 단위로 발생한다. 상기 패킷은 전송하고자 하는 데이터의 한 블록과 주소지 정보, 관리정보를 포함한다. 상기 데이터 블록은 일례로 페이로드(Payload)가 될 수 있고, 주소지 정보는 일례로 발신지 주소, 목적지 주소가 될 수 있고, 상기 관리정보는 일례로 헤더가 될 수 있다.

따라서, 네트워크에서 패킷 손실이 발생할 경우에 수신기는 손실된 패킷을 수신할 수 없게 됨으로써, 상기 손실된 패킷 내의 데이터 및 관리정보를 알 수 없게 된다. 이로 인해 오디오(Audio)의 품질 저하, 비디오(Video)의 화질 열화나 화면 깨짐, 자막 누락, 파일의 손실 등과 같은 다양한 형태로 사용자의 불편을 초래하게 된다.

이와 같은 이유로 전송 시 전송할 패킷의 일부로서 컨텐츠 재생에 큰 영향을 주지 않는 데이터를 인위적으로 드롭(Drop)해서 네트워크의 부담을 줄이는 방법이 사용되고 있다. 상기 컨텐츠 재생에 큰 영향을 주지 않는 데이터는 일례로 B-프레임(Frame)이 될 수 있다. 그러나 이러한 방법 또한 네크워크에서의 패킷 손실을 없앨 수는 없으므로, 상기 패킷 드롭을 통한 전송 시에도 네트워크에서 발생된 데이터 손실을 복구하기 위한 방법으로 응용 계층 순방향 에러 정정(Application Layer Forward Error Correction : AL-FEC)이 필요하다. 또한 이를 위한 FEC 패킷을 구성하여 송수신하는 방법이 필요하다.

본 발명은 통신 시스템에서 패킷을 송수신하는 방법 및 장치를 제공한다.

또한 본 발명은 통신 시스템에서 FEC 패킷을 송수신하는 방법 및 장치를 제공한다.

본 발명의 일 실시예에 따른 방법은; 통신 시스템에서 패킷을 송신하는 방법에 있어서, MMT(MPEG(Moving Picture Experts Group) Media Transport) 패킷들을 생성하는 과정과, 상기 MMT 패킷들 각각에 대하여, 드롭되었는지 여부를 나타내는 별도의 정보를 생성하는 과정과, 상기 별도의 정보에 순방향 오류 정정(FEC: Forward Error Correction) 보호(Protection)를 수행하여 리페어 데이터를 생성하는 과정과, 상기 MMT 패킷들과 상기 리페어 데이터를 전송하는 과정을 포함한다.

본 발명의 다른 실시예에 따른 방법은; 통신 시스템에서 패킷을 수신하는 방법에 있어서, MMT(MPEG(Moving Picture Experts Group) Media Transport) 패킷들과 리페어 데이터를 수신하는 과정과, 상기 리페어 데이터에 의해 보호되는 상기 MMT 패킷들 각각에 대한 드롭 여부를 나타내는 정보를 획득하는 과정과, 상기 획득한 정보를 기반으로 상기 MMT 패킷들을 복원하는 과정을 포함한다.

본 발명의 일 실시예에 따른 장치는; 통신 시스템에서 패킷을 송신하는 송신 장치에 있어서, MMT(MPEG(Moving Picture Experts Group) Media Transport) 패킷들을 생성하고, 상기 MMT 패킷들 각각에 대하여, 드롭되었는지 여부를 나타내는 별도의 정보를 생성하고, 상기 별도의 정보에 순방향 오류 정정(FEC: Forward Error Correction) 보호(Protection)를 수행하여 리페어 데이터를 생성하는 제어부와, 상기 MMT 패킷들과 상기 리페어 데이터를 전송하는 전송부를 포함한다.

본 발명의 다른 실시예에 따른 장치는; 통신 시스템에서 패킷을 수신하는 방법에 있어서,

MMT(MPEG(Moving Picture Experts Group) Media Transport) 패킷들과 리페어 데이터를 수신하고, 상기 리페어 데이터에 의해 보호되는 상기 MMT 패킷들 각각에 대한 드롭 여부를 나타내는 정보를 기반으로 상기 MMT 패킷들을 복원하는 수신부와, 상기 MMT 패킷들 각각에 대한 드롭 여부를 나타내는 정보를 획득하는 제어부를 포함한다.

본 발명의 일 실시 예에 따르면, 사용자에게 보다 양질의 서비스를 제공할 수 있다. 본 발명은 수신 장치가 송신 장치에 의한 패킷 드롭 상황에서의 FEC 적용 방법을 인지할 수 있는 방법 및 장치를 제공함으로써 패킷 드롭 시에도 FEC 적용을 통해 사용자에게 양질의 컨텐츠를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 MPU 포맷(Format)의 예를 도시한 도면,
도 2는 본 발명의 일 실시예에 따른 송신 장치의 블록 구성의 예를 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 수신 장치의 블록 구성의 예를 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 소스 패킷, 소스 심볼, FEC 리페어 패킷의 예를 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 소스 페이로드, 소스 심볼, FEC 리페어 패킷의 예를 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 소스 페이로드, 소스 심볼, FEC 리페어 패킷의 예를 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 소스 패킷 플로우를 생성하는 예를 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 소스 패킷 블록(또는 소스 심볼 블록)을 생성하는 예를 도시한 도면,
도 9는 본 발명의 일 실시 예에 따르는 소스 패킷 블록(또는 소스 심볼 블록)을 생성하는 예를 도시한 도면,
도 10은 도 8 및 도 9의 실시 예로부터 생성된 6개의 리페어 데이터와 3개의 리페어 심볼들을 전송하기 위한 3개의 FEC 리페어 패킷의 예를 나타낸 도면.

이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명의 일 실시예에서는 ISOBMFF(ISO Base Media File Format) 기반의 MPU(MMT(MPEG(Moving Picture Experts Group) Media Transport) Processing Unit)와 MMT 힌트 트랙(Hint Track)을 각각 정의하고, 패키지(Package)의 패킷화 전송(Packetized Delivery)의 한 방법으로 MPU 모드를 정의한다. 또한 MMT Hint Track을 이용해서 MMT 전송 엔티티(Sending Entity)가 MPU 모드에서의 패킷 드롭(Packet Drop)을 가능하도록 한다.

또한 본 발명의 일 실시예에서는 MMT를 위한 응용계층(AL: Application Layer)-순방향 오류 정정(FEC: Forward Error Correction) 프레임워크(Framework)를 정의한다. 또한 FEC 보호(protection)를 수행할 소스 패킷(source packet)들에 대해 FEC 코드(code)를 이용하여 리페어 패킷(repair packet)을 생성하고, FEC 보호의 수행으로 인해 상기 소스 패킷들에 소스 FEC 페이로드 식별자(ID: identifier)가 부가되어 생성된 FEC 소스 패킷들은 상기 리페어 패킷은 함께 전송된다. 상기 FEC 관련 구성 정보를 포함하는 AL-FEC 메시지는 상기 FEC 소스 패킷, 리페어 패킷 전송 전에 미리 전송되거나 주기적으로 전송되며, 상기 AL-FEC 메시지를 수신한 수신단은 FEC 관련 구성 정보를 알 수 있다. 상기 소스 패킷은 소스 FEC 페이로드 ID를 부가하여 전송하게 되므로, 상기 동일한 소스 패킷에 대해 또 다른 리페어 패킷을 생성하기 위해서는 상기 소스 패킷에 또 다른 FEC 소스 페이로드 ID를 부가해야 한다. 따라서 하나의 소스 패킷에 대해 서로 다른 FEC 구성을 가지는 여러 개의 리페어 패킷을 생성하는데 제약이 따르거나 비효율적이게 된다. 또한 송신기는 FEC 보호의 수행 없이 소스 패킷만 전송하고 네트워크의 중간 노드(Node)에서 FEC 보호를 수행할 경우, 상기 네트워크 노드가 상기 송신기에 의해 전송된 소스 패킷에 소스 FEC 페이로드 ID를 추가하여야 하며 송신기에 의해 전송된 패킷을 중간 노드에서 변경해야만 하는 문제점이 있다. 따라서 소스 패킷에 소스 FEC 페이로드 ID를 부가하지 않고 FEC 보호를 수행하는 방법이 요구된다. 후술할 본 발명의 실시예에서는 패킷이 드롭될 시 소스 패킷에 대해 FEC 보호를 수행하는 방법 및 장치를 제공한다.

본 발명의 일 실시 예에 따른 송신 방법 및 장치는, 전송하고자 하는 어셋(Asset)들 및 시그널링 메시지(Signaling message)를 위한 MMT 패킷들을 생성하고, 상기 어셋들 중 FEC 보호를 수행하고자 하는 어셋들에 해당하는 MMT 패킷들을 MPU 모드에 따라 생성하고, 상기 MMT 패킷들 중 적어도 하나의 MMT 패킷을 드롭하고, 상기 MMT 패킷들 각각에 대해 드롭되지 않았음을 나타내는 정보를 별도로 생성하고 상기 드롭된 MMT 패킷들 각각에 대해서는 Drop 되었음을 나타내는 정보를 별도로 생성하고, 상기 드롭되지 않았음을 나타낸 정보들과 드롭되었음을 나타내는 정보를 FEC 보호함에 의해 상기 드롭 유무를 나타내는 정보에 대한 리페어 데이터를 생성하고, 상기 드롭 이후의 MMT 패킷들에서 FEC 보호를 수행하고자 하는 데이터들로부터 적어도 하나 이상의 소스 심볼들로 구성된 소스 심볼 블록을 생성하고, 상기 소스 심볼 블록에 FEC를 적용함에 의해 적어도 하나 이상의 리페어 심볼들을 생성하고, 상기 리페어 심볼들과 리페어 데이터를 전송하기 위한 적어도 하나의 FEC 리페어 패킷을 생성하고, 상기 MMT 패킷들과 상기 FEC 리페어 패킷들을 전송한다.

본 발명의 일 실시 예에 따른 수신 방법 및 장치는, 송신기로부터 수신된 FEC 리페어 패킷의 FEC 리페어 페이로드 ID로부터 상기 FEC 리페어 패킷에 저장되어 있는 리페어 데이터와 리페어 심볼을 획득하고 상기 리페어 데이터에 의해 보호되는 드롭 유무 정보들의 개수, 순서, 시작 점등과 같이 FEC 복호에 필요한 정보를 획득하고, 상기 획득된 정보를 이용하여 수신된 MMT 패킷에 대해서는 드롭되지 않았음을 나타내는 정보를 생성하고, 수신되지 않은 MMT 패킷에 대해서는 해당 드롭 유무 정보를 손실 처리하여 상기 획득된 리페어 데이터를 이용하여 손실된 드롭 유무 정보를 복원하고, 상기 복원된 드롭 유무 정보로부터 상기 수신하지 못한 MMT 패킷들 중에서 실제 손실된 MMT 패킷과 드롭된 MMT 패킷을 인지하여 상기 수신되지 않은 MMT 패킷들 중 드롭된 해당 MMT 패킷들을 제외한 상기 수신된 MMT 패킷들과 상기 실제 손실된 MMT 패킷들로부터 소스 심볼 블록을 구성하고, 상기 획득된 보호 심볼을 이용하여 상기 소스 심볼 블록 내 손실 처리된 소스 심볼을 복원하고 상기 소스 심볼로부터 소스 패킷을 복원한다. 또한 상기 복원된 소스 패킷들을 MPU 디-캡슐화부(De-capsulator)에 입력하고, 상기 MPU 디-캡슐화부는 MPU 헤더내의 MPU 힌트 트랙 정보를 활용하여 MPU를 디 캡슐화(De-capsulation)하고 그 결과를 코덱 복호부(Codec Decoder)에 입력한다.

본 발명의 일 실시예에서, 패킷 드롭 이후의 MMT 패킷들에서 FEC 보호를 수행하고자 하는 데이터들, 즉 소스 패킷들이라 함은 MMT 패킷들 그 자체이거나 상기 패킷 드롭 이후의 MMT 패킷들에서 MMTP 헤더를 제외한 MMTP 페이로드들이거나 또는 상기 패킷 드롭 이후의 MMT 패킷들에서 MMT 패킷 헤더 및 MMT 패킷 페이로드 헤더를 제외한 데이터 유닛(DU: Data Unit)들이거나 DU 헤더까지 제외한 DU 페이로드들임을 나타낸다. 상기 드롭되지 않았음을 나타내는 정보라 함은 단순 드롭 유무를 나타내는 플래그(flag) 정보이거나 해당 MMT 패킷 내 FEC 보호가 수행되는 데이터의 길이 정보이거나 해당 MMT 패킷 내 FEC 보호가 수행되는 데이터로부터 FEC 보호를 위해 생성된 소스 심볼들의 개수 (또는 소스 심볼 엘리먼트의 개수) 정보임을 나타낸다. 상기 FEC 리페어 패킷은 MMT 패킷 헤더를 포함하고 또한 FEC 리페어 페이로드 ID를 포함하는데 상기 FEC 리페어 페이로드 ID는 상기 FEC 리페어 패킷의 리페어 데이터에 의해 보호되는 드롭 유무 정보들의 개수, 즉 드롭 전 MMT 패킷들의 개수, 순서 및 시작 점등과 같이 수신단에서 FEC 복호(decoding)에 필요한 직/간접적인 정보를 포함한다.

또한 본 발명의 일 실시예에서, 수신단은 소스 심볼 블록 내의 소스 심볼들의 개수 또는 소스 심볼 엘리먼트들의 개수 정보는 상기 드롭 유무 정보의 개수 및 그 값으로부터 계산해 낼 수 있다. 예를 들어 드롭 유무 정보가 FEC 보호되는 MMT 패킷 내의 데이터의 길이 정보라 함은, 수신단은 복원된 드롭 유무 정보들에 드롭되지 않은 MMT 패킷들에서 FEC 보호되는 각각의 MMT 패킷내의 데이터의 길이를 알기 때문에 송신단에서 적용한 소스 심볼 블록 생성 방법에 따라 수신단에서 소스 심볼 블록을 재구성할 수 있다. 물론 손실된 MMT 패킷 에 대한 소스 심볼은 손실 처리된다.

본 발명의 다른 실시 예에 따른 송신 방법 및 장치는, 드롭된 이후의 MMT 패킷들에 대해 FEC 부호화를 수행하여 리페어 심볼을 생성한다. 그런 다음 상기 생성된 리페어 심볼로부터 FEC 리페어 패킷을 생성하여 상기 드롭된 이후의 MMT 패킷들과 함께 전송한다. 상기 드롭된 이후의 FEC 보호된 MMT 패킷들 각각에 대해서는 소스 FEC 페이로드 ID를 부가하여 전송한다.

본 발명의 다른 실시 예에 따른 수신 방법 및 장치는, 수신된 소스 FEC 페이로드 ID가 부가된 MMT 패킷들과 FEC 리페어 패킷들로부터 소스 심볼 블록 및 리페어 심볼 블록을 재구성한다. 이때 손실된 패킷에 해당하는 심볼에 대해서는 손실 처리한다. 그런 다음 FEC 복호를 수행하여 손실 처리된 소스 심볼을 복원하고 복원된 소스 심볼로부터 손실된 MMT 패킷 내의 FEC 보호가 수행되는 데이터를 획득하여 MPU 디-캡슐화부 에 입력한다. MPU 디-캡슐화부는 MPU 헤더 내의 MPU 힌트 트랙 정보를 활용하여 MPU를 디-캡슐화하고 그 결과를 코덱 복호부에 입력한다.

본 발명의 또 다른 실시 예에 따른 송신 방법 및 장치는, 드롭된 MMT 패킷에 대해서는 리페어 심볼의 길이만큼 수신단과 서로 약속된 값, 일례로 00h를 채워 드롭된 이후의 MMT 패킷들과 함께, FEC 부호화를 수행하여 리페어 심볼을 생성한다. 상기 생성된 리페어 심볼로부터 FEC 리페어 패킷을 생성하여 상기 드롭된 이후의 MMT 패킷들과 함께 전송한다.

본 발명의 또 다른 실시 예에 따른 수신 방법 및 장치는, FEC 복호에 의해 복원된 데이터의 값이 송신단과 기 약속된 값이면 드롭된 상황임을 인지하여 해당 데이터를 유효하지 않은 데이터로 간주하거나 또는 버린다. 드롭되지 않은 복원된 데이터에 대해서는 MPU 디-캡슐화부에 입력하고 MPU 디-캡슐화부는 MPU 헤더 내의 MPU 힌트 트랙 정보를 활용하여 MPU를 디-캡슐화하고 그 결과를 코덱 복호부에 입력한다.

도 1은 본 발명의 일 실시예에 따른 MPU 포맷(Format)의 예를 도시한 도면이다.

도 1을 참조하면, 도 1(a)는 복호 및 프레젠테이션(Presentation)을 위한 시간 정보를 갖는 미디어(timed media)의 MPU을 나타내고. 데이터를 의미하는 도 1(b)는 복호 및 프레젠테이션을 위한 시간 정보를 갖지 않는 미디어(non-timed media)의 MPU를 나타낸다.

도 1(a)에 도시된 MPU는 ftyp(102), mmpu(104), moov(106), moof(112) 및 mdat(114)를 포함한다. 상기 ftyp(102)는 파일 정보를 포함하고, 상기 mmpu(104)는 MPU 구분을 위한 정보를 포함하고, 상기 moov(106)는 미디어 트랙(108)과 MMT 힌트 트랙(110)을 포함한다. 여기서 MMT 힌트 트랙(110)은 실시간 패킷 전송을 위한 헤더를 포함한다. 상기 moof(112)는 반복적으로 빈번하게 전송된다.

도 1(b)에 도시된 MPU는 ftyp(122), mmpu(124), moov(126), meta(130) 및 item(132,134)를 포함한다. 상기 ftyp(122)는 파일 정보를 포함하고, 상기 mmpu(124)는 MPU 구분을 위한 정보를 포함하고, 상기 moov(126)는 MMT 힌트 트랙(128)을 포함한다.

MMT 전송 엔티티(또는 전송부)는 네트워크 상황에 따라 패킷에 대한 드롭이 필요하다고 판단되면, MPU 포맷의 MMT 힌트 트랙(110,128) 정보에 기초해서 세그멘테이션(Segmentation)을 수행하여 패킷으로 나누고(Packetization) B-Frame과 같은 중요도가 상대적으로 낮은 패킷들을 드롭하여 전송한다.

도 2는 본 발명의 일 실시예에 따른 송신 장치의 블록 구성의 예를 도시한 도면이다.

도 2를 참조하면, 송신 장치는 전송부(sender)(또는 전송 엔티티)(220), 패킷 드롭 정보 생성부(Packet Drop Information Generator)(212), 소스 심볼 블록 생성부(Source Symbol Block Generator)(214), FEC 부호화부(Encoder)(216) 및 FEC 제어부(Controller)(218)를 포함한다.

송신 장치는 코덱 부호화부로부터 데이터 스트림(Data Stream)을 생성하거나 저장된 데이터 스트림(어셋)으로부터 MPU 캡슐화(Encapsulation)(202)를 수행하여 MPU를 생성한다. 상기 어셋은 유니크(Unique) ID와 관련된 멀티미디어 데이터 엔티티를 의미한다.

그런 다음 상기 MPU는 MPU 힌트 트랙 정보에 기초해서 세그멘테이션되고, 상기 MPU에 세그멘테이션된 상황에 대한 정보를 포함하는 MMT 패킷 페이로드 헤더를 추가하여 Payloadization(206)을 수행한다. AL-FEC가 적용되는 경우를 가정하면, AL-FEC 메시지(208)를 별도의 패킷으로 전송하는 것이 필요할 경우 상기 AL-FEC 메시지 또한 Payloadization 과정을 거친다. 여기에 MMT 패킷 헤더를 추가하여 Packetization(210)을 수행하는데 각각의 MMT 패킷 헤더는 패킷_ID와 패킷 시퀀스 넘버가 설정된다. 상기 패킷_ID는 어셋을 식별하고, 상기 패킷 시퀀스 넘버는 상기 패킷_ID에 의해 범위가 결정된다.

Packetization(210)후 전송부(220)는 패킷 드롭을 하고자 하는 경우 해당 패킷을 드롭한 후 드롭하지 않은 패킷들을 전송한다. AL-FEC를 적용하고자 하는 경우 FEC 부호기(216)는 패킷 드롭 정보, 일례로 패킷의 길이 정보를 생성한 후 FEC 부호화를 수행하여 리페어 패킷을 생성한다. 여기서 드롭된 패킷의 길이 정보는 0으로 설정되며, 이하에서는 상기 리페어와 패리티를 동일한 의미로 사용하도록 한다.

또한 FEC 부호기(216)는 전송되는 MMT 패킷들에 대해서는 FEC 부호화에 의해 리페어 심블 블록을 생성하여 상기 리페어 데이터와 리페어 심볼을 포함하는 FEC 리페어 패킷, 즉 상기 리페어 데이터와 리페어 심볼을 위한 MMT 패킷을 생성한다.

한편, 소스 심볼 블록 생성부(214)는 소스 심볼 블록을 생성하고, FEC 제어부(218)는 패킷 드롭 정보 생성부(212), 소스 심볼 블록 생성부(214), FEC 부호화부(216) 동작을 제어한다.

도 3은 본 발명의 일 실시 예에 따른 수신 장치의 블록 구성의 예를 도시한 도면이다.

도 3을 참조하면, 수신 장치는 패킷 수신부(Packet Receiver), 부호화 심볼 블록 생성부(Encoding Symbol Block Generator), FEC 복호부(Decoder)(314) 및 FEC 제어부(Controller)(316)를 포함한다.

일반적으로 데이터 스트림(320)은 De-packetization(304), De-payloadization(306), De-segementation(308), MPU De-capsulation(310) 과정을 거쳐 획득된다. AL-FEC 메시지(318)가 별도의 패킷으로 전송된 경우는 De-payloadization(306) 과정에서 페이로드가 시그널링 데이터를 저장하고 있고 그것이 AL-FEC 메시지 임을 나타내면 파싱(Parsing해)서 FEC 복호에 필요한 FEC 구성 에 관한 기본적인 정보를 파악한다. 그런 다음 FEC 패킷 블록 별로 구분되는 세부 정보는 해당 FEC 패킷 블록의 FEC 리페어 패킷의 리페어 FEC 페이로드 ID로부터 획득한다.

만일 상기의 FEC 복호에 필요한 FEC 구성에 관한 정보가 FEC 리페어 패킷 내에 전송되면 FEC 리페어 패킷의 de-packetization(304) 과정에서 FEC 리페어 패킷의 리페어 FEC 페이로드 ID로 부터 FEC 복호 관련 정보를 획득한다. FEC 복호 관련 정보를 모두 획득하면, 부호화 심볼 블록 생성부(312)는 FEC에 의해 보호된 데이터를 전송하는 수신된 MMT 패킷들로부터 패킷 드롭 정보를 생성한다. 이때 수신되지 않은 MMT 패킷에 대한 패킷 드롭 정보는 손실로 간주한다. 상기 수신된 FEC 리페어 패킷 내의 리페어 데이터를 이용하여 부호화 심볼, 즉 패킷 드롭 정보와 이를 위한 리페어 데이터로 구성하고, FEC 복호부(314)에 입력하면 FEC 복호부(314)는 손실된 패킷 드롭 정보를 복원한다.

부호화 심볼 블록 생성부(312)는 상기 복원된 패킷 드롭 정보로부터 상기 수신되지 않은 MMT 패킷들 중에서 실제 손실된 패킷과 드롭된 패킷을 구분하고, 이 정보에 기초해서 수신된 MMT 패킷들로부터 소스 심볼 블록을 생성한다. 그런 다음 상기 FEC 리페어 패킷의 리페어 심볼들을 이용하여 부호화 심볼, 즉 소스 심볼과 이를 위한 리페어 심볼로 구성하여 생성하고 FEC 복호부(314)에 입력한다. FEC 복호부(314)는 상기 수신된 FEC 리페어 패킷의 리페어 심볼들을 이용하여 손실된 MMT 패킷을 복원한다. 복원된 MMT 패킷은 De-packetization(304), De-paylaodization(306), De-segmentation(308), MPU De-capsulation(310) 과정을 거쳐 데이터 스트림(320)으로 전환된다.

도 4는 본 발명의 일 실시 예에 따른 소스 패킷, 소스 심볼, FEC 리페어 패킷의 예를 도시한 도면이다.

도 4를 참조하면, MMT 패킷, 즉 소스 패킷(Source Packet)(400)은 MMT 패킷 헤더(Packet Header)(402), MMT 페이로드 헤더(Payload Header), 데이터(Data)(또는 페이로드)를 포함한다.

소스 심볼(Source Symbol)(410)은 소스 패킷(400)에 가능한 패딩(Possibly Padding)(418)을 추가하여 생성되며, AL-FEC 메시지로 주어지거나 미리 정해진 리페어 심볼의 크기(Size)의 차이만큼 패딩 데이터(00h)가 추가된다. 따라서 소스 심볼(410)은 MMT 패킷 헤더(412), MMT 페이로드 헤더(414), 데이터(416), 가능한 패딩(418)을 포함한다.

FEC 리페어 패킷(Repair Packet)(420)은 MMT 패킷 헤더(422), FEC 리페어 페이로드(Repair Payload) ID(424), 리페어 데이터(Repair Data)(426), 리페어 페이로드(Repair Payload)(또는 리페어 심볼)(428)을 포함한다. 상기 리페어 데이터(426)은 FEC 부호화에 의해 패킷 드롭 정보로부터 생성되고, 리페어 심볼(428)은 소스 심볼 블록으로부터 생성된다.

도 5는 본 발명의 일 실시 예에 따른 소스 페이로드, 소스 심볼, FEC 리페어 패킷의 예를 도시한 도면이다.

도 5를 참조하면, MMT 페이로드, 즉 소스 페이로드(500)는 MMT 페이로드 헤더(Payload Header)(502), 데이터(Data)(또는 페이로드)(504)를 포함한다.

소스 심볼(Source Symbol)(510)은 소스 페이로드(500)에 가능한 패딩(Possibly Padding)(516)을 추가하여 생성되며, AL-FEC 메시지로 주어지거나 미리 정해진 리페어 심볼의 크기의 차이만큼 패딩 데이터(00h)가 추가된다. 따라서 소스 심볼(510)은 페이로드 헤더(512), 데이터(Data)(또는 페이로드)(514), 가능한 패딩(516)을 포함한다.

FEC 리페어 패킷(520)은 MMT 패킷 헤더(522), FEC 리페어 페이로드(Repair Payload) ID(524), 리페어 데이터(Repair Data)(526), 리페어 페이로드(또는 리페어 심볼)(528)을 포함한다. 상기 리페어 데이터(526)는 FEC 부호화에 의해 패킷 드롭 정보로부터 생성되고, 리페어 심볼(528)은 소스 심볼 블록으로부터 생성된다.

도 6은 본 발명의 일 실시 예에 따른 소스 페이로드, 소스 심볼, FEC 리페어 패킷의 예를 도시한 도면이다.

도 6을 참조하면, MMT 페이로드, 즉 소스 페이로드(Source Payload)(600)은 데이터(Data)(또는 페이로드)를 포함한다.

소스 심볼(Source Symbol)(610)은 MMT 페이로드(600)에 가능한 패딩(Possibly Padding)(614)을 추가하여 생성되며, AL-FEC 메시지로 주어지거나 미리 정해진 리페어 심볼의 크기(Size)의 차이만큼 패딩 데이터(00h)가 추가된다. 따라서 소스 심볼(610)은 데이터(612), 가능한 패딩(614)을 포함한다.

FEC 리페어 패킷(620)은 MMT 패킷 헤더(Packet Header)(622), FEC 리페어 페이로드(Repair Payload) ID(624), 리페어 데이터(Repair Data)(626), 리페어 페이로드(또는 리페어 심볼)(628)을 포함한다. 상기 리페어 데이터(626)는 FEC 부호화에 의해 패킷 드롭 정보로부터 생성되고, 리페어 심볼(628)은 소스 심볼 블록으로부터 생성된다.

상기 Repair FEC 페이로드 ID는 기 출원 특허 P2013-0131587와 동일하게 구성될 수 있으며, 그 차이점은 SSB_길이는 소스 심볼 블록의 소스 심볼들이 개수 정보가 아니라 패킷 드롭 이전의 MMT 패킷들의 개수를 나타낸다는 것과, 리페어 데이터의 개수, 즉 RD_길이 정보가 추가된다는 것이다.

또한 상기 리페어 FEC 페이로드 ID는 해당 FEC 리페어 패킷이 패킷 드롭 정보를 보호하기 위한 리페어 데이터를 포함하는지 여부를 나타내는 플래그를 포함한다. 이는 FEC 패킷 블록 별로 패킷 드롭의 적용 여부가 다를 수 있고, 패킷 드롭 미 발생시 패킷 드롭 정보를 위한 리페어 데이터를 생성하여 전송할 필요가 없기 때문이다.

도 7은 본 발명의 일 실시 예에 따른 소스 패킷 플로우를 생성하는 예를 도시한 도면이다.

도 7을 참조하면, 3개의 어셋(Asset) A,B,C(700,710,720), 일례로 오디오 데이터, 비디오 데이터, 텍스트 데이터, 파일 등과 같은 Non-timed 데이터 또는 Timed 데이터가 있을 때, 각각의 어셋은 소정 개수의 MPU들로 캡슐화되고 각각의 MPU는 소정 크기의 데이터로 분리된다. 그런 다음 각 데이터에 MMT 페이로드 헤더, MMT 패킷 헤더를 부가하여 MMT 패킷 플로우(또는 소스 패킷 플로우)를 구성한다.

즉 어셋 A,B,C(700,710,720) 각각으로부터 캡슐화된 MPU들 중 하나의 MPU는 5개의 데이터 페이로드로 분리되고, 각각의 데이터에는 패킷_ID(702)와 패킷 시퀀스 넘버(704)를 포함하는 헤더를 추가하였다. 어셋 A(700)의 패킷들을 식별하는 패킷_ID = 0, 어셋 B의 패킷_ID=1, 어셋 C의 패킷_ID=2가 할당되고, 각각의 패킷_ID에 기반한 패킷 시퀀스 넘버는 1 씩 증가하도록 할당되었다. 상기 헤더는 일례로 MMT 패킷 헤더가 될 수 있다.

도 8은 본 발명의 일 실시 예에 따른 소스 패킷 블록(또는 소스 심볼 블록)을 생성하는 예를 도시한 도면이다.

도 8을 참조하면, 3가지 패킷_ID로 구성되는 패킷들의 플로우로부터 패킷_ID = 0 or 1을 가지는 2개의 패킷_ID들에 해당하는 패킷들을 선별하여 FEC 소스 패킷 플로우(=1 소스 패킷 블록)를 구성하고, 패킷_ID=0이 패킷들 중 3번째, 5번째 패킷을 드롭하였다. 이로부터 패킷_ID=0를 가지는 패킷들에 대한 패킷 드롭 정보로써 FEC 보호되는 패킷의 길이를 우선 배치한다. 이때 드롭 패킷의 위치에 해당하는 패킷 드롭 정보는 0으로 설정한다. 그런 다음 패킷_ID=1을 가지는 패킷들에 대한 패킷 드롭 정보를 배치하여 패킷 드롭 정보를 생성한 후 FEC 부호화에 의해 리페어 데이터 블록을 생성하였다.

도 9는 본 발명의 일 실시 예에 따르는 소스 패킷 블록(또는 소스 심볼 블록)을 생성하는 예를 도시한 도면이다.

도 9를 참조하면, 3가지 패킷_ID로 구성되는 패킷들의 플로우로부터 패킷_ID = 0 or 1을 가지는 2개의 패킷_ID들에 해당하는 패킷들을 선별하여 FEC 소스 패킷 플로우(=1 소스 패킷 블록)를 구성하고 패킷_ID=0이 패킷들 중 3번째, 5번째 패킷을 드롭하였다. 드롭된 후 패킷들에서 패킷_ID=0를 가지는 패킷들을 우선 배치하고 다음 패킷_ID=1을 가지는 패킷들을 배치하여 소스 심볼 블록을 생성한 후 FEC 부호화에 의해 리페어 심볼 블록을 생성하였다. 소스 패킷에 소스 심볼로 전환할 때 소스 패킷들의 길이가 서로 다르면 패딩이 필요하고,(SSBG_MODE1) 모두 동일한 길이이면 패딩이 필요하지 않다.(SSBG_MODE0).

도 10은 도 8 및 도 9의 실시 예로부터 생성된 6개의 리페어 데이터와 3개의 리페어 심볼들을 전송하기 위한 3개의 FEC 리페어 패킷의 예를 나타낸 도면이다.

도 10을 참조하면, 각각의 FEC 리페어 패킷(1000)은 MMTP 헤더(header)(1002), FEC 리페어 페이로드(Repair payload) ID(1004), 리페어 데이터(Repair Data)(1006), 리페어 심볼(Repair Symbol)(1008)을 포함한다.

MMTP 헤더(1002)는 패킷_ID 정보와 패킷 시퀀스 넘버(또는 리페어 데이터 ID)가 설정되는데, FEC 리페어 패킷의 패킷_ID로써 소스 패킷과 구분 짖기 위해 3으로 설정하였다.

패킷 시퀀스 넘버 필드에는 리페어 데이터(1006)의 리페어 데이터 블록 내의 인덱스(Index)를 나타내도록 하였다. FEC 리페어 페이로드 ID(1004)는 소스 심볼 블록 내에 있는 두 개의 패킷_ID 각각에 대한 시작 시퀀스 넘버를 설정하도록 하였고, 또는 각각의 패킷_ID 값을 가지는 패킷 드롭 전의 MMT 패킷 개수 정보를 설정하였다.

또한 리페어 데이터(1006)의 개수 정보와 Repair Symbol의 개수 정보를 설정하였다. 다음으로 리페어 데이트(1006)를 두 개씩 위치하고 하나의 리페어 심볼을 위치하였다. 이렇게 함으로써 수신기는 FEC 리페어 페이로드 ID(1004)와 리페어 데이터(1006)를 활용하여 패킷 드롭 정보를 복원하여 드롭된 패킷의 위치 및 개수를 인지하여 수신된 MMT 패킷들로부터 소스 심볼 블록을 제대로 구성할 수 있다. 소스 심볼 블록을 구성한 후 상기 FEC 리페어 패킷 리페어 심볼을 이용하여 손실된 패킷을 복원한다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

또한 본 발명의 실시예에 따른 패킷 송수신 방법 및 장치는 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 그래픽 화면 갱신 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.

따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다

또한 본 발명의 실시예에 따른 패킷 송수신 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 그래픽 처리 장치가 기설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.

Claims

통신 시스템의 송신 디바이스에서 패킷들을 송신하는 방법에 있어서,
적어도 하나의 애셋(asset)에 기초하여 소스 패킷들을 획득하는 단계 ― 상기 적어도 하나의 애셋의 각각은 고유한 식별자와 연관되는 멀티미디어 데이터 엔티티(entity)임 ― ;
상기 소스 패킷들 중 적어도 하나의 소스 패킷을 드롭(drop)하는 단계 ― 상기 드롭되는 적어도 하나의 소스 패킷을 포함하는 상기 소스 패킷들의 각각은 상기 적어도 하나의 애셋에 관련되는 데이터를 포함함 ― ;
상기 소스 패킷들 중 상기 드롭되는 적어도 하나의 소스 패킷을 제외한 나머지 소스 패킷들을 순방향 에러 정정(FEC) 인코딩하여 하나 이상의 리페어(repair) 심볼들을 생성하는 단계;
상기 적어도 하나의 애셋에 관련되는 데이터를 포함하는 상기 드롭되는 적어도 하나의 소스 패킷을 나타내는 드롭 정보를 보호하기 위한 리페어 데이터를 생성하는 단계; 및
상기 하나 이상의 리페어 심볼들과 상기 드롭 정보를 보호하기 위한 상기 리페어 데이터를 포함하는 리페어 패킷들 및 상기 나머지 소스 패킷들을 수신 디바이스로 송신하는 단계를 포함하는,
통신 시스템의 송신 디바이스에서 패킷들을 송신하는 방법.
제 1 항에 있어서,
상기 드롭 정보에 포함되는 상기 드롭되는 적어도 하나의 소스 패킷에 대응하는 표시자는 0으로서 설정되는,
통신 시스템의 송신 디바이스에서 패킷들을 송신하는 방법.
제 1 항에 있어서,
상기 리페어 패킷은 리페어 페이로드 식별자(ID)를 더 포함하고, 그리고
상기 리페어 페이로드 ID는 각각의 패킷 ID에 따라 상기 드롭되는 적어도 하나의 소스 패킷을 제외한 소스 패킷들의 수 및 상기 패킷 ID와 관련된 상기 드롭되는 적어도 하나의 소스 패킷을 제외한 소스 패킷들의 시작 번호에 대한 정보를 포함하는,
통신 시스템의 송신 디바이스에서 패킷들을 송신하는 방법.
통신 시스템의 수신 디바이스에서 패킷들을 수신하는 방법에 있어서,
하나 이상의 리페어(repair) 심볼들과 송신 디바이스에 의해 드롭되는 적어도 하나의 소스 패킷을 나타내는 드롭 정보를 보호하기 위한 리페어 데이터를 포함하는 리페어 패킷들 및 소스 패킷들을 상기 송신 디바이스로부터 수신하는 단계;
상기 리페어 데이터로부터 상기 드롭 정보를 복원하는 단계; 및
상기 드롭 정보 및 상기 적어도 하나의 리페어 심볼들에 기초하여 상기 송신 디바이스에 의해 드롭되는 상기 적어도 하나의 소스 패킷을 복원하는 단계를 포함하고,
상기 수신된 소스 패킷들 및 상기 드롭되는 적어도 하나의 소스 패킷의 각각은 적어도 하나의 애셋(asset)과 관련된 데이터를 포함하고, 그리고
상기 적어도 하나의 애셋의 각각은 고유한 식별자와 연관되는 멀티미디어 데이터 엔티티(entity)인,
통신 시스템의 수신 디바이스에서 패킷들을 수신하는 방법.
제 4 항에 있어서,
상기 드롭 정보에 포함되는 상기 드롭되는 적어도 하나의 소스 패킷에 대응하는 표시자는 0으로서 설정되는,
통신 시스템의 수신 디바이스에서 패킷들을 수신하는 방법.
제 4 항에 있어서,
상기 리페어 패킷은 리페어 페이로드 식별자(ID)를 더 포함하고, 그리고
상기 리페어 페이로드 ID는 각각의 패킷 ID에 따라 상기 드롭되는 적어도 하나의 소스 패킷을 제외한 소스 패킷들의 수 및 상기 패킷 ID와 관련된 상기 드롭되는 적어도 하나의 소스 패킷을 제외한 소스 패킷들의 시작 번호에 대한 정보를 포함하는,
통신 시스템의 수신 디바이스에서 패킷들을 수신하는 방법.
통신 시스템에서 패킷들을 송신하기 위한 송신 디바이스에 있어서,
송신기; 및
상기 송신기에 연결된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는:
적어도 하나의 애셋(asset)에 기초하여 소스 패킷들을 획득하고 ― 상기 적어도 하나의 애셋의 각각은 고유한 식별자와 연관되는 멀티미디어 데이터 엔티티(entity)임 ― ;
상기 소스 패킷들 중 적어도 하나의 소스 패킷을 드롭(drop)하고 ― 상기 드롭되는 적어도 하나의 소스 패킷을 포함하는 상기 소스 패킷들의 각각은 상기 적어도 하나의 애셋에 관련되는 데이터를 포함함 ― ;
상기 소스 패킷들 중 상기 드롭되는 적어도 하나의 소스 패킷을 제외한 나머지 소스 패킷들을 순방향 에러 정정(FEC) 인코딩하여 하나 이상의 리페어(repair) 심볼들을 생성하고;
상기 적어도 하나의 애셋에 관련되는 데이터를 포함하는 상기 드롭되는 적어도 하나의 소스 패킷을 나타내는 드롭 정보를 보호하기 위한 리페어 데이터를 생성하고; 그리고
상기 하나 이상의 리페어 심볼들과 상기 드롭 정보를 보호하기 위한 상기 리페어 데이터를 포함하는 리페어 패킷들 및 상기 나머지 소스 패킷들을 수신 디바이스로 송신하도록 구성되는,
통신 시스템에서 패킷들을 송신하기 위한 송신 디바이스.
제 7 항에 있어서,
상기 드롭 정보에 포함되는 상기 드롭되는 적어도 하나의 소스 패킷에 대응하는 표시자는 0으로서 설정되는,
통신 시스템에서 패킷들을 송신하기 위한 송신 디바이스.
제 7 항에 있어서,
상기 리페어 패킷은 리페어 페이로드 식별자(ID)를 더 포함하고, 그리고
상기 리페어 페이로드 ID는 각각의 패킷 ID에 따라 상기 드롭되는 적어도 하나의 소스 패킷을 제외한 소스 패킷들의 수 및 상기 패킷 ID와 관련된 상기 드롭되는 적어도 하나의 소스 패킷을 제외한 소스 패킷들의 시작 번호에 대한 정보를 포함하는,
통신 시스템에서 패킷들을 송신하기 위한 송신 디바이스.
통신 시스템에서 패킷들을 수신하기 위한 수신 디바이스에 있어서,
수신기; 및
상기 수신기에 연결된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는:
하나 이상의 리페어(repair) 심볼들과 송신 디바이스에 의해 드롭되는 적어도 하나의 소스 패킷을 나타내는 드롭 정보를 보호하기 위한 리페어 데이터를 포함하는 리페어 패킷들 및 소스 패킷들을 상기 송신 디바이스로부터 수신하고;
상기 리페어 데이터로부터 상기 드롭 정보를 복원하고; 그리고
상기 드롭 정보 및 상기 적어도 하나의 리페어 심볼들에 기초하여 상기 송신 디바이스에 의해 드롭되는 상기 적어도 하나의 소스 패킷을 복원하도록 구성되고,
상기 수신된 소스 패킷들 및 상기 드롭되는 적어도 하나의 소스 패킷의 각각은 적어도 하나의 애셋(asset)과 관련된 데이터를 포함하고, 그리고
상기 적어도 하나의 애셋의 각각은 고유한 식별자와 연관되는 멀티미디어 데이터 엔티티(entity)인,
통신 시스템에서 패킷들을 수신하기 위한 수신 디바이스.
제 10 항에 있어서,
상기 드롭 정보에 포함되는 상기 드롭되는 적어도 하나의 소스 패킷에 대응하는 표시자는 0으로서 설정되는,
통신 시스템에서 패킷들을 수신하기 위한 수신 디바이스.
제 10 항에 있어서,
상기 리페어 패킷은 리페어 페이로드 식별자(ID)를 더 포함하고, 그리고
상기 리페어 페이로드 ID는 각각의 패킷 ID에 따라 상기 드롭되는 적어도 하나의 소스 패킷을 제외한 소스 패킷들의 수 및 상기 패킷 ID와 관련된 상기 드롭되는 적어도 하나의 소스 패킷을 제외한 소스 패킷들의 시작 번호에 대한 정보를 포함하는,
통신 시스템에서 패킷들을 수신하기 위한 수신 디바이스.