KR102153708B1 - Method and system for providing sign language broadcast service using companion screen service - Google Patents

Method and system for providing sign language broadcast service using companion screen service Download PDF

Info

Publication number
KR102153708B1
KR102153708B1 KR1020180157994A KR20180157994A KR102153708B1 KR 102153708 B1 KR102153708 B1 KR 102153708B1 KR 1020180157994 A KR1020180157994 A KR 1020180157994A KR 20180157994 A KR20180157994 A KR 20180157994A KR 102153708 B1 KR102153708 B1 KR 102153708B1
Authority
KR
South Korea
Prior art keywords
sign language
signaling information
video
image
main
Prior art date
Application number
KR1020180157994A
Other languages
Korean (ko)
Other versions
KR20190068483A (en
Inventor
김태우
홍성욱
김회웅
Original Assignee
주식회사 에어코드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에어코드 filed Critical 주식회사 에어코드
Priority to PCT/KR2018/015611 priority Critical patent/WO2019112398A1/en
Publication of KR20190068483A publication Critical patent/KR20190068483A/en
Application granted granted Critical
Publication of KR102153708B1 publication Critical patent/KR102153708B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64707—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless for transferring content from a first network to a second network, e.g. between IP and wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/65—Arrangements characterised by transmission systems for broadcast
    • H04H20/71—Wireless systems
    • H04H20/72—Wireless systems of terrestrial networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]

Abstract

수화 방송 서비스 제공 방법 및 그 시스템이 제공된다. 이 방법은 적어도 하나의 프로세서에 의해 동작하는 디바이스가 수화 방송 서비스를 제공하는 방법으로서, 적어도 하나의 컴패니언 디바이스와 페어링하는 단계, 방송망을 통해 수신되는 방송 신호로부터 수화 영상 서비스의 시그널링 정보를 추출하는 단계, 그리고 상기 추출한 시그널링 정보를 상기 페어링된 적어도 하나의 컴패니언 디바이스에게 전송하는 단계를 포함하고, 상기 추출한 시그널링 정보는, 상기 적어도 하나의 컴패니언 디바이스가 수화 영상을 스트리밍하는 서버에 접속하여, 상기 수화 영상을 수신하는데 사용된다.A sign language broadcasting service providing method and system thereof are provided. This method is a method in which a device operated by at least one processor provides a sign language broadcast service, the steps of pairing with at least one companion device, extracting signaling information of a sign language video service from a broadcast signal received through a broadcast network And transmitting the extracted signaling information to the paired at least one companion device, wherein the extracted signaling information is connected to a server through which the at least one companion device streams a sign language video to receive the sign language video. It is used to receive.

Figure R1020180157994
Figure R1020180157994

Description

컴패니언 스크린 서비스를 이용한 수화 방송 서비스 제공 방법 및 그 시스템{METHOD AND SYSTEM FOR PROVIDING SIGN LANGUAGE BROADCAST SERVICE USING COMPANION SCREEN SERVICE}Method of providing sign language broadcasting service using companion screen service and its system {METHOD AND SYSTEM FOR PROVIDING SIGN LANGUAGE BROADCAST SERVICE USING COMPANION SCREEN SERVICE}

본 발명은 디지털 방송 시스템에서 수화 방송 서비스를 제공하는 기술에 관한 것이다.The present invention relates to a technology for providing a sign language broadcasting service in a digital broadcasting system.

ATSC(Advanced Television System Committee)에서는 IP(Internet Protocol) 기반의 차세대 지상파 방송 서비스를 위해 지상파 UHD(Ultra High Definition) 방송 전송 표준인 ATSC 3.0이라는 이름으로 방송 기술 규격 개발을 진행하고 있다.The Advanced Television System Committee (ATSC) is developing a broadcast technology standard under the name of ATSC 3.0, a terrestrial Ultra High Definition (UHD) broadcast transmission standard, for next-generation terrestrial broadcast services based on Internet Protocol (IP).

ATSC 3.0에서는 IP 기반의 전송 방식으로, 방송망 및 통신망의 하이브리드 방송 환경을 통하여 기본 TV 서비스뿐 아니라 서비스 가이드, HTML(HyperText Markup Language)5 앱 서비스, 주문형 비디오, 모바일 연동 서비스, 동적 광고 등과 같은 다양한 부가 서비스를 제공할 수 있다.ATSC 3.0 is an IP-based transmission method. Various additional features such as basic TV service, service guide, HTML (HyperText Markup Language) 5 app service, video on demand, mobile linked service, dynamic advertisement, etc. Service can be provided.

한편, 많은 나라들이 장애인에 대한 차별 금지와 권리 구제 등에 관한 법률 규정을 제정하여 장애인들이 TV를 통해 다양한 정보를 얻을 수 있도록 지원하고 있다. 특히, 수화 방송 서비스는 청각 장애를 가진 장애인을 위한 수화 통역을 곁들인 방송 서비스이다. 수화 방송 서비스는 자막 방송과 더불어 청각 장애인들의 방송 시청에 대한 편의를 제공하여 비장애인과 동등한 방송 접근권을 보장하는 중요한 수단의 하나로 활용되고 있다.Meanwhile, many countries have enacted laws and regulations regarding the prohibition of discrimination against persons with disabilities and remedies for their rights, so that people with disabilities can obtain various information through TV. In particular, the sign language broadcast service is a broadcast service with sign language interpretation for the disabled with hearing impairments. Sign language broadcasting services are utilized as one of the important means of ensuring the same access rights as those of the non-disabled by providing convenience for the hearing impaired to watch broadcasting along with closed captioning.

현재, 지상파, 위성 방송, 케이블 방송 등에서, 보도 채널을 중심으로 청각 장애인을 위한 수화 방송 서비스가 제공되고 있다. 이러한 수화 방송 서비스는 주 방송 화면의 일부 영역에 수화 통역사의 수화 영상이 함께 제공되는 형태이다. 따라서, 수화 영상의 크기가 너무 작아 청각 장애인이 수화 통역자의 표정이나 손짓을 보기가 어렵다.Currently, in terrestrial, satellite broadcasting, cable broadcasting, etc., a sign language broadcasting service for the hearing impaired is provided centering on a news channel. In such a sign language broadcast service, a sign language image of a sign language interpreter is provided in a partial area of the main broadcast screen. Therefore, the size of the sign language image is so small that it is difficult for the hearing impaired to see the sign language interpreter's expressions or gestures.

본 발명이 해결하고자 하는 과제는 컴패니언 스크린 서비스(Companion Screen Service)를 이용하여 수화 방송 서비스를 제공하는 방법 및 그 시스템을 제공하는 것이다.The problem to be solved by the present invention is to provide a method and a system for providing a sign language broadcast service using a companion screen service.

본 발명의 하나의 특징에 따르면, 수화 방송 서비스 제공 방법은 적어도 하나의 프로세서에 의해 동작하는 디바이스가 수화 방송 서비스를 제공하는 방법으로서, 적어도 하나의 컴패니언 디바이스와 페어링하는 단계, 방송망을 통해 수신되는 방송 신호로부터 수화 영상 서비스의 시그널링 정보를 추출하는 단계, 그리고 상기 추출한 시그널링 정보를 상기 페어링된 적어도 하나의 컴패니언 디바이스에게 전송하는 단계를 포함하고, 상기 추출한 시그널링 정보는, 상기 적어도 하나의 컴패니언 디바이스가 수화 영상을 스트리밍하는 서버에 접속하여, 상기 수화 영상을 수신하는데 사용된다.According to one feature of the present invention, a method for providing a sign language broadcast service is a method for providing a sign language broadcast service by a device operated by at least one processor, the step of pairing with at least one companion device, and a broadcast received through a broadcast network. Extracting signaling information of a sign language video service from a signal, and transmitting the extracted signaling information to the paired at least one companion device, wherein the extracted signaling information is provided by the at least one companion device It is used to connect to a server that streams video and receive the sign language video.

상기 추출하는 단계는, 서비스 레벨 시그널링 정보로부터 상기 수화 영상 서비스의 MPD(Media Presentation Description)를 추출하고, 상기 MPD는, 상기 적어도 하나의 컴패니언 디바이스로 전송될 수 있다.The extracting may include extracting a Media Presentation Description (MPD) of the sign language video service from service level signaling information, and the MPD may be transmitted to the at least one companion device.

상기 추출하는 단계는, 서비스 레벨 시그널링 정보로부터 2D(Dimensional) 수화 영상 서비스의 제1 MPD(Media Presentation Description) 및 가상 현실(Virtual Reality, VR) 수화 영상 서비스의 제2 MPD를 추출하고, 상기 제1 MPD와 상기 제2 MPD는, 서로 다른 컴패니언 디바이스로 전송되어, 2D 수화 영상 및 가상 현실 수화 영상을 각각 수신하는데 사용될 수 있다.The extracting may include extracting a first media presentation description (MPD) of a 2D (Dimensional) sign language video service and a second MPD of a virtual reality (VR) sign language video service from service level signaling information, and the first The MPD and the second MPD are transmitted to different companion devices, and may be used to receive a 2D sign language image and a virtual reality sign language image, respectively.

본 발명의 다른 특징에 따르면, 적어도 하나의 프로세서에 의해 동작하는 방송 서버가 수화 방송 서비스를 제공하는 방법으로서, 수화 영상 서비스를 위한 시그널링 정보가 추가된 방송 신호를 방송망을 통하여 주 디바이스에게 전송하는 단계, 상기 주 디바이스와 페어링된 컴패니언 디바이스로부터 상기 시그널링 정보를 이용한 수화 영상 요청을 수신하는 단계, 그리고 요청된 수화 영상을 상기 컴패니언 디바이스로 전송하는 단계를 포함하고, 상기 컴패니언 디바이스는, 상기 주 디바이스에 출력된 방송 화면을 설명하는 수화 영상을 상기 방송 서버로부터 수신하여 화면에 출력한다.According to another feature of the present invention, a method for providing a sign language broadcast service by a broadcast server operated by at least one processor, the step of transmitting a broadcast signal to which signaling information for a sign language video service is added to a main device through a broadcast network , Receiving a sign language image request using the signaling information from a companion device paired with the main device, and transmitting the requested sign language image to the companion device, wherein the companion device is output to the main device A sign language image describing the broadcast screen is received from the broadcast server and output to the screen.

상기 시그널링 정보는, 제1 콘텐츠 타입의 수화 영상 서비스를 위한 제1 시그널링 정보와 상기 제1 콘텐츠 타입과 다른 제2 콘텐츠 타입의 수화 영상 서비스를 위한 제2 시그널링 정보를 포함하고, 상기 수신하는 단계는, 제1 컴패니언 디바이스로부터 상기 제1 시그널링 정보를 이용한 수화 영상 요청을 수신하는 단계, 그리고 상기 제1 컴패니언 디바이스와 다른 제2 컴패니언 디바이스로부터 상기 제2 시그널링 정보를 이용한 수화 영상 요청을 수신하는 단계를 포함하며, 상기 컴패니언 디바이스로 전송하는 단계는, 상기 제1 시그널링 정보를 이용한 수화 영상 및 상기 제2 시그널링 정보를 이용한 수화 영상을 각각 전송할 수 있다.The signaling information includes first signaling information for a sign language video service of a first content type and second signaling information for a sign language video service of a second content type different from the first content type, and the receiving step And receiving a sign language video request using the first signaling information from a first companion device, and receiving a sign language video request using the second signaling information from a second companion device different from the first companion device. In the transmitting of the companion device to the companion device, a sign language image using the first signaling information and a sign language image using the second signaling information may be respectively transmitted.

상기 주 디바이스에게 전송하는 단계는, 상기 방송 신호의 서비스 레벨 시그널링 정보에 상기 수화 영상 서비스의 MPD(Media Presentation Description)를 추가로 포함시킬 수 있다.In the transmitting of the main device, a media presentation description (MPD) of the sign language video service may be additionally included in the service level signaling information of the broadcast signal.

본 발명의 또 다른 특징에 따르면, 방송 시스템은 주 영상에 대한 제1 시그널링 정보와 상기 주 영상을 설명하는 수화 영상에 대한 제2 시그널링 정보를 인코딩하는 시그널링 인코더, 상기 주 영상, 인코딩된 상기 제1 시그널링 정보 및 상기 제2 시그널링 정보를 다중화한 방송 신호를 방송망을 통해 주 디바이스로 전송하는 전송 신호 전송 장치, 그리고 상기 주 디바이스와 페어링된 컴패니언 디바이스로부터 상기 제2 시그널링 정보를 이용한 수화 영상 요청을 수신하고, 요청된 수화 영상을 상기 컴패니언 디바이스로 전송하는 수화 영상 전송 장치를 포함한다.According to another feature of the present invention, a broadcasting system includes a signaling encoder for encoding first signaling information for a main video and second signaling information for a sign language video describing the main video, the main video, and the encoded first A transmission signal transmission device that transmits a broadcast signal multiplexed with signaling information and the second signaling information to a main device through a broadcasting network, and receives a sign language video request using the second signaling information from a companion device paired with the main device, And a sign language image transmission device that transmits the requested sign language image to the companion device.

상기 수화 영상 전송 장치는, MPEG(Moving Picture Expert Group)-DASH(Dynamic Adaptive Streaming over HTTP) 프로토콜을 이용하여 상기 수화 영상을 전송하는 DASH 서버일 수 있다.The sign language image transmission apparatus may be a DASH server that transmits the sign language image using a Moving Picture Expert Group (MPEG)-Dynamic Adaptive Streaming over HTTP (DASH) protocol.

상기 시그널링 인코더는, 상기 주 영상을 설명하는 가상 현실(Virtual Reality, VR) 타입의 수화 영상에 대한 제3 시그널링 정보를 추가로 인코딩하고, 상기 수화 영상 전송 장치는, 상기 주 디바이스와 페어링된 가상 현실 디바이스로부터 상기 제3 시그널링 정보를 이용한 수화 영상 요청을 수신하고, 요청된 수화 영상을 상기 가상 현실 디바이스로 전송하며, 상기 주 영상, 상기 수화 영상 및 상기 가상 현실 타입의 수화 영상은, 각각의 디바이스에서 동시에 출력될 수 있다.The signaling encoder additionally encodes third signaling information for a virtual reality (VR) type sign language image describing the main image, and the sign language image transmission device includes a virtual reality paired with the main device. Receives a request for a sign language image using the third signaling information from a device, transmits the requested sign language image to the virtual reality device, and the main image, the sign language image, and the virtual reality type sign language image are Can be output at the same time.

상기 제2 시그널링 정보 및 상기 제3 시그널링 정보는, 상기 방송 신호의 서비스 레벨 시그널링 정보에 포함될 수 있다.The second signaling information and the third signaling information may be included in service level signaling information of the broadcast signal.

본 발명의 실시예에 따르면, 컴패니언 스크린 서비스를 이용하여 메인 영상이 출력되는 디바이스와 수화 영상이 출력되는 디바이스를 분리함으로써, 종래에 수화 영상의 크기가 작아 발생하는 불편한 문제점을 해결할 수 있다. According to an embodiment of the present invention, by separating a device for outputting a main image and a device for outputting a sign language image using a companion screen service, it is possible to solve an inconvenient problem caused by a small size of a sign language image.

또한, 수화 영상을 주 영상과 별도로 통신망을 통해 TV, 컴패니언 디바이스, VR(Virtual Reality) 장비 등을 통해 출력함으로써, 시청자가 주 영상 출력 장비와 별개의 다양한 장비로 수화 영상을 시청할 수 있게 한다.In addition, by outputting the sign language video through a TV, companion device, VR (Virtual Reality) equipment, etc., through a communication network separate from the main video, viewers can view the sign language video through various devices separate from the main video output device.

도 1은 본 발명의 한 실시예에 따른 수화 방송 서비스를 제공하는 네트워크 구성을 나타낸다.
도 2는 본 발명의 한 실시예에 따른 수화 방송 서비스를 제공하는 과정을 나타낸 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 수화 방송 서비스를 제공하는 네트워크 구성을 나타낸다.
도 4는 본 발명의 다른 실시예에 따른 수화 방송 서비스를 제공하는 과정을 나타낸 흐름도이다.
도 5는 본 발명의 실시예가 적용될 수 있는 방송 시스템의 하드웨어 블록도이다.
도 6은 본 발명의 실시예가 적용될 수 있는 디바이스의 하드웨어 블록도이다.1 shows a network configuration for providing a sign language broadcast service according to an embodiment of the present invention.
2 is a flowchart illustrating a process of providing a sign language broadcast service according to an embodiment of the present invention.
3 shows a network configuration for providing a sign language broadcast service according to another embodiment of the present invention.
4 is a flowchart illustrating a process of providing a sign language broadcast service according to another embodiment of the present invention.
5 is a hardware block diagram of a broadcasting system to which an embodiment of the present invention can be applied.
6 is a hardware block diagram of a device to which an embodiment of the present invention can be applied.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the embodiments. However, the present invention may be implemented in various different forms, and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are assigned to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless otherwise stated. In addition, terms such as "... unit", "... group", and "... module" described in the specification mean a unit that processes at least one function or operation, which can be implemented by hardware or software or a combination of hardware and software. I can.

이하, 본 명세서에서 시그널링(signaling)은 방송 시스템, 인터넷 방송 시스템, 방송 및 인터넷 융합 시스템에서 제공되는 서비스 정보(Service Information, SI)를 송수신하는 것을 나타낸다. Hereinafter, in the present specification, signaling refers to transmitting and receiving service information (SI) provided in a broadcasting system, an Internet broadcasting system, and a broadcasting and Internet convergence system.

방송 신호는 지상파 UHD(Ultra High Definition) 방송, 케이블 방송, 위성 방송, 및/또는 모바일 방송 이외에도, 인터넷 방송, 브로드밴드 방송, 통신 방송, 데이터 방송 및/또는 VOD(Video On Demand) 등의 양방향 방송에서 제공되는 신호 및/또는 데이터를 포함하는 개념으로 정의한다. In addition to terrestrial UHD (Ultra High Definition) broadcasting, cable broadcasting, satellite broadcasting, and/or mobile broadcasting, broadcast signals are used in interactive broadcasting such as Internet broadcasting, broadband broadcasting, communication broadcasting, data broadcasting, and/or Video On Demand (VOD). It is defined as a concept including the provided signal and/or data.

본 발명의 실시예는 ATSC 표준(Advanced Television System Committee Standard) 문서에 의해 뒷받침될 수 있다. 즉, 본 발명의 실시예들 중 본 발명의 기술적 사상을 명확히 드러내기 위해 설명하지 않은 단계들 또는 부분들은 상기 문서에 의해 뒷받침될 수 있다. 또한, 본 문서에서 개시하고 있는 모든 용어들은 상기 표준 문서에 의해 설명될 수 있다.An embodiment of the present invention may be supported by an ATSC standard (Advanced Television System Committee Standard) document. That is, among the embodiments of the present invention, steps or parts not described in order to clearly reveal the technical idea of the present invention may be supported by the document. In addition, all terms disclosed in this document can be described by the standard document.

컴패니언 스크린(Companion Screen) 서비스는 N 스크린의 한 종류로서, TV를 다양한 스마트 기기와 연계하여 방송 콘텐츠 관련 서비스를 제공한다.The companion screen service is a type of N screen, and provides broadcast content-related services by linking a TV with various smart devices.

본 발명의 실시예에서는, 컴패니언 스크린 서비스를 이용하여 수화 방송 서비스를 제공한다.In an embodiment of the present invention, a sign language broadcast service is provided using a companion screen service.

도 1은 본 발명의 한 실시예에 따른 수화 방송 서비스를 제공하는 네트워크 구성을 나타내고, 도 2는 본 발명의 한 실시예에 따른 수화 방송 서비스를 제공하는 과정을 나타낸 흐름도이다.1 shows a network configuration for providing a sign language broadcast service according to an embodiment of the present invention, and FIG. 2 is a flow chart showing a process for providing a sign language broadcast service according to an embodiment of the present invention.

도 1을 참조하면, 방송 시스템(100)은 지상파 UHD 방송 등과 같은 디지털 방송 시스템이다. 방송 시스템(100)은 시그널링 인코더(101), AV(Audio, Video) 인코더(103), 수화 영상 인코더(105), 방송 신호 전송 장치(107) 및 수화 영상 전송 장치(109)를 포함한다. Referring to FIG. 1, the broadcasting system 100 is a digital broadcasting system such as terrestrial UHD broadcasting. The broadcast system 100 includes a signaling encoder 101, an audio, video (AV) encoder 103, a sign language video encoder 105, a broadcast signal transmission device 107, and a sign language image transmission device 109.

시그널링 인코더(101)는 주(Main) 영상의 메타 데이터 등을 포함하는 시그널링 정보와 수화 영상의 메타 데이터 등을 포함하는 시그널링 정보를 인코딩한다. 여기서, 주 영상은 특정 방송 프로그램을 구성하는 영상 데이터를 말한다.The signaling encoder 101 encodes signaling information including metadata of a main image and signaling information including metadata of a sign language image. Here, the main image refers to image data constituting a specific broadcast program.

AV 인코더(103)는 주 영상을 입력받아 인코딩한다. 주 영상은 비디오 데이터 및 오디오 데이터(AV)를 포함할 수 있다.The AV encoder 103 receives and encodes the main video. The main image may include video data and audio data (AV).

수화 영상 인코더(105)는 수화 영상을 입력받아 인코딩한다. 여기서, 수화 영상은 주 영상과 동기화되며, 주 영상을 설명하는 수화 영상이다. The sign language video encoder 105 receives and encodes a sign language video. Here, the sign language image is synchronized with the main image and is a sign language image describing the main image.

방송 신호 전송 장치(107)는 시그널링 인코더(101)가 출력하는 인코딩된 시그널링 신호와 AV 인코더(103)가 출력하는 인코딩된 주 영상 신호를 다중화한 방송 신호를 생성한다. 그리고 방송 신호를 방송망(200)을 통하여 주 디바이스(300)로 전송한다. 여기서, 방송망(200)은 방송 신호를 주 디바이스(300)로 전송하기 위한 경로를 제공하며, 예를들어, 지상파 방송망, 위성 방송망, 케이블 방송망 등이 있다. The broadcast signal transmission device 107 generates a broadcast signal obtained by multiplexing the encoded signaling signal output from the signaling encoder 101 and the encoded main video signal output from the AV encoder 103. Then, the broadcast signal is transmitted to the main device 300 through the broadcast network 200. Here, the broadcasting network 200 provides a path for transmitting a broadcasting signal to the main device 300, and includes, for example, a terrestrial broadcasting network, a satellite broadcasting network, and a cable broadcasting network.

수화 영상 전송 장치(109)는 수화 영상 인코더(105)가 출력하는 인코딩된 수화 영상 신호를 통신망(400)을 통하여 컴패니언 디바이스(501, 503)에게 전송한다. 통신망(400)은 IP(Internet Protocol)망, 이동방송망 등의 광대역(broadband) 망일 수 있다.The sign language video transmission apparatus 109 transmits the encoded sign language video signal output from the sign language video encoder 105 to the companion devices 501 and 503 through the communication network 400. The communication network 400 may be a broadband network such as an Internet Protocol (IP) network or a mobile broadcasting network.

수화 영상 신호는 MPEG(Moving Picture Expert Group)-DASH(Dynamic Adaptive Streaming over HTTP) 표준에 따라 통신망(400)을 통해 전송된다. DASH는 AV 데이터를 세그먼트(Segment)라고 하는 파일로 나누어 HTTP(HyperText Transfer Protocol)로 전달하는 스트리밍 표준이다.The sign language video signal is transmitted through the communication network 400 according to the Moving Picture Expert Group (MPEG)-Dynamic Adaptive Streaming over HTTP (DASH) standard. DASH is a streaming standard that divides AV data into files called segments and delivers them through HTTP (HyperText Transfer Protocol).

이때, 수화 영상 전송 장치(109)는 DASH 서버일 수 있다. 수화 영상 전송 장치(109)는 MPEG-2 TS(Transport Stream) 파일 또는 ISO(International Organization for Standardization) BMFF(Base Media File Format)와 같은 미디어 파일들을 전송에 적합하도록 세그먼트 단위로 변환하여 전송한다.In this case, the sign language image transmission device 109 may be a DASH server. The sign language image transmission device 109 converts media files such as an MPEG-2 Transport Stream (TS) file or an International Organization for Standardization (ISO) Base Media File Format (BMFF) into segments suitable for transmission and transmits them.

또한, 컴패니언 디바이스(501, 503)는 DASH　서버에 대응하는 DASH　클라이언트를 포함할 수 있다. Further, the companion devices 501 and 503 may include a DASH/client corresponding to a DASH/server.

주 디바이스(300)는 방송 신호 전송 장치(107)로부터 디지털 방송 신호를 수신하여 재생할 수 있는 장치로서, TV(Television), 셋톱박스(settop box) 등을 포함한다. 적어도 하나의 컴패니언 디바이스(501, 503)는 디지털 방송 신호를 수신 가능한 스마트폰(Smartphone)이나 태블릿(Tablet) 등의 모바일 단말, 데스크탑(Desktop) PC(Personal Computer), 노트 PC 등을 포함할 수 있다.The main device 300 is a device capable of receiving and reproducing a digital broadcast signal from the broadcast signal transmission device 107, and includes a TV (Television), a settop box, and the like. The at least one companion device 501, 503 may include a mobile terminal such as a smartphone or tablet capable of receiving a digital broadcast signal, a desktop personal computer, and a note PC. .

주 디바이스(300)는 방송망(200)에 연결되고, 적어도 하나의 컴패니언 디바이스(501, 503)는 통신망(400)에 연결된다.The main device 300 is connected to the broadcasting network 200, and at least one companion device 501 and 503 is connected to the communication network 400.

주 디바이스(300)는 적어도 하나의 컴패니언 디바이스(501, 503)에게 수화 영상을 획득할 수 있는 URL(Uniform Resource Locator)과 수화 영상의 시그널링 정보인 MPD(Media Presentation Description)를 전송한다.The main device 300 transmits a URL (Uniform Resource Locator) for obtaining a sign language image and a Media Presentation Description (MPD), which is signaling information of a sign language image, to at least one companion device 501 and 503.

여기서, MPD는 수화 영상 서비스에 해당하는 DASH 미디어 프레젠테이션을 기술한다. MPD는 통신망(400)을 통해 전달되는 레프레젠테이션을 서술한다. MPD는 복호기를 초기화하는데 필요한 초기화 세그먼트(Initialization Segment) 파일이나 미디어 세그먼트 파일들에 대한 모든 URL을 제공한다. Here, the MPD describes the DASH media presentation corresponding to the sign language video service. MPD describes the presentation delivered through the communication network 400. MPD provides all URLs for the initialization segment files or media segment files required to initialize the decoder.

이때, 주 디바이스(300)와 적어도 하나의 컴패니언 디바이스(501, 503)는 페어링이 이미 수행되었다고 가정한다. At this time, it is assumed that pairing has already been performed between the main device 300 and at least one companion device 501 and 503.

한 실시예에 따르면, 주 디바이스(300)와 적어도 하나의 컴패니언 디바이스(501, 503)는 UpnP(Universal Plug and Play) 프로토콜을 이용하여 페어링 세션을 생성할 수 있다. According to an embodiment, the main device 300 and at least one companion device 501 and 503 may create a pairing session using a Universal Plug and Play (UPnP) protocol.

다른 실시예에 따르면, 주 디바이스(300)와 적어도 하나의 컴패니언 디바이스(501, 503)는 웹 소켓 통신을 할 수 있다. According to another embodiment, the main device 300 and at least one companion device 501 and 503 may perform web socket communication.

주 디바이스(300)와 적어도 하나의 컴패니언 디바이스(501, 503)는 MPD에 기초하여, 통신망(400)으로부터 수신되는 수화 영상을 재생한다.The main device 300 and at least one companion device 501 and 503 reproduce a sign language image received from the communication network 400 based on the MPD.

컴패니언 디바이스(501, 503)는 MPD를 이용하여 수화 영상을 수화 영상 전송 장치(109)에게 요청하여 수신한다. 그리고 수화 영상 전송 장치(109)로부터 스트리밍 전송되는 수화 영상을 MPD를 이용하여 재생한다. The companion devices 501 and 503 request and receive a sign language image from the sign language image transmission apparatus 109 using the MPD. Then, the sign language image streamed from the sign language image transmission device 109 is reproduced using the MPD.

컴패니언 디바이스(501, 503)는 DASH 클라이언트를 포함할 수 있다. 여기서, DASH 클라이언트는 MPD를 파싱(parsing)하는 MPD 파서(Parser), 세그먼트(Segment)를 파싱하는 세그먼트 파서(Segment Parser), HTTP 요청 메시지를 전송하고 HTTP 응답 메시지를 수신하는 HTTP 클라이언트, 미디어를 재생하는 미디어 엔진(engine)을 포함할 수 있다. The companion devices 501 and 503 may include DASH clients. Here, the DASH client is an MPD parser that parses an MPD, a segment parser that parses a segment, an HTTP client that transmits an HTTP request message and receives an HTTP response message, and plays the media. It may include a media engine (engine).

도 2를 참조하면, 메인 디바이스(300)는 주변의 컴패니언 디바이스(501, 503)를 검색하고, 검색된 컴패니언 디바이스(501, 503)와 페어링한다(S101, S103).Referring to FIG. 2, the main device 300 searches for companion devices 501 and 503 nearby, and pairs with the found companion devices 501 and 503 (S101 and S103).

메인 디바이스(300)는 방송 신호 전송 장치(107)로부터 브로드캐스팅(S105)되는 방송 신호의 시그널링 정보로부터 수화 영상 서비스에 대한 MPD를 추출한다(S107). 메인 디바이스(300)는 방송 신호가 수신되면, 시그널링 정보에 수화 영상 서비스와 관련된 정보가 포함되어 있는지 확인한다. The main device 300 extracts an MPD for a sign language video service from signaling information of a broadcast signal broadcast (S105) from the broadcast signal transmission device 107 (S107). When a broadcast signal is received, the main device 300 checks whether information related to a sign language video service is included in the signaling information.

메인 디바이스(300)는 추출(S107)한 MPD를 페어링(S103)된 컴패니언 디바이스(501, 503)에게 전송한다(S109).The main device 300 transmits the extracted (S107) MPD to the paired (S103) companion devices 501 and 503 (S109).

페어링(S103)된 컴패니언 디바이스(501, 503)는 수신(S109)한 MPD를 파싱 및 해석(S111)하고, 파싱 및 해석된 내용을 기초로 수화 영상 전송 장치(109)에게 수화 영상을 요청한다(S113). 수화 영상 전송 장치(109)는 요청(S113)된 수화 영상을 컴패니언 디바이스(501, 503)에게 스트리밍 전송한다(S115).The paired (S103) companion device (501, 503) parses and analyzes (S111) the received MPD (S109), and requests a sign language image from the sign language image transmission device 109 based on the parsed and interpreted content ( S113). The sign language image transmission apparatus 109 transmits the requested sign language image to the companion devices 501 and 503 by streaming (S115).

그러면, 메인 디바이스(300)는 S105 단계에서 수신되는 방송 신호의 메인 영상을 화면에 출력(S117)하고, 메인 디바이스(300)과 페어링(S103)된 컴패니언 디바이스(501, 503)는 S115 단계에서 수신되는 수화 영상 화면을 출력한다(S119). 이때, S117 단계, S119 단계는 동기화된다.Then, the main device 300 outputs the main image of the broadcast signal received in step S105 on the screen (S117), and the companion devices 501 and 503 paired with the main device 300 (S103) receive in step S115 The resulting sign language video screen is output (S119). At this time, steps S117 and S119 are synchronized.

도 3은 본 발명의 다른 실시예에 따른 수화 방송 서비스를 제공하는 네트워크 구성을 나타내고, 도 4는 본 발명의 다른 실시예에 따른 수화 방송 서비스를 제공하는 과정을 나타낸 흐름도이다.3 is a diagram illustrating a network configuration for providing a sign language broadcast service according to another embodiment of the present invention, and FIG. 4 is a flowchart illustrating a process of providing a sign language broadcast service according to another embodiment of the present invention.

이때, 도 3 및 도 4는 도 1 및 도 2와 유사하므로, 도 1 및 도 2와 중복되는 설명은 생략한다.At this time, since FIGS. 3 and 4 are similar to those of FIGS. 1 and 2, descriptions overlapping with those of FIGS. 1 and 2 will be omitted.

도 3을 참조하면, 시그널링 인코더(101)는 메인 영상 시그널링 정보, 수화 영상 시그널링 정보 및 VR 수화 영상 시그널링 정보를 인코딩한다. 방송 신호 전송 장치(107)는 시그널링 인코더(101) 및 AV 인코더(103)가 각각 출력하는 인코딩된 신호를 다중화한 방송 신호를 방송망(200)으로 브로드캐스트 전송한다.Referring to FIG. 3, the signaling encoder 101 encodes main video signaling information, sign language video signaling information, and VR sign language video signaling information. The broadcast signal transmission device 107 broadcasts a broadcast signal obtained by multiplexing the encoded signals output from the signaling encoder 101 and the AV encoder 103 to the broadcast network 200.

또한, 수화 영상 인코더(105)는 수화 영상을 인코딩하여 출력한다. 그리고 VR 수화 영상 인코더(111)는 가상 현실 타입의 수화 영상을 인코딩하여 출력한다.Also, the sign language video encoder 105 encodes and outputs a sign language video. In addition, the VR sign language image encoder 111 encodes and outputs a virtual reality type sign language image.

수화 영상 전송 장치(109)는 컴패니언 디바이스(505)의 요청에 따라 수화 영상을 스트리밍 전송한다. 또한, 수화 영상 전송 장치(109)는 VR 디바이스(507)의 요청에 따라 가상 현실 타입의 수화 영상을 스트리밍 전송한다.The sign language image transmission apparatus 109 streams and transmits the sign language image according to the request of the companion device 505. In addition, the sign language image transmission apparatus 109 streams and transmits a virtual reality type sign language image according to the request of the VR device 507.

도 4를 참조하면, 메인 디바이스(300)는 주변의 컴패니언 디바이스(505, 507)를 검색하고, 검색된 컴패니언 디바이스(505, 507)와 페어링한다(S201, S203, S205 S207).Referring to FIG. 4, the main device 300 searches for companion devices 505 and 507 in the vicinity, and performs pairing with the searched companion devices 505 and 507 (S201, S203, and S205 S207).

메인 디바이스(300)는 방송 신호 전송 장치(107)로부터 브로드캐스팅(S209)되는 방송 신호의 시그널링 정보로부터 수화 영상 서비스에 대한 MPD1 및 VR 수화 영상 서비스에 대한 MPD2를 추출한다(S211). The main device 300 extracts MPD1 for a sign language video service and MPD2 for a VR sign language video service from signaling information of a broadcast signal broadcast (S209) from the broadcast signal transmission device 107 (S211).

메인 디바이스(300)는 추출(S211)한 MPD1을 페어링(S203)된 컴패니언 디바이스(505)에게 전송한다(S213). 그러면, 페어링(S103)된 컴패니언 디바이스(505)는 수신(S213)한 MPD를 파싱 및 해석(S215)하고, 파싱 및 해석된 내용을 기초로 수화 영상 전송 장치(109)에게 수화 영상을 요청한다(S217). 수화 영상 전송 장치(109)는 요청(S217)된 수화 영상을 컴패니언 디바이스(505)에게 스트리밍 전송한다(S219).The main device 300 transmits the extracted MPD1 (S211) to the paired companion device 505 (S213). Then, the paired (S103) companion device 505 parses and analyzes (S215) the received MPD (S213), and requests a sign language image from the sign language image transmission device 109 based on the parsed and interpreted content ( S217). The sign language video transmission apparatus 109 transmits the requested sign language video to the companion device 505 by streaming (S219).

또한, 메인 디바이스(300)는 추출(S211)한 MPD2를 페어링(S207)된 VR 디바이스(507)에게 전송한다(S221). 그러면, 페어링(S207)된 VR 디바이스(505)는 수신(S213)한 MPD를 파싱 및 해석(S223)하고, 파싱 및 해석된 내용을 기초로 수화 영상 전송 장치(109)에게 수화 영상을 요청한다(S225). 수화 영상 전송 장치(109)는 요청(S225)된 수화 영상을 VR 디바이스(505)에게 스트리밍 전송한다(S227).In addition, the main device 300 transmits the extracted (S211) MPD2 to the paired (S207) VR device 507 (S221). Then, the paired (S207) VR device 505 parses and analyzes (S223) the received MPD (S213), and requests a sign language image from the sign language image transmission device 109 based on the parsed and interpreted content ( S225). The sign language image transmission apparatus 109 transmits the requested sign language image to the VR device 505 by streaming (S227).

이후, 메인 디바이스(300)는 S209 단계에서 수신되는 방송 신호의 메인 영상을 화면에 출력(S229)하고, 메인 디바이스(300)과 페어링(S103)된 컴패니언 디바이스(505, 507)는 각각 S219, S227 단계에서 수신되는 수화 영상 화면을 출력한다(S231, S233). 이때, S229 단계, S231 단계, S233 단계는 동기화된다.Thereafter, the main device 300 outputs the main image of the broadcast signal received in step S209 to the screen (S229), and the companion devices 505 and 507 paired with the main device 300 (S103) are respectively S219 and S227. The sign language video screen received in step is output (S231, S233). At this time, steps S229, S231, and S233 are synchronized.

한편, 도 5는 본 발명의 실시예가 적용될 수 있는 방송 시스템의 하드웨어 블록도로서, 도 1 ~ 도 4에서 설명한 방송 시스템(100)의 하드웨어 구성을 나타낸다.Meanwhile, FIG. 5 is a hardware block diagram of a broadcasting system to which an embodiment of the present invention can be applied, and shows the hardware configuration of the broadcasting system 100 described in FIGS. 1 to 4.

도 5를 참조하면, 방송 시스템(600)은 통신 장치(601), 메모리(603), 저장 장치(605) 및 적어도 하나의 프로세서(607)를 포함한다. 통신 장치(601)는 적어도 하나의 프로세서(607)와 연결되어, 데이터를 송수신 처리한다. 메모리(603)는 적어도 하나의 프로세서(607)와 연결되어, 도 1 내지 도 4에서 설명한 실시예들에 따른 구성 및/또는 방법을 실행하게 하는 명령어들(Instructions)을 포함하는 프로그램을 저장한다. 프로그램은 메모리(603), 저장 장치(605) 및 적어도 하나의 프로세서(607) 등의 하드웨어와 결합하여 본 발명을 구현한다.Referring to FIG. 5, the broadcasting system 600 includes a communication device 601, a memory 603, a storage device 605, and at least one processor 607. The communication device 601 is connected to at least one processor 607 to transmit and receive data. The memory 603 is connected to at least one processor 607 and stores a program including instructions for executing the configuration and/or method according to the embodiments described in FIGS. 1 to 4. The program is combined with hardware such as the memory 603, the storage device 605, and at least one processor 607 to implement the present invention.

도 6은 본 발명의 실시예가 적용될 수 있는 디바이스의 하드웨어 블록도로서, 도 1 ~ 도 4에서 설명한 주 디바이스(300), 컴패니언 디바이스(501, 503, 505, 507)의 하드웨어 구성을 나타낸다.6 is a hardware block diagram of a device to which an embodiment of the present invention can be applied, and shows hardware configurations of the main device 300 and companion devices 501, 503, 505, and 507 described in FIGS. 1 to 4.

도 6을 참조하면, 디바이스(700)는 통신 장치(701), 메모리 장치(703), 입력 장치(705), 디스플레이(707) 및 적어도 하나의 프로세서(709) 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. Referring to FIG. 6, the device 700 is composed of hardware including a communication device 701, a memory device 703, an input device 705, a display 707, and at least one processor 709, and the like, A program that is combined with hardware and executed is stored in a designated place.

통신 장치(701)는 적어도 하나의 프로세서(709)와 연결되어, 방송망(200)을 통해 방송 신호를 수신하고, 통신망(400)을 통해 미디어 신호를 수신한다.The communication device 701 is connected to at least one processor 709 to receive a broadcast signal through the broadcast network 200 and receive a media signal through the communication network 400.

메모리 장치(703)는 프로세서(709)와 연결되어, 도 1 내지 도 4에서 설명한 실시예들에 따른 구성 및/또는 방법을 실행하게 하는 명령어들을 포함하는 프로그램을 저장한다. 프로그램은 메모리 장치(703) 및 프로세서(709) 등의 하드웨어와 결합하여 본 발명을 구현한다.The memory device 703 is connected to the processor 709 and stores a program including instructions for executing the configuration and/or method according to the embodiments described with reference to FIGS. 1 to 4. The program is combined with hardware such as the memory device 703 and the processor 709 to implement the present invention.

입력 장치(705)는 프로세서(709)와 연결되어, 도 1 내지 도 4에서 설명한 실시예들에 따른 사용자 입력 동작을 위한 수단이다. The input device 705 is connected to the processor 709 and is a means for a user input operation according to the embodiments described with reference to FIGS. 1 to 4.

디스플레이(707)는 프로세서(709)와 연결되어, 도 1 내지 도 4에서 설명한 실시예들에 따른 데이터들을 화면에 출력한다. 이때, 입력 장치(705)와 디스플레이(707)는 하나의 장치로 구현될 수 있다. The display 707 is connected to the processor 709 and outputs data according to the embodiments described in FIGS. 1 to 4 on a screen. In this case, the input device 705 and the display 707 may be implemented as one device.

프로세서(709)는 메모리 장치(703) 등의 하드웨어와 결합하여 본 발명을 실행한다. The processor 709 is combined with hardware such as the memory device 703 to implement the present invention.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiments of the present invention described above are not implemented only through an apparatus and a method, but may be implemented through a program that realizes a function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

Claims (10)

적어도 하나의 프로세서에 의해 동작하는 주(Main) 디바이스가 수화 방송 서비스를 제공하는 방법으로서,
적어도 하나의 컴패니언(Companion) 디바이스와 페어링하는 단계,
주 영상 시그널링 정보 및 수화 영상 시그널링 정보가 인코딩된 시그널링 신호, 그리고 인코딩된 주 영상 신호를 다중화한 방송 신호를 방송망을 통해 수신하는 단계,
상기 방송 신호로부터 상기 수화 영상 시그널링 정보를 추출하는 단계,
상기 추출한 수화 영상 시그널링 정보 및 수화 영상을 획득할 수 있는 URL(Uniform Resource Locator)을 상기 페어링된 적어도 하나의 컴패니언 디바이스에게 전송하는 단계, 그리고
상기 방송 신호로부터 추출한 주 영상 신호를 출력하는 단계를 포함하고,
상기 적어도 하나의 컴패니언 디바이스는,
상기 수화 영상 시그널링 정보를 파싱 및 해석하고,
상기 URL을 이용하여 통신망에 연결된 수화 영상 전송 장치로 접속하며,
상기 파싱 및 해석한 결과를 기초로 상기 수화 영상 전송 장치에게 요청한 수화 영상을 수신하여 재생하고,
상기 주 영상 신호와 상기 수화 영상은 동기화된, 수화 방송 서비스 제공 방법.A method for providing a sign language broadcasting service by a main device operated by at least one processor,
Pairing with at least one companion device,
Receiving a signaling signal in which main video signaling information and sign language video signaling information are encoded, and a broadcast signal multiplexed with the encoded main video signal through a broadcasting network,
Extracting the sign language video signaling information from the broadcast signal,
Transmitting the extracted sign language video signaling information and a URL (Uniform Resource Locator) for obtaining the sign language video to the paired at least one companion device, and
Including the step of outputting the main video signal extracted from the broadcast signal,
The at least one companion device,
Parse and interpret the sign language video signaling information,
Connects to a sign language video transmission device connected to a communication network using the URL,
Receiving and playing a sign language image requested from the sign language image transmission device based on the parsing and analysis results,
The main video signal and the sign language video are synchronized, the sign language broadcast service providing method. 제1항에서,
상기 추출하는 단계는,
서비스 레벨 시그널링 정보로부터 상기 수화 영상 서비스의 MPD(Media Presentation Description)를 추출하고,
상기 MPD는,
상기 적어도 하나의 컴패니언 디바이스로 전송되는, 수화 방송 서비스 제공 방법. In claim 1,
The extracting step,
Extracting a media presentation description (MPD) of the sign language video service from service level signaling information,
The MPD is,
A method of providing a sign language broadcast service transmitted to the at least one companion device. 제1항에서,
상기 추출하는 단계는,
서비스 레벨 시그널링 정보로부터 2D 수화 영상 서비스의 제1 MPD(Media Presentation Description) 및 가상 현실(Virtual Reality, VR) 수화 영상 서비스의 제2 MPD를 추출하고,
상기 제1 MPD와 상기 제2 MPD는,
서로 다른 컴패니언 디바이스로 전송되어, 2D 수화 영상 및 가상 현실 수화 영상을 각각 수신하는데 사용되는, 수화 방송 서비스 제공 방법.In claim 1,
The extracting step,
Extracting a first media presentation description (MPD) of a 2D sign language video service and a second MPD of a virtual reality (VR) sign language video service from the service level signaling information,
The first MPD and the second MPD,
A method for providing a sign language broadcast service, which is transmitted to different companion devices and used to receive a 2D sign language image and a virtual reality sign language image, respectively. 적어도 하나의 프로세서에 의해 동작하는 수화 영상 전송 장치가 수화 방송 서비스를 제공하는 방법으로서,
주 디바이스와 페어링된 적어도 하나의 컴패니언 디바이스로부터 수화 영상 시그널링 정보를 이용한 수화 영상 요청을 수신하는 단계, 그리고
요청된 수화 영상을 상기 적어도 하나의 컴패니언 디바이스로 전송하는 단계를 포함하고,
상기 주 디바이스는,
주 영상 시그널링 정보 및 상기 수화 영상 시그널링 정보가 인코딩된 시그널링 신호, 그리고 인코딩된 주 영상 신호를 다중화한 방송 신호를 방송망을 통하여 방송 신호 전송 장치로부터 수신하고, 수화 영상을 획득할 수 있는 URL(Uniform Resource Locator) 및 상기 수화 영상 시그널링 정보를 페어링된 상기 적어도 하나의 컴패니언 디바이스에게 전송하며, 상기 주 영상 신호를 화면에 출력하고,
상기 적어도 하나의 컴패니언 디바이스는,
상기 수화 영상 시그널링 정보를 파싱 및 해석하고,
상기 URL을 이용하여 통신망에 연결된 상기 수화 영상 전송 장치로 접속하며, 상기 파싱 및 해석한 결과를 기초로 상기 수화 영상 전송 장치에게 수화 영상을 요청하고 상기 수화 영상 장치로부터 수신한 수화 영상을 재생하며,
상기 수화 영상은,
상기 주 디바이스가 출력하는 주 영상 신호를 설명하고,
상기 주 영상 신호와 상기 수화 영상은 동기화된, 수화 방송 서비스 제공 방법.A method for providing a sign language broadcast service by a sign language image transmission device operated by at least one processor,
Receiving a sign language video request using sign language video signaling information from at least one companion device paired with the primary device, and
Transmitting the requested sign language video to the at least one companion device,
The main device,
A URL (Uniform Resource) for receiving main video signaling information, a signaling signal encoded with the sign language video signaling information, and a broadcast signal multiplexing the encoded main video signal from a broadcast signal transmission device through a broadcast network, and obtaining a sign language video. Locator) and the sign language video signaling information to the paired at least one companion device, and outputs the main video signal to a screen,
The at least one companion device,
Parse and interpret the sign language video signaling information,
The URL is used to connect to the sign language image transmission device connected to the communication network, request a sign language image from the sign language image transmission device based on the parsing and analysis result, and play the sign language image received from the sign language image device,
The sign language video,
Describe the main video signal output from the main device,
The main video signal and the sign language video are synchronized, the sign language broadcast service providing method. 제4항에서,
상기 수화 영상 시그널링 정보는,
제1 콘텐츠 타입의 수화 영상 서비스를 위한 제1 시그널링 정보와 상기 제1 콘텐츠 타입과 다른 제2 콘텐츠 타입의 수화 영상 서비스를 위한 제2 시그널링 정보를 포함하고,
상기 수신하는 단계는,
제1 컴패니언 디바이스로부터 상기 제1 시그널링 정보를 이용한 수화 영상 요청을 수신하는 단계, 그리고
상기 제1 컴패니언 디바이스와 다른 제2 컴패니언 디바이스로부터 상기 제2 시그널링 정보를 이용한 수화 영상 요청을 수신하는 단계를 포함하며,
상기 컴패니언 디바이스로 전송하는 단계는,
상기 제1 시그널링 정보를 이용한 수화 영상 및 상기 제2 시그널링 정보를 이용한 수화 영상을 각각 전송하는, 수화 방송 서비스 제공 방법.In claim 4,
The sign language video signaling information,
Including first signaling information for a sign language video service of a first content type and second signaling information for a sign language video service of a second content type different from the first content type,
The receiving step,
Receiving a sign language video request using the first signaling information from a first companion device, and
Receiving a sign language video request using the second signaling information from a second companion device different from the first companion device,
Transmitting to the companion device,
A sign language broadcasting service providing method for transmitting a sign language image using the first signaling information and a sign language image using the second signaling information, respectively. 제4항에서,
상기 수화 영상 시그널링 정보는,
상기 방송 신호의 서비스 레벨 시그널링 정보에 추가로 포함된 상기 수화 영상 서비스의 MPD(Media Presentation Description)인, 수화 방송 서비스 제공 방법.In claim 4,
The sign language video signaling information,
A method for providing a sign language broadcast service, which is a Media Presentation Description (MPD) of the sign language video service additionally included in service level signaling information of the broadcast signal. 주 영상에 대한 제1 시그널링 정보와 상기 주 영상을 설명하는 수화 영상에 대한 제2 시그널링 정보를 인코딩한 시그널링 신호를 출력하는 시그널링 인코더,
상기 시그널링 인코더가 출력하는 인코딩한 시그널링 신호와 인코딩된 주 영상 신호를 다중화한 방송 신호를 방송망을 통해 주 디바이스로 전송하는 방송 신호 전송 장치, 그리고
상기 주 디바이스와 페어링된 컴패니언 디바이스로부터 상기 제2 시그널링 정보를 이용한 수화 영상 요청을 수신하고, 요청된 수화 영상을 상기 컴패니언 디바이스로 전송하는 수화 영상 전송 장치를 포함하고,
상기 주 디바이스는,
수화 영상을 획득할 수 있는 URL(Uniform Resource Locator) 및 상기 제2 시그널링 정보를 상기 페어링된 컴패니언 디바이스에게 전송하며, 상기 주 영상 신호를 화면에 출력하고,
상기 컴패니언 디바이스는,
상기 제2 시그널링 정보를 파싱 및 해석하고,
상기 URL을 이용하여 통신망에 연결된 상기 수화 영상 전송 장치로 접속하며,
상기 파싱 및 해석한 결과를 기초로 상기 수화 영상 전송 장치에게 수화 영상을 요청하고 상기 수화 영상 장치로부터 수신한 수화 영상을 재생하며,
상기 주 영상 신호와 상기 수화 영상은 동기화된, 방송 시스템.A signaling encoder that outputs a signaling signal obtained by encoding first signaling information for a main image and second signaling information for a sign language image describing the main image,
A broadcast signal transmission apparatus for transmitting a broadcast signal obtained by multiplexing the encoded signaling signal and the encoded main video signal output from the signaling encoder to a main device through a broadcast network, and
A sign language image transmission device for receiving a sign language image request using the second signaling information from a companion device paired with the main device, and transmitting the requested sign language image to the companion device,
The main device,
Transmits a URL (Uniform Resource Locator) for acquiring a sign language image and the second signaling information to the paired companion device, and outputs the main image signal on a screen,
The companion device,
Parsing and interpreting the second signaling information,
Connects to the sign language video transmission device connected to a communication network using the URL,
Request a sign language image from the sign language image transmission device based on the parsed and interpreted results, and play the sign language image received from the sign language image device,
The main video signal and the sign language video are synchronized. 제7항에서,
상기 수화 영상 전송 장치는,
MPEG(Moving Picture Expert Group)-DASH(Dynamic Adaptive Streaming over HTTP) 프로토콜을 이용하여 상기 수화 영상을 전송하는 DASH 서버인, 방송 시스템.In clause 7,
The sign language video transmission device,
A broadcasting system, which is a DASH server that transmits the sign language image using a Moving Picture Expert Group (MPEG)-Dynamic Adaptive Streaming over HTTP (DASH) protocol. 제7항에서,
상기 시그널링 인코더는,
상기 주 영상을 설명하는 가상 현실(Virtual Reality, VR) 타입의 수화 영상에 대한 제3 시그널링 정보를 추가로 인코딩하고,
상기 수화 영상 전송 장치는,
상기 주 디바이스와 페어링된 가상 현실 디바이스로부터 상기 제3 시그널링 정보를 이용한 수화 영상 요청을 수신하고, 요청된 수화 영상을 상기 가상 현실 디바이스로 전송하며,
상기 주 영상, 상기 수화 영상 및 상기 가상 현실 타입의 수화 영상은,
각각의 디바이스에서 동시에 출력되는, 방송 시스템.In clause 7,
The signaling encoder,
Further encoding third signaling information for a sign language image of a virtual reality (VR) type describing the main image,
The sign language video transmission device,
Receiving a sign language image request using the third signaling information from a virtual reality device paired with the main device, and transmitting the requested sign language image to the virtual reality device,
The main image, the sign language image, and the virtual reality type sign language image,
Broadcasting system that is simultaneously output from each device. 제9항에서,
상기 제2 시그널링 정보 및 상기 제3 시그널링 정보는,
상기 방송 신호의 서비스 레벨 시그널링 정보에 포함되는, 방송 시스템.In claim 9,
The second signaling information and the third signaling information,
The broadcast system, which is included in the service level signaling information of the broadcast signal.
KR1020180157994A 2017-12-08 2018-12-10 Method and system for providing sign language broadcast service using companion screen service KR102153708B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/015611 WO2019112398A1 (en) 2017-12-08 2018-12-10 Method and system for providing sign language broadcast service using companion screen service

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170168601 2017-12-08
KR1020170168601 2017-12-08

Publications (2)

Publication Number Publication Date
KR20190068483A KR20190068483A (en) 2019-06-18
KR102153708B1 true KR102153708B1 (en) 2020-09-08

Family

ID=67103318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180157994A KR102153708B1 (en) 2017-12-08 2018-12-10 Method and system for providing sign language broadcast service using companion screen service

Country Status (1)

Country Link
KR (1) KR102153708B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106416272B (en) * 2014-03-10 2020-01-21 Lg电子株式会社 Broadcast receiving apparatus and method of operating the same, and kit for interoperation with the broadcast receiving apparatus and method of operating the same
US9866804B2 (en) * 2014-04-09 2018-01-09 Lg Electronics Inc. Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method, and broadcast signal reception method
CN106233693B (en) * 2014-11-13 2020-01-03 Lg 电子株式会社 Broadcast signal transmitting apparatus, broadcast signal receiving apparatus, broadcast signal transmitting method, and broadcast signal receiving method

Also Published As

Publication number Publication date
KR20190068483A (en) 2019-06-18

Similar Documents

Publication Publication Date Title
JP6294238B2 (en) Video display device and operation method thereof
KR102116679B1 (en) Video display apparatus and operating method thereof
JP6290935B2 (en) Video display device and operation method thereof
KR102520019B1 (en) Speech enhancement for speech recognition applications in broadcast environments
JP6151804B2 (en) Video display device and operation method thereof
US9363519B2 (en) Detecting displayed channel using audio/video watermarks
JP6294503B2 (en) Broadcast signal transmitting apparatus, broadcast signal receiving apparatus, broadcast signal transmitting method, and broadcast signal receiving method
KR20140119691A (en) Video display apparatus and operating method thereof
CN106464933B (en) Apparatus and method for remotely controlling rendering of multimedia content
JP4350868B2 (en) Interactive broadcasting system using multicast data service and broadcast signal markup stream
KR102153708B1 (en) Method and system for providing sign language broadcast service using companion screen service
KR102263146B1 (en) Video display apparatus and operating method thereof
WO2019112398A1 (en) Method and system for providing sign language broadcast service using companion screen service
US9189463B2 (en) System and method for converting content
KR20220091423A (en) System and method for terrestrial uhd broadcaster application re-transmission
JP2022183550A (en) Receiving device, client terminal device, and program
JP2010187256A (en) Communication system, broadcasting information transmission device and communication device
JP2020178377A (en) Receiving apparatus, receiving method, method of transmitting broadcast signals
Dosch Convergence of broadcasting and broadband Internet-a benefit for people with disabilities (and for us all)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant