JP2016523015A - 信号送受信装置及び信号送受信装置の制御方法 - Google Patents

信号送受信装置及び信号送受信装置の制御方法 Download PDF

Info

Publication number
JP2016523015A
JP2016523015A JP2016508911A JP2016508911A JP2016523015A JP 2016523015 A JP2016523015 A JP 2016523015A JP 2016508911 A JP2016508911 A JP 2016508911A JP 2016508911 A JP2016508911 A JP 2016508911A JP 2016523015 A JP2016523015 A JP 2016523015A
Authority
JP
Japan
Prior art keywords
information
crop
signal receiving
area
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016508911A
Other languages
English (en)
Inventor
スジン ファン
スジン ファン
ヒョンムク オ
ヒョンムク オ
チョンヨル ソ
チョンヨル ソ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2016523015A publication Critical patent/JP2016523015A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Abstract

【課題】信号送受信装置及び信号送受信装置の制御方法を開示する。【解決手段】信号受信装置の制御方法は、ビデオデータを含むストリームとシグナリング情報を逆多重化すること、逆多重化したシグナリング情報及びビデオデータを復号化すること、及び復号化したシグナリング情報からクロップ領域に対する情報を抽出することを含む。信号受信装置は、ビデオデータを含むストリームとシグナリング情報を逆多重化する逆多重化部、逆多重化したシグナリング情報を復号するシグナリング情報復号部、逆多重化したビデオストリーム内のビデオデータをデコーディングするビデオデコーダー、復号化したシグナリング情報からクロップ領域に対する情報を抽出する制御部、及びディスプレイ部を含む。【選択図】図19

Description

本発明は、信号送受信装置及び信号送受信装置の制御方法に関する。
ビデオ信号処理速度が速くなると共に、超高解像度(Ultra High Definition;UHD)ビデオを送受信する技術が研究されている。UHDビデオは、既存のHDビデオに比べて広い領域が撮影されるので、解像度が高い。また、UHDビデオは、解像度が高いので、より大きい画面の受信装置を用いてディスプレイすることができる。また、通信及び電子技術の発展と伴い、携帯可能な個人用端末装置が普及しており、第2の端末装置に対する関心が高まっている。
既存のSI(System Information)標準は、UHD放送サービスシナリオを含まない。しかし、UHDビデオを個人用端末装置などの第2の端末装置でディスプレイできる方法、UHDビデオデータを用いて大画面の受信装置の画面を構成する方法などに対する必要性が存在する。
したがって、UHDビデオ内でROI(Region Of Interest)領域をクロップ(crop)し、スマートフォンやタブレットなどの第2の端末装置でディスプレイできるシグナリング情報が必要である。また、クロップされたROI領域を再構成してディスプレイしたり、UHDビデオと画面比が異なる信号受信装置が余剰領域を処理できるシグナリング情報が必要である。
本発明は、UHDビデオの一部領域をクロップし、第2の端末装置(2nd device)でディスプレイできる信号送受信装置及び信号送受信装置の制御方法を提供することを目的とする。
本発明の他の目的は、複数のクロップされた領域を用いて画面を再構成できる信号送受信装置及び信号送受信制御方法を提供することにある。
本発明の他の目的は、画面比が21:9であるディスプレイ装置の余剰領域に追加ビデオをディスプレイできる信号送受信装置及び信号送受信装置の制御方法を提供することにある。
上述した目的を達成するための一実施例として、信号受信装置の制御方法は、ビデオデータを含むストリームとシグナリング情報を逆多重化するステップと、前記逆多重化したシグナリング情報及び前記ビデオデータを復号化するステップと、前記復号化したシグナリング情報からクロップ領域に対する情報を抽出するステップを含む。
そして、前記クロップ領域に対する情報は、クロップ領域個数及びフレームが1番目のフレームであるか否かを示す情報を含み、クロップ領域の基準座標を示す情報又は前記基準座標との差値を示す情報を含むことができる。
一方、信号受信装置の制御方法は、画面比率(Aspect Ratio)情報を含む第2の端末装置のディスプレイ情報を受信するステップと、前記抽出したクロップ領域に対する情報を用いて前記デコーディングしたビデオデータをクロップするステップと、前記デコーディングしたビデオデータのクロップした領域を前記第2の端末装置に伝送するステップをさらに含むことができる。
そして、信号受信装置の制御方法は、前記受信した画面比率情報と前記クロップ領域の画面比率とを比較し、これらが同一でない場合、既に設定された領域にAFDバー(bar)を挿入するステップをさらに含むことができる。
また、信号受信装置の制御方法は、前記受信した第2の端末装置のディスプレイ情報に基づいて前記ビデオデータのフォーマットを変換するステップをさらに含むことができる。
一方、前記ビデオデータのフォーマットは、フレームレート(frame rate)、ビットデプス(bit depth)及びクロマサンプリング(chroma sampling)のうち少なくとも一つを含むことができる。
一方、信号受信装置の制御方法は、前記クロップ領域が複数存在し、前記複数のクロップ領域のうち一つのクロップ領域を選択できる選択画面を出力するステップをさらに含むことができる。
そして、信号受信装置の制御方法は、前記抽出したクロップ領域に対する情報を用いて前記デコーディングしたビデオデータの少なくとも一つの領域をクロップするステップと、ディスプレイ部の画面比率が16:9である場合、前記ディスプレイ部を分割し、前記クロップした少なくとも一つの領域をディスプレイするステップをさらに含むことができる。
また、信号受信装置の制御方法は、前記抽出したクロップ領域に対する情報を用いて前記デコーディングしたビデオデータの少なくとも一つの領域をクロップするステップと、前記デコーディングしたビデオデータ及び前記少なくとも一つのクロップした領域を出力するステップをさらに含み、前記出力するステップは、ディスプレイ部の画面比率が21:9である場合、前記ディスプレイ部をメイン領域と付加領域とに分割し、メイン領域は前記デコーディングしたビデオデータを出力し、前記付加領域は前記少なくとも一つのクロップした領域を出力するステップを含む。
上述した目的を達成するための一実施例として、信号送信装置の制御方法は、ビデオデータをエンコーディングするステップと、前記ビデオデータのうちクロップ領域を設定し、前記クロップ領域(crop)に対する情報を含むシグナリング情報を生成ステップと、前記エンコーディングしたビデオデータ及び前記シグナリング情報を多重化し、前記多重化したビデオデータとシグナリング情報を伝送するステップを含むことができる。
上述した目的を達成するための一実施例として、信号受信装置は、ビデオデータを含むストリームとシグナリング情報を逆多重化する逆多重化部と、前記逆多重化したシグナリング情報を復号するシグナリング情報復号部と、前記逆多重化したビデオストリーム内のビデオデータをデコーディングするビデオデコーダーと、前記復号化したシグナリング情報からクロップ領域に対する情報を抽出する制御部と、ディスプレイ部を含む。
そして、前記クロップ領域に対する情報は、クロップ領域個数及びフレームが1番目のフレームであるか否かを示す情報を含み、クロップ領域の基準座標を示す情報又は前記基準座標との差値を示す情報を含むことができる。
一方、信号受信装置は、画面比率情報を含む第2の端末装置のディスプレイ情報を受信する通信部をさらに含み、前記制御部は、前記抽出したクロップ領域に対する情報を用いて前記デコーディングしたビデオデータをクロップし、前記通信部は、前記デコーディングしたビデオデータのクロップした領域を前記第2の端末装置に伝送することができる。
一方、前記制御部は、前記受信した画面比率情報と前記クロップ領域の画面比率とを比較し、これらが同一でない場合、既に設定された領域にAFDバーを挿入することができる。
そして、前記制御部は、前記受信した第2の端末装置のディスプレイ情報に基づいて前記ビデオデータのフォーマットを変換することができる。
一方、前記ビデオデータのフォーマットは、フレームレート、ビットデプス及びクロマサンプリングのうち少なくとも一つを含むことができる。
そして、前記クロップ領域は複数存在し、前記制御部は、前記複数のクロップ領域のうち一つのクロップ領域を選択できる選択画面を出力するように前記ディスプレイ部を制御することができる。
また、前記制御部は、前記抽出したクロップ領域に対する情報を用いて前記デコーディングしたビデオデータの少なくとも一つの領域をクロップし、前記ディスプレイ部の画面比率が16:9である場合、前記ディスプレイ部を分割し、前記クロップした少なくとも一つの領域を出力するように制御することができる。
また、前記制御部は、前記抽出したクロップ領域に対する情報を用いて前記デコーディングしたビデオデータの少なくとも一つの領域をクロップし、前記ディスプレイ部の画面比率が21:9である場合、前記ディスプレイ部をメイン領域と付加領域とに分割し、メイン領域は前記デコーディングしたビデオデータを出力し、前記付加領域は前記少なくとも一つのクロップした領域を出力するように制御することができる。
上述した目的を達成するための一実施例として、信号送信装置は、ビデオデータをエンコーディングするエンコーダーと、前記ビデオデータのうちクロップ領域を設定し、前記クロップ領域に対する情報を含むシグナリング情報を生成するシグナリング情報生成部と、前記エンコーディングしたビデオデータ及び前記シグナリング情報を多重化する多重化部と、前記多重化したビデオデータとシグナリング情報を伝送する通信部を含む。
本発明の実施例によると、別途のストリームなしでも第2の端末装置や信号受信装置でROIビデオを提供することができる。
本発明の実施例によると、UHDチャンネルで提供するビデオのうちROI領域を第2の端末装置でディスプレイすることができる。
本発明の実施例によると、特定のビデオの多くの部分を別途のチャンネル割り当てなしでも信号受信装置にディスプレイすることができる。
本発明の実施例によると、信号受信装置と異なる画面比のUHDビデオを視聴するときに画面を効率的に使用することができる。
本発明の一実施例に係るクロップされたビデオを第2の端末装置でディスプレイする方法を説明する図である。 本発明の一実施例に係るクロップされたビデオを第2の端末装置でディスプレイする方法のフローチャートである。 本発明の他の実施例に係るクロップされたビデオを第2の端末装置でディスプレイする方法を説明する図である。 本発明の他の実施例に係るクロップされたビデオを第2の端末装置でディスプレイする方法のフローチャートである。 本発明の一実施例に係る第2の端末装置に伝送するクロップビデオを構成する方法を説明する図である。 本発明の一実施例に係る複数のクロップされたビデオを再構成してディスプレイする方法を説明する図である。 本発明の一実施例に係る複数のクロップされたビデオを再構成してディスプレイする方法のフローチャートである。 本発明の一実施例に係る21:9信号受信装置の余剰領域にクロップされたビデオをディスプレイする方法を説明する図である。 本発明の一実施例に係る21:9信号受信装置の余剰領域にクロップされたビデオをディスプレイする方法のフローチャートである。 本発明の一実施例に係るSEIシグナリング情報を説明する図である。 本発明の一実施例に係るクロップされたビデオ情報をシグナリングする方法を説明する図である。 本発明の一実施例に係るクロップされたビデオの解像度情報をシグナリングする方法を説明する図である。 本発明の一実施例に係るクロップされたビデオを第2の端末装置でディスプレイするための情報をシグナリングする方法を説明する図である。 本発明の一実施例に係るクロップされたビデオが複数である場合、第2の端末装置でディスプレイするための情報をシグナリングする方法を説明する図である。 本発明の一実施例に係る複数のクロップされたビデオを再構成してディスプレイするための情報をシグナリングする方法を説明する図である。 本発明の一実施例に係る21:9信号受信装置の余剰領域にクロップされたビデオをディスプレイするための情報をシグナリングする方法を説明する図である。 PESパケットの一実施例を説明する図である。 PESパケットの一実施例を説明する図である。 本発明の一実施例に係るクロップされたビデオを処理してディスプレイする方法を説明する図である。 本発明の一実施例に係る信号送信装置の制御方法のフローチャートである。 本発明の一実施例に係る信号受信装置の制御方法のフローチャートである。 本発明の一実施例に係る信号送信装置のブロック図である。 本発明の一実施例に係る信号受信装置のブロック図である。
以下、前記の目的を具体的に実現できる本発明の好ましい実施例を添付の図面を参照して説明する。このとき、図面に図示し、また、これによって説明する本発明の構成と作用は、少なくとも一つの実施例として説明するものであって、これによって本発明の技術的思想とその核心構成及び作用が制限されることはない。
本発明で使用する用語としては、本発明での機能を考慮して可能な限り現在広く使用される一般的な用語を選択したが、これは、当該技術分野に携わる技術者の意図、慣例又は新たな技術の出現などによって変わり得る。また、特定の場合は、出願人が任意に選定した用語もあり、この場合、該当する発明の説明部分でその意味を詳細に記載するだろう。したがって、本発明で使用される用語は、単純な用語の名称でなく、その用語が有する意味と本発明の全般にわたった内容に基づいて定義すべきであることを明らかにしておく。
図1は、本発明の一実施例に係るクロップされたビデオを第2の端末装置でディスプレイする方法を説明する図である。
図1を参照すると、UHDビデオをディスプレイする信号受信装置(例えば、UHDTV)とクロップされたビデオをディスプレイする第2の端末装置(又は2nd device)が示されている。第2の端末装置は、1個のクロップされた座標を用いて信号受信装置(又はsync device)でクロップされたビデオをディスプレイすることができる。第2の端末装置でディスプレイするビデオは、信号受信装置内にPIP(Picture In Picture)に挿入することができる。PIPに挿入されるとき、信号受信装置は、クロップされたROI(Region Of Interest)ビデオをスケーリングしてPIP形態で提供することによって、ユーザーはクローズアップ(close up)されたビデオを視聴することができる。ROI領域は、ユーザーが関心を持つ領域又はクロップされ得る領域を意味する。したがって、本発明では、ROI領域とクロップ領域は類似する意味で使用する。
第2の端末装置は、端末装置に対する情報を信号受信装置に伝送することができる。第2の端末装置の仕様及び機器を連結するインターフェース処理能力によって、信号受信装置は、プロファイル(profile)及びレベル(level)を選択し、プロファイル及びレベルに合わせてクロップしたビデオをディスプレイすることができる。信号受信装置は、ビデオのフレームレートが異なる場合、フレームドロッピング(frame dropping)を行うこともできる。
プロファイルは、該当のビデオストリームに対するプロファイル、すなわち、該当のストリームをデコーディングするために必要な基本仕様を示すことができる。例えば、プロファイルは、該当のビデオストリームのクロマサブサンプリング(chroma subsampling)(例えば、4:2:0、4:2:2など)、ビットデプス(例えば、8ビット、10ビット)、コーディングツール(coding tool)などに対する要求(requirement)情報などを含むことができる。レベルは、該当のビデオストリームに対するレベル、すなわち、プロファイルで定義した技術要素をどの範囲までサポートするのかに対して定義することができ、例えば、解像度、フレームレート、ビットレート(bit rate)などを含むことができる。
一実施例として、信号受信装置は、第2の端末装置がタブレットであると、3個のプロファイル(例えば、ラージスクリーンプロファイル(large screen profile)、ミディアムスクリーンプロファイル(medium screen profile)、及びスモールスクリーンプロファイル(small screen profile))のうちミディアムスクリーンプロファイルを選択し、画面比率を確認することができる。プロファイルは、スクリーンサイズを基準にして区分することができ、画面比率情報は、解像度から計算することができる。もし、クロップされたビデオの画面比率(画面比率情報は、シグナリングされないとしても解像度から計算することができる。)が16:9で、第2の端末装置の画面比率(画面比率情報は、シグナリングされないとしても解像度から計算することができる。)が4:3であると、レターボックス(letterbox)を挿入しなければならない。信号受信装置は、ユーザーの選択によってレターボックスをビデオに挿入したり、ビデオを一側にシフティング(shifting)してディスプレイし、残った空間は追加アプリケーション実行のための空間として使用することができる。又は、信号受信装置は、16:9画面比率でクロップするのではなく、クロップのための開始座標を有してビデオを第2の端末装置の画面比率に合わせてクロップし、画面に合わせて出力することもできる。
すなわち、信号送信装置は、UHDビデオを含むストリームとビデオをクロップするための座標及び一部のクロップサイズなどの追加情報を伝送し、信号受信装置はUHDビデオをディスプレイし、信号受信装置はクローズアップ又はズームインされたビデオを第2の端末装置にそれぞれの端末装置の特性に合わせて伝送できるので、追加ストリームなしでもクローズアップ/ズームインされたビデオを他の端末装置で受信することができる。第2の端末装置の特徴は、区分されたプロファイルやレベルなどで表示して伝送することができる。
図2は、本発明の一実施例に係るクロップされたビデオを第2の端末装置でディスプレイする方法のフローチャートである。
図2を参照すると、ビデオのROI領域をクロップし、クロップされたデータを第2の端末装置に伝送する方法のフローチャートが示されている。
信号受信装置は、信号送信装置からUHDビデオデータを含むストリームとクロップ座標などのクロップ情報を含むシグナリング情報を受信することができる。
信号受信装置は、受信されたビデオデータを含むストリーム及びクロップ情報を含むシグナリング情報を逆多重化することができる(S105)。信号受信装置は、逆多重化されたシグナリング情報及びビデオストリームに含まれたビデオデータを復号化することができる(S110)。信号受信装置は、第2の端末装置(target device)へのデータ伝送の有無を判断することができる(S115)。
信号受信装置が第2の端末装置にデータを伝送しないと判断すると、ズームモードの有無を判断することができる(S120)。ズームモードは、ROI領域をクロップしてディスプレイすることを意味することができる。信号受信装置は、ズームモードでないと判断すると、クロップ座標を無視し、受信されたUHDビデオデータを出力することができる(S125)。すなわち、16:9信号受信装置(UHDTV又はメインスクリーンデバイス(main screen device))は、クロップ座標を無視し、UHDビデオデータをディスプレイすることができる(S130)。
信号受信装置は、ズームモードであると判断すると、ROI領域をクロップしてスケーリングすることができる(S135)。すなわち、16:9信号受信装置(UHDTV又はメインスクリーンデバイス)は、ズームモードであると判断すると、クロップされた座標を適用し、ROI領域をクロップ及びスケーリングして出力することができる(S130)。
信号受信装置が第2の端末装置にデータを伝送すると判断すると、信号受信装置は、ビデオデータのコンバーション(conversion)の有無を判断することができる(S140)。信号受信装置は、コンバーションの有無を判断する前に、第2の端末装置からレベル情報を受信することができる(S145)。信号受信装置は、受信したレベル情報に基づいてビデオデータのコンバーションの有無を判断することができる。信号受信装置は、第2の端末装置のディスプレイ可能な最大仕様及びインターフェース情報を感知し、フレームレート、ビットデプス及びクロマサンプリングに関する値をコンバーションすることができる(S150)。
信号受信装置は、1個のクロップ座標情報を用いてUHDビデオデータのうち16:9HDビデオデータをクロップすることができる(S155)。信号受信装置は、第2の端末装置の画面比率(Device_AR)とクロップされたROI領域の画面比率(ROI_AR)とが同一であるか否かを判断することができる(S160)。第2の端末装置の画面比率は、第2の端末装置から伝送される解像度情報を用いて判断することができる。そして、クロップされたROI領域の画面比率は、信号送信装置から伝送されるクロップ情報から算出することができる。
第2の端末装置の画面比率とクロップされたROI領域の画面比率とが同一であると、信号受信装置は、デコーディングされてクロップされたビデオデータをインターフェースを介して第2の端末装置に伝送することができる。第2の端末装置は、受信されたビデオデータをそのまま出力することができる。
第2の端末装置の画面比率(Device_AR)とクロップされたROI領域の画面比率(ROI_AR)とが同一でないと、信号受信装置は、画面比率の大小関係を判断することができる。例えば、画面比率の大小関係は幅(wideness)を基準にして判断することができる(S165)。
Device_ARがROI_ARより大きい場合、信号受信装置は、AFDバー適用の有無を判断することができる(S170)。例えば、Device_ARは21:9で、ROI_ARは16:9であり得る。信号受信装置がAFDバーを適用すると判断すると、クロップされたビデオの左右側面にピラーボックス(pillarbox)を挿入することができる(S175)。信号受信装置がAFDバーを適用しないと判断すると、第2の端末装置の特定座標をビデオデータの基準座標として設定することができる(S180)。例えば、ビデオを一側にシフティングしてディスプレイし、残った空間は追加アプリケーション実行のための空間として割り当てることができる。
Device_ARがROI_ARより小さい場合、信号受信装置は、AFDバー適用の有無を判断することができる(S185)。例えば、Device_ARは4:3で、ROI_ARは16:9であり得る。信号受信装置がAFDバーを適用すると判断すると、クロップされたビデオの上下側面にレターボックスを挿入することができる(S190)。信号受信装置がAFDバーを適用しないと判断すると、第2の端末装置の特定座標をビデオデータの基準座標として設定することができる(S195)。例えば、ビデオを一側にシフティングしてディスプレイし、残った空間は追加アプリケーション実行のための空間として割り当てることができる。
信号受信装置は、デコーディングされてクロップされたビデオをインターフェースを介して第2の端末装置に伝送することができる。第2の端末装置は、受信したクロップされたビデオをディスプレイすることができる。
UHDビデオは、信号受信装置でディスプレイすることができる。そして、UHDビデオをデコーディングできない端末装置も、デコーディングされてクロップされたビデオをインターフェースを介して受信してディスプレイすることができる。信号受信装置は、第2の端末装置に適したビデオ仕様を第2の端末装置から伝送される情報を通じて認識することができる。信号受信装置は、適切なプロファイル及びレベルに該当するビデオを第2の端末装置に伝送することができる。
図3は、本発明の他の実施例に係るクロップされたビデオを第2の端末装置でディスプレイする方法を説明する図である。
図3を参照すると、複数のROI領域をクロップできる信号受信装置が示されている。信号受信装置は、多数の座標を用いて複数のROI領域をクロップすることができ、選択されたROI領域は第2の端末装置でディスプレイすることができる。クロップするROI領域は、信号受信装置で選択することができ、第2の端末装置で選択することができる。また、第2の端末装置でディスプレイされるビデオは、信号受信装置でPIPに挿入することもできる。
信号送信装置は、UHDビデオストリームと共に、クロップ座標、クロップされるROI領域(target)に対する数字及び画面構成情報などを伝送することができる。例えば、図3に示したように、サッカー競技映像が伝送される場合、ホームチームに対するビデオは1番、遠征チームに対するビデオは2番、主要選手達に対する情報は3番、4番などにナンバリングされ、クロップ座標と共に伝送することができる。
ROI領域は、クロップ座標及び数字に基づいて信号受信装置や第2の端末装置でユーザーによって直接選択することができる。例えば、信号受信装置は、選択可能なROI領域リストを含むUIをディスプレイし、ユーザーによって選択されたROI領域を第2の端末装置に伝送してディスプレイすることができる。又は、第2の端末装置が選択可能なROI領域リストを含むUIをディスプレイし、ユーザーによって選択されたROI領域を信号受信装置から受信してディスプレイすることができる。場合に応じて、信号受信装置は、ディスプレイされるビデオ上にクロップ領域を表示し、リモートコントローラーなどを通じて入力された選択命令に従ってROI領域を選択することができる。クロップ領域は、色相などで区分して表示することができる。
ROI領域が選択されると、第2の端末装置が自身の情報を信号受信装置に伝送し、信号受信装置は、第2の端末装置の仕様や装置を連結するインターフェースの容量などに合わせてビデオを圧縮されていない(uncompressed)形態でインターフェースを介して伝達することができる。例えば、インターフェースは、HDMI、WiHD、WiGig、ワイヤレスディスプレイ(Wireless Display)、HDBaseTなどになり得る。
また、クロップ領域と第2の端末装置の画面比率が異なる場合、上述したように、ピラーボックス又はレターボックスを挿入することができ、一定領域は追加アプリケーション実行のための空間として残すことができる。
すなわち、UHDビデオのうち、複数のROI領域をクロップできる座標、ROIを整列できる数字及び構成情報などを共に伝送することができる。ROI領域は、伝送された情報に基づいてユーザーによって選択することができ、選択されたROI領域は、第2の端末装置でディスプレイすることができる。第2の端末装置の特徴は、区分されたプロファイルやレベルなどで表示して伝送することができる。
図4は、本発明の他の実施例に係るクロップされたビデオを第2の端末装置でディスプレイする方法のフローチャートである。
図4を参照すると、複数のROI領域のうち一つのROI領域をクロップし、クロップされたデータを第2の端末装置に伝送する方法のフローチャートが示されている。信号受信装置は、信号送信装置からUHDビデオデータを含むストリームとクロップ座標などのクロップ情報を含むシグナリング情報を受信することができる。
信号受信装置は、受信されたビデオデータを含むストリーム及びクロップ情報を含むシグナリング情報を逆多重化することができる(S203)。信号受信装置は、逆多重化されたシグナリング情報及びビデオストリームに含まれたビデオデータを復号化することができる(S205)。信号受信装置は、復号化されたシグナリング情報からクロップ領域に対する情報を抽出することができる。信号受信装置は、第2の端末装置へのデータ伝送の有無を判断することができる(S207)。
信号受信装置が第2の端末装置にデータを伝送しないと判断すると、ズームモードの有無を判断することができる(S210)。ズームモードは、ROI領域をクロップしてディスプレイするモードであり得る。信号受信装置は、ズームモードでないと判断すると、クロップ座標を無視することができる(S213)。16:9信号受信装置(UHDTV又はメインスクリーンデバイス)は、クロップ座標を無視し、UHDビデオデータをディスプレイすることができる(S215)。
クロップできるROI領域は複数存在することができる。信号受信装置は、ズームモードであると判断すると、クロップ領域を選択することができる(S217)。クロップ領域の選択は、ユーザーの選択命令に従って行うことができる。信号受信装置は、ROI領域をクロップしてスケーリングすることができる(S220)。信号受信装置は、ズームモードであると判断すると、クロップされた座標を適用し、ROI領域をクロップ及びスケーリングして出力することができる(S215)。
信号受信装置が第2の端末装置にデータを伝送すると判断すると、信号受信装置は、ビデオデータのコンバーションの有無を判断することができる(S223)。信号受信装置は、コンバーションの有無を判断する前に、第2の端末装置からレベル情報を受信することができる(S225)。信号受信装置は、受信されたレベル情報に基づいてビデオデータのコンバーションの有無を判断することができる。信号受信装置は、第2の端末装置のディスプレイ可能な最大仕様及びインターフェース情報を感知し、フレームレート、ビットデプス、クロマサンプリングに関する値をコンバーションすることができる(S227)。また、信号受信装置は、第2の端末装置でディスプレイ可能な最大仕様及びインターフェース情報を感知し、フレームドロッピングを行うことができる。
信号受信装置は、複数の領域のうち一つのクロップ領域を選択することができる(S230)。例えば、信号受信装置は、所望の領域を選択できるUIを表示し、ユーザーから選択命令の入力を受けることができる。又は、第2の端末装置は、所望の領域を選択できるUIを表示し、ユーザーから選択命令の入力を受けることができる。場合に応じて、信号受信装置は、画面内でクロップされ得る領域を表示し、リモコンなどを用いたユーザーの選択命令に従って一つのクロップ領域を選択することができる。
信号受信装置は、クロップ座標情報を用いて選択されたROI領域をクロップすることができる(S233)。信号受信装置は、第2の端末装置の画面比率(Device_AR)とクロップされたROI領域の画面比率(ROI_AR)とが同一であるか否かを判断することができる(S235)。第2の端末装置の画面比率は、第2の端末装置から伝送される解像度情報を用いて判断することができる。そして、クロップされたROI領域の画面比率は、信号送信装置から伝送されるクロップ情報から算出することができる。
第2の端末装置の画面比率とクロップされたROI領域の画面比率とが同一であると、信号受信装置は、デコーディングされてクロップされたビデオデータをインターフェースを介して第2の端末装置に伝送することができる。第2の端末装置は、受信されたビデオデータをそのまま出力することができる。
第2の端末装置の画面比率(Device_AR)とクロップされたROI領域の画面比率(ROI_AR)とが同一でないと、信号受信装置は、画面比率の大小関係を判断することができる。例えば、画面比率の大小関係は幅を基準にして判断することができる(S237)。
Device_ARがROI_ARより大きい場合、信号受信装置はAFDバー適用の有無を判断することができる(S240)。例えば、Device_ARは21:9で、ROI_ARは16:9であり得る。信号受信装置がAFDバーを適用すると判断すると、クロップされたビデオの左右側面にピラーボックスを挿入することができる(S243)。信号受信装置がAFDバーを適用しないと判断すると、第2の端末装置の特定座標をビデオデータの基準座標として設定することができる(S245)。例えば、ビデオを一側にシフティングしてディスプレイし、残った空間は追加アプリケーション実行のための空間として割り当てることができる。
Device_ARがROI_ARより小さい場合、信号受信装置はAFDバー適用の有無を判断することができる(S247)。例えば、Device_ARは4:3で、ROI_ARは16:9であり得る。信号受信装置がAFDバーを適用すると判断すると、クロップされたビデオの上下側面にレターボックスを挿入することができる(S250)。信号受信装置がAFDバーを適用しないと判断すると、第2の端末装置の特定座標をビデオデータの基準座標として設定することができる(S253)。例えば、ビデオを一側にシフティングしてディスプレイし、残った空間は追加アプリケーションのための空間として割り当てることができる。
信号受信装置は、デコーディングされてクロップされたビデオをインターフェースを介して第2の端末装置に伝送することができる。第2の端末装置は、受信したクロップされたビデオをディスプレイすることができる。
クロップできる多数のROI領域のうち、ユーザーによって選択されたROI領域のビデオは第2の端末装置に伝送することができる。UHDビデオをデコーディングできない端末装置も、デコーディングされてクロップされたビデオをインターフェースを介して受信してディスプレイすることができる。信号受信装置は、第2の端末装置に適したビデオ仕様を第2の端末装置から伝送される情報を通じて認識することができる。信号受信装置は、適切なプロファイル及びレベルに該当するビデオを第2の端末装置に伝送することができる。
図5は、本発明の一実施例に係る第2の端末装置に伝送するクロップビデオを構成する方法を説明する図である。
図5を参照すると、第2の端末装置は、第2の端末装置の情報を信号受信装置に伝送することができる(S305)。信号受信装置が第2の端末装置にクロップされたビデオを伝送するためには、第2の端末装置でディスプレイ可能なプロファイル及びレベル情報が必要である。レベル情報は、コーデックで使用するレベルと同一に定義することができる。すなわち、レベルは、HEVCで定義したレベルと同一であり得る。例えば、HEVC規格に定義されたビデオレベルは1〜6.2レベルまで定義されており、レベル1はQCIF(176×144)を1秒当たり15フレームで復号化できる仕様を意味し、レベル6.2は8K映像を1秒当たり120フレームで再生できるように定義される。
一実施例として、第2の端末装置は、スマートフォンというプロファイル、レベル4(Full HD、30フレーム)というレベル情報、4:3という画面比率情報を信号受信装置に伝送することができる。すなわち、信号受信装置は、画面比率情報を含む第2の端末装置のディスプレイ情報を受信することができる。
信号受信装置は、ビデオに対する情報を信号送信装置から受信することができる(S310)。一実施例として、受信したビデオに対する情報は、1920×1080というクロップ領域解像度情報、120フレームというクロップビデオフレームレート情報、及び16:9というクロップ領域画面比率情報を含むことができる。したがって、信号受信装置でクロップされたビデオは120フレームで、第2の端末装置でディスプレイ可能な仕様は30フレームであるので、フレームレート変換(frame rate conversion)が必要である。信号受信装置は、抽出されたクロップ領域に対する情報を用いてデコーディングされたビデオデータをクロップすることができる。
信号受信装置は、フレームレートを変換することができる(S315)。例えば、信号受信装置は、4フレームを1フレームに変換することができる。これによって、フレームドロッピングが発生し得る。
信号受信装置は、フレームレート変換のみならず、ビットデブス及びクロマサブサンプリング変換(chroma sub―sampling conversion)も行うことができる(S320)。すなわち、信号受信装置は、受信した第2の端末装置のディスプレイ情報に基づいてビデオデータのフォーマットを変換することができる。ビデオデータのフォーマットは、フレームレート、ビットデプス及びクロマサンプリングのうち少なくとも一つを含むことができる。
信号受信装置は、第2の端末装置の画面比率とクロップされたROI領域の画面比率とが同一であるか否かを判断することができる(S325)。第2の端末装置の画面比率とクロップされたROI領域の画面比率とが同一であると、信号受信装置は、クロップされたビデオデータをインターフェースを介して第2の端末装置に伝送することができる。第2の端末装置は、受信されたビデオデータをそのまま出力することができる(S330)。
第2の端末装置の画面比率(device_aspect_ratio)とクロップされたROI領域の画面比率(ROI_video_aspect_ratio)とが同一でないと、信号受信装置は画面比率の大小関係を判断することができる(S335)。
第2の端末装置の画面比率がクロップされたROI領域の画面比率より小さい場合、信号受信装置は、AFDバー適用の有無を判断することができる(S340)。例えば、第2の端末装置の画面比率は4:3で、クロップされたROI領域の画面比率は16:9であり得る。信号受信装置がAFDバーを適用しないと判断すると、第2の端末装置の特定座標をビデオデータの基準座標として設定することができる(S345)。例えば、ビデオを一側にシフティングしてディスプレイし、残った空間は追加アプリケーション実行のための空間として割り当てることができる。信号受信装置がAFDバーを適用すると判断すると、クロップされたビデオの上下側面にレターボックスを挿入することができる(S350)。
第2の端末装置の画面比率がクロップされたROI領域の画面比率より大きい場合、信号受信装置はAFDバー適用の有無を判断することができる(S355)。例えば、Device_ARは21:9で、ROI_ARは16:9であり得る。信号受信装置がAFDバーを適用すると判断すると、クロップされたビデオの左右側面にピラーボックスを挿入することができる(S360)。信号受信装置がAFDバーを適用しないと判断すると、第2の端末装置の特定座標をビデオデータの基準座標として設定することができる(S345)。例えば、ビデオを一側にシフティングしてディスプレイし、残った空間は追加アプリケーション実行のための空間として割り当てることができる。すなわち、信号受信装置は、第2の端末装置の画面比率情報とクロップ領域の画面比率情報とを比較し、これらが同一でないと、既に設定された領域にAFDバーを挿入することができる。
信号受信装置は、デコーディングされたビデオデータのクロップされた領域をインターフェースを介して第2の端末装置に伝送することができる。第2の端末装置は、受信したクロップされたビデオをディスプレイすることができる。
図6は、本発明の一実施例に係る複数のクロップされたビデオを再構成してディスプレイする方法を説明する図である。
図6を参照すると、複数のクロップされたビデオをディスプレイする信号受信装置が示されている。上述したように、それぞれのクロップされた領域は、全体の画面に追加されてPIP形態で具現することもできる。
信号受信装置は、多数のROI領域をクロップできる多数の座標を信号送信装置から受信することができる。信号受信装置は、マルチチャンネルモードに転換することを指示する入力を受ける場合、複数のROI領域を一度にディスプレイすることができる。複数のROI領域は、ユーザーが予め選択しておいた領域又はクロップされた全ての領域であり得る。すなわち、信号受信装置は、別途のストリームなしでも、多くの地点で同時に進行される画面をクローズアップされた形態で一度にディスプレイすることができる。
信号送信装置が伝送する座標は、4個以上又は以下にもなり得る。信号送信装置が4個以上の座標を伝送する場合にも、信号受信装置は、デフォルトとして設定された4個の領域をディスプレイした後、ユーザーが選択した領域にディスプレイ画面を変更することができる。又は、信号受信装置は、ユーザーのセッティングによってディスプレイする領域の個数及び構成を設定することもできる。すなわち、信号受信装置は、4個でないN個の領域を一つの画面にディスプレイすることもできる。
図7は、本発明の一実施例に係る複数のクロップされたビデオを再構成してディスプレイする方法のフローチャートである。
信号受信装置は、UHDビデオストリームとM個のクロップ座標を受信し、ユーザーからマルチチャンネル変換命令の入力を受けると、ディスプレイ画面をN個に分割し、ROI領域をクローズアップしてディスプレイすることができる。クロップされたROI領域は、最初のデフォルトとして設定することができ、ユーザーによって変更することができる。マルチチャンネル変換命令を通じて、UHDビデオ自体とN個に分割されたROI領域の各ビデオは、変更してディスプレイすることができる。
図7を参照すると、信号受信装置は、受信したビデオデータを含むストリーム及びクロップ情報を含むシグナリング情報を逆多重化することができる(S410)。信号受信装置は、逆多重化されたシグナリング情報及びビデオストリームに含まれたビデオデータを復号化することができる(S420)。例えば、信号受信装置は、UHDビデオストリームと4個のクロップ座標を含むシグナリング情報を復号化することができる。クロップ座標は、4個以上又は以下になり得る。クロップ座標の個数は信号送信装置で決定することができる。クロップ情報は、複数のクロップ座標を整列できるナンバリング情報を含むことができる。信号受信装置は、復号化されたシグナリング情報からクロップ領域に対する情報を抽出することができる。すなわち、クロップ領域に対する情報は、少なくとも一つのクロップ座標及び複数のクロップ座標が含まれた場合、複数のクロップ座標を整列できるナンバリング情報を含むことができる。信号受信装置は、クロップ領域を選択し、ナンバリング情報を用いてクロップ座標を整列することができる(S430)。
信号受信装置は、マルチチャンネルモードの有無を判断することができる(S440)。信号受信装置は、マルチチャンネルモードである場合、受信したM個のクロップ座標を用いて16:9HD画面にクロップし、クロップした画面をディスプレイすることができる(S450)。信号受信装置は、N個に分割されたクロップ領域ビデオを信号受信装置画面の指定された領域にディスプレイすることができる。すなわち、信号受信装置は、抽出されたクロップ領域に対する情報を用いてデコーディングされたビデオデータの少なくとも一つの領域をクロップすることができる。ディスプレイ部の画面比率が16:9である場合、信号受信装置は、ディスプレイ部を分割し、クロップされた少なくとも一つの領域のビデオを指定された領域にディスプレイすることができる。
信号受信装置は、マルチチャンネルモードでない場合、クロップ座標を無視し、UHDビデオのみをディスプレイすることができる(S460)。
信号受信装置は、ROI領域をクロップできる座標を受信し、マルチチャンネルモードが実行されると、UHDビデオのうち同一のサイズでクロップされたズームインされた多数のROI領域に分割し、分割された多数のROI領域ビデオをディスプレイすることができる。
ユーザーがズームインされた特定のビデオの多くの部分を視聴しようとするとき、信号受信装置は、別途のチャンネル割り当てなしでも特定のビデオの多くの部分をディスプレイすることができる。
図8は、本発明の一実施例に係る21:9信号受信装置の余剰領域にクロップされたビデオをディスプレイする方法を説明する図である。
図8を参照すると、全体の画面と同時にクロップ領域をディスプレイする信号受信装置が示されている。図8に示した信号受信装置は、21:9画面比率のディスプレイ領域を効率的に使用することができる。クロップされた映像はPIP形態で提供することもできる。
21:9の信号受信装置が16:9のビデオをディスプレイする場合、左右側にピラーボックスを挿入したり、映像をスケーリングし、上下側領域をクロップしてディスプレイすることができる。しかし、図8に示したディスプレイ方法が使用されると、信号受信装置は、16:9ピラーボックス/レターボックスを挿入したり、全体の映像をクロップする必要がない。信号受信装置は、16:9ビデオを左側上端或いは右側上端からディスプレイし、残った領域には、クロップ座標を用いてクロップしてクローズアップされたビデオを挿入してディスプレイすることができる。
クロップ領域は、方法1のように、信号受信装置内の余剰領域にチェックボックスを通じて選択することができる。そして、クロップ領域は、方法2のように、スクロールバーを通じてユーザーによって選択することができる。また、クロップ領域は、方法3のように、UHDメインビデオが出力される部分でリモクンなどを用いてクリックしたり、余剰領域にドラッグすることによって選択することもできる。
21:9信号受信装置は、16:9ビデオをディスプレイし、ピラーボックスが挿入されていた余剰領域にクロップしてズームインされたROI領域をディスプレイすることができる。すなわち、信号受信装置は、別途のデコーダーなしでもディスプレイ余剰領域を効率的に使用することができる。
図9は、本発明の一実施例に係る21:9信号受信装置の余剰領域にクロップされたビデオをディスプレイする方法のフローチャートである。
図9を参照すると、信号受信装置は、受信したビデオデータを含むストリーム及びクロップ情報を含むシグナリング情報を逆多重化することができる(S510)。信号受信装置は、逆多重化されたシグナリング情報及びビデオストリームに含まれたビデオデータを復号化することができる(S520)。信号受信装置は、UHDビデオストリームとN個のクロップ座標を含むシグナリング情報を復号化することができる。クロップ座標はN個以上になり得る。クロップ座標の個数は信号送信装置で決定することができる。クロップ情報は、複数のクロップ座標を整列できるナンバリング情報を含むことができる。信号受信装置は、復号化されたシグナリング情報からクロップ領域に対する情報を抽出することができる。すなわち、クロップ領域に対する情報は、少なくとも一つのクロップ座標及び複数のクロップ座標が含まれた場合、複数のクロップ座標を整列できるナンバリング情報を含むことができる。
信号受信装置は、メインとマルチチャンネル同時モードの有無を判断することができる(S530)。信号受信装置は、メインとマルチチャンネル同時モードでない場合、クロップ座標を無視することができる(S540)。信号受信装置は、AFDバーを挿入することができる(S550)。信号受信装置は、AFDバーが挿入された16:9ビデオを21:9ディスプレイ領域にディスプレイすることができる(S560)。
信号受信装置は、メインとマルチチャンネル同時モードである場合、クロップ領域を選択することができる(S570)。クロップ領域の選択時には、ナンバリング情報を用いることができる。信号受信装置は、選択された領域をクロップすることができる(S580)。信号受信装置は、抽出されたクロップ領域に対する情報を用いてデコーディングされたビデオデータの少なくとも一つの領域をクロップすることができる。
信号受信装置は、16:9ビデオとクロップされたROI領域を画面構成情報を用いて配置することができる(S590)。例えば、信号受信装置は、16:9ビデオを左側上端或いは右側上端からディスプレイすることができる。信号受信装置は、座標情報を用いてN個のROI領域をクロップすることができる。信号受信装置は、座標情報と共に受信された再構成情報によって、残る領域にはクロップされたビデオをディスプレイすることができる。すなわち、信号受信装置は、ディスプレイ領域の画面比率が21:9である場合、ディスプレイ領域をメイン領域と付加領域とに分割し、メイン領域はデコーディングされたビデオデータを出力し、付加領域は少なくとも一つのクロップされた領域を出力することができる。
信号受信装置は、16:9UHDビデオと多数のクロップ座標を受信し、21:9ディスプレイ領域の左側又は右側の余剰領域にROI領域をディスプレイすることができる。ROI領域は、ユーザーによって選択することができ、スクロールバー又はチェックボックスなどを用いて変更することができる。また、信号受信装置は、ビデオ画面内でもクロップ領域を表示し、ROI領域はリモートコントローラーなどを用いて選択することができる。16:9信号受信装置は、クロップ座標及びその他情報を無視し、UHDビデオのみをディスプレイすることができる。
したがって、本実施例は、21:9信号受信装置のディスプレイ領域を効率的に使用することができる。
信号送信装置は、ビデオストリームとクロップ座標を伝送し、画面構成情報は、別途のシグナリング情報を用いて伝送することができる。又は、信号送信装置は、ビデオストリームとクロップ座標を伝送し、実施例によってIDで区別される画面構成情報を伝送し、この情報を信号受信装置で適宜組み合わせ、画面を構成することもできる。
図10は、本発明の一実施例に係るSEIシグナリング情報を説明する図である。
SEI(Supplemental Enhancement Information)メッセージは、ビデオデータのビット列を中間から再生できるように必要な情報を含むことができる。例えば、SEIメッセージは、復号開始位置及び表示開始イメージに関する情報を含むことができる。図10では、SEIメッセージの基本的な情報は省略し、IDで区別される画面構成情報及びクロップ座標情報を伝送する方法に対してのみ説明する。
一方、一つの例として、コーデックストリームは、ビデオコンテンツの効率的な伝送のためにNAL(Network Abstraction Layer)で構成することができる。NALは、NALユニットとペイロードを含むことができる。ペイロードには、RBSP(Raw Byte Sequence Payload)が位置し得る。
UHDプロセッシング(processing)情報は、SEI RBSPを通じて受信することができる。UHDプロセッシング情報は、ビデオストリームに含ませることができる。信号受信装置は、AVC又はHEVC NALユニットをパーシングすることができる。信号受信装置は、NALユニットタイプ値がSEIデータに該当する値であるか否かと、ペイロードタイプが51であるか否かを確認し、UHDTV構成情報(composition info)SEIメッセージを読むことができる。信号受信装置は、UHDTV構成情報をデコーディングし、現在のビデオストリームに対するUHD構成情報及び抽出情報などを獲得することができる。
追加的な情報存在フラグ(additional info exist flag)が1である場合、信号受信装置は、追加画面構成を把握するために構成メタデータ(composition metadata)をパーシングすることができる。追加的な情報存在フラグが1でない場合、信号受信装置は、IDによってUHDプログラムフォーマットタイプ(program format type)フィールドのみを確認し、任意に動作することができる。この情報を用いて、信号受信装置は、UHDストリームとクロップのための座標情報などを用いて構成情報を認識することができ、第2の端末装置にビデオデータを伝送することができる。
図11は、本発明の一実施例に係るクロップされたビデオ情報をシグナリングする方法を説明する図である。
クロップされたビデオ情報(又はクロップ領域に対する情報)は、クロップ領域個数及び1番目のフレームであるか否かを示す情報を含み、クロップ領域の基準座標を示す情報を含むことができる。又は、クロップされたビデオ情報は、基準座標との差値を示す情報を含むことができる。
画面構成情報に含まれた抽出情報メタデータ(extraction info metadata)の具体的な情報は、次の通りである。
num_of_crop_coordinatesフィールドは、クロップされる領域の個数を意味する。すなわち、信号送信装置が4個のROI領域を伝送する場合、num_of_crop_coordinatesは4になる。
initial_random_access_frameフィールドは、RAP(Random Access Point)にデコーディングされる1番目のフレームであるか否かを示す。すなわち、initial_random_access_frameフィールドが1である場合、1番目のフレームを意味する。信号送信装置は、initial_random_access_frameフィールド値を用いてinitial_random_access_frameである場合のみに座標情報を伝送し、以後のフレームから座標情報のうち差値のみを伝送することができる。信号送信装置は、正確なcrop_coordinate_x,y値を伝送するためにinitial_random_access_frameの間隔を細かく割り当てることができる。すなわち、信号送信装置は、クロップ座標情報の伝送間隔を調節することができる。
cropped_video_resolutionフィールドは、クロップされた領域のビデオの解像度を示す。解像度は、クロップされる領域によって変わり得る。また、縦横解像度情報を通じて画面比率情報も判断することができる。UHDTVは、ピクセルの縦横の比率が1:1であり得る。
initial_crop_coordinate_x及びinitial_crop_coordinate_yフィールドは、四角形状にクロップするための左側上端座標値(クロップ領域の中間座標値、或いは他のコーナー座標値)を示す。initial_crop_coordinate_x、initial_crop_coordinate_yフィールドは、initial_random_access_frameフィールドが1である場合のみに必要である。すなわち、信号受信装置(sync device又はUHDTV)は、座標フィールドを用いて指定された領域のみを伝送及び出力することができ、残り領域はクロップして捨てることができる。
diff_crop_coordinate_x及びdiff_crop_coordinate_yフィールドは、initial_crop_cordinate_xフィールドとinitial_crop_coordinate_yフィールドとの差値を示す。信号送信装置は、initial_random_access_frameが0である場合(initial_random_access_frameでない場合)、initial_crop_cordinate_xフィールドとinitial_crop_coordinate_yフィールドとの値を基準にして差値を伝送することができる。信号送信装置は、クロップ領域の開始点(中間点、或いは終了点)を伝送することができる。diff_crop_coordinate_xフィールドとdiff_crop_coordinate_yフィールドは、初期ランダムアクセスフレーム(initial random access frame)を除いて、毎フレームごとに伝送することができる。信号受信装置(sync device又はUHDTV)は、座標差値フィールドを用いて指定された領域のみを伝送及び出力することができ、残りの領域はクロップして捨てることができる。
場合に応じて、信号送信装置は、中間に特定ROIに対する座標伝送を省略することができる。このとき、diff_crop_coordinatex、diff_crop_coordinateyは0と見なすことができる。すなわち、信号受信装置は、以前のフレームと同じ座標を維持することができる。また、ROIは、毎RAPを基準にして消滅及び生成することができる。すなわち、RAP時点で明示されていないROIは、存在しないROIである。第2の端末装置から出力するビデオ信号は、既存の信号を継続して維持することができる。
図12は、本発明の一実施例に係るクロップされたビデオの解像度情報をシグナリングする方法を説明する図である。
cropped_video_resolutionフィールドは、クロップされた領域のビデオの解像度を示す。解像度はクロップされる領域によって変わり得る。また、縦横解像度情報を通じて画面比率情報も判断することができる。UHDTVは、ピクセルの縦横の比率が1:1であり得る。
一実施例として、cropped_video_resolutionフィールドの値が0011であると、クロップ領域の解像度が640×480であることを示すことができる。0100であると720×480の解像度を示すことができ、0101であると720×576の解像度を示すことができ、0110であると1024×768の解像度を示すことができ、0111であると1280×720の解像度を示すことができ、1000であると1920×1080の解像度を示すことができる。
図13は、本発明の一実施例に係るクロップされたビデオを第2の端末装置でディスプレイするための情報をシグナリングする方法を説明する図である。
一実施例として、信号送受信装置は、一つの領域をクロップし、クロップされた領域を第2の端末装置でディスプレイするサービスタイプを0x01に設定することができる。図13は、サービスタイプとして0x01が選択された場合のシグナリング情報の例を示す。各フィールドを説明すると、次の通りである。
2nd device_profileフィールドは、第2の端末装置が如何なる装置であるのかに対する情報を含むことができる。2nd device_profileフィールドは、第2の端末装置の種類によって変わり得る。プロファイルを分ける基準は、解像度(resolution)になり得る。又は、他の基準を適用することもできる。一実施例として、2nd device_profileフィールドは、Phone―1タイプはスモールスクリーンプロファイルとして設定し、tablet―1やphone―2(高仕様)タイプはミディアムスクリーンプロファイルとして設定し、tablet―2(高仕様)タイプはラージスクリーンプロファイルとして設定することができる。
2nd device_levelフィールドは、第2の端末装置でディスプレイ可能なレベル及びインターフェースで伝送可能な最大レベルを示す。
cropped_video_resolutionフィールドは、クロップされた領域のビデオの解像度を示す。解像度は、クロップされる領域によって変わり得る。また、縦横解像度情報を通じて画面比率情報も判断することができる。UHDTVは、ピクセルの縦横の比率が1:1であり得る。cropped_video_resolutionフィールドは、extraction_info_metadataの解像度情報と同一であり得る。
cropped_video_frame_rateフィールドは、クロップされたビデオのフレームレートを示すことができる。
num_of_dropping_framesフィールドは、cropped_video_frame_rate情報と第2の端末装置から受信したレベル情報を通じてフレームレートを調整するフィールドである。例えば、クロップされたビデオのフレームレートが120Hzで、第2端末装置でディスプレイ可能なレベルが1080p30であると、信号受信装置は、30/120ごとにフレームを選択して第2の端末装置に伝送することができる。
insert_AFDbar_flagは、ピラーボックス/レターボックス挿入の有無を決定するフラグであって、1である場合、ピラーボックス/レターボックスを挿入し、0である場合、ピラーボックス/レターボックスを挿入しない。
AFDbar_size_2Nフィールドは、ピラーボックス/レターボックスの挿入と関連するフィールドである。insert_AFDbar_flagが1である場合、信号受信装置は、AFDbar_size_2Nフィールドを確認し、ピラーボックス/レターボックスを挿入することができる。信号受信装置は、ディスプレイ画面のy軸が0である地点からAFDbar_size_2Nの値を2で割ったサイズだけピラーボックス/レターボックスを挿入し、ディスプレイ画面のy軸値が{ディスプレイ画面y軸大きさ−(AFDbar_size_2N)/2}である地点からピラーボックス/レターボックスを挿入することができる。
display_starting_pointフィールドは、ビデオが開始される地点を示すことができる。insert_AFDbar_flagが1である場合、y軸値が(AFDbar_size_2N)/2である地点がdisplay_starting_pointになり、0である場合、y軸が0である地点がdisplay_starting_pointになる。
図14は、本発明の一実施例に係るクロップされたビデオが複数である場合、第2の端末装置でディスプレイするための情報をシグナリングする方法を説明する図である。
一実施例として、信号送受信装置は、複数の領域のうち一つの領域をクロップし、クロップされた領域を第2の端末装置でディスプレイするサービスタイプを0x02に設定することができる。図14は、サービスタイプとして0x02が選択された場合のシグナリング情報の例を示す。各フィールドを説明すると、次の通りである。
2nd device_profileフィールドは、第2の端末装置が如何なる装置であるのかに対する情報を含むことができる。2nd device_profileフィールドは、第2の端末装置の種類によって変わり得る。プロファイルを分ける基準は、解像度になり得る。又は、他の基準を適用することもできる。一実施例として、2nd device_profileフィールドは、Phone―1タイプはスモールスクリーンプロファイルとして設定し、tablet―1やphone―2(高仕様)タイプはミディアムスクリーンプロファイルとして設定し、tablet―2(高仕様)タイプはラージスクリーンプロファイルとして設定することができる。
2nd device_levelフィールドは、第2の端末装置でディスプレイ可能なレベル及びインターフェースで伝送可能な最大レベルを示す。
cropped_video_frame_rateフィールドは、クロップされたビデオのフレームレートを示すことができる。
num_of_dropping_framesフィールドは、cropped_video_frame_rate情報と第2の端末装置から受信したレベル情報を通じてフレームレートを調整するフィールドである。例えば、クロップされたビデオのフレームレートが120Hzで、第2の端末装置でディスプレイ可能なレベルが1080p30であると、信号受信装置は、30/120ごとにフレームを選択して第2の端末装置に伝送することができる。
num_of_crop_coordinatesフィールドは、クロップされる領域の個数を意味する。すなわち、信号送信装置が4個のROI領域を伝送した場合、num_of_crop_coordinatesは4になる。num_of_crop_coordinatesフィールドは、extraction_info_metadataの情報と同一であり得る。
cropped_video_resolutionフィールドは、クロップされた領域のビデオの解像度を示す。解像度はクロップされる領域によって変わり得る。また、縦横解像度情報を通じて画面比率情報も判断することができる。UHDTVは、ピクセルの縦横の比率が1:1であり得る。cropped_video_resolutionフィールドは、extraction_info_metadataの解像度情報と同一であり得る。
insert_AFDbar_flagは、ピラーボックス/レターボックス挿入の有無を決定するフラグであって、1である場合、ピラーボックス/レターボックスを挿入し、0である場合、ピラーボックス/レターボックスを挿入しない。
AFDbar_size_2Nフィールドは、ピラーボックス/レターボックスの挿入と関連するフィールドである。insert_AFDbar_flagが1である場合、信号受信装置は、AFDbar_size_2Nフィールドを確認し、ピラーボックス/レターボックスを挿入することができる。信号受信装置は、ディスプレイ画面のy軸が0である地点からAFDbar_size_2Nの値を2で割ったサイズだけピラーボックス/レターボックスを挿入し、ディスプレイ画面のy軸値が{ディスプレイ画面y軸大きさ−(AFDbar_size_2N)/2}である地点からピラーボックス/レターボックスを挿入することができる。
display_starting_pointフィールドは、ビデオが開始される地点を示すことができる。insert_AFDbar_flagが1である場合、y軸値が(AFDbar_size_2N)/2である地点がdisplay_starting_pointになり、0である場合、y軸が0である地点がdisplay_starting_pointになる。
図15は、本発明の一実施例に係る複数のクロップされたビデオを再構成してディスプレイするための情報をシグナリングする方法を説明する図である。
一実施例として、信号送受信装置は、少なくとも一つの領域をクロップし、クロップされた映像を再構成し、信号受信装置でディスプレイするサービスタイプを0x03に設定することができる。図15は、サービスタイプとして0x03が選択された場合のシグナリング情報の例を示す。各フィールドを説明すると、次の通りである。
multi_channel_modeフィールドは、マルチチャンネルへの転換の有無を示す。信号受信装置は、マルチチャンネルモードに転換することを指示する入力がある場合、クロップされたビデオをディスプレイすることができる。信号受信装置は、マルチチャンネルモードへの転換を示す命令がない場合は、クロップ座標を無視してディスプレイすることができる。
cropped_video_resolutionフィールドは、クロップされた領域のビデオの解像度を示す。解像度はクロップされる領域によって変わり得る。また、縦横解像度情報を通じて画面比率情報も判断することができる。UHDTVは、ピクセルの縦横の比率が1:1であり得る。cropped_video_resolutionフィールドは、extraction_info_metadataの情報と同一であり得る。
num_of_crop_coordinatesフィールドは、図13のUHD_2nd device_composition_metadata()のnum_of_crop_coordinatesと同一であり得、すなわち、全てのクロップされた領域の数字を意味するので、候補(candidates)も含むことができる。また、このフィールドは、クロップされた領域がディスプレイされるときの優先順位を意味することもできる。
num_of_ROI_regionsフィールドは、信号受信装置で一度に表示するROI領域の個数を意味することができる。
display_starting_pointフィールドは、クロップされた各ビデオが信号受信装置内で分割されてディスプレイされるように開始地点を示すことができる。
ROI_region_priorityフィールドは、各ROI領域に優先順位を割り当てることができる。複数のROIのうち、ディスプレイするROI領域を選択することができる。例えば、num_of_ROI_regionsが4である場合、複数のROI領域のうちROI_region_priorityが1〜4であるROI領域をディスプレイすることができる。
図16は、本発明の一実施例に係る21:9信号受信装置の余剰領域にクロップされたビデオをディスプレイするための情報をシグナリングする方法を説明する図である。
一実施例として、信号送受信装置は、メインビデオとクロップビデオを共にディスプレイするサービスタイプを0x04に設定することができる。図16は、サービスタイプとして0x04が選択された場合のシグナリング情報の例を示す。各フィールドを説明すると、次の通りである。
num_of_crop_coordinatesフィールドは、クロップされる領域の個数を意味する。すなわち、信号送信装置が4個のROI領域を伝送した場合、num_of_crop_coordinatesは4になる。num_of_crop_coordinatesフィールドは、extraction_info_metadataの情報と同一であり得る。
num_of_ROI_regionsフィールドは、信号受信装置で一度に表示するROI領域の個数を意味することができる。
21_9_display_flagは、映像が最終的に21:9画面に表示される映像として構成されるか否かを示す。
cropped_video_resolutionフィールドは、クロップされた領域のビデオの解像度を示す。解像度は、クロップされる領域によって変わり得る。また、縦横解像度情報を通じて画面比率情報も判断することができる。UHDTVは、ピクセルの縦横の比率が1:1であり得る。cropped_video_resolutionフィールドは、extraction_info_metadataの情報と同一であり得る。
display_starting_pointフィールドは、クロップされた各ビデオが信号受信装置内で分割されてディスプレイされるように開始地点を示すことができる。又は、display_starting_pointフィールドの代わりに、領域の個数を割り当ててdisplay_section_numberをシグナリングすることもできる。
ROI_region_priorityフィールドは、各ROI領域に優先順位を割り当てることができる。複数のROIのうち、ディスプレイするROI領域を選択することができる。例えば、num_of_ROI_regionsが4である場合、複数のROI領域のうちROI_region_priorityが1〜4であるROI領域をディスプレイすることができる。
図17及び図18は、PESパケットの一実施例を説明する図である。
信号受信装置は、同一のPIDを有するTSパケットを集め、原本データを復元することができる。信号受信装置は、原本データがPESである場合、PESからビデオESデータを抽出することができる。
図17は、一つのストリームから多数のビデオを抽出した場合、PESパケットに含まれているPTSやDTSの信号を通じてそれぞれのビデオの同期(sync)を合わせられることを示す。
図17及び図18のPESパケットに含まれた主要フィールドを説明すると、次の通りである。図17及び図18は、一つのPESパケットを示したものであるので、図17及び図18を共に説明する。
packet_start_code_prefixは、24ビットフィールドであって、PESパケットの開始を示す。
stream_idは、8ビットフィールドであって、PESとして伝送されるESのタイプを識別する。
PES_packet_lengthは、16ビットフィールドであって、次に来るデータのバイト個数を示す。
PES_scrambling_controlは、2ビットフィールドであって、PESパケットペイロードのスクランブルの有無を示す。
PTS_DTS_flagsは、PTS又はDTS情報がPESに含まれているか否かを示す。PTS_DTS_flagsが10であると、PTS情報がPESパケットヘッダー内に存在する。PTS_DTS_flagsが11であると、PTS情報とDTS情報がパケットヘッダー内に存在する。PTS_DTS_flagsが00であると、何も存在しない。01値は、使用されない値である。
PES_extension_flagは、PES拡張の有無を示す。PES_extension_flagが1であると、PES拡張(extension)がPESパケットヘッダーに存在する。PES_extension_flagはPES_private_data_flagを把握するためのものである。
PES_header_data_lengthは、8ビットフィールドであって、次に来る選択的な各情報の全てのバイト個数を示す。
PTSは、実際にディスプレイされる時刻の情報である。例えば、PTS(j)=((システムクロック周波数(system clock frequency)*再生される時間)/300)%2^33に計算することができる。
DTSは、実際にデコーディングされる時刻の情報であって、random_accss_pointに該当する初期フレーム(initial frame)であるか否かを確認することができる。
marker_bitは、1ビットであって、データの有効性を検査するために使用される。
PES_private_dataは、16バイトフィールドであって、プライベート(private)なデータを含むことができる。信号送信装置は、図10で説明したSEIメッセージに含まれる構成情報(例えば、UHDTV_composition_info(payloadSize))のクロップ領域抽出情報(例えば、extraction_info_metadata)、及び図13〜図16で説明した各サービスタイプ別の画面構成情報(例えば、UHD_XX_composition_metadata)などをprivate_dataに含ませて伝送することができる。
図19は、本発明の一実施例に係るクロップされたビデオを処理してディスプレイする方法を説明する図である。
信号受信装置は、信号送信装置からUHDビデオデータを含むストリームとクロップ座標などのクロップ情報を含むシグナリング情報を受信することができる。
信号受信装置は、受信されたビデオデータを含むストリーム及びクロップ情報を含むシグナリング情報を逆多重化することができる(S603)。信号受信装置は、逆多重化されたシグナリング情報及びビデオストリームに含まれたビデオデータを復号化することができる(S605)。シグナリング情報はビデオ構成情報を含むことができる。信号受信装置は、シグナリング情報からビデオ構成情報をパーシングすることができる(S607)。ビデオ構成情報は、ディスプレイするサービスタイプ及びクロップ情報を含むことができる。信号受信装置は、復号化されたシグナリング情報からクロップ領域に対する情報を抽出することができる。
信号受信装置は、第2の端末装置へのデータ伝送の有無を判断することができる(S610)。信号受信装置が第2の端末装置にデータを伝送すると判断すると、信号受信装置は、ビデオデータのコンバーションの有無を判断することができる(S615)。信号受信装置は、コンバーションの有無を判断する前に、第2の端末装置からレベル情報を受信することができる(S613)。信号受信装置は、受信されたレベル情報に基づいてビデオデータのコンバーションの有無を判断することができる。信号受信装置は、第2の端末装置のディスプレイ可能な最大仕様及びインターフェース情報を感知し、フレームレート、ビットデプス、及びクロマサンプリングに関する値をコンバーションすることができる(S617)。
信号受信装置は、複数の領域のうち少なくとも一つのクロップ領域を選択することができる(S620)。例えば、信号受信装置は、所望の領域を選択できるUIを表示し、ユーザーから選択命令の入力を受けることができる。又は、第2の端末装置は、所望の領域を選択できるUIを表示し、ユーザーから選択命令の入力を受けることができる。場合に応じて、信号受信装置は、画面内でクロップされ得る領域を表示し、リモコンなどを用いたユーザーの選択命令に従って一つのクロップ領域を選択することができる。
信号受信装置は、クロップ座標情報を用いて選択されたROI領域をクロップすることができる(S623)。信号受信装置は、第2の端末装置の画面比率(Device_AR)とクロップされたROI領域の画面比率(ROI_AR)とが同一であるか否かを判断することができる(S625)。第2の端末装置の画面比率は、第2の端末装置から伝送される解像度情報を用いて判断することができる。そして、クロップされたROI領域の画面比率は、信号送信装置から伝送されるクロップ情報から算出することができる。
第2の端末装置の画面比率とクロップされたROI領域の画面比率とが同一であると、信号受信装置は、デコーディングされてクロップされたビデオデータをインターフェースを介して第2の端末装置に伝送することができる。第2の端末装置は、受信されたビデオデータをそのまま出力することができる。
第2の端末装置の画面比率(Device_AR)とクロップされたROI領域の画面比率(ROI_AR)とが同一でないと、信号受信装置は、AFDバーを挿入したり、余剰空間を追加実行のための空間として割り当てることができる(S627)。信号受信装置は、デコーディングされてクロップされたビデオをインターフェースを介して第2の端末装置に伝送することができる。第2の端末装置は、受信したクロップされたビデオをディスプレイすることができる。
第2の端末装置なしで一つのディスプレイ装置でクロップ領域がディスプレイされる場合、クロップ領域はS630段階で選択することができる。場合に応じて、マルチチャンネルモード(multi―channel mode)が選択された後、クロップ領域が選択(S637)されることもあり、メインとマルチチャンネル同時モード(main+multi channel mode)が選択された後、クロップ領域が選択(S650)されることもある。
信号受信装置は、ディスプレイ画面が21:9であるか否かを確認することができる(S633)。画面比率が21:9でないと、信号受信装置は、マルチチャンネルモードの有無を判断することができる(S635)。信号受信装置は、マルチチャンネルモードである場合、受信したM個のクロップ座標を用いて16:9HD画面にクロップし、クロップした画面をディスプレイすることができる(S640)。信号受信装置は、N個に分割されたクロップ領域ビデオを信号受信装置の画面の指定された領域にディスプレイすることができる。
信号受信装置は、マルチチャンネルモードでない場合、クロップ座標を無視することができる(S643)。信号受信装置は、16:9UHDビデオのみをディスプレイすることができる(S645)。
画面比率が21:9であると、信号受信装置は、メインとマルチチャンネル同時モードの有無を判断することができる(S647)。信号受信装置は、メインとマルチチャンネル同時モードでない場合、クロップ座標を無視することができる(S653)。信号受信装置は、AFDバーを挿入することができる(S655)。信号受信装置は、AFDバーが挿入された16:9ビデオを21:9ディスプレイ領域にディスプレイすることができる(S657)。
信号受信装置は、メインとマルチチャンネル同時モードである場合、領域を選択してクロップすることができる(S660)。信号受信装置は、16:9ビデオとクロップされたROI領域を画面構成情報を用いて配置することができる(S663)。
図20は、本発明の一実施例に係る信号送信装置の制御方法のフローチャートである。
図20を参照すると、信号送信装置は、ビデオデータをエンコーディングすることができる(S1010)。信号送信装置は、ビデオデータのうちクロップ領域を設定し、クロップ領域に対する情報を含むシグナリング情報を生成することができる(S1020)。シグナリング情報はビデオ構成情報を含むことができる。ビデオ構成情報は、クロップ情報及びディスプレイサービスタイプ情報を含むことができる。例えば、クロップ情報は、クロップ座標、クロップ領域個数、最初開始座標及び座標の差値などであり得る。ディスプレイサービスタイプ情報は、第2の端末装置にクロップ領域を伝送するサービス、クロップ領域のみを再構成してディスプレイするサービス、及びメインビデオとクロップビデオを同時にディスプレイするサービスのうち一つであり得る。
信号送信装置は、エンコーディングされたビデオデータ及びシグナリング情報を多重化し、多重化されたビデオデータとシグナリング情報を伝送することができる(S1030)。各ディスプレイサービスタイプ及びシグナリング情報に対する実施例は、上述した通りである。
図21は、本発明の一実施例による信号受信装置の制御方法のフローチャートである。
図21を参照すると、信号受信装置は、ビデオデータを含むストリームとシグナリング情報を逆多重化することができる(S1110)。
信号受信装置は、逆多重化されたシグナリング情報及びビデオデータを復号化することができる(S1120)。シグナリング情報はビデオ構成情報を含むことができる。ビデオ構成情報は、クロップ情報及びディスプレイサービスタイプ情報を含むことができる。
信号受信装置は、復号化されたシグナリング情報からクロップ領域に対する情報を抽出することができる(S1130)。信号受信装置は、抽出されたクロップ情報を用いてビデオをクロップすることができる。信号受信装置は、サービスタイプ情報によってクロップされた領域をディスプレイしたり、クロップされた領域を第2の端末装置に伝送することができる。
図22は、本発明の一実施例に係る信号送信装置のブロック図である。
図22を参照すると、信号送信装置は、エンコーダー110、シグナリング情報生成部120、多重化部130、及び通信部140を含む。
エンコーダー110は、ビデオデータをエンコーディングすることができる。シグナリング情報生成部120は、ビデオデータのうちクロップ領域を設定し、クロップ領域に対する情報を含むシグナリング情報を生成することができる。一方、エンコーダー110及びシグナリング情報生成部120は、制御部(図示せず)に含ませることもできる。シグナリング情報は、ビデオ構成情報及びディスプレイサービスタイプによる情報を含むことができる。ビデオ構成情報は、クロップに関する情報を含むことができる。
クロップ領域に対する情報は、クロップ領域個数及び1番目のフレームであるか否かを示す情報を含み、クロップ領域の基準座標を示す情報又は基準座標との差値を示す情報を含むことができる。シグナリング情報は、ビデオに挿入されるAFDバーに関する情報をさらに含むこともできる。
多重化部130は、エンコーディングされたビデオデータ及びシグナリング情報を多重化することができる。通信部140は、多重化されたビデオデータとシグナリング情報を伝送することができる。
図23は、本発明の一実施例に係る信号受信装置のブロック図である。
図23を参照すると、信号受信装置は、逆多重化部210、シグナリング情報復号部220、ビデオデコーダー230、制御部240及びディスプレイ部250を含む。
逆多重化部210は、ビデオデータを含むストリームとシグナリング情報を逆多重化することができる。
シグナリング情報復号部220は、逆多重化されたシグナリング情報を復号することができる。
ビデオデコーダー230は、逆多重化されたビデオストリーム内のビデオデータをデコーディングすることができる。
制御部240は、復号化されたシグナリング情報からクロップ領域に対する情報を抽出することができる。クロップ領域に対する情報は、クロップ領域個数及び1番目のフレームであるか否かを示す情報を含み、クロップ領域の基準座標を示す情報又は基準座標との差値を示す情報を含むことができる。
制御部240は、抽出されたクロップ領域に対する情報を用いてデコーディングされたビデオデータをクロップすることができる。例えば、クロップ領域は、最初の座標を用いて識別することができ、以後のフレームでは差値を用いて識別することができる。クロップ領域は、複数個に設定することができる。
制御部240は、受信された画面比率情報とクロップ領域の画面比率とを比較し、これらが同一でないと、既に設定された領域にAFDバーを挿入することができる。又は、制御部は、ディスプレイしようとするビデオを特定領域として設定し、残りの領域は追加アプリケーション空間として設定することができる。
制御部240は、受信した第2の端末装置のディスプレイ情報に基づいてビデオデータのフォーマットを変換することができる。ビデオデータのフォーマットは、フレームレート、ビットデプス及びクロマサンプリングのうち少なくとも一つを含むことができる。
制御部240は、複数のクロップ領域のうち少なくとも一つのクロップ領域を選択できる選択画面を出力するようにディスプレイ部250を制御することができる。制御部240は、選択されたクロップ領域を第2の端末装置に伝送するように制御することができ、画面を再構成してディスプレイするように制御することもできる。
制御部240は、抽出されたクロップ領域に対する情報を用いてデコーディングされたビデオデータの少なくとも一つの領域をクロップし、ディスプレイ部250の画面比率が16:9である場合、ディスプレイ部250を分割し、クロップされた少なくとも一つの領域を出力するように制御することができる。制御部240は、抽出されたクロップ領域に対する情報を用いてデコーディングされたビデオデータの少なくとも一つの領域をクロップし、ディスプレイ部250の画面比率が21:9である場合、ディスプレイ部250をメイン領域と付加領域とに分割し、メイン領域はデコーディングされたビデオデータを出力し、付加領域は少なくとも一つのクロップされた領域を出力するように制御することができる。
ディスプレイ部250は、受信されたビデオをディスプレイすることができる。
信号受信装置は、通信部(図示せず)をさらに含むことができる。通信部は、画面比率情報を含む第2の端末装置のディスプレイ情報を受信することができる。ディスプレイ情報とは、第2の端末装置の最大ディスプレイ仕様を意味することができる。例えば、ディスプレイ仕様は、解像度、フレームレートなどであり得る。例えば、通信部は、HDMI、WiHD、WiGig、ワイヤレスディスプレイ、HDBaseTなどになり得る。放送信号を受信する放送信号通信部と区別するためにインターフェースとして表現することもできる。通信部は、デコーディングされたビデオデータのクロップされた領域を第2の端末装置に伝送することができる。
本発明に係る信号送受信装置及び信号送受信装置の制御方法は、上述した各実施例の構成と方法を限定的に適用できるものではなく、前記各実施例は多様に変形できるように各実施例の全部又は一部を選択的に組み合わせて構成することもできる。
また、以上では、本発明の好ましい実施例に対して図示して説明したが、本発明は、上述した特定の実施例に限定されるものではなく、特許請求の範囲で請求する本発明の要旨から逸脱することなく、当該発明の属する技術分野で通常の知識を有する者によって多様な変形実施が可能であることは当然であり、このような変形実施は、本発明の技術的思想や展望から個別的に理解してはならない。
本発明は、放送及びビデオ信号処理分野で使用可能であり、反復可能性を有するので、産業上の利用可能性を有する。

Claims (20)

  1. 信号受信装置の制御方法において、
    ビデオデータを含むストリームとシグナリング情報を逆多重化するステップと、
    前記逆多重化したシグナリング情報及び前記ビデオデータを復号化するステップと、
    前記復号化したシグナリング情報からクロップ領域に対する情報を抽出するステップを含む、信号受信装置の制御方法。
  2. 前記クロップ領域に対する情報は、
    クロップ領域個数及びフレームが1番目のフレームであるか否かを示す情報を含み、
    クロップ領域の基準座標を示す情報又は前記基準座標との差値を示す情報を含む、請求項1に記載の信号受信装置の制御方法。
  3. 画面比率情報を含む第2の端末装置のディスプレイ情報を受信するステップと、
    前記抽出したクロップ領域に対する情報を用いて前記デコーディングしたビデオデータをクロップするステップと、
    前記デコーディングしたビデオデータのクロップした領域を前記第2の端末装置に伝送するステップをさらに含む、請求項1に記載の信号受信装置の制御方法。
  4. 前記受信した画面比率情報と前記クロップ領域の画面比率とを比較するステップと、これらが同一でない場合、既に設定された領域にAFDバーを挿入するステップをさらに含む、請求項3に記載の信号受信装置の制御方法。
  5. 前記受信した第2の端末装置のディスプレイ情報に基づいて前記ビデオデータのフォーマットを変換するステップをさらに含む、請求項3に記載の信号受信装置の制御方法。
  6. 前記ビデオデータのフォーマットは、
    フレームレート、ビットデプス及びクロマサンプリングのうち少なくとも一つを含む、請求項5に記載の信号受信装置の制御方法。
  7. 前記クロップ領域は複数存在し、前記複数のクロップ領域のうち一つのクロップ領域を選択できる選択画面を出力するステップをさらに含む、請求項3に記載の信号受信装置の制御方法。
  8. 前記抽出したクロップ領域に対する情報を用いて前記デコーディングしたビデオデータの少なくとも一つの領域をクロップするステップと、
    ディスプレイ部の画面比率が16:9である場合、前記ディスプレイ部を分割し、前記クロップした少なくとも一つの領域をディスプレイするステップをさらに含む、請求項1に記載の信号受信装置の制御方法。
  9. 前記抽出したクロップ領域に対する情報を用いて前記デコーディングしたビデオデータの少なくとも一つの領域をクロップするステップと、
    前記デコーディングしたビデオデータ及び前記少なくとも一つのクロップした領域を出力するステップをさらに含み、
    前記出力するステップは、
    ディスプレイ部の画面比率が21:9である場合、前記ディスプレイ部をメイン領域と付加領域とに分割し、メイン領域は前記デコーディングしたビデオデータを出力し、前記付加領域は前記少なくとも一つのクロップした領域を出力するステップを含む、請求項1に記載の信号受信装置の制御方法。
  10. ビデオデータをエンコーディングするステップと、
    前記ビデオデータのうちクロップ領域を設定し、前記クロップ領域に対する情報を含むシグナリング情報を生成するステップと、
    前記エンコーディングしたビデオデータ及び前記シグナリング情報を多重化し、前記多重化したビデオデータとシグナリング情報を伝送するステップを含む、信号送信装置の制御方法。
  11. ビデオデータを含むストリームとシグナリング情報を逆多重化する逆多重化部と、
    前記逆多重化したシグナリング情報を復号するシグナリング情報復号部と、
    前記逆多重化したビデオストリーム内のビデオデータをデコーディングするビデオデコーダーと、
    前記復号化したシグナリング情報からクロップ領域に対する情報を抽出する制御部と、
    ディスプレイ部とを含む、信号受信装置。
  12. 前記クロップ領域に対する情報は、
    クロップ領域個数及びフレームが1番目のフレームであるか否かを示す情報を含み、
    クロップ領域の基準座標を示す情報又は前記基準座標との差値を示す情報を含む、請求項11に記載の信号受信装置。
  13. 画面比率情報を含む第2の端末装置のディスプレイ情報を受信する通信部をさらに含み、
    前記制御部は、
    前記抽出したクロップ領域に対する情報を用いて前記デコーディングしたビデオデータをクロップし、
    前記通信部は、
    前記デコーディングしたビデオデータのクロップした領域を前記第2の端末装置に伝送する、請求項11に記載の信号受信装置。
  14. 前記制御部は、
    前記受信した画面比率情報と前記クロップ領域の画面比率とを比較し、これらが同一でない場合、既に設定された領域にAFDバーを挿入する、請求項13に記載の信号受信装置。
  15. 前記制御部は、
    前記受信した第2の端末装置のディスプレイ情報に基づいて前記ビデオデータのフォーマットを変換する、請求項13に記載の信号受信装置。
  16. 前記ビデオデータのフォーマットは、
    フレームレート、ビットデプス及びクロマサンプリングのうち少なくとも一つを含む、請求項15に記載の信号受信装置。
  17. 前記クロップ領域は複数存在し、
    前記制御部は、
    前記複数のクロップ領域のうち一つのクロップ領域を選択できる選択画面を出力するように前記ディスプレイ部を制御する、請求項13に記載の信号受信装置。
  18. 前記制御部は、
    前記抽出したクロップ領域に対する情報を用いて前記デコーディングしたビデオデータの少なくとも一つの領域をクロップし、前記ディスプレイ部の画面比率が16:9である場合、前記ディスプレイ部を分割し、前記クロップした少なくとも一つの領域を出力するように制御する、請求項11に記載の信号受信装置。
  19. 前記制御部は、
    前記抽出したクロップ領域に対する情報を用いて前記デコーディングしたビデオデータの少なくとも一つの領域をクロップし、前記ディスプレイ部の画面比率が21:9である場合、前記ディスプレイ部をメイン領域と付加領域とに分割し、メイン領域は前記デコーディングしたビデオデータを出力し、前記付加領域は前記少なくとも一つのクロップした領域を出力するように制御する、請求項11に記載の信号受信装置。
  20. ビデオデータをエンコーディングするエンコーダーと、
    前記ビデオデータのうちクロップ領域を設定し、前記クロップ領域に対する情報を含むシグナリング情報を生成するシグナリング情報生成部と、
    前記エンコーディングしたビデオデータ及び前記シグナリング情報を多重化する多重化部と、
    前記多重化したビデオデータとシグナリング情報を伝送する通信部を含む、信号送信装置。
JP2016508911A 2013-06-19 2014-06-19 信号送受信装置及び信号送受信装置の制御方法 Pending JP2016523015A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361836662P 2013-06-19 2013-06-19
US61/836,662 2013-06-19
PCT/KR2014/005408 WO2014204227A1 (ko) 2013-06-19 2014-06-19 신호 송수신 장치 및 신호 송수신 장치의 제어 방법

Publications (1)

Publication Number Publication Date
JP2016523015A true JP2016523015A (ja) 2016-08-04

Family

ID=52104884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016508911A Pending JP2016523015A (ja) 2013-06-19 2014-06-19 信号送受信装置及び信号送受信装置の制御方法

Country Status (6)

Country Link
US (1) US20160057494A1 (ja)
EP (1) EP3013062A4 (ja)
JP (1) JP2016523015A (ja)
KR (1) KR20160021428A (ja)
CN (1) CN105264904A (ja)
WO (1) WO2014204227A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018521550A (ja) * 2015-05-26 2018-08-02 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド ビデオを再生するための方法、クライアント及びコンピュータ記憶媒体

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015013685A1 (en) 2013-07-25 2015-01-29 Convida Wireless, Llc End-to-end m2m service layer sessions
EP3703379B1 (en) 2013-12-16 2022-06-22 Panasonic Intellectual Property Corporation of America Transmission method, reception method, transmitting device, and receiving device
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
US20150253974A1 (en) * 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
CN205305025U (zh) * 2016-01-06 2016-06-08 京东方科技集团股份有限公司 一种高清视频发送、接收装置与设备及高清视频传输系统
EP3456058A1 (en) 2016-05-13 2019-03-20 VID SCALE, Inc. Bit depth remapping based on viewing parameters
WO2017218785A1 (en) 2016-06-15 2017-12-21 Convida Wireless, Llc Grant-less uplink transmission for new radio
EP3482566B1 (en) 2016-07-08 2024-02-28 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
JP6667847B2 (ja) * 2016-08-12 2020-03-18 ザインエレクトロニクス株式会社 受信装置および送受信システム
CN106454407B (zh) * 2016-10-25 2020-03-06 广州华多网络科技有限公司 视频直播方法及装置
CN109845274B (zh) * 2016-10-25 2021-10-12 索尼公司 发送设备、发送方法、接收设备和接收方法
WO2018097947A2 (en) 2016-11-03 2018-05-31 Convida Wireless, Llc Reference signals and control channels in nr
US20180176468A1 (en) * 2016-12-19 2018-06-21 Qualcomm Incorporated Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
US11765406B2 (en) 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video
US11178204B1 (en) * 2017-02-23 2021-11-16 Cox Communications, Inc. Video processor to enhance color space and/or bit-depth
WO2018164911A1 (en) 2017-03-07 2018-09-13 Pcms Holdings, Inc. Tailored video streaming for multi-device presentations
US11070764B2 (en) * 2018-03-12 2021-07-20 Sony Corporation Video communication device, video communication method, video processing device, and information processing method
CN110267085A (zh) * 2018-03-12 2019-09-20 青岛海信电器股份有限公司 一种视频处理的方法及装置
CN109089157B (zh) * 2018-06-15 2021-12-07 广州华多网络科技有限公司 视频画面的裁剪方法、显示设备以及装置
EP3858023A1 (en) 2018-09-27 2021-08-04 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio
CN109547724B (zh) * 2018-12-21 2021-09-07 广州方硅信息技术有限公司 一种视频流数据的处理方法、电子设备及存储装置
KR102558959B1 (ko) * 2019-10-14 2023-07-24 주식회사 케이티 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004228717A (ja) * 2003-01-20 2004-08-12 Ricoh Co Ltd 画像処理方法、画像処理装置、電子カメラ装置、プログラム及び記録媒体
JP2005316007A (ja) * 2004-04-27 2005-11-10 Matsushita Electric Ind Co Ltd 画像表示制御装置
JP2006129249A (ja) * 2004-10-29 2006-05-18 Sanyo Electric Co Ltd 画像符号化方法および装置、ならびに画像復号方法および装置
US20100299630A1 (en) * 2009-05-22 2010-11-25 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882755B2 (en) * 2001-10-19 2005-04-19 Hewlett-Packard Development Company, L.P. Image transmission for low bandwidth with region of interest
JP3793142B2 (ja) * 2002-11-15 2006-07-05 株式会社東芝 動画像加工方法及び装置
US7802288B2 (en) * 2003-03-14 2010-09-21 Starz Entertainment, Llc Video aspect ratio manipulation
US20050180858A1 (en) * 2004-02-04 2005-08-18 Halgas Joseph F.Jr. Customized video processing modes for HD-capable set-top decoders
US8019175B2 (en) * 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
WO2006112808A1 (en) * 2005-03-15 2006-10-26 General Instrument Corporation, A Corporation Of The State Of Delaware Customized video processing modes for hd-capable set-top decoders
US8184153B2 (en) * 2005-09-26 2012-05-22 Electronics And Telecommunications Research Institute Method and apparatus for defining and reconstructing ROIs in scalable video coding
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 roi 설정, 복원을위한 장치 및 방법
US8315466B2 (en) * 2006-12-22 2012-11-20 Qualcomm Incorporated Decoder-side region of interest video processing
KR101464572B1 (ko) * 2008-03-20 2014-11-24 인스티튜트 퓌어 룬트퐁크테크닉 게엠베하 작은 스크린 크기들에 대해 비디오 이미지들을 적응시키는 방법
EP2262230A1 (en) * 2009-06-08 2010-12-15 Koninklijke Philips Electronics N.V. Device and method for processing video data
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
CN102625147B (zh) * 2012-02-29 2015-01-14 中山大学 一种移动可视设备自适应显示方法
CN103024315A (zh) * 2012-12-17 2013-04-03 四川长虹电器股份有限公司 一种根据视频内容实时调整电视画面尺寸的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004228717A (ja) * 2003-01-20 2004-08-12 Ricoh Co Ltd 画像処理方法、画像処理装置、電子カメラ装置、プログラム及び記録媒体
US20040212843A1 (en) * 2003-01-20 2004-10-28 Taku Kodama Image processing method, image processing apparatus, electronic camera and computer-readable storage medium
JP2005316007A (ja) * 2004-04-27 2005-11-10 Matsushita Electric Ind Co Ltd 画像表示制御装置
JP2006129249A (ja) * 2004-10-29 2006-05-18 Sanyo Electric Co Ltd 画像符号化方法および装置、ならびに画像復号方法および装置
US20070230658A1 (en) * 2004-10-29 2007-10-04 Sanyo Electric Co., Ltd. Image coding method and apparatus, and image decoding method and apparatus
US20100299630A1 (en) * 2009-05-22 2010-11-25 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018521550A (ja) * 2015-05-26 2018-08-02 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド ビデオを再生するための方法、クライアント及びコンピュータ記憶媒体

Also Published As

Publication number Publication date
US20160057494A1 (en) 2016-02-25
WO2014204227A1 (ko) 2014-12-24
CN105264904A (zh) 2016-01-20
KR20160021428A (ko) 2016-02-25
EP3013062A1 (en) 2016-04-27
EP3013062A4 (en) 2016-12-21

Similar Documents

Publication Publication Date Title
JP2016523015A (ja) 信号送受信装置及び信号送受信装置の制御方法
JP5463747B2 (ja) 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
US8860786B2 (en) Stereo image data transmitting apparatus and stereo image data receiving apparatus
US9313442B2 (en) Method and apparatus for generating a broadcast bit stream for digital broadcasting with captions, and method and apparatus for receiving a broadcast bit stream for digital broadcasting with captions
US8860782B2 (en) Stereo image data transmitting apparatus and stereo image data receiving apparatus
JP4384170B2 (ja) マルチ画面を実現する方法
WO2011062015A1 (ja) 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
US20110181693A1 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
WO2007064159A1 (en) Method for providing 3d contents service based on digital broadcasting
JP4715886B2 (ja) 映像表示装置、映像表示システムおよび映像表示方法
EP2178306A2 (en) Image processing apparatus and image processing method
KR20110088332A (ko) 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
TW201108714A (en) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
WO2012060198A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2013545361A (ja) ステレオスコピックビデオサービスのためのシグナリング方法及びその方法を使用する装置
US20230188767A1 (en) Transmission device, transmission method, reception device, and reception method
WO2012057048A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
EP2757801A2 (en) Server and client processing multiple sets of channel information and controlling method of the same
JP2012124899A (ja) デジタルビデオ送信装置及び方法、デジタルビデオ受信装置及び方法、デジタルビデオ送受信システム
EP2600619A1 (en) Transmitter, transmission method and receiver
KR20140000136A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
EP2579604A1 (en) Receiving device and output method
JP2014082769A (ja) 受信装置、表示制御方法、プログラム、及びデータ構造

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171003