JP2016515352A - データ送信装置、データ受信装置、データ送受信システム、データ送信方法及びデータ受信方法 - Google Patents

データ送信装置、データ受信装置、データ送受信システム、データ送信方法及びデータ受信方法 Download PDF

Info

Publication number
JP2016515352A
JP2016515352A JP2015562938A JP2015562938A JP2016515352A JP 2016515352 A JP2016515352 A JP 2016515352A JP 2015562938 A JP2015562938 A JP 2015562938A JP 2015562938 A JP2015562938 A JP 2015562938A JP 2016515352 A JP2016515352 A JP 2016515352A
Authority
JP
Japan
Prior art keywords
audio
field
data
packet
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015562938A
Other languages
English (en)
Other versions
JP6514648B2 (ja
Inventor
リ,キョン−ジェ
キム,ス−ヨン
キム,ジョン−ファ
ナ,イル−ジュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2014/002229 external-priority patent/WO2014142626A1/en
Publication of JP2016515352A publication Critical patent/JP2016515352A/ja
Application granted granted Critical
Publication of JP6514648B2 publication Critical patent/JP6514648B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Abstract

データ送信装置、データ受信装置、データ送受信システム、データ送信方法及びデータ受信方法を提供すること。本発明のデータ送信装置は、オーディオメタデータパケットを生成するパケット生成部と、前記生成されたオーディオメタデータパケットをデータ受信装置に送信する送信部とを備え、前記生成されたオーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。

Description

本発明は、データ送受信装置及び方法に関し、さらに詳細には、画面分離の支援に関する情報を送受信する、データ送信装置、データ受信装置、データ送受信システム、データ送信方法及びデータ受信方法に関する。
最近、マルチメディア環境が駆逐されながら多様なデータ送信のための高速有線インタフェース規格が提案されている。例えば、HDMI(登録商標)、MHLは、多様なフォーマットの映像データ、オーディオデータ、制御データの送信規格を規定する。一つのディスプレイ装置を介して互いに異なる視聴者が各々互いに異なるコンテンツを視聴できるマルチビュー技術が登場しながら、マルチビュー映像に対応するマルチオーディオ送信規約の必要性が提起されている。
特に、複数のユーザが画面を分割して互いに異なるコンテンツを視聴する場合、ソース装置とシンク装置との間にどんなフォーマットで画面の分離がなされたのか、分離された画面の各々にマッチングされるオーディオ信号は、どんなものであるかに関して、情報を共有する必要がある。
そのため、ソース装置とシンク装置との間に画面分離に関する支援情報を送受信できる規格の必要性が提起される。
本発明の一つまたはそれ以上の実施の形態の目的は、ソース装置とシンク装置との間に画面分離に関する支援情報を送受信できるインタフェース規格を提供することにある。
上記の目的を達成すべく、本発明の一実施の形態にかかる、データ送信装置は、オーディオメタデータパケットを生成するように構成されたパケット生成部と、前記生成されたオーディオメタデータパケットをデータ受信装置に送信する送信部とを備える。特に、前記生成されたオーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
前記画面分離情報フィールドは、画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことができる。
前記分離画面種類フィールドは、ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP(Picture in Picture)画面をディスプレイする第3分離モード、及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを含むことができる。
前記生成されたオーディオメタデータパケットのヘッダ(header)は、
送信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び送信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つをさらに含むことができる。
前記生成されたオーディオメタデータパケットのペイロード(payload)は、マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor Field)を含むことができる。
前記マルチオーディオデスクリプタフィールドは、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応する分離された画面情報を表す画面分離タグフィールド(Split Screen Tag Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応するビューを表す関連ビュー識別フィールド(Associated View ID Field)、前記マルチオーディオデスクリプタフィールドが有効な言語コードを含むかどうかを表す有効言語コードフィールド(Valid Language Code Field)、メインオーディオデータと補助オーディオデータとのプレミックス有無を表すミックスオーディオフィールド(mixed Audio Field)、前記マルチオーディオデスクリプタフィールドが有効な補助オーディオデータの種類に対する情報を含むかどうかを表すSATプレゼントフィールド(SAT Present Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのための補助オーディオデータ種類を表す補助オーディオ種類フィールド(Supplemental Audio Type Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのISO639で定義された言語コードを表す言語コードフィールド(Language Code Field)のうち、少なくとも一つを含むことができる。
上記の目的を達成すべく、本発明の他の実施の形態にかかるデータ受信装置は、データ送信装置からオーディオメタデータパケットを受信する受信部と、前記受信されたオーディオメタデータパケットをパーシングするパーシング部とを備える。前記オーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
受信部は、前記オーディオメタデータパケットをデータ送信装置から受信する。前記画面分離情報フィールドは、画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことができる。
前記分離画面種類フィールドは、ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP画面をディスプレイする第3分離モード及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを含むことができる。
前記オーディオメタデータパケットのヘッダ(header)は、受信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び受信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つをさらに含むことができる。
前記受信されたオーディオメタデータパケットのペイロード(payload)は、マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor Field)を含むことができる。
前記マルチオーディオデスクリプタフィールドは、前記オーディオメタデータパケットが表すオーディオデータに対応する分離された画面情報を表す画面分離タグフィールド(Split Screen Tag Field)、前記オーディオメタデータパケットが表すオーディオデータに対応するビューを表す関連ビュー識別フィールド(Associated View ID Field)、前記マルチオーディオデスクリプタフィールドが有効な言語コードを含むかどうかを表す有効言語コードフィールド(ValidLanguage Code Field)、メインオーディオデータと補助オーディオデータとのプレミックス有無を表すミックスオーディオフィールド(mixed Audio Field)、前記マルチオーディオデスクリプタフィールドが有効な補助オーディオデータの種類に対する情報を含むかどうかを表すSATプレゼントフィールド(SAT Present Field)、前記オーディオメタデータパケットが表すオーディオデータのための補助オーディオデータ種類を表す補助オーディオ種類フィールド(Supplemental Audio Type Field)、前記オーディオメタデータパケットが表すオーディオデータのISO639で定義された言語コードを表す言語コードフィールド(Language Code Field)のうち、少なくとも一つを含むことができる。
上記の目的を達成すべく、本発明のさらに他の実施の形態にかかるデータ送受信システムは、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を前記データ受信装置に送信するように構成されたデータ送信装置と前記データ送信装置から前記オーディオメタデータパケットを受信するように構成されたデータ受信装置を含む。前記オーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
上記の目的を達成すべく、本発明の他の実施の形態にかかるデータ送信方法は、オーディオメタデータパケットを生成するステップと、前記生成されたオーディオメタデータパケットをデータ受信装置に送信するステップとを含む。このとき、前記生成されたオーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
前記画面分離情報フィールドは、画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことができる。
前記分離画面種類フィールドは、ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP画面をディスプレイする第3分離モード及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを含むことができる。
前記生成されたオーディオメタデータパケットのヘッダ(header)は、送信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び送信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つをさらに含むことができる。
前記生成されたオーディオメタデータパケットのペイロード(payload)は、マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor Field)を含むことができる。
前記マルチオーディオデスクリプタフィールドは、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応する分離された画面情報を表す画面分離タグフィールド(Split Screen Tag Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応するビューを表す関連ビュー識別フィールド(Associated View ID Field)、前記マルチオーディオデスクリプタフィールドが有効な言語コードを含むかどうかを表す有効言語コードフィールド(Valid Language Code Field)、メインオーディオデータと補助オーディオデータとのプレミックス有無を表すミックスオーディオフィールド(mixed Audio Field)、前記マルチオーディオデスクリプタフィールドが有効な補助オーディオデータの種類に対する情報を含むかどうかを表すSATプレゼントフィールド(SAT Present Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのための補助オーディオデータ種類を表す補助オーディオ種類フィールド(Supplemental Audio Type Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのISO639で定義された言語コードを表す言語コードフィールド(Language Code Field)のうち、少なくとも一つを含むことができる。
上記の目的を達成すべく、本発明の他の実施の形態にかかるデータ受信方法は、データ送信装置からオーディオメタデータパケットを受信するステップと、前記受信されたオーディオメタデータパケットをパーシングするステップとを含み、前記受信されたオーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
前記画面分離情報フィールドは、画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことができる。
前記分離画面情報フィールドは、ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP画面をディスプレイする第3分離モード及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを含むことができる。
前記生成されたオーディオメタデータパケットのヘッダ(header)は、送信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び送信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つをさらに含むことができる。
前記生成されたオーディオメタデータパケットのペイロード(payload)は、マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor Field)を含むことができる。
マルチオーディオデスクリプタ(Multi Audio Descriptor)は、前記受信されたオーディオメタデータパケットが表すオーディオデータに対応する分離された画面情報を表す画面分離タグフィールド(Split Screen Tag Field)、前記受信されたオーディオメタデータパケットが表すオーディオデータに対応するビューを表す関連ビュー識別フィールド(Associated View ID Field)、前記マルチオーディオデスクリプタフィールドが有効な言語コードを含むかどうかを表す有効言語コードフィールド(Valid Language Code Field)、メインオーディオデータと補助オーディオデータとのプレミックス有無を表すミックスオーディオフィールド(Mixed Audio Field)、前記マルチオーディオデスクリプタフィールドが有効な補助オーディオデータの種類に対する情報を含むかどうかを表すSATプレゼントフィールド(SAT Present Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのISO639で定義された言語コードを表す言語コードフィールド(Language Code Field)のうち、少なくとも一つを含むことができる。
上記の目的を達成すべく、本発明の他の実施の形態にかかる、データ送信装置は、マルチオーディオストリームに対する複数のサブパケットを含むパケットを生成するように構成されたパケット生成部と、前記生成されたパケットを受信装置に送信する送信部とを備える。前記生成されたパケットのヘッダは、複数のパケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
上記の目的を達成すべく、本発明の他の実施の形態にかかる、データ受信装置は、マルチオーディオストリームに対する複数のサブパケットを含むパケットを受信する構成を有する受信部と、前記受信されたパケットをパーシングするパーシング部とを備える。前記受信されたパケットのヘッダは、複数のパケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
上記の目的を達成すべく、本発明の他の実施の形態にかかるデータ送受信システムは、マルチオーディオストリームに対する複数のサブパケットを含むパケットを生成してデータ受信装置に送信するデータ送信装置と、前記データ送信装置から複数のサブパケットを含む前記パケットを受信するデータ受信装置とを備える。前記受信されたパケットのヘッダ(header)は、複数のパケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
上記の目的を達成すべく、本発明の他の実施の形態にかかるデータ送信方法は、マルチオーディオストリームに対する複数のサブパケットを含むパケットを生成するステップと、前記生成されたパケットをデータ受信装置に送信するステップとを含み、前記生成されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
上記の目的を達成すべく、本発明の他の実施の形態にかかるデータ受信方法は、マルチオーディオストリームに対する複数のサブパケットを含むパケットを受信するステップと、前記受信されたパケットをパーシングするステップとを含み、前記受信されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
上記の目的を達成すべく、本発明のさらに他の実施の形態にかかるデータ送信方法は、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を生成するステップと、データ受信装置に前記デバイス性能情報ブロックを送信するステップとを含み、前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含む。
上記の目的を達成すべく、本発明のさらに他の実施の形態にかかるデータ受信装置は、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を受信するように構成された受信部と、前記受信されたデバイス性能情報ブロックを分析する分析部とを備える。前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含む。
上記の目的を達成すべく、本発明のさらに他の実施の形態にかかるデータ送受信システムは、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)をデータ受信装置に送信するデータ送信装置と、前記データ送信装置から前記デバイス性能情報ブロックを受信するデータ受信装置とを備える。前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連してマルチオーディオの受信及び処理の支援有無を指示する画面分離オーディオフィールドを含む。
上記の目的を達成すべく、本発明のさらに他の実施の形態にかかるデータ送信方法は、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を生成するステップと、前記受信されたデバイス性能情報ブロックをデータ受信装置に送信するステップとを含み、前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含む。
上記の目的を達成すべく、本発明のさらに他の実施の形態にかかるデータ受信方法は、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を受信するステップと、前記受信されたデバイス性能情報ブロックを分析するステップとを含み、前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含む。
上記の目的を達成すべく、本発明のさらに他の実施の形態にかかるデータ受信装置は、前記パケットに対応するオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含むパケットを受信する受信部、及び前記受信されたパケットをパーシングするパーシング部を備える。
以上のような本発明の実施の形態によれば、本発明は、ソース装置とシンク装置との間に画面分離に関する支援情報を送受信できるインタフェース規格を提供する。
前記及び/または他の特徴は、添付された図面を参照して実施の形態を説明することによって、さらに明確になるはずである。
シングルオーディオストリームとマルチオーディオストリームを示す図である。 シングルオーディオストリームとマルチオーディオストリームを示す図である。 ソース装置がシンク装置にデュアルウィンドウ及び画面分離に対するマルチオーディオを送信する示す図である。 ソース装置がシンク装置にデュアルウィンドウ及び画面分離に対するマルチオーディオを送信する示す図である。 ソース装置がシンク装置にデュアルウィンドウ及び画面分離に対するマルチオーディオを送信する示す図である。 本発明の一実施の形態にかかる画面分離支援情報を表示するためのシンク装置とソース装置との間のデータ送受信を概括的に示した図である。 本発明の一実施の形態にかかるマルチオーディオサンプルパケットのペイロードが送信される状況を示す図である。 本発明の一実施の形態にかかるデータ送受信システムのブロック図である。 本発明の一実施の形態にかかるデータ送信装置のブロック図を示す図である。 本発明の一実施の形態にかかるデータ受信装置のブロック図を示す図である。 本発明の他の実施の形態にかかるデータ送受信システムのブロック図である。 本発明の一実施の形態にかかるオーディオストリームと関連した画面分離モードを示す図である。 本発明の一実施の形態にかかるオーディオストリームと関連した画面分離モードを示す図である。 本発明の一実施の形態にかかるオーディオストリームと関連した画面分離モードを示す図である。 本発明の他の実施の形態にかかるデータ送受信システムのブロック図である。 本発明の他の実施の形態にかかるデータ送信装置のブロック図である。 本発明のさらに他の実施の形態にかかるデータ受信装置のブロック図である。 3Dオーディオ信号の送信タイミングを示す図である。 3Dオーディオ信号の送信タイミングを示す図である。 本発明のさらに他の実施の形態にかかるデータ送受信システムのブロック図である。 本発明のさらに他の実施の形態にかかるデータ送信装置の構成を示すブロック図である。 本発明のさらに他の実施の形態にかかるデータ受信装置の構成を示すブロック図である。 本発明の一実施の形態にかかるマルチストリームオーディオサンプルパケットのシナリオを示す図である。 本発明の一またはさらに多くの実施の形態にかかるクアッドビュービデオコンテンツを3Dインターレース(interlace)フォーマットで送信する場合、多様なデータ送信フォーマットを示す図である。 本発明の一またはさらに多くの実施の形態にかかるクアッドビュービデオコンテンツを3Dインターレース(interlace)フォーマットで送信する場合、多様なデータ送信フォーマットを示す図である。 本発明の一またはさらに多くの実施の形態にかかるクアッドビュービデオコンテンツを3Dインターレース(interlace)フォーマットで送信する場合、多様なデータ送信フォーマットを示す図である。 本発明の一実施の形態にかかるデータ送信方法のフローチャートである。 本発明の一実施の形態にかかるデータ受信方法のフローチャートである。 本発明の他の実施の形態にかかるデータ送信方法のフローチャートである。 本発明の他の実施の形態にかかるデータ受信方法のフローチャートである。 本発明のさらに他の実施の形態にかかるデータ送信方法のフローチャートである。 本発明のさらに他の実施の形態にかかるデータ受信方法のフローチャートである。
本発明の理解のために関連した十分な詳細説明を示す図において、前記動作方法及びシステム構成成分は、基本的な記号で示された。また、本発明が属する技術分野における通常の知識を有した者にとって、明白な説明は省略されることができる。本明細書において、例えば、第1、第2、及びそのような説明的用語は、このような要素間のいかなる実際的関係または順序を暗示せず、他の要素から一つの要素を区別するのに使用されることができる。以下では、要素のリストを羅列する際、「少なくとも一つの」などのような表現は、要素の全体リストを修正しリストの個別要素を修正しないことと理解される。
本発明は、本発明の技術的思想と均等な範囲においてHDMI(High Definition Multimedia Interface)、MHL(Mobile High−Definition Link)規格のような多様な有線インタフェース送信規格に適用されうるので、本発明の権利範囲は、これと類似の有線インタフェース送信規格までに及ぼす。
本明細書は、下記の文献を参照する。
ITU−R BS.2159−4(05/2012)、家庭内の多チャンネルサウンド技術と放送アプリケーション(Multichannel sound technology in home and broadcasting applications)
SMPTE,SMPTE 2036−2:2008、「UHDTV−音声特徴とプログラム製作のための音声チャネルマッピング(UHDTV−Audio characteristics and audio channel mapping for program production)」、2008
IEC,IEC 62574 ed 1.0、「音声、ビデオそしてマルチメディアシステム−多チャンネル音声の一般的チャネル割り当て(Audio,video and multimedia systems−General channel assignment of multichannel audio)」、2011年4月7日
表1は、本明細書において使用する用語を簡略に説明している。
Figure 2016515352
Figure 2016515352
図1A及び図1Bは、シングルオーディオストリームとマルチオーディオストリームを示す図である。
図1(A)に示すように、シングルオーディオストリームは、少なくとも一つのビデオデータに対して複数のオーディオデータが存在し、これらのオーディオデータが一つのシングルストリームに送信される場合である。シングルストリームでは、すべてのストリームデータが同じパケットストリームIDを共有するようにパケット化される。
図1(B)に示すように、マルチオーディオストリームは、多数のシングルAVストリームが送信される場合である。マルチオーディオストリームでは、唯一のパケットストリームIDが各シングルAVストリームに割り当てられる多数のシングル−AVストリーム集合が存在する。多数のシングルAVストリームのビデオデータは、互いに独立的である。
マルチオーディオストリームの各オーディオストリームは、最大2個のオーディオチャネルを送信し、シングルオーディオストリームと関連する。例えば、シングルビューモードにおいて、各オーディオは、デフォルトビデオストリームに接続され、デュアルビューモードにおいてオーディオは、左側のイメージや右側のイメージ(または両方とも)に接続されることができる。また、次のような一つ以上の補助オーディオオプションを送信できる。すなわち、画面分離タギング(Split−screen tagging)、言語表示(Language indication)、視覚/聴覚障害者のためのオーディオ表示(indication of audio for visually/hearing impaired)がそれである。
画面分離(Split Screen)とは、二つ以上のウィンドウに対してソース装置により互いに異なるオーディオデータがタギングされ識別される視聴オプション(viewing option)を意味する。画面分離は、PIP視聴方式(picture−in−pucture viewing)、クイックプレビュー視聴方式(quick−preview)、マルチスクリーンゲーム(multi−screen game)などで使用される。ここで、ウィンドウとは、シンク装置のスクリーンの一領域上にディスプレイされる区別されるディスプレイイメージを意味する。
画面分離(またはマルチウィンドウ)は、マルチオーディオと共に使用される選択的な構成になることができる。画面分離モードは、シンク装置で画面が分離される構成を示し、オーディオストリームをタギングし、特定のウィンドウ窓にマッピングする。
図2A、図2B、及び図2Cは、本発明の一つ以上の実施の形態にかかるソース装置がシンク装置にデュアルウィンドウ及び画面分離に対するマルチオーディオを送信することを示す図である。
図2Aは、マルチスクリーンに各々に対するオーディオデータを送信する実施の形態であり、図2Bは、クイックプレビュー視聴やPIP(picture−in−picture)視聴に伴う複数のオーディオデータを送信する実施の形態であり、図2Cは、マルチスクリーンゲームに伴う複数のオーディオデータを送信する実施の形態を示す。シンク装置のユーザは、所望のオーディオを選択して聴取できる。
本発明の一実施の形態にかかる図3は、前記画面分離支援情報を表示するためのシンク装置320とソース装置310とのデータ送受信を概括的に示した図である。
図3に示すように、ソース装置310は、ベンダー−特定インフォフレーム(Vendor−Specific Infoframe)、マルチオーディオサンプルパケット(Multi−Audio Sample Packet)、マルチオーディオメタデータパケット(Multi−Audio Metadata Packet)をシンク装置320に送信する。
マルチオーディオサンプルパケットは、複数のオーディオストリームを含む。マルチオーディオメタデータパケットは、各オーディオストリームに対する一つ以上の設定を含む。これは、ビデオストリームと関連し、補助オーディオ情報を運搬できる。ベンダー−特定インフォフレームは、送信されるコンテンツのマルチビュータイプを含む。具体的な実施の形態については後述する。
シンク装置320は、拡張されたデバイス性能レジスタ(Extended Device Capability Register)をソース装置310に送信して、シンク装置が支援するマルチオーディオモード情報を知らせる。具体的な実施の形態については後述する。
一方、補助的な(Supplementary)マルチオーディオは、補助オーディオトラック(例えば、多数言語、視覚的障害のためのオーディオ説明、または聴覚的障害のためのクリーンオーディオ)の送信を支援する。この場合に、最大16個のオーディオストリームが同時に送信されることができる。これについても、具体的な説明は後述する。
変化最小化差動信号(TMDS,Transition−Minimized Differential Signaling)とエンコーディング
データプラットホームパケット
Figure 2016515352
3Dオーディオサンプルパケット
3Dオーディオは、スピーカーが3D空間上において3Dオーディオ規格(例えば、10.2ch、22.2ch、30.2ch等)別に決まった位置に配置されうるオーディオとして定義される。3Dオーディオサンプルパケットは、9個から32個のオーディオチャネルを有する一つのオーディオサンプルから構成されている。
3Dオーディオストリームは、32オーディオチャネル(またはそれ以上)までを含み、データサム(sum)区間で連続的なパケットを介して送信される。各パケットは、8オーディオチャネルまで含む。サブパケットの構成は、シーケンス番号とヘッダにあるサンプルプレゼントビット(sample_present bits)により判断される。
シーケンス番号フィールド(sequence_number):現在パケットの順序を表す。多数3Dオーディオサンプルパケットがシングル3Dオーディオサンプルを含むから、このフィールドは、パケット順序を正確に識別するために必要である。
他のヘッダフィールドとサブパケット構造は、MHL2.0明細書において表されるオーディオサンプルパケットと一致する。
Figure 2016515352
マルチオーディオサンプルパケット
マルチオーディオサンプルパケットは、各オーディオサンプルが独立的にオーディオストリームと関連した4個のオーディオサンプルを含むことができる。MHLソース装置が4個以上の独立的オーディオストリームを同時に送信するとき、こういう連続的なオーディオストリームは、続くマルチオーディオサンプルパケットシリーズにより送信される。パケットヘッダで定義されたシーケンス番号(sequence_number)は、各々のマルチオーディオサンプルパケットを識別し、パケットの整列内で現在パケットの順序を示す。サブパケットの構成は、シーケンス番号とヘッダにあるサンプルプレゼントビット(sample present bits)により判断される。これについて、マルチオーディオデータパケット化で詳細に説明される。
各々のサブパケット(またはオーディオストリーム)のために、マルチオーディオメタデータパケット(Multi−Audio Metadata Packet)にあるデスクリプタフィールド(descriptor field)は、ビューモード(すなわち、シングル−ビューまたはマルチ−ビュー)、及び選択的情報(例えば、画面分離タギング、言語コード、視覚的障害のためのオーディオ等)を説明する。これらは、後で詳細に説明される。
シーケンス番号フィールド(sequence_number)は、ソース装置からシンク装置に送信するための4個以上のオーディオストリームがあるとき、現在マルチオーディオサンプルパケットのシーケンス番号を表す。仮に、このフィールドが0に設定されると、そのパケットは、該当サブパケットにおいて各々第1番目の4個のオーディオストリームを各々(respectively)含むことができる。仮に、このフィールドが1に設定されると、そのパケットは、該当サブパケットにおいて各々第2番目の4個のオーディオストリームセットを含むことができる。類似の方法で、パケットは、このフィールドが2または3に設定されるとき、第3番目または第4番目の4個のオーディオストリームセットを各々含む。シーケンス番号が0であるサブパケット0で処理されるオーディオストリームは、デフォルト(default)オーディオストリームとして指定される。
ストリームプレゼントフィールド(stream_presnt.spX)は、サブパケットXがストリームXのオーディオサンプルを含んでいるかどうかを示す。
ストリームフラットフィールド(stream_flat.spX)は、サブパケットXがストリームXの「フラットライン(flatline)」サンプルを表しているかどうかを示す。ストリームフラットフィールドは、stream_present.spXが設定されるときだけ有効である。
他のヘッダフィールドとサブパケット構造は、MHL2.0スペックにおいて表されるオーディオサンプルパケットと一致する。
Figure 2016515352
図4は、前記マルチオーディオサンプルパケットのペイロードが送信される状況を示す図である。
図4に示すように、4個のマルチオーディオサンプルパケットが送信される場合、16個のオーディオストリームを運搬できる。シーケンス番号は、2ビットからなっているので、最大16個のオーディオストリームが運搬されることができる。
図5は、本発明の一実施の形態にかかるデータ送受信システム1000−1のブロック図である。
図5に示すように、本発明の一実施の形態にかかるデータ送受信システム1000−1は、データ送信装置100−1とデータ受信装置200−1とを備える。
データ送信装置100−1は、マルチオーディオストリームに対する複数のサブパケットを含むパケットを生成して、データ受信装置200−1に送信する。
パケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
図6は、本発明の一実施の形態にかかるデータ送信装置100−1のブロック図を示す図である。
図6に示すように、本発明の一実施の形態にかかるデータ送信装置100−1は、パケット生成部110と送信部120とを備える。
前記パケット生成部110は、マルチオーディオストリームに対する複数のサブパケットを含むパケットを生成する。前述した実施の形態において示されるように、一つのパケットは、4個のオーディオストリームに対応する4個のサブパケットを含むことができる。
このとき、前記生成されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。図4の実施の形態のように、シーケンス番号フィールドは、送信されるパケットの順序を示す。
送信部120は、前記生成されたパケットをデータ受信装置200−1に送信する。
図7は、本発明の一実施の形態にかかるデータ受信装置200−1のブロック図を示す図である。
図7に示すように、本発明の一実施の形態にかかるデータ受信装置200−1は、受信部210、パーシング部220を備える。
受信部210は、データ送信装置100−1からマルチオーディオストリームに対する複数のサブパケットを含むパケットを受信する構成である。
パーシング部220は、前記受信されたパケットをパーシングする。前記受信されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。図4の実施の形態のように、シーケンス番号フィールドは、送信されるパケットの順序を示す。
3Dオーディオメタデータパケット
アクティブ(active)3Dオーディオデータを説明する補助データ(ancillary data)は、3Dオーディオメタデータパケットを使用して送信される。MHLソース装置が3Dオーディオサンプルパケットを送信できる場合、ソース装置は、常に正確な3Dオーディオメタデータパケットを、すべての二つのビデオフィールド当たりの少なくとも一回送信する。
次の表は、本発明の一実施の形態にかかる3Dオーディオメタデータパケットを示す。
Figure 2016515352
Figure 2016515352
Figure 2016515352
Figure 2016515352
Figure 2016515352
Figure 2016515352
マルチオーディオメタデータパケット
アクティブマルチオーディオストリームを説明する補助データ(ancillary data)は、マルチオーディオメタデータパケットを使用して送信される。このパケットは、ビュー種類とマルチオーディオサンプルパケットから移される各々のオーディオストリームのための補助的オーディオ選択事項を説明するために使用される。
MHLソース装置がマルチオーディオサンプルパケットを送信できる場合、MHLソース装置は、常に正確なマルチストリームオーディオメタデータパケットを、毎度(every)二つのビデオフィールド当たりの少なくとも一回ずつ送信する。
次は、本発明の実施の形態にかかるマルチオーディオメタデータパケットを示す。
Figure 2016515352
ビュー種類フィールド(MA_View_Type)は、シングルビューまたはマルチビューのようなマルチオーディオストリームの関連したビューモードを表す。
シーケンス番号フィールド(Sequence_Number)は、パケットまたは現在マルチオーディオメタデータパケットのシーケンス番号を表す。このフィールドは、最高4個の互いに異なるマルチオーディオメタデータパケットを識別するために使用される。このフィールドは、各マルチオーディオメタデータパケットを同じシーケンス番号を有するマルチオーディオサンプルパケットに独特に(uniquely)接続する。
オーディオストリーム個数フィールド(Num_Audio_Streams)は、マルチオーディオサンプルパケットにより送信されたオーディオストリームの総個数を表す。
画面分離有効フィールド(SC_Valid)は、画面分離タギング(tagging)と関連する。例えば、仮に、画面分離有効フィールドが1に設定される場合、画面分離タギングは支援を受け、画面分離構成フィールド(Split_Screen_Config)は、次の7ビットで詳細化される。仮に、画面分離有効フィールドが0に設定される場合、画面分離タギングは支援を受けないか、または詳細化されず、次の7ビットは、他の使用のために残される。
画面分離種類フィールド(Split_Screen_Config)は、現在デスクリプタにより表されるオーディオストリームと関連した画面分離種類を示す。選択可能な画面分離種類は、下記の表13に羅列されている。このフィールドは、SC_有効=1のときだけ有効である。
マルチオーディオデスクリプタフィールド(MA_Descriptor_X)は、該当マルチオーディオサンプルパケットのサブパケットXにより送信されるオーディオストリームの特性を示す。表13は、マルチオーディオデスクリプタの詳細な構造を示す。
Figure 2016515352
図8A、8B、及び図8Cは、本発明の一実施の形態にかかるオーディオストリームと関連した画面分離モードを示す図である。
次の表は、本発明の一実施の形態にかかるマルチオーディオデスクリプタの定義を示す。
Figure 2016515352
画面分離タグフィールド(Split_Screen_Tag)は、現在マルチオーディオデスクリプタにより表されるオーディオストリームと関連した特定ウィンドウ(分離画面構成により定義されたように)を示す。本発明の一実施の形態にかかる画面分離タグフィールドの詳細な説明は、下記の表15に示される。このフィールドは、SC_有効=1のときだけ有効で、それともMHLシンク装置は、このフィールドを無視する。
関連ビュー識別フィールド(Associated_View_ID)は、現在マルチオーディオデスクリプタにより表されるオーディオストリームと関連した特定ビューを表す。このフィールドの意味は、ビュー種類フィールド(MA_View_Type)の値に拠る。本発明の一実施の形態にかかる関連ビュー識別フィールドの詳細な説明は、下記の表15に示す。
有効言語コードフィールド(LC_present)は、有効言語コードを含んでいるかどうかを表す。例えば、仮に、このフィールドが1に設定されると、現在デスクリプタは、次のバイトにおいて有効な言語コードフィールド(Language_Code)を含む。
ミックスオーディオフィールド(Mixed_Audio)は、該当オーディオストリームが一般オーディオと補助オーディオとの予めミックスされたストリームを含むかどうかを表す。仮に、このフィールドが1に設定されると、該当オーディオストリームは、補助オーディオ種類フィールド(Suppl_Audio_Type)により表れるように、一般オーディオと補助オーディオとの予めミックスされたストリームを含む。
SATプレゼントフィールド(SAT_present)は、現在デスクリプタが有効な補助オーディオ種類フィールドを含むかどうかを表す。例えば、仮に、このフィールドが1に設定されると、現在デスクリプタは、次の4ビットにおいて有効な補助オーディオ種類フィールド(Suppl_Audio_Type)を含む。
SATプレゼントフィールド(SAT_present)は、現在デスクリプタが有効な補助オーディオ種類フィールドを含むかどうかを表す。例えば、仮に、このフィールドが1に設定されると、現在デスクリプタは、次の4ビットにおいて有効な補助オーディオ種類フィールド(Suppl_Audio_Type)を含む。
補助オーディオ種類フィールド(Suppl_Audio_Type)は、該当オーディオストリームのための補助オーディオの種類を表す。本発明の一実施の形態にかかる補助オーディオ種類フィールドの詳細な説明は、表16で提供される。このフィールドは、SATプレゼントフィールド(SAT_present)=1のときだけ有効で、それとも、シンク装置は、このフィールドを無視する。
言語コードフィールド(Language_Code)は、該当オーディオストリームのISO639で定義された言語コードを表す。このフィールドは、有効言語コードフィールド(LC_present)が1に設定されるときだけ有効で、それとも、シンク装置は、このフィールドを無視する。
Figure 2016515352
Figure 2016515352
Figure 2016515352
図9は、本発明の一実施の形態にかかるデータ送受信システム1000−2のブロック図である。
図9に示すように、本発明の他の実施の形態にかかるデータ送受信システム1000−2は、データ送信装置100−2及びデータ受信装置200−2を備える。
データ送信装置100−2は、オーディオメタデータパケットを生成してデータ受信装置200−2に送信する。オーディオメタデータパケットは、送信されるオーディオスペックに対して定義する。
前記オーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
本発明の実施の形態にかかるデータ送信装置100−2とデータ受信装置200−2の各構成については、以下で詳細に説明する。
図10は、本発明の他の実施の形態にかかるデータ送信装置100−2のブロック図である。
図10に示すように、本発明の他の実施の形態にかかるデータ送信装置100−2は、パケット生成部110、送信部120(例えば、送信機(transmitter))を備える。
パケット生成部110は、オーディオメタデータパケットを生成する。オーディオメタデータパケットは、送信されるオーディオスペックに対して定義する。
特に、前記生成されたオーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
送信部120は、前記生成されたオーディオメタデータパケットをデータ受信装置200−2に送信する。
このとき、前記画面分離情報フィールドは、画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことができる。
前記分離画面種類フィールドは、ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP画面をディスプレイする第3分離モード、及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを含むことができる。
前記生成されたオーディオメタデータパケットのヘッダ(header)は、送信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び送信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つをさらに含むことができる。
前記生成されたオーディオメタデータパケットのペイロード(payload)は、マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor Field)を含むことができる。
前記マルチオーディオデスクリプタフィールドは、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応する分離された画面情報を表す画面分離タグフィールド(Split Screen Tag Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応するビューを表す関連ビュー識別フィールド(Associated View ID Field)、前記マルチオーディオデスクリプタフィールドが有効な言語コードを含むかどうかを表す有効言語コードフィールド(Valid Language Code Field)、メインオーディオデータと補助オーディオデータとのプレミックス有無を表すミックスオーディオフィールド(mixed Audio Field)、前記マルチオーディオデスクリプタフィールドが有効な補助オーディオデータの種類に対する情報を含むかどうかを表すSATプレゼントフィールド(SAT Present Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのための補助オーディオデータ種類を表す補助オーディオ種類フィールド(Supplemental Audio Type Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのISO639と定義された言語コードを表す言語コードフィールド(Language Code Field)のうち、少なくとも一つを含むことができる。
図11は、本発明の他の実施の形態にかかるデータ受信装置200−2のブロック図である。
図11に示すように、本発明の他の実施の形態にかかるデータ受信装置200−2は、受信部210、パーシング部220(例、パーサー(parser))を備える。
受信部210は、データ送信装置100−2からオーディオメタデータパケットを受信する。オーディオメタデータパケットは、受信されるオーディオスペックに対して定義する。
特に、前記オーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
受信部210は、前記オーディオメタデータパケットをデータ送信装置100−2から受信する。
このとき、前記画面分離情報フィールドは、画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことができる。
前記分離画面種類フィールドは、ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP画面をディスプレイする第3分離モード、及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを含むことができる。
前記オーディオメタデータパケットのヘッダ(header)は、受信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び受信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つをさらに含むことができる。
前記オーディオメタデータパケットのペイロード(payload)は、マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor Field)を含むことができる。
前記マルチオーディオデスクリプタフィールドは、前記オーディオメタデータパケットが表すオーディオデータに対応する分離された画面情報を表す画面分離タグフィールド(Split Screen Tag Field)、前記オーディオメタデータパケットが表すオーディオデータに対応するビューを表す関連ビュー識別フィールド(Associated View ID Field)、前記マルチオーディオデスクリプタフィールドが有効な言語コードを含むかどうかを表す有効言語コードフィールド(ValidLanguage Code Field)、メインオーディオデータと補助オーディオデータとのプレミックス有無を表すミックスオーディオフィールド(mixed Audio Field)、前記マルチオーディオデスクリプタフィールドが有効な補助オーディオデータの種類に対する情報を含むかどうかを表すSATプレゼントフィールド(SAT Present Field)、前記オーディオメタデータパケットが表すオーディオデータのための補助オーディオデータ種類を表す補助オーディオ種類フィールド(Supplemental Audio Type Field)、前記オーディオメタデータパケットが表すオーディオデータのISO639で定義された言語コードを表す言語コードフィールド(Language Code Field)のうち、少なくとも一つを含むことができる。
アクティブマルチオーディオモードインジケーター
ソース装置は、シンク装置に送信される正確なビューモードを表すために、Vendor−Specific Infoframe(VSIF)を使用することができる。VSIFは、表17に示すように構造化される。
Figure 2016515352
MHLマルチビューフィールド(MHL_MULTI_VIEW)は、どんなマルチビューモードが送信されるかを表す。本発明の一実施の形態にかかるMHLマルチビューフィールドに対する詳細な説明は、表18に示される。
Figure 2016515352
ビデオ
3D支援のための3Dビデオデスクリプタ
Figure 2016515352
本発明の一実施の形態にかかる各々の支援される3Dビデオモードは、一つの3Dビデオデスクリプタで表される。
MV_SUPP:仮に、「1」に設定されると、装置は、マルチビュービデオストリーミングのための3Dビデオフォーマットを使用して支援する。
オーディオ
チャネル/スピーカー割り当て
MHLシンク装置が3Dオーディオを受信する能力がある場合に、表38から表40に説明された3Dチャネルスピーカー割り当てデスクリプタは、付着されたスピーカーの構成を示すために使用される。ソース装置から送信される3Dオーディオのための現在スピーカー割り当ての指標が3Dオーディオメタデータパケットの3D CAフィールドで扱われる。3D CAフィールドの詳細な説明は、表27から29を参考にする。
3Dオーディオデータパケット化(3D Audio Data Packetization)
3Dオーディオサンプルパケットの各サブパケットは、0または一つのIEC 60958フレームを含むことができる。仮に、ソース装置が3Dオーディオストリームをダウンミックスする必要があり、そのダウンミックスされたオーディオストリームらがまた3Dオーディオストリームであるとき、それらは、3Dオーディオサンプルパケットを使用して処理される。仮に、シンク装置が3Dオーディオ特徴を支援しない場合、ソース装置は、3Dオーディオメタデータパケットとともに3Dオーディオサンプルパケットを送信できない。
チャネルの数に依存して、他のサブパケットレイアウトの数が存在する。本発明の一つ以上の実施の形態によって、下記の表20から表22は、12、24、または32チャネルの各々を送信する時における3Dオーディオパケットレイアウトを示す。
Figure 2016515352
Figure 2016515352
Figure 2016515352
各々のサブパケットのための一つの、3Dオーディオサンプルパケットヘッダに4個のサンプルプレゼントビット(Sample_presentbit)がある。各々は、一つのサブパケットが一つの3Dオーディオサンプルを含むということを表す。付け加えて、サンプルにより代表される時間期間の間にソース装置で利用可能な有用なオーディオデータがない場合、設定される4個のサンプルフラット(sample_flat.spX)ビットがある。これは、サンプル比率の変化または一時的なストリーム妨害の間に発生できる。
続く3Dオーディオサンプルパケットは、L−PCMオーディオ(すなわち、5から16 IEC60958フレーム)の9から32個の間のチャネルを含む一つの3Dオーディオサンプルを処理するように使用されることができる。
3Dオーディオサンプルの第1番目のパケットは、8個のオーディオチャネルでぎっしり積まれており、0に設定されたシーケンス番号フィールドを有する。シーケンス番号は、同じ3Dオーディオサンプル内で各追加パケットに対して一つずつ増加する。最後のパケットは、3Dオーディオサンプルの全体チャネル数に依存する8個またはそれより少ないオーディオチャネル数を含む。
3Dオーディオサンプルパケットのためのただ5個の有効なサンプルプレゼント(sample_present)ビットがある。
Figure 2016515352
図10及び図11は、3Dオーディオ信号の送信タイミングを示す図である。
図10と図11は、水平ブランク区間(horizontal Blanking Interval)において3個の8チャネル2Dオーディオ信号サンプルを送信することを示す。24チャネルの3Dオーディオ信号は、同じ期間の間に一つのサンプルが送信される。
マルチオーディオデータパケット化
MHLは、MHLソース装置がシングル−AVストリーミングのためにオーディオストリームを同時に送信するようにする。多数のオーディオストリームは、シングルビューまたはマルチビュービデオストリーミング(例えば、ビュー当たりの他のオーディオを有するデュアルビューゲーミング)のうちの一つと関連する。補助オーディオモードは、画面分離タギング(すなわち、画面の他の部分がタグされ、それ自身のオーディオストリームと関連する)、言語コード、または視覚的/聴覚的障害者のためのオーディオを表すことができる。各々のオーディオストリームは、一つのビューモードと関連し、最大2個のオーディオチャネルを含む。
マルチストリームオーディオサンプルパケットの各々のサブパケットは、0または一つのIEC60958で定義されたIEC 60958またはIEC61937「ブロック」の「フレーム」を含むことができる。
送信されるための4個以上のオーディオストリームがあるとき、二つまたはそれ以上の連続するマルチオーディオサンプルパケットは、多数のオーディオストリームを送信するために使用される。パケット整列内の各パケットの順序は、シーケンス番号フィールドにより識別される。MHLソース装置は、シングルAVストリーム内で最大16個の独立オーディオストリームを同時に送信できる。
表24と表25は、本発明の一つ以上の実施の形態にかかるMHLソース装置がシングルビュービデオストリーミングで4個のオーディオストリームを送信するときにおいて、マルチオーディオサンプルパケットとマルチオーディオメタデータパケットレイアウトの例を示す。マルチオーディオメタデータパケットは、各々のオーディオストリームの特徴(補助情報、言語など)を説明する。
表26と表27は、MHLソース装置がデュアルビュービデオストリーミングで8個のオーディオストリームを送信するときにおいて、マルチオーディオサンプルパケットとマルチオーディオメタデータパケットレイアウトの例を示す。マルチオーディオメタデータパケットは、各々のオーディオストリームの特徴(関連ビュー、補助情報、言語など)を説明する。
表28と表29は、MHLソース装置がシングルビュービデオストリーミングを可能にする画面分離タギングオプションを有して6個のオーディオストリームを送信するときにおいて、マルチオーディオサンプルパケットとマルチオーディオメタデータパケットレイアウトの例を示す。
Figure 2016515352
Figure 2016515352
HIのためのオーディオ:聴覚的障害のためのオーディオストリーム
VIのためのオーディオ:視覚的障害のためのオーディオストリーム

Figure 2016515352
Figure 2016515352
HIのためのオーディオ:聴覚的障害のためのオーディオストリーム
VIのためのオーディオ:視覚的障害のためのオーディオストリーム
Figure 2016515352
Figure 2016515352
HIのためのオーディオ:聴覚的障害のためのオーディオストリーム
VIのためのオーディオ:視覚的障害のためのオーディオストリーム
3Dオーディオメタデータパケット化
アクティブ3Dオーディオストリームが送信されるごとに、正確な3Dオーディオメタデータパケットが少なくとも二つのビデオフィールド当たりの一回送信される。
新しい3Dオーディオストリームが始まる際、または3Dオーディオメタデータパケットとオーディオインフォフレームにより表すことのできる3Dオーディオストリームに変化がある際、修正された正確な3Dオーディオメタデータパケットは、初めて影響を受けたノンサイレント(non−silent)オーディオサンプルに従う一つのビデオフレームの以前に送信される。優先的に、これは、初めて影響を受けたオーディオサンプルが送信される直前に発生する。
3Dオーディオメタデータパケット送信は、水平的垂直的ブラキング区間を含むデータプラットホーム区間以内でいつでも発生できる。
3Dオーディオがストリーミングされるとき、MHLシンク装置は、オーディオインフォフレームでCCとCAフィールドを無視し、その代りに3Dオーディオメタデータパケットで3D_CCと3D_CAを参考にする。
マルチオーディオメタデータパケット化
アクティブマルチ−オーディオストリームが送信されるごとに、正確なマルチ−オーディオメタデータパケットが少なくとも二つビデオフィールド当たりの一回送信される。
新しいマルチ−オーディオストリームが始まるとき、またはマルチ−オーディオメタデータパケットとオーディオインフォフレームにより表すことのできるマルチ−オーディオストリームに変化があるとき、修正された正確なマルチ−オーディオメタデータパケットは、初めて影響を受けたノンサイレント(non−silent)オーディオサンプルに従う一つのビデオフレームの以前に送信される。優先的に、これは、初めて影響を受けたオーディオサンプルが送信される直前に発生する。
マルチ−オーディオメタデータパケット送信は、水平的垂直的ブラキング区間を含むデータプラットホーム区間以内でいつでも発生できる。
3D/マルチ−オーディオ支援のためのWRITE_BURST使用
本発明の一つ以上の実施の形態にかかる3Dオーディオモードに対する支援は、表31と表37に示したように、フォーマットされた一連のWRITE_BURST移動を使用して示す。
Figure 2016515352
Figure 2016515352
Figure 2016515352
Figure 2016515352
Figure 2016515352
Figure 2016515352
Figure 2016515352
Figure 2016515352
太い文字は、10.2チャネルと関連した指定スピーカーを表す。
Figure 2016515352
太い文字は、22.2チャネルと関連した指定スピーカーを表す。
Figure 2016515352
太い文字は、30.2チャネルと関連した指定スピーカーを表す
Figure 2016515352
リンク制御バス(Link Control Bus)
デバイスレジスタ変更割込み(Device Register Change Interrupt)
Figure 2016515352
3D_AUD_REQは、MHLシンク装置から3Dオーディオ支援情報を要請するために、MHLソース装置により使用される。
Burst_ID Code
Figure 2016515352
3D_ADと3D_CSADは、オーディオ延長の支援を表すのにおいて、MHLシンク装置により使用される。MHLスペック7.XXを参照。
制御と構成(Control and Configuration)
拡張されたデバイス性能レジスタ(Extended Device Capability Register)
シンク装置は、ソース装置に拡張されたデバイス性能レジスタを提供できる。換言すれば、ソース装置は、シンク装置の拡張されたデバイス性能レジスタを読み出すことができる。
下記の表のように、MHLスペックで拡張されたデバイス性能レジスタのアドレス0x85をシンク装置が支援するマルチオーディオモードを表すのに使用することができる。
Figure 2016515352
マルチオーディオモード(Multi−Audio Mode)
各シンク装置は、支援する特定マルチオーディオモードを登録するマルチオーディオモード(MULTI_AUD_MODE)に表示できる。
マルチオーディオモードレジスタは、シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含む。
Figure 2016515352
装置がマルチビュービデオストリーミングを支援する能力がない場合、このフィールドは0に設定される
図14は、本発明の他の実施の形態にかかるデータ送受信システム1000−3のブロック図を示す図である。
図14に示すように、本発明の実施の形態にかかるデータ送受信システム1000−3は、データ送信装置100−3とデータ受信装置200−3を備える。
前記データ送信装置100−3は、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を前記データ受信装置200−3に送信する。
図15は、本発明の実施の形態にかかるデータ送信装置100−3の構成を示すブロック図である。
図15に示すように、本発明の実施の形態にかかるデータ送信装置100−3は、生成部130と、送信部120を備える。
生成部130は、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を生成する。
前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含むことができる。
送信部120は、データ受信装置200−3に前記デバイス性能情報ブロック(Device Capability Information Block)を送信する。
図16は、本発明のさらに他の実施の形態にかかるデータ受信装置200−3の構成を示すブロック図である。
図16に示すように、本発明の一実施の形態にかかるデータ受信装置200−3は、受信部210と分析部230(例、分析機(analyzer))を備える。
受信部210は、前記データ送信装置100−3からデバイス性能情報ブロックを受信する。
分析部230は、受信されたデバイス性能情報ブロックを分析する。
前記デバイス性能情報ブロック(Device Capability Information Block)は、オーディオデータに関してシンク装置により支援される特徴情報を含む。具体的に、前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含むことができる。
マルチストリームオーディオ
以下、本発明の多様な実施の形態にかかるマルチストリームオーディオを説明する。以下で説明するマルチストリームオーディオ送信スペックは、HDMI、MHLを含む多様な有無線送信インタフェースで採用されることができる。
本発明の一実施の形態にかかるソース装置は、同時に4個のオーディオストリームを送信できる。マルチストリームオーディオサンプルパケット(Multi−stream Audio Sample Packet)に対してすべてのオーディオストリームは、一つのオーディオインフォフレーム(Infoframe)を共有する。
本発明の多様な実施の形態にかかる有線インタフェースは、シングルビュービデオストリーミングに対する支援(例えば、多数の言語(multi−lingual)を支援するか、または視覚/聴覚障害者のためのオーディオ等)を追加できる。これは、オーディオメタデータパケット(Audio Metadata Packet)を修正するか、またはHDMIオーディオデータブロック(HDMI Audio Data Block)を修正して可能である。
例えば、下記の表45のように、マルチストリームオーディオは、多数の言語を支援し、オーディオは、2チャネルで支援されることができる。
Figure 2016515352
シナリオ
図17は、本発明の一実施の形態にかかるマルチストリームオーディオサンプルパケットのシナリオを示す。
4個のサブパケットを有するマルチストリームオーディオサンプルパケットの場合、次のシナリオが存在できる。1)シングルビューのためのオーディオデスクリプション(audio description)と共にシングルTVプログラムが送信される場合、ストリーム0は、ノーマル(normal)オーディオ信号を含み、ストリーム1は、視覚障害者のためのオーディオデスクリプション信号を含むことができる。
2)前記シングルビューで2個国語を支援する場合、支援される言語からなるオーディオ信号ストリーム2個と、各々に対応するオーディオデスクリプションが共に送信される。例えば、英語と韓国語とが支援される場合、ストリーム0は、韓国語ノーマルオーディオ信号、ストリーム1は、視覚障害者のための韓国語オーディオデスクリプション信号、ストリーム2は、英語ノーマルオーディオ信号、ストリーム3は、視覚障害者のための英語オーディオデスクリプション信号をそれぞれ含むことができる。
3)シングルビューで一つの言語からなるオーディオ信号ストリームの一つとこれに対する異なる言語で支援される視覚障害者のためのオーディオデスクリプション信号が二つ送信されることもできる。例えば、ストリーム0は、韓国語または英語ノーマルオーディオ信号、ストリーム1は、視覚障害者のための韓国語オーディオデスクリプション信号、ストリーム2は、視覚障害者のための英語オーディオデスクリプション信号をそれぞれ含むことができる。
4)ソース装置がマルチビューのためのオーディオ信号を送信することもできる。デュアルビューが支援される場合、最も基本的な形態は、各ビューに対するオーディオ信号を一つの送信ストリームで送信することである。デュアルビューの場合、独立的な第1ビューと第2ビューを含み、各ビューは、独立的なコンテンツを提供する。
5)各ビューに対して2個国語が支援されることができる。この場合、第1ビューに対する第1言語からなるオーディオ信号ストリーム、第1ビューに対する第2言語からなるオーディオ信号ストリーム、第2ビューに対する第1言語からなるオーディオ信号ストリーム、第2ビューに対する第2言語からなるオーディオ信号ストリームがそれぞれ送信されることができる。例えば、英語と韓国語とが支援される場合、ストリーム0は、第1ビューに対する韓国語オーディオ信号、ストリーム1は、第1ビューに対する英語オーディオ信号、ストリーム2は、第2ビューに対する韓国語オーディオ信号、ストリーム3は、第2ビューに対する英語オーディオ信号を含むことができる。
6)デュアルビューの場合、何れか一つのビューは、視覚障害者のためのオーディオデスクリプション信号をさらに送信できる。すなわち、第1ビューに対するオーディオ信号ストリーム、第2ビューに対するノーマルオーディオ信号ストリーム、第2ビューに対する視覚障害者のためのオーディオデスクリプション信号ストリームが各々送信されることができる。例えば、ストリーム0は、第1ビューに対するオーディオ信号、ストリーム1は、第2ビューに対するオーディオ信号、ストリーム3は、第2ビューに対するオーディオデスクリプション信号を含むことができる。
7)一つのストリームは、共通オーディオ信号を送信するのに使用することもできる。すなわち、第1ビューと第2ビューに対する共通オーディオ信号ストリーム、第1ビュー専用オーディオストリーム、第2ビュー専用オーディオストリームがそれぞれ送信されることができる。この場合、受信端では、共通オーディオストリームと専用オーディオストリームをマルチプレックス(Muxing)して出力する。このようなシナリオは、ゲームの場合に適用されることができる。例えば、ストリーム0は、第1ビューと第2ビューに対する共通オーディオ信号(例えば、背景音響、進行案内ボイス等)、ストリーム1は、第1ビューに対する専用オーディオ信号、ストリーム2は、第2ビューに対する専用オーディオ信号を含むことができる。
図5を再度参照すれば、本発明の一実施の形態にかかるデータ送受信システム1000−1は、データ送信装置100−1とデータ受信装置200−1を備える。
前記データ送信装置100−1は、第1サブパケット及び第2サブパケット含むパケットをデータ受信装置200−1に送信する。
前記データ受信装置200−1は、第1サブパケット及び第2サブパケット含むパケットをデータ送信装置100−1から受信することができる。
このとき、第1サブパケット及び第2サブパケットは、第1番目のコンテンツに対して相異なるオーディオデータを含む。
以下、本発明の一つ以上の実施の形態にかかるデータ送信装置100−1とデータ受信装置200−1の構成をさらに詳細に説明する。
図6を再度参照すれば、本発明の一実施の形態にかかるデータ送信装置100−1は、パケット生成部110と送信部120を備える。
前記パケット生成部110は、第1サブパケットと第2サブパケットを含むパケットを生成できる。このとき、第1サブパケットと第2サブパケットは、第1番目のコンテンツに対して互いに異なるオーディオデータを含む。
前記送信部120は、前記生成されたパケットを前記受信装置200−1に送信する。このとき、第1サブパケットは、非障害者のためのオーディオデータを含むことができ、第2サブパケットは、視覚障害者のためのオーディオデータを含むことができる。
第1サブパケットと第2サブパケットは、他の言語のオーディオデータを含むことができる。
第1サブパケットは、第2サブパケットに対してオーディオ説明に該当するオーディオデータを含むことができる。
前記パケットは、第1番目のコンテンツと異なる第2番目のコンテンツに対してオーディオデータを含む第3サブパケットをさらに含むことができる。
このとき、第1サブパケットに含まれている前記オーディオデータは、第1番目のコンテンツのための独占オーディオデータでありえ、第3サブパケットに含まれている前記オーディオデータは、第2番目のコンテンツのための独占オーディオデータでありえ、第2サブパケットに含まれている前記オーディオデータは、第1番目のコンテンツ及び第2番目のコンテンツに対して共通(common)オーディオデータでありうる。
また、前記パケットは、第2番目のコンテンツに対してオーディオデータを含む第4サブパケットをさらに含むことができ、第3サブパケットと第4サブパケットは、互いに異なるオーディオデータを含むことができる。
図7を再度参照すれば、本発明の一実施の形態にかかる前記データ受信装置200−1は、受信部210とパーシング部220とを備える。
前記受信部210は、第1サブパケットと第2サブパケットを含むパケットを前記データ送信装置100−1から受信することができる。このとき、第1サブパケットと第2サブパケットは、第1番目のコンテンツに対して異なるオーディオデータを含むことができる。
前記パーシング部220は、前記受信された第1サブパケットと前記受信された第2サブパケットをパーシングするための要素である。
第1サブパケットと第2サブパケットは、異なる言語のオーディオデータを含むことができる。
上で上述したことと異なり、第1サブパケットは、第2サブパケットに対してオーディオデスクリプションに対応するオーディオデータを含むことができる。
前記パケットは、第1番目のコンテンツと異なる第2番目のコンテンツに対してオーディオデータを含む第3サブパケットをさらに含むことができる。
このとき、前記第1サブパケットに含まれた前記オーディオデータは、第1番目のコンテンツのための独占的オーディオデータでありえ、第3サブパケットに含まれたオーディオデータは、第2番目のコンテンツのための独占的オーディオデータでありえ、第2サブパケットに含まれているオーディオデータは、第1番目及び第2番目のコンテンツに対して共通のオーディオデータでありうる。
また、前記パケットは、第2番目のコンテンツに対してオーディオデータを含む第4サブパケットを含むことができ、第3サブパケットと第4サブパケットは、異なるオーディオデータを含むことができる。
オーディオメタデータパケット
本発明の一実施の形態にかかるソース装置は、オーディオメタデータパケットをシンク装置に送信して、送信されるオーディオスペックを知らせる。このとき、オーディオメタデータパケットのヘッダは、下記のような構造を有する。
Figure 2016515352
各フィールドを説明すれば、次の通りである。
3Dオーディオフィールド(3D_AUDIO)[1bit]:3D_AUDIO=1であると、オーディオメタデータパケット(Audio Metadata Packet)は、3Dオーディオチャネルカウント(3D Audio Channel count:3D_CCフィールド。下記の表を参照)とチャネル/スピーカー割り当て情報(ACAST:Audio Channel Allocation Standard Type)フィールド(下記の表を参照)を含む。ソースが3Dオーディオパケットを送信するとき、このようなフィールドは、1に設定される。
ビュー個数フィールド(NUM_VIEWS)[2bits]は、ビューの個数を表す。NUM_VIEWS=00であると、シングルビュービデオストリーミングが支援される。NUM_VIEWS=01であると、デュアルビュービデオストリーミングが支援される。このモードは、VSIFでの3D_DualView=1の場合のみに許容される。残りのNUM_VIEWS値に対しては、未来の使用のためにリザーブされている。
オーディオストリーム個数フィールド(NUM_AUDIO_STR)[2bits]:オーディオストリームの個数−1を表す。NUM_AUDIO_STR=01、10、または11の場合、オーディオメタデータパケット(Audio Metadata Packet)は、最大4個までオーディオメタデータデスクリプタ(audio metadata descriptor)を含み、各々は、オーディオストリームに対応する。
Figure 2016515352
下記の表は、3Dオーディオのためのオーディオメタデータパケットのペイロードを表す。3D_Audio=1の場合、メタデータパケットペイロードは、以下の構造を有する。
Figure 2016515352
すなわち、3D_CCフィールドは、3Dオーディオチャネルカウント情報を表し、ACASTフィールドは、ソースにより提供されるオーディオチャネル割り当て標準タイプ(ACAST)を表す。
表49は、3D_CC値に応じるオーディオチャネルを示しており、表52は、ACASTフィールド値に応じるオーディオチャネル割り当て標準タイプを示す。
Figure 2016515352
Figure 2016515352
下記の表は、マルチストリームオーディオのためのオーディオメタデータパケットのペイロードを示す。3D_Audio=0の場合、メタデータパケットペイロードは、下記の構造を有する。
Figure 2016515352
前記表51に示すように、オーディオメタデータパケットのペイロードは、それぞれ5バイトのオーディオメタデータデスクリプタ(Audio_Metadata_Descriptor)を含む。オーディオメタデータデスクリプタ(4フィールド、各5バイト)は、マルチストリームオーディオサンプルパケット(Multi−stream Audio Sample Packet)においてサブパケットXに対したオーディオメタデータまたはマルチストリームワンビットオーディオサンプルパケット(Multi−stream One Bit Audio Sample Packet)においてサブパケットXに対したオーディオメタデータを表現する。本発明の一実施の形態にかかるオーディオメタデータデスクリプタの構造は、下記で説明される。
Figure 2016515352
各フィールドを説明すれば、以下のとおりである。
緊急チャネルフィールド(Emergency_Channel)[1bit]:Emergency_Channel=1であると、対応するオーディオストリームは、緊急警告オーディオデータを送信する。受信装置は、スクリプトなどを介して緊急放送があることを知らせることができ、ユーザは、オーディオ選択を介して受信した緊急警告オーディオ信号を出力させることができる。
マルチビューフィールド(左側)(Multiview_Left)[1bit]:Multiview_Left=1であると、対応するオーディオストリームが3Dビデオフォーマットにおいて左側立体映像にマッピングされる。万が一、Multiview_Left=0であると、このフィールドは、NUM_VIEWS=01の場合のみに有効である。
マルチビューフィールド(右側)(Multiview_Right[1bit]:Multiview_Right=1であると、対応するオーディオストリームが3Dビデオフォーマットにおいて右側の立体映像にマッピングされる。万が一、Multiview_Right=0であると、このフィールドは、NUM_VIEWS=01の場合のみに有効である。
言語コード有効フィールド(LC_Valid)[1bit]:LC_Valid=1であると、言語コード(Language_Code)が有効で、対応するオーディオストリームの言語を正確に識別する。それとも、対応するオーディオストリームの言語は、明示されないことになる。
補助オーディオ有効フィールド(Suppl_A_Valid)[1bit]:Suppl_A_Valid=1であると、対応するオーディオストリームは、Suppl_A_Typeにより現れた補助オーディオトラック(supplemental audio track)を含む。
プレミックス補助オーディオフィールド(Suppl_A_Mixed[1bit]:Suppl_A_Mixed=1であると、対応するオーディオストリームは、メインオーディオコンポーネントとSuppl_A_Typeにより現れたプレミックス補助オーディオトラック(pre−mixed supplemental audio track)を含むことができる。このビットは、Suppl_A_Valid=1の場合のみに有効である。
補助オーディオタイプフィールド(Suppl_A_Type)[3bits]は、下記の表55で定義された補助オーディオタイプを表す。このフィールドは、Suppl_A_Valid=1の場合のみに有効である。表53は、補助オーディオタイプフィールド値のデスクリプションを示す。
言語コード(Language_Code)[3Bytes]は、対応するオーディオストリームの言語を識別する。言語コードは、ISO639によって定義される。また、3キャラクターコードが位置し、最後のキャラクターコードは、オーディオメタデータデスクリプタX(Audio_Metadata_Descriptor_X)の最後のバイトと一致する。このフィールドは、LC_Valid=1の場合のみに有効である。
Figure 2016515352
図9を再度参照すれば、本発明の他の実施の形態にかかるデータ送受信システム1000−2は、データ送信装置100−2とデータ受信装置200−2とを備える。
前記データ送信装置100−2は、オーディオメタデータパケットを生成してデータ受信装置200−2に送信する。
前記データ受信装置200−2は、データ送信装置100−2からオーディオメタデータパケットを受信する。
このとき、オーディオメタデータパケットのヘッダは、3Dオーディオサンプルパケットが送信されたどうかを表す3Dオーディオフィールドを含む。
以下、前記データ送信装置100−2と前記データ受信装置200−2の構成、及びオーディオメタデータパケットの構成をさらに詳細に説明する。
図10を再度参照すれば、本発明の他の実施の形態にかかるデータ送信装置100−2は、パケット生成部110及び送信部120を備える。
前記パケット生成部110は、オーディオメタデータパケットを生成する。前記生成されたオーディオメタデータパケットのヘッダは、3Dオーディオサンプルパケットの送信有無を表す3Dオーディオフィールドを含むことができる。
前記送信部120は、前記生成されたオーディオメタデータパケットをデータ受信装置200−2に送信する。
また、前記生成されたオーディオメタデータパケットのヘッダは、オーディオストリーム個数情報(number information)を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)をさらに含むことができる。
また、前記生成されたオーディオメタデータパケットのヘッダは、送信される相異なるコンテンツの個数情報を表すビュー個数フィールド(Number Of Views Field)をさらに含むことができる。
前記生成されたオーディオメタデータパケットのペイロードは、マルチストリームオーディオサンプルパケットまたはマルチストリームワンビットオーディオサンプルパケットに関してメタデータを表すオーディオメタデータデスクリプタフィールドを含むことができる。
また、前記オーディオメタデータデスクリプタフィールドは、緊急放送があるかどうかを表す緊急チャネルフィールド、マルチビューにおいて左眼のイメージまたは右眼のイメージに対応するオーディオデータが含まれているかどうかを表すマルチビューフィールド、オーディオデータの言語が識別されているかどうかを表す言語コード有効フィールド、補助オーディオデータの有無を表す補助言語有効フィールド、メインオーディオデータと前記補助オーディオデータとのプレミックス有無を表すプレミックス補助オーディオフィールド、補助オーディオデータのタイプを表す補助オーディオタイプフィールド、及びオーディオデータの言語コードを表す言語コードフィールドのうち、少なくとも一つを含むことができる。
図11を再度参照すれば、本発明の他の実施の形態にかかるデータ受信装置200−2は、受信部210及びとパーシング部220を備える。
前記受信部210は、データ送信装置9100−2からオーディオメタデータパケットを受信するための要素である。前記オーディオメタデータパケットのヘッダは、3Dオーディオサンプルパケットが送信されたかどうかを表す3Dオーディオフィールドを含む。
前記パーシング部220は、受信されるオーディオメタデータパケットをパーシングするための要素である。
また、前記オーディオメタデータパケットのヘッダは、受信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number of Audio Stream Field)をさらに含むことができる。
前記オーディオメタデータパケットのヘッダは、受信される他のコンテンツの個数情報を表すビュー個数フィールド(Number of Views Field)をさらに含むことができる。
前記オーディオメタデータパケットのペイロードは、マルチストリームオーディオパケットまたはマルチストリームワンビットオーディオサンプルパケットのサブパケットに関するメタデータを表すオーディオメタデータデスクリプタフィールドを含むことができる。
このとき、オーディオメタデータデスクリプタフィールドは、緊急放送の有無を表す緊急チャネルフィールド、マルチビューに左眼のイメージまたは右眼のイメージに対応するオーディオデータが含まれているかどうかを表すマルチビューフィールド、オーディオデータの言語が識別されているかどうかを表す言語コード有効フィールド、補助オーディオデータの有無を表す補助言語有効フィールド、メインオーディオデータと補助オーディオデータとがプレミックスされているかどうかを表すプレミックス補助オーディオフィールド、補助オーディオデータタイプを表す補助オーディオタイプフィールド、及びオーディオデータの言語コードを表す言語コードフィールドのうち、少なくとも一つを含むことができる。
オーディオデータブロック
下記の表54は、本発明の一実施の形態にかかるEDID(Extended Display Identification Data)のオーディオデータブロックを示す。表54において3−4バイトに関する部分は、下記の表57で再定義する。
また、マルチストリームオーディオのための新しい短縮オーディオデスクリプタ(Short Audio Descriptor:SAD)は削除され、その代りにEDIDで定義されたノーマル(normal)SADが使用される。追加された内容によれば、2個のチャネルまで送信されることができる。
Figure 2016515352
下記の表は、前記オーディオデータブロックの3−4バイトを取り替えるブロック構成を示す。
Figure 2016515352
各フィールドを説明すれば、次の通りである。
緊急チャネルフィールド(Supports_MS_Emergency[1bit]:Supports_MS_Emergency=1であると、シンク装置は、緊急警告オーディオチャネルを受信し、処理することを支援する。Supports_MS_Emergency=0であると、シンク装置は、このような特徴を支援しない。
オーディオミックスフィールド(Supports_MS_Mix)[1bit]:Supports_MS_Mix=1であると、シンク装置は、メインオーディオと補助オーディオ(supplementary audio)とを合成することを支援する。Supports_MS_Mix=0であるとシンク装置は、このような合成を支援しなくて、ミックスされたオーディオを再生することだけを支援する。
補助オーディオ支援フィールド(Supports_MS_Supple)[1bit]:Supports_MS_Supple=1であると、シンク装置は、視覚/聴覚障害者のための補助オーディオトラックを有するマルチストリームオーディオを支援する。Supports_MS_Supple=0であると、何も表さないか、またはシンク装置が視覚/聴覚障害者のための補助オーディオトラックを支援しないことを表す。
言語支援フィールド(Supports_MS_Lang)[1bit]:Supports_MS_Lang=1であると、シンク装置は、多数の言語オーディオストリームを有するマルチストリームオーディオを支援する。Supports_MS_Lang=0であると、何も表さないか、またはシンク装置が多数の言語オーディオストリームを支援しないことを表す。
マルチビューオーディオ支援フィールド(Supports_MS_MultiView)[1bit]:Supports_MS_MultiView=1であると、シンク装置は、マルチビュービデオストリーミングのためのマルチストリームオーディオを支援する。Supports_MS_MultiView=0であると、何も表さないか、またはシンク装置がマルチビュービデオストリーミングのためのマルチストリームオーディオを支援しないことを表す。
最大ストリームカウントフィールド(Max_Stream_Count−1[2bits]:シンク装置がハンドリングできる最大オーディオストリームの個数を表す。Max_Stream_Count−1値が下記の表に示される。
オーディオデスクリプタ個数フィールド(NUM_HDMI_3D_AD)[3bits]:3Dオーディオスクリプターの個数を表す。
Figure 2016515352
図12を再度参照すれば、本発明の他の実施の形態にかかるデータ送受信システム1000−3は、データ送信装置100−3及びデータ受信装置200−3を備える。
前記データ送信装置100−3は、オーディオデータに対してシンク装置により支援される特定情報を含むディスプレイ識別情報を生成してデータ受信装置200−3に送信する。
前記データ受信装置200−3は、データ送信装置100−3からディスプレイ識別情報を受信して分析する。このとき、ディスプレイ識別情報は、シンク装置により支援されるメインオーディオ及び補助オーディオの特徴情報を表すメイン/補助オーディオプロパティ(audio properties)フィールドを含む。
以下、前記データ送信装置100−3と前記データ受信装置200−3は、さらに具体的に説明される。
図13を再度参照すれば、本発明のさらに他の実施の形態にかかるデータ送信装置100−3は、生成部130及び送信部120を備える。
前記生成部130は、オーディオデータに対してシンク装置により支援される特徴情報を含むディスプレイ識別情報を生成するための要素である。
前記送信部120は、前記ディスプレイ識別情報をデータ受信装置200−3に送信する。
このとき、前記ディスプレイ識別情報は、シンク装置により支援されるメインオーディオ及び補助オーディオの特徴情報を表すメイン/補助オーディオプロパティ(audio properties)フィールドを含む。
このとき、前記メイン/オーディオプロパティフィールドは、前記シンク装置がメインオーディオと補助オーディオの構成を支援するかどうかを表すオーディオミックスフィールド、前記シンク装置の補助オーディオ支援有無を表す補助オーディオ支援フィールド、前記シンク装置の複数の言語からなるオーディオデータ支援有無を表す言語支援フィールド、前記シンク装置がマルチビューコンテンツのためのマルチストリームオーディオデータを支援しているかどうかを表すマルチビューオーディオ支援フィールド、シンク装置によりハンドリングされる最大オーディオストリームの個数を表す最大ストリームカウントフィールド、及び3Dオーディオデスクリプタの個数を表すオーディオデスクリプタ個数フィールドのうち、少なくとも一つを含む。
前記ディスプレイ識別情報は、前記シンク装置が緊急放送の受信及び処理を支援しているかどうかを表す緊急チャネルフィールドをさらに含むことができる。
図14に示すように、本発明のさらに他の実施の形態にかかるデータ送信装置100−3は、受信部210及び分析部230を備える。
前記受信部210は、前記データ送信装置100−3からオーディオデータに対してシンク装置により支援される特徴情報を含むディスプレイ識別情報を受信するための要素である。
前記分析部230は、受信されるディスプレイ識別情報を分析する。
このとき、前記ディスプレイ識別情報は、前記シンク装置により支援されるメインオーディオ及び補助オーディオの特徴情報を表すメイン/補助オーディオプロパティフィールドを含む。
このとき、前記メイン/オーディオプロパティフィールドは、前記シンク装置がメインオーディオと補助オーディオとの構成を支援するかどうかを表すオーディオミックスフィールド、前記シンク装置が補助オーディオを支援するかどうかを表す補助オーディオ支援フィールド、前記シンク装置の複数の言語からなるオーディオデータを支援するかどうかを表す言語支援フィールド(Language Support Field)、前記シンク装置がマルチビューコンテンツのためのマルチストリームオーディオデータを支援するかどうかを表すマルチビューオーディオ支援フィールド、シンク装置によりハンドリングされる最大オーディオストリームの個数を表す最大ストリームカウントフィールド、及び3Dオーディオデスクリプタの個数を表すオーディオデスクリプタ個数フィールドのうち、少なくとも一つを含む。
前記ディスプレイ識別情報は、前記シンク装置の緊急放送受信及び処理を支援するかどうかを表す緊急チャネルフィールドをさらに含むことができる。
一方、本発明の多様な実施の形態にかかる有線インタフェースは、クアッドビューコンテンツ送信を支援できる。クアッドビュー送信のためにHDMI有線インタフェース規格の3Dビデオフォーマット規格を活用できる。
図18Aないし図18Cは、本発明の一つ以上の実施の形態にかかるクアッドビュービデオコンテンツを3Dインターレースフォーマットで送信する場合、多様なデータ送信フォーマットを示す図である。
この場合、ベンダー特定インフォフレーム(Vendor−Specific Infoframe)とベンダー特定データブロック(Vendor−specific Data Block)を修正できる。具体的に従来の3Dデュアルビューを定義するフィールドをリザーブ領域まで拡張する。
Figure 2016515352
Figure 2016515352
Figure 2016515352
以下、本発明の多様な実施の形態にかかるデータ送信方法及び受信方法を説明する。
図19は、本発明の一実施の形態にかかるデータ送信方法のフローチャートであり、図20は、本発明の一実施の形態にかかるデータ受信方法のフローチャートである。
図19に示すように、本発明の一実施の形態にかかるデータ送信方法は、オーディオメタデータパケットを生成するステップ(オペレイションS1710)と、前記生成されたオーディオメタデータパケットをデータ受信装置に送信するステップ(オペレイションS1720)とを含む。このとき、前記生成されたオーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
また、前記画面分離情報フィールドは、画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことができる。
また、前記分離画面種類フィールドは、ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP画面をディスプレイする第3分離モード、及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを含むことができる。
前記生成されたオーディオメタデータパケットのヘッダ(header)は、送信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び送信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つを含むことができる。
前記生成されたオーディオメタデータパケットのペイロード(payload)は、マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor Field)を含むことができる。
前記マルチオーディオデスクリプタは、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応する分離された画面情報を表す画面分離タグフィールド(Split Screen Tag Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応するビューを表す関連ビュー識別フィールド(Associated View ID Field)、前記マルチオーディオデスクリプタフィールドが有効な言語コードを含むかどうかを表す有効言語コードフィールド(Valid Language Code Field)、メインオーディオデータと補助オーディオデータとのプレミックス有無を表すミックスオーディオフィールド(mixed Audio Field)、前記マルチオーディオデスクリプタフィールドが有効な補助オーディオデータの種類に対する情報を含むかどうかを表すSATプレゼントフィールド(SAT Present Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのための補助オーディオデータ種類を表す補助オーディオ種類フィールド(Supplemental Audio Type Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのISO639で定義された言語コードを表す言語コードフィールド(Language Code Field)のうち、少なくとも一つを含むことができる。
図20に示すように、本発明の一実施の形態にかかるデータ受信方法は、データ送信装置からオーディオメタデータパケットを受信するステップ(オペレイションS1810)、前記受信されたオーディオメタデータパケットをパーシングするステップ(オペレイションS1820)を含む。このとき、前記受信されたオーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split ScreenInformation Field)を含む。
また、前記画面分離情報フィールドは、画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことができる。
前記分離画面種類フィールドは、ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP画面をディスプレイする第3分離モード、及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを表すことができる。
前記生成されたオーディオメタデータパケットのヘッダ(header)は、送信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び送信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つをさらに含むことができる。
前記生成されたオーディオメタデータパケットのペイロード(payload)は、マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor Field)を含むことができる。
図21は、本発明の他の実施の形態にかかるデータ送信方法のフローチャートであり、図22は、本発明の他の実施の形態にかかるデータ受信方法のフローチャートである。
図21に示すように、本発明の他の実施の形態にかかるデータ送信方法は、マルチオーディオストリームに対する複数のサブパケットを含むパケットを生成するステップ(オペレイションS1910)と前記生成されたパケットをデータ受信装置に送信するステップ(オペレイションS1920)とを含む。このとき、前記生成されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
図22に示すように、本発明の他の実施の形態にかかるデータ受信方法は、マルチオーディオストリームに対する複数のサブパケットを含むパケットを受信するステップ(オペレイションS2010)と、前記受信されたパケットをパーシングするステップ(オペレイションS2020)とを含む。このとき、前記受信されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
図23は、本発明のさらに他の実施の形態にかかるデータ送信方法のフローチャートであり、図24は、本発明のさらに他の実施の形態にかかるデータ受信方法のフローチャートである。
図23に示すように、本発明のさらに他の実施の形態にかかるデータ送信方法は、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を生成するステップ(オペレイションS2110)と、データ受信装置に前記デバイス性能情報ブロックを送信するステップ(オペレイションS2120)を含む。このとき、前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含む。
図24に示すように、本発明のさらに他の実施の形態にかかるデータ受信方法は、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を受信するステップ(オペレイションS2210)と、前記受信されたデバイス性能情報ブロックを分析するステップ(オペレイションS2220)とを含む。このとき、前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含む。
これに限定されるものではないが、本発明の一実施の形態は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現化することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによりその後に読み取りできる任意のデータ格納装置(storage device)である。コンピュータで読み取り可能媒体の例は、読み取り専用記憶装置(ROM)、任意抽出記憶装置(RAM)、CD−ROM、マグネチックテープ、フロッピー(登録商標)ディスク、及び光学データ格納装置を備える。コンピュータで読み取り可能な記録媒体は、またネットワークで接続したコンピュータシステムに分散できるから、コンピュータで読み取り可能なコードが分散された方式で格納され実行される。また、本発明の一実施の形態は、搬送波などのようなコンピュータで読み取り可能な送信媒体を介して送信されるコンピュータプログラムとして書かれる(written)ことができ、プログラムを実行する汎用または特殊目的用ディジタルコンピューターで記録され具現化されることができる。さらに、本発明の実施の形態において、上で説明した装置及びシステムの一つ以上の部(units)または要素(elements)は、回路(circuitry)、プロセッサ(processor)、マイクロプロセッサーなどを含むことができる。例えば、コンピュータプログラムは、前記で説明した方法に対応する一つ以上のアルゴリズムを含むことができる。
但し、前述した実施の形態及び長所は、例示に過ぎず、本発明の概念(concept)は、上述した特定の実施の形態に限定されない。本教示は、他の種類の装置にも手軽に適用されることができる。また、本発明の概念に対する実施の形態の説明は、例示のためのものであり、請求の範囲に限って制限されずに、多くの代案、修正及び変形は本発明が属する技術分野における通常の知識を有した者にとって明らかであるはずである。

Claims (14)

  1. データ送信装置であって、
    オーディオメタデータパケットを生成するパケット生成部と、
    前記生成されたオーディオメタデータパケットをデータ受信装置に送信する送信部とを備え、
    前記生成されたオーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含むデータ送信装置。
  2. 前記画面分離情報フィールドは、
    画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことを特徴とする請求項1に記載のデータ送信装置。
  3. 前記分離画面種類フィールドは、
    ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP(Picture in Picture)画面をディスプレイする第3分離モード、及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを含むことを特徴とする請求項2に記載のデータ送信装置。
  4. 前記生成されたオーディオメタデータパケットのヘッダ(header)は、
    送信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び送信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つをさらに含むことを特徴とする請求項1に記載のデータ送信装置。
  5. 前記生成されたオーディオメタデータパケットのペイロード(payload)は、
    マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor
    Field)を含むことを特徴とする請求項1に記載のデータ送信装置。
  6. 前記マルチオーディオデスクリプタフィールドは、
    前記生成されたオーディオメタデータパケットが表すオーディオデータに対応する分離された画面情報を表す画面分離タグフィールド(Split Screen Tag Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応するビューを表す関連ビュー識別フィールド(Associated View ID Field)、前記マルチオーディオデスクリプタフィールドが有効な言語コードを含むかどうかを表す有効言語コードフィールド(Valid Language Code Field)、メインオーディオデータと補助オーディオデータとのプレミックス有無を表すミックスオーディオフィールド(mixed Audio Field)、前記マルチオーディオデスクリプタフィールドが有効な補助オーディオデータの種類に対する情報を含むかどうかを表すSATプレゼントフィールド(SAT Present Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのための補助オーディオデータ種類を表す補助オーディオ種類フィールド(Supplemental Audio Type Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのISO639で定義された言語コードを表す言語コードフィールド(Language Code Field)のうち、少なくとも一つを含むことを特徴とする請求項5に記載のデータ送信装置。
  7. データ受信装置であって、
    データ送信装置からオーディオメタデータパケットを受信する受信部と、
    前記受信されたオーディオメタデータパケットをパーシングするパーシング部とを備え、
    前記受信されたオーディオメタデータパケットのヘッダ(header)は、前記受信されたオーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含むデータ受信装置。
  8. データ送受信システムであって、
    オーディオメタデータパケットを生成してデータ受信装置に送信するデータ送信装置と、
    前記オーディオメタデータパケットを前記データ送信装置から受信する前記データ受信装置とを備え、
    前記オーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む、データ送受信システム。
  9. データ送信装置であって、
    マルチオーディオストリームに対する複数のサブパケットを含むパケットを生成するパケット生成部と、
    前記生成されたパケットをデータ受信装置に送信する送信部とを備え、
    前記生成されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含むデータ送信装置。
  10. データ受信装置であって、
    マルチオーディオストリームに対する複数のサブパケットを含むパケットを受信する受信部と、
    前記受信されたパケットをパーシングするパーシング部とを備え、
    前記受信されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含むデータ受信装置。
  11. データ送受信システムであって、
    マルチオーディオストリームに対する複数のサブパケットを生成して、データ受信装置に送信するデータ送信装置と、
    前記データ送信装置から前記複数のサブパケットを受信する前記データ受信装置とを備え、
    前記受信されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含むデータ送受信システム。
  12. データ送信装置であって、
    オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を生成する生成部と、
    データ受信装置に前記デバイス性能情報ブロックを送信する送信部とを備え、
    前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含む、データ送信装置。
  13. データ受信装置であって、
    オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を受信する受信部と、
    前記受信されたデバイス性能情報ブロックを分析する分析部とを備え、
    前記受信されたデバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含む、データ受信装置。
  14. データ送受信システムであって、
    オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)をデータ受信装置に送信するデータ送信装置と、
    前記データ送信装置から前記送信されたデバイス性能情報ブロックを受信するデータ受信装置とを備え、
    前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を備える、データ送受信システム。
JP2015562938A 2013-03-15 2014-03-17 データ送信装置、データ受信装置及びデータ送受信システム Expired - Fee Related JP6514648B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361789803P 2013-03-15 2013-03-15
US61/789,803 2013-03-15
US201361802807P 2013-03-18 2013-03-18
US61/802,807 2013-03-18
KR1020140025030A KR102201826B1 (ko) 2013-03-15 2014-03-03 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법 및 데이터 수신 방법
KR10-2014-0025030 2014-03-03
PCT/KR2014/002229 WO2014142626A1 (en) 2013-03-15 2014-03-17 Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data

Publications (2)

Publication Number Publication Date
JP2016515352A true JP2016515352A (ja) 2016-05-26
JP6514648B2 JP6514648B2 (ja) 2019-05-15

Family

ID=51758637

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015562938A Expired - Fee Related JP6514648B2 (ja) 2013-03-15 2014-03-17 データ送信装置、データ受信装置及びデータ送受信システム
JP2015562939A Expired - Fee Related JP6514649B2 (ja) 2013-03-15 2014-03-17 データ送信装置、データ受信装置、データ送受信システム、データ送信方法及びデータ受信方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015562939A Expired - Fee Related JP6514649B2 (ja) 2013-03-15 2014-03-17 データ送信装置、データ受信装置、データ送受信システム、データ送信方法及びデータ受信方法

Country Status (3)

Country Link
JP (2) JP6514648B2 (ja)
KR (2) KR102201826B1 (ja)
TW (2) TWI625056B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016129904A1 (ko) * 2015-02-10 2016-08-18 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09259539A (ja) * 1996-03-22 1997-10-03 Pioneer Electron Corp 情報記録媒体並びにその記録装置及び再生装置
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
JP2012049934A (ja) * 2010-08-30 2012-03-08 Hitachi Consumer Electronics Co Ltd 伝送システム
JP2012060205A (ja) * 2010-09-06 2012-03-22 Hitachi Consumer Electronics Co Ltd 表示システム、表示装置、及び中継装置
JP2012253439A (ja) * 2011-05-31 2012-12-20 Kddi Corp マルチメディア装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331552A (ja) * 1995-05-31 1996-12-13 Alpine Electron Inc Bsチューナの音声信号処理装置
JPH09149399A (ja) * 1995-11-21 1997-06-06 Matsushita Electric Ind Co Ltd データ伝送システム
CN100435569C (zh) * 1999-07-14 2008-11-19 松下电器产业株式会社 信息提供装置、信息提供方法以及信息通信系统
US8046792B2 (en) * 2002-03-20 2011-10-25 Tvworks, Llc Multi-channel audio enhancement for television
US7227899B2 (en) * 2003-08-13 2007-06-05 Skystream Networks Inc. Method and system for re-multiplexing of content-modified MPEG-2 transport streams using interpolation of packet arrival times
KR101375067B1 (ko) * 2005-08-09 2014-03-17 파나소닉 주식회사 기록매체, 재생장치, 재생방법, 프로그램
KR100750143B1 (ko) * 2005-12-05 2007-08-21 삼성전자주식회사 디지털 방송 신호의 저장 방법 및 장치
JP2007281716A (ja) * 2006-04-04 2007-10-25 Sony Corp 無線動画伝送システム、無線動画伝送方法、無線動画送信装置、無線動画送信方法、そのコンピュータプログラム、無線動画受信装置、無線動画受信方法、並びにそのコンピュータプログラム
JP2008005112A (ja) * 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd ストリームエンコーダ及びストリームデコーダ
TWI420504B (zh) * 2007-03-19 2013-12-21 Cyberlink Corp 多重顯示之方法及相關系統
US8744337B2 (en) * 2007-06-18 2014-06-03 Qualcomm Incorporated Apparatus and methods of enhancing radio programming
KR100942142B1 (ko) * 2007-10-11 2010-02-16 한국전자통신연구원 객체기반 오디오 콘텐츠 송수신 방법 및 그 장치
JP4874284B2 (ja) * 2008-03-27 2012-02-15 パナソニック株式会社 デジタル放送受信装置
JP2009253414A (ja) * 2008-04-02 2009-10-29 Nec Corp コンテンツ配信システム、中継装置、端末装置、コンテンツ配信方法、プログラム、及び記録媒体
EP2359599A1 (en) * 2008-10-31 2011-08-24 Thomson Licensing Method, apparatus and system for providing supplemental audio/video content
JP2010200087A (ja) * 2009-02-26 2010-09-09 Funai Electric Co Ltd 映像機器
KR20120016407A (ko) * 2010-08-16 2012-02-24 엘지전자 주식회사 시각 장애인용 오디오 신호를 출력하는 디스플레이 기기의 동작 방법 및 그 방법을 채용한 디스플레이 기기
EP2451196A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Method and apparatus for generating and for decoding sound field data including ambisonics sound field data of an order higher than three
JP2012151688A (ja) * 2011-01-19 2012-08-09 Canon Inc 映像再生装置及びその制御方法、プログラム並びに記憶媒体
US9398322B2 (en) * 2011-04-27 2016-07-19 Time Warner Cable Enterprises Llc Multi-lingual audio streaming
US20140118616A1 (en) * 2012-10-26 2014-05-01 Cox Communications, Inc. Systems and Methods of Video Delivery to a Multilingual Audience

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09259539A (ja) * 1996-03-22 1997-10-03 Pioneer Electron Corp 情報記録媒体並びにその記録装置及び再生装置
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
JP2012049934A (ja) * 2010-08-30 2012-03-08 Hitachi Consumer Electronics Co Ltd 伝送システム
JP2012060205A (ja) * 2010-09-06 2012-03-22 Hitachi Consumer Electronics Co Ltd 表示システム、表示装置、及び中継装置
JP2012253439A (ja) * 2011-05-31 2012-12-20 Kddi Corp マルチメディア装置

Also Published As

Publication number Publication date
TW201438460A (zh) 2014-10-01
KR102201826B1 (ko) 2021-01-12
KR20140115245A (ko) 2014-09-30
TW201442494A (zh) 2014-11-01
TWI625056B (zh) 2018-05-21
JP2016513930A (ja) 2016-05-16
KR20140115247A (ko) 2014-09-30
JP6514648B2 (ja) 2019-05-15
KR102180826B1 (ko) 2020-11-20
TWI666931B (zh) 2019-07-21
JP6514649B2 (ja) 2019-05-22

Similar Documents

Publication Publication Date Title
US10356484B2 (en) Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
US9723245B2 (en) Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
US8493511B2 (en) Display system, display device, and repeater
US9313576B2 (en) Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
KR20160113310A (ko) 디스플레이 인터페이스를 통한 입체 이미지 데이터의 전송
KR20170007261A (ko) 통신 장치 및 통신 방법과 컴퓨터 프로그램
US9886980B2 (en) Method for synchronizing A/V streams
CN113196790B (zh) 发送设备、发送方法、接收设备和接收方法
KR20120032249A (ko) 3차원 사용자 인지 정보를 표시하기 위한 데이터스트림 생성 방법 및 장치, 데이터스트림 재생 방법 및 장치
JP6449318B2 (ja) Hdmiインタフェースを介して補助データフレームを同期送信するためのトランスミッタ、レシーバ、及び、システム
JP6514648B2 (ja) データ送信装置、データ受信装置及びデータ送受信システム
WO2020045044A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR102047800B1 (ko) 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법, 데이터 수신 방법 및 데이터 송수신 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181221

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190412

R150 Certificate of patent or registration of utility model

Ref document number: 6514648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees