CN104053040A - 数据收发装置、数据收发系统以及数据收发方法 - Google Patents

数据收发装置、数据收发系统以及数据收发方法 Download PDF

Info

Publication number
CN104053040A
CN104053040A CN201410105496.9A CN201410105496A CN104053040A CN 104053040 A CN104053040 A CN 104053040A CN 201410105496 A CN201410105496 A CN 201410105496A CN 104053040 A CN104053040 A CN 104053040A
Authority
CN
China
Prior art keywords
audio
data
field
bag
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410105496.9A
Other languages
English (en)
Other versions
CN104053040B (zh
Inventor
李庚宰
金秀英
金钟和
罗日柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140025030A external-priority patent/KR102201826B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104053040A publication Critical patent/CN104053040A/zh
Application granted granted Critical
Publication of CN104053040B publication Critical patent/CN104053040B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44231Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开一种数据收发装置、数据收发系统以及数据收发方法。根据本发明的一个实施例的数据传送装置包括:包生成单元,生成音频元数据包;传送单元,将生成的所述音频元数据包传送给数据接收装置,其中,生成的所述音频元数据包的头(header)包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段(Split Screen Information Field)。

Description

数据收发装置、数据收发系统以及数据收发方法
技术领域
本发明涉及一种数据收发装置、数据收发系统及数据收发方法,尤其涉及一种用于收发关于对画面分离的支持的信息的数据收发装置、数据收发系统以及数据收发方法。
背景技术
近来随着多音频环境的构建,提出了多种用于传送数据的高速有线接口标准。例如,HDMI、MHL规定了多种格式的图像数据、音频信号、控制信号的传送标准。随着通过一个显示装置而使不同视听者分别视听不同内容的多视图技术的出现,对与多视图图像对应的多音频传送规则提出了需求。
尤其,在多个用户将画面划分而分别视听不同内容的情况下,需要共享如下信息:即,针对源装置与信宿装置之间究竟是以哪种格式实现了画面分离以及分别匹配于分离的画面的音频信号究竟是哪一种等。
因此,对可用于在源装置与信宿装置之间收发关于画面分离的支持信息的标准提出了需求。
发明内容
本发明是基于上述的需求而提出的,本发明的目的在于提供一种可在源装置与信宿装置之间收发关于画面分离的支持信息的接口标准。
为了达到如上所述的目的,根据本发明的一个实施例的数据收发系统包括数据传送装置和数据接收装置。
数据传送装置生成包含有关于多音频流的多个子包的包而传送给数据接收装置。
所述包的头包含用于从全体包中识别生成的所述包的顺序的序列号字段(Sequence Number Field)。
为了达到如上所述的目的,根据本发明的一个实施例的数据传送装置包括包生成单元和传送单元。
所述包生成单元生成包含有关于多音频流的多个子包的包。
在此,生成的所述包的头包含用于从全体包中识别生成的所述包的顺序的序列号字段。
传送单元将生成的所述包传送给数据接收装置。
为了达到如上所述的目的,根据本发明的一个实施例的数据接收装置包括接收单元和解析单元。
接收单元是从数据传送装置接收包含有关于多音频流的多个子包的包的构成要素,解析单元用于对接收的所述包进行解析(Parsing)。接收的所述包的头包含用于从全体包中识别生成的所述包的顺序的序列号字段。
为了达到如上所述的目的,根据本发明的另一实施例的数据收发系统包括数据传送装置和数据接收装置。
数据传送装置生成音频元数据包而传送给数据接收装置。
数据接收装置从所述数据传送装置接收所述音频元数据包。
所述音频元数据包的头包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段(Split Screen Information Field)。
为了达到如上所述的目的,根据本发明的另一实施例的数据传送装置包括包生成单元和传送单元。
包生成单元生成音频元数据包,尤其,生成的所述音频元数据包的头包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段。
传送单元将生成的所述音频元数据包传送给数据接收装置。在此,所述画面分离信息字段可包括如下字段中的至少一种:画面分离有效字段(SplitScreen Valid Field),表示是否支持画面分离;分离画面类型字段(Split ScreenType Field),表示与传送的音频数据相关的分离画面类型。
而且,所述分离画面类型字段可用于表示使显示画面左右分离的第一分离模式、使所述显示画面上下分离的第二分离模式、在所述显示画面内显示PIP画面的第三分离模式、以及使所述显示画面分离为3个以上的第四分离模式中的一种模式。
并且,生成的所述音频元数据包的头(header)还可以包括如下字段中的至少一种:视图类型字段(View Type Field),表示传送的内容究竟是多视图内容还是单视图内容;序列号字段(Sequence Number Field),表示所述音频元数据包的序列号;音频流个数字段(Number Of Audio Stream Field),表示传送的音频流的个数信息。
而且,生成的所述音频元数据包的净荷(payload)可包括用于表示关于多音频采样包(Multi Audio Sample Packet)的子包的元数据的多音频描述符字段(Multi Audio Descriptor Field)。
并且,所述多音频描述符字段可包括如下字段中的至少一种:画面分离标记字段(Split Screen Tag Field),表示对应于生成的所述音频元数据包所表示的音频数据的分离的画面信息;相关视图识别字段(Associated View IDField),表示对应于生成的所述音频元数据包所表示的音频数据的视图;有效语言代码字段(Valid Language Code Field),表示所述多音频描述符字段是否包含有效的语言代码;混合音频字段(mixed Audio Field),表示主音频数据与辅助音频数据是否预混;SAT存在字段(SAT Present Field),表示所述多音频描述符字段是否包含关于有效的辅助音频数据类型的信息;辅助音频类型字段(Supplemental Audio Type Field),表示用于生成的所述音频元数据包所表示的音频数据的辅助音频数据类型;语言代码字段(Language CodeField),表示生成的所述音频元数据包所表示的音频数据的以ISO639进行定义的语言代码。
为了达到如上所述的目的,根据本发明的另一实施例的数据接收装置包括接收单元和解析单元。
接收单元从数据传送装置接收音频元数据包,尤其,所述音频元数据包的头包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段。
接收单元从数据传送装置接收所述音频元数据包。在此,所述画面分离信息字段可包括如下字段中的至少一种:画面分离有效字段,表示是否支持画面分离;分离画面类型字段,表示与传送的音频数据相关的分离画面类型。
而且,所述分离画面类型字段可用于表示使显示画面左右分离的第一分离模式、使所述显示画面上下分离的第二分离模式、在所述显示画面内显示PIP画面的第三分离模式、以及使所述显示画面分离为3个以上的第四分离模式中的一种模式。
并且,所述音频元数据包的头还可以包括如下字段中的至少一种:视图类型字段,表示接收的内容究竟是多视图内容还是单视图内容;序列号字段,表示所述音频元数据包的序列号;音频流个数字段,表示接收的音频流的个数信息。
而且,所述音频元数据包的净荷可包括用于表示关于多音频采样包的子包的元数据的多音频描述符字段。
并且,所述多音频描述符字段可包括如下字段中的至少一种:画面分离标记字段,表示对应于所述音频元数据包所表示的音频数据的分离的画面信息;相关视图识别字段,表示对应于所述音频元数据包所表示的音频数据的视图;有效语言代码字段,表示所述多音频描述符字段是否包含有效的语言代码;混合音频字段,表示主音频数据与辅助音频数据是否预混;SAT存在字段,表示所述多音频描述符字段是否包含关于有效的辅助音频数据类型的信息;辅助音频类型字段,表示用于所述音频元数据包所表示的音频数据的辅助音频数据类型;语言代码字段,表示所述音频元数据包所表示的音频数据的以ISO639进行定义的语言代码。
为了达到如上所述的目的,根据本发明的又一实施例的数据收发系统包括数据传送装置和数据接收装置。
所述数据传送装置用于与音频数据相关而将包含有得到信宿装置的支持的特征信息的设备性能信息块(Device Capability Information Block)传送给所述数据接收装置。
为了达到如上所述的目的,根据本发明的又一实施例的数据传送装置包括生成单元和传送单元。
生成单元用于生成包含有针对音频数据而得到信宿装置的支持的特征信息的设备性能信息块。
所述设备性能信息块可包含用于表示所述信宿装置是否支持与画面分离相关的多音频的接收及处理的画面分离音频字段(Split Screen Audio Field)。
传送单元向数据接收装置传送所述设备性能信息块。
为了达到如上所述的目的,根据本发明的又一实施例的数据接收装置包括接收单元和分析单元。
接收单元从所述数据传送装置接收设备性能信息块,分析单元对接收的设备性能信息块进行分析。
所述设备性能信息块中包含有针对音频数据而得到信宿装置的支持的特征信息。具体而言,所述设备性能信息块可包含用于表示所述信宿装置是否支持与画面分离相关的多音频的接收及处理的画面分离音频字段。
为了达到如上所述的目的,根据本发明的一种实施例的数据传送方法包括:生成音频元数据包的步骤;将生成的所述音频元数据包传送给数据接收装置的步骤。在此,生成的所述音频元数据包的头包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段。
在此,所述画面分离信息字段可包括如下字段中的至少一种:画面分离有效字段,表示是否支持画面分离;分离画面类型字段,表示与传送的音频数据相关的分离画面类型。
而且,所述分离画面类型字段可用于表示使显示画面左右分离的第一分离模式、使所述显示画面上下分离的第二分离模式、在所述显示画面内显示PIP画面的第三分离模式、以及使所述显示画面分离为3个以上的第四分离模式中的一种模式。
并且,生成的所述音频元数据包的头还可以包括如下字段中的至少一种:视图类型字段,表示传送的内容究竟是多视图内容还是单视图内容;序列号字段,表示所述音频元数据包的序列号;音频流个数字段,表示传送的音频流的个数信息。
而且,生成的所述音频元数据包的净荷可包括用于表示关于多音频采样包的子包的元数据的多音频描述符字段。
并且,所述多音频描述符字段可包括如下字段中的至少一种:画面分离标记字段,表示对应于生成的所述音频元数据包所表示的音频数据的分离的画面信息;相关视图识别字段,表示对应于生成的所述音频元数据包所表示的音频数据的视图;有效语言代码字段,表示所述多音频描述符字段是否包含有效的语言代码;混合音频字段,表示主音频数据与辅助音频数据是否预混;SAT存在字段,表示所述多音频描述符字段是否包含关于有效的辅助音频数据类型的信息;辅助音频类型字段,表示用于生成的所述音频元数据包所表示的音频数据的辅助音频数据类型;语言代码字段,表示生成的所述音频元数据包所表示的音频数据的以ISO639进行定义的语言代码。
为了达到如上所述的目的,根据本发明的一种实施例的数据接收方法包括:从数据传送装置接收音频元数据包的步骤;对接收的所述音频元数据包进行解析的步骤,其中,接收的所述音频元数据包的头包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段。
并且,所述画面分离信息字段可包括如下字段中的至少一种:画面分离有效字段,表示是否支持画面分离;分离画面类型字段,表示与传送的音频数据相关的分离画面类型。
而且,所述分离画面类型字段可用于表示使显示画面左右分离的第一分离模式、使所述显示画面上下分离的第二分离模式、在所述显示画面内显示PIP画面的第三分离模式、以及使所述显示画面分离为3个以上的第四分离模式中的一种模式。
并且,生成的所述音频元数据包的头还可以包括如下字段中的至少一种:视图类型字段,表示传送的内容究竟是多视图内容还是单视图内容;序列号字段,表示所述音频元数据包的序列号;音频流个数字段,表示传送的音频流的个数信息。
而且,生成的所述音频元数据包的净荷可包括用于表示关于多音频采样包的子包的元数据的多音频描述符字段。
为了达到如上所述的目的,根据本发明的另一实施例的数据传送方法包括:生成包含有关于多音频流的多个子包的包的步骤;将生成的所述包传送给数据接收装置的步骤,其中,生成的所述包的头包含用于从全体包中识别生成的所述包的顺序的序列号字段。
为了达到如上所述的目的,根据本发明的另一实施例的数据接收方法包括:接收包含有关于多音频流的多个子包的包的步骤;对接收的所述包进行解析的步骤,其中,接收的所述包的头包含用于从全体包中识别生成的所述包的顺序的序列号字段。
为了达到如上所述的目的,根据本发明的又一实施例的数据传送方法包括:生成包含有针对音频数据而得到信宿装置的支持的特征信息的设备性能信息块的步骤;向数据接收装置传送所述设备性能信息块的步骤,其中,所述设备性能信息块包含用于表示所述信宿装置是否支持与画面分离相关的多音频接收及处理的画面分离音频字段。
为了达到如上所述的目的,根据本发明的又一实施例的数据接收方法包括:接收包含有针对音频数据而得到信宿装置的支持的特征信息的设备性能信息块的步骤;对接收的所述设备性能信息块进行分析的步骤,其中,所述设备性能信息块包含用于表示所述信宿装置是否支持与画面分离相关的多音频接收及处理的画面分离音频字段。
根据本发明的多种实施例,提供了可在源装置与信宿装置之间收发与画面分离相关的支持信息的接口标准。
附图说明
图1为表示单音频流和多音频流的图。
图2为表示源装置向信宿装置传送关于双窗口及画面分离的多音频的情形的图。
图3为概括性地表示出用于表示画面分离支持信息的信宿装置与源装置之间的数据收发的图。
图4为表示所述多音频采样包的净荷被传送的状况的图。
图5为根据本发明的一实施例的数据收发系统的模块图。
图6为表示根据本发明的一实施例的数据传送装置的模块图的图。
图7为表示根据本发明的一实施例的数据接收装置的模块图的图。
图8为根据本发明的另一实施例的数据收发系统的模块图。
图9为根据本发明的另一实施例的数据传送装置的模块图。
图10为根据本发明的另一实施例的数据接收装置的模块图。
图11和图12为表示3D音频信号的传送时序(Timing)的图。
图13为根据本发明的又一实施例的数据收发系统的模块图。
图14为表示根据本发明的又一实施例的数据传送装置的构成的模块图。
图15为表示根据本发明的又一实施例的数据接收装置的构成的模块图。
图16a~16c为表示以3D接口格式传送四视图视频内容时的多种数据传送格式的图。
图17为根据本发明的一实施例的数据传送方法的流程图。
图18为根据本发明的一实施例的数据接收方法的流程图。
图19为根据本发明的另一实施例的数据传送方法的流程图。
图20为根据本发明的另一实施例的数据接收方法的流程图。
图21为根据本发明的又一实施例的数据传送方法的流程图。
图22为根据本发明的又一实施例的数据接收方法的流程图。
符号说明:
1000-1、1000-2、1000-3:数据收发系统
100-1、100-2、100-3:数据传送装置
200-1、200-2、200-3:数据接收装置
110:包生成单元     120:传送单元
130:生成单元     210:接收单元
220:解析单元     230:分析单元
具体实施方式
以下,参照附图而对本发明的优选实施例进行详细说明。在对本发明进行说明时,如果认为对有关的公知功能或构成的具体说明可能对本发明的主旨造成不必要的混乱,则省略其详细说明。另外,后述的术语为考虑在本发明中的功能而定义的术语,其可能因使用者、运用者的意图或惯例等而变得不同。因此,要以整个说明书的内容为基础而对其进行定义。
本发明在与本发明的技术思想等同的范围内适用于HDMI(HighDefinition Multimedia Interface,高清晰度多媒体接口)标准、MHL(MobileHigh-Definition Link,移动终端高清影音标准接口)标准之类的多种多样的有线接口传输标准,故本发明的权利范围涵盖至与之类似的有线接口传输标准。
本说明书引用下列文献。
ITU-R BS.2159-4(05/2012),家用多声道音频技术和广播应用(Multichannel sound technology in home and broadcasting applications);
SMPTE,SMPTE2036-2:2008,“UHDTV-音频特性以及用于制作节目的音频声道映射(UHDTV–Audio characteristics and audio channel mapping forprogram production)”,2008;
IEC,IEC62574ed1.0,“音频、视频、以及多媒体系统-多声道音频的一般声道分配(Audio,video and multimedia systems–General channel assignmentof multichannel audio)”,2011年4月7日。
下面的表1简要地说明了本说明书中使用的术语。
[表1-术语]
图1为表示单音频流和多音频流的图。
如图1的(A)所示,对于单音频流而言,对应于至少一个视频数据存在多个音频数据,且这些音频数据作为一个单流而被传送。在单流中,进行分组化而使所有流数据共享相同的包流ID。
如图1的(B)所示,多音频流为多个单AV流被传送的情形。在多音频流中存在唯一的包流ID被分配到各个单AV流的多个单AV流的集合。多个单AV流的视频数据相互独立。
多音频流的各个音频流最多传送2个音频声道。并且,与单音频流相关联。例如,在单视图模式中各音频可连接于默认视频流,而在双视图模式中音频可连接于左侧图像或右侧图像(或者与两者均连接)。而且,可以传送如下的一个以上的辅助音频选项。即,可以传送的是画面分离标记(Split-screentagging)、语言标示(Language indication)、为视觉/听觉障碍者设计的音频标示(indication of audio for visually/hearing impaired)。
画面分离(Split Screen)表示针对两个以上的窗口而通过源装置对不同的音频数据进行标记并识别的视听选项(viewing option)。画面分离是在PIP视听方式(picture-in-picture viewing)、快速预览视听方式(quick-preview)、多屏游戏(multi-screen game)等中使用。其中,窗口表示在信宿装置的屏幕的一个区域上显示的区别化的显示图像。
画面分离(或者,多窗口也可以使用相同的术语)可以成为与多音频共同使用的选择性构成。画面分离模式表示在信宿装置中使画面被分离的构成,用于对音频流进行标记,并映射到特定的窗口。
图2为表示源装置向信宿装置传送关于双窗口及画面分离的多音频的情形的图。
图2的(A)表示给多屏幕传送对应于每一个的音频数据的实施例,图2的(B)表示传送基于快速预览视听或PIP视听的多个音频数据的实施例,图2的(C)表示传送基于多屏游戏的多个音频数据的实施例。信宿装置的用户可选取所需的音频而收听。
图3为概括性地表示出用于表示画面分离支持信息的信宿装置与源装置之间的数据收发的图。
源装置310将供应商特定信息帧(Vendor-Specific Infoframe)、多音频采样包(Multi-Audio Sample Packet)、多音频元数据包(Multi-Audio MetadataPacket)传送给信宿装置。
多音频采样包中包含多个音频流。多音频元数据包表示针对各音频流的设定。其与视频流相关联,且可以上载传输辅助音频信息。供应商特定信息帧表示传送的内容的多视图类型。关于具体的实施例将在后面叙述。
信宿装置320将扩展设备性能寄存器(Extended Device CapabilityRegister)传送给源装置,从而告知信宿装置所支持的多音频模式信息。关于具体的实施例将在后面叙述。
另外,多音频支持辅助音频轨道(例如,多种语言、为视觉障碍设计的音频说明、或者为听觉障碍设计的去噪音频(Clean Audio))的传送。在此情况下,最多可以有16个音频流被同时传送。有关于此的具体说明也将在后面进行。
TMDS信令与编码
数据平台包
[表2-包类型]
包类型值 包类型 节段
0x00 4.x
0x01 音频时钟再生(N/CTS) 4.x
0x02 音频采样 4.x
0x03 内容静音包 4.x
0x04 3D音频采样 4.x
0x05 多音频采样 4.x
0x06 3D音频元数据包 4.x
0x07 多音频元数据包 4.x
0x80+信息帧类型 EIA/CEA-861E信息帧 4.x
3D音频采样包
3D音频被定义为扬声器在3D空间中可按3D音频标准(e.g.10.2ch,22.2ch,30.2ch等)配置于确定位置的音频。3D音频采样包由具有9个到32个音频声道的一个音频采样构成。
3D音频流包含到32个(或者以上)音频声道,并在数据岛区间通过连续性的包而被传送。各个包中包含到8个音频声道。子包的构成是根据序列号和头(header)中的采样存在比特(sample_present bits)而判断。
序列号字段(sequence_number):表示当前包的顺序。由于多数3D音频采样包中包含单3D音频采样,因此为了正确地识别包顺序,这一字段是必要的。
其他头字段和子包结构与MHL2.0说明书中见到的音频采样包一致。
[表3-3D音频采样包]
多音频采样包
多音频采样包中可包含各音频包独立地与音频流相关的四个音频采样。当源装置同时传送四个以上的独立性音频流时,这种连续性的音频流是通过持续的多音频采样包系列而被传送。包头(Packet header)中定义的序列号(sequence_number)用以识别各个多音频采样包,并表示包的排序中的当前包的顺序。子包的构成是通过序列号和头中的采样存在比特而判断。对此将在多音频数据分组化中详细说明。
为了各个子包(或者音频流),多音频元数据包中的描述符字段(descriptorfield)说明视图模式(即,单视图或多视图)以及选择性信息(例如,画面分离标记、语言代码、为视觉障碍设计的音频等)。关于这些将在后面详细说明。
序列号字段:当存在用于从源装置向信宿装置传送的四个以上的音频流时,表示当前多音频采样包的序列号。如果该字段被设定为0,则该包可以在对应的子包中分别包含第一组的四个音频流。如果该字段被设定为1,则该包可以在对应的子包中分别包含第二组的四个音频流。在类似的方法中,在该字段被设定为2或3时,包中分别包含第三组或第四组的四个音频流。在序列号为0的子包0中得到处理的音频流被指定为默认(default)音频流。
流存在字段(stream_present.spX):表示子包X是否包含流X的音频采样(或为多个)。
平整流字段(stream_flat.spX):表示子包X是否表示流X的“平整线(flatline)”采样。只有在设定流存在字段(stream_present.spX)时才有效。
其他头字段和子包结构与MHL2.0规范中见到的音频采样包一致。
[表4-多音频采样包]
图4为表示所述多音频采样包的净荷被传送的状况的图。
如图4所示,在传送四个多音频采样包的情况下,可上载传输16个音频流。由于序列号由2比特组成,因此最多可以传输16个音频流。
图5为根据本发明的一个实施例的数据收发系统1000-1的构成模块图。
参照图5,根据本发明的一个实施例的数据收发系统1000-1包括数据传送装置100-1和数据接收装置200-1。
数据传送装置100-1生成包含有关于多音频流的多个子包的包而传送给数据接收装置200-1。
所述包的头包含用于识别生成的所述包在全体包中的顺序的序列号字段(Sequence Number Field)。
图6为表示根据本发明的一个实施例的数据传送装置100-1的构成模块的图。
参照图6,根据本发明的一个实施例的数据传送装置100-1包括包生成单元110和传送单元120。
所述包生成单元110生成包含有关于多音频流的多个子包的包。如同前述的实施例所示,一个包可包含对应于4个音频流的4个子包。
在此,生成的所述包的头包含用于识别生成的所述包在全体包中的顺序的序列号字段。如同图4的实施例,序列号字段表示被传送的包的顺序。
传送单元120将生成的所述包传送给数据接收装置200-1。
图7为表示根据本发明的一个实施例的数据接收装置200-1的构成模块的图。
参照图7,根据本发明的一个实施例的数据接收装置200-1包括接收单元210和解析单元220。
接收单元210为用于从数据传送装置100-1接收包含有关于多音频流的多个子包的包的构成要素。
解析单元220对接收的所述包进行解析(Parsing)。接收的所述包的头包含用于识别生成的所述包在全体包中的顺序的序列号字段。如同图4的实施例,序列号字段表示传送的包的顺序。
3D音频元数据包
用于说明有效(active)3D音频数据的辅助数据(Ancillary data)是通过3D音频元数据包而被传送。如果源装置可传送3D音频采样包,则源装置每隔至少两个视频字段而恒将正确的3D音频元数据包传送一次。
以下内容表示3D音频元数据包。
[表5-3D音频元数据包]
[表6-3D_CC(3D音频声道数)字段]
3D_CC[4:0] 音频声道数
0b00000 参考流头(Stream Header)
0b00001 9个通道
0b00010 10个通道
0b11000 32个通道
0b11001~0b11111 保留
[表7-3D_CAST(3D音频声道分配标准类型)字段]
[表8-3D_CA(3D音频声道/扬声器分配)字段(3D_CAST=0x01(最多至10.2ch))]
[表9.1-3D_CA(3D音频声道/扬声器分配)字段(3D_CAST=0x02(最多至22.2ch))]
[表10.1-3D_CA(3D音频声道/扬声器分配)字段(3D_CAST=0x03(最多至30.2ch))]
多音频元数据包
用于说明有效(Active)多音频流的辅助数据(supplementary data)通过多音频元数据包而被传送。该包是为了对用于在视图类型及各多音频采样包当中移动的每个音频流的辅助音频选项进行说明而使用的。
如果源装置可传送多音频采样包,则源装置每隔至少两个视频字段而恒将正确的多流音频元数据包传送一次。
以下内容表示多音频元数据包。
[表11-多音频元数据包]
视图类型字段(MA_View_Type):表示单视图或多视图之类的多音频流的相关视图模式。参考下面的表。
序列号字段(Sequence_Number):表示包或者当前多音频元数据包的序列号。该字段用于识别最多可达四个的互不相同的多音频元数据包。该字段将各个多音频元数据包与具有相同序列号的多音频采样包相连接。
音频流个数字段(Num_Audio_Streams):表示通过多音频采样包传送的音频流的总个数。
画面分离有效字段(SC_Valid):如果设定为1,则画面分离标记将得到支持,而画面分离构成字段将在下一个7比特中得到细化。如果设定为0,则画面分离标记得不到支持或者得不到细化,而下一个7比特会留下而用于其他用途。
画面分离类型字段(Split_Screen_Config):表示与通过当前描述符示出的音频流相关的画面分离类型。可供选择的画面分离类型已在下面的表13中列出。该字段只有在SC_有效=1时才有效。
多音频描述符字段(MA_Descriptor_X):表示通过对应的多音频采样包的子包X传送的音频流的特性。表13表示多音频描述符的详细结构。
[表12-多音频类型字段]
视图类型字段[1:0] 描述
0b00 非特定或单视图模式
0b01 多视图模式
0b10 保留
0b11 保留
[表13-画面分离类型字段]
以下的表用于表示多音频描述符。
[表14-多音频描述符]
画面分离标记字段(Split_Screen_Tag):表示与通过当前多音频描述符示出的音频流相关的特定窗口(正如通过分离画面构成所定义的一样)。详细的内容由以下的表16示出。该字段只有在SC_有效=1时才有效,否则信宿装置忽略该字段。
相关视图识别字段(Associated_View_ID):表示与通过当前多音频描述符示出的音频流相关的特定视图。该字段的含义取决于视图类型字段(MA_View_Type)的值。详细的内容可从以下的表15中看出。
有效语言代码字段(LC_present):如果该字段被设定为1,则当前描述符在下一群字节中将会包含有效的语言代码字段(Language_Code)。
混合音频字段(Mixed_Audio):在该字段被设定为1时,对应的音频流中将会正如通过辅助音频类型字段(Suppl_Audio_Type)表现的那样包含普通音频与辅助音频预先混合的流。
SAT存在字段(SAT_present):如果该字段被设定为1,则当前描述符在下一个4比特中将会包含有效的辅助音频类型字段(Suppl_Audio_Type)。
辅助音频类型字段(Suppl_Audio_Type):表示用于对应的音频流的辅助音频的类型。详细的说明参考表17。该字段只有在SAT存在字段为1(SAT_present=1)时才有效,否则信宿装置忽略该字段。
语言代码字段(Language_Code):表示通过对应的音频流的ISO639定义的语言代码。该字段只有在有效语言代码字段被设定为1时才有效,否则信宿装置将忽略该字段。
[表15-相关视图标识符字段]
[表16-画面分离标记字段]
画面分离标记[3:0] 描述
0b0000 窗口1
0b0001 窗口2
0b0010 窗口3
0b1111 窗口16
[表17-辅助音频特性字段]
辅助音频类型字段[3:0] 描述
0b0000 非特定或普通音频
0b0001 用于视觉障碍的叙述音频
0b0010 用于视觉障碍的语言字幕
0b0011 用于听觉障碍的去噪音频
0b0100 紧急音频声道
0b0101~0b1111 保留
图8为根据本发明的另一实施例的数据收发系统1000-2的模块图。
参照图8,根据本发明的另一实施例的数据收发系统1000-2包括数据传送装置100-2和数据接收装置200-2。
数据传送装置100-2生成音频元数据包而传送给数据接收装置200-2。音频元数据包对被传送的音频规格进行定义。
数据接收装置200-2从所述数据传送装置100-2接收所述音频元数据包。
所述音频元数据包的头(header)包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段(Split Screen Information Field)。
关于数据传送装置100-2和数据接收装置200-2的构成将在下面详细说明。
图9为根据本发明的另一实施例的数据传送装置100-2的模块图。
参照图9,根据本发明的另一实施例的数据传送装置100-2包括包生成单元110和传送单元120。
包生成单元110生成音频元数据包。音频元数据包对被传送的音频规格进行定义。
尤其,生成的所述音频元数据包的头包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段。
传送单元120将生成的所述音频元数据包传送给数据接收装置200-2。
在此,所述画面分离信息字段可包括用于表示是否支持画面分离的画面分离有效字段(Split Screen Valid Field)和用于表示与传送的音频数据相关的分离画面类型的分离画面类型字段(Split Screen Type Field)中的至少一种。
而且,所述分离画面类型字段可示出使显示画面左右分离的第一分离模式、使所述显示画面上下分离的第二分离模式、在所述显示画面内显示PIP画面(画中画)的第三分离模式、以及使所述显示画面分离为3个以上的第四分离模式中的一种模式。
并且,生成的所述音频元数据包的头还可以包括用于表示传送的内容究竟是多视图内容还是单视图内容的视图类型字段(View Type Field)、用于表示所述音频元数据包的序列号的序列号字段(Sequence Number Field)、以及用于表示传送的音频流的个数信息的音频流个数字段(Number Of AudioStream Field)中的至少一种。
而且,生成的所述音频元数据包的净荷(payload)可包括用于表示关于多音频采样包(Multi Audio Sample Packet)的子包的元数据的多音频描述符字段(Multi Audio Descriptor Field)。
并且,所述多音频描述符字段可包括如下字段中的至少一种:画面分离标记字段(Split Screen Tag Field),表示对应于生成的所述音频元数据包所表示的音频数据的分离的画面信息;相关视图识别字段(Associated View IDField),表示对应于生成的所述音频元数据包所表示的音频数据的视图;有效语言代码字段(Valid Language Code Field),表示所述多音频描述符字段是否包含有效的语言代码;混合音频字段(mixed Audio Field),表示主音频数据与辅助音频数据是否预混(pre-mixed);SAT存在字段(SAT Present Field),表示所述多音频描述符字段是否包含关于有效的辅助音频数据类型的信息;辅助音频类型字段(Supplemental Audio Type Field),表示用于生成的所述音频元数据包所表示的音频数据的辅助音频数据类型;语言代码字段(LanguageCode Field),表示生成的所述音频元数据包所表示的音频数据的以ISO639进行定义的语言代码。
图10为根据本发明的另一实施例的数据接收装置200-2的模块图。
参照图10,根据本发明的另一实施例的数据接收装置200-2包括接收单元210和解析单元220。
接收单元210从数据传送装置100-2接收音频元数据包。音频元数据包对接收的音频规格进行定义。
尤其,所述音频元数据包的头包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段。
接收单元210从数据传送装置100-2接收所述音频元数据包。
在此,所述画面分离信息字段可包括用于表示是否支持画面分离的画面分离有效字段(Split Screen Valid Field)和用于表示与传送的音频数据相关的分离画面类型的分离画面类型字段(Split Screen Type Field)中的至少一种。
而且,所述分离画面类型字段可示出使显示画面左右分离的第一分离模式、使所述显示画面上下分离的第二分离模式、在所述显示画面内显示PIP画面(画中画)的第三分离模式、以及使所述显示画面分离为3个以上的第四分离模式中的一种模式。
并且,所述音频元数据包的头还可以包括用于表示接收的内容究竟是多视图内容还是单视图内容的视图类型字段(View Type Field)、用于表示所述音频元数据包的序列号的序列号字段(Sequence Number Field)、以及用于表示接收的音频流的个数信息的音频流个数字段(Number Of Audio StreamField)中的至少一种。
而且,所述音频元数据包的净荷(payload)可包括用于表示关于多音频采样包(Multi Audio Sample Packet)的子包的元数据的多音频描述符字段(Multi Audio Descriptor Field)。
并且,所述多音频描述符字段可包括如下字段中的至少一种:画面分离标记字段(Split Screen Tag Field),表示对应于所述音频元数据包所表示的音频数据的分离的画面信息;相关视图识别字段(Associated View ID Field),表示对应于所述音频元数据包所表示的音频数据的视图;有效语言代码字段(Valid Language Code Field),表示所述多音频描述符字段是否包含有效的语言代码;混合音频字段(mixed Audio Field),表示主音频数据与辅助音频数据是否预混(pre-mixed);SAT存在字段(SAT Present Field),表示所述多音频描述符字段是否包含关于有效的辅助音频数据类型的信息;辅助音频类型字段(Supplemental Audio Type Field),表示用于所述音频元数据包所表示的音频数据的辅助音频数据类型;语言代码字段(Language Code Field),表示所述音频元数据包所表示的音频数据的以ISO639进行定义的语言代码。
有效多音频模式指示器(Active Multi-Audio Mode Indicator)
源装置为了在信宿装置中显示被传送的正确的视图模式而使用供应商特定信息帧(Vendor-Specific Infoframe,VSIF)。如表18所示,供应商特定信息帧(VSIF)实现结构化。
[表18-供应商特定信息帧包]
MHL多视图字段(MHL_MULTI_VIEW):表示什么样的多视图模式被传送。详细的内容参见表19。
[表19-MHL多视图字段]
MHL多视图[2:0] 描述
0b000 非特定或单视图模式
0b001 双视图模式
0b010 三视图模式
0b011 四视图模式
0b100~0b111 保留
视频
用于支持3D的3D视频描述符
[表20-3D视频描述符数据结构]
各个得到支持的3D视频模式是在一个3D视频描述符中示出。
MV_SUPP:如果被设定为“1”,则装置就利用用于多视图视频流传输(streaming)的3D视频格式而提供支持。
音频
声道/扬声器分配
在信宿装置具备接收3D音频的能力的情况下,在表38到表40中说明的3D声道/扬声器分配描述符用于表示附带的扬声器的构成。用于从源装置传送的3D音频的当前扬声器分配指标在3D音频元数据包的3D CA字段中得到处理。对3D CA的详细说明参考表27~29。
3D音频数据分组化(3D Audio Data Packetization)
3D音频采样包的各子包中包含0个或一个IEC60958帧。当源装置需要缩混3D音频流,且经过缩混的音频流又是3D音频流时,将会使用3D音频采样包而对其进行处理。如果信宿装置不支持3D音频特征,则源装置不会将3D音频采样包与3D音频元数据包一同进行传送。
不同的子包布局数的存在依赖于声道数。以下的表21~23表示分别传送12个、24个或32个声道时的3D音频包的布局。
[表21-用于传送12个声道的3D音频采样包布局]
[表22-用于传送24个声道的3D音频采样包布局]
[表23-用于传送32个声道的3D音频采样包布局]
用于各个的子包的一个3D音频采样包头中具有四个采样存在比特(Sample_present bit)。所谓的“各个”表示每一个子包中包含3D音频采样。另外,如果在由采样所代表的时间段内不存在源装置中可利用的有用的音频数据,则有设定的四个平直采样(sample_flat.spX)比特。其可能在采样比率变化或者暂时性的流干扰时间内发生。
后续的3D音频采样包可用来处理L-PCM音频(即,5~16IEC60958帧)的包含9到32个声道的一个3D音频采样。
3D音频采样的第一个包是被8个音频声道所堆满,且具有设定为0的序列号。序列号是在相同的3D音频采样内对应于各附加包而以一个为单位增加。最后一个包中包含依据3D音频采样的全部声道数的8个或小于8个的音频声道数。
存在用于3D音频采样包的仅为5个的有效的采样存在(sample_present)比特。
[表24-用于3D音频传输器(transmission)的有效采样存在比特配置(ValidSample_Present Bit Configurations)]
图11和图12为表示3D音频信号的传送时序(Timing)的图。
从图11和图12中可知在水平消隐区间(horizontal Blanking Interval)内传送3个8声道2D音频信号采样。24声道的3D音频信号是在相同的期间内传送一个采样。
多音频数据分组化(Multi-Audio Data Packetization)
为了单AV流传输,MHL使MHL源装置同时传送音频流。多数音频流与单视图或多视图视频流传输(例如,对应于每一个视图具有不同音频的双视图游戏)中的一个相关联。辅助音频模式可表示画面分离标记(即,画面的其他部分被标记,并与其本身的音频流相关联)、语言代码、或者为视觉/听觉障碍者设计的音频。各个音频流与一个视图模式相关联,且最多包括2个音频声道。
多流音频采样包的各个子包可包括由0个或一个通过IEC60958定义的IEC60958或者IEC61937“块(Block)”的“帧”。
当有四个以上的需要传送的音频流时,两个或多于两个的连续的多音频采样包是为了传送多个音频流而使用。通过序列号字段来识别包排列内的各包的顺序。MHL源装置在单AV流内最多可以同时传送16个独立音频流。
表25和26表示当MHL源装置通过单视图视频流传输来传送四个音频流时,多音频采样包与多音频元数据包的布局之例。多音频元数据包说明各个音频流的特征(辅助信息、语言)。
表27和28表示当MHL源装置以双视图视频流传输来传送8个音频流时,多音频采样包与多音频元数据包的布局之例。多音频元数据包说明各个音频流的特征(相关视图、辅助信息、语言)。
表29和30表示当MHL源装置凭借使单视图视频流传输得以实现的画面分离标记选项而传送六个音频流时,多音频采样包与多音频元数据包的布局之例。
[表25-以单视图模式传送4个音频流时的多音频采样包布局之例]
包# 序列号 流数 子包0 子包1 子包2 子包3
0 0 4 流1(声道1、2) 流2(声道1、2) 流3(声道1、2) 流4(声道1、2)
[表26-多音频元数据包布局之例(表25中的相关包)]
用于HI的音频:为听觉障碍设计的音频流
用于VI的音频:为视觉障碍设计的音频流
[表27-以双视图模式传送8个音频流时的多音频采样包布局之例]
[表28-多音频元数据包布局之例(表27中的相关包)]
用于HI的音频:为听觉障碍设计的音频流
用于VI的音频:为视觉障碍设计的音频流
[表29-以画面分离标记(在单视图中)模式传送6个音频流时的多音频采样包布局之例]
[表30-多音频元数据包布局之例(表29中的相关包)]
用于HI的音频:为听觉障碍设计的音频流
用于VI的音频:为视觉障碍设计的音频流
3D音频元数据分组化
每当传送有效3D音频流时,每隔至少两个视频字段而传送一次正确的3D音频元数据包。
当新的3D音频流开始时,或者是可基于3D音频元数据包和音频信息帧表示的3D音频流中存在变化时,修正的正确的3D音频元数据包是在伴随于最初受影响的非无声(non-silent)音频采样的一个视频帧之前被传送。优先地,是紧接着最初受影响的音频采样被传送之前发生。
3D音频元数据包的传送可在包含水平/垂直消隐区间的数据平台区间内随时发生。
当3D音频被流传输(Streaming)时,MHL信宿装置在音频信息帧中忽略CC和CA字段,代之以在3D音频元数据包中参考3D_CC和3D_CA。
多音频元数据分组化
每当传送有效多音频流时,每隔至少两个视频字段而传送一次正确的多音频元数据包。
当新的多音频流开始时,或者是可基于多音频元数据包和音频信息帧表示的多音频流中存在变化时,修正的正确的多音频元数据包是在伴随于最初受影响的非无声(non-silent)音频采样的一个视频帧之前被传送。优先地,是在最初受影响的音频采样被传送之前发生。
多音频元数据包的传送可在包含水平/垂直消隐区间的数据平台区间内随时发生。
用于支持3D/多音频的WRITE_BURST(写入)的使用
如表30和31所示,对3D音频模式的支持是利用格式化的一系列WRITE_BURST移动而表现。
[表31-WRITE_BURST中的MHL3D音频描述符(3D_AD)]
[表32-用于音频格式代码的3D音频描述符=1(LPCM)]
[表33-用于音频格式代码2至8的3D音频描述符]
[表34-用于音频格式代码9至13的3D音频描述符]
[表35-用于音频格式代码14(WMA Pro)的3D音频描述符]
[表36-用于音频格式代码15(扩展)的3D音频描述符]
[表37-WRITE_BURST中的MHL3D声道/扬声器配置描述符(3D_CSAD)]
[表38-用于10.2声道的3D声道扬声器配置描述符]
加粗的文字表示与10.2声道相关的指定扬声器。
[表39-用于22.2声道的3D声道扬声器配置描述符]
加粗的文字表示与22.2声道相关的指定扬声器。
[表40-用于30.2声道的3D声道扬声器配置描述符]
加粗的文字表示与30.2声道相关的指定扬声器。
[表41-3D_CAST(3D音频声道配置标准类型)字段]
链路控制总线(Link Control Bus)
设备寄存器变更中断(Device Register Change Interrupt)
[表42-寄存器变更中断详情]
为了请求MHL信宿装置提供3D音频支持信息,3D_AUD_REQ被MHL源装置所使用。参照MHL规范6.14。
Burst_ID代码
[表43-BURST_ID代码]
符号 描述 备注
3D_VIC 0x0010 表示用于3D的视频索引码 1
3D_DTD 0x0011 表示用于3D的详细时序描述符 1
3D_AD 0x0101 表示用于3D音频的3D音频描述符 2
3D_CSAD 0x0110 表示用于3D音频的3D声道/扬声器配置描述符 2
3D_AD和3D_CSAD在表现音频扩展支持方面被MHL信宿装置所使用。参考MHL规范7.XX。
控制与构成(Control and Configuration)
扩展的设备性能寄存器(Extended Device Capability Register)
信宿装置可向源装置提供扩展的设备性能寄存器。换言之,源装置可读取信宿装置的扩展的设备性能寄存器。
如下表所示,在MHL规范中可将扩展的设备性能寄存器的地址0x85使用于表示信宿装置所支持的多音频模式。
[表44-扩展的设备性能寄存器名及定义]
地址 扩展的设备性能寄存器名 定义
0x80 ECBUS_SPEEDS eCBUS频率
0x81 TMDS_SPEEDS TMDS频率
0x82 ECBUS_TDM_SUPPORTED 支持的eCBUS TDM声道数
0x83 ECBUS_USB_ROLES 表示由设备支持的USB功能
0x84 CABLE_REPORT 表示在信宿中检测到的电缆类型
0x85 MULTI_AUD_MODE 表示得到信宿的支持的多音频模式
多音频模式(Multi-Audio Mode)
各信宿装置可将支持的特定多音频模式显示于注册的多音频模式(MULTI_AUD_MODE)。
多音频模式寄存器包含画面分离音频字段(Split Screen Audio Field),所述画面分离音频字段表示信宿装置是否支持与画面分离相关的多音频的接收与处理。
[表45-MULTI_AUD_MODE寄存器详情]
在装置没有能力支持多视图视频流的情况下,该字段被设定为0。
图13为表示根据本发明的一个实施例的数据收发系统1000-3的模块图的图。
参照图13,根据本发明的一个实施例的数据收发系统1000-3包括数据传送装置100-3和数据接收装置200-3。
所述数据传送装置100-3将包含有针对音频数据而得到信宿装置的支持的特征信息的设备性能信息块(Device Capability Information Block)传送给所述数据接收装置200-3。
图14为表示根据本发明的一个实施例的数据传送装置100-3的构成的模块图。
参照图14,根据本发明的一个实施例的数据传送装置100-3包括生成单元130和传送单元120。
生成单元130用于生成包含有针对音频数据而得到信宿装置的支持的特征信息的设备性能信息块。
所述设备性能信息块可包括用于表示所述信宿装置是否支持与画面分离相关的多音频的接收及处理的画面分离音频字段(Split Screen Audio Field)。
传送单元120将所述设备性能信息块传送给数据接收装置200-3。
图15为表示根据本发明的一个实施例的数据接收装置200-3的构成的模块图。
参照图15,根据本发明的一个实施例的数据接收装置200-3包括接收单元210和分析单元230。
接收单元210从所述数据传送装置100-3接收设备性能信息块。
分析单元230对接收的设备性能信息块进行分析。
所述设备性能信息块中包含有针对音频数据而得到信宿装置的支持的特征信息。具体而言,所述设备性能信息块可包括用于表示所述信宿装置是否支持与画面分离相关的多音频的接收及处理的画面分离音频字段。
多流音频(Multi-Stream Audio)
以下,对根据本发明的多种实施例的多流音频进行说明。以下说明的多流音频传送规范可应用于包括HDMI、MHL的多种有线/无线传送接口。
本发明的源装置可同时传送4个音频流。针对多流音频采样包(Multi-stream Audio Sample Packet),所有音频流共享一个音频信息帧(Infoframe)。
根据本发明的多种实施例的有线接口可增加对单视图视频流传输的支持(例如,支持多语言或用于视觉/听觉障碍者的音频等)。这可以通过修正音频元数据包或者修正HDMI音频数据块(HDMI Audio Data Block)而进行。
例如,如下表46所示,多流音频可支持多种语言,且可以用2声道支持音频。
[表46-用于单视图的多流音频支持概要]
方案(Scenario)
以下的表用于表示可执行的方案。
[表47-多流音频采样包的情形]
如果是具有4个子包的多流音频采样包,则有:
(1)当与用于单视图的音频描述(audio description)一同有单TV节目被传送时,流0可包含正常(normal)音频信号,而流1可包含为视觉障碍者设计的音频描述信号。
(2)当在所述单视图中支持两个国家语言时,将由所支持的语言构成的2个音频信号流以及与之分别对应的音频描述一并进行传送。例如在支持英语和韩语的情况下,流0可包含韩语普通音频信号,流1可包含用于视觉障碍者的韩语音频描述信号,流2可包含英语普通音频信号,流3可包含用于视觉障碍者的英语音频描述信号。
(3)在单视图中也可以传送由一种语言构成的一个音频信号流以及与之对应的由不同语言支持的面向视觉障碍者的两个音频描述信号。例如,流0可包含韩语或英语普通音频信号,流1可包含用于视觉障碍者的韩语音频描述信号,流2可包含用于视觉障碍者的英语音频描述信号。
(4)还可以由源装置传送用于多视图的音频信号。在支持双视图的情况下,最基本的形态就是将对应于各视图的音频信号通过一个传送流进行传送。对于双视图而言,包含单独的第一视图和第二视图,且各视图提供单独的内容。
(5)针对各视图可支持2个国家语言。在此情况下,可分别传送针对第一视图的由第一语言构成的音频信号流、针对第一视图的由第二语言构成的音频信号流、针对第二视图的由第一语言构成的音频信号流、以及针对第二视图的由第二语言构成的音频信号流。例如在支持英语和韩语的情况下,流0可包含针对第一视图的韩语音频信号,流1可包含针对第一视图的英语音频信号,流2可包含针对第二视图的韩语音频信号,而流3可包含针对第二视图的英语音频信号。
(6)对于双视图而言,某一个视图还可以传送面向视觉障碍者的音频描述信号。即,可分别传送针对第一视图的音频信号流、针对第二视图的正常音频信号流、以及针对第二视图的用于视觉障碍者的音频描述信号流。例如,流0可包含针对第一视图的音频信号,流1可包含针对第二视图的音频信号,而流3可包含针对第二视图的音频描述信号。
(7)一个流还可以用于传送通用音频信号。即,可分别传送针对第一视图和第二视图的通用音频信号流、第一视图专用音频流、以及第二视图专用音频流。在此情况下,在接收端中将通用音频流与专用音频流进行复用(Muxing)而输出。这种方案适用于游戏。例如,流0可包含对第一视图和第二视图的通用音频信号(例如背景音、推进引导语音等),流1可包含对第一视图的专用音频信号,而流2可包含对第二视图的专用音频信号。
音频元数据包(Audio Metadata Packet)
源装置将音频元数据包传送给信宿装置,从而告知被传送的音频规格。在此,音频元数据包的头具有如下结构。
[表48-音频元数据包的头]
对各字段进行如下说明。
3D音频字段(3D_AUDIO)[1bit]:当3D_AUDIO=1时,音频元数据包中包含3D音频声道计数(3D Audio Channel count:3D_CC字段,参考下面的表)以及声道/扬声器分配信息(ACAST:Audio Channel Allocation StandardType,参考下面的表)字段。当源传送3D音频包时,这些字段将被设定为1。
视图个数字段(NUM_VIEWS)[2bits]:表示视图的个数。如果NUM_VIEWS=00,则支持单视图视频流传输。如果NUM_VIEWS=01,则支持双视图视频流传输。这一模式只在VSIF中的3D_DualView=1的情况下得到允许。对于其余的NUM_VIEWS值,则是为了将来的使用而保留。
音频流个数字段(NUM_AUDIO_STR)[2bits]:表示音频流的个数-1。如果NUM_AUDIO_STR=01、10或11,则音频元数据包最多可包含4个音频元数据描述符(audio metadata descriptor),且分别对应于音频流。
[表49-有效组合]
下面的表用来表示用于3D音频的音频元数据包的净荷。当3D_Audio=1时,元数据包净荷具有如下结构。
[表50-音频元数据包净荷(3D_AUDIO==1)]
即,包括:3D_CC字段,表示3D音频声道计数信息;ACAST字段,表示源所提供的音频声道分配标准类型。
表51表示基于3D_CC值的音频声道,表52表示基于ACAST值的音频声道分配标准类型。
[表51-3D_CC字段]
[表52-音频声道分配标准类型字段]
下面的表用来表示用于多流音频的音频元数据包的净荷。当3D_Audio=0时,元数据包净荷具有如下结构。
[表53-音频元数据包净荷(3D_AUDIO==0)]
字节/比特# 7  6  5  4  3  2  1  0
PB0~PB4 Audio_Metadata_Descriptor(音频元数据描述符)_0
PB5~PB9 Audio_Metadata_Descriptor_1
PB10~PB14 Audio_Metadata_Descriptor_2
PB15~PB19 Audio_Metadata_Descriptor_3
PB20~PB27 保留(0)
如上面的表53所示,音频元数据包的净荷分别包含每一个为5字节的音频元数据描述符(Audio_Metadata_Descriptor)。音频元数据描述符(4字段,各5字节)在多流音频采样包中表示针对子包X的音频元数据,或者在多流单比特音频采样包(Multi-stream One Bit Audio Sample Packet)中表示针对子包X的音频元数据。音频元数据描述符的结构将在下面说明。
[表54-音频元数据描述符(在多流ASP中,针对子包X)]
对各字段进行如下说明。
紧急声道字段(Emergency_Channel)[1bit]:当Emergency_Channel=1时,对应的音频流传送紧急警报音频数据。接收装置可通过脚本(Script)等而告知有紧急广播,而用户可通过音频选择而输出所接收的紧急警报音频信号。
多视图字段(左侧)(Multiview_Left)[1bit]:如果Multiview_Left=1,则对应的音频流在3D视频格式中映射于左侧立体图像。如果Multiview_Left=0,则该字段只有在NUM_VIEWS=01的情况下才有效。
多视图字段(右侧)(Multiview_Right)[1bit]:如果Multiview_Right=1,则对应的音频流在3D视频格式中映射于右侧立体图像。如果Multiview_Right=0,则该字段只有在NUM_VIEWS=01的情况下才有效。
语言代码有效字段(LC_Valid)[1bit]:如果LC_Valid=1,则语言代码(Language_Code)有效,并能够正确识别对应的音频流的语言。否则认为对应的音频流的语言没有明示。
辅助音频有效字段(Suppl_A_Valid)[1bit]:如果Suppl_A_Valid=1,则对应的音频流包含通过Suppl_A_Type示出的辅助音频轨道(supplementalaudio track)。
预混辅助音频字段(Suppl_A_Mixed)[1bit]:如果Suppl_A_Mixed=1,则对应的音频流可包含主音频组件以及通过Suppl_A_Type而出现的预混辅助音频轨道(pre-mixed supplemental audio track)。该比特只在Suppl_A_Valid=1的情况下才有效。
辅助音频类型字段(Suppl_A_Type)[3bits]:表示在下面的表中定义的辅助音频类型。该字段只在Suppl_A_Valid=1的情况下才有效。表55表示辅助音频类型字段值的描述。
语言代码(Language_Code)[3Bytes]:识别对应的音频流的语言。语言代码是在ISO639中定义。另外,设置有3字符代码,末尾字符代码与音频元数据描述符X(Audio_Metadata_Descriptor_X)的末尾字节一致。该字段只在LC_Valid=1的情况下才有效。
[表55-SUPPL_A_TYPE字段]
音频数据块(Audio Data Block)
下表为表示EDID(Extended Display Identification Data,扩展显示识别数据)的音频数据块的表。下表中的3-4字节部分将在其后的表中重新定义。
而且,删除用于多流音频的新的缩略音频描述符(Short Audio Descriptor:SAD),并使用EDID中定义的正常(normal)SAD而将其取代。根据附加的内容,可传送多至2个的声道。
[表56-HDMI音频数据块]
以下的表用于表示取代所述音频数据块的3-4字节的块的构成。
以下的表用于表示取代所述音频数据块的3-4字节的块的构成。
[表57-HDMI音频数据块的3-4字节]
对各字段进行如下说明。
紧急声道字段(Supports_MS_Emergency)[1bit]:如果Supports_MS_Emergency=1,则信宿装置支持接收并处理紧急警报音频声道。如果Supports_MS_Emergency=0,则信宿装置不会支持这样的特征。
音频混合字段(Supports_MS_Mix)[1bit]:如果Supports_MS_Mix=1,则信宿装置支持将主音频与辅助音频(supplementary audio)进行合成。如果Supports_MS_Mix=0,则信宿装置不支持这样的合成,而只支持再现经混合的音频。
辅助音频支持字段(Supports_MS_Supple)[1bit]:如果Supports_MS_Supple=1,则信宿装置支持具有面向视觉/听觉障碍者的辅助音频轨道的多流音频。如果Supports_MS_Supple=0,则什么也不表示或者表示信宿装置不支持用于视觉/听觉障碍者的辅助音频轨道。
语言支持字段(Supports_MS_Lang)[1bit]:如果Supports_MS_Lang=1,则信宿装置支持具有多语言音频流的多流音频。如果Supports_MS_Lang=0,则什么也不表示或者表示信宿装置不支持多语言音频流。
多视图音频支持字段(Supports_MS_MultiView)[1bit]:如果Supports_MS_MultiView=1,则信宿装置支持用于多视图视频流传输的多流音频。如果Supports_MS_MultiView=0,则什么也不表示或者表示信宿装置不支持用于多视图视频流的多流音频。
最大流数字段(Max_Stream_Count-1)[2bits]:表示信宿装置能够处理的最大音频流个数。将Max_Stream_Count-1的值示于下表。
音频描述符个数字段(NUM_HDMI_3D_AD)[3bits]:表示3D音频描述符的个数。
[表58-最大流数字段]
最大流数 描述
00 不支持多流音频
01 2音频流
10 3音频流
11 4音频流
另外,根据本发明的多种实施例的有线接口可支持四视图内容的传送。为了四视图的传送,可利用HDMI有线接口标准的3D视频格式标准。
图16a~16c为表示以3D接口格式传送四视图视频内容时的多种数据传送格式的图。
而且,在此情况下可以修正供应商特定信息帧和供应商特定数据块。具体而言,将用于定义现有的3D双视图的字段扩展到保留区域。
[表59-VSIF(包主体)]
[表60-NUM_VIEWS(Rsvd+3D_DualView)]
[表61-VSDB]
以下对根据本发明的多种实施例的数据传送方法和接收方法进行说明。
图17为根据本发明的一个实施例的数据传送方法的流程图,图18为根据本发明的一个实施例的数据接收方法的流程图。
参照图17,根据本发明的一个实施例的数据传送方法包括:生成音频元数据包的步骤S1710;将生成的所述音频元数据包传送给数据接收装置的步骤S1720。在此,生成的所述音频元数据包的头包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段。
在此,所述画面分离信息字段可包括用于表示是否支持画面分离的画面分离有效字段和用于表示与传送的音频数据相关的分离画面类型的分离画面类型字段中的至少一种。
而且,所述分离画面类型字段可示出使显示画面左右分离的第一分离模式、使所述显示画面上下分离的第二分离模式、在所述显示画面内显示PIP画面(画中画)的第三分离模式、以及使所述显示画面分离为3个以上的第四分离模式中的一种模式。
并且,生成的所述音频元数据包的头还可以包括用于表示传送的内容究竟是多视图内容还是单视图内容的视图类型字段(View Type Field)、用于表示所述音频元数据包的序列号的序列号字段(Sequence Number Field)、以及用于表示被传送的音频流的个数信息的音频流个数字段(Number Of AudioStream Field)中的至少一种。
而且,生成的所述音频元数据包的净荷(payload)可包括用于表示关于多音频采样包(Multi Audio Sample Packet)的子包的元数据的多音频描述符字段(Multi Audio Descriptor Field)。
并且,所述多音频描述符字段可包括如下字段中的至少一种:画面分离标记字段(Split Screen Tag Field),表示对应于生成的所述音频元数据包所表示的音频数据的分离的画面信息;相关视图识别字段(Associated View IDField),表示对应于生成的所述音频元数据包所表示的音频数据的视图;有效语言代码字段(Valid Language Code Field),表示所述多音频描述符字段是否包含有效的语言代码;混合音频字段(mixed Audio Field),表示主音频数据与辅助音频数据是否预混(pre-mixed);SAT存在字段(SAT Present Field),表示所述多音频描述符字段是否包含关于有效的辅助音频数据类型的信息;辅助音频类型字段(Supplemental Audio Type Field),表示用于生成的所述音频元数据包所表示的音频数据的辅助音频数据类型;语言代码字段(LanguageCode Field),表示生成的所述音频元数据包所表示的音频数据的以ISO639进行定义的语言代码。
参照图18,根据本发明的一个实施例的数据接收方法包括:从数据传送装置接收音频元数据包的步骤S1810;对接收的所述音频元数据包进行解析的步骤S1820,其中,接收的所述音频元数据包的头包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段。
并且,所述画面分离信息字段可包括用于表示是否支持画面分离的画面分离有效字段和用于表示与传送的音频数据相关的分离画面类型的分离画面类型字段中的至少一种。
而且,所述分离画面类型字段可示出使显示画面左右分离的第一分离模式、使所述显示画面上下分离的第二分离模式、在所述显示画面内显示PIP画面(画中画)的第三分离模式、以及使所述显示画面分离为3个以上的第四分离模式中的一种模式。
并且,生成的所述音频元数据包的头还可以包括用于表示传送的内容究竟是多视图内容还是单视图内容的视图类型字段(View Type Field)、用于表示所述音频元数据包的序列号的序列号字段(Sequence Number Field)、以及用于表示传送的音频流的个数信息的音频流个数字段(Number Of AudioStream Field)中的至少一种。
而且,生成的所述音频元数据包的净荷(payload)可包括用于表示关于多音频采样包(Multi Audio Sample Packet)的子包的元数据的多音频描述符字段(Multi Audio Descriptor Field)。
图19为根据本发明的另一实施例的数据传送方法的流程图,图20为根据本发明的另一实施例的数据接收方法的流程图。
参照图19,根据本发明的另一实施例的数据传送方法包括:生成包含有关于多音频流的多个子包的包的步骤S1910;将生成的所述包传送给数据接收装置的步骤S1920,其中,生成的所述包的头包含用于从全体包中识别生成的所述包的顺序的序列号字段。
参照图20,根据本发明的另一实施例的数据接收方法包括:接收包含有关于多音频流的多个子包的包的步骤S2010;对接收的所述包进行解析的步骤S2020,其中,接收的所述包的头包含用于从全体包中识别生成的所述包的顺序的序列号字段。
图21为根据本发明的又一实施例的数据传送方法的流程图,图22为根据本发明的又一实施例的数据接收方法的流程图。
参照图21,根据本发明的又一实施例的数据传送方法包括:生成包含有针对音频数据而得到信宿装置的支持的特征信息的设备性能信息块的步骤S2110;向数据接收装置传送所述设备性能信息块的步骤S2120,其中,所述设备性能信息块包含用于表示所述信宿装置是否支持与画面分离相关的多音频的接收及处理的画面分离音频字段。
参照图22,根据本发明的又一实施例的数据接收方法包括:接收包含有针对音频数据而得到信宿装置的支持的特征信息的设备性能信息块的步骤S2210;对接收的所述设备性能信息块进行分析的步骤S2220,其中,所述设备性能信息块包含用于表示所述信宿装置是否支持与画面分离相关的多音频接收及处理的画面分离音频字段。
以上已对本发明的优选实施例进行了图示和说明,然而本发明并不局限于所述的特定实施例,本发明所属技术领域中具有普通知识的人员当然能够在不脱离权利要求书中请求保护的本发明主旨的范围内加以多种变形实施,不应抛开本发明的技术思想或展望而独立地看待那些变形实施。

Claims (14)

1.一种数据传送装置,包括:
包生成单元,生成音频元数据包;
传送单元,将生成的所述音频元数据包传送给数据接收装置,
其中,生成的所述音频元数据包的头包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段。
2.如权利要求1所述的数据传送装置,其特征在于,所述画面分离信息字段包括如下字段中的至少一种:
画面分离有效字段,表示是否支持画面分离;
分离画面类型字段,表示与传送的音频数据相关的分离画面类型。
3.如权利要求2所述的数据传送装置,其特征在于,所述分离画面类型字段用于表示使显示画面左右分离的第一分离模式、使所述显示画面上下分离的第二分离模式、在所述显示画面内显示PIP画面的第三分离模式、以及使所述显示画面分离为3个以上的第四分离模式中的一种模式。
4.如权利要求1所述的数据传送装置,其特征在于,生成的所述音频元数据包的头还包括如下字段中的至少一种:
视图类型字段,表示传送的内容究竟是多视图内容还是单视图内容;
序列号字段,表示所述音频元数据包的序列号;
音频流个数字段,表示被传送的音频流的个数信息。
5.如权利要求1所述的数据传送装置,其特征在于,生成的所述音频元数据包的净荷包括用于表示关于多音频采样包的子包的元数据的多音频描述符字段。
6.如权利要求5所述的数据传送装置,其特征在于,所述多音频描述符字段包括如下字段中的至少一种:
画面分离标记字段,表示对应于生成的所述音频元数据包所表示的音频数据的分离的画面信息;
相关视图识别字段,表示对应于生成的所述音频元数据包所表示的音频数据的视图;
有效语言代码字段,表示所述多音频描述符字段是否包含有效的语言代码;
混合音频字段,表示主音频数据与辅助音频数据是否预混;
SAT存在字段,表示所述多音频描述符字段是否包含关于有效的辅助音频数据类型的信息;
辅助音频类型字段,表示用于生成的所述音频元数据包所表示的音频数据的辅助音频数据类型;
语言代码字段,表示生成的所述音频元数据包所表示的音频数据的以ISO639进行定义的语言代码。
7.一种数据接收装置,包括:
接收单元,从数据传送装置接收音频元数据包;
解析单元,对接收的所述音频元数据包进行解析,
其中,接收的所述音频元数据包的头包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段。
8.一种数据收发系统,包括:
数据传送装置,生成音频元数据包而传送给数据接收装置;
数据接收装置,从所述数据传送装置接收所述音频元数据包,
其中,所述音频元数据包的头包含与所述音频元数据包所表示的音频数据相关的画面分离信息字段。
9.一种数据传送装置,包括:
包生成单元,生成包含有关于多音频流的多个子包的包;
传送单元,将生成的所述包传送给数据接收装置,
其中,生成的所述包的头包含用于从全体包中识别生成的所述包的顺序的序列号字段。
10.一种数据接收装置,包括:
接收单元,接收包含有关于多音频流的多个子包的包;
解析单元,对接收的所述包进行解析,
其中,接收的所述包的头包含用于从全体包中识别生成的所述包的顺序的序列号字段。
11.一种数据收发系统,包括:
数据传送装置,生成关于多音频流的多个子包而传送给数据接收装置;
数据接收装置,从所述数据传送装置接收所述多个子包,
其中,所述包的头包含用于从全体包中识别生成的所述包的顺序的序列号字段。
12.一种数据传送装置,包括:
生成单元,生成包含有针对音频数据而得到信宿装置的支持的特征信息的设备性能信息块;
传送单元,向数据接收装置传送所述设备性能信息块,
其中,所述设备性能信息块包含用于表示所述信宿装置是否支持与画面分离相关的多音频的接收及处理的画面分离音频字段。
13.一种数据接收装置,包括:
接收单元,接收包含有针对音频数据而得到信宿装置的支持的特征信息的设备性能信息块;
分析单元,对接收的所述设备性能信息块进行分析,
其中,所述设备性能信息块包含用于表示所述信宿装置是否支持与画面分离相关的多音频接收及处理的画面分离音频字段。
14.一种数据收发系统,包括:
数据传送装置,将包含有针对音频数据而得到信宿装置的支持的特征信息的设备性能信息块传送给数据接收装置;
数据接收装置,从所述数据传送装置接收所述设备性能信息块,
其中,所述设备性能信息块包含用于表示所述信宿装置是否支持与画面分离相关的多音频接收及处理的画面分离音频字段。
CN201410105496.9A 2013-03-15 2014-03-17 数据收发装置、数据收发系统以及数据收发方法 Expired - Fee Related CN104053040B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361789803P 2013-03-15 2013-03-15
US61/789,803 2013-03-15
US201361802807P 2013-03-18 2013-03-18
US61/802,807 2013-03-18
KR1020140025030A KR102201826B1 (ko) 2013-03-15 2014-03-03 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법 및 데이터 수신 방법
KR10-2014-0025030 2014-03-03

Publications (2)

Publication Number Publication Date
CN104053040A true CN104053040A (zh) 2014-09-17
CN104053040B CN104053040B (zh) 2019-05-10

Family

ID=50287935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410105496.9A Expired - Fee Related CN104053040B (zh) 2013-03-15 2014-03-17 数据收发装置、数据收发系统以及数据收发方法

Country Status (4)

Country Link
US (1) US9723245B2 (zh)
EP (1) EP2779577B1 (zh)
CN (1) CN104053040B (zh)
WO (1) WO2014142626A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013122386A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122385A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
CN112235094B (zh) * 2015-06-22 2024-05-17 凝聚技术股份有限公司 辛正交时频空间调制系统
US10205906B2 (en) 2016-07-26 2019-02-12 The Directv Group, Inc. Method and apparatus to present multiple audio content
CN106686423B (zh) 2016-12-30 2018-03-20 惠科股份有限公司 一种多画面显示方法及显示装置
US10706859B2 (en) 2017-06-02 2020-07-07 Apple Inc. Transport of audio between devices using a sparse stream
CN109167750B (zh) * 2018-07-06 2021-06-18 北京金山安全软件有限公司 一种数据包传输方法、装置、电子设备及存储介质
US11012750B2 (en) * 2018-11-14 2021-05-18 Rohde & Schwarz Gmbh & Co. Kg Method for configuring a multiviewer as well as multiviewer
CN113867853A (zh) * 2020-06-30 2021-12-31 北京小米移动软件有限公司 应用程序的显示方法、装置及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179283A1 (en) * 2002-03-20 2003-09-25 Seidel Craig Howard Multi-channel audio enhancement for television
KR20050047608A (ko) * 2003-11-18 2005-05-23 주식회사 대우일렉트로닉스 Pip시스템의 주화면 및 부화면 오디오의 동시 청취시스템
CN101325701A (zh) * 2008-07-25 2008-12-17 北京声迅电子有限公司 用于硬盘录像机和视频服务器的avs编码网络传输方法
US20100088406A1 (en) * 2008-10-08 2010-04-08 Samsung Electronics Co., Ltd. Method for providing dynamic contents service by using analysis of user's response and apparatus using same
CN102160374A (zh) * 2008-10-09 2011-08-17 松下电器产业株式会社 视频音频发送装置以及视频音频接收装置
CN102572454A (zh) * 2005-08-25 2012-07-11 索尼株式会社 播放设备、播放方法、程序、程序存储介质、数据结构,以及记录介质制造方法
CN102629997A (zh) * 2011-02-03 2012-08-08 索尼公司 控制设备、控制设备的声音切换方法和程序
CN102763364A (zh) * 2008-04-30 2012-10-31 韩国电子通信研究院 使用超级帧收发多信道音频信号的方法及装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001006688A1 (en) * 1999-07-14 2001-01-25 Matsushita Electric Industrial Co., Ltd. Apparatus for providing information, information receiver and storage medium
US8166503B1 (en) 2001-08-28 2012-04-24 Music Choice Systems and methods for providing multiple video streams per audio stream
US8296800B2 (en) 2001-12-17 2012-10-23 Cox Communications, Inc. System and method for providing access to interactive features of electronic program guides from within promotional programming
JP2003319339A (ja) 2002-04-24 2003-11-07 Pioneer Electronic Corp 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
KR100486713B1 (ko) 2002-09-17 2005-05-03 삼성전자주식회사 멀티미디어 스트리밍 장치 및 방법
US7227899B2 (en) 2003-08-13 2007-06-05 Skystream Networks Inc. Method and system for re-multiplexing of content-modified MPEG-2 transport streams using interpolation of packet arrival times
US7509182B2 (en) 2004-12-14 2009-03-24 Intel Corporation Providing multiple audio streams to an audio device as a single input
US7735111B2 (en) 2005-04-29 2010-06-08 The Directv Group, Inc. Merging of multiple encoded audio-video streams into one program with source clock frequency locked and encoder clock synchronized
CN101702323B (zh) * 2005-08-09 2011-09-07 松下电器产业株式会社 记录介质,重放设备、方法及程序
KR20050092688A (ko) 2005-08-31 2005-09-22 한국정보통신대학교 산학협력단 통합 멀티미디어 파일 포맷 구조와 이를 기반으로 하는멀티미디어 서비스 제공 시스템 및 그 방법
US8270641B1 (en) 2005-10-25 2012-09-18 Pixelworks, Inc. Multiple audio signal presentation system and method
US20070253677A1 (en) 2006-04-26 2007-11-01 Kang-Yu Wang System for simultaneous playback of multiple video angles from multimedia content onto a display device and method thereof
JP2008005112A (ja) 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd ストリームエンコーダ及びストリームデコーダ
WO2008102732A1 (ja) 2007-02-19 2008-08-28 Kabushiki Kaisha Toshiba データ多重化/分離装置
EP2148326B1 (en) 2007-04-17 2013-08-14 Panasonic Corporation Communication system
KR100942142B1 (ko) 2007-10-11 2010-02-16 한국전자통신연구원 객체기반 오디오 콘텐츠 송수신 방법 및 그 장치
JP4874284B2 (ja) 2008-03-27 2012-02-15 パナソニック株式会社 デジタル放送受信装置
JP5531486B2 (ja) 2009-07-29 2014-06-25 ヤマハ株式会社 オーディオ機器
CN102685584A (zh) 2011-03-16 2012-09-19 鸿富锦精密工业(深圳)有限公司 机顶盒、耳机及影音播放方法
US9398322B2 (en) 2011-04-27 2016-07-19 Time Warner Cable Enterprises Llc Multi-lingual audio streaming
US9088818B2 (en) 2011-06-21 2015-07-21 Harman International Industries, Incorporated Adaptive media delay matching
EP2571280A3 (en) * 2011-09-13 2017-03-22 Sony Corporation Information processing device and computer program
JP2012133369A (ja) 2011-12-26 2012-07-12 Allied Telesis Holdings Kk 音声・画像伝送用フレーム形成装置、音声・画像伝送用フレーム受信装置、音声・画像伝送用フレーム通信システム、音声・画像伝送用フレームおよびプログラム
WO2013122385A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122388A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmission apparatus, data receiving apparatus, data transceiving system, data transmission method and data receiving method
WO2013122386A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
US20140118616A1 (en) 2012-10-26 2014-05-01 Cox Communications, Inc. Systems and Methods of Video Delivery to a Multilingual Audience

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179283A1 (en) * 2002-03-20 2003-09-25 Seidel Craig Howard Multi-channel audio enhancement for television
KR20050047608A (ko) * 2003-11-18 2005-05-23 주식회사 대우일렉트로닉스 Pip시스템의 주화면 및 부화면 오디오의 동시 청취시스템
CN102572454A (zh) * 2005-08-25 2012-07-11 索尼株式会社 播放设备、播放方法、程序、程序存储介质、数据结构,以及记录介质制造方法
CN102763364A (zh) * 2008-04-30 2012-10-31 韩国电子通信研究院 使用超级帧收发多信道音频信号的方法及装置
CN101325701A (zh) * 2008-07-25 2008-12-17 北京声迅电子有限公司 用于硬盘录像机和视频服务器的avs编码网络传输方法
US20100088406A1 (en) * 2008-10-08 2010-04-08 Samsung Electronics Co., Ltd. Method for providing dynamic contents service by using analysis of user's response and apparatus using same
CN102160374A (zh) * 2008-10-09 2011-08-17 松下电器产业株式会社 视频音频发送装置以及视频音频接收装置
CN102629997A (zh) * 2011-02-03 2012-08-08 索尼公司 控制设备、控制设备的声音切换方法和程序

Also Published As

Publication number Publication date
EP2779577B1 (en) 2019-05-01
EP2779577A2 (en) 2014-09-17
CN104053040B (zh) 2019-05-10
US9723245B2 (en) 2017-08-01
EP2779577A3 (en) 2015-01-07
US20140267905A1 (en) 2014-09-18
WO2014142626A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
CN104053039B (zh) 数据收发装置、数据收发系统以及数据收发方法
CN104053040B (zh) 数据收发装置、数据收发系统以及数据收发方法
JP5216092B2 (ja) メタデータをデジタルプログラムストリームにエンコードするための方法及び装置
CN103269475B (zh) 数据收发设备和数据收发方法
CN103269476A (zh) 数据收发设备和数据收发系统
US20210058669A1 (en) Transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items
CA3003686C (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
KR102201826B1 (ko) 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법 및 데이터 수신 방법
KR102047800B1 (ko) 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법, 데이터 수신 방법 및 데이터 송수신 방법
KR20100072579A (ko) Dmb 기반의 다중화 장치와 방법 및 역다중화 장치와 방법
KR101435815B1 (ko) 방송 시스템 및 오디오 데이터 처리 방법
US20190028773A1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP6526892B2 (ja) 放送送信装置及び放送送信方法
KR20100060449A (ko) 수신 시스템 및 오디오 데이터 처리 방법
JP2004187319A (ja) データストリーム配信システム、第1データストリーム送出装置、第2データストリーム送出装置、データストリーム送出方法、及びそれらのプログラム並びにそれらのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190510