CN100578610C - 音频处理 - Google Patents

音频处理 Download PDF

Info

Publication number
CN100578610C
CN100578610C CN200480008912A CN200480008912A CN100578610C CN 100578610 C CN100578610 C CN 100578610C CN 200480008912 A CN200480008912 A CN 200480008912A CN 200480008912 A CN200480008912 A CN 200480008912A CN 100578610 C CN100578610 C CN 100578610C
Authority
CN
China
Prior art keywords
data
network
audio
digital
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200480008912A
Other languages
English (en)
Other versions
CN1768374A (zh
Inventor
M·康普顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of CN1768374A publication Critical patent/CN1768374A/zh
Application granted granted Critical
Publication of CN100578610C publication Critical patent/CN100578610C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)

Abstract

一种可连接到网络的网络接口装置，该装置配置为接收表示音频信号的数字音频数据，并将表示数字音频数据的数据包基本实时地发送到网络上，该装置包括：属性检测器，配置为产生表示音频信号属性的属性数据；以及打包器，可操作用于将数字音频数据格式化为要发送到网络上的音频数据包，并独立于音频数据包将属性数据格式化为要发送到网络上的属性数据包。

Description

音频处理
技术领域
本发明涉及处理音频数据。
背景技术
众所周知，使用交换装置(一般是交叉点交换机)将电视演播室中的视频和音频装置连接在一起。
在未决的英国专利申请0307426.7中，已经提出了一种通过用已知协议诸如互联网协议(IP)操作的交换局域网(例如以太网)来连接演播室内的音频和视频装置的系统。
演播室内使用的音频和视频装置包括摄像机、编辑器、音频混合器、磁带录像机(VTR)以及其它示例中的播放交换机。还众所周知的是，使用监视器观看正在播放的视频或在监视器上预览将用于播放的视频。
同样，操作者可以收听要播放的音频材料。然而，不同之处在于：尽管操作者可有效地在不同屏幕上或以单个屏幕上的平铺显示同时观看几个视频监视器，但是操作者不能有效地同时收听几个音频流。为了实现上述情况，需要与该操作者相关的网络节点处理很大的网络带宽，并且声音的混合结果可能会难以理解。因此，实际上，操作者必须从一个音频流切换到另一个音频流，以便监视流内容。
发明内容
本发明提供了一种可连接到网络的网络接口装置，该装置配置为接收表示音频信号的数字音频数据，并将表示数字音频数据的数据包基本实时地发送到网络上，该装置包括：
属性检测器，配置为产生表示音频信号属性的属性数据；以及打包器，可操作用于：
·将数字音频数据格式化为要发送到网络上的音频数据包；并
·将属性数据独立于音频数据包格式化为要发送到网络上的属性数据包。
本发明还提供了一种可连接到网络的网络目标装置，该装置可操作用于接收表示音频信号的音频数据包，并可操作用于接收携带表示音频信号属性的属性数据的属性数据包；该装置包括配置为提供表示属性数据当前值的用户指示的用户界面。
本发明认可操作者可希望同时监视几个音频流，但是(例如)在广播情况下，这可能只确保各数据流携带某些音频。
本发明提供了一种用于在网络源产生表示音频信号属性(例如电平)的属性数据。该属性数据以独立于携带音频数据的包的数据包发送到网络上。因此，网络接收器可选择性地只接收携带属性数据的数据包。
在接收器端，最好给操作者一个指示，诸如可视指示，以显示属性数据的当前状态。
该配置提供了几个优点：它使用户能够同时监视几个通道上存在的音频数据(及其属性)，并且它允许在该用户不必接收来自正被监视的每个源的全带宽音频数据的情况下实现这种功能。这后一点可显著降低例如广播网内的网络流量。
本发明的其它各方面和特征在所附权利要求书中定义。
附图说明
现将参考附图仅以示例方式来描述本发明的实施例，附图中：
图1是演播室内网络的示意性框图；
图2是显示通过网络的数据流的网络示意性简图；
图3是网络中使用的音频或视频包格式的示意图；
图4示意性示出了ENIC的部分功能；
图5示意性示出了音频和属性数据包；
图6示意性示出了属性数据包；
图7示意性示出了携带AES音频的RTP/BT.656包；
图8示意性示出了AES音频有效载荷子包的结构；
图9示意性示出了音频字的格式；
图10示意性示出了AES音频控制子包有效载荷的结构；以及
图11示意性示出了部分屏幕显示。
具体实施方式
参考图1，例如在演播室内建立网络。该网络包括多个源组AV装置，这些装置由三个摄像机S1到S3、三个磁带录像机(VT10)S4到S6、两个数字信号处理器(DSP)S7、S8以及两个仅产生串行数字音频数据的其它源组S9、S10组成。该网络还包括一组目标组AV装置，由视频交换机D8、一对监视器D2、一对音频处理器D3、视频处理器D9以及信号监视器D10组成。
以太网转接2影响源组装置和目标组装置之间的连接。所有的组装置S1到S10以及D1、D2、D3、D8、D9、D10通过至少一个增强网络接口卡(ENIC)NI1到NI12连接到网络，ENIC不同于标准的网络接口卡，并且在下文中对其结构和功能进行更详细描述。
该网络还包括由第一交换和路由客户机6、附加交换和路由客户机61以及网络管理器4组成的网络控制配置。用户可通过由计算机软件应用产生的图形用户界面(GUI)请求网络虚拟电路交换连接当前设置中的改变，在该配置中其被显示在与交换和路由客户机6相关联的监视器上。然而，在备选配置中，GUI显示在与网络管理器4相关联的监视器上。
该网络是包括以太网交换机2的以太网多播网络，该以太网交换机2是异步n千兆位以太网交换机2，例如n为1或10。连接到以太网交换机2的是包含源“组”S1到S10、目标“组”D1、D2、D3、D8、D9和D10以及网络控制配置的网络节点，在本示例中，其包含网络管理器4和交换和路由客户机6、61。
源组定义为诸如摄像机S1或磁带录像机(VTR)54的AV装置，其可操作用于产生或提供用于通过网络传输的音频和/或视频数据，该源组具有一个或多个输入终端和/或一个或多个输出终端。AV装置的每个输入/输出终端将连接到ENIC NI1到NI12中的一个的端口上。然而，同一AV装置的不同终端可连接到不同ENIC上，如图1中源组S1的情况下，该AV装置设有连接到ENIC NI1上的第一输出终端以及连接到ENIC NI2上的第二输出终端。目标组定义为诸如视频交换机D8、视频处理器D9或音频处理器D3的AV装置，其可操作用于通过网络接收打包的音频和/或视频数据，并在接收的数据上进行处理操作。与源组类似，目标组包括可连接到同一ENIC或不同ENIC不同端口的一个或多个输入和/或一个或多个输出。
要理解到，对于网络上的不同数据交换事件，目标组也可作为源，而源组也可作为目标。例如，VTR S4具有音频、视频、状态和代理源和/或与其相连的目标装置，并且对于数据交换事件涉及通过网络从VTR S4上的视频源装置向视频处理器D9输出数据的情况，VTRS4作为源组。不同的数据交换事件可包括VTR S4从摄像机S1接收数据，该数据已经由网络通过视频处理器D9路由，用于由VTR S4进行随后记录，在此情况下，在与VTR S4相关联的目标装置(ENIC输入终端)处从网络接收已处理的视频数据，以便随后以串行数字形式提供给VTR S4进行记录，因此在此情况下VTR S4作为目标组。
当AV装置本身表示源组S1到S10以及目标组D1、D2、D3、D8、D9、D10时，各组连接到一个或多个ENIC端口。ENIC端口将表示为“源装置”和“目标装置”。“源装置”定义为ENIC输出端口，其将打包数据输出到网络上或向目标组AV装置输出串行数字数据，而“目标装置”定义为ENIC输入端口，其从网络接收打包数据或从源组AV装置输出终端接收串行数字数据。ENIC的源装置和目标装置可与源组(AV装置)或目标组相关联，从该源组它们接收用于通过网络传输的数据，而它们将来自网络的数据传送到该目标组。网络管理器4持续追踪ENIC端口和AV装置之间的映射。
为了使能够连接到网络，各源组S1-S6以及各目标组D1、D2、D3、D8、D9、D10通过至少一个网络接口卡NI 1到12耦合到以太网交换机2。这些网络接口卡专门适于根据本技术通过网络传输音频和/或视频数据，并表示为ENIC(增强网络接口卡)。单个源或目标组可连接到多个ENIC，例如在图1的配置中，摄像机源组S1连接到两个不同的ENIC(即，NI1和NI2)。具体地说，源组的源装置(输出终端)和目标装置(输入终端)的一个子集连接到第一ENIC NI1，而另一个不同子集连接到第二ENIC NI2。各ENIC NI1到NI12可设有多个端口。ENIC的第一子集NI1到NI7的输入端口直接从源组诸如摄像机SI1到SI3、VTR S4到S6以及DSP SI7、SI8接收数据，并且那些ENIC的输出端口通过网络传输打包的数据，而ENIC的第二子集NI8到NI12的输入端口通过网络接收从其它源组得到的打包数据，而它们的输出端口向目标组诸如视频交换机D8和音频处理器D3提供串行数字音频和/或视频数据。
在常规演播室中，源组(例如摄像机)和目标组(例如视频处理器)通过交叉点交换机连接。常规的交叉点交换机需要将已知特定装置连接到交换机上相应的已知特定端口，以确保它们能通过交换机连接在一起。通过对比，图1包括以太网交换机2的网络由网络管理器4以及交换和路由客户机6来设置，以提供虚拟电路交换连接，该虚拟电路交换连接将交叉点交换机至少仿真到任一个或多个源组可连接到任一个或多个目标组的程度。虚拟电路交换连接通过在图1配置中使用已知协议、ICMP(互联网组管理协议)的网际协议(IP)多播网络的实现来促进。多播网络使能够通过网络从一个源装置向属于预定多播组的几个目标装置传输数据，并且IGMP提供了标识源装置或目标装置属于哪个多播组的方法。每个源装置和目标装置分配有标识符，并且预定源装置标识符和目标装置标识符与给定的多播地址相关联，以便定义虚拟连接。不像常规的交叉点交换网络，在图1的网络中，源装置和目标装置连接到的以太网交换机2的实际物理端口不相关，因为使用标识符和多播地址以及相关传输协议可灵活指定这些连接。
应该注意的是，在图1的示例配置中，网络操作如下：单一源装置应该仅属于一个不被任何其它源共享的多播组。至少一个目标装置通过加入源装置的多播组来接收来自该源装置的数据。给定目标装置加入多播组，以便通过发出多播组加入消息来接收来自相关源装置的数据。网络控制配置4、6、61通过向目标装置(即，向其中一个目标组AV装置的输入终端或相应ENIC终端)发送控制消息命令该装置向以太网交换机2发出加入适当源装置多播组的请求来启动各虚拟电路交换连接。多个目标装置可加入给定多播组，并且以太网交换机2执行从源装置传输到该多播组的所需数据复制。可由源装置传输到多播组的多个目标装置的数据包括视频数据、音频数据、时间码数据或状态数据。
ENIC允许在多播网络中使用未设计用于多播网络的任何源组(例如摄像机)和任何目标组(例如VTR)。ENIC是可被请求来提供并接收音频、视频以及控制数据流的“无声”装置。ENIC不能观看或启动网络设置的任何变化。相反，网络管理器4控制给定ENIC可预订哪个(或哪些)多播组，并指导ENIC向以太网交换机2发出请求，以加入这些多播组。虽然，在图1的配置中，ENIC NI1到NI12是与源组及与其相关联的目标组AV装置截然不同的实体，要理解到，在备选配置中，ENIC的功能性可集成在AV装置中。
每个ENIC具有相关以太网地址和IP地址。以太网地址是在LAN中指定物理地址的48位值，而IP地址(例如在IPv4中)是标识互联网上基于包的信息的每个发送器或接收器的32位值。以太网地址通常不同于IP地址，但两种地址可例如使用地址解析协议(ARP)彼此映射。IP地址需要使以太网交换机2能够向ENIC并从ENIC路由数据。使用多播地址和用户数据报协议(UDP)端口号标识与ENIC相关的各数据流。UDP是与IP一起通过网络传递数据通信的传输层协议。UDP提供端口号，以区别不同的事务请求(IP不提供这种服务)。在本实施例中，单个IP地址与各ENIC相关联。然而，在备选实施例中，多个IP地址可与单个ENIC相关联。除了以太网地址和IP地址，ENIC还设有相关ENIC标识符(ID)以及与ENIC相关联的各目标装置和源装置的多个端口ID。与各ENIC相关联的所有地址和ID都由网络管理器4记录。源装置和目标装置(即，网络节点装置S1-S8和D1、D2、D3、D8、D9、D10的各输入和输出)与ENIC的一个或多个物理输入和输出分别对应。ENIC作为将从交换机2接收的数据交换到ENIC的指定物理输出并将数据从指定物理输入交换到交换机2的交换机。
使用以太网交换机2实现的网络是异步的。然而，视频和音频数据需要同步处理。例如为了编辑，ENIC通过网络提供同步操作并对准不同视频流的帧。连接到网络的视频和音频装置(即，源组和目标组)以串行数字数据操作，例如使用用于数字视频分量接口的数字标准串行数字接口(SDI)或用于音频数据的音频工程学会(AES)数字音频标准。ENIC在传输端将来自源装置的数据从SDI或AES串行数字格式转换成适于通过网络传输的打包格式，具体地说，转换成多播UDP/IP数据包。在接收端，ENIC将从网络接收的多播UDP/IP数据包转换成适于传递到目标装置的串行数字数据格式。
ENIC提供的另一功能是所谓“代理”操作。ENIC从全分辨率视频流中产生“代理视频”所表示的下降分辨率视频流。代理视频是相应全分辨率视频信息的带宽减小版本，并同样适于由具有受限存储容量和/或处理能力的网络客户机进行处理，或适用于预览通过网络下载的信息内容。同样，ENIC产生所谓的“代理音频”。尽管这可以是音频信号的位速率降低版本，但在本实施例中，该术语用于指的是表示音频信号属性诸如音频信号电平的数据。代理音频生成将在下文进行更详细描述。
在源或目标是视频数据存储在(例如)硬盘驱动器上的联网视频服务器或客户机的情况下，与该源/目标相关联的ENIC可作为以视频帧形式存储在服务器上的数据与在网络上传输数据的打包格式之间的接口。因此，对于从本地硬盘读取的输出字段或帧，ENIC将执行转换成打包形式。对于输入字段或帧，ENIC将执行从打包形式到准备存储在硬盘上的字段或帧的转换。
但是除视频功能之外，ENIC还能作为常规网络接口卡操作。因此，可处理辅助异步数据，诸如电子邮件业务，以及同步音频和视频业务。通常，配置ENIC，以便给同步业务优先权，但这仍将在要处理的异步包的音频和视频包之间留有间隙。
网络管理器4与交换和路由客户机6、61合作，以形成这样的网络控制配置：可操作用于向音频和视频源装置分配多播组标识符，并指令目标装置向以太网交换机2发出请求以加入特定多播组，以便接收来自相应源装置的数据。网络管理器4保存网络当前状态的信息以及启动对装置配置或对源自网络管理器4的网络连接的改变的所有指令。在图1的配置中，网络管理器是通过标准网络接口卡链接到网络的个人计算机(PC)。在备选配置中，网络管理器例如可以是可包括不只一个网络管理器的工作站和网络控制配置。
网络管理器4保存指定网络配置的数据库。在图1的配置中，数据库存储在与网络管理器4相同的PC上，但在备选配置中，该数据库可存储在至少一个不同的PC上。对于每个ENIC，数据库记录相关以太网地址、IP地址、ENIC ID以及通过该ENIC目前连接到网络的源装置和目标装置(网络节点装置的输入和输出)。
网络管理器4还执行以下功能：将网络资源分配给交换和路由客户机6、61，并分配给ENIC NI1到NI12；向目标装置发送命令，以向以太网交换机2发出请求以加入指定多播组，由此改变通过网络的音频和/或视频虚拟电路交换连接；并确保网络的各交换和路由客户机6、61试图(view)是正确的。
为了将音频和视频数据流从源装置发送到目标装置，传输层是UDP多播。在UDP包内以实时协议(RTP)格式(例如所谓的BT.656格式，见参考1)携带音频和视频数据。这适用于音频数据、全分辨率视频和低分辨率代理视频。
RTP提供支持实时业务的功能，即，需要在目标应用中时间灵敏再现的业务。由RTP提供的服务包括有效载荷类型标识(例如，视频业务)、序列编号、时间戳记和传递监控。如果由基础网络提供，则RTP支持通过多播分布向多个目标传送数据。RTP序列号使接收器可以重建原始包序列。该序列号还可用来确定包的适当位置。RTP不提供任何确保及时传送的方案，也不提供其它服务质量保证。
当ENIC从网络管理器4接收AVSCP交换请求时，ENIC向以太网交换机2发送IGMP加入消息，以加入它需接收的数据的多播组。
在UDP多播上使用RTP通过网络传送AV代理流。交换和路由客户机6可选择接收用于监视目标的代理视频，并作出关于虚拟电路交换连接的通知交换决定。在图2的配置中，只有交换和路由客户机6接收代理视频流，但是ENIC NI1(与“摄像机1”S1源组相关联)、NI2(与“摄像机2”S2源组相关联)和NI8(与视频交换机D8目标组相关联)都可操作用于输出代理视频数据流。源组和目标组装置诸如摄像机、VTR和视频处理器的用户可能想在音频和/或视频数据流的基础上作出编辑决定，并且由于这个原因产生了AV代理流。尽管有几种通过网络使用RTP的已知视频格式流视频数据，但这些已知方法涉及视频数据的强压缩。引入重要的延迟周期(即，大于一场)的视频压缩方法不适用于可能使用根据本技术的网络的演播室摄制环境。此外，在摄制环境中，有可能多个AV数据源将必须在屏幕上基本同时显示，这会给数据处理器增加过重负担以对多个数据流解压缩，可能需要硬件加速。因而，以未压缩子采样数据流形式产生视频代理，而不是压缩数据流(例如，QCIF(176或180采样×144行)；16位RGB；每秒25帧；用水平和垂直滤波的子采样；以来自每行源625行×1440采样的每秒15.2兆位；或来自1440采样源的525行的(180采样×120行)。
参考图3，音频和视频数据格式按顺序包括：以太网标题、IP多播标题、UDP标题、RTP标题、指定有效载荷类型的字段、有效载荷以及CRC(循环冗余校验)字段。以太网标题包括源以太网地址和目标多播以太网地址。IP多播标题包括源ENIC IP地址和目标装置多播IP地址。有几个不同的IP地址类别，例如，类别A具有分配给网络ID的前8位和分配给主机ID的剩余24位，而类别B具有分配给网络ID的前16位和分配给主机ID的剩余16位。类别D IP地址用于多播。类别D网络地址的最左4位总是以二进制模式1110开始，对应于十进制数224到239，并且剩余28位分配给多播组ID。IGMP与多播和类别D IP地址结合使用。
收听特定IP多播地址的一系列主机(即，源和/或目标装置)被称为主机组。主机组可跨越多个网络，并且主机组的成员资格是动态的。类别D IP地址映射到以太网地址，以使多播组ID的(28位的)低阶23位拷贝到以太网地址的低阶23位。因此，多播组ID的5位不用于形成以太网地址。结果，IP多播地址和以太网地址之间的映射不是唯一的，即，32位不同的多播组ID映射到同一以太网地址。
UDP标题包括源和目标端口号，该端口号一般与目标装置上的特定应用相关联。注意，在多播消息的情况下，UDP是多余的，因为在此情况下多播组地址标识流/内容。使用RTP协议传输音频/视频流。前向纠错(FEC)可用于特定数据流，例如全分辨率视频流，以提供保护电平防止由于网络错误的数据破坏。使用提供FEC的已知RTP有效载荷格式提供FEC。FEC是基于奇偶校验的错误保护方案。
已知的RTP协议的扩展允许在RTP有效载荷标题中指定视频扫描线数。RTP标题还包括指定是否存在8位或10位视频的字段。虽然已知的RTP和RTP/FEC协议格式提供了在IP网络上传输音频和视频数据所需的数据包字段，但还希望传输附加的信息，诸如源状态和源时间码信息。例如，如果源装置是VTR，则存储在带上的时间码应该通过网络传送。源状态信息例如可指示VTR是否正在播放、停止或处于轻推/梭动(jog/shuttle)模式。该状态信息使用户可以从远程网络位置操作VTR。由于每个字段仅一次需要时间码数据和源状态信息，因此以标记为垂直消隐的RTP包传输该信息。为了使音频和视频可以再次同步，RTP时间码以27MHz时钟为基础。有效载荷类型字段包括指示有效载荷类型的数据，即，视频或音频数据。有效载荷字段包括要传输的视频或音频数据。CRC是本领域公知的循环冗余校验。
在本示例中，希望形成数据通信路径，以通过网络将AES音频数据从源组S9传输到音频处理器D3。AES音频数据将由ENIC NI6打包，通过网络发送，并在以串行数字格式传送到音频处理器D3之前由ENIC NI10接收并拆包。用户可通过与由交换和路由客户机6显示的GUI相互作用来促成音频源S9和音频处理器之间的连接。
为了建立音频源组S9和音频处理器D3之间的通信路径，交换和路由客户机6向网络管理器4的预定端口发送CNMCP交换请求消息，以启动对虚拟电路交换连接当前配置的改变。网络管理器4向交换和路由客户机6发送CNMCP消息，提供关于可用于它的源装置和目标装置(及关联源组和目标组)的信息。这使交换和路由客户机6能够得出指定网络当前配置和状态的视图。每个源装置和目标装置具有由网络管理器在与交换和路由客户机6的通信中分配的相关ID，并且该装置ID由交换和路由客户机6在与网络管理器的随后通信中使用。响应于用户请求将S9连接到D3，交换和路由客户机6向网络管理器4发送包含相关源装置ID和目标ID的CNMCP消息。
在交换和路由客户机6不允许执行该操作的情况下(例如，如果没有足够的网络带宽可用于形成可靠连接)，则网络管理器4响应连接请求向交换和路由客户机6发送NACK(否定应答)CNMCP消息。另一方面，如果网络管理器4允许建立该连接，则连接请求将按如下方式处理。
首先，网络管理器4询问其网络配置数据库，以确定来自源组S9的AES音频数据目前正传输到哪个多播IP地址。随后，由网络管理器4创建包含S9传输到的多播IP地址的AVSCP交换消息，并将其发送到ENIC NI10的相关端口(装置)，ENIC NI10将音频处理器D3连接到网络上。ENIC NI10上的嵌入软件将IGMP加入消息发送到S9的音频数据传输到的多播IP地址，并随后将AVSCP ACK消息发送回网络管理器。这使ENIC NI10能够接收一个其目标装置上的音频源S9的输出，并且ENIC NI9将接收的音频数据路由到连接到音频处理器D3的源装置(ENIC AES输出端口)。期间，已从应答已经接收到加入指定多播IP地址的指令的ENIC NI10接收到AVSCP ACK消息的网络管理器4将更新网络配置数据库中的路由信息，以反映新形成连接的存在。最后，网络管理器4将CNMCP ACK消息发送到交换和路由客户机6，指示在S9和D3之间已成功建立了请求的音频数据连接。
在本操作示例中，图1源组中的两个连接到单一目标组上。更具体地说，‘摄像机1’S1和‘摄像机2’S2的输出作为输入提供给视频交换机D8。为了启动S1和D8间以及S2和D8间的连接，交换和路由客户机6向网络管理器4发送CNMCP交换消息，该消息包含与‘摄像机1’S1、‘摄像机2’S2和视频交换机D8相关的ID值。
再提一次，网络管理器4的网络配置数据库还存储与各ENIC装置类别相关的数据。更具体地说，网络配置数据库存储指示各源装置是否连接的数据、数据流延迟传输的视频线的数量以及源装置的当前传输状态。网络管理器4还从数据库中获得有关目标装置的信息，包括实现装置的ENIC IP地址和延迟播放的视频线数量。
从网络配置数据库中，网络管理器4能确定每一个摄像机源S1、S2将数据传输到的多播IP地址。因而，为了建立两个摄像机S1、S2和视频交换机D8之间的连接，网络管理器4向ENIC NI8传送AVSCP消息，指定‘摄像机1’传输AV数据的多播IP地址和‘摄像机2’传输AV数据的多播IP地址。这两个摄像机中的每一个输出的AV包由ENIC NI8的网络处理器20接收。每一个接收的视频包在其标题数据中指定目标IP地址，并从该IP地址导出AV包去往的多播组。ENIC NI8从多播组中确定打包的AV数据应路由到ENIC NI8的哪个输出端口(源装置)。如上所述，多播组确定数据包应路由到网络中目标装置的哪个子集。
因而，除来自‘摄像机1’和‘摄像机2’的AV数据流之外，视频交换机D8还接收来自ENIC NI8的控制数据。该控制数据由交换和路由客户机6(图1)作为单播控制数据发送，其由ENIC NI8以打包形式经网络接收。单播控制数据具有将其标识为控制包的标题。该控制数据可指令视频交换机D8将其输出从一个AV流交换到另一AV流，即，从‘摄像机1’到‘摄像机2’。
图4示意性示出了ENIC的部分功能性。关于要描述的功能性，ENIC包括多路分解器100、时钟发生器、电平检测器120、峰值保持锁存器130和打包器140。然而，要理解的是，ENIC包括与本描述无关并在图4中未显示的其它部件。
多路分解器100根据标准SMPTE 259M接收所谓的SDI视频。它拆解SDI流，以移除传送到打包器140的嵌入式音频数据ASDI。可选地，多路分解器100能从SDI流中产生独立的视频流V，该视频流也传送到打包器140。
SDI流本身也传送到打包器140，并且独立的AES音频流AAES是图4所示要传送到打包器140的第四信号。
电平检测器120用来检测两个音频流ASDI和AAES的音频电平。对于每个音频流，它例如可产生两个独立的电平值(一个用于左通道，一个用于右通道)或依赖于(例如)两个通道之间平均值或峰值的合成音频电平。关于两个音频流ASDI和AAES的检测音频电平被传送到峰值保持锁存器130。这存储了所接收的峰值(就各电平信号而言)，因为锁存器持续复位。从时钟发生器100接收的帧同步脉冲使当前存储的峰值由峰值保持锁存器130输出，并还复位峰值保持锁存器，以使其相对于后续帧周期获得新的峰值。因此，峰值保持锁存器130在每个帧周期输出一次关于前面帧周期中峰值电平的峰值音频电平值。该峰值电平值被传送到打包器140。
当然，可使用其它周期，诸如字段周期，乃至随机或伪随机周期。由于在接收端数据显示通常以该速率更新，因此帧周期特别有用。
电平检测器可以其它方式操作。例如，可检测特定频带(例如，20-500Hz；500Hz-2kHz；2kHz以上)的电平，并将其发送到网络上，以便在接收器端(见下文)可产生图形显示，以每个通道或通道间平均的方式示出可通过不同频带显示的能量分布。或可产生电平变化的检测。或可产生指示在多个帧周期上音频电平是否一致的指示器。当然，可产生这些情况的各种组合。
另一功能(在图4中未示出)是产生如上所述的代理视频。
打包器130产生表示SDI流的包、表示代理数据的包(包括代理视频包和电平(属性)数据包)、下面将进一步描述的音频包以及可选地视频包(即，没有嵌入音频分量的SDI流的视频分量)。这些包被发送到具有上述适当多播地址的网络上。
在另一备选实施例中，AES音频可被代入SDI包，代替SDI音频。
多音频流的一个特定应用是在多种语言的情况下。
图5和图6示意性示出了可携带音频属性数据的两种可能方式。更具体地说，图5示意性示出了视频和属性数据包，而图6示意性示出了属性数据包。在每种情况下，以图3所示的相似方法提供各种标题。在图5的情况下，标题后面是可以是全位速率视频数据或更有用的代理(降低的位速率)视频数据的视频数据。随后提供属性数据，并且最后CRC代码提供出错防止。在图6的情况下，标题后面仅仅是当前帧周期和音频通道的属性数据。
携带音频属性数据的包通过如下方式与相应视频或音频流相关联：(a)作为视频包的一部分；或(b)作为到要与相应视频或音频流的多播组相关联的客户机6和/或网络管理器4记录的多播组的广播。与属性数据相关的多播组与携带相应音频信号的组不同。
要理解到，通过单独传输属性数据，或通过将其作为视频包的一部分传输，可从全带宽音频数据中单独接收属性数据。
图7示意性示出了携带从AAES流、ASDI流或二者中导出的音频数据的RTP/BT.656包。字段如下：
V  RTP版本号；当前值为2
P  填充位：如果设置，则包包含一个或多个附加填充字节
X  扩展位：如果设置，则固定标题后面是一个标题扩展
CC CSRC标识符数(见下文)
M  标记位：改变解释，但可用于标记诸如帧分界的重要事件
PT 有效载荷类型：标识RTP有效载荷的AV格式
对于发送的每个RTP包，序列号增加1，因此接收器可使用它检测包损耗，并恢复包序列。如果RTP包周期性产生，则时间戳被设为经过的AV采样时钟报时信号数。
同步源(SSRC)标识符是随机选择的值，这意味着在特定RTP对话中是全球唯一的。如果参与方在一个RTP对话中例如从独立的视频摄像机中产生多个流，则每个必须被标识为不同的SSRC。供给源(CSRC)标识符仅存在于具有多个供给源的混合AV流内。
下列字段形成BT.656包标题的一部分，其作为扩展字段附加到RTP包标题上：
F  F＝0表示扫描线属于帧的第一字段；F＝1表示第二字段
V  V＝1表示该扫描线是垂直消隐的一部分
TYPE(类型)这表示有效载荷内帧编码类型。例如，在PAL系统中，(13.5MHz采样速率；每线720个采样；每秒50场；每帧625线)，类型＝1。
P  P指出所需的采样量化大小。P＝0表示有效载荷包括8位采样。否则，采样是10位。在10位视频的情况下，线长度将超过允许的最大包大小，并且因此线必须分割在两个包上。
Z  保留
扫描线可从1到625变化，包括1和625。扫描偏移字段用于允许在多个包上分割扫描线。至于音频信号，扫描线表示在该包内包含的音频信号部分的排序。
接着是音频有效载荷。下面将描述音频有效载荷的格式。
图8示意性示出了AES音频有效载荷子包结构。
每个子包从包括以下字段的32位标题开始：
DID(数据ID)匹配在串行数字(SDI)视频中发现的音频数据
           包、扩展数据包和音频控制包DID。音频数据包
           DID指示子包有效载荷仅包含音频数据包数据，
           并且对于该包不存在相关的扩展数据包数据。扩
           展数据包DID指示子包有效载荷包含音频数据
           包及其相关的扩展数据包数据。音频控制包DID
           指示子包有效载荷包含音频控制包数据。00h的
           DID指示音频有效载荷的末端。下表概况了DID
           的使用。
  DID(组1-4)   SMPTE 272M  音频RTP
  FF<sub>h</sub>、FD<sub>h</sub>、FB<sub>h</sub>、F9<sub>h</sub>   音频数据包  音频数据子包
  FE<sub>h</sub>、FC<sub>h</sub>、FA<sub>h</sub>、F8<sub>h</sub>   扩展数据包  音频数据&扩展数据子包
  EF<sub>h</sub>、EE<sub>h</sub>、ED<sub>h</sub>、EC<sub>h</sub>   控制数据包  控制数据子包
  00<sub>h</sub>   未定义格式  音频RTP有效载荷末端
有效载荷大小     指示以32位字的有效载荷大小。
通道对1运行计数  对于音频数据子包或音频数据&扩展数据子包，
                 这是由除了在后续有效载荷中那些以外的
                 DID指示的音频组的通道对1总数的滚动计
                 数。对于控制数据子包，这是由DID指示的
                 组的控制数据子包的总数的滚动计数。
通道对2运行计数  对于音频数据子包或音频数据&扩展数据子包，
                 这是由除了在后续有效载荷中那些以外的
                 DID指示的音频组的通道对2总数的滚动计
                 数。对于控制数据子包，这不使用，并设为0。
图9示意性示出了音频字的格式。
由于AES音频组包括1或2通道对(见SMPTE272M段3.9)，因此AES音频组子包有效载荷包含偶数个音频字。每个音频字都保存在图9所示的32位存储器中。
CH 标识音频组内的音频通道
Z  标识通道状态块的开始
V  AES采样有效位
U  AES用户位
C  AES通道状态位
格式化AES音频控制子包有效载荷，如图10示意性所示。对于该有效载荷内容的描述参见SMPTE272M的14节。
图11示意性示出了部分屏幕显示，这例如可在交换和路由客户机6的GUI上或备选地在信号监视器D10提供的GUI上看到。在图11的示例中，三个视频流显示为平铺式图像200。这些可以是全带宽(未压缩)视频的表示，但更可能表示代理视频图像。在这种图像旁，显示有从接收的属性数据(其可在没接收相应全带宽视频信号的情况下接收)中导出的电平指示210。这在每个帧周期更新一次以便显示，并提供每个帧周期中峰值音频电平的示意性显示。因此，当用户看见音频电平以正常方式上升或下降时，用户可再次确保正在处理与音频通道有关的真实音频信号。音频电平指示可以是立体声对形式，如图11左上部示意性显示的；或可以是形成两个立体声通道(或关于单声道)平均值的单一指示，如图11右上部所示；或可以是每个通道多个频带的图形显示，如图11右下部示意性显示的。本领域技术人员要理解到，可选择显示形式来适合电平检测器产生的数据形式。
参考
1.BT.656视频编码的RTP有效载荷格式，D.Tynan，(Claddaghfilms)RFC2431，1998年10月。

Claims (24)

1.一种可连接到网络的网络接口装置，所述装置配置为接收表示音频信号的数字音频数据，并将表示所述数字音频数据的数据包发送到所述网络上，所述装置包括：
属性检测器，配置为产生表示所述音频信号属性的属性数据；及
打包器，可操作用于：
●将所述数字音频数据格式化成要发送到所述网络上的音频数据包；并
●将所述属性数据独立于所述音频数据包格式化成要发送到所述网络上的属性数据包。
2.如权利要求1所述的装置，其中所述属性表示所述音频信号的电平。
3.如权利要求1或2所述的装置，配置为将所述音频数据包和所述属性数据包作为各自独立的多播组发送到所述网络上。
4.如权利要求1或2所述的装置，其中所述属性检测器配置为在周期间隔内产生表示属性的属性数据。
5.如权利要求1或2所述的装置，其中：
所述数字音频数据与表示具有图片重复周期的视频信号的数字视频数据相关联；
所述属性检测器配置为在每个连续图片重复周期内至少产生一次所述属性数据。
6.如权利要求5所述的装置，其中所述图片重复周期是帧重复周期。
7.如权利要求5所述的装置，其中所述图片重复周期是场重复周期。
8.如权利要求5所述的装置，其中所述数字音频数据由所述装置作为携带所述数字视频数据和所述数字音频数据的合成数据流的一部分来接收。
9.如权利要求8所述的装置，包括：
数据转换器，用于将所述合成数据流的所述数字音频数据转换成要作为音频数据包发送到所述网络上的独立数字音频数据；
其中所述打包器可操作用于将所述数字视频数据格式化成要发送到所述网络上的视频数据包。
10.如权利要求8所述的装置，其中所述打包器可操作用于将所述合成数据流格式化成要发送到所述网络上的合成数据包。
11.一种可连接到网络的网络目标装置，所述装置可操作用于接收表示音频信号的音频数据包，并可操作用于接收携带表示所述音频信号属性的属性数据的属性数据包；所述装置包括配置为提供表示所述属性数据当前值的用户指示的用户界面。
12.如权利要求11所述的装置，其中所述用户界面包括用于产生在显示屏上显示的表示所述属性数据当前值的可视指示的部件。
13.如权利要求12所述的装置，包括显示屏。
14.如权利要求11-13中任一项所述的装置，其中所述属性数据表示所述音频信号的电平。
15.如权利要求11-13中任一项所述的装置，其中所述属性数据表示在周期间隔内的属性值。
16.如权利要求11-13中任一项所述的装置，其中所述装置可选择性地操作用于接收所述属性数据包，但不接收所述音频数据包。
17.如权利要求11-13中任一项所述的装置，所述装置可操作用于基本实时地将所述音频包发送到所述网络上。
18.一种数据网络，包括：
一个或多个如权利要求1-10中任一项所述的装置；
一个或多个如权利要求11-16中任一项所述的装置；以及
在所述装置之间提供数据通信的网络。
19.一种网络接口装置，可连接到网络并可操作用于接收携带数字视频数据和数字音频数据的合成数据流；所述装置包括：
数据转换器，用于将所述合成数据流的所述数字音频数据转换成独立的数字音频数据；
打包器，可操作用于：
●至少将所述合成数据流的所述数字视频数据格式化成要发送到所述网络上的视频数据包；以及
●将所述独立数字音频数据格式化成要发送到所述网络上的音频数据包。
20.如权利要求19所述的装置，其中所述打包器可操作用于将所述合成数据流格式化成要发送到所述网络上的合成数据包。
21.如权利要求19或20所述的装置，配置为接收AES音频流；所述打包器可操作用于将所述独立数字音频数据和所述AES音频流格式化成要发送到所述网络上的音频数据包。
22.一种操作可连接到网络的网络接口装置的方法，所述装置配置为接收表示音频信号的数字音频数据，并将表示所述数字音频数据的数据包基本实时地发送到所述网络上，所述方法包括以下步骤：
产生表示所述音频信号属性的属性数据；
将所述数字音频数据格式化成要发送到所述网络上的音频数据包；以及
将所述属性数据独立于所述音频数据包格式化成要发送到所述网络上的属性数据包。
23.一种操作可连接到网络的网络目标装置的方法，所述装置可操作用于接收表示音频信号的音频数据包，并可操作用于接收携带表示所述音频信号属性的属性数据的属性数据包；所述方法包括如下步骤：
提供表示所述属性数据当前值的用户指示。
24.一种操作可连接到网络并可操作用于接收携带数字视频数据和数字音频数据的合成数据流的网络接口装置的方法，所述方法包括以下步骤：
将所述合成数据流的所述数字音频数据转换成独立的数字音频数据；
至少将所述合成数据流的所述数字视频数据格式化成要发送到所述网络上的视频数据包；以及
将所述独立数字音频数据格式化成要发送到所述网络上的音频数据包。
CN200480008912A 2003-03-31 2004-03-31 音频处理 Expired - Fee Related CN100578610C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0307431.7 2003-03-31
GB0307431A GB2400254A (en) 2003-03-31 2003-03-31 Video processing

Publications (2)

Publication Number Publication Date
CN1768374A CN1768374A (zh) 2006-05-03
CN100578610C true CN100578610C (zh) 2010-01-06

Family

ID=9955906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200480008912A Expired - Fee Related CN100578610C (zh) 2003-03-31 2004-03-31 音频处理

Country Status (6)

Country Link
US (2) US20040255329A1 (zh)
EP (2) EP1478187A3 (zh)
JP (2) JP4525935B2 (zh)
CN (1) CN100578610C (zh)
GB (1) GB2400254A (zh)
WO (1) WO2004088926A2 (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9038108B2 (en) * 2000-06-28 2015-05-19 Verizon Patent And Licensing Inc. Method and system for providing end user community functionality for publication and delivery of digital media content
US20070089151A1 (en) * 2001-06-27 2007-04-19 Mci, Llc. Method and system for delivery of digital media experience via common instant communication clients
US8990214B2 (en) 2001-06-27 2015-03-24 Verizon Patent And Licensing Inc. Method and system for providing distributed editing and storage of digital media over a network
US7970260B2 (en) 2001-06-27 2011-06-28 Verizon Business Global Llc Digital media asset management system and method for supporting multiple users
US8972862B2 (en) 2001-06-27 2015-03-03 Verizon Patent And Licensing Inc. Method and system for providing remote digital media ingest with centralized editorial control
US7664292B2 (en) 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
NZ536913A (en) 2003-12-03 2006-09-29 Safehouse Internat Inc Displaying graphical output representing the topographical relationship of detectors and their alert status
AU2004233453B2 (en) 2003-12-03 2011-02-17 Envysion, Inc. Recording a sequence of images
EP1612977A3 (en) * 2004-07-01 2013-08-21 Yamaha Corporation Control device for controlling audio signal processing device
US8069420B2 (en) * 2004-12-29 2011-11-29 Karl Storz Endoscopy-America, Inc. System for controlling the communication of medical imaging data
US7664872B2 (en) * 2005-01-05 2010-02-16 Divx, Inc. Media transfer protocol
US20060168291A1 (en) * 2005-01-05 2006-07-27 Van Zoest Alexander Interactive multichannel data distribution system
US20060184685A1 (en) * 2005-02-17 2006-08-17 Lantasm Networks, Inc. System for distribution of numerous streams of multimedia content to a multiplicity of video displays
US20060206618A1 (en) * 2005-03-11 2006-09-14 Zimmer Vincent J Method and apparatus for providing remote audio
TW200701022A (en) * 2005-06-24 2007-01-01 Era Digital Media Co Interactive news gathering and media production control system
US9401080B2 (en) 2005-09-07 2016-07-26 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing video frames
US9076311B2 (en) 2005-09-07 2015-07-07 Verizon Patent And Licensing Inc. Method and apparatus for providing remote workflow management
US8631226B2 (en) * 2005-09-07 2014-01-14 Verizon Patent And Licensing Inc. Method and system for video monitoring
US20070107012A1 (en) * 2005-09-07 2007-05-10 Verizon Business Network Services Inc. Method and apparatus for providing on-demand resource allocation
CA2627534A1 (en) * 2005-11-15 2007-05-24 Clairmail, Inc. Application access utilizing a message link
EP2015569A4 (en) * 2006-05-02 2010-04-07 Media Global Links Co Ltd VIDEO SIGNAL SWITCHING SYSTEM
WO2008058110A2 (en) * 2006-11-06 2008-05-15 Albert Lee System and architecture for supporting mobility and multipath packet delivery in ip network stacks
JP5395671B2 (ja) 2006-11-16 2014-01-22 ストライカー・コーポレーション 無線内視鏡カメラ
US8139581B1 (en) 2007-04-19 2012-03-20 Owl Computing Technologies, Inc. Concurrent data transfer involving two or more transport layer protocols over a single one-way data link
WO2009023258A2 (en) 2007-08-15 2009-02-19 Clairmail, Inc. Machine-implemented system and method for providing timed targeted promotional offers to individual payment account users with feedback
JP2009100412A (ja) * 2007-10-19 2009-05-07 Panasonic Corp 映像伝送装置、映像送信装置および映像受信装置
JP5320772B2 (ja) * 2007-11-16 2013-10-23 沖電気工業株式会社 映像信号通信システムおよび方法
US8352982B2 (en) * 2008-01-18 2013-01-08 Microsoft Corporation Service substitution techniques
US8773469B2 (en) 2008-04-09 2014-07-08 Imagine Communications Corp. Video multiviewer system with serial digital interface and related methods
US9172900B2 (en) 2008-04-09 2015-10-27 Imagine Communications Corp. Video multiviewer system with switcher and distributed scaling and related methods
EP2150059A1 (en) * 2008-07-31 2010-02-03 Vodtec BVBA A method and associated device for generating video
US8848590B2 (en) * 2009-09-24 2014-09-30 Nokia Corporation Multicast group management in wireless networks
WO2011056224A1 (en) * 2009-11-04 2011-05-12 Pawan Jaggi Switchable multi-channel data transcoding and transrating system
JP5874178B2 (ja) 2010-04-09 2016-03-02 ソニー株式会社 カメラシステム、カメラ装置、カメラ制御装置、および中継装置
US9773059B2 (en) * 2010-11-09 2017-09-26 Storagedna, Inc. Tape data management
US9001898B2 (en) * 2011-06-10 2015-04-07 Thinklogical, Llc Method and system for serial digital interface (SDI) video data extension
DE102011078021A1 (de) * 2011-06-22 2012-12-27 Institut für Rundfunktechnik GmbH Vorrichtung und Verfahren zum Schalten von Echtzeitmedienströmen
US10937308B2 (en) 2011-10-28 2021-03-02 Universal Electronics Inc. System and method for optimized appliance control
US10593195B2 (en) 2011-10-28 2020-03-17 Universal Electronics Inc. System and method for optimized appliance control
US9449500B2 (en) 2012-08-08 2016-09-20 Universal Electronics Inc. System and method for optimized appliance control
US11295603B2 (en) 2011-10-28 2022-04-05 Universal Electronics Inc. System and method for optimized appliance control
US9215394B2 (en) 2011-10-28 2015-12-15 Universal Electronics Inc. System and method for optimized appliance control
GB2499261B (en) * 2012-02-10 2016-05-04 British Broadcasting Corp Method and apparatus for converting audio, video and control signals
JP5949491B2 (ja) * 2012-11-20 2016-07-06 富士ゼロックス株式会社 情報処理装置及びプログラム
JP5733445B1 (ja) * 2014-03-25 2015-06-10 Ｎｔｔエレクトロニクス株式会社 パケット自動受信装置
EP3579551B1 (en) 2014-11-18 2022-10-26 Caavo Inc Automatic identification and mapping of consumer electronic devices to ports on an hdmi switch
WO2016081636A1 (en) 2014-11-18 2016-05-26 Branch Media Labs, Inc. Seamless setup and control for home entertainment devices and content
US10051204B2 (en) * 2014-11-18 2018-08-14 Caavo Inc Seamless setup and control for home entertainment devices and content
JP2016201683A (ja) * 2015-04-10 2016-12-01 ソニー株式会社 ビデオサーバー、ビデオサーバーシステムおよび命令処理方法
CN113384360A (zh) * 2015-10-02 2021-09-14 索尼公司 医疗控制设备、控制方法、程序以及医疗控制系统
US10541933B2 (en) * 2016-11-10 2020-01-21 Disney Enterprises, Inc. Systems and methods for aligning frames of a digital video content in IP domain
WO2018148439A1 (en) 2017-02-10 2018-08-16 Caavo Inc Determining state signatures for consumer electronic devices coupled to an audio/video switch
KR101729978B1 (ko) * 2017-02-21 2017-04-25 (주) 케이투이 Uhd 4k 멀티 뷰어장치
US10250926B2 (en) * 2017-03-17 2019-04-02 Disney Enterprises, Inc. Tally management system for cloud-based video production
CN111091740A (zh) * 2020-01-14 2020-05-01 中仿智能科技（上海）股份有限公司 一种飞行模拟器的音响操作系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5055927A (en) * 1988-09-13 1991-10-08 Deutsche Thomson-Brandt Gmbh Dual channel video signal transmission system
FI89439C (fi) 1991-10-30 1993-09-27 Salon Televisiotehdas Oy Foerfarande foer att dekoda en audiosignal i vilken annan information aer infoerd med anvaendning av maskningseffekt
JPH06162674A (ja) * 1992-11-18 1994-06-10 Sony Corp 変換装置
DE4241068C2 (de) 1992-12-05 2003-11-13 Thomson Brandt Gmbh Verfahren zum Übertragen, Speichern oder Decodieren eines digitalen Zusatzsignals in einem digitalen Tonsignal
JPH06291692A (ja) 1993-03-31 1994-10-18 Victor Co Of Japan Ltd Ｆｍラジオ受信機における音場・音質制御装置
US5625410A (en) * 1993-04-21 1997-04-29 Kinywa Washino Video monitoring and conferencing system
ATE235291T1 (de) * 1995-06-08 2003-04-15 Claus Hvass Verfahren zur umsetzung von tonsignalen in licht
US6115507A (en) * 1995-09-29 2000-09-05 S3 Incorporated Method and apparatus for upscaling video images in a graphics controller chip
FI98676C (fi) 1995-10-05 1997-07-25 Nokia Oy Ab Tietostoryhmän siirto digitaalisessa yleisradiojärjestelmässä
US5751774A (en) 1996-04-04 1998-05-12 Lucent Technologies Inc. Transmission system for digital audio broadcasting
US20030061368A1 (en) * 1997-03-17 2003-03-27 Navin Chaddha Adaptive right-sizing of multicast multimedia streams
US6211869B1 (en) * 1997-04-04 2001-04-03 Avid Technology, Inc. Simultaneous storage and network transmission of multimedia data with video host that requests stored data according to response time from a server
WO1999031871A2 (en) * 1997-12-16 1999-06-24 Sourcenet Corporation Method and apparatus for receiving full-motion digital video multi-casts, interactive data and interactive voice via a dsl circuit
JP4016160B2 (ja) * 1998-07-16 2007-12-05 ソニー株式会社 データ受信・記録方法及びデータ受信装置
US6466832B1 (en) * 1998-08-24 2002-10-15 Altec Lansing R & D Center Israel High quality wireless audio speakers
JP4087537B2 (ja) * 1998-10-08 2008-05-21 松下電器産業株式会社 データ処理装置及びデータ記録媒体
US6529506B1 (en) * 1998-10-08 2003-03-04 Matsushita Electric Industrial Co., Ltd. Data processing apparatus and data recording media
US6414960B1 (en) * 1998-12-29 2002-07-02 International Business Machines Corp. Apparatus and method of in-service audio/video synchronization testing
EP1063595B1 (en) * 1999-06-23 2003-11-12 Tut Systems, Inc. Video/network interface
US6446037B1 (en) * 1999-08-09 2002-09-03 Dolby Laboratories Licensing Corporation Scalable coding method for high quality audio
JP2001238193A (ja) * 2000-02-18 2001-08-31 Sony Corp 映像供給装置及び映像供給方法
WO2001074078A1 (en) 2000-03-29 2001-10-04 Digeo Broadband, Inc. Audio source control techniques
EP1146672A1 (en) 2000-04-10 2001-10-17 Sony International (Europe) GmbH Method to transmit an information service in a broadcast transmission system
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
US6642966B1 (en) * 2000-11-06 2003-11-04 Tektronix, Inc. Subliminally embedded keys in video for synchronization
US20020191116A1 (en) * 2001-04-24 2002-12-19 Damien Kessler System and data format for providing seamless stream switching in a digital video recorder
US20060010245A1 (en) * 2004-06-01 2006-01-12 Telestream, Inc. Internet protocol for the delivery of complex digital media content

Also Published As

Publication number Publication date
EP1535275A2 (en) 2005-06-01
EP1478187A2 (en) 2004-11-17
US20060192892A1 (en) 2006-08-31
CN1768374A (zh) 2006-05-03
GB0307431D0 (en) 2003-05-07
GB2400254A (en) 2004-10-06
JP4525935B2 (ja) 2010-08-18
EP1535275B1 (en) 2019-11-20
US7996567B2 (en) 2011-08-09
EP1535275B8 (en) 2019-12-25
WO2004088926A3 (en) 2004-11-11
WO2004088926A2 (en) 2004-10-14
US20040255329A1 (en) 2004-12-16
JP2006522520A (ja) 2006-09-28
EP1478187A3 (en) 2005-07-06
JP2004312735A (ja) 2004-11-04

Similar Documents

Publication Publication Date Title
CN100578610C (zh) 音频处理
US7483421B2 (en) Routing data
US9191191B2 (en) Device and methodology for virtual audio/video circuit switching in a packet-based network
US20060146184A1 (en) Video network
US6580756B1 (en) Data transmission method, data transmission system, data receiving method, and data receiving apparatus
US20050018615A1 (en) Media transmitting method, media receiving method, media transmitter and media receiver
CN101494655B (zh) Rtp分布式流媒体服务系统及方法
CN108877820B (zh) 一种音频数据混合方法和装置
CN101094090B (zh) 视频/音频网络
US20070033609A1 (en) Media stream multicast distribution method and apparatus
CN103081431B (zh) 用于对通过使用音频/视频接口发送和接收的数据进行复用和解复用的方法和设备
CN107852409A (zh) 广播信号发送装置、广播信号接收装置、广播信号发送方法以及广播信号接收方法
US20050220194A1 (en) Packet-based video network
CN110855931B (zh) 一种视频数据的处理方法和系统
Edwards Demonstration of COTS Hardware for Capture, Playback and Processing of SMPTE ST 2022-6 Media Streams
KR20090070937A (ko) 복수 기업의 방송 호스팅 관리 시스템 및 방법과 방송 송출장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: SONY EUROPE LIMITED

Free format text: FORMER NAME: SONY UNITED KINGDOM LTD.

CP03 Change of name, title or address

Address after: surrey

Patentee after: SONY EUROPE B.V.

Address before: Shire of England

Patentee before: Sony United Kingdom Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210120

Address after: British Airways

Patentee after: SONY EUROPE B.V.

Address before: England / county

Patentee before: SONY EUROPE B.V.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100106