JP2004312735A - ビデオ処理 - Google Patents

ビデオ処理 Download PDF

Info

Publication number
JP2004312735A
JP2004312735A JP2004105242A JP2004105242A JP2004312735A JP 2004312735 A JP2004312735 A JP 2004312735A JP 2004105242 A JP2004105242 A JP 2004105242A JP 2004105242 A JP2004105242 A JP 2004105242A JP 2004312735 A JP2004312735 A JP 2004312735A
Authority
JP
Japan
Prior art keywords
network
video data
digital video
data stream
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2004105242A
Other languages
English (en)
Inventor
Matthew Compton
コンプトン、マッソー
Jian-Rong Chen
チェン、ジァンロン
Daniel Wilson
ウィルソン、ダニエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JP2004312735A publication Critical patent/JP2004312735A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665Gathering content from different sources, e.g. Internet and satellite
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Small-Scale Networks (AREA)

Abstract

ネットワークに接続され、第1の解像度のデジタルビデオデータストリームを受け取り、実質的に実時間で、ネットワークにデジタルビデオデータストリームを表すデータパケットを送り出すネットワークインタフェース装置は、第1の解像度のデジタルビデオデータストリームからより低い解像度である第2の解像度のデジタルビデオデータストリームを生成するビデオ生成器と、第2の解像度のデジタルビデオデータストリームをネットワークに送り出すためのデータパケットにフォーマット化し、第2の解像度のデジタルビデオデータストリームによっては表されていない第1の解像度のデジタルビデオデータストリームの少なくとも一部をネットワークに送り出すためのデータパケットにフォーマット化するパケット化器とを備える。
【選択図】 図2

Description

本発明は、ビデオデータの処理に関する。
スタジオにおいて、多くの場合クロスポイントスイッチ(cross point switch)であるスイッチ装置(switching device)を用いて、複数のビデオ/オーディオ機器を相互に接続する技術が知られている。
本願発明者らは、例えばインターネットプロトコル(Internet Protocol:IP)等の周知のプロトコルによって動作する、例えばイーサネット(Ethernet)(登録商標)等の交換型ローカルエリアネットワーク(switched local area network)によって、スタジオ内のビデオ/オーディオ機器を接続する必要性を見出した。ここで、スタジオにおいて使用されているビデオ/オーディオ設備の全てではないにしても、殆どは、このようなプロトコルに基づいて動作する交換型ネットワークに対応していない。
スタジオにおいて用いられるビデオ/オーディオ機器には、カメラ、編集装置、オーディオミキサ、ビデオテープレコーダ、再生出力スイッチ(play-out switches)を始めとする様々な機器がある。また、モニタを用いて、現在再生出力中の映像を確認し、又は再生出力可能な映像をモニタ上でプレビューすることもできる。
交換型ネットワークにおいても、同様な機能を実現することが望まれている。
BT.656ビデオ符号化のためのRTPペイロードフォーマット(RTP payload format for BT.656 Video encoding)、ディータイナン(D Tynan)(クラダーフィルムズ (Claddagh films))、RFC2431、1998年10月
本発明の一側面として、本発明に係るネットワークインタフェース装置は、ネットワークに接続され、第1の解像度のデジタルビデオデータストリームを受け取り、ネットワークにデジタルビデオデータストリームを表すデータパケットを送り出すネットワークインタフェース装置において、第1の解像度のデジタルビデオデータストリームからより低い解像度である第2の解像度のデジタルビデオデータストリームを生成するビデオ生成器と、第2の解像度のデジタルビデオデータストリームをネットワークに送り出すためのデータパケットにフォーマット化し、第2の解像度のデジタルビデオデータストリームによっては表されていない第1の解像度のデジタルビデオデータストリームの少なくとも一部をネットワークに送り出すためのデータパケットにフォーマット化するパケット化器とを備え、ビデオ生成器、パケット化器及びネットワークインタフェースは、実質的に実時間で動作する。
本発明の他の側面として、本発明に係るネットワークインタフェース装置は、ネットワークに接続され、第1の解像度のデジタルビデオデータストリームを受け取り、実質的に実時間で、ネットワークにデジタルビデオデータストリームを表すデータパケットを送り出すネットワークインタフェース装置において、第1の解像度のデジタルビデオデータストリームからより低い解像度である第2の解像度のデジタルビデオデータストリームを生成するビデオ生成器と、第2の解像度のデジタルビデオデータストリームをネットワークに送り出すためのデータパケットにフォーマット化し、第2の解像度のデジタルビデオデータストリームによっては表されていない第1の解像度のデジタルビデオデータストリームの少なくとも一部をネットワークに送り出すためのデータパケットにフォーマット化するパケット化器とを備える。
これにより、例えば、より高い解像度である第1の解像度のデジタルビデオデータストリームから、より低い解像度である第2の解像度のデジタルビデオデータストリームが生成される。第1及び第2の解像度のデジタルビデオデータストリームは、好ましくは、それぞれ個別のマルチキャストグループによってパケット交換型ネットワークに送り出され、したがって、例えば、高い解像度を有するビデオストリームを第1のマルチキャストグループに関連する第1の宛先又は宛先の組に供給し、低い解像度のビデオストリームをこれとは異なる第2のマルチキャストグループの宛先又は宛先の組に供給することができる。これにより、第1の宛先に供給された高解像度の映像を第2の宛先において低い解像度でモニタすることができる。また、第1の宛先における高解像度のビデオデータを第2の宛先における制御装置によって制御することもできる。低解像度のビデオデータを用いることにより、このような制御装置における処理オーバヘッド及びデータトラヒックを低減でき、制御機器において、複数の低解像度のストリームを処理できる可能性が高まる。
好ましくは、ネットワークにおける受信機を容易に選択するために、ネットワークインタフェースは、第1の解像度のビデオデータストリームに対応するデータパケットをマルチキャストグループとしてネットワークに送り出す。更に、ネットワークインタフェースは、好ましくは、第2の解像度のビデオデータストリームに対応するデータパケットを、第1のマルチキャストグループとは異なる第2のマルチキャストグループとして、ネットワークに送り出す。これにより、2つのストリームについてそれぞれ異なる受信機を設定できる。
低解像度のビデオデータを表示又は処理する場合の処理量を低減するために、好ましくは、第2の解像度のデジタルビデオデータストリーム又は各第2の解像度のデジタルビデオデータストリームは、非圧縮ビデオデータストリームとして生成するとよい。パーソナルコンピュータ(PC)を用いた装置における有用な互換性を実現するためには、第2の解像度のデジタルビデオデータストリーム又は各第2の解像度のデジタルビデオデータストリームは、それぞれ画素ワードの5ビットによって赤、緑、青の画素値を表すRGB555フォーマットに準拠しているとよい。このフォーマットは、特に、パーソナルコンピュータの表示画面(特に、16ビットカラーモードの動作)において、比較的少ない処理量で表示する場合に適している。低解像度のビデオストリームは、単一のPC画面に同時に表示することができる。このようなデータを効率的に伝送するために、パケット化器は、第2の解像度のデジタルビデオデータストリームを、各パケットがビデオラインデータを含む実時間伝送プロトコル(RTP)パケットにフォーマット化するとよい。
パケット化器は、第1の解像度のデジタルビデオデータストリーム(の全体)をデータパケットにフォーマット化するように構成してもよい。これにより、このデータパケットのみで第1の解像度のデジタルビデオデータストリームを再生することができる。これに代えて、第1の解像度のデジタルビデオデータストリームのサブセットを第2の解像度の各デジタルビデオデータストリームから導出できる場合、パケット化器は、第1の解像度のデジタルビデオデータストリームのサブセットの全てである部分のみをデータパケットにフォーマット化してもよい。これにより、不必要なデータが伝送されなくなるため、ネットワークトラヒックを低減することができる。
ビデオデータと同様、ソース及び宛先機器(ビデオ宛先機器とは異なる機器である場合もある)の間でオーディオデータ及び制御データを伝送する必要がある。このため、好ましくは、プロセッサは、デジタルビデオデータストリームに関連付けられた1以上のオーディオ及び/又は制御データストリームを受け取り、パケット化器は、オーディオ及び/又は制御データストリームをデータパケットにフォーマット化し、ネットワークインタフェース装置は、オーディオ及び/又は制御データストリームのデータパケットをネットワークに送り出すようにしてもよい。
第1の解像度のデジタルビデオデータストリームがインタレースビデオ信号を表しており、低解像度のビデオデータがインタレース信号の1つのフィールドから生成される場合、実質的に実時間で動作するシステムでは、潜在的に、1フィールド期間の比較的高いネットワークトラヒックと、他のフィールド期間の比較的低いトラヒックにより問題が生じる可能性がある。低解像度の信号によって生じるトラヒックのバランスを向上させるために、ビデオ生成器は、第1の解像度のデジタルビデオデータストリームの奇数フィールドのみ又は偶数フィールドのみから第2の解像度のデジタルビデオデータストリームを生成するよう選択的に動作するとよい。これに代えて、ビデオ生成器は、奇数フィールドのみから第2の解像度のデジタルビデオデータストリームを生成し、及び第1の解像度のデジタルビデオデータストリームの偶数フィールドのみから第2の解像度のデジタルビデオデータストリームを生成してもよい。これにより、2つの(等しく有用な)低解像度ストリームのいずれをビデオプロセッサから受け取るかをネットワークの宛先において選択することにより、ネットワーク負荷のバランスをとることができる。
プロセッサは、ビデオ機器に接続されるスタンドアローン機器であってもよいが、プロセッサは、好ましくは、ビデオソース機器(例えば、カメラ、ビデオテープレコーダ、映像ミキサ等)及び/又はビデオ宛先機器(例えば、モニタ、ビデオテープレコーダ、ビデオミキサ等)の一部として組み込むとよい。
本発明のこれらの及びこの他の側面は、添付の特許請求の範囲において定義されている。
概観及び用語
図1に示す実施例では、ネットワークは、例えばスタジオ内に設置されている。このネットワークは、ソースグループである複数のオーディオ/ビジュアル(audio/visual:以下、AVという。)機器を備え、これらのAV機器は、3台のカメラS1〜S3と、3台のビデオテープレコーダ(video tape recorder:以下、VTRという。)S4〜S6と、2台のデジタルシグナルプロセッサ(digital signal processor:以下、DSPという。)S7、S8と、シリアルデジタルオーディオデータのみを生成するこの他のソースグループS9、S10とからなる。更に、ネットワークは、宛先グループAV機器を備え、これらのAV機器は、ビデオスイッチD8と、一対のモニタD2と、一対のオーディオプロセッサD3と、ビデオプロセッサD9とからなる。イーサネットスイッチ2は、ソースグループAV機器と宛先グループAV機器との間を接続する。これらのグループのAV機器S1〜S10及びD1、D2、D3、D8、D9は、全て、拡張ネットワークインタフェースカード(Enhanced Network Interface Card:以下、ENICという。)NI1〜NI11のうちの少なくとも1つに接続されている。ENICは、標準ネットワークインタフェースカードの構成及び機能を拡張したものであり、この詳細については、ENIC_AIR 750を用いて後に説明する。このネットワークは、更に、第1の交換/ルーティングクライアント(switching and routing client)6と、更なる交換/ルーティングクライアント61と、ネットワークマネージャ4とを備える。ユーザは、コンピュータソフトウェアアプリケーションによって生成されるグラフィカルユーザインタフェース(Graphical User Interface:以下、GUIという。)を介して、ネットワークの仮想回線交換接続(virtual circuit-switched connections)の現在の構成を変更することを要求することができる。GUIは、この実施例では、交換/ルーティングクライアント6に関連したモニタに表示される。なお、他の実施例として、GUIをネットワークマネージャ4に関連したモニタに表示してもよい。このGUIについては、図9〜図12を用いて、後に詳細に説明する。
このネットワークは、イーサネットスイッチ2を備えたイーサネットマルチキャストネットワークであり、イーサネットスイッチ2は、nを1〜10とした非同期nギガビットイーサネットスイッチである。このイーサネットスイッチ2には、ネットワークノードとして、ソース「グループ」AV機器S1〜S0と、宛先「グループ」AV機器D1、D2、D3、D8、D9と、ネットワーク制御装置とが接続されている。ネットワーク制御装置とは、この実施例では、ネットワークマネージャ4と、交換/ルーティングクライアント6、61である。
ソースグループは、例えばカメラS1又はVTRS4等、ネットワークを介して送信するオーディオ及び/又はビデオデータを生成又は供給することができる、AV機器と定義される。ソースグループAV機器は、1つ以上の入力端子及び/又は1つ以上の出力端子を備える。AV機器の入出力端子は、ENIC NI1〜NI11の1つのポートに接続されている。なお、同じAV機器の異なる端子を異なるENICSに接続してもよく、例えば図1に示す具体例では、ソースグループのカメラS1の第1の出力端子は、ENIC NI1に接続されており、第2の出力端子は、ENIC NI2に接続されている。宛先グループは、例えばビデオスイッチD8、ビデオプロセッサD9又はオーディオプロセッサD3等、ネットワークを介して、パケットオーディオ及び/又はビデオデータを受信し、受信データを処理する機器と定義される。宛先グループは、ソースグループと同様、1つ以上の入力端子及び/又は1つ以上の出力端子を備え、これらの端子は、同じENICの異なるポートに接続してもよく、異なるENICのそれぞれのポートに接続してもよい。
なお、ネットワークにおけるデータ交換の場合(data exchange event)において、宛先グループがソースグループとして機能し、同様にソースグループが宛先グループとして機能することもできる。例えば、VTRS4は、オーディオ、ビデオ、状態(status)、それらに関連したプロキシソース(proxy source)及び/又は宛先デバイスを有し、データ交換の場合において、VTRS4上のビデオソースデバイスから、ネットワークを介して、ビデオプロセッサD9に出力データを送信する機能を有し、VTRS4は、ソースグループとして機能する。また、異なるデータ交換の場合においては、VTRS4は、カメラS1からネットワークによりビデオプロセッサD9を経由したデータを受信して、記録する。この場合、処理されたビデオデータは、ネットワークから、VTRS4に関する宛先デバイス(ENIC入力ポート)で受信された後、記録のためのシリアルデジタルフォーマットでVTRS4に供給される。したがって、この文脈では、VTRS4は、宛先グループとして機能する。
ここでは、AV機器について、ソースグループをS1〜S10とし、宛先グループをD1、D2、D3、D8、D9として示し、これらのグループ内の各機器が1つ以上のENICポートに接続されている。ENICポートは、「ソースデバイス(source device)」及び「宛先デバイス(destination device)」として表される。「ソースデバイス」は、パケットデータをネットワークに出力し、又はシリアルデジタルデータを宛先グループのAV機器に出力するENIC出力ポートと定義され、「宛先デバイス」は、パケットデータをネットワークから受信し、又はシリアルデジタルデータをソースグループAV機器の出力端子から受信するENIC入力ポートと定義される。ENICのソースデバイス及び宛先デバイスは、ソースグループ(AV機器)に関連させることができ、ソースグループからネットワークを介して伝送するデータを受信し、あるいは宛先グループに関連させることができ、ネットワークからのデータを宛先グループに供給する。ネットワークマネージャ4は、ENICポートとAV機器間のマッピングを監視する。
ネットワークマネージャ4は、ネットワークのソースグループ内の各機器S1〜S10に自由に割り当てられた「照合テキスト(tally text)」と呼ばれる英数字ラベルを保存する。照合テキストの具体例としては、例えばソースグループの機器S4に与えられた「VTR1」という名称や、ソースグループのカメラS1に与えられた「Jim」というカメラマンの名前等がある。照合テキストは、ネットワークマネージャ4に記録される。ネットワークに接続された全てのグループに対して、このように名称を付すことができる。ENICのソースデバイス及び宛先デバイスには、関連するソースグループAV機器又は宛先グループAV機器に由来するラベルを付すことができる。各ソースグループAV機器S1〜S6及び各宛先グループAV機器D1、D2、D3、D8、D9は、ネットワークに接続するために、少なくとも1つのネットワークインタフェースカードNI1〜NI11を介して、イーサネットスイッチ2に接続されている。これらのネットワークインタフェースカードNI1〜NI11は、本発明の技術に基づいて、ネットワークを介してオーディオ及び/又はビデオデータを伝送するために特別に適応化されており、ENIC(拡張ネットワークインタフェースカード)と呼ばれる。1台のソースグループ機器又は宛先グループ機器を複数のENICに接続してもよく、例えば、図1に示す実施例では、カメラソースグループ機器S1は、異なるENICであるNI1及びNI2に接続されている。特に、ソースグループのソース機器(出力ポート)及び宛先機器(入力ポート)の一方の組が第1のENIC NI1に接続され、他方の組が第2のENIC NI2に接続されている。ENIC NI1〜NI8は、それぞれ複数のポートを備えている。ENICの第1の組NI1〜NI7の入力ポートは、カメラS1〜S3、VTRS4〜S6、DSPS7、S8等のソースグループ機器から直接データを受け取り、これらのENICの出力ポートは、パケットデータをネットワークに出力する。一方、第2のENICの組NI8〜NI11の入力ポートは、他方のソースグループに由来するパケットデータをネットワークを介して受信し、これらのENICの出力ポートは、ビデオスイッチD8及びオーディオプロセッサD3等の宛先グループ機器にシリアルデジタルオーディオ及び/又はビデオデータを供給する。このネットワークは、マスタENIC NIM63(図1参照)を有していてもよく、NIM63については、後のフレーム開始整列(Frame Start Alignment)の章で詳しく説明する。
従来のスタジオにおいては、例えばカメラ等のソースグループ機器及びビデオプロセッサ等の宛先グループ機器は、クロスポイントスイッチを介して接続されていた。従来のクロスポイントスイッチでは、クロスポイントスイッチを介して各機器を確実に接続するためには、スイッチ上の特定の既知のポートに、対応する特定の既知の機器を接続する必要があった。一方、図1に示すネットワークは、イーサネットスイッチ2を備え、少なくとも1台以上のソースグループ機器を1台以上のあらゆる宛先グループ機器に接続できるという点においてはクロスポイントスイッチをエミュレートする仮想回線交換接続(virtual circuit-switched connections)を提供するように、ネットワークマネージャ4及び交換/ルーティングクライアント6によって設定される。仮想回線交換接続は、図1に構成を示すように、周知のプロトコルであるインターネットグループ管理プロトコル(Internet Group Management Protocol:以下、IGMPという。)を用いるインターネットプロトコル(Internet Protocol:IP)マルチキャストネットワークによって実現される。マルチキャストネットワークでは、1つのソース機器から、ネットワークを介して、所定のマルチキャストグループに属する複数の宛先機器にデータを送信することができ、IGMPにより、ソース機器又は宛先機器がどのマルチキャストグループに属するかを識別することができる。各ソース機器及び宛先機器には、識別子が割り当てられ、所定のマルチキャストアドレスには、所定のソース機器識別子及び所定の宛先機器識別子が関連付けられ、これにより仮想接続が定義される。図1に示すネットワークでは、従来のクロススイッチネットワークと異なり、識別子及びマルチキャストアドレス並びに関連する通信プロトコルを用いて、接続が柔軟に設定されるため、どのソース機器及び宛先機器をイーサネットスイッチ2の実際のどの物理ポートに接続するかは自由に選択することができる。
なお、図1に示す構成では、ネットワークは、次のように動作する。すなわち、単一のソース機器は、他のソース機器によって共有されないただ1つのマルチキャストグループに属する必要がある。少なくとも1つの宛先機器がソース機器のマルチキャストグループに参加し、ソース機器からデータを受信する。宛先機器は、マルチキャストグループ参加メッセージを発行することによって、マルチキャストグループに参加し、関連するソース機器からデータを受信する。ネットワーク制御装置4、6、61は、宛先機器(すなわち宛先グループAV機器の1つの入力端子又は対応するENICポート)に、機器が適切なソース機器のマルチキャストグループに参加する要求をイーサネットスイッチ2に出すように指示する制御メッセージを送信することによって、各仮想回線交換接続を開始する。所定のマルチキャストグループに複数の宛先機器が参加でき、イーサネットスイッチ2は、ソース機器からのデータに対する所定の複製処理を行い、複製したデータをマルチキャストグループに送信する。ソース機器からマルチキャストグループ内の複数の宛先機器に送信されるデータは、ビデオデータ、オーディオデータ、タイムコードデータ、状態データ(status data)等であってもよい。
ENICの概観
図4を用いて、ENICの機能を詳細に説明する。ENICにより、マルチキャストネットワーク用に設計されていない、例えばカメラ等のソースグループの全ての機器及び例えばVTR等の宛先グループの全ての機器をマルチキャストネットワークで用いることができる。ENICは、オーディオ、ビデオ及び制御データのストリームを供給及び受信することを要求可能な「単一では処理能力がない(dumb)」機器である。ENICは、ネットワークの構成を調べ、構成に対する変更の提案もすることもできない。所定のENICがどのマルチキャストグループに参加するかは、ネットワークマネージャ4によって制御され、ネットワークマネージャ4は、ENICに対し、これらのマルチキャストグループに参加するための要求をイーサネットスイッチ2に送るよう指示する。図1に示す構成では、ENIC NI1〜NI11は、ENIC NI1〜NI11が関連付けられているソースグループ及び宛先グループのAV機器から独立したエンティティであるが、他の構成として、ENICの機能をAV機器に組み込んでもよい。
各ENICは、イーサネットアドレスとIPアドレスを有している。イーサネットアドレスは、LAN内の物理アドレスを特定する48ビットの値で示され、IPアドレスは、(IPバージョン4では)インターネットを介したパケット単位の情報の送信側又は受信側を特定する32ビットの値で示される。イーサネットアドレスは、多くの場合IPアドレスと異なるが、これらの2つのアドレスは、例えばアドレス解決プロトコル(Address Resolution Protocol:以下、ARPという。)を用いて、互いに対応させることができる。IPアドレスは、イーサネットスイッチ2がデータをENICに又はENICからルーティングするために必要な情報である。ENICに関連付けられた各データストリームは、マルチキャストアドレスと、ユーザデータグラムプロトコル(User Datagram Protocol:以下、UDPという。)ポート番号との両方を用いて識別される。UDPは、IPと共に、ネットワークを介したデータ通信を調停するトランスポート層プロトコルである。UDPは、異なるトランザクション要求を区別するためのポート番号を提供する(このサービスは、IPによっては提供されない)。この実施例においては、各ENICについてそれぞれ固有のIPアドレスが関連付けられている。なお、他の実施例として、単一のENICに複数のIPアドレスを関連付けてもよい。イーサネットアドレス及びIPアドレスに加えて、ENICには、ENIC識別子(ID)と、ENICに接続されている宛先機器及びソース機器のそれぞれに対応する複数のポートIDとが割り当てられている。各ENICに関連付けられている全てのアドレス及びIDは、ネットワークマネージャ4に記録されている。ソース機器及び宛先機器(すなわち、ネットワークノード機器S1〜S8及びD1、D2、D3、D8、D9の個々の入力端子及び出力端子)は、ENICの1つ以上の物理入力ポート及び物理出力ポートのうちの1つのポートに対応している。ENICは、イーサネットスイッチ2から受信したデータを指定された物理出力ポートに切り換え、及び指定された物理入力ポートからのデータをイーサネットスイッチ2に切り換えるスイッチとして機能する。
イーサネットスイッチ2を用いて実現されるネットワークは、非同期ネットワークである。しかしながら、ビデオデータ及びオーディオデータは、同期処理を必要とする。ENICは、ネットワークを介した同期動作を提供し、例えば編集等の目的のために、異なるビデオストリームのフレームの位置を調整する。ネットワークに接続されたビデオ及びオーディオ機器(すなわち、ソースグループ機器及び宛先グループ機器)は、例えば、コンポーネントデジタルビデオのインタフェースのためのデジタル標準規格であるシリアルデジタルインタフェース(Serial Digital Interface:以下、SDIという。)又はオーディオデータのためのオーディオエンジニアリングソサイエティ(Audio Engineering Society:以下、AESという。)デジタルオーディオ規格に則って、シリアルデジタルデータを処理する。ENICは、ソース機器からのデータを、送信側においてSDI又はAESシリアルデジタルフォーマットから、ネットワークを介した伝送に適したパケットフォーマット、詳しくはマルチキャストUDP/IPデータパケットに変換する。受信側では、ENICは、ネットワークから受信したマルチキャストUDP/IPデータパケットを宛先機器への配信に適したシリアルデジタルフォーマットに変換する。ENICが提供する更なる機能として、ENICは、フル解像度ビデオストリーム(full resolution video stream)から、「プロキシビデオ」と呼ばれる解像度が低減されたビデオストリームを生成する。プロキシビデオは、フル解像度のビデオ情報に対応する帯域幅が削減されたバージョンであり、メモリ容量及び/又は処理能力に制約があるネットワーククライアントにおける処理及び/又はネットワークを介したダウンロードのための情報コンテンツのプレビューとしての使用に適している。
ソース又は宛先が、ビデオデータを(例えば)ハードディスクドライブに保存するネットワークビデオサーバ又はクライアントである場合、このソース/宛先に関連付けられているENICは、ビデオフレームのフォーマットでサーバに保存されているデータと、ネットワーク上を伝送するためのパケットフォーマットのデータとの間のインタフェースとして機能する。すなわち、ENICは、ローカルのハードディスクから読み出した、出力すべきフィールド又はフレームをパケットフォーマットに変換する。また、ENICは、パケットフォーマットをハードディスクに保存するためのフィールド又はフレームに変換する。
このようなビデオ処理機能とは別に、ENICは、従来のネットワークインタフェースカードとしても機能する。ENICは、同期オーディオ及びビデオトラヒックに加えて、例えば電子メールトラヒック等の補助的な非同期データも処理することができる(例えば、後述するENICのPCIインタフェースを用いて)。包括的に言えば、ENICは、同期トラヒックを優先するように構成されているが、依然として、処理する非同期パケットのオーディオ及びビデオパケット間にはギャップが残る。
ネットワークマネージャ概観
ネットワークマネージャ4は、交換/ルーティングクライアント6、61と協働して、ネットワーク制御装置を構成し、このネットワーク制御装置は、オーディオ及びビデオソース機器にマルチキャストグループ識別子を割り当て、及び宛先機器に対し、対応するソース機器からデータを受信するために特定のマルチキャストグループに参加するための要求をイーサネットスイッチ2に送信するよう指示することができる。ネットワークマネージャ4は、ネットワークの現在の状態に関する情報と、ネットワークマネージャ4から出す機器構成又はネットワーク接続の変更を開始するための指示を維持管理する。図1に示す構成では、ネットワークマネージャ4は、標準ネットワークインタフェースカードを介してネットワークに接続されたパーソナルコンピュータ(Personal Computer:以下、PCという。)である。他の構成として、ネットワークマネージャ4は、例えばワークステーションであってもよく、ネットワーク制御装置は、2つ以上のネットワークマネージャを含んでいてもよい。
ネットワークマネージャ4は、ネットワークの構成を特定するデータベースを維持管理する。図1に示す構成では、データベースは、ネットワークマネージャ4本体であるPC内に保存されているが、他の構成として、少なくとも1つの異なるPCにデータベースを保存してもよい。データベースは、各ENICについて、関連するイーサネットアドレス、IPアドレス、ENIC識別子、並びにネットワークを介してそのENICに現在接続されているソース機器及び宛先機器(ネットワークノード機器の入力ポート及び出力ポート)等の情報を格納している。後述する「ネットワーク構成データ(Network Configuration Data)」の章では、ネットワークマネージャ4が構成データを保存する機器の4つの異なるカテゴリについて説明する。更に、ネットワークマネージャ4は、交換/ルーティングクライアント6、61及びENIC NI1〜NI11にネットワークリソースを割り当て、宛先機器に対し、特定のマルチキャストグループに参加するための要求をイーサネットスイッチ2に送信するよう指示して、これによりネットワークに亘るオーディオ及び/又はビデオ仮想回線交換接続を変更し、各交換/ルーティングクライアント6、61の観点からネットワークが正しく接続されていることを確実にする等の機能を有している。
ネットワーク構成データ
ネットワークマネージャ4は、ネットワーク上の複数の異なるカテゴリに属する機器のそれぞれに関するデータの組を保存及び維持管理する。制御メッセージは、ネットワークマネージャ4から(入力ポート/出力ポートではなく)ENIC NI1〜NI11に供給されるため、ENICポートは、複数の機器のタイプ/カテゴリのうちの1つに属するよう分類される。「ソース機器」及び「宛先機器」については、既に上述した通りである。
具体的には、ネットワーク構成データは、4つの異なる種類の機器(ENIC入力/出力ポート)に関係する4つの基本タイプと、共通に制御される機器のグループに関連する第5のタイプを有する。
4つの基本タイプは、以下の通りである。
1.ソース機器(SOURCE device):ソース機器からのビデオデータ、オーディオデータ及び状態データは、ENICによって適切にフォーマットされ、ネットワーク上のマルチキャストグループに送信される。各ソース機器は、帯域幅が低減されたビデオプロキシを送信することもできる。
2.宛先機器(DESTINATION device):ネットワークからのビデオデータ、オーディオデータ及び状態データは、マルチキャストグループに参加する宛先機器に供給される。
3.制御ソース機器(CONTROL SOURCE device):制御コマンドは、ENIC又はネットワーククライアントによって生成され、所定の制御宛先機器にユニキャスト(unicast)される。
4.制御宛先機器(CONTROL DESTINATION):制御ソース機器からユニキャストされた制御コマンドを受信する。
交換/ルーティングクライアント6は、ソース機器及び制御宛先機器に直接アクセスすることはできない。これらの機器は、個別に制御することができない制御ソースグループ(CONTROL SOURCE GROUP)のメンバである。例えば、VTRからの標準SDIビデオ出力及びスーパーSDI出力は、いずれもENICに供給されて、イーサネットスイッチ2に送信される。SDI入力は、ネットワーク構成において、2つのビデオソース機器V0、V1(それぞれSDI出力からの信号とスーパーSDI出力からの信号に対応する。)及び2つのオーディオソースA0、A1からなる4つのソース機器として表される。4つのソース機器は、同じ物理機器(ソースグループはVTRである。)によって生成される。4つのソース機器は、共通のタイムコード及びストリームの状態、すなわち停止、早送り(FF)、巻き戻し(rew)等を有する。したがって、これらの4つのソース機器は、個別に制御されるのではなく、制御ソースグループによって一括して制御される。
ネットワークマネージャ4は、後述するENICデータ構造に加えて、上述した4つの機器タイプ、すなわちソースグループ、宛先グループ、制御ソースグループ、制御宛先グループのそれぞれに関連付けて、所定の情報の組(データ構造)を保存する。
ソース機器について、ネットワークマネージャ4は、次のようなデータを保存する。すなわち、これらのデータには、上位16ビットがENICIDを特定し、下位16ビットがUDPポートIDを特定する32ビットIDと、データタイプ(オーディオデータ、ビデオデータ、状態データ)を特定する8ビット値と、ソース機器が属する制御ソースグループを特定する32ビット値と、ソース機器がデータを送信する宛先機器を特定する第1の32ビットマルチキャストIP及びビデオプロキシが送信される宛先機器を特定する第2の32ビットマルチキャストIPアドレスと、64バイトの照合テキスト情報と、所定のソースを供給する宛先機器に関連付けられた宛先機器IDを特定する32ビット「リンク」値(リンクソース(linked source)は、ネットワークを介してデータを受信した後、他のネットワーク機器に対するソースとして、処理を施したデータをネットワークに送信する宛先機器(例えば、クロマキーヤ)によって供給される。)と、ビデオソースについて、伝送を遅延させるビデオライン数を特定する32ビット値と、ソース機器が現在ネットワークを介してデータを送信できる状態にあるか否かを示す8ビット状態値とが含まれる。
宛先機器については、ネットワークマネージャ4は、次のようなデータを保存する。すなわち、これらのデータには、上位16ビットがENICIDを特定し、下位16ビットがUDPポートIDを特定する32ビットIDと、データタイプ(オーディオデータ、ビデオデータ、状態データ)を特定する8ビット値と、宛先機器を実現するENICのIPアドレスを特定する32ビット値と、宛先機器がデータを受信するマルチキャストIPアドレスを特定する32ビットMCAST SRC IPと、宛先機器が割り当てられたマルチキャストIPアドレスにデータを送信するソース機器を特定する32ビット値と、8ビット照合テキストインデクスと、宛先機器によってデータが供給されるソース機器に関連付けられたソース機器IDを特定する32ビット値(リンクされた宛先機器は、ソースを供給する機器の1つである)と、再生を遅延させるビデオライン数を特定する32ビット遅延値と、宛先機器がオンエアー中であるか、オフエアー中であるか、制御されているか等を特定する8ビット状態値とが含まれる。
制御ソース機器については、ネットワークマネージャ4は、次のようなデータを保存する。すなわち、これらのデータには、上位16ビットがENICIDを特定し、下位16ビットがUDPポートIDを特定する32ビットIDと、メッセージを送信すべき制御宛先機器のIDを特定する32ビット値と、特定された制御宛先機器を実現するENICの32ビットIPアドレス及び16ビットUDPポートアドレスと、実際の制御ソース機器を実現するENICの32ビットIPアドレス及び16ビットUDPポートアドレスとが含まれる。
制御宛先機器については、ネットワークマネージャ4は、次のようなデータを保存する。これらのデータには、上位16ビットがENICIDを特定し、下位16ビットがUDPポートIDを特定する32ビットIDと、特定された制御宛先機器が属する制御ソースグループの32ビットIDと、制御宛先機器が接続される制御ソースの32ビットIDと、関連する制御ソース機器を実現するENICの32ビットIPアドレス及び16ビットUDPポートアドレスと、特定された制御宛先機器を実現するENICの32ビットIPアドレス及び16ビットUDPポートアドレスとが含まれる。
制御ソースグループ(所定のソース及び制御宛先機器が関連付けられる)については、ネットワークマネージャ4は、次のようなデータを保存する。すなわち、これらのデータには、上位16ビットがENICIDを特定し、下位16ビットがUDPポートIDを特定する32ビットIDと、ソースグループに属する機器の数を特定する16ビット値と、そのグループに属する機器全てのID(最大10個)を特定する32ビット値と、グループに関連付けられた制御宛先機器を特定する32ビット値と、グループ内の機器(最大10個)のそれぞれに状態データを送信する状態ソース機器を特定する32ビットソース状態値と、グループ内の全ての機器についての照合テキストを含む64バイトと、グループに関する最大10個の説明を示す128バイトの説明データと、64バイトの制御ソース名及び9ビット状態値とが含まれる。
ネットワークマネージャ4は、上述したデータの組の5個のカテゴリに加えて、ENIC NI1〜NI11について、ENICデータ構造として次のようなデータを保存する。すなわち、これらのデータには、ENICを固有に識別する16ビットIDと、ENICに関連付けられた48ビット媒体アクセス制御(media access control:以下、MACという。)アドレスと、32ビットENICのIPアドレスと、ENICのマスタクロックの32ビットIPアドレスと、機器のハードウェアマッピングにおいて用いるパラメータの数を特定する32ビットフィールドとが含まれる。
ENICデータ構造は、上述した具体例における4つのソース機器をENICカードの物理ポートにマッピングし、上述した理想的なモデルを限定するあらゆるハードウェア制約を含む。ENICを初期化すると、ENICは、正しいドライバを使用できるようにするために、そのUDP(RS422)にどのような機器が接続されているかについての情報を受け取る。
このように、ネットワークマネージャ4は、各宛先グループ機器について、その宛先グループがデータを導くマルチキャストIDアドレスMCAST SRC IPを保存する。なお、所定の宛先グループの異なる入力/出力ポートは、異なるIPマルチキャストグループからデータを受信することができる。受信されるデータは、宛先グループ(AV機器)の入出力ポートが接続されたENICポート(すなわち、ソース/宛先機器)に依存する。宛先データ構造に関連して上述したように、各宛先グループについて、宛先グループ自体及びデータを供給するソースグループの両方に関するIDがネットワーク構成データベースに保存される。ソース/宛先グループIDは、ソース/宛先グループをネットワークに接続するENICの識別子と、関連するソース/宛先グループが接続されたENICポートの識別子とを含む。各ソースグループに関しても、同様の情報の組が保存される。
交換/ルーティングクライアント6の概観
図1に示す構成では、交換/ルーティングクライアント6は、ネットワークマネージャ4と同様、標準ネットワークインタフェースカードを介してネットワークに接続されたPCによって実現される。交換/ルーティングクライアント6は、ネットワークの構成を調べ及び/又は変更することができ、すなわちソース機器と宛先機器の間の仮想回線交換接続を変更することができる。このような変更は、後に図9〜図12を用いて説明するGUIをユーザが操作することによって行うことができる。図1に示す構成では、交換/ルーティングクライアント6は、ビデオスイッチD8及び関連するENIC NI8の両方を制御し、並びにENIC NI8からネットワークへの及びネットワークからENIC NI8へのビデオデータの供給を制御する。交換/ルーティングクライアント6は、他の宛先機器D2、D3、D9から、それぞれの関連するENIC NI9、NI10、NI11を介するビデオ又はオーディオデータの供給も制御することができる。更なる交換/ルーティングクライアント61は、交換/ルーティングクライアント6によって制御される機器及びENICとは異なる宛先機器のサブセット及びこれらの機器のENICを制御することができる。
上述のように、ネットワークマネージャ4は、現在のネットワーク構成を特定するデータベースを維持管理し、及び交換/ルーティングクライアント6と協働してネットワークを設定する。ネットワークマネージャ4は、交換/ルーティングクライアント6に対して、ある種のコマンドをネットワークマネージャ4を介してENICに送るのではなく、直接ENICに送ることを許可することもできるが、多くの場合、ネットワーク構成に影響を与える可能性がある全ての要求は、ネットワークマネージャ4を介して送る必要がある。ネットワークに影響を与えず、したがって交換/ルーティングクライアント6からENICに直接送ることができる特定のコマンドとしては、例えば、再生、巻き戻し、早送り等のデータストリーム制御コマンドがある。ネットワークマネージャ4は、ネットワーク構成を特定する情報を保存することに加えて、リソースをENIC及び交換/ルーティングクライアント6、61に割り当て、ネットワーク上のオーディオ及び/又はビデオデータ接続に影響を与える可能性がある全てのコマンドを制御し、交換/ルーティングクライアント6、61が関連するネットワーク接続を正しく認識できるようにするといった機能を有する。
プロトコル及びデータフロー(図2)
図1に示すイーサネットネットワーク構成では、ユーザデータグラムプロトコル(user datagram protocol:以下、UDPという。)/IP、伝送制御プロトコル(transmission control protocol:以下、TCPという。)、インターネットグループ管理プロトコル(Internet Group Management Protocol:以下、IGMPという。)を含む周知の様々なプロトコルを実行することができる。ネットワークにおいて実行される他のプロトコルとしては、周知の実時間プロトコル(real-time protocol:以下、RTPという。)及びソニー株式会社が所有する2つのプロトコルである、オーディオビデオ交換制御プロトコル(Audio Video Switching Control Protocol:以下、AVSCPという。)及びクライアントネットワークマネージャ通信プロトコル(Client Network Manager Communication Protocol:以下、CNMCPという。)等がある。AVCSPは、ネットワークマネージャ4とENIC NI1〜NI11との間の接続制御に用いられ、CNMCPは、ネットワークマネージャ4と交換/ルーティングクライアント6、61との間の通信に用いられる。これらのプロトコルについて、図2を用いて更に詳細に説明する。
図2は、図1に示すネットワークの一部を示しており、ここでは、ネットワークマネージャ4と、交換/ルーティングクライアント6と、ENICのサブセット、詳しくはNI1(ソースグループのカメラ1に対応する。)と、NI2(ソースグループのカメラ1及びカメラ2の両方に対応する。)と、NI8(宛先グループのビデオスイッチD8に対応する。)とのみを例示的に示している。図2は、ネットワークマネージャ4と、交換/ルーティングクライアント6と、ENIC NI1、NI2、NI8とがLANを介して、異なる複数の通信プロトコルを用いてどのように通信を行うかを説明する図である。図2に示すように、ネットワークマネージャ4は、AVSCPを用いて、ENIC NI1、NI2、NI8と通信し、一方、交換/ルーティングクライアント6は、CNMCPを用いてネットワークマネージャ4と通信する。交換/ルーティングクライアント6は、入力信号として、制御ソースグループ(CONTROL SOURCE GROUP)の状態を特定するストリームの状態(Stream Status:以下、SSという。)データと、APプロキシデータPとを受信し、ユニキャスト制御データ(Unicast Control Data:以下、UCDという。)をネットワークに出力してソース機器又は宛先機器を制御する。なお、この構成では、ENIC NI1、NI2、NI8の全てがネットワークにプロキシビデオPを出力するが、入力データとしてプロキシビデオPを受信するのは、交換/ルーティングクライアント6のみである。ENIC NI1、NI2、NI8は、交換/ルーティングクライアント6及び/又はネットワークマネージャ4に対し、イーサネットスイッチ2を介して、それぞれプロキシビデオPを出力し、LANを介してSSデータを送受信し、RTP通信データを送受信し、ソース機器がデータを送信するマルチキャストグループを特定するIGMPデータを出力し、UCDメッセージを受信する。なお、ENIC NI2は、ネットワークマネージャ4をバイパスして、他のENIC NI8に直接UCDメッセージを送信することができる。上述のように、このENIC間の直接通信は、制御コマンドがネットワーク接続に影響を与えない場合にのみ許可される。ENIC NI8は、宛先グループのビデオスイッチD8に対応しているため、ENIC NI8は、SDIビデオストリームを送信及び受信することができ、一方、ENIC NI1、NI2は、カメラに対応しており、これらのカメラから出力されるSDIビデオストリームを受信し、これをパケット化してネットワークに送信するのみである。
AVSCP
AVSCPは、UDP(ユーザデータグラムプロトコル)を用いてそのメッセージを伝送する。UDPは、コネクションレストランスポートプロトコルであり、これは、送信機器によって、受信機器にデータを送信することを通知することなく、一方向データパケットを送信することを意味する。受信機器は、各データパケットを受信しても、状態情報を送信機器に返すことはない。このデータのフォーマットについては、後の「データフォーマット」の章で図3Bを用いて説明する。
AVSCPは、ネットワークマネージャ4と各ENICとの間で、接続制御を目的とし、ENIC及びAV(オーディオ及びビデオ)ポートの動作状態を管理するために用いられる。例えば、宛先機器であるビデオテープレコーダ(VTR)をソース機器であるカメラに接続してAVデータを供給する必要がある場合、交換/ルーティングクライアント6は、この具体例ではVTRである宛先機器に対応するENICの入力ポートに対し、VTRに接続されているそのENICのポートをカメラからデータが供給されるマルチキャストグループに参加するよう指示する必要がある。このENICと交換/ルーティングクライアント6との間の指示は、AVSCPを用いて行われる。
AVSCPプロトコルメッセージは、以下のような5個の主要な機能を有する。
1)ENICの動作状態を監視する。
2)ENICの構成を検出する。
3)オーディオ及びビデオソースの伝送を停止及び開始する。
4)ENIC及び対応するオーディオ及びビデオ機器に対し、マルチキャストグループに参加するよう指示する。
5)ネットワークを介して制御データを伝送するパスを確立及び消去する。
ネットワークマネージャ4は、ENICに指示を送信する前に、そのENICの動作状態を知る必要がある。したがって、AVSCPプロトコルでは、ENICがネットワークマネージャ4に周期的に状態メッセージを送信する必要がある。ネットワークマネージャ4は、ENICが動作可能な状態にある場合にのみ、ENICに対するAVストリームの送受信を制御することができる。ENICによって周期的に生成されるメッセージからネットワーク構成情報を得るのに代えて、ネットワークマネージャ4は、ENICに構成要求メッセージを送信し、現在のENICの構成を能動的に検出してもよい。この場合、ENICは、この要求に応じて、現在の構成を特定するメッセージをネットワークマネージャ4に返す。
AVCSPメッセージの具体例を次に示す。
STOP_TX及びSTART_TX:これらにより、ネットワークマネージャ4は、ENICに対し、特定のAVデータストリーム(ENICのAV入力ポートによって特定される)の伝送の停止及び伝送の開始を指示することができる。
SWITCH_AV及びSWITCH_AUDIO:これらにより、ネットワークマネージャ4は、ENICに対し、特定のマルチキャストグループに対して、それぞれAVデータストリーム又はオーディオデータストリームを追加又は削除するよう指示することができる。
SET_CTRL_TX及びSET_CTRL_RX:これらは、AVデータストリーム制御パスの送信(TX)端末及び受信(RX)端末をセットアップするためのメッセージである。アプリケーションがSET_CTRL_TXメッセージをENICに送信すると、このENICは、通常、制御パスの他方の端末におけるENICにSET_CTRL_RXメッセージを送信し、完全なAV制御パスを確立する。
UPDATE_TALLY:これは、ENICポートに対応するソース/宛先機器に対し、照合テキスト情報の表示を更新するよう要求するために用いられる。このコマンドは、多くの場合、AVソースがその表示情報を変更した場合に用いられる。
ACK:これは、ENICがネットワークマネージャ4からコマンドメッセージを受け取ったとき、ENICからネットワークマネージャ4に送信されるメッセージである。応答コマンドメッセージ(acknowledged command message)は、セッションID値によって特定され、応答自体は、肯定応答であっても否定応答であってもよい。UDPが保証された配信プロトコルではないために、AVSCPのACKメッセージが必要となる。メッセージに対する応答が所定時間内にない場合、ネットワークマネージャ4は、そのメッセージを所定の最大回数に亘って繰り返し送信してもよい。
図14は、AVSCPが図1に示すENICネットワーク内の他の機能モジュールにどのように関係しているかを示している。図14に示す構成は、2つの異なるENICにおける同一のプロトコルスタック1100A、1100B及びネットワークマネージャ4のプロトコルスタック1120を示している。ENICプロトコルスタックは、UDP/IP/イーサネット層1102の上位に設けられたAVSCP層1104を備える。このAVSCP層1104と同じプロトコルスタックレベルに、他のプロトコル1106を実装してもよい。AVSCP層1104は、AVSCP要求コマンド及びAVSCP指示コマンドを用いて、上位のENICアプリケーション層1108と通信を行う。ENICのプロトコルスタック1100Aの最上位層は、ネットワークのローカル構成1110を表している。ネットワークマネージャ4のプロトコルスタック1120は、ENICのプロトコルスタック1100A、1100Bと同様、UDP/IP/イーサネット層1122の上位に設けられたAVSCP層1124を備える。サーバアプリケーション層1128は、AVSCP層1124の上位に設けられ、これら2つの層間の通信は、AVSCP要求コマンド及びAVSCP指示コマンドによって調停される。サーバアプリケーション層1128は、ネットワーク構成データベース1130に対応する上位の層とも通信を行う。ENICのAVSCP層1104は、ネットワークマネージャ4の対応するAVSCP層1124にAVSCPプロトコルメッセージを送信し、及びこのAVSCP層1124からメッセージを受け取ることができる。
AVSCP要求は、ENICアプリケーション層1108又はネットワークマネージャ4のサーバアプリケーション層1128から対応するAVSCP層1104、1124に送られるプリミティブコマンド(primitive command)である。アプリケーションは、AVSCP要求を開始して、他のAVSCPエンティティにAVSCPメッセージを送信する。AVSCP要求は、メッセージの宛先(通常、ENIC)のIPアドレス、AVSCPタイプ(例えば、伝送停止、切換等)及びメッセージによって要求される複数の情報要素等のパラメータを有している。
1以上のリモートクライアントコントローラ(図示せず)がクライアントコントローラインタフェース(図示せず)を介してネットワークマネージャ4のサーバアプリケーション層1128にアクセスしてもよい。ネットワークマネージャ4のクライアントコントローラインタフェースにより、クライアントコントローラは、ENIC機器に遠隔から接続し、このENIC機器対して1組の制御機能を実行することができる。
全てのAVSCPメッセージに適用されるAVSCPヘッダの構造を図15に示す。AVSCPヘッダは、32ビットの固定長を有する。第1のオクテット(ビット0〜7)は、プロトコル識別子(プロトコルID)として用いられる。この第1のオクテットは、0xCCの値を有する。プロトコルIDは、他のプロトコルが同じポート番号を使用している場合に、そのプロトコルとの衝突の可能性を検出するために用いられる。第2のオクテット(ビット8〜15)は、プロトコルのバージョン番号を示すために用いられる。第3のオクテット(ビット16〜23)は、将来の使用のために確保されている。第4のオクテット(ビット24〜31)は、メッセージタイプを示している。AVSCPヘッダの後半の4つのオクテットは、コマンドメッセージの送信側が選択した乱数であるセッションIDであり、これは、元のコマンドメッセージと、これに対して応答側によって返される応答メッセージとを結びつけるために用いられる。
CNMCP
上述のように、ネットワークマネージャ4と、交換/ルーティングクライアント6は、CNMCPを用いて互いに通信を行う。CNMCPメッセージは、TCPを用いて伝送される(「データフォーマット」の章及び図3Bのデータフォーマット参照。)TCPは、接続指向プロトコルであり、これは、ネットワークノード間でデータを伝送する前に、送信機器及び受信機器が協働して双方向通信チャンネルを確立する必要があることを意味する。このため、ローカルネットワークを介して伝送される各データパッケージは、応答(acknowledgement)を受け取り、送信側機器は、各データパッケージがエラーを生じることなく受信されたことを確かめるために、状態情報を記録する。
CNMCPにより、交換/ルーティングクライアント6からネットワークマネージャ4に、登録要求、切換要求又は許可更新(permissions update)等の制御メッセージを送ることができ、及びネットワークマネージャ4から交換/ルーティングクライアント6に登録応答、切換応答、更新指示(機器構成を特定する)及び許可応答等の制御メッセージを送ることができる。交換/ルーティングクライアント6にCNMCPメッセージを送信することにより、ネットワークマネージャ4は、交換/ルーティングクライアント6に対し、ネットワークに接続されているENICに関するデータ及びこのENICによってネットワークに接続されているソース機器及び宛先機器に関するデータを通知することができる。更に、CNMCPメッセージをネットワークマネージャ4から交換/ルーティングクライアント6に送信することにより、ネットワークマネージャ4は、交換/ルーティングクライアント6に対し、交換/ルーティングクライアント6がプロキシビデオストリーム、オーディオストリーム及び状態ストリームを受信できるマルチキャストIPアドレスを通知することができる。ネットワークマネージャ4は、交換/ルーティングクライアント6からの要求に応え、ソース機器と宛先機器との間の接続を追加するために十分な帯域幅が使用可能であるか否かを判定し、この判定に応じて、ネットワークリソースへのアクセスを調停する。なお、交換/ルーティングクライアント6は、ネットワークマネージャ4を介した要求アクセスを行うことなく、ENICソース/宛先機器を直接、マルチキャストグループに参加させることもできる。このような処理は、例えば、要求される接続のデータレートが低い場合にのみ適切である。
CNMCPに代えて、例えばシンプルネットワーク管理プロトコル(Simple Network Management Protocol:以下、SNMPという。)を用いてもよい。交換/ルーティングクライアント6により、ネットワークは、オーディオ及びビデオストリームを、いずれも交換/ルーティングクライアント6によって特定されるソース機器から宛先機器に伝送することができ、及びCNMCP又はSNMPメッセージをネットワークマネージャ4に送信することにより、制御データルーティングを特定することができる。
オーディオ及びビデオデータ(RTP)
ソース機器から宛先機器にオーディオ及びビデオデータのストリームを送信するために、トランスポート層は、UDPマルチキャストを実現する。オーディオ及びビデオデータは、UDPパケットにより、実時間プロトコル(Real-Time Protocol:以下、RTPという。)フォーマット(例えば、いわゆるBT.656フォーマット−非特許文献1参照)で伝送される。このフォーマットは、オーディオデータ、フル解像度ビデオデータ及び低解像度プロキシビデオデータに適用される(データフォーマットを説明する後述する「データフォーマット」の章及び図3A参照)。RTPは、実時間トラヒック、すなわち宛先アプリケーションにおいて、時間軸に沿った再生を要求するトラヒックをサポートする。RTPによって提供されるサービスは、ペイロードタイプ識別(例えば、ビデオトラヒック)、シーケンス番号付け、タイムスタンプ及び配信監視等である。RTPは、基底に存在するネットワークによってマルチキャスト配信がサポートされていれば、このマルチキャスト配信を介した複数の宛先へのデータ転送をサポートする。RTPシーケンス番号により、受信側機器は、元のパケットシーケンスを再構築することができる。また、シーケンス番号を用いて、パケットの正しい位置を判定することもできる。RTPは、タイムリな配信を確実にするメカニズムを提供してはおらず、また、他のサービス品質(Quality of Service)保証も行っていない。
ENICがネットワークマネージャ4からAVSCP切換要求を受け取ると、ENICは、イーサネットスイッチ2にIGMP参加メッセージを送信し、受け取る必要があるデータのマルチキャストグループに参加する。
ユニキャスト制御データ(Unicast Control Data:UCD)
制御データは、ユニキャスト伝送として伝送する場合に限り、1つのENICから他のENICに直接送信することができる。制御データがネットワークにおける仮想回線交換接続に影響を与える可能性がある場合、その制御データは、機器を制御するために、交換/ルーティングクライアント6及び/又はネットワークマネージャ4を介して送信する必要がある。ここで、特定の制御データのサブセットについては、1つのENICに接続されたコントローラが、ネットワークマネージャ4及び交換/ルーティングクライアント6をバイパスして、他のENICに接続された機器を直接制御することができる。例えば、再生、一時停止、記録、ジョグ等のコマンドは、コントローラからネットワークを介して例えばVTR等のソース/宛先グループに直接送信してもよい。制御チャンネルは、AVSCPを用いて確立される。制御データ自体は、この実施例では、UDPメッセージとして伝送される。なお、これに代えて、TCPを用いて制御データを伝送してもよい。
ストリーム状態(SS)
状態データは、帯域幅が狭い場合が多いため、交換/ルーティングクライアント6は、CNMCPを用いて、ネットワークマネージャ4を介在させることなく状態情報SSを受け取ることができる。コントローラが第1のENICを介してネットワークに接続され、制御されるグループが第2のENICを介してネットワークに接続されている場合、第1のENICは、制御されるグループの状態を知る必要がある。このために、ネットワークを介して、制御されるグループからコントローラに状態データSSを送信してもよい。交換/ルーティングクライアント6は、選択的に状態データSSを受信し、データストリームの現在の状態を監視することができる。
AVプロキシストリーム(P)
AVプロキシストリームは、RTPを用いて、UDPマルチキャストを介してネットワークに亘って通信される。交換/ルーティングクライアント6は、監視目的で選択的にプロキシビデオデータを受信し、仮想回線交換接続に関する通知された交換判断(informed switching decisions)を行うことができる。図2に示す構成では、交換/ルーティングクライアント6のみがプロキシビデオストリームを受信し、ENIC NI1(「カメラ1」S1ソースグループに関連する。)、NI2(「カメラ2」S2ソースグループに関連する。)、NI8(ビデオスイッチD8宛先グループに関連する。)の全てがプロキシビデオデータストリームを出力することができる。カメラ、VTR、ビデオプロセッサ等のソースグループ機器及び宛先グループ機器のユーザは、オーディオ及び/又はビデオデータストリームのコンテンツに基づいて編集の判断を行うことを望むことが多く、AVプロキシストリームは、このために生成される。幾つかの周知のビデオフォーマットでは、RTPを用いて、ネットワークを介してビデオデータを送信するが、これらの周知の手法は、ビデオデータを高度に圧縮する処理を含む。大きな遅延期間(例えば、1フィールド以上)が導入されるビデオ圧縮処理は、本発明に基づく技術が適用されるスタジオプロダクション環境には適さない。更に、プロダクション環境では、複数のAVデータソースを実質的に同時に画面上に表示する必要がある場合もあり、このような複数のデータストリームを伸張するには、データプロセッサの負担が大きくなり、ハードウェアを強化しなくてはならなくなる場合もある。そこで、この実施例では、ビデオプロキシを圧縮データストリームではなく、非圧縮サブサンプルデータストリーム(例えば、QCIF(176又は180サンプル×144ライン)、16ビットRGB、25フレーム毎秒、水平及び垂直フィルタリングによるサブサンプリング、625ライン×1440サンプル毎ラインのソースから15.2Mビット毎秒、又は525ライン×1440サンプルのソースから(180サンプル×120ライン))として生成する。
データフォーマット(図3A、図3B、図3C)
オーディオビデオデータ
オーディオ及びビデオデータフォーマットは、図3Aに示すように、順次、イーサネットヘッダと、IPマルチキャストヘッダと、UDPヘッダと、RTPヘッダと、ペイロードの種類を指定するフィールドと、ペイロードと、巡回冗長検査(cyclic redundancy check:以下、CRCという。)フィールドとを有する。イーサネットヘッダは、ソースイーサネットアドレスと、宛先マルチキャストイーサネットアドレスとを格納する。IPマルチキャストヘッダは、ENIC IPアドレスと宛先機器マルチキャストIPアドレスとを格納する。IPアドレスには、幾つかの異なるIPアドレスクラスがあり、例えば、クラスAでは、ネットワークIDに8ビットが割り当てられ、これに続く24ビットにホストIDが割り当てられる。クラスBでは、前半の16ビットがネットワークIDに割り当てられ、後半の16ビットがホストIDに割り当てられる。クラスDのIPアドレスは、マルチキャスト伝送に用いられる。クラスDネットワークアドレスの最初の4ビットは、常にバイナリパターン1110であり、10進法の224〜239に対応し、残りの28ビットは、マルチキャストグループIDに割り当てられる。IGMPは、マルチキャスト伝送及びクラスDのIPアドレスに関連して用いられる。
特定のIPマルチキャストアドレスに対応するホストの組(すなわち、ソース及び/又は宛先機器)は、ホストグループと呼ばれる。ホストグループは、複数のネットワークをその範囲に含んでもよく、また、ホストグループのメンバは動的に変更することができる。クラスDのIPアドレスは、イーサネットアドレスにマッピングされ、マルチキャストグループID(28ビット)の最後の23ビットは、イーサネットアドレスの下位23ビットにコピーされる。したがって、マルチキャストグループIDのうち、5ビットはイーサネットアドレスの生成には用いられない。この結果、IPマルチキャストアドレスとイーサネットアドレスとの間のマッピングは、一対一の関係を有さず、すなわち、32個の異なるマルチキャストグループIDが同じイーサネットアドレスにマッピングされる。
UDPヘッダは、ソースポート番号と宛先ポート番号とを含み、これらは、通常、宛先装置上の特定のアプリケーションに関連付けられている。なお、マルチキャストメッセージでは、マルチキャストグループアドレスがストリーム/コンテンツを特定するので、マルチキャストメッセージの場合、UDPは、冗長である。オーディオ/ビデオストリームは、RTPプロトコルを用いて伝送される。例えばフル解像度ビデオストリーム等のある種のデータストリームに対して、順方向誤り訂正(Forward Error Correction:以下、FECという。)を用いて、ネットワークエラーによるデータ破損に対する一定レベルの訂正を行ってもよい。FECは、FECを提供する既知のRTPペイロードフォーマットを用いて実現される。FETは、パリティに基づくエラー回復技術である。
RTPプロトコルを拡張することにより、RTPペイロードヘッダにおいて映像走査線番号を特定できることが知られている。RTPヘッダは、更に、その映像データが8ビットであるか10ビットであるかを特定するフィールドも含んでいる。周知のRTP及びRTP/FECプロトコルフォーマットは、IPネットワークを介してオーディオデータ及びビデオデータを伝送するために必要なデータパケットフィールドを提供するが、ソース状態及びソースタイムコード情報等の更なる情報を伝送できるようにすることが望ましい。例えば、ソース機器がVTRである場合、ネットワークを介して、テープ状記録媒体に記録されるタイムコードを伝送する必要がある。ソース状態情報は、例えば、VTRが現在再生動作中、停止中、又はジョグ/シャトルモードであるか否か等の情報を示す。この状態情報により、ユーザは、リモートのネットワーク位置からVTRを操作することができる。タイムコードデータ及びソース状態情報は、フィールド毎に1回だけ伝送すればよいため、これらの情報は、垂直帰線としてマークされたRTPパケットにおいて伝送される。オーディオ及びビデオ再同期を実現するために、RTPタイムコードは、27MHzクロックに基づいている。ペイロードタイプフィールドは、ペイロードの種類、すなわち、ペイロードがビデオデータであるかオーディオデータであるかを示している。ペイロードフィールドは、伝送すべきビデオデータ又はオーディオデータを含んでいる。CRCは、当分野において周知の巡回冗長検査用のデータである。
AVSCP及びCNMCP
AVSCP及びCNMCPメッセージは、図3Bに示すようなデータフォーマットによって伝送される。このフォーマットは、順次、イーサネットヘッダ、IPヘッダ(マルチキャストヘッダではない)、UDP又はTCPヘッダ、ペイロード、CRCフィールドを含んでいる。イーサネットヘッダは、ソースイーサネットアドレスと、宛先マルチキャストイーサネットアドレスとを格納する。IPヘッダは、ソースENICのIPアドレスと、宛先ENICのIPアドレスとを格納する。UDPは、AVSCP用に使用され、TCPは、CNMCP用に使用される。ペイロードフィールドは、AVSCP又はCNMCPメッセージデータを格納する。CRCは、当分野において周知の巡回冗長検査用のデータである。
ストリーム状態フォーマット
ストリーム状態(stream status:SS)フォーマットは、ペイロードセクションのコンテンツを除き、図3Aに示すオーディオ及びビデオデータフォーマットと同じ構造を有する。このフォーマットは、イーサネットヘッダ、IPマルチキャストヘッダ、UDPヘッダ、RTPヘッダ、ペイロードタイプ識別フィールド、ストリーム状態データペイロード、CRCフィールドを有する。
ユニキャスト制御データフォーマット
ユニキャスト制御データフォーマットは、図3Cに示すように、イーサネットヘッダ、標準IPヘッダ(マルチキャストではない)、UDPヘッダ、ユニキャスト制御データに割り当てられたペイロードセクション、CRCフィールドを有する。
IGMPは、周知のプロトコルである。単一のネットワークを超えて広がるマルチキャスト伝送では、インターネットルータが、所定の物理ネットワーク上どのホスト(この場合、ソース機器及び宛先機器)がマルチキャストグループに属するかを判定する必要があるため、このような伝送は複雑である。IGMPは、通常、このような情報を確立するために用いられる。IGMPは、物理ネットワーク上の全てのノードに対し、現在のホストとマルチキャストグループとの関係を知らせる。IGMPメッセージは、IPデータグラムにおいて伝送され、固定長8バイトのIGMPメッセージに20バイトIPヘッダを結合して生成される。IGMPメッセージは、32ビットのクラスDのIPアドレスを含んでいる。
マルチキャストルータ(例えば、図1のイーサネットスイッチ2)は、幾つかのIGMPクエリ及びレポートを用いて、どのインタフェースがマルチキャストグループに関連付けられた少なくとも1つのホスト(ソース/宛先機器又はグループ)を有するかを記録する。イーサネットスイッチ2が、ソース機器からマルチキャストメッセージを受け取ると、イーサネットスイッチ2は、現在そのマルチキャストグループに関連付けられている宛先機器を有するインタフェースのみにそのメッセージを送信する。
ENIC(図4)
ENICは、非同期イーサネットスイッチ2にIGMP参加メッセージを送信することにより、マルチキャストグループに参加する。ENICは、図3Aに示すオーディオ/ビデオフォーマット、図3Bに示すAVSCP/CNMCPフォーマット又は図3Cに示すUCDフォーマットでデータを送信及び/又は受信する。なお、ENICは、CNMCPデータは送受信しない(CNMCPデータは、ネットワークマネージャ4及び交換/ルーティングクライアント6の間でのみ送受信される)。
図4に示すように、ENICは、ネットワークプロセッサ20と、バッファ/パケットスイッチ22と、パケット化器/逆パケット化器24と、制御プロセッサ(CPU)26と、周辺コンポーネント相互接続(peripheral component interconnect:PCI)28と、クロック22と、クロック同期回路204と、フレーム同期回路205とを備える。クロック同期回路204は、同時に係属中の英国特許出願番号0204242.2号明細書に開示されている。フレーム同期回路205は、同時に継続中の英国特許出願番号0307459.8号明細書に開示されている。
パケット化器/逆パケット化器24は、個々のSDIビデオストリームを受け取る3個のビデオ入力端子218と、個々のSDIオーディオストリームを受け取るオーディオ入力端子220とを備える。これに代えて、結合されたSDIオーディオ/ビデオストリームを受け取る3個の入力ポートを設け、このオーディオ/ビデオストリームをENIC内で3個のオーディオストリームと3個のビデオストリームとに分離してもよい。更なる変形例では、パケット化器/逆パケット化器24への入力信号としてAESデジタルオーディオストリームを供給してもよい。パケット化器/逆パケット化器24は、同様に3個のビデオ出力端子222と、3個のオーディオ出力端子224とを備える。
CPU26は、3個の制御データ入力端子226と、3個の制御データ出力端子228とを備え、これらは、従来のスタジオにおけるRS422によって提供されるものと同様の制御機能を提供するため、「RS422」として示される。3個のビデオ入力端子218は、3個の実質的に実時間のプロキシビデオ生成器212に接続されている。プロキシビデオ生成器212は、後述するように、ビデオストリームの低解像度のバージョンを生成する。プロキシビデオ生成器212及びSDIビデオ入力端子218からの出力信号は、パケット化器/マルチプレクサ214に入力され、パケット化器/マルチプレクサ214は、ビデオ入力端子218を介して供給されてくるフル解像度のシリアルビデオデータと、プロキシビデオ生成器212からのプロキシビデオとを、ネットワークを介して伝送するのに適したパケットに変換する。ここで生成されたパケットは、バッファ/パケットスイッチ22に供給される。パケット化器/逆パケット化器24は、バッファ/パケットスイッチ22からSDIビデオ及びオーディオチャンネルデータを表すパケットを受け取る逆パケット化器/デマルチプレクサ216を備える。逆パケット化器/デマルチプレクサ216は、ビデオ及びオーディオデータを3個のシリアルビデオストリーム及び3個のシリアルオーディオストリームに逆パケット化及び逆多重化し、これらのストリームを3個のビデオ出力端子222及び3個のオーディオ出力端子224のそれぞれに供給する。このように、パケット化器/逆パケット化器24は、バッファ/パケットスイッチ22を介して、ネットワークからビデオ及びオーディオデータをパケットフォーマットで受け取り、出力端子222、224を介してシリアルデジタルフォーマットで出力するルーティング機能を提供するとともに、入力端子218、220からシリアルデジタルフォーマットのビデオ及びオーディオデータを受け取り、これらをネットワークを介して伝送するためのパケットフォーマットでバッファ/パケットスイッチ22に供給するルーティング機能を提供する。パケット化器/逆パケット化器24は、更に、異なるビデオ及びオーディオストリームをクロック同期回路204からの同期信号に同期させる同期機能と、フレーム同期回路205からの同期信号によって異なるビデオストリームのビデオフレームを揃えるフレーム整列機能とを提供する。
フルビットレートのSDIビデオデータ及びビットレートが低減されたプロキシビデオデータは、それぞれ独立したパケットデータとして伝送することが好ましいが、他の実施例として、(a)プロキシビデオを生成するための圧縮及び/又はサブサンプリングにおいて、プロキシビデオストリームがSDIビデオストリームのサブセットとなるようにしてもよく、(b)SDIストリームとして、プロキシストリームによって表されていない入力ストリームの部分のみを送信してもよい。プロキシストリームによって表されているデータの部分を省略することにより、SDIストリームのビットレートを低減することができ、これによりネットワークトラヒックを低減することができる。しかしながら、この手法では、元のビデオデータを再構築するためには、2つのストリームを受信することが必要となる。
バッファ/パケットスイッチ22は、ネットワークプロセッサ20においてパケットに付された一連のタグに基づいて、ネットワークプロセッサ20から受け取ったビデオ、オーディオ及び制御パケットをルーティングする。ネットワークプロセッサ20は、受信したパケットのヘッダデータに基づいてタグを生成する。タグには、バッファ/パケットスイッチ22を介したデータのルートを定義する「フロー」タグと、パケット化器/逆パケット化器24によってパケットが供給される最終的な出力(事実上、データに対して実行すべきアクション)を定義する「タイプ」タグの2種類のタグがある。ビデオ及びオーディオパケットは、逆パケット化器/デマルチプレクサ216にルーティングされ、制御パケットは、CPU26にルーティングされる。
ネットワークプロセッサ20は、UDP/IPフィルタ208を備え、UDP/IPフィルタ208は、パケットヘッダ情報を用いて、ネットワークから受信した同期パケット、オーディオデータパケット、ビデオデータパケット、状態データパケット、制御データパケットを検出する。ネットワークプロセッサ20は、受信したクロック同期パケットを直接クロック同期回路204に供給し、英国特許出願番号0204242.2号明細書に開示されているように、ENICクロック202をマスタ基準クロックに同期させる。また、ネットワークプロセッサ20は、フレーム同期パケットをクロック同期回路204に供給し、続いてENICクロック202を介してフレーム同期回路205に供給する。ネットワークプロセッサ20は、同期パケットをクロック同期回路204及びフレーム同期回路205に直接供給することにより、時間的遅延を低減し、同期の精度を高めている。他のパケット、例えばAVSCPパケットは、フィルタ208では認識されず、CPU26に供給される(但し、変形例として、これらのためのフィルタを設けてもよい)。ネットワークプロセッサ20は、オーディオ及びビデオパケットとともに受け取ったヘッダデータに基づいて、オーディオ及びビデオパケットにタグを付す。タグが付されたオーディオ及びビデオパケットは、バッファ/パケットスイッチ22に供給され、バッファ/パケットスイッチ22は、これらのパケットを逆パケット化器/デマルチプレクサ216又はコンピュータインタフェースPCI28に供給する。タグが付された制御データパケットは、バッファ/パケットスイッチ22によってCPU26にルーティングされる。バッファ/パケットスイッチ22については、後に詳細に説明する。
ENICは、ハードウェア、ソフトウェア(ディスク又は読出専用メモリ(図示せず)、及び/又はネットワーク又はインターネット接続等の伝送媒体を介して提供される)、プログラミング可能なハードウェア又はこれらの組み合わせによって実現してもよい。
ENICにおけるデータのルーティング
1.ネットワークから受信したデータ
ENICは、図3Aに示すオーディオ及びビデオパケット、図3Bに示すAVSCPパケット、ストリーム状態データパケット(図3Aに示すものと基本的に同じフォーマットを有する)、及び図3Cに示すユニキャスト制御データパケットをネットワークから受け取る。イーサネットヘッダは、ENICの物理アドレスを提供し、これにより、ネットワークは、周知の手法でパケットをENICに配信することができる。
ENICのネットワークプロセッサ20(図4参照)は、UDP/IPフィルタ208を備え、UDP/IPフィルタ208は、IP及びUDPヘッダを抽出し、ヘッダ内のアドレス情報を復号し、ペイロードタイプフィールドからペイロードデータのタイプを検出する(図3A参照)。次に、ネットワークプロセッサ20は、パケットヘッダをタグ識別子に置き換える。タグ識別子は、ENICを介してパケットペイロードデータを例えばビデオ又はオーディオプロセッサ等のどのターゲットデータ処理ノードにルーティングするかを特定する。図5Aは、タグが付されたパケットのデータフォーマットを示している。タグが付されたデータパケットは、32ビット幅を有し、データ長は定義されておらず、すなわち、ペイロードは可変長である。タグが付されたデータパケットの最初の32ビットは、8ビットの「フロー」データフィールドと、8ビットの「タイプ」データフィールドと、16ビットの「サイズ」フィールドから構成される。次の32ビットは、現在のところ使用されていない。この未使用のフィールドに続いて、ペイロードフィールドが設けられている。オーディオ及びビデオデータの場合、タグが付されたパケットペイロードは、図3Aに示すオーディオ又はビデオデータペイロードに加えて、RTPヘッダ及びペイロードタイプデータを有する。AVSCP/CNMCPデータパケット及び制御データパケット(図3B及び図3C参照)の場合、タグが付されたパケットペイロードは、メッセージデータである。
図5Aに示すタグが付されたパケットデータのフローデータフィールドは、タグが付されたパケットのペイロードが送信されるターゲットデータ処理ノードに対応するバッファ/パケットスイッチ22(図4)の出力端子を定義する。タイプデータフィールドは、ターゲットプロセッサがデータに対してどのような処理を施すかを示すものであり、サイズデータフィールドは、ペイロードサイズを示す。
図5Bは、フロー割当(flow assignment allocation)の具体例を示している。この具体例では、フロー0は、例えばタグが付されていないデータ等、いかなるターゲット処理装置にも供給されないデータに対応し、フロー1、4は、パケット化器/逆パケット化器24(図4)のビデオ入/出力ポート218、222に対応し、フロー2、5は、ネットワークからの及びネットワークへのCPUデータフローに対応し、フロー3、6は、ネットワークからの及びネットワークへのPCI28データフローに対応する。
図5Cは、マルチプレクサ(MUX)及びデマルチプレクサ(DEMUX)を介した6個の定義されたフローパスに、ビデオデータ、PCIデータ、ネットワークデータ、CPUデータをどのようにマッピングするかを示している。図5Bに示す各データフローは、FIFOに関連付けられている。この具体例では、FIFOに書き込まれるパケットのサイズ又は数を判定する直接的な手段は、不要であるため、このような手段は設けられていない。パケットに関連付けられたタグは、パケットサイズを特定し、したがってMUXは、読出動作を実行するために、FIFOが「空でない」ことを示す情報のみを必要とする。MUXモジュールは、(例えばCPU等の外部手段によって)特定のフローのみに反応するようにプログラミングすることができる。これにより、図4に示すバッファ/パケットスイッチ22に亘って仮想フローパスを構築することができる。同様に、衝突を避けるために、単一のDEMUXモジュールを1つのデータフローに対応するようプログラミングすることもできる。ここでも、マッピングは、外部手段によってプログラミング可能に制御される。
図6は、パケット化器/逆パケット化器24のビデオ処理部を示している。ビデオ処理部は、デマルチプレクサ2401を備え、デマルチプレクサ2401は、ビデオパケットに付されたタグ内の「タイプ」データに応じて、このタイプデータによって示される3個のチャンネルV、V、Vにビデオパケットを供給する。各チャンネルには、RTP/FECデコーダと、これに続くフレームメモリ2405、2406、2407がそれぞれ設けられている。RTPデコーダ2402は、受け取ったパケットからタグを分離し、RTPパケットヘッダによって定義されたアドレス、詳しくはそのライン番号データを用いて、パケットをフレームメモリ2405に書き込み、ビデオデータが正しい順序で並べられたビデオフレームを生成する。
フレームモード及びパケットモード
上述の説明は、ネットワークからフレームメモリ2405、2406、2407へのパスについてのものであり、このパスは、基本的には、バッファ/パケットスイッチ22を介したパケット化された(FIFO的な)ルートを表し、フレームメモリにおいてビデオデータがフレームに再構築される。このバッファ/パケットスイッチ22の動作モードを「パケットモード」と呼ぶ。
他の動作モードとしては、「フレームモード」があり、これは総称的な用語であり、このモードはフレームではなく、フィールドに適用することもできる。これらのモードは、単にメモリがバッファ/パケットスイッチ22にどのように関連付けられているかによって選択することができる。
パケットモードにおけるビデオ伝送では、メモリは、バッファ/パケットスイッチ22に直接関連付けられ、受信したビデオパケットをファーストインファーストアウト方式で記憶する。換言すれば、パケットが格納されるアドレスは、パケット内のビデオデータによって表されている画素位置とは無関係である。これらのパケットは、受信時と同じ順序で出力される。この構成は、圧縮ビデオデータを取り扱う場合に適している。
フレームモードにおけるビデオ伝送では、供給されてくるビデオパケットは、そのビデオデータによって表されている画素位置に関連するアドレスを用いて、バッファ/パケットスイッチ22に関連付けられているメモリに書き込まれる。ビデオデータは、例えば、連続的に又は例えば24ライン遅延等の所定の遅延を経て、画素走査順に読み出される。この構成により、バッファ/パケットスイッチ22の外部にフレームメモリを設ける必要がなくなり、及びメモリ位置における先のデータが新たに受け取られたデータによって上書きされていなければ、そのデータを読み出すことができるという点において、ある程度の時間的な調整を行うことができる。なお、フレームモードは、非圧縮ビデオデータに対してのみ有用である。
動作の第1の具体例:オーディオデータのマルチキャスト
この具体例では、ソースグループS9からネットワークを介してオーディオプロセッサD3にAESオーディオデータを伝送するデータ通信パスを形成することが望まれている。AESオーディオデータは、ENIC NI6によってパケット化され、ネットワークを介して送信され、ENIC NI10に供給されて逆パケット化された後、オーディオプロセッサD3にシリアルデジタルフォーマットで供給される。ユーザは、交換/ルーティングクライアント6によって表示される、図9〜図11を用いて後に説明するグラフィカルユーザインタフェースとインタラクトすることによって、オーディオソースS9とオーディオプロセッサD3とを接続することができる。オーディオソースS9とオーディオプロセッサD3との間の通信パスを確立するために、交換/ルーティングクライアント6は、CNMCP切換要求メッセージをネットワークマネージャ4の所定のポートに送信し、仮想回線交換接続の現在の構成の変更を開始する。ネットワークマネージャ4は、交換/ルーティングクライアント6に、この交換/ルーティングクライアント6が接続可能なソース機器及び宛先機器(及び関連するソースグループ及び宛先グループ)を提供するCNMCPメッセージを送信する。これにより、交換/ルーティングクライアント6は、ネットワークの現在の構成及び状態を知ることができる。各ソース機器及び宛先機器は、ネットワークマネージャ4によって割り当てられた関連するIDを有し、この機器IDは、交換/ルーティングクライアント6に送信され、交換/ルーティングクライアント6は、以降のネットワークマネージャ4との通信においてこの機器IDを使用する。ユーザによるS9〜D3に接続するための要求に応じて、交換/ルーティングクライアント6は、関連するソース機器のID及び宛先機器のIDを含むCNMCPメッセージをネットワークマネージャ4に送信する。
交換/ルーティングクライアント6がこの処理を行うことが許可されていない場合(例えば、信頼できる接続を確立するための十分なネットワーク帯域幅が確保できない場合)、ネットワークマネージャ4は、接続要求に応答して、否定的応答(negative acknowledgement:NACK)CNMCPメッセージを交換/ルーティングクライアント6に送信する。一方、ネットワークマネージャ4が接続の確立を許可する場合は、接続要求は次のように処理される。
まず、ネットワークマネージャ4は、ネットワーク構成データベースに問い合わせを行い、ソースグループS9からのAESオーディオデータが現在どのマルチキャストIPアドレスに送信されているかを判定する。次に、ネットワークマネージャ4は、ソースグループS9がデータを送信するマルチキャストIPアドレスを含むAVSCP交換メッセージを生成し、オーディオプロセッサD3をネットワークに接続するENIC NI10の関連するポート(機器)に送信する。ENIC NI10に組み込まれたソフトウェアは、S9のオーディオデータが伝送されるマルチキャストIPアドレスへのIGMP参加メッセージを送信し、及びネットワークマネージャ4にAVSCP ACKメッセージをネットワークマネージャ4に返信する。これにより、ENIC NI10は、自らの宛先機器のうちの1つにおいて、オーディオソースS9からの出力信号を受け取り、このオーディオデータをオーディオプロセッサD3に接続されているソース機器(ENIC AES出力ポート)にルーティングする。一方、ネットワークマネージャ4は、ENIC10から、特定されたマルチキャストIPアドレスに参加する指示を許諾したことを示すAVSCP ACKメッセージを受け取って、新たに形成される接続の存在を反映させるように、ネットワーク構成データベースにおけるルーティング情報を更新する。最後に、ネットワークマネージャ4は、S9及びD3間において要求されたオーディオデータ接続の確立に成功したことを示すCNMCP ACKメッセージを交換/ルーティングクライアント6に送信する。
動作の第2の具体例、AVデータのマルチキャスト
この動作の具体例では、図1に示す2個のソースグループ機器が単一の宛先グループ機器に接続される。詳しくは、「カメラ1」S1及び「カメラ2」S2からの出力信号がビデオスイッチD8への入力信号として供給される。S1とD8との間の接続及びS2とD8との間の接続を開始するために、交換/ルーティングクライアント6は、「カメラ1」S1、「カメラ2」S2、ビデオスイッチD8に関連するID値を含むCNMCP交換メッセージをネットワークマネージャ4に送信する。
上述のように、ネットワークマネージャ4のネットワーク構成データベースは、各ENIC機器カテゴリに関連するデータも格納している。具体的には、ネットワーク構成データベースは、各ソース機器がリンクされているか否か、データストリームの伝送によって遅延されるビデオライン数、ソース機器の現在の伝送状態等を示すデータを格納している。ネットワークマネージャ4は、更に、ネットワーク構成データベースから、宛先機器に関する情報、例えば機器を実現するENICのIPアドレスや再生時に遅延されるビデオラインの数等の情報を導出する。
ネットワークマネージャ4は、ネットワーク構成データベースに基づいて、カメラソースグループS1、S2のそれぞれがデータを送信すべきマルチキャストIPアドレスを判定することができる。これにより、ネットワークマネージャ4は、2つのカメラS1、S2及びビデオスイッチD8の間の接続を確立するために、「カメラ1」S1がAVデータを送信するマルチキャストIPアドレスと、「カメラ2」S2がAVデータを送信するマルチキャストIPアドレスとの両方を特定するAVSCPメッセージをENIC NI8に送信する。ネットワークマネージャ4からの各AVCSPメッセージは、ENIC NI8のネットワークプロセッサ20によって検出され、ENIC NI8のCPU26に供給され、CPU26は、ネットワークにIGMP参加メッセージを発行する。2つのカメラS1、S2のそれぞれによって出力されるAVパケットは、ENIC
NI8のネットワークプロセッサ20に供給される。供給されたビデオパケットは、そのヘッダデータにおいて、宛先IPアドレスを特定し、及びAVパケットが配信されるマルチキャストグループがIPアドレスから導出される。ENIC NI8は、このマルチキャストグループから、ENIC NI8のどの出力ポート(ソース機器)に逆パケット化されたAVデータをルーティングするかを判定する。上述のように、マルチキャストグループは、ネットワーク内のどの宛先機器のサブセットにデータパケットをルーティングするかを定めるものである。ENIC NI8において、ネットワークプロセッサ20は、(図4を用いて上述したように)AVパケットからヘッダを分離し、タグに置き換える。バッファ/パケットスイッチ22は、タグにおけるフローデータに基づいて、ビデオパケットをデマルチプレクサ2401(図6A参照)にルーティングする。デマルチプレクサ2401は、このデータを逆パケット化し、(例示的に示す)RTP/FECデコーダ2402、2403に供給し、RTP/FECデコーダ2402、2403は、逆パケット化されたデータを復号して、ビデオフレームを再構築する。RTP/FECデコーダ2402、2403から出力されるビデオフレームを示すデータは、それぞれフレームメモリ2405、2406に供給される。更に、ENIC NI8のフレーム同期回路205(図4参照)は、ネットワークマネージャ4によってネットワーク構成データベースに格納されたライン遅延情報を考慮して、2つのビデオストリームのフレームを揃える。ビデオスイッチD8(図1)は、ENIC NI8から2つのAV SDIストリームを受け取る。
「カメラ1」、「カメラ2」及びビデオスイッチD8の間の通信チャンネルを確立することに加えて、ネットワーク構成データベースにおいて、CONTROL_SOURCEデータ構造及びCONTROL_DESTINATIONデータ構造として特定される制御チャンネルを確立する必要がある。AVストリーム制御パスは、交換/ルーティングクライアント6からこの制御パスの両端を定義する2個のENICに2個の「CREATE_STREAM_CTRL」AVSCPメッセージを送信することによって確立される。「CREATE_STREAM_CTRL」AVSCPメッセージのそれぞれは、ENICにおいて、制御パスの一方の端末を定義する。制御パスが確立されると、ENIC NI8にUCDデータパケットを送信することができ、例えば、ビデオスイッチD8に対し、その出力を「カメラ1」に由来するデータから「カメラ2」に由来するデータに変更するよう指示することができる。
これにより、ビデオスイッチD8は、「カメラ1」及び「カメラ2」からのAVデータストリームに加えて、ENIC NI8のCPU26(図4)からの制御データも受け取る。制御データは、交換/ルーティングクライアント6(図1)によってユニキャスト制御データとして送信され、パケット形式で、ネットワークを介して、ENIC NI8のネットワークプロセッサ20(図4)に供給される。ユニキャスト制御データは、そのパケットが制御パケットであることを示すヘッダを有しており、したがって、(図4を用いて説明したように)これらの制御パケットは、ENIC NI8のCPU26にルーティングされる。この制御データにより、ビデオスイッチD8に対し、その出力信号を一方のAVストリームから他方のAVストリームに、例えば「カメラ1」から「カメラ2」に切り換えるように指示することもできる。
動作の第3の具体例:ネットワークを介した照合テキストデータの変更の伝播
図7は、本発明に基づくネットワーク構成の具体例を単純化して示すブロック図である。このネットワークは、2個のカメラ「カメラ1」及び「カメラ2」と、デジタルマルチエフェクト(Digital Multi-Effects:以下、DMEという。)ユニットと、ABスイッチ(AB switch)と、ABスイッチの現在の構成に応じて、2つのカメラのうちのいずれかの出力AVストリームを表示することができるモニタとを備える。ネットワーク機器のそれぞれに関連するENICに関してネットワークの構成を示している。すなわちこのネットワークは、「カメラ1」のソース機器に接続されたENIC_1 710と、「カメラ2」のソース機器に接続されたENIC_2 720と、DMEユニットに接続されたENIC_DME730と、ABスイッチに接続されたENIC_AB_SWITCH740と、モニタに接続されたENIC_AIR 750とを備えている。
ENIC_1 710は、「カメラ1」から出力されるSDIデータを受け取り、このSDIデータをパケット化して、ネットワーク及びENIC_DME730を介して、デジタルマルチエフェクト処理のためにDMEに供給する。DMEのSDI出力データは、ENIC_DME730に戻されてパケット化され、ネットワーク及びENIC_AB_SWITCH740を介して、ABスイッチに供給される。「カメラ2」から出力されるSDIデータは、ENIC_2 720よってパケット化され、パケット形式で、ネットワーク及びENIC_AB_SWITCH740を介して、ABスイッチに供給される。このABスイッチの現在の構成に応じて、DME処理された「カメラ1」の出力データ又は「カメラ2」の出力データがENIC_AIR750に供給され、SDIフォーマットに変換されてモニタに表示される。図7におけるENIC間の破線は、ENICからのネットワーク接続を表し、実線は、ENICへのSDI接続を表す。上述のように、SDIデータは、ENICポートに供給されてパケット化され、ネットワークを介して宛先機器に送信され、一方、ネットワークからのパケットデータは、ENICに受け取られて逆パケット化され、例えばSDIデータストリーム又はAESオーディオデータストリーム等のシリアルデジタルデータストリームとしてAV機器に供給される。
上述のように、ネットワークマネージャ4によって保存されたネットワーク構成データは、「SOURCE」データ構造を含み、「SOURCE」データ構造は、パラメータ「LINK」を含み、LINK=1のソースは、宛先機器からデータが供給されるソースである。各カメラに対応するビデオソース機器は、LINK=0の値を有し、したがって「純粋な」ソースであり、すなわち、これらは出力するデータを直接生成する。各カメラは、「プロデューサ(Producer)」と呼ばれるユーザグループを有し、プロデューサは、カメラマンの名前である照合テキストを設定しており、例えば「カメラ1」は「フレッド(FRED)」、「カメラ2」は「ジム(JIM)」等と設定されている。ENIC_1 710は、「カメラ1」に関連付けられ、ENIC_2 720は、「カメラ2」に関連付けられ、ネットワーク上の他の3個のENICは、ENIC_DME730、ENIC_AB_SWITCH740、ENIC_AIR750である。ENIC_DME730は、「カメラ1」からのビデオデータに対してデジタルマルチエフェクト(DME)処理を施す。このENIC_DME730は、ネットワークマネージャ4によってネットワーク構成データベースに保存されている2個の機器エントリを有し、これらの機器エントリには、「DME In」及び「DME Out」のラベルが付されている。「DME In」は、「カメラ1」からネットワークを介してパケットデータを受信し、DMEユニットに供給する宛先機器であり、同じENIC上のソース機器「DME Out」へのビデオリンクを有し、このソース機器「DME Out」を介して、「カメラ1」から供給され、DME処理されたパケットデータがネットワークを介してENIC_AB_SWITCH740に送信される。更に、「DME Out」は、E1(EFFECT1を示す)の照合テキストを有する。ENIC_AB_SWITCH740は、「DME Out」ソース機器と、「カメラ2」からデータを出力するENIC_2 720に関連するソース機器との間のシームレスな切換を行う。このENIC_AB_SWITCH740は、ネットワーク構成データベース内に、「Switch A In」、「Switch B In」、「Switch Out」のラベルが付された3個の機器エントリを有する。「Switch Out」は、どのビデオソースが選択されているかに応じて「Switch A In」又は「Switch B In」(すなわち、「カメラ1」からの処理されたAVストリーム又は「カメラ2」からのAVストリーム)にリンクされるソース機器である。ENIC_AIR750は、「Monitor」(照合ディスプレイを有するモニタ)のラベルが付された宛先機器である1つの機器を有する。「Monitor」は、他のソース機器にデータを供給しないため、「純粋な」宛先機器(LINK=0)である。「Monitor」機器は、ENIC_AB_SWITCH740を介して、ABスイッチからビデオデータを受け取り、ENIC_AB_SWITCH740の「Switch Out」ソース機器であるソース機器からのメタデータを表示する照合テキストを有する。
ここで、本発明に基づき、ソース機器の照合テキストデータの変更が、ネットワーク接続を介して最終的な宛先機器にどのように伝播するかについて説明する。例えば、ABスイッチがチャンネルAを示し、カメラ1のメタデータが変更されたとする。現在のカメラマンの変更に対応して、「カメラ1」の照合テキストエントリが「フレッド」から「ロブ」に変更されたとすると、ENIC_1 710は、ネットワークマネージャ4に対し、「カメラ1」ソース機器に関連する照合テキストデータを「フレッド」から「ロブ」に変更することを要求する。ネットワークマネージャ4は、ネットワーク構成データベースに問い合わせを行い、カメラ1ソースデータが供給されているマルチキャストグループに参加している各宛先機器を調べる。ネットワークマネージャ4は、ENIC_1ソース機器の照合テキストデータを表示する全てのクライアントの情報を更新する。これらの宛先機器のいずれかがリンクされた機器である場合(すなわち、受信したデータを更なるソース機器に供給する機器である場合)、その機器は、リンクされた対応するソース機器にナビゲートし、その全ての宛先機器を更新する。図7に示す構成では、ENIC_DME730の宛先機器「DME In」は、同じENIC上のソース機器「DME Out」にリンクされている(すなわち、同じENIC上の異なるポートにリンクされている)。ソース機器「DME Out」の照合テキスト(E1)は、「ロブ」に結合されて、ROB_E1となり、「DME Out」から現在データを受け取っている全ての宛先機器にこの変更を通知する必要がある。ENIC_AB_SWITCH740の唯一の宛先機器は、「Switch A In」である。スイッチは、現在、チャンネルAから(すなわちカメラ1から)データを受け取るように設定されており、「スイッチA In」が(同じENICである)ENIC_AB_SWITCH740の「Switch Out」ソース機器にデータを供給するので、(「スイッチB In」ではなく)「スイッチA In」が宛先機器に現在リンクされ、「Switch Out」の全ての宛先機器が更新される。この具体例では、「Switch Out」は、純粋な宛先機器であるENIC_AIR750上の「Monitor」である1個のみの宛先機器を有する。したがって、「Monitor」の照合テキストは、「ROB_E1」(「FRED_E1」に代わる)に更新される。このようにして、照合テキストの変更は、ネットワークの関連するノードに有効に伝播する。
次に、モニタに表示されている「カメラ1」の出力データに代えて、「カメラ2」の出力データを表示するAB切換の実行について説明する。この場合、ENIC_AB_SWITCH740上の宛先機器「Switch A In」及び「Switch B In」間におけるシームレスなAB切換を実行するための要求をネットワークマネージャ4に送信する。ネットワークマネージャ4は、ネットワーク構成データベースを調べ、要求された切換に関連するENICの現在の状態を判定し、ネットワークが正しく構成されている場合、ネットワークマネージャ4は、2つのソース機器間の切換を実行するために必要な仮想回線交換接続の変更を開始する。ENIC_AB_SWITCH740上の「Switch B In」にデータを供給するENIC_2 720上のソース機器は、「カメラ2」に関連付けられている。ネットワークマネージャ4は、ネットワーク構成データベースを用いて、「カメラ2」にアクセスし、その状態を「オンエアー(*ON AIR*)」に更新することができる。同様に、「Switch A In」への接続を再びアクティブにするようにABスイッチ構成が変更された場合、「Switch A In」から機器にアクセスして、「カメラ1」を「オフエアー(*OFF AIR*)」に指定することもできる。「カメラ2」に関連する照合テキスト、すなわち「JIM」である正しい照合テキストは、上述したように「Monitor」に伝播し、「カメラ1」に関連する「FRED_E1」又は「ROB_E1」である現在表示されている照合テキストが「JIM」に置換される。
ネットワークへのデータの送信(図6B、図6C)
図6Bに示すように、SDIビデオの1つチャンネルを介して、カメラ等のSDIソースからバッファ2408にデータが供給される。バッファ2408は、一時的にビデオデータをバッファリングし、このビデオデータは、RTP/FECエンコーダ2410によってパケット化された後、バッファ2412に供給されて一時的にバッファリングされる。タグ生成器2414は、図5A及び図5Bに示すフローデータ及びタイプデータを含むタグをRTPパケットに付加する。マルチプレクサ2416は、タグ生成器2414からタグが付されたパケットを受け取り、このビデオパケットと、他の同様のビデオチャンネルからのビデオパケットとを多重化する。タグは、ネットワークマネージャ4から受信したAVSCPメッセージに応じて、CPU26によって生成されたデータによって定義される。図5Cに示すように、パケットスイッチは、タグ内のフローデータに基づいて、ビデオパケットをネットワークプロセッサ(net)又はPCI28にルーティングする。オーディオパケットも同様に処理され、ルーティングされる。
パケットをネットワークにルーティングする場合、ヘッダ生成器210(図4)は、パケットからタグを分離し、フローフラグ及びタイプフラグに基づいて、パケットに添付されるネットワークヘッダの適切な部分を生成する。
プロキシビデオ
図8を用いて説明すると、プロキシビデオは、以下のようにしてSDIビデオから生成される。水平フィルタ70は、SDI入力データに対する低域通過FIRフィルタである。水平フィルタ70によってフィルタリングされたデータは、水平サブサンプラ71に供給され、水平サブサンプラ71は、SDIビデオを水平方向にサブサンプリングし、すなわち、水平解像度を低減する。垂直サブサンプラ72は、水平サブサンプラ71から受け取ったデータを垂直方向にサブサンプリングし、垂直解像度を低減する。これにより生成されたプロキシビデオは、エンコーダ74によってエンコードされ、RTPパケットが生成される。各ビデオチャンネルにつき1個のプロキシビデオ生成器が設けられている。プロキシビデオは、パケット化器/パケット化器24、バッファ/パケットスイッチ22、ネットワークプロセッサ20においては、SDIビデオと同様に処理される。プロキシビデオは、常に、交換/ルーティングクライアント6に、又は交換/ルーティングクライアント6、61のいずれかに供給される。これにより、1つのプロキシビデオストリームは、交換/ルーティングクライアント6及び/又は交換/ルーティングクライアント61が参加する第1のマルチキャストグループにマルチキャストされ、SDIビデオ(そのプロキシビデオの元となるSDIビデオ)は、第2のマルチキャストグループにマルチキャストされる。マルチキャストグループは、データストリームを特定するクラスD IPアドレスによって定義される。変形例として、(a)プロキシビデオストリーム又は高解像度のSDIビデオストリームを異なるマルチキャストグループに割り当ててもよく及び/又は(b)プロキシビデオは、SDIストリームの一方のフィールド(偶数フィールド又は奇数フィールド)のみから生成してもよい。更に、(b)の手法において、位相(フィールドの選択)をネットワークトラヒックに応じて変更し、ネットワークへのローディングをより確実なものとしてもよい。
本発明の現在最も好ましい具体例において、プロキシビデオは、180サンプル×144ライン(PAL)又は180サンプル×120ライン(NTSC)及び25又は30フレーム毎秒で水平及び垂直フィルタリングを行って生成する。サンプル毎のビット数は、24ビット(すなわち、3原色のそれぞれを8ビットで表す。)又は16ビット(すなわち、3原色それぞれを5ビットで表す。)としてもよい。
交換/ルーティングクライアント6
図9及び図10は、グラフィカルユーザインタフェース(graphical user interface:以下、GURという。)の具体例を示している。この具体例では、GUIは、交換/ルーティングクライアント6によって提供され、交換/ルーティングクライアント6は、モニタと、キーボード及びマウスとを備えるパーソナルコンピュータであってもよい。なお、GUIは、ネットワークマネージャ4によって提供してもよく、ネットワークマネージャ4及び交換/ルーティングクライアント6の両方によって提供してもよい。GUIは、GUIを使用するユーザによって実行される操作(例えば、マウスによるクリック又はキーボードによる入力)に反応する基底に存在するソフトウェアとのインタフェースを司る。
データフロー
GUIは、ネットワークマネージャ4によって提供されるネットワークの構成に関する情報を提供する。この情報は、上述のように、CNMCPプロトコルを用いて提供される。GUIは、上述のように、実時間転送プロトコル(RTP)を用いてENICから提供されるプロキシビデオも表示する。プロキシビデオは、プロキシビデオを生成するソースグループからENICを介して、ネットワークに亘ってマルチキャストされ、プロキシビデオストリームのマルチキャストグループに参加している交換/ルーティングクライアント6に受け取られる。このデータのルーティングは、IGMPメッセージコマンドを用いて行われる。このGUIを用いて、例えばVTR等の制御可能なソースグループ又はビデオプロセッサ等の宛先グループの制御を行うこともできる。交換/ルーティングクライアント6は、GUIを介して実行された操作に応じて、制御ソースグループに関連するENICに制御データを直接ユニキャストすることができる。制御データのユニキャストについては、上述した通りである。交換/ルーティングクライアント6は、上述のように、状態ストリームデータが送信されているマルチキャストグループに参加している場合、状態ストリームデータを受け取る。
GUIをソース機器から宛先機器へのビデオのルーティングに用いる場合、ネットワークマネージャ4には、CNMCPメッセージが送信される。ネットワークマネージャ4は、宛先機器に関連するENICにAVSCPメッセージを送信し、この宛先機器を要求されたマルチキャストグループに参加させる。
交換/ルーティングクライアント6は、ネットワークにIGMP参加メッセージを送信することができる。なお、交換/ルーティングクライアント6は、状態、オーディオ、プロキシデータストリームのみのマルチキャストグループに自発的に加入(self-subscribe)してもよい。ネットワークマネージャ4は、ビデオストリームに対応するマルチキャストグループへのクライアントのアクセスを制御する。
GUI
以下の説明では、GUIがマウス及び/又はキーボード等の少なくとも1つの入力装置を用いて、周知の手法で操作されているとする。これに代えて、特定のGUIコマンドにマッピングされた「ホットキー(hot key)」を有するキーボードインタフェース又はタッチスクリーンインタフェースを用いてコマンドを発効してもよい。図9に示すGUIは、3個の主表示領域A1、A2、A3を有する。
領域A1は、グループ(例えば、カメラCAM1等及びビデオテープレコーダVTR1等)とそのソース機器(例えば、CAM1の出力CAM V1)のグラフィック表現を表示するネットワーク関連領域である。グループのグラフィック表現は、照合テキスト(例えば、CAM1)とともに表示され、ソース機器は、その副照合テキスト(例えば、CAM V1)とともに表示される。領域A1の表示内容を生成するためのデータは、ネットワークマネージャ4によって管理されているデータベースから導出され、CNMCPメッセージを用いて、交換/ルーティングクライアント6に提供される。
領域A2は、ソースクライアントレビュー領域であり、複数のプロキシビデオ表示領域又はウィンドウW1〜W10を有する。この具体例では、10個のウィンドウを示しているが、この数は適切ないかなる数であってもよい。ウィンドウW1〜W10は、プロキシビデオを表示する。この具体例では、ウィンドウに表示されるプロキシビデオは、ネットワーク管理領域A1からソース機器をドラッグし、これを所望のウィンドウにドロップすることによって選択される。更に、表示ウィンドウは、現在表示されているプロキシビデオが関連付けられているソースグループを示す識別情報をも表示している。ドラッグアンドドロップ操作により、基底に存在するソフトウェアは、IGMP参加メッセージをネットワークに送信し、選択されたソース機器に関連するプロキシビデオが現在伝送されているマルチキャストグループに交換/ルーティングクライアント6を参加させる。
ウィンドウW1〜W10は、GUIがソース機器に関連する適切な照合テキスト及び/又は副照合テキストを表示するラベルが付された領域L1〜L10を備える。
領域A3は、操作子として機能するボタンBを含むルーティングレビュー領域(routing review area)である。この具体例では、2列のボタンが設けられている。一方のボタンの列は、ソースグループ及び/又はソース機器に関連付けられており、ソースに対応する適切な照合テキストがラベルとして付されており、他方のボタンの列は、宛先機器に対応するボタンであり、対応する宛先機器に対応する照合テキストがラベルとして付されている。ユーザは(例えばマウスのクリック操作、キーボード入力操作、又はタッチスクリーンインタフェースにおける適切な領域のタッチ操作によって)GUI領域A3内のソースボタン又は1以上の宛先ボタンを選択でき、このような選択に応じて、選択されたソースボタンに対応するソースがネットワークを介して選択された宛先にリンクされるように、通信パスが確立される。図9に示す具体例では、強調表示されたボタンに対応するCAM1は、MON1、VTR2、DSP2にリンクされ、CAM1に関連するオーディオデータは、AU OUT3にリンクされる。
ここで、更にソースCAM1をMON1に接続するとする。交換/ルーティングクライアント6をスタートアップすると、交換/ルーティングクライアント6は、既知のポート4を介してネットワークマネージャ4に接続し、ネットワークマネージャ4は、交換/ルーティングクライアント6が使用可能なソース機器に関する情報を提供する。これにより、交換/ルーティングクライアント6は、ネットワークの構成を知ることができる。このネットワークの構成は、GUI表示に反映され、これによりユーザもネットワークの構成を知ることができる。各機器に関する情報は、IDとともに交換/ルーティングクライアント6に提供され、交換/ルーティングクライアント6は、ネットワークマネージャ4との後の通信において、このIDを用いて機器を記述する。宛先機器は、例えばモニタであってもよい。交換/ルーティングクライアント6がソースグループ(例えば、VTR)からのビデオデータをルーティングすることを望む場合、交換/ルーティングクライアント6は、ネットワークマネージャ4に対し、宛先機器及びソース機器のIDを含むCNMCP切換メッセージを送信する。
交換/ルーティングクライアント6がこのような処理を行うことを許可されていない場合、ネットワークマネージャ4は、クライアントに対し、CNMCP NAKメッセージを返す。これ以外の場合は、ネットワークマネージャ4は、この要求を次のように処理する。
ネットワークマネージャ4は、ネットワーク構成データベースを調べ、ビデオデータがどのマルチキャストIPアドレスに送信されているかを判定する。次に、IPアドレスを含むAVSCP切換メッセージが生成され、モニタに接続されているENICに送信される。ENICに組み込まれたソフトウェアは、このIPアドレスにIGMP参加メッセージを送信し、及びネットワークマネージャ4にAVCSP ACKメッセージを返す。これにより、ENICは、所望のビデオデータを受信することができ、このデータをモニタに接続されているSDIポートに供給する。一方、ネットワークマネージャ4は、AVSCP ACKメッセージを受けて、データベース内のルーティング情報を更新する。ネットワークマネージャ4は、CNMCP ACKメッセージをクライアントに返し、処理が成功したことを通知する。
GUIは、好ましくは、プレイアウトモニタ(play-out monitor)MON1、MON2上に表示されるビデオを示す、図9に示すような2つの更なる表示領域M1、M2を有する。この具体例では、MON2は、暗い縁取りを有し、これにより、ビデオデータが例えばVTR1からLINE OUT1に再生出力されていることが示されている。MON2は、明るい縁取りを有し、これにより、CAM1からのビデオデータを次に再生出力するように予約されていることが示されている。ウィンドウW1〜W10からMON1、MON2にプロキシビデオをドラッグアンドドロップすることによって、表示される映像を選択することができる。また、MON1又はMON2をクリックすることによって、再生出力すべきビデオデータを選択又は切り換えてもよい。
図9に示すGUIは、オーディオ制御表示領域AVDを有する。
更に、GUIは、ウィンドウW1〜W10に関連付けられた仮想ユーザ操作子C1〜C10及びMON1、MON2に関連付けられたユーザ操作子CMを有する。これらのユーザ操作子をユーザが操作すると、基底に存在するソフトウェアは、ネットワークを介してユニキャスト制御データUCDを関連するウィンドウに表示されているビデオデータの出力元であるソースグループに直接送信する。これに代えて、又はこれに加えて、仮想ユーザ操作子C1〜C10は、関連する機器の現在の状態を示すこともできる。
図9に示すGUIに若干の変更を加えたGUIを図10に示す。このGUIは、プロキシビデオ表示領域W1〜W8と、図9と同様のネットワーク管理領域A1(概略的にのみ示している)と、領域A5におけるモニタ表示「M1」、「M2」とを含んでいる。図10に示すGUIは、図9の領域A3に対応するソースボタン及び宛先ボタンの列を有していないが、これに代えて、図9のボタンと同様にスイッチとして機能する2つのボタンM1、M2を有している。現在再生出力されている映像は、プレイアウトウィンドウP0に表示される。
ウィンドウ「M1」、「M2」には、オーディオモニタのオン/オフを切り換えるためのオーディオ操作子A1、A2が関連付けられており、これらによってユーザは、ウィンドウM1、M2の映像に関連するオーディオをモニタすることができる。
ウィンドウM1、M2に表示される映像は、プロキシビデオウィンドウW1〜W8からウィンドウM1、M2に映像をドラッグアンドドロップすることによって選択することができる。このようなドラッグアンドドロップ操作により、(プロキシビデオではなく)フル解像度の映像信号がソースから図1に示すMON1、MON2等のフル解像度のモニタに供給され、及びENIC NI8を介して、図1に示すD8等のビデオスイッチに供給される。このように、帯域幅が削減されたプロキシビデオにより、ユーザは、ネットワークにおいてどのような仮想回線交換接続を確立するかを選択することができ、及びネットワークマネージャ4によって保存された各プロキシビデオソースを、そのプロキシビデオが導出されたフル解像度のビデオストリームに関連付けるデータにより、ユーザが実行したGUIイベントに応じて、データ通信パスを確立することができる。なお、プロキシビデオストリームが生成される各ソースグループは、少なくとも2つのマルチキャストIPアドレスに関連付けられ、一方のIPアドレスは、フル解像度のビデオデータが伝送されるマルチキャストIPアドレスであり、他方のIPアドレスは、低解像度のプロキシビデオデータが伝送されるマルチキャストIPアドレスである。ボタンM1、M2を操作することにより、基底に存在するソフトウェアは、ENIC NI8を介して、ユニキャスト制御データUCDをビデオスイッチに供給し、これによりビデオスイッチは、2つの異なるデータソースを切り換える。
図11は、ネットワーク構成の概観とともに操作子を提供するGUIを示している。このGUIは、IPネットワークに属するアクティブソース及び非アクティブソースを示す第1のソースパネル110を有する。ここには、例えばカメラCAM1、CAM2、CAM3等のソースグループが表示されている。ビデオテープレコーダグループVTR1は、独立したオーディオVTR A1/2、VTR A3/4と、VTR V1に対応するビデオVTR V1機器(すなわち、異なる入出力端子)とを有し、これらも表示されている。第1のソースパネル110には、例えば第1のマイクロフォンに対応するMIC1、及びオーディオチャンネル機器を特定するソース名MIN A1/2等も表示されている。ソースタイプは、アイコンによって表示されているが、ソース名はアイコンによっては表示されない。入力は、第1のソースパネル110上の所望のソースを強調表示させることによって選択でき、例えば、この具体例では、現在カメラ1(CAM1)が選択されている。ネットワークレビューパネル112は、制御サブパネル114、ソースサブパネル116及び宛先サブパネル118の3個のサブパネルを有している。コントローラ、ソース及び1以上の宛先間の接続は、これらの3個のサブパネル内のエントリ間のカラーコードされたブランチ接続(colour-coded branch connection)によって表されている。ここに示されている現在の構成では、第1のコントローラCONT1がソースグループCAM1を制御しており、ソースグループCAM1は、2個のモニタMON1、MON2、ビデオカセットレコーダVTR1、オーディオ出力AUDIO OUT3、デジタルシグナルプロセッサDSP2、出力ラインLIN OUT1の6個の異なる宛先機器にデータを提供している。ソースサブパネル116は、各ソースについてプルダウンメニューを表示し、このプルダウンメニューにより、例えばそのソースに関連するオーディオ及びビデオデータストリーム等の、機器に関する更に詳細な情報が提供される。ソースとデジタルシグナルプロセッサ(DSP)の間の関係は、ソースサブパネル116の左側余白におけるカラーコードによって示され、例えばこの具体例では、CAM1は、DSP2及びDSP3に関連付けられている。CAM1、VTR1、MIC1等のソースの名称は、照合テキストから導出される。図11に示すGUIには、ネットワーク内のソース機器又は宛先機器に関連する状態情報(例えば、オンエアー/オフエアー)を表示させることもできる。このような状態情報は、対応する機器によって、状態パケットとしてネットワークに供給される。ネットワークマネージャ4は、ネットワーク構成データベース内の状態データを照合し、GUI表現は、データベース内の更新された情報に基づいて、定期的に更新される。
図12は、ネットワークを介したソース及び宛先間の接続を表示するGUIの一例を示している。領域121は、グループ(例えば、CAM1)及び関連するソース機器(例えばV1、V2)を示し、領域122は、宛先を示している。各ソースグループは、そのソースグループに関連付けられた色付きバー(coloured bar)124を有している。領域121は、色付きバーを用いて、ソースと宛先との間の接続を示している。図12に示すGUIは、ネットワークの概観をユーザに提供し、及びネットワークを介してデータがどのようにルーティングされているかをオペレータに表示するインタフェースを提供する。このGUIは、画面の上部に設けられたルーティングレビュー概観パネル121と、ソースサブパネル123及び宛先サブパネル124を含むメインルーティングレビューパネル122とを有する。ルーティングレビュー概観パネル121により、ソースと宛先との間の関係を容易に把握することができる。これは、カラーコードが付された強調によって実現される。このルーティングレビュー概観パネル121は、現在、CAM1が宛先MON1、MON2、MON3、VTR2、AU OUT3に接続されていることを示している。ルーティングレビュー概観パネル121の所定のソース領域をクリックすることにより、そのソース及びこれに関連付けられている全ての宛先が強調表示される。ソースサブパネル123は、ソースをより詳しく表示し、ここでは、例えばCAM1等のソースグループと、関連する宛先機器V1又はV2が視覚的に表示されている。同様に、宛先サブパネル124では、宛先がより詳しく表示されている。ソースサブパネル123及び宛先サブパネル124における強調表示された領域から、例えばCAM1機器V1がMON1のV1、V2に接続されていることがわかる。宛先サブパネル124は、ソース−宛先接続の視覚的なカラーコードマトリクス表現も提供する。
図9〜図11の具体例に示すGUIを有するネットワーク構成では、ユーザは、ネットワークマネージャ4によって保存されたネットワーク構成データベース内の全てのデータに基づいて、ネットワークの完全な構成を確認することができる。ここで、変形例では、ネットワークマネージャ4は、ユーザ固有のプロファイルを保存し、このプロファイルでは、各ユーザは、確認できるネットワーク構成の一部に関して、及び仮想回線交換接続の確立及び削除に関連して、特定のアクセス許可レベルに割り当てられる。ユーザ固有のプロファイルによって示されるアクセス許可レベルは、ユーザの職種(例えば、カメラマン、編集者、ディレクタ、プロデューサ)によって定めてもよく、個々のユーザに関連する固有のID毎に定めてもよい。これにより、例えば、ディレクタには、ネットワーク全体の現在の構成を確認できるが、仮想回線交換接続を変更することはできないアクセス権を与え、一方カメラマンには、そのカメラマンが操作するカメラを一部に含むネットワークの構成又はサブセットを確認及び変更できるアクセス権を与えるといった設定を行うことができる。
図13は、ネットワークマネージャ4によって提供され、ユーザが構成データを手作業で入力できるユーザインタフェースを示している。機器がネットワークに接続されると、ユーザは、このユーザインタフェースを介して、ネットワークマネージャ4にこれを知らせる。インタフェースは、ENIC IDダイアログボックスと、ポートIDダイアログボックスと、照合テキストダイアログボックスとを有する。ユーザは、これらのダイアログボックスに、ネットワークマネージャ4がネットワークの構成を判定するために必要な情報を入力する。ENIC IDダイアログボックスには、例えばENIC6等のユーザが定義した識別子が入力され、ポートIDダイアログボックスには、機器が接続されているENICポートを特定する情報が入力され、照合テキストダイアログボックスには、ソース/宛先識別子として用いられる自由に割り当てられたラベル(ここに説明する実施例では、照合テキストと呼ばれる)が入力される。上述したソース及び宛先識別IDに加えて(これに代えてではなく)照合テキストIDを用いてもよい。
添付の図面を用いて本発明の実施例を詳細に説明したが、本発明はこれらの詳細な実施例に限定されるものではなく、当業者は、添付の特許請求の範囲に定義された本発明の範囲及び思想から逸脱することなく、ここに説明した実施例を様々に変形及び変更することができる。
スタジオにおけるネットワークの構成を示すブロック図である。 ネットワークを介するデータフローを概略的に示す図である。 Aは、ネットワークにおいて用いられるオーディオ又はビデオパケットのフォーマットを示す図であり、Bは、ネットワークにおいて用いられるAVSCP又はCNMCPパケットのフォーマットを示す図であり、Cはユニキャストデータパケットを示す図である。 図1に示すネットワークのネットワークインタフェースの構成を示すブロック図である。 ネットワークインタフェースにおいて用いられるデータパケットのフォーマットを示す図である。 フロー割当の具体例を示す図である。 ENICにおけるデータフローの具体例を示す図である。 Aは、ネットワークインタフェースにおけるパケット化スイッチを示す図であり、Bは、ネットワークインタフェースにおける逆パケット化スイッチを示す図である。 ネットワークの動作モードを説明する例示的な小さなネットワークを示すブロック図である。 ネットワークインタフェースのプロキシ生成器の構成を示すブロック図である。 グラフィカルユーザインタフェースの一例を示す図である。 グラフィカルユーザインタフェースの他の例を示す図である。 ネットワークの構成を示すグラフィカルユーザインタフェースの一例を示す図である。 ネットワークを介してデータがどのようにルーティングされるかを表示するグラフィカルユーザインタフェースの一例を示す図である。 ユーザが構成データを入力する、ネットワークマネージャに設けられたユーザインタフェースを示す図である。 プロトコルスタックを示す図である。 AVSCPヘッダを示す図である。

Claims (29)

  1. ネットワークに接続され、第1の解像度のデジタルビデオデータストリームを受け取り、実質的に実時間で、該ネットワークに該デジタルビデオデータストリームを表すデータパケットを送り出すネットワークインタフェース装置において、
    上記第1の解像度のデジタルビデオデータストリームからより低い解像度である第2の解像度のデジタルビデオデータストリームを生成するビデオ生成器と、
    上記第2の解像度のデジタルビデオデータストリームを上記ネットワークに送り出すためのデータパケットにフォーマット化し、
    上記第2の解像度のデジタルビデオデータストリームによっては表されていない上記第1の解像度のデジタルビデオデータストリームの少なくとも一部を上記ネットワークに送り出すためのデータパケットにフォーマット化するパケット化器とを備えるネットワークインタフェース装置。
  2. 上記第1及び第2の解像度のデジタルビデオデータストリームに対応するデータパケットを多重化するマルチプレクサを備える請求項1記載のネットワークインタフェース装置。
  3. 上記第1の解像度のデジタルビデオデータストリームに対応するデータパケットを第1のマルチキャストグループとして送り出す請求項1記載のネットワークインタフェース装置。
  4. 上記第2の解像度のデジタルビデオデータストリームに対応するデータパケットを上記第1のマルチキャストグループとは異なる第2のマルチキャストグループとして送り出す請求項3記載のネットワークインタフェース装置。
  5. 上記データパケットをマルチキャストインターネットプロトコル/ユーザデータグラムプロトコル(IP/UDP)パケットにフォーマット化して、上記ネットワークに送り出す請求項3記載のネットワークインタフェース装置。
  6. 当該ネットワークインタフェース装置は、2以上の入力デジタルビデオデータストリームを受け取り、
    上記ビデオ生成器は、上記2以上の入力デジタルビデオデータストリームのそれぞれに対応する2以上の上記第2の解像度のデジタルビデオデータストリームを生成し、
    上記パケット化器は、上記第1の解像度のデジタルビデオデータストリームの少なくとも一部をデータパケットにフォーマット化し、及び上記第2の解像度のデジタルビデオデータストリームをデータパケットにフォーマット化することを特徴とする請求項1記載のネットワークインタフェース装置。
  7. 上記第2の解像度のデジタルビデオデータストリーム又は各第2の解像度のデジタルビデオデータストリームは、非圧縮ビデオデータストリームを含むことを特徴とする請求項1記載のネットワークインタフェース装置。
  8. 上記第2の解像度のデジタルビデオデータストリーム又は各第2の解像度のデジタルビデオデータストリームは、それぞれ画素ワードの5ビットによって赤、緑、青の画素値を表すRGB555フォーマットに準拠していることを特徴とする請求項7記載のネットワークインタフェース装置。
  9. 上記パケット化器は、上記第2の解像度のデジタルビデオデータストリーム又は各第2の解像度のデジタルビデオデータストリームを、各パケットがビデオラインデータを含む実時間伝送プロトコル(RTP)パケットにフォーマット化することを特徴とする請求項8記載のネットワークインタフェース装置。
  10. 上記パケット化器は、上記各デジタルビデオデータストリームを実時間伝送プロトコル(RTP)パケットにフォーマット化することを特徴とする請求項1記載のネットワークインタフェース装置。
  11. 上記実時間伝送プロトコルパケットは、BT.656ビデオ符号化規格に準拠して、上記第1の解像度のデジタルビデオデータストリームを伝送することを特徴とする請求項10記載のネットワークインタフェース装置。
  12. 上記第1の解像度のデジタルビデオデータストリーム又は各第1の解像度のデジタルビデオデータストリームは、1440サンプル毎ラインで625ライン毎フレーム又は525ライン毎フレームを有することを特徴とする請求項1記載のネットワークインタフェース装置。
  13. 上記第2の解像度のデジタルビデオデータストリーム又は各第2の解像度のデジタルビデオデータストリームは、
    上記第1の解像度のデジタルビデオデータストリームが625ライン毎フレームを有する場合、180サンプル毎ラインで144ライン毎フレームを有し、
    上記第1の解像度のデジタルビデオデータストリームが525ライン毎フレームを有する場合、180サンプル毎ラインで120ライン毎フレームを有することを特徴とする請求項1記載のネットワークインタフェース装置。
  14. 上記ビデオ生成器又は各ビデオ生成器は、上記ビデオデータをライン方向にサブサンプリングする第1のフィルタ/サブサンプラと、該ビデオデータを他の方向にサブサンプリングする第2のフィルタ/サブサンプラとを備えることを特徴とする請求項1記載のネットワークインタフェース装置。
  15. 上記パケット化器は、上記第1の解像度のデジタルビデオデータストリームをデータパケットにフォーマット化することを特徴とする請求項1記載のネットワークインタフェース装置。
  16. 上記第1の解像度のデジタルビデオデータストリームのサブセットは、上記第2の解像度の各デジタルビデオデータストリームから導出され、
    上記パケット化器は、上記第1の解像度のデジタルビデオデータストリームの上記サブセットの全てである部分のみをデータパケットにフォーマット化することを特徴とする請求項1記載のネットワークインタフェース装置。
  17. 当該ネットワークインタフェース装置は、上記デジタルビデオデータストリームに関連付けられた1以上のオーディオ及び/又は制御データストリームを受け取り、
    上記パケット化器は、上記オーディオ及び/又は制御データストリームをデータパケットにフォーマット化し、
    当該ネットワークインタフェース装置は、上記オーディオ及び/又は制御データストリームのデータパケットを上記ネットワークに送り出すことを特徴とする請求項1記載のネットワークインタフェース装置。
  18. 上記第1の解像度のデジタルビデオデータストリームは、インタレースビデオ信号を表し、
    上記ビデオ生成器は、上記第1の解像度のデジタルビデオデータストリームの偶数フィールドのみ又は奇数フィールドのみから上記第2の解像度のデジタルビデオデータストリームを生成するよう選択的に動作することを特徴とする請求項1記載のネットワークインタフェース装置。
  19. 上記第1の解像度のデジタルビデオデータストリームは、インタレースビデオ信号を表し、
    上記ビデオ生成器は、奇数フィールドのみから上記第2の解像度のデジタルビデオデータストリームを生成し、及び上記第1の解像度のデジタルビデオデータストリームの偶数フィールドのみから第2の解像度のデジタルビデオデータストリームを生成することを特徴とする請求項1記載のネットワークインタフェース装置。
  20. 請求項1記載のネットワークインタフェース装置を備えるビデオソース装置。
  21. 請求項1記載のネットワークインタフェース装置を備えるビデオソース装置。
  22. それぞれが請求項1記載のネットワークインタフェース装置を備える1以上のビデオ処理装置と、
    上記ビデオ処理装置を接続するデータネットワークとを備えるビデオネットワーク。
  23. ネットワークに接続されるネットワークインタフェース装置の動作方法において、
    第1の解像度のデジタルビデオデータストリームを受け取るステップと、
    実質的に実時間で、
    上記第1の解像度のデジタルビデオデータストリームからより低い解像度である第2の解像度のデジタルビデオデータストリームを生成するステップと、
    上記第2の解像度のデジタルビデオデータストリームを上記ネットワークに送り出すためのデータパケットにフォーマット化するステップと、
    上記第2の解像度のデジタルビデオデータストリームによっては表されていない上記第1の解像度のデジタルビデオデータストリームの少なくとも一部を上記ネットワークに送り出すためのデータパケットにフォーマット化するステップと、
    上記第1及び第2の解像度のデジタルビデオデータストリームを表すデータパケットを上記ネットワークに送り出すステップとを有するネットワークインタフェース装置の動作方法。
  24. 請求項23記載のネットワークインタフェースの動作方法を実行するプログラムコードを有するコンピュータソフトウェア。
  25. 請求項24記載のコンピュータソフトウェアを提供する提供媒体。
  26. 上記提供媒体は、ストレージ媒体であることを特徴とする請求項25記載の提供媒体。
  27. 上記提供媒体は、伝送媒体であることを特徴とする請求項25記載の提供媒体。
  28. ネットワークに接続され、第1の解像度のデジタルビデオデータストリームを受け取り、実質的に実時間で、該ネットワークに該デジタルビデオデータストリームを表すデータパケットを送り出すネットワークインタフェース装置において、
    上記第1の解像度のデジタルビデオデータストリームから、より低い解像度である第2の解像度のデジタルビデオデータストリームを生成するビデオ生成器と、
    上記第2の解像度のデジタルビデオデータストリームを上記ネットワークに送り出すための第1のマルチキャストグループのデータパケットにフォーマット化し、
    上記第2の解像度のデジタルビデオデータストリームによっては表されていない上記第1の解像度のデジタルビデオデータストリームの少なくとも一部を上記ネットワークに送り出すための、上記第1のマルチキャストグループとは異なる第2のマルチキャストグループのデータパケットにフォーマット化するパケット化器とを備えるネットワークインタフェース装置。
  29. ネットワークに接続されるネットワークインタフェース装置の動作方法において、
    第1の解像度のデジタルビデオデータストリームを受け取るステップと、
    実質的に実時間で、
    上記第1の解像度のデジタルビデオデータストリームからより低い解像度である第2の解像度のデジタルビデオデータストリームを生成するステップと、
    上記第2の解像度のデジタルビデオデータストリームを上記ネットワークに送り出すためのデータパケットにフォーマット化するステップと、
    上記第2の解像度のデジタルビデオデータストリームによっては表されていない上記第1の解像度のデジタルビデオデータストリームの少なくとも一部を上記ネットワークに送り出すための、上記第1のマルチキャストグループとは異なる第2のマルチキャストグループの第1のマルチキャストグループのデータパケットにフォーマット化するステップと、
    上記第1及び第2の解像度のデジタルビデオデータストリームを表すデータパケットを上記ネットワークに送り出すステップとを有するネットワークインタフェース装置の動作方法。
JP2004105242A 2003-03-31 2004-03-31 ビデオ処理 Abandoned JP2004312735A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
GB0307431A GB2400254A (en) 2003-03-31 2003-03-31 Video processing

Publications (1)

Publication Number Publication Date
JP2004312735A true JP2004312735A (ja) 2004-11-04

Family

ID=9955906

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2004105242A Abandoned JP2004312735A (ja) 2003-03-31 2004-03-31 ビデオ処理
JP2006506043A Expired - Fee Related JP4525935B2 (ja) 2003-03-31 2004-03-31 オーディオ信号処理

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2006506043A Expired - Fee Related JP4525935B2 (ja) 2003-03-31 2004-03-31 オーディオ信号処理

Country Status (6)

Country Link
US (2) US20040255329A1 (ja)
EP (2) EP1478187A3 (ja)
JP (2) JP2004312735A (ja)
CN (1) CN100578610C (ja)
GB (1) GB2400254A (ja)
WO (1) WO2004088926A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013062819A (ja) * 2007-11-16 2013-04-04 Oki Electric Ind Co Ltd 映像信号通信システムおよびその通信方法
JP2014517648A (ja) * 2011-06-22 2014-07-17 インスティテュート フューア ランドファンクテクニック ゲーエムベーハー リアルタイムメディアストリームを切り替える装置および方法

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9038108B2 (en) * 2000-06-28 2015-05-19 Verizon Patent And Licensing Inc. Method and system for providing end user community functionality for publication and delivery of digital media content
US8972862B2 (en) 2001-06-27 2015-03-03 Verizon Patent And Licensing Inc. Method and system for providing remote digital media ingest with centralized editorial control
US8990214B2 (en) 2001-06-27 2015-03-24 Verizon Patent And Licensing Inc. Method and system for providing distributed editing and storage of digital media over a network
US7970260B2 (en) 2001-06-27 2011-06-28 Verizon Business Global Llc Digital media asset management system and method for supporting multiple users
US20070089151A1 (en) * 2001-06-27 2007-04-19 Mci, Llc. Method and system for delivery of digital media experience via common instant communication clients
NZ536913A (en) 2003-12-03 2006-09-29 Safehouse Internat Inc Displaying graphical output representing the topographical relationship of detectors and their alert status
US7664292B2 (en) 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
AU2004233453B2 (en) 2003-12-03 2011-02-17 Envysion, Inc. Recording a sequence of images
EP1612977A3 (en) * 2004-07-01 2013-08-21 Yamaha Corporation Control device for controlling audio signal processing device
US8069420B2 (en) 2004-12-29 2011-11-29 Karl Storz Endoscopy-America, Inc. System for controlling the communication of medical imaging data
US7664872B2 (en) * 2005-01-05 2010-02-16 Divx, Inc. Media transfer protocol
US20060168291A1 (en) * 2005-01-05 2006-07-27 Van Zoest Alexander Interactive multichannel data distribution system
US20060184685A1 (en) * 2005-02-17 2006-08-17 Lantasm Networks, Inc. System for distribution of numerous streams of multimedia content to a multiplicity of video displays
US20060206618A1 (en) * 2005-03-11 2006-09-14 Zimmer Vincent J Method and apparatus for providing remote audio
TW200701022A (en) * 2005-06-24 2007-01-01 Era Digital Media Co Interactive news gathering and media production control system
US9076311B2 (en) 2005-09-07 2015-07-07 Verizon Patent And Licensing Inc. Method and apparatus for providing remote workflow management
US9401080B2 (en) 2005-09-07 2016-07-26 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing video frames
US20070107012A1 (en) * 2005-09-07 2007-05-10 Verizon Business Network Services Inc. Method and apparatus for providing on-demand resource allocation
US8631226B2 (en) * 2005-09-07 2014-01-14 Verizon Patent And Licensing Inc. Method and system for video monitoring
WO2007059183A2 (en) * 2005-11-15 2007-05-24 Clairmail Inc Application access utilizing a message link
JPWO2007129397A1 (ja) * 2006-05-02 2009-09-17 株式会社メディアグローバルリンクス ビデオ信号スイッチングシステム
WO2008058110A2 (en) * 2006-11-06 2008-05-15 Albert Lee System and architecture for supporting mobility and multipath packet delivery in ip network stacks
EP2086385B1 (en) 2006-11-16 2018-10-31 Stryker Corporation Wireless endoscopic camera
US8139581B1 (en) 2007-04-19 2012-03-20 Owl Computing Technologies, Inc. Concurrent data transfer involving two or more transport layer protocols over a single one-way data link
WO2009023258A2 (en) 2007-08-15 2009-02-19 Clairmail, Inc. Machine-implemented system and method for providing timed targeted promotional offers to individual payment account users with feedback
JP2009100412A (ja) * 2007-10-19 2009-05-07 Panasonic Corp 映像伝送装置、映像送信装置および映像受信装置
US8352982B2 (en) * 2008-01-18 2013-01-08 Microsoft Corporation Service substitution techniques
US8773469B2 (en) 2008-04-09 2014-07-08 Imagine Communications Corp. Video multiviewer system with serial digital interface and related methods
US9172900B2 (en) * 2008-04-09 2015-10-27 Imagine Communications Corp. Video multiviewer system with switcher and distributed scaling and related methods
EP2150059A1 (en) * 2008-07-31 2010-02-03 Vodtec BVBA A method and associated device for generating video
US8848590B2 (en) * 2009-09-24 2014-09-30 Nokia Corporation Multicast group management in wireless networks
WO2011056224A1 (en) * 2009-11-04 2011-05-12 Pawan Jaggi Switchable multi-channel data transcoding and transrating system
JP5874178B2 (ja) * 2010-04-09 2016-03-02 ソニー株式会社 カメラシステム、カメラ装置、カメラ制御装置、および中継装置
US9773059B2 (en) * 2010-11-09 2017-09-26 Storagedna, Inc. Tape data management
US9001898B2 (en) * 2011-06-10 2015-04-07 Thinklogical, Llc Method and system for serial digital interface (SDI) video data extension
US10937308B2 (en) 2011-10-28 2021-03-02 Universal Electronics Inc. System and method for optimized appliance control
US10593195B2 (en) 2011-10-28 2020-03-17 Universal Electronics Inc. System and method for optimized appliance control
US11295603B2 (en) 2011-10-28 2022-04-05 Universal Electronics Inc. System and method for optimized appliance control
US9449500B2 (en) * 2012-08-08 2016-09-20 Universal Electronics Inc. System and method for optimized appliance control
US9215394B2 (en) 2011-10-28 2015-12-15 Universal Electronics Inc. System and method for optimized appliance control
GB2499261B (en) * 2012-02-10 2016-05-04 British Broadcasting Corp Method and apparatus for converting audio, video and control signals
JP5949491B2 (ja) * 2012-11-20 2016-07-06 富士ゼロックス株式会社 情報処理装置及びプログラム
JP5733445B1 (ja) * 2014-03-25 2015-06-10 Nttエレクトロニクス株式会社 パケット自動受信装置
EP3222046A1 (en) 2014-11-18 2017-09-27 Caavo, Inc. Seamless setup and control for home entertainment devices and content
US10051204B2 (en) * 2014-11-18 2018-08-14 Caavo Inc Seamless setup and control for home entertainment devices and content
EP3579551B1 (en) 2014-11-18 2022-10-26 Caavo Inc Automatic identification and mapping of consumer electronic devices to ports on an hdmi switch
JP2016201683A (ja) * 2015-04-10 2016-12-01 ソニー株式会社 ビデオサーバー、ビデオサーバーシステムおよび命令処理方法
WO2017056762A1 (ja) * 2015-10-02 2017-04-06 ソニー株式会社 医療用制御装置、制御方法、プログラム、および医療用制御システム
US10541933B2 (en) * 2016-11-10 2020-01-21 Disney Enterprises, Inc. Systems and methods for aligning frames of a digital video content in IP domain
US10701284B2 (en) 2017-02-10 2020-06-30 Caavo Inc Determining state signatures for consumer electronic devices coupled to an audio/video switch
KR101729978B1 (ko) * 2017-02-21 2017-04-25 (주) 케이투이 Uhd 4k 멀티 뷰어장치
US10250926B2 (en) * 2017-03-17 2019-04-02 Disney Enterprises, Inc. Tally management system for cloud-based video production
CN111091740A (zh) * 2020-01-14 2020-05-01 中仿智能科技(上海)股份有限公司 一种飞行模拟器的音响操作系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5055927A (en) * 1988-09-13 1991-10-08 Deutsche Thomson-Brandt Gmbh Dual channel video signal transmission system
FI89439C (fi) 1991-10-30 1993-09-27 Salon Televisiotehdas Oy Foerfarande foer att dekoda en audiosignal i vilken annan information aer infoerd med anvaendning av maskningseffekt
JPH06162674A (ja) 1992-11-18 1994-06-10 Sony Corp 変換装置
DE4241068C2 (de) * 1992-12-05 2003-11-13 Thomson Brandt Gmbh Verfahren zum Übertragen, Speichern oder Decodieren eines digitalen Zusatzsignals in einem digitalen Tonsignal
JPH06291692A (ja) 1993-03-31 1994-10-18 Victor Co Of Japan Ltd Fmラジオ受信機における音場・音質制御装置
US5625410A (en) * 1993-04-21 1997-04-29 Kinywa Washino Video monitoring and conferencing system
WO1996041667A1 (en) 1995-06-08 1996-12-27 Claus Hvass Method and apparatus for conversion of sound signals into light
US6115507A (en) * 1995-09-29 2000-09-05 S3 Incorporated Method and apparatus for upscaling video images in a graphics controller chip
FI98676C (fi) 1995-10-05 1997-07-25 Nokia Oy Ab Tietostoryhmän siirto digitaalisessa yleisradiojärjestelmässä
US5751774A (en) 1996-04-04 1998-05-12 Lucent Technologies Inc. Transmission system for digital audio broadcasting
US20030061368A1 (en) * 1997-03-17 2003-03-27 Navin Chaddha Adaptive right-sizing of multicast multimedia streams
US6211869B1 (en) * 1997-04-04 2001-04-03 Avid Technology, Inc. Simultaneous storage and network transmission of multimedia data with video host that requests stored data according to response time from a server
JP2002509397A (ja) * 1997-12-16 2002-03-26 ミリオ コーポレイション フルモーションデジタルビデオマルチキャスト、インタラクティブなデータ、およびインタラクティブな音声をdsl回線を介して受信する方法および装置
JP4016160B2 (ja) * 1998-07-16 2007-12-05 ソニー株式会社 データ受信・記録方法及びデータ受信装置
US6466832B1 (en) * 1998-08-24 2002-10-15 Altec Lansing R & D Center Israel High quality wireless audio speakers
DE69925243T2 (de) * 1998-10-08 2006-02-23 Matsushita Electric Industrial Co., Ltd., Kadoma Datenprozessor und datenspeichermedium
JP4087537B2 (ja) 1998-10-08 2008-05-21 松下電器産業株式会社 データ処理装置及びデータ記録媒体
US6414960B1 (en) * 1998-12-29 2002-07-02 International Business Machines Corp. Apparatus and method of in-service audio/video synchronization testing
DE60006452T2 (de) * 1999-06-23 2004-04-15 Tut Systems, Inc., Lake Oswego Videosignal/Netzwerk-Interface
US6446037B1 (en) * 1999-08-09 2002-09-03 Dolby Laboratories Licensing Corporation Scalable coding method for high quality audio
JP2001238193A (ja) * 2000-02-18 2001-08-31 Sony Corp 映像供給装置及び映像供給方法
WO2001074078A1 (en) 2000-03-29 2001-10-04 Digeo Broadband, Inc. Audio source control techniques
EP1146672A1 (en) 2000-04-10 2001-10-17 Sony International (Europe) GmbH Method to transmit an information service in a broadcast transmission system
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
US6642966B1 (en) 2000-11-06 2003-11-04 Tektronix, Inc. Subliminally embedded keys in video for synchronization
US20020191116A1 (en) * 2001-04-24 2002-12-19 Damien Kessler System and data format for providing seamless stream switching in a digital video recorder
US20060010245A1 (en) * 2004-06-01 2006-01-12 Telestream, Inc. Internet protocol for the delivery of complex digital media content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013062819A (ja) * 2007-11-16 2013-04-04 Oki Electric Ind Co Ltd 映像信号通信システムおよびその通信方法
JP2014517648A (ja) * 2011-06-22 2014-07-17 インスティテュート フューア ランドファンクテクニック ゲーエムベーハー リアルタイムメディアストリームを切り替える装置および方法

Also Published As

Publication number Publication date
EP1478187A3 (en) 2005-07-06
EP1535275B1 (en) 2019-11-20
WO2004088926A2 (en) 2004-10-14
EP1535275A2 (en) 2005-06-01
JP4525935B2 (ja) 2010-08-18
CN1768374A (zh) 2006-05-03
US20040255329A1 (en) 2004-12-16
EP1535275B8 (en) 2019-12-25
WO2004088926A3 (en) 2004-11-11
EP1478187A2 (en) 2004-11-17
GB2400254A (en) 2004-10-06
US20060192892A1 (en) 2006-08-31
GB0307431D0 (en) 2003-05-07
JP2006522520A (ja) 2006-09-28
US7996567B2 (en) 2011-08-09
CN100578610C (zh) 2010-01-06

Similar Documents

Publication Publication Date Title
JP4594923B2 (ja) ビデオ/オーディオネットワーク
US7483421B2 (en) Routing data
JP2004312735A (ja) ビデオ処理
US20060146184A1 (en) Video network
US10645131B2 (en) Seamless switching between multicast video streams
EP1720283B1 (en) Video/audio network
US20050220194A1 (en) Packet-based video network
CN110855931B (zh) 一种视频数据的处理方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070214

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20070515