JP2006254044A

JP2006254044A - Repeater

Info

Publication number: JP2006254044A
Application number: JP2005067079A
Authority: JP
Inventors: Reban Tokawa; レバン東川; Tomonori Gotou; 知範後藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-03-10
Filing date: 2005-03-10
Publication date: 2006-09-21

Abstract

<P>PROBLEM TO BE SOLVED: To reduce a data transfer amount in a repeater without affecting a transmitting side and a receiving side. <P>SOLUTION: This repeater is provided with: a means for determining whether stream package data (SPD) includes particular frame data to be extracted according to a specified operation mode when the SPD is received; a means for discarding SPD other than SPD including prescribed frame data to be required at a transfer destination when the SPD is determined not to include the particular frame data; and a transferring means for reconstructing a package for the SPD and transferring the SPD whose package is reconstructed when the SPD is determined to include the particular frame data or when the SPD is determined to be SPD including the prescribed frame data to be required at the transfer destination. Consequently, the load of the repeater is not large. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、ストリーム・データの中継技術に関する。 The present invention relates to a relay technique for stream data.

画像・音声ストリーム・データを中継するマルチキャスト中継装置において、広帯域のネットワークから狭帯域のネットワークにデータを転送する場合、帯域調整のため、例えば以下のような方式を利用している。すなわち、狭帯域のネットワークの帯域幅に応じたレートの画像データを配信してもらう、デュアルストリームを用意したエンコーダ装置を用意する、中継装置内にエンコーダ／デコーダ機能を用意し、受信したデータをデコードして狭帯域のネットワークの帯域幅に応じた圧縮率でストリームを再エンコードして配信する、といったものである。 In a multicast relay apparatus that relays image, audio stream, and data, when transferring data from a wideband network to a narrowband network, for example, the following method is used for bandwidth adjustment. In other words, the image data at a rate corresponding to the bandwidth of the narrow-band network is distributed, an encoder device with a dual stream is prepared, an encoder / decoder function is prepared in the relay device, and the received data is decoded Then, the stream is re-encoded and distributed at a compression rate corresponding to the bandwidth of the narrow-band network.

例えば、特開平９−１３９９３７号公報には、高価なＭＰＥＧ２エンコーダを必要とせずに、ＭＰＥＧ１ストリームを簡単にＭＰＥＧ２トランスポートストリームに変換して、ＭＰＥＧ２対応のシステムを構築可能とする技術が開示されている。具体的には、分離処理部は、ビデオとオーディオの各符号化データを多重化したＭＰＥＧ１システムストリームを入力して、ビデオとオーディオの各々の初等ストリームＥＳに分離し、パケット作成部において、ＭＰＥＧ２のパケット化された初等ストリームＰＥＳが各々作成され、最後に、多重化処理部で固定長１８８バイトのトランスポートパケットに分割した後に多重化してＭＰＥＧ２トランスポートストリームＴＳに変換するものである。また、多重化処理部は、パケット作成部で作成された初等ストリームをＭＰＥＧ２トランスポートストリームに変換する際に、ＭＰＥＧ２の伝送レートに適合するように無効データを格納したＴＳパケットを挿入する無効パケット挿入部を設けている。しかし、本公報記載の技術は、ＭＰＥＧ２のトランスポートストリームをＭＰＥＧ１に変換されたデータで構成することを目的としており、また無効パケットの挿入も伝送レートの調整のためである。
特開平９−１３９９３７号公報 For example, Japanese Patent Laid-Open No. 9-139937 discloses a technique that enables an MPEG2-compatible system to be constructed by simply converting an MPEG1 stream into an MPEG2 transport stream without requiring an expensive MPEG2 encoder. Yes. Specifically, the separation processing unit inputs an MPEG1 system stream obtained by multiplexing video and audio encoded data, separates the video and audio elementary streams ES, and the packet creation unit performs MPEG2 encoding. Each packetized elementary stream PES is created, and finally, it is divided into transport packets having a fixed length of 188 bytes by a multiplexing processing unit, and then multiplexed and converted into an MPEG2 transport stream TS. In addition, the multiplexing processing unit inserts a TS packet storing invalid data so as to conform to the MPEG2 transmission rate when converting the primary stream created by the packet creation unit into an MPEG2 transport stream. Is provided. However, the technique described in this publication is intended to configure an MPEG2 transport stream with data converted into MPEG1, and the insertion of invalid packets is also for adjusting the transmission rate.
JP-A-9-139937

このように、従来技術においては、送信側に大きな負担をかけるか、中継装置に高価な機能を設けるか、ストリームデータの規格変更により転送先などにおいて再起動が必要となるなど、大きな問題があった。 As described above, the conventional technique has a large problem such as placing a heavy burden on the transmission side, providing an expensive function in the relay device, or requiring a restart at the transfer destination or the like due to a change in the standard of the stream data. It was.

従って、本発明の目的は、エンコードについての規格変更や再エンコードを行わずに、データ転送量を変更するための技術を提供することである。 Accordingly, an object of the present invention is to provide a technique for changing the data transfer amount without changing the encoding standard or re-encoding.

さらに、本発明の他の目的は、上記技術を応用してストリーム・データの合成を行うことができるようにするための技術を提供することである。 Furthermore, another object of the present invention is to provide a technique for enabling the synthesis of stream data by applying the above technique.

本発明に係る中継装置は、例えば負荷や帯域幅などに基づき動作モードを特定する手段と、ストリーム・パッケージ・データ（例えばＲＴＰ（Real-time Transport Protocol）におけるパケット。但し、本願ではパッケージと呼ぶ。）を受信した場合、特定された動作モードに従って抽出すべき特定フレーム・データを上記ストリーム・パッケージ・データが含んでいるか判断する手段と、上記ストリーム・パッケージ・データが特定フレーム・データを含まないと判断された場合には、転送先において必要とされる所定のフレーム・データを含むストリーム・パッケージ・データ以外のストリーム・パッケージ・データを破棄する手段と、上記ストリーム・パッケージ・データが特定フレーム・データを含むと判断された場合又は転送先において必要とされる所定のフレーム・データを含むストリーム・パッケージ・データであると判断された場合には、上記ストリーム・パッケージ・データに対してパッケージ再構成を行い、パッケージ再構成後のストリーム・パッケージ・データを転送する転送手段とを有する。 The relay apparatus according to the present invention includes means for specifying an operation mode based on, for example, a load and a bandwidth, and stream package data (for example, a packet in RTP (Real-time Transport Protocol). However, in this application, it is referred to as a package. ), The means for determining whether or not the stream package data includes specific frame data to be extracted according to the specified operation mode, and that the stream package data does not include specific frame data. If determined, means for discarding stream package data other than stream package data including predetermined frame data required at the transfer destination, and the stream package data is specified frame data Required at the forwarding destination If it is determined that the stream package data includes predetermined frame data, the stream package data is subjected to package reconfiguration, and the stream package data after the package reconfiguration is performed. And transfer means for transferring.

このように転送先において必要とされる所定のフレーム・データ及び動作モードに対応する特定フレーム・データを含むストリーム・パッケージ・データのみが転送の対象となるため、中継装置の処理負荷を高めることなく、転送データ量を減らすことができるようになる。 In this way, only stream package data including specific frame data corresponding to predetermined frame data and operation mode required at the transfer destination is subject to transfer, and thus without increasing the processing load of the relay device. The amount of transferred data can be reduced.

なお、上で述べた転送手段が、上記ストリーム・パッケージ・データにおける、特定フレーム・データ又は転送先において必要とされる所定のフレーム・データ以外の部分を、パディング・データとなるように、ストリーム・パッケージ・データを再構成するようにしてもよい。上記ストリーム・パッケージ・データにおける、特定フレーム・データ又は転送先において必要とされる所定のフレーム・データのみでストリーム・パッケージ・データを構成しても良いが、ストリーム・パッケージ・データのサイズが固定である場合には、残りの部分を上で述べたように処理することにより、受信側における画像の乱れや雑音を減らすことができるようになる。 Note that the transfer means described above is configured so that a part of the stream package data other than the specific frame data or the predetermined frame data required at the transfer destination becomes the padding data. Package data may be reconstructed. In the above stream package data, the stream package data may be composed of only specific frame data or predetermined frame data required at the transfer destination, but the size of the stream package data is fixed. In some cases, the remaining portion is processed as described above to reduce image disturbance and noise on the receiving side.

さらに、特定フレーム・データ又は転送先において必要とされる所定のフレーム・データ以外の部分が、上記ストリーム・パッケージ・データにおいて、特定フレーム・データ又は転送先において必要とされる所定のフレーム・データより前に存在している場合には、特定フレーム・データ又は転送先において必要とされる所定のフレーム・データの後ろにパディング・データが配置されるようにストリーム・パッケージ・データを再構成するようにしてもよい。受信側では特定フレームなどに対する処理を早期に開始することができるようになる。 Further, the portion other than the predetermined frame data required at the specific frame data or the transfer destination is more than the predetermined frame data required at the specific frame data or the transfer destination in the stream package data. If so, stream package data should be reconfigured so that the padding data is placed after the specific frame data or the predetermined frame data required at the destination. May be. On the receiving side, processing for a specific frame or the like can be started early.

さらに、上で述べた特定フレーム・データが、音声パケットのデータ、画像パケットにおけるＩフレームのデータ、画像パケットにおけるＩフレームとＢフレーム又はＰフレームとのデータ、画像パケットにおける所定回数おきのＩフレームのデータの少なくともいずれかである場合もある。本発明は様々な場合に対応することができる。 Furthermore, the specific frame data described above includes audio packet data, I frame data in an image packet, I frame and B frame or P frame data in an image packet, and I frame data every predetermined number of times in an image packet. It can be at least one of the data. The present invention can deal with various cases.

また、上で述べた動作モードが、複数種類のストリーム・パッケージ・データの中から特定フレーム・データとして画像パケットにおけるＩフレーム（Ｉ＋Ｂ、Ｉ＋Ｂ＋Ｐの場合もある）を抽出して１種類のストリーム・パッケージ・データとして転送するモードである場合、上で述べた転送手段が、上記ストリーム・パッケージ・データのヘッダにおける宛先及びシーケンス番号を修正するようにしてもよい。受信側において正しい順番で処理できるようになる。 The operation mode described above extracts one frame stream by extracting an I frame (in some cases, I + B, I + B + P) in an image packet as specific frame data from a plurality of types of stream package data. In the mode of transferring as data, the transfer means described above may correct the destination and sequence number in the header of the stream package data. The receiving side can process in the correct order.

本発明に係る中継装置は、プロセッサと、当該プロセッサに実行させるためのプログラムとにより構成される場合もあり、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、ネットワークを介してディジタル信号にて頒布される場合もある。なお、処理途中のデータについては、コンピュータのメモリ等の記憶装置に一時保管される。 The relay device according to the present invention may be configured by a processor and a program to be executed by the processor. The program is, for example, a flexible disk, a CD-ROM, a magneto-optical disk, a semiconductor memory, a hard disk, or the like. Stored in a storage medium or storage device. In some cases, digital signals are distributed over a network. Note that data being processed is temporarily stored in a storage device such as a computer memory.

本発明によれば、エンコードについての規格変更や再エンコードを行わずに、データ転送量を変更することができるようになる。 According to the present invention, the data transfer amount can be changed without changing the encoding standard or re-encoding.

また本発明の別の側面として、ストリーム・データの合成を行うことができるようになる。 As another aspect of the present invention, stream data can be synthesized.

図１に本発明の一実施の形態におけるシステム全体図を示す。本実施の形態における中継装置３は、少なくとも広帯域のネットワーク１と狭帯域のネットワーク２とに接続されている。そして、ネットワーク１には、ストリーム・データを配信する配信サーバ７が接続されている。配信サーバ７は、コンテンツＤＢ１１を管理しており、コンテンツＤＢ１１に格納されているコンテンツを、ストリーム・データとしてネットワーク１を介して配信するようになっている。また、ネットワーク２には、ユーザ端末９が接続されており、ユーザ端末９は、配信サーバ７が配信しているストリーム・データを受信して、デコードし、表示装置に表示、又はスピーカからの音声出力を行うものである。 FIG. 1 shows an overall system diagram according to an embodiment of the present invention. The relay device 3 in the present embodiment is connected to at least the broadband network 1 and the narrowband network 2. A distribution server 7 that distributes stream data is connected to the network 1. The distribution server 7 manages the content DB 11 and distributes the content stored in the content DB 11 via the network 1 as stream data. Also, the user terminal 9 is connected to the network 2, and the user terminal 9 receives and decodes the stream data distributed by the distribution server 7 and displays it on the display device or the sound from the speaker. Output.

中継装置３は、転送モード制御部３１と、パッケージ受信部３３と、パッケージ処理部３５と、パッケージ送信部３７とを有する。転送モード制御部３１は、例えばネットワーク１のトラフィック又は有効利用可能帯域と、ネットワーク２のトラフィック又は有効利用可能帯域とを測定し、ネットワーク１からネットワーク２に配信されるストリーム・データの転送モードを特定する。但し、例えば中継装置３のユーザが、転送モード制御部３１に対して転送モードを固定で設定するようにしてもよいし、他の基準に基づき転送モードを決定するようにしてもよい。転送モード設定部３１は、パッケージ処理部３５に対して、転送モードを設定する。 The relay device 3 includes a transfer mode control unit 31, a package reception unit 33, a package processing unit 35, and a package transmission unit 37. The transfer mode control unit 31 measures, for example, the traffic or effective usable bandwidth of the network 1 and the traffic or effective usable bandwidth of the network 2, and specifies the transfer mode of stream data distributed from the network 1 to the network 2. To do. However, for example, the user of the relay device 3 may set the transfer mode to the transfer mode control unit 31 in a fixed manner, or may determine the transfer mode based on other criteria. The transfer mode setting unit 31 sets a transfer mode for the package processing unit 35.

パッケージ受信部３３は、ネットワーク１からストリーム・データであるＲＴＰパッケージ・データを受信し、パッケージ処理部３５に出力する。パッケージ処理部３５は、設定された転送モードに従って、以下で説明するパッケージの破棄及び再構成を実施し、パッケージ送信部３７に出力する。パッケージ送信部３７は、パッケージ処理部３５から受け取ったＲＴＰパッケージ・データをネットワーク２に出力する。 The package receiving unit 33 receives RTP package data that is stream data from the network 1 and outputs the RTP package data to the package processing unit 35. The package processing unit 35 discards and reconfigures the package described below according to the set transfer mode, and outputs the package to the package transmission unit 37. The package transmission unit 37 outputs the RTP package data received from the package processing unit 35 to the network 2.

本実施の形態では、配信サーバ７は、ＲＴＰパッケージ・データを送信し、中継装置３は、当該ＲＴＰパッケージ・データを受信する。このＲＴＰパッケージは、図２（ａ）に示すように、ＲＴＰヘッダと、ペイロードとして図２（ｂ）に示されるシステム（Ｓｙｓｔｅｍ）パケットと音声（Ａｕｄｉｏ）パケットとパディング（Ｐａｄｄｉｎｇ）パケットとビデオ（Ｖｉｄｅｏ）パケットとのうち少なくともいずれかとを含む。なお、ＲＴＰヘッダには、シーケンス番号を含む。 In the present embodiment, the distribution server 7 transmits RTP package data, and the relay device 3 receives the RTP package data. As shown in FIG. 2A, the RTP package includes an RTP header, a system (system) packet, a voice (audio) packet, a padding packet, and a video (video) shown in FIG. 2 (b) as a payload. ) And / or a packet. The RTP header includes a sequence number.

また、Systemパケットは、図２（ｃ）に示すように、ヘッダコード（例えば０００００１ＢＡなど）と、タイムスタンプと、パケットのサイズと、データとを含む。なお、タイムスタンプ、サイズ、データは任意であり、含まれない場合もある。また、Audioパケットは、図２（ｄ）に示すように、ヘッダコード（例えば０００００１Ｅ０など）と、タイムスタンプと、パケットのサイズと、データとを含む。なお、タイムスタンプ、データは任意であり、含まれない場合もある。さらに、Paddingパケットは、図２（ｅ）に示すように、ヘッダコード（例えば０００００１Ｃ０など）と、パケットのサイズと、ダミーデータとを含む。ダミーデータは存在しない場合もある。また、Videoパケットは、図２（ｆ）に示すように、ヘッダコードと、タイムスタンプと、サイズと、データとを含む。なお、タイムスタンプと、データとは任意であり、含まれない場合もある。なお、図２（ｃ）乃至図２（ｆ）は、各パケットを簡略化した形で説明しており、全てのデータを示すものではない。例えば、Ｖｉｄｅｏパケットには、ＧＯＰ（Group of Picture）ヘッダ（ＧＯＰコードとも呼ぶ）と、ピクチャ（Picture）ヘッダ（Pictureコードとも呼ぶ）とが含まれる。また、Pictureヘッダには、PICTURE_START_CODE（０００００１００）と、ＭＰＥＧにおけるＩフレーム、Ｂフレーム、Ｐフレームを区別するためのPICTURE_CODING_TYPEとを含む。 As shown in FIG. 2C, the System packet includes a header code (for example, 000001BA), a time stamp, a packet size, and data. The time stamp, size, and data are arbitrary and may not be included. Further, as shown in FIG. 2D, the Audio packet includes a header code (for example, 000001E0), a time stamp, a packet size, and data. The time stamp and data are arbitrary and may not be included. Further, as shown in FIG. 2E, the Padding packet includes a header code (for example, 000001C0), the size of the packet, and dummy data. There may be no dummy data. Further, as shown in FIG. 2F, the Video packet includes a header code, a time stamp, a size, and data. The time stamp and the data are arbitrary and may not be included. 2C to 2F illustrate each packet in a simplified form, and do not show all data. For example, a Video packet includes a GOP (Group of Picture) header (also referred to as a GOP code) and a picture header (also referred to as a Picture code). The Picture header includes PICTURE_START_CODE (00000100) and PICTURE_CODING_TYPE for distinguishing between I frame, B frame, and P frame in MPEG.

なお、１ＧＯＰは、例えば、ＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰというフレーム群で構成される。 Note that 1 GOP is composed of a frame group such as BBI BBP BBP BBP BBP, for example.

図３にＲＴＰパッケージ列の一例を示す。図３（ａ）は、ヘッダコードが０００００１Ｅ０のビデオパケットを含むＲＴＰパッケージを示している。このＲＴＰパッケージにおいて最初のデータ部分はＢフレーム（Ｆｒａｍｅ）のデータを含んでおり、その後PICTURE_START_CODE（０００００１００）が挿入されており、さらにＩフレーム（Ｆｒａｍｅ）のデータが含まれている。なお、図示しないが、PICUTURE_CODING_TYPEによりＩフレームであることが分かる。次のＲＴＰパッケージは、図３（ｂ）に示すように、ヘッダコード０００００１Ｅ０と、Ｉフレームの続きデータが含まれる。その後図３（ｂ）と同様のパッケージが繰り返され、最後に図３（ｃ）に示すように、ヘッダコード０００００１Ｅ０と、Ｉフレームの最後のデータとを含んでおり、その後PICTURE_START_CODE（０００００１００）が挿入されており、さらにＢフレームのデータが含まれているＲＴＰパッケージが現れる。図示していないが、PICTURE_CODING_TYPEによりＢフレームであることが分かる。 FIG. 3 shows an example of the RTP package sequence. FIG. 3A shows an RTP package including a video packet having a header code of 000001E0. In this RTP package, the first data portion includes B frame data, PICTURE_START_CODE (00000100) is inserted, and I frame (Frame) data is further included. Although not shown, it can be seen from the PICUTURE_CODING_TYPE that the frame is an I frame. As shown in FIG. 3B, the next RTP package includes a header code 000001E0 and continuation data of an I frame. Thereafter, the same package as in FIG. 3B is repeated. Finally, as shown in FIG. 3C, the header code includes 000001E0 and the last data of the I frame, and then PICTURE_START_CODE (00000100) is inserted. In addition, an RTP package that includes B frame data appears. Although not shown, it can be seen from the PICTURE_CODING_TYPE that it is a B frame.

次に、図１に示した中継装置３の処理フローを図４乃至図１０を用いて説明する。なお、処理フローとは別に、転送モード制御部３１は、転送モードを特定し、パッケージ処理部３５に設定する。なお、転送モードを変更する際には、以下に用いる変数を初期化する。すなわち、ＲＴＰパケットのシーケンス番号を表す変数SequenceNoを０に設定し、パッケージの転送可否を表すbSendItをFalseに設定し、Ｉフレームが検出された後であるか否かを示すbInsideIFrameをFalseに設定し、Ｉフレームを何フレームおきに送信するかを設定するためのnIFrameRateを転送モードに応じて所定の値に設定し、受信したＩフレームの数をカウントするためのnIFrameCntを０に設定する。 Next, the processing flow of the relay device 3 shown in FIG. 1 will be described with reference to FIGS. In addition to the processing flow, the transfer mode control unit 31 specifies the transfer mode and sets it in the package processing unit 35. When changing the transfer mode, the variables used below are initialized. That is, the variable SequenceNo indicating the sequence number of the RTP packet is set to 0, bSendIt indicating whether the package can be transferred is set to False, and bInsideIFrame indicating whether the I frame is detected is set to False. , NIFrameRate for setting how many I frames are transmitted is set to a predetermined value according to the transfer mode, and nIFrameCnt for counting the number of received I frames is set to 0.

そして、パッケージ受信部３３は、パッケージを受信し、パッケージ処理部３５にパッケージを出力する（ステップＳ１）。そして、パッケージ処理部３５は、現在転送モードが、IFrameモードであるか判断する（ステップＳ３）。IFrameモードでは、Ｉフレームのみが転送されるモードである。もし、IFrameモードであれば、パッケージ処理部３５は、IFrameフィルタ処理を実施する（ステップＳ５）。この処理については、以下で詳細に説明する。一方、IFrameモードでなければ、Audioモードであるか判断する（ステップＳ７）。Audioモードは、Audioパケットのみが転送されるモードである。Audioモードであれば、パッケージ処理部３５は、Audioフィルタ処理を実施する（ステップＳ９）。なお、Audioフィルタ処理はIFrameフィルタ処理の変形であるので、IFrameフィルタ処理の説明の後に、簡単に説明する。 Then, the package receiving unit 33 receives the package and outputs the package to the package processing unit 35 (step S1). Then, the package processing unit 35 determines whether the current transfer mode is the IFrame mode (step S3). In the IFrame mode, only I frames are transferred. If it is the IFrame mode, the package processing unit 35 performs an IFrame filter process (step S5). This process will be described in detail below. On the other hand, if it is not the IFrame mode, it is determined whether it is the Audio mode (step S7). The Audio mode is a mode in which only Audio packets are transferred. If it is in the Audio mode, the package processing unit 35 performs Audio filter processing (step S9). Since the audio filter process is a modification of the IFrame filter process, it will be briefly described after the description of the IFrame filter process.

さらに、Audioモードでなければ、パッケージ処理部３５は、IFrame+Audioモードであるか判断する（ステップＳ１１）。もし、IFrame+Audioモードであれば、パッケージ処理部３５は、IFrame+Audioフィルタ処理を実施する（ステップＳ１３）。IFrame+Audioモードは、AudioパケットとＩフレームとが転送されるモードである。なお、Audioフィルタ処理はIFrameフィルタ処理の変形であるので、IFrameフィルタ処理の説明の後に、簡単に説明する。一方、IFrame+Audioモードでなければ、ここではフルモードであり、パッケージ処理部３５は、SequenceNoを１インクリメントし（ステップＳ１５）、ＲＴＰヘッダのシーケンス番号をSequenceNoの値に変更した上で、当該パッケージのデータをパッケージ送信部３７に出力し、当該パッケージ送信部３７は、当該パッケージのデータを送信する（ステップＳ１７）。そしてステップＳ３３に移行する。 Further, if not in the audio mode, the package processing unit 35 determines whether the mode is the IFrame + Audio mode (step S11). If it is in the IFrame + Audio mode, the package processing unit 35 performs IFrame + Audio filter processing (step S13). The IFrame + Audio mode is a mode in which Audio packets and I frames are transferred. Since the audio filter process is a modification of the IFrame filter process, it will be briefly described after the description of the IFrame filter process. On the other hand, if it is not the IFrame + Audio mode, it is the full mode here, and the package processing unit 35 increments SequenceNo by 1 (step S15) and changes the sequence number of the RTP header to the value of SequenceNo. Are output to the package transmission unit 37, and the package transmission unit 37 transmits the data of the package (step S17). Then, control goes to a step S33.

なお、この他の転送モードが定義されている場合には、ステップＳ１１のＮｏルートの後にそれに応じて処理を挿入する。 If another transfer mode is defined, a process is inserted after the No route in step S11.

ステップＳ５、Ｓ９又はＳ１３の後に、パッケージ処理部３５は、bSendIt＝Trueであるか判断する（ステップＳ１９）。すなわち、ステップＳ５、Ｓ９又はＳ１３において、ＲＴＰパッケージの送信が許可されたか判断する。もし、bSendIt＝Trueである、すなわちＲＴＰパッケージの送信が許可された場合には、パッケージ処理部３５は、SequenceNoを１インクリメントし（ステップＳ２１）、ＲＴＰヘッダのシーケンス番号をSequenceNoの値に変更した上で、当該パッケージのデータをパッケージ送信部３７に出力し、当該パッケージ送信部３７は、当該パッケージのデータを送信する（ステップＳ２３）。そしてステップＳ３３に移行する。 After step S5, S9 or S13, the package processing unit 35 determines whether bSendIt = True (step S19). That is, in step S5, S9, or S13, it is determined whether transmission of the RTP package is permitted. If bSendIt = True, that is, if transmission of the RTP package is permitted, the package processing unit 35 increments SequenceNo by 1 (step S21) and changes the sequence number of the RTP header to the value of SequenceNo. Thus, the data of the package is output to the package transmission unit 37, and the package transmission unit 37 transmits the data of the package (step S23). Then, control goes to a step S33.

一方、bSendIt＝Falseである場合には、パッケージ処理部３５は、Systemパケットを含むＲＴＰパッケージの送信可否を表すbSysSendItがTrueであるか判断する（ステップＳ２５）。Systemパケットは、所定時間内に定期的に送信する必要があるので、ステップＳ５、Ｓ９又はＳ１３におけるフィルタ処理の結果として設定される変数bSendItとは別に管理されており、ステップＳ２５でSystemパケットを送信すべきか判断する。なお、送信すべきVideoパケットをも含むＲＴＰパッケージであれば、ステップＳ１９からステップＳ２１及びＳ２３を実行するようになるので、ステップＳ２５ではSystemパケット以外に送信すべきパケットがないＲＴＰパッケージが送信されることになる。bSysSendIt＝Trueである場合には、パッケージ処理部３５は、SequenceNoを１インクリメントし（ステップＳ２７）、ＲＴＰヘッダのシーケンス番号をSequenceNoの値に変更した上で、Systemパケットを含む当該パッケージのデータをパッケージ送信部３７に出力し、当該パッケージ送信部３７は、当該パッケージのデータを送信する（ステップＳ２９）。また、Systemパケットを含むパッケージの送信時刻を、例えばメインメモリなどの記憶装置に格納する（ステップＳ３１）。そしてステップＳ３３に移行する。 On the other hand, if bSendIt = False, the package processing unit 35 determines whether bSysSendIt representing whether or not an RTP package including a System packet can be transmitted is true (step S25). Since the System packet needs to be transmitted periodically within a predetermined time, it is managed separately from the variable bSendIt set as a result of the filter processing in step S5, S9 or S13, and the System packet is transmitted in step S25. Judge what to do. If the RTP package includes a Video packet to be transmitted, Steps S19 to S21 and S23 are executed. Therefore, in Step S25, an RTP package having no packet to be transmitted other than the System packet is transmitted. It will be. When bSysSendIt = True, the package processing unit 35 increments SequenceNo by 1 (step S27), changes the sequence number of the RTP header to the value of SequenceNo, and then packages the data of the package including the System packet. The package transmission unit 37 outputs the data of the package to the transmission unit 37 (step S29). Further, the transmission time of the package including the System packet is stored in a storage device such as a main memory (step S31). Then, control goes to a step S33.

ステップＳ３３では、処理を終了すべきか判断し、処理を終了させない場合にはステップＳ１に戻る。それ以外の場合には処理を終了させる。 In step S33, it is determined whether the process should be terminated. If the process is not terminated, the process returns to step S1. In other cases, the process is terminated.

このような処理を実施することにより、様々な転送モードに対応することができる。 By performing such processing, various transfer modes can be supported.

次に、図５を用いてIFrameフィルタ処理の詳細を説明する。パッケージ処理部３５は、初期化処理として、bSendItとbSysSendItとにFalseを設定する（ステップＳ４１）。そして、変数ｐＣｕｒを先頭パケットにセットする（ステップＳ４３）。その後、パッケージ処理部３５は、ｐＣｕｒが指しているパケットがSystemパケットであるか判断する（ステップＳ４５）。パケットの種別はヘッダコードにより判断することができる。もし、ｐＣｕｒが指しているパケットがSystemパケットであると判断された場合には、bSendItがFalseであり且つ前回送信時刻からの経過時間が閾値を超えたか判断する（ステップＳ４７）。上でも述べたが、Systemパケットは所定時間内において定期的に送信する必要があるため、前回送信時刻からの経過時間が閾値を超えたSystemパケット以外に送信すべきパケットが存在しないＲＴＰパケットを、ここで特定する。従って、bSendItがFalseであり且つ前回送信時刻からの経過時間が閾値を超えたと判断された場合には、bSysSendItにTrueをセットする（ステップＳ４９）。そして、ステップＳ５９に移行する。一方、bSendItがTrueの場合、又は前回送信時刻からの経過時間が閾値を超えていない場合には、ステップＳ５９に移行する。 Next, details of the IFrame filter processing will be described with reference to FIG. The package processing unit 35 sets False to bSendIt and bSysSendIt as initialization processing (step S41). Then, the variable pCur is set to the top packet (step S43). Thereafter, the package processing unit 35 determines whether the packet pointed to by pCur is a System packet (step S45). The packet type can be determined from the header code. If it is determined that the packet pointed to by pCur is a System packet, it is determined whether bSendIt is False and the elapsed time from the previous transmission time exceeds the threshold (step S47). As described above, since the System packet needs to be periodically transmitted within a predetermined time, an RTP packet in which there is no packet to be transmitted other than the System packet whose elapsed time from the previous transmission time exceeds the threshold value, Specify here. Therefore, if bSendIt is False and it is determined that the elapsed time from the previous transmission time has exceeded the threshold, bSysSendIt is set to True (step S49). Then, the process proceeds to step S59. On the other hand, if bSendIt is True, or if the elapsed time from the previous transmission time does not exceed the threshold, the process proceeds to step S59.

また、ｐＣｕｒが指しているパケットがSystemパケットではないと判断されると、Paddingパケットであるか判断する（ステップＳ５１）。もし、ｐＣｕｒが指しているパケットがPaddingパケットと判断されると、ステップＳ５９に移行する。 If it is determined that the packet pointed to by pCur is not a System packet, it is determined whether it is a Padding packet (step S51). If the packet pointed to by pCur is determined to be a Padding packet, the process proceeds to step S59.

また、ｐＣｕｒが指しているパケットがPaddingパケットではないと判断されると、Audioパケットであるか判断する（ステップＳ５３）。ｐＣｕｒが指しているパケットが、Audioパケットであると判断されると、当該AudioパケットのヘッダコードをPaddingのヘッダコードに変更する（ステップＳ５５）。すなわち、AudioパケットをPaddingパケットにしてしまう。 If it is determined that the packet pointed to by pCur is not a Padding packet, it is determined whether it is an Audio packet (step S53). If it is determined that the packet pointed to by pCur is an audio packet, the header code of the audio packet is changed to a padding header code (step S55). That is, the Audio packet is changed to a Padding packet.

例えば図６（ａ）のようなAudioパケットのヘッダコードを、図６（ｂ）のようなPaddingパケットのヘッダコードに変更する。 For example, the header code of the Audio packet as shown in FIG. 6A is changed to the header code of the Padding packet as shown in FIG.

一方、ｐＣｕｒが指しているパケットがAudioではないと判断された場合、Videoパケットであるから、ビデオパケット処理を実施する（ステップＳ５７）。ステップＳ５７については後に詳細に説明するが、Ｉフレームを検出した場合にbSendItをTrueにセットする。そしてステップＳ５９に移行する。 On the other hand, if it is determined that the packet pointed to by pCur is not Audio, it is a Video packet, and thus video packet processing is performed (step S57). Step S57 will be described in detail later. When an I frame is detected, bSendIt is set to True. Then, control goes to a step S59.

ステップＳ５９において、ｐＣｕｒを次のパケットに設定する。そして、ｐＣｕｒがNULLを指しているか判断する（ステップＳ６１）。すなわち、処理対象のパッケージに未処理のパケットが存在しないか判断する。もし、未処理のパケットが存在すると判断された場合にはステップＳ４５に戻る。一方、未処理のパケットが存在しないと判断された場合には、bSysSendItがTrueにセットされており、且つbSendItがFalseにセットされているか判断する（ステップＳ６３）。これは、処理対象のパッケージが、送信すべきパケットがSystemパケットのみであるＲＴＰパッケージであるか判断するものである。そして、bSysSendItがTrueにセットされており、且つbSendItがFalseにセットされている場合には、処理対象のパッケージに含まれる全てのビデオパケットのヘッダをPaddingパケットのヘッダコードに変更する（ステップＳ６５）。このように、Videoパケットが含まれても、bSendItがFalseである場合には、当該Videoパケットを送信する必要はないので、Paddingパケットに変更してしまう。そして元の処理に戻る。一方、bSysSendItがFalseにセットされているか、又はbSendItがTrueにセットされている場合には、何もせずに元の処理に戻る。 In step S59, pCur is set to the next packet. Then, it is determined whether pCur indicates NULL (step S61). That is, it is determined whether there is an unprocessed packet in the package to be processed. If it is determined that there is an unprocessed packet, the process returns to step S45. On the other hand, if it is determined that there is no unprocessed packet, it is determined whether bSysSendIt is set to True and bSendIt is set to False (step S63). This is to determine whether the package to be processed is an RTP package in which a packet to be transmitted is only a System packet. If bSysSendIt is set to True and bSendIt is set to False, the headers of all video packets included in the processing target package are changed to the header codes of the Padding packets (step S65). . In this way, even if a Video packet is included, if bSendIt is False, there is no need to transmit the Video packet, so the packet is changed to a Padding packet. Then, the process returns to the original process. On the other hand, if bSysSendIt is set to False or bSendIt is set to True, the process returns to the original processing without doing anything.

このような処理を実施することにより、ＩフレームのVideoパケット及び転送の必要なSystemパケットのみを転送することができるようになる。 By performing such processing, only the video packet of the I frame and the System packet that needs to be transferred can be transferred.

図５の処理を、Audioフィルタ処理に変更する場合には、ステップＳ５５の代わりに、bSendItをTrueにセットし、ステップＳ５７の代わりに、VideoパケットのヘッダコードをPaddingパケットのヘッダコードに変更すればよい。 When the process of FIG. 5 is changed to the audio filter process, bSendIt is set to True instead of Step S55, and the header code of the Video packet is changed to the header code of the Padding packet instead of Step S57. Good.

図５の処理を、IFrame+Audioフィルタ処理では、ステップＳ５５の代わりに、bSendItをTrueにセットすればよい。 In the processing of FIG. 5, in the IFrame + Audio filter processing, bSendIt may be set to True instead of step S55.

次に、図７乃至図９を用いてビデオパケット処理の処理フローを説明する。まず、パッケージ処理部３５は、処理対象のパッケージがPictureヘッダを含むか判断する（ステップＳ７１）。処理対象のパッケージがPictureヘッダを含むと判断した場合には、当該PictureヘッダのPICTURE_CODING_TYPEがＩフレームを示しているか判断する（ステップＳ７３）。PICTURE_CODING_TYPEがＩフレームを示していると判断した場合には、カウンタnIFrameCntを１インクリメントする（ステップＳ７５）。そして、カウンタnIFrameCntが予め設定されているnIFrameRateに等しくなったか判断する（ステップＳ７７）。もし、カウンタnIFrameCntがnIFrameRateに等しくなったと判断された場合には、カウンタnIFrameCntを０に初期化する（ステップＳ７９）。一方、カウンタnIFrameCntがnIFrameRate未満である場合には、ステップＳ８１に移行する。 Next, a processing flow of video packet processing will be described with reference to FIGS. First, the package processing unit 35 determines whether the processing target package includes a Picture header (step S71). If it is determined that the package to be processed includes a Picture header, it is determined whether the PICTURE_CODING_TYPE of the Picture header indicates an I frame (step S73). If it is determined that PICTURE_CODING_TYPE indicates an I frame, the counter nIFrameCnt is incremented by 1 (step S75). Then, it is determined whether the counter nIFrameCnt is equal to the preset nIFrameRate (step S77). If it is determined that the counter nIFrameCnt is equal to nIFrameRate, the counter nIFrameCnt is initialized to 0 (step S79). On the other hand, if the counter nIFrameCnt is less than nIFrameRate, the process proceeds to step S81.

そして、ステップＳ７９又はＳ７７の後に、bInsideIFrameがTrueであるか判断する（ステップＳ８１）。すなわち、Ｉフレームが検出された後に再度Ｉフレームが検出されたのかを判断する。これは、通常はあり得ないパターンであるが、念のため確認するものである。もし、bInsideIFrameがTrueであると判断された場合には、ステップＳ８９に移行する。一方、bInsideIFrameがFalseであると判断された場合には、ＢフレームからＩフレームに遷移したことを表すため、本パッケージの先頭に存在するＢフレームのデータ（不要データ）を後部に移動させ、Paddingパケットを構成し、さらにＩフレームのデータを先頭に移動させる（ステップＳ８３）。本ステップでは、図３（ａ）のようなパッケージ状態を想定しており、図８（ａ）のようにVideoパケットのヘッダと不要データであるＢフレームのデータと必要データであるＩフレームのデータとを含むようなパッケージである場合には、図８（ｂ）のように必要データであるＩフレームのデータをVideoパケットのヘッダの後に配置し、不要データであるＢフレームのデータをPaddingパケットに変更して、パッケージを再構成する。Paddingパケットには、図２（ｅ）に示すように、ヘッダコードとサイズとダミーデータとが含まれるので、パッケージのサイズを変更することなく、ヘッダコードとサイズのデータのデータ量からPaddingパケットのサイズを決定する。その後、bInsideIFrameをTrueにセットする（ステップＳ８５）。そして、処理はステップＳ８９に移行する。なお、パッケージの最初からＩフレームである場合もあるので、そのような場合には、Paddingパケットは構成されない。 Then, after step S79 or S77, it is determined whether bInsideIFrame is True (step S81). That is, it is determined whether the I frame is detected again after the I frame is detected. This is an unusual pattern, but it is confirmed just in case. If it is determined that bInsideIFrame is True, the process proceeds to step S89. On the other hand, if it is determined that bInsideIFrame is False, the B frame data (unnecessary data) existing at the top of this package is moved to the rear to indicate that the transition from the B frame to the I frame is performed. The packet is constructed, and the data of the I frame is further moved to the head (step S83). In this step, the package state as shown in FIG. 3A is assumed. As shown in FIG. 8A, the header of the Video packet, the B frame data which is unnecessary data, and the I frame data which is necessary data. As shown in FIG. 8B, the I frame data, which is necessary data, is arranged after the header of the Video packet, and the B frame data, which is unnecessary data, is used as a Padding packet. Change and reconfigure the package. As shown in FIG. 2E, the Padding packet includes a header code, a size, and dummy data. Therefore, without changing the package size, the Padding packet can be calculated from the data amount of the header code and the size data. Determine the size. Thereafter, bInsideIFrame is set to True (step S85). Then, the process proceeds to step S89. Since there is a case where the frame is an I frame from the beginning of the package, the Padding packet is not configured in such a case.

一方、ステップＳ７１でPictureヘッダが存在しないと判断された場合、bInsideIFrameがTrueであるか判断する（ステップＳ８７）。Pictureヘッダが存在せず、bInsideIFrameがTrueであるということは、Ｉフレームの途中、すなわち図３（ｂ）のようなパッケージを処理している場合であるから、ステップＳ８９に移行する。一方、bInsideIFrameがFalseであると判断された場合には、Ｂフレーム又はＰフレームの途中であることを示しており、元の処理に戻る。 On the other hand, if it is determined in step S71 that the Picture header does not exist, it is determined whether bInsideIFrame is True (step S87). The fact that the Picture header does not exist and bInsideIFrame is True is in the middle of the I frame, that is, the case where the package as shown in FIG. 3B is being processed, and therefore the process proceeds to step S89. On the other hand, when it is determined that bInsideIFrame is False, it indicates that the frame is in the middle of the B frame or the P frame, and the processing returns to the original processing.

また、ステップＳ７３でPICTURE_CODING_TYPEがＩフレームを示していないと判断された場合、bInsideIFrameがTrueであるか判断する（ステップＳ９３）。これは、ＩフレームからＢフレームに遷移したのか、それともＰフレームからＢフレーム又はＢフレームからＰフレームに遷移したのかを判断するものである。bInsideIFrameがTrueであると判断された場合には、ＩフレームからＢフレームに遷移したことを示しており、例えば図３（ｃ）のようなパッケージを処理している。従って、このような場合には、Ｉフレームのデータについてはそのままにしておき、後部の不要データであるＢフレームのデータについてPaddingパケットを構成して置き換える（ステップＳ９５）。すなわち、図９（ａ）のように、Videoパケットのヘッダと必要データであるＩフレームと不要データであるＢフレームのデータとが含まれる状態から、図９（ｂ）のように、Videoパケットのヘッダと必要データであるＩフレームとPaddingパケットとが含まれる状態に、パッケージを再構成する。そして、bInsideIFrameをFalseに変更する（ステップＳ９７）。その後ステップＳ８９に移行する。 If it is determined in step S73 that PICTURE_CODING_TYPE does not indicate an I frame, it is determined whether bInsideIFrame is true (step S93). This is to determine whether the transition is from the I frame to the B frame, or from the P frame to the B frame or from the B frame to the P frame. When it is determined that bInsideIFrame is True, it indicates that the frame has transitioned from the I frame to the B frame, and for example, a package as shown in FIG. 3C is processed. Therefore, in such a case, the data of the I frame is left as it is, and the padding packet is formed and replaced with the data of the B frame which is unnecessary rear data (step S95). That is, as shown in FIG. 9A, from the state in which the header of the Video packet, the I frame that is necessary data, and the B frame data that is unnecessary data are included, The package is reconfigured so that the header, necessary data I frame and padding packet are included. Then, bInsideIFrame is changed to False (step S97). Thereafter, the process proceeds to step S89.

一方、bInsideIFrameがFalseであると判断された場合には、ＰフレームからＢフレーム又はＢフレームからＰフレームへの遷移であるから、本パッケージにおけるヘッダコードをVideoパケットのヘッダコードからPaddingパケットのヘッダコードに変更する（ステップＳ９９）。そしてステップＳ８９に移行する。 On the other hand, when bInsideIFrame is determined to be False, it is a transition from the P frame to the B frame or from the B frame to the P frame. (Step S99). Then, control goes to a step S89.

ステップＳ８９では、nIFrameCntが０であるか判断する。すなわち、ステップＳ７９を通過したか判断する。これは、例えば２回Ｉフレームを受信した後に１つのＩフレームを送信するような場合には、nIFrameRateが２にセットされているので、nIFrameCntが２になるとステップＳ７９においてnIFrameCntが０にリセットされ、ステップＳ８９においてステップＳ９１に移行する。ステップＳ９１では、bSendItをTrueにセットする。bSendItがTrueであれば、ステップＳ２３（図４）で本パッケージが送信されることになる。 In step S89, it is determined whether nIFrameCnt is zero. That is, it is determined whether the process has passed step S79. For example, when one I frame is transmitted after receiving an I frame twice, nIFrameRate is set to 2, so when nIFrameCnt becomes 2, nIFrameCnt is reset to 0 in step S79. In step S89, the process proceeds to step S91. In step S91, bSendIt is set to True. If bSendIt is True, the package is transmitted in step S23 (FIG. 4).

一方、nIFrameCntが０ではない場合には、何もせず元の処理に戻る。すなわち、本パッケージは破棄されることになる。 On the other hand, if nIFrameCnt is not 0, the process returns to the original process without doing anything. In other words, this package will be discarded.

このような処理を行えば、VideoパケットのうちＩフレームのみを含むパッケージを構成して送信することができるようになる。また、図３（ａ）及び図３（ｃ）のようなパッケージの場合には、Paddingパケットが構成されて付加されるようになるので、受信側では画像の乱れも発生しない。 If such processing is performed, a package including only an I frame in the Video packet can be configured and transmitted. Further, in the case of the package as shown in FIGS. 3A and 3C, the Padding packet is constructed and added, so that no image distortion occurs on the receiving side.

なお、必ずＩフレームのみを送るようにしなければならないわけではなく、ＩフレームとＢフレームとを送信する場合も存在する。例えばＩフレームとＢフレームを送信する場合には、Ｉフレームを数フレームおきに送信することは妥当ではないので、nIFrameRateを１にセットする。そして、ステップＳ７３においてＩフレームだけではなく、ＢフレームであってもステップＳ７５に移行するようにする。また、ステップＳ８３では、ＩフレームとＢフレーム以外のフレームを、不要データとして処理する。ステップ９５においても同様である。 Note that it is not always necessary to send only I frames, and there are cases where I frames and B frames are transmitted. For example, when transmitting I frames and B frames, it is not appropriate to transmit I frames every several frames, so nIFrameRate is set to 1. In step S73, not only the I frame but also the B frame is shifted to step S75. In step S83, frames other than the I frame and the B frame are processed as unnecessary data. The same applies to step 95.

以上のような処理を実施することにより、ネットワーク１が広帯域で、ネットワーク２が狭帯域である場合には、ネットワーク１から図１０（ａ）に示すように多数のパッケージを受信しても、図１０（ｂ）に示すように、ＩフレームのVideoパケットを含むパッケージＰ１乃至Ｐ６のみが抽出され、ネットワーク２に送信されるようになる。なお、パッケージＰ１、Ｐ３及びＰ５については、Ｂフレームのデータが含まれていたが、これらについてはPaddingパケットに再構成されているので、パッケージのサイズを変更することなく、さらに受信側に画像乱れを生じさせずに表示を行うことができるようになる。 By performing the processing as described above, when the network 1 has a wide band and the network 2 has a narrow band, even if a large number of packages are received from the network 1 as shown in FIG. As shown in FIG. 10B, only the packages P1 to P6 including the video packet of the I frame are extracted and transmitted to the network 2. For the packages P1, P3, and P5, B frame data was included. However, since these are reconstructed into Padding packets, the image is further distorted on the receiving side without changing the package size. It becomes possible to perform display without causing any.

なお、図１０（ｂ）のようにパッケージ送信について時間的な余裕が生じるようであれば、送信時間を所望のタイミングにずらしながら送信することも可能である。また、ユーザ端末９では、ストリーム・データの再生機構を再起動するなどの処理を必要としないので、途中で転送モードを変更することも可能である。 If there is a time margin for package transmission as shown in FIG. 10B, transmission can be performed while shifting the transmission time to a desired timing. Further, since the user terminal 9 does not require processing such as restarting the stream data reproduction mechanism, it is possible to change the transfer mode in the middle.

なお、Ａｕｄｉｏパケットのみを送信するような場合等にも、図１０（ｂ）のようなパッケージの送信が行われるようになり、音声の場合には雑音の発生を抑制することができる。 Note that even when only an Audio packet is transmitted, the package is transmitted as shown in FIG. 10B, and noise can be suppressed in the case of voice.

以上述べた技術を応用すると、中継装置３においてストリーム・データの合成が可能となる。例えば、図１１（ａ）乃至（ｄ）に示すように、４種類のストリーム・データを、通常はＩＰアドレス及びポート番号のセットが異なるようにユーザ端末９に送信しているが、ネットワーク２の帯域が４本のストリーム・データを流すには十分ではない場合、以下のような処理を実施する。すなわち、パッケージ処理部３５は、合成転送モードを転送モード制御部３１から設定されると、各ストリーム・データについて上で述べた処理を行い、ＩフレームのVideoパケットのみを含むパッケージを構成する。そして、ＩＰアドレス及びポートを一本化して、送信すべきパッケージの宛先に設定すると共に、シーケンス番号についても通し番号に振り直す。また、各ストリーム・データから抽出されたパッケージをｘ秒間隔で送信するようにする。そうすると、図１１（ｅ）に示すような各ストリーム・データのうちＩフレームを含むパッケージのみが送信されるようになるため、ユーザ端末９では一定時間（ここではｘ秒）毎に４種類の画像が切り替えられて表示されるようになる。この際、ユーザ端末９の再生機構の再起動なども不要である。なお、パッケージの再構成の際に、表示位置、優先度に応じた表示サイズなどのデータを送信データに付加すれば、ユーザ端末９では様々な表示態様が可能となる。 By applying the above-described technique, the relay apparatus 3 can synthesize stream data. For example, as shown in FIGS. 11A to 11D, four types of stream data are normally transmitted to the user terminal 9 with different sets of IP addresses and port numbers. If the bandwidth is not sufficient to stream four stream data, the following processing is performed. That is, when the composite transfer mode is set by the transfer mode control unit 31, the package processing unit 35 performs the above-described processing on each stream data, and configures a package including only I frame Video packets. Then, the IP address and the port are unified and set as the destination of the package to be transmitted, and the sequence number is also reassigned to the serial number. Further, the package extracted from each stream data is transmitted at intervals of x seconds. Then, since only the package including the I frame is transmitted among the stream data as shown in FIG. 11 (e), the user terminal 9 has four types of images every predetermined time (here, x seconds). Are switched and displayed. At this time, it is not necessary to restart the playback mechanism of the user terminal 9. When data such as a display position and a display size corresponding to the priority is added to the transmission data when the package is reconfigured, the user terminal 9 can have various display modes.

以上本発明の一実施の形態について説明したが、本発明はこれに限定されるものではない。例えば、図１に示した中継装置３の機能ブロック図は、必ずしも実際の部品又はプログラム・モジュールに対応しない。 Although one embodiment of the present invention has been described above, the present invention is not limited to this. For example, the functional block diagram of the relay device 3 shown in FIG. 1 does not necessarily correspond to an actual part or program module.

（付記１）
動作モードを特定する手段と、
ストリーム・パッケージ・データを受信した場合、特定された前記動作モードに従って抽出すべき特定フレーム・データを前記ストリーム・パッケージ・データが含んでいるか判断する手段と、
前記ストリーム・パッケージ・データが前記特定フレーム・データを含まないと判断された場合には、転送先において必要とされる所定のフレーム・データを含むストリーム・パッケージ・データ以外のストリーム・パッケージ・データを破棄する手段と、
前記ストリーム・パッケージ・データが前記特定フレーム・データを含むと判断された場合又は前記転送先において必要とされる所定のフレーム・データを含むストリーム・パッケージ・データであると判断された場合には、前記ストリーム・パッケージ・データに対してパッケージ再構成を行い、パッケージ再構成後のストリーム・パッケージ・データを転送する転送手段と、
を有する中継装置。 (Appendix 1)
Means for identifying the operating mode;
Means for determining whether the stream package data includes specific frame data to be extracted according to the specified operation mode when receiving stream package data;
When it is determined that the stream package data does not include the specific frame data, stream package data other than the stream package data including predetermined frame data required at the transfer destination is A means of destruction,
When it is determined that the stream package data includes the specific frame data or when it is determined that the stream package data includes predetermined frame data required at the transfer destination, Transfer means for reconfiguring the stream package data and transferring the stream package data after the package reconfiguration;
A relay device.

（付記２）
前記転送手段が、
前記ストリーム・パッケージ・データにおける、前記特定フレーム・データ又は前記転送先において必要とされる所定のフレーム・データ以外の部分を、パディング・データとなるように、前記ストリーム・パッケージ・データを再構成する
ことを特徴とする付記１記載の中継装置。 (Appendix 2)
The transfer means is
The stream package data is reconfigured so that a part other than the specific frame data or the predetermined frame data required at the transfer destination in the stream package data becomes padding data. The relay device according to appendix 1, wherein

（付記３）
前記特定フレーム・データ又は前記転送先において必要とされる所定のフレーム・データ以外の部分が、前記ストリーム・パッケージ・データにおいて、前記特定フレーム・データ又は前記転送先において必要とされる所定のフレーム・データより前に存在している場合には、前記特定フレーム・データ又は前記転送先において必要とされる所定のフレーム・データの後ろにパディング・データが配置されるように前記ストリーム・パッケージ・データを再構成する
ことを特徴とする付記１記載の中継装置。 (Appendix 3)
A portion other than the specific frame data or the predetermined frame data required at the transfer destination is the specific frame data or the predetermined frame required at the transfer destination in the stream package data. If it exists before the data, the stream package data is set so that padding data is placed after the specific frame data or predetermined frame data required at the transfer destination. The relay device according to appendix 1, which is reconfigured.

（付記４）
前記転送先において必要とされる所定のフレーム・データが、所定時間間隔で必要とされるシステム・パケットのデータである
付記１記載の中継装置。 (Appendix 4)
The relay apparatus according to claim 1, wherein the predetermined frame data required at the transfer destination is system packet data required at predetermined time intervals.

（付記５）
前記特定フレーム・データが、音声パケットのデータ、画像パケットにおけるＩフレームのデータ、画像パケットにおけるＩフレームとＢフレーム又はＰフレームとのデータ、画像パケットにおける所定回数おきのＩフレームのデータの少なくともいずれかであることを特徴とする付記１記載の中継装置。 (Appendix 5)
The specific frame data is at least one of voice packet data, I frame data in an image packet, I frame and B frame or P frame data in an image packet, and I frame data in a predetermined number of times in an image packet. The relay device according to appendix 1, wherein:

（付記６）
前記転送手段が、前記ストリーム・パッケージ・データのヘッダにおけるシーケンス番号を修正することを特徴とする付記１記載の中継装置。 (Appendix 6)
The relay apparatus according to appendix 1, wherein the transfer unit corrects a sequence number in a header of the stream package data.

（付記７）
前記動作モードが、複数種類のストリーム・パッケージ・データの中から特定フレーム・データとして画像パケットにおけるＩフレームを抽出して１種類のストリーム・パッケージ・データとして転送するモードである場合、前記転送手段が、前記ストリーム・パッケージ・データのヘッダにおける宛先及びシーケンス番号を修正することを特徴とする付記１記載の中継装置。 (Appendix 7)
When the operation mode is a mode in which an I frame in an image packet is extracted as specific frame data from a plurality of types of stream package data and transferred as one type of stream package data, the transfer means The relay device according to appendix 1, wherein a destination and a sequence number in the header of the stream package data are corrected.

（付記８）
動作モードを特定するステップと、
ストリーム・パッケージ・データを受信した場合、特定された前記動作モードに従って抽出すべき特定フレーム・データを前記ストリーム・パッケージ・データが含んでいるか判断するステップと、
前記ストリーム・パッケージ・データが前記特定フレーム・データを含まないと判断された場合には、転送先において必要とされる所定のフレーム・データを含むストリーム・パッケージ・データ以外のストリーム・パッケージ・データを破棄するステップと、
前記ストリーム・パッケージ・データが前記特定フレーム・データを含むと判断された場合又は前記転送先において必要とされる所定のフレーム・データを含むストリーム・パッケージ・データであると判断された場合には、前記ストリーム・パッケージ・データに対してパッケージ再構成を行い、パッケージ再構成後のストリーム・パッケージ・データを転送するステップと、
を含む中継方法。 (Appendix 8)
Identifying the mode of operation;
When receiving stream package data, determining whether the stream package data includes specific frame data to be extracted according to the specified operation mode;
When it is determined that the stream package data does not include the specific frame data, stream package data other than the stream package data including predetermined frame data required at the transfer destination is A step of discarding;
When it is determined that the stream package data includes the specific frame data or when it is determined that the stream package data includes predetermined frame data required at the transfer destination, Performing package reconfiguration on the stream package data and transferring the stream package data after package reconfiguration;
Relay method including.

（付記９）
動作モードを特定するステップと、
ストリーム・パッケージ・データを受信した場合、特定された前記動作モードに従って抽出すべき特定フレーム・データを前記ストリーム・パッケージ・データが含んでいるか判断するステップと、
前記ストリーム・パッケージ・データが前記特定フレーム・データを含まないと判断された場合には、転送先において必要とされる所定のフレーム・データを含むストリーム・パッケージ・データ以外のストリーム・パッケージ・データを破棄するステップと、
前記ストリーム・パッケージ・データが前記特定フレーム・データを含むと判断された場合又は前記転送先において必要とされる所定のフレーム・データを含むストリーム・パッケージ・データであると判断された場合には、前記ストリーム・パッケージ・データに対してパッケージ再構成を行い、パッケージ再構成後のストリーム・パッケージ・データを転送する転送ステップと、
を中継装置に実行させるためのプログラム。 (Appendix 9)
Identifying the mode of operation;
When receiving stream package data, determining whether the stream package data includes specific frame data to be extracted according to the specified operation mode;
When it is determined that the stream package data does not include the specific frame data, stream package data other than the stream package data including predetermined frame data required at the transfer destination is A step of discarding;
When it is determined that the stream package data includes the specific frame data or when it is determined that the stream package data includes predetermined frame data required at the transfer destination, A transfer step of reconfiguring the stream package data and transferring the stream package data after the package reconfiguration;
For causing the relay device to execute

本発明の一実施の形態の概要を示した機能ブロック図である。It is the functional block diagram which showed the outline | summary of one embodiment of this invention. （ａ）はＲＴＰパッケージの構成を示し、（ｂ）はＲＴＰペイロードに含まれるパケットの一例を示す図であり、（ｃ）はSystemパケットの構成例を示す図であり、（ｄ）はAudioパケットの構成例を示す図であり、（ｅ）はPaddingパケットの構成例を示す図であり、（ｆ）はVideoパケットの構成例を示す図である。(A) shows the configuration of the RTP package, (b) is a diagram showing an example of a packet included in the RTP payload, (c) is a diagram showing a configuration example of a System packet, and (d) is an Audio packet. (E) is a figure which shows the example of a structure of a Padding packet, (f) is a figure which shows the example of a structure of a Video packet. （ａ）乃至（ｃ）は、パッケージ列の一例を示す図である。(A) thru | or (c) is a figure which shows an example of a package row | line | column. 実施の形態におけるメインの処理フローを示す図である。It is a figure which shows the main processing flow in embodiment. IFrameフィルタ処理の処理フローを示す図である。It is a figure which shows the processing flow of an IFrame filter process. （ａ）はAudioパケット等の構成の一例を示す図であり、（ｂ）はAudioパケットをPaddingパケットに変更した場合の構成の一例を示す図である。(A) is a figure which shows an example of a structure of an Audio packet etc., (b) is a figure which shows an example of a structure at the time of changing an Audio packet into a Padding packet. ビデオパケット処理の処理フローを表す図である。It is a figure showing the processing flow of a video packet process. （ａ）は前半に不要データが含まれるVideoパケットの一例を示す図であり、（ｂ）は不要データを後半に移動させPaddingパケットに変更した場合の一例を示す図である。(A) is a figure which shows an example of the Video packet in which unnecessary data is contained in the first half, (b) is a figure which shows an example at the time of moving unnecessary data to the second half and changing to a Padding packet. （ａ）は後半に不要データが含まれるVideoパケットの一例を示す図であり、（ｂ）は不要データをPaddingパケットに変更した場合の一例を示す図である。(A) is a figure which shows an example of the Video packet in which unnecessary data is contained in the latter half, (b) is a figure which shows an example at the time of changing unnecessary data into a Padding packet. 実施の形態に係る中継装置の処理の概念図である。It is a conceptual diagram of the process of the relay apparatus which concerns on embodiment. ストリーム・データの合成処理について説明するための図である。It is a figure for demonstrating the synthetic | combination process of a stream data.

Explanation of symbols

１，２ネットワーク３中継装置
７配信サーバ９ユーザ端末１１コンテンツＤＢ
３１転送モード制御部３３パッケージ受信部３５パッケージ処理部
３７パッケージ送信部 1, 2 Network 3 Relay device 7 Distribution server 9 User terminal 11 Content DB
31 Transfer Mode Control Unit 33 Package Reception Unit 35 Package Processing Unit 37 Package Transmission Unit

Claims

Means for identifying the operating mode;
Means for determining whether the stream package data includes specific frame data to be extracted according to the specified operation mode when receiving stream package data;
When it is determined that the stream package data does not include the specific frame data, stream package data other than the stream package data including predetermined frame data required at the transfer destination is A means of destruction,
When it is determined that the stream package data includes the specific frame data or when it is determined that the stream package data includes predetermined frame data required at the transfer destination, Transfer means for reconfiguring the stream package data and transferring the stream package data after the package reconfiguration;
A relay device.

The transfer means is
The stream package data is reconfigured so that a part other than the specific frame data or the predetermined frame data required at the transfer destination in the stream package data becomes padding data. The relay apparatus according to claim 1.

A portion other than the specific frame data or the predetermined frame data required at the transfer destination is the specific frame data or the predetermined frame required at the transfer destination in the stream package data. If it exists before the data, the stream package data is set so that padding data is placed after the specific frame data or predetermined frame data required at the transfer destination. The relay device according to claim 1, wherein reconfiguration is performed.

The specific frame data is at least one of voice packet data, I frame data in an image packet, I frame and B frame or P frame data in an image packet, and I frame data in a predetermined number of times in an image packet. The relay apparatus according to claim 1, wherein:

When the operation mode is a mode in which an I frame in an image packet is extracted as specific frame data from a plurality of types of stream package data and transferred as one type of stream package data, the transfer means The relay apparatus according to claim 1, wherein a destination and a sequence number in the header of the stream package data are corrected.