JP2010141585A

JP2010141585A - Image sending device

Info

Publication number: JP2010141585A
Application number: JP2008315872A
Authority: JP
Inventors: Yukinari Matsuda; 幸成松田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2008-12-11
Filing date: 2008-12-11
Publication date: 2010-06-24
Anticipated expiration: 2028-12-11
Also published as: JP5171593B2

Abstract

<P>PROBLEM TO BE SOLVED: To dispense with the implementation of a buffer and a packetizing circuit for each of various pieces of media information. <P>SOLUTION: A image sending device is provided with a packet generating part 5 for packetizing various pieces of coded media information for generating a transmission packet, and a packet multiplexing part 6 for storing the transmission packet outputted from the packet-generating part 5 in a packet storing buffer 12, and then selectively extracting the transmission packet from the packet storing buffer 12, to generate a multiplexing stream. A media multiple control part 7 controls the sequence of the coded media information packetized by the packet generating part 5 and also controls the sequence of the transmission packets extracted from the packet storing buffer 12 by the packet multiplexing part 6. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

この発明は、例えば、映像信号、音声信号、データ信号などのメディア情報を符号化して符号化メディア情報を生成し、それらの符号化メディア情報又は制御情報を含む伝送パケットを多重化ストリームに多重化して送信する画像送信装置に関するものである。 The present invention, for example, encodes media information such as a video signal, an audio signal, and a data signal to generate encoded media information, and multiplexes transmission packets including the encoded media information or control information into a multiplexed stream. The present invention relates to an image transmission device that transmits the image.

例えば、デジタル放送、デジタルビデオカメラ、監視カメラなどでは、映像信号、音声信号、データ信号などのメディア情報を複数同時に伝送したり、記録したりすることができるような開発が行われている。
これらの装置では、各種のメディア情報の情報量を削減するために、そのメディア情報の特性に応じた異なる符号化方式によって個別に符号化処理を実施している。
そして、通信路への伝送、あるいは、記録媒体への書き込みの容易化を図るため、それらの符号化メディア情報を伝送パケットや記録パケットに格納し、それらのパケットを多重化ストリームに多重化して出力するようにしている。
その際、構成の容易さから、映像信号、音声信号、データ信号などの符号化メディア情報を個別のバッファに格納して制御する方式が採用されることが多い。 For example, digital broadcasting, digital video cameras, surveillance cameras, and the like have been developed so that a plurality of media information such as video signals, audio signals, and data signals can be transmitted and recorded simultaneously.
In these apparatuses, in order to reduce the information amount of various types of media information, encoding processing is individually performed by different encoding schemes according to the characteristics of the media information.
In order to facilitate transmission to a communication path or writing to a recording medium, the encoded media information is stored in a transmission packet or a recording packet, and these packets are multiplexed into a multiplexed stream and output. Like to do.
At that time, in order to facilitate the configuration, a method of storing and controlling encoded media information such as a video signal, an audio signal, and a data signal in an individual buffer is often adopted.

例えば、以下の特許文献１には、映像信号、音声信号、データ信号などの符号化メディア情報をそれぞれ独立のメディアＥＳバッファ（ビデオＥＳバッファ、オーディオＥＳバッファ、データＥＳバッファ）に格納した後、コントローラの指示の下、転送制御部がヘッダ情報メモリや各メディアＥＳバッファから所定の順序で符号化メディア情報を読み出してパケット化し、そのパケットを出力バッファに書き込んで多重化ストリームを生成する技術が開示されている。 For example, in Patent Document 1 below, encoded media information such as a video signal, an audio signal, and a data signal is stored in independent media ES buffers (video ES buffer, audio ES buffer, data ES buffer) and then a controller. Under the instruction, the transfer control unit reads out encoded media information from the header information memory and each media ES buffer in a predetermined order to packetize, and writes the packet to the output buffer to generate a multiplexed stream. ing.

このように、各種の符号化メディア情報毎に、独立のメディアＥＳバッファを用意して、各種の符号化メディア情報を個別に格納するようにする場合、各種の符号化メディア情報をパケット化して多重化ストリームを生成する多重化回路については、メディア共通で構成することができる。
しかし、各種の符号化メディア情報毎に、メディアＥＳバッファに対する符号化メディア情報の読み書きを制御する制御回路が必要となる。
また、独立のメディアＥＳバッファについては、各メディア情報の符号化レートの多寡に関わらず、想定される最大符号化レートに応じたバッファサイズ、あるいは、設計効率の観点で二のべき乗のサイズなど、一定の設計基準に則ったサイズが必要となることが多い。
このため、メモリ使用効率の観点で無駄が発生し、メディア情報の種別が増加するにしたがって回路規模への影響も無視できなくなり、高コストな構造の一因となる。 As described above, when an independent media ES buffer is prepared for each type of encoded media information and various types of encoded media information are individually stored, the various types of encoded media information are packetized and multiplexed. Multiplexing circuits that generate a stream can be configured in common for media.
However, for each type of encoded media information, a control circuit that controls reading / writing of the encoded media information with respect to the media ES buffer is required.
In addition, for independent media ES buffers, regardless of the encoding rate of each media information, the buffer size according to the assumed maximum encoding rate, or the size of a power of two in terms of design efficiency, Often, a size according to a certain design standard is required.
For this reason, waste is generated from the viewpoint of memory usage efficiency, and the influence on the circuit scale cannot be ignored as the type of media information increases, which contributes to a high-cost structure.

また、以下の特許文献２には、映像信号、音声信号、データ信号などの符号化メディア情報をそれぞれパケット化するパケット化回路を独立に配置して、各パケット化回路から出力された伝送パケットをバッファに格納し、パケット優先順位部の指示の下、そのバッファから伝送パケットを選択的に取り出して多重化ストリームを生成する技術が開示されている。 In Patent Document 2 below, packetizing circuits for packetizing encoded media information such as video signals, audio signals, and data signals are arranged independently, and transmission packets output from the respective packetizing circuits are arranged. A technique is disclosed in which a multiplexed stream is generated by storing in a buffer and selectively taking out a transmission packet from the buffer under the instruction of the packet priority unit.

このように、各種の符号化メディア情報毎に、パケット化回路を独立に配置するようにする場合、多重化ストリームを生成する多重化回路については、バッファから多重対象の伝送パケットを選択して取り出すだけの簡単な仕組みで構成することができる。
しかし、各種の符号化メディア情報毎に、パケット化回路とバッファが必要となり、やはり高コストな構造の一因となる。 As described above, when the packetizing circuit is arranged independently for each type of encoded media information, the multiplexing circuit that generates the multiplexed stream selects and extracts the transmission packet to be multiplexed from the buffer. It can be configured with just a simple mechanism.
However, for each type of encoded media information, a packetizing circuit and a buffer are required, which again contributes to an expensive structure.

特開２００１−１８６１００号公報JP 2001-186100 A 特開２００３−６９６３４号公報JP 2003-69634 A

従来の画像送信装置は以上のように構成されているので、各種の符号化メディア情報毎に、メディアＥＳバッファ及び制御回路を独立に配置、あるいは、各種の符号化メディア情報毎に、パケット化回路及びバッファを独立に配置すれば、各種の符号化メディア情報を含む伝送パケットを多重化ストリームに多重化して送信することができる。しかし、各種の符号化メディア情報毎にメディアＥＳバッファや、パケット化回路を独立に配置する構成では、全体の回路規模が大きくなり、高コストな構造の一因となるなどの課題があった。 Since the conventional image transmitting apparatus is configured as described above, a media ES buffer and a control circuit are arranged independently for each type of encoded media information, or a packetizing circuit for each type of encoded media information. If buffers and buffers are arranged independently, transmission packets including various types of encoded media information can be multiplexed and transmitted in a multiplexed stream. However, in the configuration in which the media ES buffer and the packetizing circuit are independently arranged for each type of encoded media information, there are problems such as an increase in the overall circuit scale and a cause of a high-cost structure.

この発明は上記のような課題を解決するためになされたもので、各種のメディア情報毎に、バッファやパケット化回路を実装することなく、各種のメディア情報の符号化データを多重化ストリームに多重化して送信することができる画像送信装置を得ることを目的とする。 The present invention has been made to solve the above-described problems. For each type of media information, encoded data of various types of media information can be multiplexed into a multiplexed stream without mounting a buffer or a packetizing circuit. An object of the present invention is to obtain an image transmission apparatus that can be transmitted in the form of an image.

この発明に係る画像送信装置は、メディア符号化手段により符号化されたメディア情報である符号化メディア情報をパケット化して、その符号化メディア情報を含む伝送パケットを出力するパケット生成手段と、そのパケット生成手段から出力された伝送パケットをバッファに格納した後、そのバッファから伝送パケットを選択的に取り出して多重化ストリームを生成するパケット多重化手段とを設け、制御手段がパケット生成手段によりパケット化される符号化メディア情報の順序を制御するとともに、パケット多重化手段によりバッファから取り出される伝送パケットの順序を制御するようにしたものである。 The image transmission apparatus according to the present invention packetizes encoded media information, which is media information encoded by the media encoding unit, and outputs a transmission packet including the encoded media information, and the packet After storing the transmission packet output from the generation means in the buffer, the transmission means is provided with packet multiplexing means for selectively extracting the transmission packet from the buffer and generating a multiplexed stream, and the control means is packetized by the packet generation means. The order of encoded media information is controlled, and the order of transmission packets taken out from the buffer by the packet multiplexing means is controlled.

この発明によれば、メディア符号化手段により符号化されたメディア情報である符号化メディア情報をパケット化して、その符号化メディア情報を含む伝送パケットを出力するパケット生成手段と、そのパケット生成手段から出力された伝送パケットをバッファに格納した後、そのバッファから伝送パケットを選択的に取り出して多重化ストリームを生成するパケット多重化手段とを設け、制御手段がパケット生成手段によりパケット化される符号化メディア情報の順序を制御するとともに、パケット多重化手段によりバッファから取り出される伝送パケットの順序を制御するように構成したので、各種のメディア情報毎に、バッファやパケット化回路を実装することなく、各種のメディア情報の符号化データを多重化ストリームに多重化して送信することができる効果がある。 According to this invention, packet generation means for packetizing encoded media information, which is media information encoded by the media encoding means, and outputting a transmission packet including the encoded media information, and the packet generation means A packet multiplexing means for storing the output transmission packet in a buffer and then selectively extracting the transmission packet from the buffer and generating a multiplexed stream; Since the order of the media information is controlled and the order of the transmission packets taken out from the buffer by the packet multiplexing means is configured, various types of media information can be controlled without mounting a buffer or a packetizing circuit. Multiplexed media information encoded data into a multiplexed stream There is an effect that can be sent.

実施の形態１．
図１はこの発明の実施の形態１による画像送信装置を示す構成図である。
図１では、メディア情報である映像信号、音声信号及びデータ信号を符号化してパケット化し、その伝送パケットを多重化ストリームに多重化して送信する画像送信装置の一例を示している。
図１において、映像符号化部１ａ，１ｂは映像信号を所定の符号化方式で符号化し、符号化後の映像信号である符号化映像信号（符号化メディア情報）をパケット生成部５に出力する処理を実施する。 Embodiment 1 FIG.
FIG. 1 is a block diagram showing an image transmission apparatus according to Embodiment 1 of the present invention.
FIG. 1 shows an example of an image transmission apparatus that encodes and packetizes video signals, audio signals, and data signals, which are media information, and multiplexes the transmission packets into a multiplexed stream for transmission.
In FIG. 1, video encoding units 1 a and 1 b encode a video signal by a predetermined encoding method, and output an encoded video signal (encoded media information) that is a video signal after encoding to the packet generation unit 5. Perform the process.

音声符号化部２ａ，２ｂは音声信号を所定の符号化方式で符号化し、符号化後の音声信号である符号化音声信号（符号化メディア情報）をパケット生成部５に出力する処理を実施する。
データ符号化部３ａ，３ｂはデータ信号を所定の符号化方式で符号化し、符号化後のデータ信号である符号化データ信号（符号化メディア情報）をパケット生成部５に出力する処理を実施する。
なお、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂはメディア符号化手段を構成している。 The voice encoding units 2a and 2b perform a process of encoding the voice signal by a predetermined encoding method and outputting the encoded voice signal (encoded media information) that is the encoded voice signal to the packet generation unit 5. .
The data encoding units 3a and 3b perform a process of encoding a data signal by a predetermined encoding method and outputting an encoded data signal (encoded media information) that is a data signal after encoding to the packet generation unit 5. .
The video encoding units 1a and 1b, the audio encoding units 2a and 2b, and the data encoding units 3a and 3b constitute media encoding means.

図１では、映像信号、音声信号及びデータ信号の符号化部を２個ずつ搭載している例を示しているが、２個ずつに限定するものではなく、メディア情報毎に異なる個数の符号化部を搭載するようにしてもよい。
また、特定のメディア情報の符号化部のみを搭載するようにしてもよい。 FIG. 1 shows an example in which two video signal, audio signal, and data signal encoding units are installed. However, the number of encoding units is not limited to two. May be mounted.
Also, only a specific media information encoding unit may be installed.

メディア多重処理部４はパケット生成部５、パケット多重化部６及びメディア多重制御部７から構成されており、符号化メディア情報を含む伝送パケットを多重化ストリームに多重化する処理を実施する。
パケット生成部５はメディア多重制御部７の指示の下、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから出力される符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）の中から、いずれかの符号化メディア情報を取り込み、その符号化メディア情報をパケット化して、その符号化メディア情報を含む伝送パケットをパケット多重化部６に出力する処理を実施する。なお、パケット生成部５はパケット生成手段を構成している。 The media multiplexing processing unit 4 includes a packet generation unit 5, a packet multiplexing unit 6, and a media multiplexing control unit 7. The media multiplexing processing unit 4 performs a process of multiplexing a transmission packet including encoded media information into a multiplexed stream.
Under the instruction of the media multiplexing control unit 7, the packet generation unit 5 encodes encoded media information (encoded video) output from the video encoding units 1a and 1b, the audio encoding units 2a and 2b, and the data encoding units 3a and 3b. Signal, encoded audio signal, encoded data signal), any encoded media information is taken in, the encoded media information is packetized, and a transmission packet including the encoded media information is packet-multiplexed The process which outputs to 6 is implemented. The packet generator 5 constitutes a packet generator.

パケット多重化部６はメディア多重制御部７の指示の下、パケット生成部５から出力された伝送パケットをバッファに格納した後、そのバッファから伝送パケットを選択的に取り出して多重化ストリームを生成する処理を実施する。なお、パケット多重化部６はパケット多重化手段を構成している。
パケット多重化部６により生成された多重化ストリームは、パケット伝送部８及びディスク書込部９の双方、あるいは、いずれか一方に出力される。 Under the instruction of the media multiplexing control unit 7, the packet multiplexing unit 6 stores the transmission packet output from the packet generation unit 5 in a buffer, and then selectively extracts the transmission packet from the buffer to generate a multiplexed stream. Perform the process. The packet multiplexing unit 6 constitutes a packet multiplexing unit.
The multiplexed stream generated by the packet multiplexing unit 6 is output to both or one of the packet transmission unit 8 and the disk writing unit 9.

メディア多重制御部７は例えばパケット多重化部６内のバッファにおける伝送パケットの格納量に応じて、パケット生成部５によりパケット化される符号化メディア情報の順序を制御するとともに、パケット多重化部６によりバッファから取り出される伝送パケットの順序を制御する処理を実施する。なお、メディア多重制御部７は制御手段を構成している。
パケット伝送部８はパケット多重化部６から出力された多重化ストリームを有線又は無線の伝送路に出力する処理を実施する。
ディスク書込部９はパケット多重化部６から出力された多重化ストリームを記録媒体に書き込む処理を実施する。 The media multiplexing control unit 7 controls the order of the encoded media information packetized by the packet generation unit 5 according to, for example, the amount of transmission packets stored in the buffer in the packet multiplexing unit 6, and the packet multiplexing unit 6 The process for controlling the order of the transmission packets taken out from the buffer is executed. The media multiplexing control unit 7 constitutes a control means.
The packet transmission unit 8 performs processing for outputting the multiplexed stream output from the packet multiplexing unit 6 to a wired or wireless transmission path.
The disk writing unit 9 performs a process of writing the multiplexed stream output from the packet multiplexing unit 6 to a recording medium.

図２はこの発明の実施の形態１による画像送信装置のパケット多重化部６を示す構成図である。
図２において、パケット取込部１１はパケット多重制御部１５の指示の下、パケット生成部５から出力された伝送パケットを取り込み、その伝送パケットをパケット格納バッファ１２に格納する処理を実施する。
パケット格納バッファ１２は伝送パケットに含まれている符号化メディア情報の種類と関係なく、その伝送パケットを一時的に格納する共通バッファである。 FIG. 2 is a block diagram showing the packet multiplexing unit 6 of the image transmission apparatus according to Embodiment 1 of the present invention.
In FIG. 2, under the instruction of the packet multiplexing control unit 15, the packet capture unit 11 captures the transmission packet output from the packet generation unit 5 and stores the transmission packet in the packet storage buffer 12.
The packet storage buffer 12 is a common buffer that temporarily stores the transmission packet regardless of the type of encoded media information included in the transmission packet.

固定パケット生成部１３は予め指定された固定パケット（伝送パケットの代替えパケット）を生成する処理を実施する。
パケット出力部１４はパケット多重制御部１５の指示の下、パケット格納バッファ１２に格納されている伝送パケットを選択的に取り出して多重化ストリームを生成し、その多重化ストリームを出力する処理を実施する。
ただし、画像送信装置から送信される多重化ストリームの伝送レートを一定に保つ必要がある場合、パケット出力部１４は、パケット多重制御部１５から一定の周期で伝送パケットの取出指示を受けることになるが、パケット格納バッファ１２に取り出す伝送パケットが格納されていなければ、その伝送パケットの代わりに、固定パケット生成部１３により生成された固定パケットを用いて多重化ストリームを生成する。 The fixed packet generation unit 13 performs a process of generating a fixed packet (a substitute packet for a transmission packet) designated in advance.
Under the instruction of the packet multiplexing control unit 15, the packet output unit 14 selectively extracts the transmission packets stored in the packet storage buffer 12 to generate a multiplexed stream, and performs processing to output the multiplexed stream. .
However, when it is necessary to keep the transmission rate of the multiplexed stream transmitted from the image transmission device constant, the packet output unit 14 receives an instruction to take out the transmission packet from the packet multiplexing control unit 15 at a constant period. However, if the transmission packet to be taken out is not stored in the packet storage buffer 12, a multiplexed stream is generated using the fixed packet generated by the fixed packet generation unit 13 instead of the transmission packet.

パケット多重制御部１５はパケット取込部１１から“パケット取込通知”を受けることで、パケット取込部１１により取り込まれた伝送パケットの個数と、その伝送パケットに含まれている符号化メディア情報の種別（制御情報の種別）を把握して、パケット格納バッファ１２に格納されている伝送パケットの格納量（符号化映像信号を含む伝送パケットの格納量、符号化音声信号を含む伝送パケットの格納量、符号化データ信号を含む伝送パケットの格納量、制御情報を含む伝送パケットの格納量）を示す“パケット生成状態通知”をメディア多重制御部７に出力する一方、パケット格納バッファ１２内の空き領域を探索して、パケット生成部５から出力される伝送パケットを格納する位置を選定し、その格納位置を示す“パケット取込指示”をパケット取込部１１に出力する。また、メディア多重制御部７から“ストリーム生成指示”を受けると、パケット格納バッファ１２から取り出す伝送パケットを指定する“パケット取出指示”をパケット出力部１４に出力する処理を実施する。 The packet multiplexing control unit 15 receives the “packet capture notification” from the packet capture unit 11, and thereby the number of transmission packets captured by the packet capture unit 11 and the encoded media information included in the transmission packet. The amount of transmission packets stored in the packet storage buffer 12 (the amount of transmission packets including an encoded video signal, the storage of transmission packets including an encoded audio signal) “Packet generation state notification” indicating the amount, transmission packet storage amount including the encoded data signal, and transmission packet storage amount including control information) is output to the media multiplexing control unit 7 while the free space in the packet storage buffer 12 Search the area, select a location for storing the transmission packet output from the packet generator 5, and select the “packet capture instruction” indicating the storage location. Outputs "to the packet acquisition unit 11. In addition, when a “stream generation instruction” is received from the media multiplexing control unit 7, a process of outputting a “packet extraction instruction” that specifies a transmission packet to be extracted from the packet storage buffer 12 to the packet output unit 14 is performed.

次に動作について説明する。
映像符号化部１ａ，１ｂは、メディア情報である映像信号を入力すると、その映像信号を所定の符号化方式で符号化し、符号化後の映像信号である符号化映像信号（符号化メディア情報）をメディア多重処理部４のパケット生成部５に出力する。
映像信号の符号化方式としては、例えば、ＭＰＥＧ−２Ｖｉｄｅｏ、ＭＰＥＧ−４Ｖｉｄｅｏ、ＭＰＥＧ−４ＡＶＣ、ＶＣ−１などの映像符号化規格に準拠している符号化方式が考えられる。 Next, the operation will be described.
When the video encoding unit 1a, 1b receives a video signal as media information, the video encoding unit 1a, 1b encodes the video signal using a predetermined encoding method, and an encoded video signal (encoded media information) as a video signal after encoding. Is output to the packet generation unit 5 of the media multiplex processing unit 4.
As a video signal encoding method, for example, an encoding method compliant with a video encoding standard such as MPEG-2 Video, MPEG-4 Video, MPEG-4 AVC, or VC-1 can be considered.

音声符号化部２ａ，２ｂは、メディア情報である音声信号を入力すると、その音声信号を所定の符号化方式で符号化し、符号化後の音声信号である符号化音声信号（符号化メディア情報）をメディア多重処理部４のパケット生成部５に出力する。
音声信号の符号化方式としては、例えば、ＭＰＥＧ−１Ａｕｄｉｏ、ＭＰＥＧ−２Ａｕｄｉｏ、ＭＰＥＧ−２／４ＡＡＣ、ＤｏｌｂｙＡＣ−３などの音声符号化規格に準拠している符号化方式が考えられる。
データ符号化部３ａ，３ｂは、メディア情報であるデータ信号を入力すると、そのデータ信号を所定の符号化方式で符号化し、符号化後のデータ信号である符号化データ信号（符号化メディア情報）をメディア多重処理部４のパケット生成部５に出力する。 When the audio encoding unit 2a, 2b receives an audio signal that is media information, the audio encoding unit 2a, 2b encodes the audio signal using a predetermined encoding method, and an encoded audio signal (encoded media information) that is an encoded audio signal. Is output to the packet generation unit 5 of the media multiplex processing unit 4.
As an audio signal encoding method, for example, an encoding method compliant with an audio encoding standard such as MPEG-1 Audio, MPEG-2 Audio, MPEG-2 / 4 AAC, Dolby AC-3, or the like can be considered.
When the data encoding unit 3a, 3b receives a data signal that is media information, the data encoding unit 3a, 3b encodes the data signal using a predetermined encoding method, and an encoded data signal (encoded media information) that is an encoded data signal. Is output to the packet generation unit 5 of the media multiplex processing unit 4.

メディア多重処理部４は、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）を受けると、その符号化メディア情報を所定の形式でパケット化して伝送パケットを生成し、各種の伝送パケット（符号化映像信号を含む伝送パケット、符号化音声信号を含む伝送パケット、符号化データ信号を含む伝送パケット、制御情報を含む伝送パケット）を所定の順番でまとめて一つの多重化ストリームを生成する。 The media multiplex processing unit 4 receives encoded media information (encoded video signal, encoded audio signal, encoded data signal) from the video encoding units 1a and 1b, the audio encoding units 2a and 2b, and the data encoding units 3a and 3b. ), The encoded media information is packetized in a predetermined format to generate transmission packets, and various transmission packets (transmission packets including encoded video signals, transmission packets including encoded audio signals, encoded data) The transmission packet including the signal and the transmission packet including the control information) are collected in a predetermined order to generate one multiplexed stream.

パケット化や多重化の一例としては、デジタル放送や次世代ディスクなどで採用されるＭＰＥＧ−２Ｓｙｓｔｅｍｓ規格に準拠しているＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）形式でのＴＳパケット、ＤＶＤなどで採用されるＰＳ（ＰｒｏｇｒａｍＳｔｒｅａｍ）形式でのＰＳパック、あるいは、ＩＰ配信などで採用されるＩＥＴＦで規定されているＲＴＰ（ＲｅａｌｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）形式でのＲＴＰパケットにしたがってパケット多重されたデータ列が該当する。
この実施の形態１では、符号化メディア情報のパケットを生成する順序と、伝送パケットを逐次出力して多重化ストリームを生成する順序に着目しており、特定の符号化方式やパケット化方式に依存するものではなく、汎用的に適用することができる。
以下、メディア多重処理部４の処理内容を具体的に説明する。 As an example of packetization and multiplexing, TS packets in the TS (Transport Stream) format conforming to the MPEG-2 Systems standard adopted in digital broadcasting, next-generation discs, etc., PS (used in DVDs, etc.) A data string that is packet-multiplexed according to an RTP packet in the RTP (Realtime Transport Protocol) format defined by the PS pack in the Program Stream) format or the IETF adopted for IP distribution or the like corresponds.
In the first embodiment, attention is paid to the order in which packets of encoded media information are generated and the order in which transmission packets are sequentially output to generate a multiplexed stream, and depends on a specific encoding method or packetization method. It can be applied universally.
The processing contents of the media multiplex processing unit 4 will be specifically described below.

メディア多重処理部４のメディア多重制御部７は、パケット多重化部６から“パケット生成状態通知”を受けることで、パケット多重化部６内のパケット格納バッファ１２に格納されている伝送パケットの格納量（符号化映像信号を含む伝送パケットの格納量、符号化音声信号を含む伝送パケットの格納量、符号化データ信号を含む伝送パケットの格納量、制御情報を含む伝送パケットの格納量）を把握して、優先的にパケット化する必要がある符号化メディア情報が、符号化映像信号、符号化音声信号、符号化データ信号の中で、どの符号化メディア情報であるのか、あるいは、どの符号化メディア情報に関する制御情報（詳細は後述するが、制御情報は、パケット生成部５が生成する）であるのかを判断する。 The media multiplexing control unit 7 of the media multiplexing processing unit 4 receives the “packet generation state notification” from the packet multiplexing unit 6 and stores the transmission packet stored in the packet storage buffer 12 in the packet multiplexing unit 6. Understanding the amount (storage amount of transmission packet including encoded video signal, storage amount of transmission packet including encoded audio signal, storage amount of transmission packet including encoded data signal, storage amount of transmission packet including control information) Thus, the encoded media information that needs to be preferentially packetized is the encoded media information in the encoded video signal, encoded audio signal, encoded data signal, or which encoding It is determined whether the control information is media information (details will be described later, but the control information is generated by the packet generator 5).

例えば、符号化音声信号を含む伝送パケットの格納量と、符号化データ信号を含む伝送パケットの格納量については、所定の規定量を超えているが、符号化映像信号を含む伝送パケットの格納量が所定の規定量に満たない場合、符号化映像信号を優先的にパケット化する必要があると判断する。
一般的に、映像、音声及びデータの伝送割合は異なるので、符号化映像信号を含む伝送パケットの格納量に対する規定量と、符号化音声信号を含む伝送パケットの格納量に対する規定量と、符号化データ信号を含む伝送パケットの格納量に対する規定量とは異なる。 For example, the storage amount of a transmission packet including an encoded audio signal and the storage amount of a transmission packet including an encoded data signal exceed a predetermined specified amount, but the storage amount of a transmission packet including an encoded video signal Is less than the predetermined amount, it is determined that the encoded video signal needs to be preferentially packetized.
In general, since the transmission ratios of video, audio, and data are different, the prescribed amount for the storage amount of the transmission packet including the encoded video signal, the prescribed amount for the storage amount of the transmission packet including the encoded audio signal, and the encoding This is different from the prescribed amount for the storage amount of transmission packets including data signals.

メディア多重制御部７は、優先的にパケット化する必要がある符号化メディア情報あるいは制御情報を判断すると、その符号化メディア情報あるいは制御情報から順番にパケット化させるため、優先的にパケット化する必要がある符号化メディア情報あるいは制御情報を指定する“パケット生成指示”をパケット生成部５に出力する。
なお、“パケット生成指示”には、優先する度合いを示す係数などの情報が含まれている。 When the media multiplexing control unit 7 determines the encoded media information or control information that needs to be preferentially packetized, the media multiplexing control unit 7 sequentially packetizes the encoded media information or control information, so it needs to be preferentially packetized. A “packet generation instruction” that specifies certain encoded media information or control information is output to the packet generator 5.
The “packet generation instruction” includes information such as a coefficient indicating the priority.

パケット生成部５は、メディア多重制御部７から“パケット生成指示”を受けると、優先的にパケット化する必要がある符号化メディア情報あるいは制御情報を把握（各種の符号化メディア情報あるいは制御情報の優先度を把握）し、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから出力される符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）の中から、優先度が高い符号化メディア情報から順番に取込を行う。
パケット生成部５は、符号化メディア情報の取込を行うと、その符号化メディア情報をパケット化して、その符号化メディア情報を含む伝送パケットをパケット多重化部６に出力する。
ただし、優先的にパケット化する必要があるのが制御情報であれば、その制御情報をパケット化して、その制御情報を含む伝送パケットをパケット多重化部６に出力する。 When receiving the “packet generation instruction” from the media multiplexing control unit 7, the packet generation unit 5 grasps encoded media information or control information that needs to be preferentially packetized (various encoded media information or control information The priority), and encoded media information (encoded video signal, encoded audio signal, code) output from the video encoding units 1a and 1b, the audio encoding units 2a and 2b, and the data encoding units 3a and 3b. From the encoded data signal) in order from the encoded media information having the highest priority.
When the packet generation unit 5 captures the encoded media information, the packet generation unit 5 packetizes the encoded media information and outputs a transmission packet including the encoded media information to the packet multiplexing unit 6.
However, if control information needs to be preferentially packetized, the control information is packetized, and a transmission packet including the control information is output to the packet multiplexing unit 6.

また、メディア多重制御部７は、予め規定されている映像、音声、データ及び制御信号の伝送割合などを考慮して、パケット多重化部６内のパケット格納バッファ１２から優先的に取り出して多重化ストリームに多重化する必要がある伝送パケット（符号化映像信号を含む伝送パケット、符号化音声信号を含む伝送パケット、符号化データ信号を含む伝送パケット、制御情報を含む伝送パケット）を判断し、優先的に多重化する必要がある伝送パケットを指定する“ストリーム生成指示”をパケット多重化部６に出力する。
なお、“ストリーム生成指示”には、優先する度合いを示す係数などの情報が含まれている。 In addition, the media multiplexing control unit 7 preferentially takes out and multiplexes from the packet storage buffer 12 in the packet multiplexing unit 6 in consideration of the transmission rate of video, audio, data, and control signals specified in advance. Determine and prioritize transmission packets that need to be multiplexed into the stream (transmission packets that include encoded video signals, transmission packets that include encoded audio signals, transmission packets that include encoded data signals, and transmission packets that include control information) A “stream generation instruction” for designating a transmission packet that needs to be multiplexed is output to the packet multiplexer 6.
The “stream generation instruction” includes information such as a coefficient indicating the priority.

メディア多重制御部７では、上記のようにして、パケット生成部５によりパケット化される符号化メディア情報の順序と、パケット多重化部６によりバッファから取り出される伝送パケットの順序を制御するが、パケット多重化部６から出力される“パケット生成状態通知”に基づいて、これらを一元的に制御するものであるため、“パケット生成指示”と“ストリーム生成指示”の指示内容が一致していても、時間差があってもよく、自由度のある伝送パケットの生成と多重化ストリームの生成が可能となる。 The media multiplexing control unit 7 controls the order of encoded media information packetized by the packet generation unit 5 and the order of transmission packets taken out from the buffer by the packet multiplexing unit 6 as described above. Since these are centrally controlled based on the “packet generation status notification” output from the multiplexing unit 6, even if the instruction contents of the “packet generation instruction” and the “stream generation instruction” match. There may be a time difference, and it is possible to generate a transmission packet and a multiplexed stream with flexibility.

パケット多重化部６は、パケット生成部５から伝送パケットを受けると、一旦、その伝送パケットをパケット格納バッファ１２に格納する。
その後、メディア多重制御部７から“ストリーム生成指示”を受けると、優先的に多重化する必要がある伝送パケットを把握（各種の伝送パケットの優先度を把握）し、パケット格納バッファ１２に格納されている符号化映像信号を含む伝送パケット、符号化音声信号を含む伝送パケット、符号化データ信号を含む伝送パケット、制御情報を含む伝送パケットの中から、優先度が高い伝送パケットから順番に取り出して多重化ストリームを生成する。
以下、パケット多重化部６の処理内容を具体的に説明する。 When receiving the transmission packet from the packet generation unit 5, the packet multiplexing unit 6 once stores the transmission packet in the packet storage buffer 12.
Thereafter, upon receiving a “stream generation instruction” from the media multiplexing control unit 7, the transmission packets that need to be preferentially multiplexed are grasped (priorities of various transmission packets are grasped) and stored in the packet storage buffer 12. From the transmission packet including the encoded video signal, the transmission packet including the encoded audio signal, the transmission packet including the encoded data signal, and the transmission packet including the control information, the transmission packets with the highest priority are sequentially extracted. Generate a multiplexed stream.
Hereinafter, the processing content of the packet multiplexing part 6 is demonstrated concretely.

パケット多重制御部１５は、パケット格納バッファ１２内の空き領域を探索して（空き領域の探索処理の詳細は実施の形態２で説明する）、パケット生成部５から出力される伝送パケットを格納する位置を選定し、その格納位置を示す“パケット取込指示”をパケット取込部１１に出力する。
なお、“パケット取込指示”には、伝送パケットを格納するパケット格納バッファ１２上のアドレス、あるいは、面管理上の面番号などの位置情報が含まれている。 The packet multiplexing control unit 15 searches for a free area in the packet storage buffer 12 (details of the free area search process will be described in Embodiment 2), and stores the transmission packet output from the packet generation unit 5 A position is selected, and a “packet capture instruction” indicating the storage position is output to the packet capture unit 11.
The “packet fetch instruction” includes position information such as an address on the packet storage buffer 12 for storing the transmission packet or a face number for face management.

パケット取込部１１は、パケット多重制御部１５から“パケット取込指示”を受けると、パケット生成部５から出力された伝送パケットを取り込み、その伝送パケットを“パケット取込指示”が示すパケット格納バッファ１２上の位置に書き込みを行う。
また、パケット取込部１１は、実際に取り込んだ伝送パケットに含まれている符号化メディア情報の種別又は制御情報の種別を示す“パケット取込通知”をパケット多重制御部１５に出力する。 When the packet capture unit 11 receives the “packet capture instruction” from the packet multiplexing control unit 15, the packet capture unit 11 captures the transmission packet output from the packet generation unit 5 and stores the transmission packet indicated by the “packet capture instruction”. Write to a position on the buffer 12.
Further, the packet capture unit 11 outputs a “packet capture notification” indicating the type of encoded media information or the type of control information included in the actually captured transmission packet to the packet multiplexing control unit 15.

パケット多重制御部１５は、パケット取込部１１から“パケット取込通知”を受けると、パケット取込部１１により実際に取り込まれた伝送パケットの個数と、その伝送パケットに含まれている符号化メディア情報の種別（制御情報の種別）を把握する。
また、パケット多重制御部１５は、パケット出力部１４によってパケット格納バッファ１２から取り出される伝送パケットの個数と、その伝送パケットに含まれている符号化メディア情報の種別（制御情報の種別）については自己が管理しており（パケット多重制御部１５がパケット出力部１４を制御している）、パケット格納バッファ１２に入出力される伝送パケットの個数と、その伝送パケットに含まれている符号化メディア情報の種別（制御情報の種別）を把握することができるため、現在、パケット格納バッファ１２に格納されている伝送パケットの格納量（符号化映像信号を含む伝送パケットの格納量、符号化音声信号を含む伝送パケットの格納量、符号化データ信号を含む伝送パケットの格納量、制御情報を含む伝送パケットの格納量）を示す“パケット生成状態通知”をメディア多重制御部７に出力する。 When receiving the “packet capture notification” from the packet capture unit 11, the packet multiplexing control unit 15 receives the number of transmission packets actually captured by the packet capture unit 11 and the encoding included in the transmission packet. Know the type of media information (type of control information).
The packet multiplexing control unit 15 is self-regarding the number of transmission packets taken out from the packet storage buffer 12 by the packet output unit 14 and the type of encoded media information (type of control information) included in the transmission packet. (The packet multiplexing control unit 15 controls the packet output unit 14), and the number of transmission packets input / output to / from the packet storage buffer 12, and the encoded media information included in the transmission packet Therefore, the transmission packet storage amount currently stored in the packet storage buffer 12 (the transmission packet storage amount including the encoded video signal, the encoded audio signal) can be determined. Including the amount of transmission packet storage, the amount of transmission packet storage including encoded data signals, and the amount of transmission packet including control information Outputs "packet generation state notification" indicating the paid amount) to the media multiplexing control unit 7.

ここでは、パケット多重制御部１５が、現在、パケット格納バッファ１２に格納されている伝送パケットの格納量を示す“パケット生成状態通知”をメディア多重制御部７に出力するものについて示したが、パケット多重制御部１５がパケット格納バッファ１２に入出力される伝送パケットの個数、頻度、時間的変化（時間当りの格納量の変化量）などの統計情報を算出し、その統計情報を示す“パケット生成状態通知”をメディア多重制御部７に出力するようにしてもよい。
このように、統計情報を示す“パケット生成状態通知”をメディア多重制御部７に出力すれば、ある特定の符号化メディア情報の格納量が規定量を超えていても、減少が著しいような場合には、優先的に当該符号化メディア情報のパケット化をパケット生成部５に指示することができるようになる。 Here, the packet multiplexing control unit 15 has been shown to output the “packet generation state notification” indicating the storage amount of the transmission packet currently stored in the packet storage buffer 12 to the media multiplexing control unit 7. The multiplex control unit 15 calculates statistical information such as the number of transmission packets input to and output from the packet storage buffer 12, the frequency, and temporal changes (changes in storage amount per time), and indicates the statistical information “packet generation” The “status notification” may be output to the media multiplexing control unit 7.
As described above, if the “packet generation status notification” indicating the statistical information is output to the media multiplexing control unit 7, even if the storage amount of certain specific encoded media information exceeds the specified amount, the decrease is significant. The packet generation unit 5 can be preferentially instructed to packetize the encoded media information.

パケット多重制御部１５は、メディア多重制御部７から“ストリーム生成指示”を受けると、パケット格納バッファ１２から取り出す伝送パケットを指定する“パケット取出指示”をパケット出力部１４に出力する。
即ち、パケット多重制御部１５は、“ストリーム生成指示”に含まれている優先する度合いを示す係数を参照して、各種の伝送パケットの優先度を把握し、パケット格納バッファ１２に格納されている符号化映像信号を含む伝送パケット、符号化音声信号を含む伝送パケット、符号化データ信号を含む伝送パケット、制御情報を含む伝送パケットの中から、優先度が高い伝送パケットから順番に取り出す指令として、パケット格納バッファ１２から取り出す伝送パケットを指定する“パケット取出指示”をパケット出力部１４に出力する。
なお、“パケット取出指示”には、取り出す伝送パケットが格納されているパケット格納バッファ１２上のアドレス、あるいは、面管理上の面番号などの位置情報のほか、その伝送パケットの出力先（パケット伝送部８、ディスク書込部９）を示す指定情報などが含まれている。 When receiving a “stream generation instruction” from the media multiplexing control unit 7, the packet multiplexing control unit 15 outputs a “packet extraction instruction” that specifies a transmission packet to be extracted from the packet storage buffer 12 to the packet output unit 14.
That is, the packet multiplexing control unit 15 refers to the coefficient indicating the priority level included in the “stream generation instruction”, grasps the priority levels of various transmission packets, and stores them in the packet storage buffer 12. As a command to sequentially extract a transmission packet including a coded video signal, a transmission packet including a coded audio signal, a transmission packet including a coded data signal, and a transmission packet including control information from a transmission packet having a high priority. A “packet extraction instruction” that specifies a transmission packet to be extracted from the packet storage buffer 12 is output to the packet output unit 14.
In the “packet extraction instruction”, in addition to the address on the packet storage buffer 12 where the transmission packet to be extracted is stored or the position information such as the surface number in the surface management, the output destination of the transmission packet (packet transmission Part 8 and disc writing part 9) are included.

パケット出力部１４は、パケット多重制御部１５から“パケット取出指示”を受けると、“パケット取出指示”が指定する伝送パケットをパケット格納バッファ１２から選択的に取り出して多重化ストリームを生成する。
ただし、画像送信装置から送信される多重化ストリームの伝送レートを一定に保つ必要がある場合、パケット出力部１４は、パケット多重制御部１５から一定の周期で伝送パケットの取出指示を受けることになるが、パケット格納バッファ１２に取り出す伝送パケットが格納されていなければ、その伝送パケットの代わりに、固定パケット生成部１３により生成された固定パケットを用いて多重化ストリームを生成する。
多くの多重化規格では、空き帯域を埋めるために、無効パケットを代わりに送出することを規定しており、固定パケット生成部１３では、それらの規格で規定された形式の固定パケットを生成している。 When receiving the “packet extraction instruction” from the packet multiplexing control unit 15, the packet output unit 14 selectively extracts the transmission packet designated by the “packet extraction instruction” from the packet storage buffer 12 and generates a multiplexed stream.
However, when it is necessary to keep the transmission rate of the multiplexed stream transmitted from the image transmission device constant, the packet output unit 14 receives an instruction to take out the transmission packet from the packet multiplexing control unit 15 at a constant period. However, if the transmission packet to be taken out is not stored in the packet storage buffer 12, a multiplexed stream is generated using the fixed packet generated by the fixed packet generation unit 13 instead of the transmission packet.
Many multiplexing standards stipulate that invalid packets are sent instead to fill the available bandwidth, and the fixed packet generator 13 generates fixed packets of the format specified by those standards. Yes.

パケット出力部１４は、パケット格納バッファ１２から伝送パケットを順次取り出して多重化ストリームを生成すると、“パケット取出指示”に含まれている出力先（パケット伝送部８、ディスク書込部９）を示す指定情報を参照して、その多重化ストリームをパケット伝送部８又はディスク書込部９に出力する。
このとき、多重化ストリームの出力先を１箇所に限定せず、複数の出力先から選択できるようにしてもよいし、生成した多重化ストリームを複製して、同一内容の多重化ストリームをパケット伝送部８とディスク書込部９の双方に同時に出力するようにしてもよい。
このように、同一内容の多重化ストリームをパケット伝送部８とディスク書込部９に同時出力してもよいが、異なる内容の多重化ストリームをパケット伝送部８とディスク書込部９に同時に出力するようにしてもよい。 When the packet output unit 14 sequentially extracts transmission packets from the packet storage buffer 12 and generates a multiplexed stream, the packet output unit 14 indicates the output destination (packet transmission unit 8 and disk writing unit 9) included in the “packet extraction instruction”. With reference to the designation information, the multiplexed stream is output to the packet transmission unit 8 or the disk writing unit 9.
At this time, the output destination of the multiplexed stream is not limited to one place, but may be selected from a plurality of output destinations, or the generated multiplexed stream is duplicated and the multiplexed stream having the same contents is transmitted as a packet. The data may be output simultaneously to both the unit 8 and the disk writing unit 9.
As described above, multiplexed streams having the same contents may be simultaneously output to the packet transmission unit 8 and the disk writing unit 9, but multiplexed streams having different contents are simultaneously output to the packet transmission unit 8 and the disk writing unit 9. You may make it do.

以上で明らかなように、この実施の形態１によれば、各種の符号化メディア情報をパケット化して、その符号化メディア情報を含む伝送パケットを出力するパケット生成部５と、そのパケット生成部５から出力された伝送パケットをパケット格納バッファ１２に格納した後、そのパケット格納バッファ１２から伝送パケットを選択的に取り出して多重化ストリームを生成するパケット多重化部６とを設け、メディア多重制御部７がパケット生成部５によりパケット化される符号化メディア情報の順序を制御するとともに、パケット多重化部６によりパケット格納バッファ１２から取り出される伝送パケットの順序を制御するように構成したので、各種のメディア情報毎に、バッファやパケット化回路を実装することなく、各種の符号化メディア情報を多重化ストリームに多重化して送信することができるようになり、その結果、低コストな画像送信装置を実現することができる効果を奏する。 As is apparent from the above, according to the first embodiment, a packet generator 5 that packetizes various types of encoded media information and outputs a transmission packet including the encoded media information, and the packet generator 5 A packet multiplexing unit 6 that stores the transmission packet output from the packet storage buffer 12 and then selectively extracts the transmission packet from the packet storage buffer 12 to generate a multiplexed stream. The media multiplexing control unit 7 Is configured to control the order of encoded media information packetized by the packet generator 5 and the order of transmission packets taken out from the packet storage buffer 12 by the packet multiplexer 6. For each piece of information, various coding media can be used without mounting a buffer or packetizing circuit. It becomes information to be able to transmit the multiplexed into the multiplexed stream, as a result, an effect that it is possible to realize a low-cost image transmission apparatus.

また、この実施の形態１によれば、伝送パケットに含まれている符号化メディア情報あるいは制御情報の種類と関係なく、その伝送パケットを共通のパケット格納バッファ１２に格納して集中管理しているので、各種の符号化メディア情報の個数や、多重化ストリームの個数を限定せずに制御できるようになる。そのため、メモリの使用効率を高めるだけでなく、入力するメディア情報の種別数、出力する多重化ストリームの種別数に対する設計上の柔軟性を高めることができる効果を奏する。 Further, according to the first embodiment, regardless of the type of encoded media information or control information included in the transmission packet, the transmission packet is stored in the common packet storage buffer 12 for centralized management. Therefore, it becomes possible to control without limiting the number of various types of encoded media information and the number of multiplexed streams. Therefore, not only the use efficiency of the memory is increased, but also the design flexibility with respect to the number of types of media information to be input and the number of types of multiplexed streams to be output can be increased.

実施の形態２．
図３はこの発明の実施の形態２による画像送信装置のパケット格納バッファ１２における伝送パケットの格納例を示す説明図である。
図３（ａ）は、パケット多重化部６内のパケット格納バッファ１２を領域分割して管理する場合において、ある時点での伝送パケットの格納例を示している。
図中、左側の数値は、当該領域（説明の便宜上、その単位を「スロット」と表記する）を特定するスロット番号である。
図３（ｂ）は、映像符号化部１ａから出力された映像信号の符号化映像信号（図３では、説明の便宜上、「映像＃１パケット」と表記している）を一つ多重出力した後、映像＃１パケットを格納するとともに、データ符号化部３ｂから出力されたデータ信号の符号化データ信号（図３では、説明の便宜上、「データ＃１パケット」と表記している）を一つ多重出力した時点での伝送パケットの格納例を示している。 Embodiment 2. FIG.
FIG. 3 is an explanatory view showing an example of transmission packet storage in the packet storage buffer 12 of the image transmission apparatus according to the second embodiment of the present invention.
FIG. 3A shows an example of storage of transmission packets at a certain point in the case where the packet storage buffer 12 in the packet multiplexing unit 6 is divided and managed.
In the figure, the numerical value on the left is a slot number that identifies the area (for convenience of description, the unit is expressed as “slot”).
In FIG. 3B, one encoded video signal of the video signal output from the video encoding unit 1a (in FIG. 3, for convenience of description, expressed as “video # 1 packet”) is output in multiple. Thereafter, the video # 1 packet is stored, and the encoded data signal of the data signal output from the data encoding unit 3b (in FIG. 3, for convenience of description, expressed as “data # 1 packet”) is stored. An example of storing a transmission packet at the time of multiple output is shown.

図４はパケット格納バッファ１２を管理するメディア別パケット管理テーブルを示す説明図である。
図４（ａ）は、パケット格納バッファ１２の格納状態が図３（ａ）であるときのメディア情報別の伝送パケットの管理状況を示している。
図４（ｂ）は、パケット格納バッファ１２の格納状態が図３（ｂ）であるときのメディア情報別の伝送パケットの管理状況を示している。 FIG. 4 is an explanatory diagram showing a media-specific packet management table for managing the packet storage buffer 12.
FIG. 4A shows the management status of transmission packets by media information when the storage state of the packet storage buffer 12 is FIG. 3A.
FIG. 4B shows the management status of transmission packets by media information when the storage state of the packet storage buffer 12 is FIG. 3B.

メディア別パケット管理テーブルでは、パケット格納バッファ１２を領域分割して管理する場合において、各種の符号化メディア情報、あるいは、制御情報を含む伝送パケットが、パケット格納バッファ１２内のどの位置に格納されているかを示す情報を保持している。
また、メディア別パケット管理テーブルでは、パケット多重化部６で取り扱う符号化メディア情報や制御情報を区別するために番号（図４では、「メディア番号」と表記している）を適用し、メディア番号に対して、メディア情報や制御情報を意味する番号（図４では、「メディア種別」と表記している。メディア種別は制御種別も含んでいる）を割り当てて登録している。
また、メディア別パケット管理テーブルでは、各種のメディア毎に、パケット格納バッファ１２に対して、最初（最も時間的に古い）に伝送パケットが格納された位置（図４では、「先頭書込位置」と表記している）と、最後（最も時間的に新しい）に伝送パケットが格納された位置（図４では、「最終書込位置」と表記している）を保持している。 In the packet management table for each medium, when the packet storage buffer 12 is divided and managed, transmission packets including various types of encoded media information or control information are stored in which position in the packet storage buffer 12. Is stored.
In the packet management table for each medium, a number (denoted as “media number” in FIG. 4) is applied to distinguish the encoded media information and control information handled by the packet multiplexing unit 6, and the media number On the other hand, a number indicating media information and control information (indicated in FIG. 4 as “media type”. The media type includes the control type) is assigned and registered.
In the packet management table for each medium, the position where the transmission packet is stored first (the oldest in terms of time) in the packet storage buffer 12 for each of various media (in FIG. 4, “first writing position”). And the position (denoted as “last writing position” in FIG. 4) where the transmission packet is stored at the end (the newest in time).

図５はパケット格納バッファ１２を管理するスロット別パケット管理テーブルを示す説明図である。
図５（ａ）は、パケット格納バッファ１２の格納状態が図３（ａ）であるときの格納位置別のパケット管理状況を示している。
図５（ｂ）は、パケット格納バッファ１２の格納状態が図３（ｂ）であるときの格納位置別のパケット管理状況を示している。 FIG. 5 is an explanatory diagram showing a packet management table for each slot for managing the packet storage buffer 12.
FIG. 5A shows the packet management status for each storage position when the storage state of the packet storage buffer 12 is FIG. 3A.
FIG. 5B shows the packet management status by storage position when the storage state of the packet storage buffer 12 is FIG. 3B.

スロット別管理テーブルでは、パケット格納バッファ１２を領域分割して管理する場合において、当該領域に伝送パケットが格納されていなければ、未使用を示す情報（図５では「空き」と表記している）を格納している。
何らかの伝送パケットが格納されていれば、使用中を示す情報を格納し、既存の伝送パケットと関連付けるため、当該伝送パケットの次に繋がる伝送パケットがあれば、その次の伝送パケットの格納位置を示す情報を保持し、次に繋がる伝送パケットがなければ、最終を示す情報（図５では、「最終」と表記している）を保持している。
なお、メディア別パケット管理テーブルとスロット別パケット管理テーブルは、パケット多重制御部１５が内部に保持しており、各種の制御を行う際に参照される。 In the management table for each slot, when the packet storage buffer 12 is divided into areas and managed, if a transmission packet is not stored in the area, information indicating unused (indicated as “free” in FIG. 5). Is stored.
If any transmission packet is stored, information indicating that the packet is in use is stored and associated with an existing transmission packet. If there is a transmission packet connected next to the transmission packet, the storage position of the next transmission packet is indicated. If information is held and there is no transmission packet to be connected next, information indicating the end (indicated as “final” in FIG. 5) is held.
Note that the packet management table for each medium and the packet management table for each slot are held inside the packet multiplexing control unit 15 and are referred to when performing various controls.

次に動作について説明する。
ここでは、パケット格納バッファ１２に格納されている伝送パケットが図３（ａ）の状態にあるときに、パケット多重化部６のパケット取込部１１が、映像符号化部１ａから出力された映像信号の符号化映像信号である映像＃１パケットをパケット格納バッファ１２に格納する際の動作を説明する。 Next, the operation will be described.
Here, when the transmission packet stored in the packet storage buffer 12 is in the state of FIG. 3A, the packet capture unit 11 of the packet multiplexing unit 6 outputs the video output from the video encoding unit 1a. The operation when the video # 1 packet, which is the encoded video signal of the signal, is stored in the packet storage buffer 12 will be described.

パケット多重制御部１５は、図５（ａ）のスロット別パケット管理テーブルを参照して、パケット格納バッファ１２内の空き領域を検索する。
パケット多重制御部１５は、パケット格納バッファ１２内の空き領域として、スロット番号＃２を検知すると、パケット格納バッファ１２内の空き領域がスロット番号＃２である旨を示す“パケット取込指示”をパケット取込部１１に出力する。 The packet multiplexing control unit 15 searches for an empty area in the packet storage buffer 12 with reference to the packet management table for each slot in FIG.
When the packet multiplexing control unit 15 detects the slot number # 2 as an empty area in the packet storage buffer 12, the packet multiplexing control unit 15 issues a “packet fetch instruction” indicating that the empty area in the packet storage buffer 12 is the slot number # 2. Output to the packet capture unit 11.

パケット取込部１１は、パケット多重制御部１５から“パケット取込指示”を受けると、図３（ｂ）に示すように、パケット生成部５から出力された伝送パケットである映像＃１パケットをパケット格納バッファ１２における“パケット取込指示”が示すスロット番号＃２の位置に格納する。
パケット取込部１１は、映像＃１パケットをパケット格納バッファ１２に格納すると、その映像＃１パケットのメディア種別を示す“パケット取込通知”をパケット多重制御部１５に出力する。 When the packet capture unit 11 receives the “packet capture instruction” from the packet multiplexing control unit 15, as shown in FIG. 3B, the packet capture unit 11 transmits the video # 1 packet that is the transmission packet output from the packet generation unit 5. The packet is stored in the position of slot number # 2 indicated by the “packet fetch instruction” in the packet storage buffer 12.
When the video capture unit 11 stores the video # 1 packet in the packet storage buffer 12, the packet capture unit 11 outputs a “packet capture notification” indicating the media type of the video # 1 packet to the packet multiplexing control unit 15.

パケット多重制御部１５は、パケット取込部１１から“パケット取込通知”を受けると、新たにパケット格納バッファ１２に格納された映像＃１パケットのメディア種別が、映像＃１であることを把握し、図４（ａ）のメディア別パケット管理テーブルを参照して、メディア種別「映像＃１」の登録情報を取得する。
図４（ａ）には、メディア種別「映像＃１」の登録情報として、最終書込位置「スロット番号＃４」が登録されている。 When receiving the “packet capture notification” from the packet capture unit 11, the packet multiplexing control unit 15 recognizes that the media type of the video # 1 packet newly stored in the packet storage buffer 12 is video # 1. Then, the registration information of the media type “video # 1” is acquired with reference to the packet management table for each media in FIG.
In FIG. 4A, the final writing position “slot number # 4” is registered as registration information of the media type “video # 1”.

パケット多重制御部１５は、最終書込位置「スロット番号＃４」を取得すると、スロット別パケット管理テーブルにおいて、新たな最終書込位置を登録するため、図５（ａ）（ｂ）に示すように、スロット番号＃４に対する登録内容を「最終」から「スロット番号＃２」に変更し、スロット番号＃２に対する登録内容を「空き」から「最終」に更新する。
また、パケット多重制御部１５は、図４（ａ）（ｂ）に示すように、メディア別パケット管理テーブルにおいて、映像＃１パケットに対する最終書込位置を「スロット番号＃４」から「スロット番号＃２」に更新する。 When acquiring the final write position “slot number # 4”, the packet multiplexing control unit 15 registers a new final write position in the packet management table for each slot, as shown in FIGS. In addition, the registration content for slot number # 4 is changed from “final” to “slot number # 2”, and the registration content for slot number # 2 is updated from “empty” to “final”.
Also, as shown in FIGS. 4A and 4B, the packet multiplexing control unit 15 changes the last write position for the video # 1 packet from “slot number # 4” to “slot number #” in the packet management table for each medium. Update to 2 ”.

次に、パケット多重化部６のパケット出力部１４が、パケット格納バッファ１２から映像＃１パケットを取り出して多重化する場合の動作を説明する。
パケット多重制御部１５は、図４（ａ）のメディア別パケット管理テーブルを参照して、メディア情報種別「映像＃１」に対する最も古い伝送パケットの格納位置である先頭書込位置「スロット番号＃１」を取得し、パケット格納バッファ１２から取り出す伝送パケットがスロット番号＃１の位置にある映像＃１パケットである旨を指定する“パケット取出指示”をパケット出力部１４に出力する。 Next, the operation when the packet output unit 14 of the packet multiplexing unit 6 takes out the video # 1 packet from the packet storage buffer 12 and multiplexes it will be described.
The packet multiplexing control unit 15 refers to the packet management table for each medium in FIG. 4A, and writes the first write position “slot number # 1” that is the storage position of the oldest transmission packet for the media information type “video # 1”. ”Is output to the packet output unit 14 to specify that the transmission packet taken out from the packet storage buffer 12 is the video # 1 packet at the position of slot number # 1.

パケット出力部１４は、パケット多重制御部１５から“パケット取出指示”を受けると、パケット格納バッファ１２における“パケット取出指示”が示すスロット番号＃１の位置にある映像＃１パケットを取り出し、その映像＃１パケットを多重化ストリームに多重化する。
パケット多重制御部１５は、メディア別パケット管理テーブルにおいて、図４（ａ）（ｂ）に示すように、映像＃１パケットに対する新たな先頭書込位置を「スロット番号＃１」から「スロット番号＃７」に更新する。
また、スロット別パケット管理テーブルにおいて、図５（ａ）（ｂ）に示すように、スロット番号＃１に対する登録内容を「＃７」から「空き」に更新する。 When the packet output unit 14 receives the “packet extraction instruction” from the packet multiplexing control unit 15, the packet output unit 14 extracts the video # 1 packet at the position of the slot number # 1 indicated by the “packet extraction instruction” in the packet storage buffer 12, and the video # 1 packet is multiplexed into a multiplexed stream.
As shown in FIGS. 4A and 4B, the packet multiplexing control unit 15 changes the new head write position for the video # 1 packet from “slot number # 1” to “slot number # 1” in the media-specific packet management table. 7 ”.
Further, in the packet management table for each slot, as shown in FIGS. 5A and 5B, the registered content for the slot number # 1 is updated from “# 7” to “empty”.

以上で明らかなように、この実施の形態２によれば、パケット多重制御部１５がパケット格納バッファ１２に格納されている伝送パケットの格納順序及び格納位置を示す伝送パケット管理テーブル（図４及び図５のテーブル）を有し、その伝送パケット管理テーブルを参照して、パケット格納バッファ１２に対する伝送パケットの格納と取り出しを制御するように構成したので、メディア情報の種別や個数が変化しても、何ら影響を受けることなく、パケット格納バッファ１２に対する伝送パケットの格納と取り出しを制御することができるようになり、その結果、メディア情報の種別や個数に対する設計上の柔軟性を確保することができる効果を奏する。 As is apparent from the above, according to the second embodiment, the packet multiplexing control unit 15 transmits a transmission packet management table indicating the storage order and storage position of the transmission packets stored in the packet storage buffer 12 (FIG. 4 and FIG. 5) and with reference to the transmission packet management table, it is configured to control the storage and retrieval of the transmission packet with respect to the packet storage buffer 12. Therefore, even if the type or number of media information changes, It is possible to control the storage and retrieval of transmission packets to and from the packet storage buffer 12 without being affected by any effect. As a result, it is possible to ensure design flexibility with respect to the type and number of media information. Play.

実施の形態３．
図６はこの発明の実施の形態３による画像送信装置のパケット生成部５を示す構成図である。
図６において、パケット生成制御部２１はメディア多重制御部７から“パケット生成指示”を受けると、優先的にパケット化する必要がある符号化メディア情報あるいは制御情報を把握し、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから出力される符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）の中から、取込対象の符号化メディア情報を指定する“メディア選択指示”をメディア選択部２２に出力する処理を実施する。
また、パケット生成制御部２１は制御情報の構成内容を指示する“制御情報指示”を制御情報生成部２３に出力するとともに、ヘッダ情報の構成内容を指示する“ヘッダ情報指示”をヘッダ情報生成部２４に出力し、また、伝送パケットを組み立てる構成内容を指定する“パケット組立指示”をパケット組立部２５に出力する処理を実施する。
なお、“パケット組立指示”には、伝送パケットを構成する情報として、例えば、ヘッダ情報と、符号化メディア情報あるいは制御情報とを、どのように組み合わせるかを示す領域位置、領域サイズ、付属情報有無などを示す情報を含んでいる。 Embodiment 3 FIG.
FIG. 6 is a block diagram showing the packet generation unit 5 of the image transmission apparatus according to Embodiment 3 of the present invention.
In FIG. 6, when receiving a “packet generation instruction” from the media multiplexing control unit 7, the packet generation control unit 21 recognizes encoded media information or control information that needs to be preferentially packetized, and the video encoding unit 1a. , 1b, the encoded media information (encoded video signal, encoded audio signal, encoded data signal) output from the audio encoding units 2a, 2b and the data encoding units 3a, 3b, A process of outputting a “media selection instruction” designating encoded media information to the media selection unit 22 is performed.
Further, the packet generation control unit 21 outputs a “control information instruction” for instructing the configuration content of the control information to the control information generation unit 23 and also outputs a “header information instruction” for instructing the configuration content of the header information. In addition, a process of outputting a “packet assembly instruction” for designating a configuration content for assembling a transmission packet to the packet assembly unit 25 is performed.
In the “packet assembly instruction”, as information constituting a transmission packet, for example, an area position, an area size, and presence / absence of attached information indicating how header information and encoded media information or control information are combined. It contains information that indicates.

メディア選択部２２はパケット生成制御部２１から“メディア選択指示”を受けると、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから出力される符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）の中から、そのメディア選択指示が指定する符号化メディア情報を選択してパケット組立部２５に出力する処理を実施する。
制御情報生成部２３はパケット生成制御部２１から“制御情報指示”を受けると、各種の多重化規格に則して多重化ストリームに多重化される各種のメディア情報の関連付け情報や付属情報を与える制御情報を生成する処理を実施する。 When media selection unit 22 receives a “media selection instruction” from packet generation control unit 21, encoded media output from video encoding units 1a and 1b, audio encoding units 2a and 2b, and data encoding units 3a and 3b From the information (encoded video signal, encoded audio signal, encoded data signal), the encoded media information designated by the media selection instruction is selected and output to the packet assembling unit 25.
Upon receiving a “control information instruction” from the packet generation control unit 21, the control information generation unit 23 gives association information and attached information of various media information multiplexed in the multiplexed stream in accordance with various multiplexing standards. Implements processing to generate control information.

ヘッダ情報生成部２４はパケット生成制御部２１から“ヘッダ情報指示”を受けると、各種の多重化規格に則して伝送パケットの属性を示すヘッダ情報を生成する処理を実施する。
パケット組立部２５はパケット生成制御部２１から“パケット組立指示”を受けると、そのパケット組立指示にしたがって、ヘッダ情報生成部２４により生成されたヘッダ情報と、メディア選択部２２により選択された符号化メディア情報、あるいは、制御情報生成部２３により生成された制御情報とを組み合わせて伝送パケットを生成する処理を実施する。 When receiving a “header information instruction” from the packet generation control unit 21, the header information generation unit 24 performs a process of generating header information indicating the attributes of the transmission packet in accordance with various multiplexing standards.
When the packet assembly unit 25 receives the “packet assembly instruction” from the packet generation control unit 21, the header information generated by the header information generation unit 24 and the encoding selected by the media selection unit 22 in accordance with the packet assembly instruction. A process of generating a transmission packet by combining the media information or the control information generated by the control information generation unit 23 is performed.

次に動作について説明する。
パケット生成部５のパケット生成制御部２１は、メディア多重制御部７から“パケット生成指示”を受けると、優先的にパケット化する必要がある符号化メディア情報あるいは制御情報を把握する。
パケット生成制御部２１は、符号化メディア情報に対する伝送パケットを生成する場合、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから出力される符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）の中から、優先度が高い符号化メディア情報を取込対象の符号化メディア情報に設定し、その符号化メディア情報を指定する“メディア選択指示”をメディア選択部２２に出力する。 Next, the operation will be described.
When receiving a “packet generation instruction” from the media multiplexing control unit 7, the packet generation control unit 21 of the packet generation unit 5 grasps encoded media information or control information that needs to be preferentially packetized.
The packet generation control unit 21 generates encoded media information output from the video encoding units 1a and 1b, the audio encoding units 2a and 2b, and the data encoding units 3a and 3b when generating a transmission packet for the encoded media information. From (encoded video signal, encoded audio signal, encoded data signal), set encoded media information having a high priority as encoded media information to be imported, and specify the encoded media information. The “media selection instruction” is output to the media selection unit 22.

メディア選択部２２は、パケット生成制御部２１から“メディア選択指示”を受けると、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから出力される符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）の中から、そのメディア選択指示が指定する符号化メディア情報を選択してパケット組立部２５に出力する。
その際、図示していないが、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂとメディア選択部２２間では、符号化メディア情報を伝達するための制御がなされている。 Upon receiving a “media selection instruction” from the packet generation control unit 21, the media selection unit 22 performs encoding output from the video encoding units 1a and 1b, the audio encoding units 2a and 2b, and the data encoding units 3a and 3b. From the media information (encoded video signal, encoded audio signal, encoded data signal), the encoded media information designated by the media selection instruction is selected and output to the packet assembling unit 25.
At this time, although not shown in the figure, control for transmitting encoded media information between the video encoding units 1a and 1b, the audio encoding units 2a and 2b, the data encoding units 3a and 3b, and the media selection unit 22 is performed. Has been made.

パケット生成制御部２１は、優先的に制御情報をパケット化する場合、“メディア選択指示”をメディア選択部２２に出力せずに、制御情報の構成内容を指示する“制御情報指示”を制御情報生成部２３に出力する。
制御情報生成部２３は、パケット生成制御部２１から“制御情報指示”を受けると、“制御情報指示”が示す構成内容の制御情報を生成する。即ち、各種の多重化規格に則して多重化ストリームに多重化される各種のメディア情報の関連付け情報や付属情報を与える制御情報を生成する。 When packetizing the control information preferentially, the packet generation control unit 21 does not output a “media selection instruction” to the media selection unit 22 but outputs a “control information instruction” indicating the configuration content of the control information. The data is output to the generation unit 23.
When receiving the “control information instruction” from the packet generation control unit 21, the control information generation unit 23 generates control information having the configuration content indicated by the “control information instruction”. That is, control information that provides association information and attached information of various types of media information multiplexed in a multiplexed stream in accordance with various types of multiplexing standards is generated.

また、パケット生成制御部２１は、ヘッダ情報の構成内容を指示する“ヘッダ情報指示”をヘッダ情報生成部２４に出力する。
ヘッダ情報生成部２４は、パケット生成制御部２１から“ヘッダ情報指示”を受けると、各種の多重化規格に則して伝送パケットの属性を示すヘッダ情報を生成する。
ここで、ヘッダ情報は、どの符号化メディア情報を含む伝送パケットであるのかを示すものである。 Further, the packet generation control unit 21 outputs a “header information instruction” indicating the configuration content of the header information to the header information generation unit 24.
When receiving the “header information instruction” from the packet generation control unit 21, the header information generation unit 24 generates header information indicating the attributes of the transmission packet in accordance with various multiplexing standards.
Here, the header information indicates which encoded media information includes the transmission packet.

パケット生成制御部２１は、伝送パケットを組み立てる構成内容を指定する“パケット組立指示”をパケット組立部２５に出力する。
パケット組立部２５は、パケット生成制御部２１から“パケット組立指示”を受けると、そのパケット組立指示が、ヘッダ情報生成部２４により生成されたヘッダ情報と、メディア選択部２２により選択された符号化メディア情報とを組み合わせる旨を示していれば、ヘッダ情報生成部２４により生成されたヘッダ情報と、メディア選択部２２により選択された符号化メディア情報とを組み合わせて伝送パケットを生成する。
一方、そのパケット組立指示が、ヘッダ情報生成部２４により生成されたヘッダ情報と、制御情報生成部２３により生成された制御情報とを組み合わせる旨を示していれば、ヘッダ情報生成部２４により生成されたヘッダ情報と、制御情報生成部２３により生成された制御情報とを組み合わせて伝送パケットを生成する。 The packet generation control unit 21 outputs a “packet assembly instruction” that specifies the configuration content for assembling the transmission packet to the packet assembly unit 25.
When the packet assembly unit 25 receives the “packet assembly instruction” from the packet generation control unit 21, the packet assembly instruction includes the header information generated by the header information generation unit 24 and the encoding selected by the media selection unit 22. If the media information is to be combined, the transmission packet is generated by combining the header information generated by the header information generation unit 24 and the encoded media information selected by the media selection unit 22.
On the other hand, if the packet assembly instruction indicates that the header information generated by the header information generation unit 24 is combined with the control information generated by the control information generation unit 23, the header information generation unit 24 generates the header information. The transmission packet is generated by combining the header information and the control information generated by the control information generator 23.

このとき、パケット組立部２５は、図７に示すように、伝送パケットの種別を識別するパケット情報識別子を伝送パケットに付与し、パケット情報識別子付の伝送パケットをパケット多重化部６に出力する。
このパケット情報識別子は、“パケット生成指示”に基づいて正確に符号化メディア情報が選択されず、各種の符号化メディア情報の発生状況に応じて、適応的に符号化メディア情報が選択されても、メディア多重処理部４でのパケット生成や、多重化ストリーム生成にかかる一連の動作を破綻させずに、動的に追従させるために適用される。
つまり、パケット多重化部６では、このパケット情報識別子を参照することによって、実際に生成された伝送パケットが、どのような種別であるかを把握して、多重化ストリームの生成に反映することができる。 At this time, as shown in FIG. 7, the packet assembling unit 25 adds a packet information identifier for identifying the type of transmission packet to the transmission packet, and outputs the transmission packet with the packet information identifier to the packet multiplexing unit 6.
As for this packet information identifier, the encoded media information is not accurately selected based on the “packet generation instruction”, and the encoded media information is adaptively selected according to the occurrence of various types of encoded media information. This is applied to dynamically follow a series of operations related to packet generation and multiplexed stream generation in the media multiplex processing unit 4 without failing.
In other words, the packet multiplexing unit 6 refers to this packet information identifier to grasp what type the actually generated transmission packet is and reflect it in the generation of the multiplexed stream. it can.

図８はパケット生成部５による伝送パケットの生成タイミングを示す説明図である。
図８は、上記のように、パケット生成制御部２１から出力される“メディア選択指示”によって、メディア選択部２２により取り込まれる符号化メディア情報を時分割に制御することで、パケット組立部２５による伝送パケットの生成処理をシリアル化させている様子を示している。
これにより、各種の符号化メディア情報のパケット生成がスケジューリングされて、当該メディアを多重出力するのに必要なタイミングと頻度が確保されることになる。
なお、“メディア選択指示”は、パケット生成対象を一つだけ指定するようにしてもよいし、また、パケット生成対象の符号化メディア情報が存在しない場合は、次に優先度が高い符号化メディア情報に切り替えて、パケット生成ができるように、優先度に応じて複数のメディア種別を列挙した指定で制御してもよい。 FIG. 8 is an explanatory diagram showing transmission packet generation timing by the packet generation unit 5.
In FIG. 8, as described above, according to the “media selection instruction” output from the packet generation control unit 21, the encoded media information captured by the media selection unit 22 is controlled in a time-sharing manner, so that the packet assembly unit 25 A state in which transmission packet generation processing is serialized is shown.
As a result, packet generation of various types of encoded media information is scheduled, and the timing and frequency necessary to multiplex-output the media are ensured.
Note that the “media selection instruction” may designate only one packet generation target, and if there is no encoded media information for the packet generation target, the next highest priority encoded media Control may be performed by specifying a plurality of media types according to priority so that packets can be generated by switching to information.

以上で明らかなように、この実施の形態３によれば、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂからメディア選択部２２により取り込まれる符号化メディア情報を時分割に制御することで、パケット組立部２５による伝送パケットの生成処理をシリアル化させるように構成したので、パケット生成部５内の動作速度を、各種の符号化メディア情報の取り込み速度と比較して高くして、パケット生成処理の発生頻度を高めれば、メディア情報あるいは制御情報を選択的にパケット化することでパケットの生成効率が低下する状況の発生を抑制することができる効果を奏する。 As is apparent from the above, according to the third embodiment, the encoded media fetched by the media selecting unit 22 from the video encoding units 1a and 1b, the audio encoding units 2a and 2b, and the data encoding units 3a and 3b. Since the transmission packet generation processing by the packet assembling unit 25 is serialized by controlling the information in a time-sharing manner, the operation speed in the packet generation unit 5 is set to the speed at which various types of encoded media information are captured. When the frequency of packet generation processing is increased by increasing the frequency of packet generation processing, the media information or control information can be selectively packetized to suppress the occurrence of a situation in which packet generation efficiency decreases. .

この発明の実施の形態１による画像送信装置を示す構成図である。It is a block diagram which shows the image transmission apparatus by Embodiment 1 of this invention. この発明の実施の形態１による画像送信装置のパケット多重化部６を示す構成図である。It is a block diagram which shows the packet multiplexing part 6 of the image transmitter by Embodiment 1 of this invention. この発明の実施の形態２による画像送信装置のパケット格納バッファ１２における伝送パケットの格納例を示す説明図である。It is explanatory drawing which shows the example of storage of the transmission packet in the packet storage buffer 12 of the image transmission apparatus by Embodiment 2 of this invention. パケット格納バッファ１２を管理するメディア別パケット管理テーブルを示す説明図である。It is explanatory drawing which shows the packet management table classified by medium which manages the packet storage buffer. パケット格納バッファ１２を管理するスロット別パケット管理テーブルを示す説明図である。It is explanatory drawing which shows the packet management table classified by slot which manages the packet storage buffer. この発明の実施の形態３による画像送信装置のパケット生成部５を示す構成図である。It is a block diagram which shows the packet generation part 5 of the image transmission apparatus by Embodiment 3 of this invention. パケット生成部５のパケット組立部２５から出力される伝送パケットを示す説明図である。6 is an explanatory diagram showing a transmission packet output from a packet assembly unit 25 of the packet generation unit 5. FIG. パケット生成部５による伝送パケットの生成タイミングを示す説明図である。It is explanatory drawing which shows the production | generation timing of the transmission packet by the packet production | generation part 5. FIG.

Explanation of symbols

１ａ，１ｂ映像符号化部（メディア符号化手段）、２ａ，２ｂ音声符号化部（メディア符号化手段）、３ａ，３ｂデータ符号化部（メディア符号化手段）、４メディア多重処理部、５パケット生成部（パケット生成手段）、６パケット多重化部（パケット多重化手段）、７メディア多重制御部（制御手段）、８パケット伝送部、９ディスク書込部、１１パケット取込部、１２パケット格納バッファ、１３固定パケット生成部、１４パケット出力部、１５パケット多重制御部、２１パケット生成制御部、２２メディア選択部、２３制御情報生成部、２４ヘッダ情報生成部、２５パケット組立部。 1a, 1b Video encoding unit (media encoding unit), 2a, 2b Audio encoding unit (media encoding unit), 3a, 3b Data encoding unit (media encoding unit), 4 Media multiplexing processing unit, 5 packets Generation unit (packet generation unit), 6 packet multiplexing unit (packet multiplexing unit), 7 media multiplexing control unit (control unit), 8 packet transmission unit, 9 disk writing unit, 11 packet capture unit, 12 packet storage Buffer, 13 Fixed packet generation unit, 14 Packet output unit, 15 Packet multiplexing control unit, 21 Packet generation control unit, 22 Media selection unit, 23 Control information generation unit, 24 Header information generation unit, 25 Packet assembly unit

Claims

A plurality of media encoding means for encoding various media information, and the encoded media information which is the media information encoded by the media encoding means are packetized, and a transmission packet including the encoded media information is output. Packet generating means, packet multiplexing means for selectively extracting the transmission packet from the buffer and generating a multiplexed stream after storing the transmission packet output from the packet generating means in the buffer, and the packet generating means An image transmission apparatus comprising: control means for controlling the order of the encoded media information packetized by the control unit and for controlling the order of transmission packets taken out from the buffer by the packet multiplexing means.

The packet generation means packetizes the encoded media information, packetizes control information related to the encoded media information included in the transmission packet, and outputs a transmission packet including the control information. The image transmission apparatus according to claim 1.

The packet multiplexing unit stores the transmission packet in a common buffer regardless of the type of encoded media information included in the transmission packet output from the packet generation unit. Item 3. The image transmission device according to Item 2.

4. The image transmission apparatus according to claim 1, wherein the packet multiplexing unit generates a plurality of multiplexed streams and outputs the plurality of multiplexed streams to different output destinations.

The packet multiplexing means has a transmission packet management table indicating the storage order and storage position of the transmission packets stored in the buffer, and refers to the transmission packet management table to store and retrieve the transmission packets from the buffer. The image transmission apparatus according to claim 1, wherein the image transmission apparatus is controlled.

The control means controls the order of the encoded media information packetized by the packet generation means and the frequency of packetization according to the storage amount of the transmission packet in the buffer or the change amount of the storage amount per time. The image transmission device according to any one of claims 1 to 5.

The control means serializes the packetization processing of the encoded media information by the packet generation means by controlling the encoded media information fetched by the packet generation means from a plurality of media encoding means in a time division manner. The image transmission device according to claim 1, wherein the image transmission device is a device.

8. The packet generation unit, when outputting the transmission packet to the packet multiplexing unit, gives an identifier for identifying the type of the transmission packet to the transmission packet. The image transmission device according to claim 1.