JP4564782B2 - Data receiving apparatus and data receiving program - Google Patents
Data receiving apparatus and data receiving program Download PDFInfo
- Publication number
- JP4564782B2 JP4564782B2 JP2004152163A JP2004152163A JP4564782B2 JP 4564782 B2 JP4564782 B2 JP 4564782B2 JP 2004152163 A JP2004152163 A JP 2004152163A JP 2004152163 A JP2004152163 A JP 2004152163A JP 4564782 B2 JP4564782 B2 JP 4564782B2
- Authority
- JP
- Japan
- Prior art keywords
- packet
- header
- sequence number
- unit
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Color Television Systems (AREA)
Description
本発明は、符号化された映像データを、ネットワークを介して、リアルタイムに受信するデータ受信装置およびデータ受信プログラムに関する。 The present invention is a video data encoded, via the network, about the reception to Lud over data receiving apparatus and the data receiving program in real time.
一般に、放送局等において、映像データ(例えば、HDTV素材)を番組制作の用途で、ネットワーク(例えば、放送局内のLAN)を介して、送受信(伝送)する場合、当該ネットワークには、高い信頼性が確保される無線・有線の専用回線が用いられている。
この場合、映像データの伝送路として使用する専用回線のコストパフォーマンスを向上させるために、通常、MPEG2等のフレーム間相関を用いた高圧縮符号化方式が用いられている。
In general, when video data (for example, HDTV material) is transmitted / received (transmitted) via a network (for example, a LAN in a broadcasting station) for use in program production in a broadcasting station or the like, the network has high reliability. Wireless / wired dedicated lines are used.
In this case, in order to improve the cost performance of a dedicated line used as a video data transmission path, a high compression encoding method using inter-frame correlation such as MPEG2 is usually used.
ところが、MPEG2等のフレーム間相関を用いた高圧縮符号化方式では、映像データを圧縮符号化する際に、当該映像データを構成している画像(フレーム)一枚一枚を独立して行っていないので、送受信(伝送)がうまくいかないと、つまり、伝送路で伝送中に欠損等が生じてしまうと、復号できない場合が生じ、当該映像データの編集加工を行う上で大きな障害となる。 However, in the high compression encoding method using inter-frame correlation such as MPEG2, each image (frame) constituting the video data is independently performed when compressing and encoding the video data. Therefore, if transmission / reception (transmission) is not successful, that is, if a loss or the like occurs during transmission on the transmission line, there is a case where decoding cannot be performed, which is a major obstacle in editing the video data.
また、MPEG2等のフレーム間相関を用いた高圧縮符号化方式では、圧縮符号化した映像データを復号するのに処理時間がかかり、伝送遅延が大きくなるので、撮影した映像データを生中継等に用いることは困難であった。このため、フレーム単位で圧縮しても高画質を維持でき、遅延時間が少ない符号化方式が提案されている(例えば、非特許文献1参照)。 In addition, in a high compression encoding method using inter-frame correlation such as MPEG2, it takes a processing time to decode the compression encoded video data and the transmission delay becomes large. It was difficult to use. For this reason, an encoding method that can maintain high image quality even when compressed in units of frames and has a short delay time has been proposed (for example, see Non-Patent Document 1).
また、昨今、放送等の用途における映像データの伝送を、同軸ケーブルや光ファイバーケーブル等の1対1の専用回線を用いて行う代わりに、汎用技術であるIPネットワークを用いることによって、低コストと使いやすさを高めようと技術研究が行われている。
すなわち、従来の専用回線では、映像データを送信する送信側と当該映像データを受信する受信側とで対となるケーブル(通信線)が必要であり、例えば、受信側がN箇所あった場合には、送信側からN本のケーブル(通信線)を引くことが必要であった。
In addition, recently, video data transmission for broadcasting and other purposes is performed using a general-purpose IP network instead of using a one-to-one dedicated line such as a coaxial cable or an optical fiber cable, thereby reducing the cost and usage. Technical research is being conducted to increase ease.
That is, the conventional dedicated line requires a pair of cables (communication lines) between the transmitting side that transmits video data and the receiving side that receives the video data. For example, when there are N receiving sides It was necessary to draw N cables (communication lines) from the transmission side.
一方、映像データの伝送にIPネットワークを用いれば、送信側の装置を、当該IPネットワークを構成するルータ等に1本のケーブルで接続すればよく、汎用性と可用性を向上させることができる。 On the other hand, if an IP network is used for transmission of video data, it is only necessary to connect a transmission-side device to a router or the like constituting the IP network with a single cable, thereby improving versatility and availability.
しかし、IPネットワークを用いて、映像データを伝送するには、広い帯域が必要であり、当該IPネットワークの通信規約であるTCP/IPプロトコルでは、実質的に、1箇所の送信側の装置からN箇所の受信側の装置に映像データを送信する際には、IPネットワークに接続されるケーブルが1本であるにも拘わらず、N本のセッションを張る必要がある。ちなみに、セッションとは、送信側の装置と受信側の装置との間でデータ(映像データ)のデータフローを確認するために、お互いの装置を識別するための概念であり、お互いの装置を識別するための識別子として、宛先IPアドレス(送信側または受信側の装置のIPアドレス)とポート(送信側または受信側の装置の入出力ポート)との組合せが用いられている。 However, in order to transmit video data using an IP network, a wide bandwidth is required. In the TCP / IP protocol, which is a communication protocol of the IP network, the transmission side device can substantially transmit N When transmitting video data to a receiving device at a location, it is necessary to establish N sessions even though there is only one cable connected to the IP network. Incidentally, a session is a concept for identifying each other's devices in order to check the data flow of data (video data) between the device on the sending side and the device on the receiving side. As an identifier for this, a combination of a destination IP address (IP address of a transmission side or reception side device) and a port (input / output port of a transmission side or reception side device) is used.
この結果、受信側の装置(以下、受信端末という)の数に比例して、IPネットワークの帯域が消費される(IPネットワークの占有帯域が増加する)ことになり、受信端末の数に比例して、送信側の装置も高い伝送能力が要求されることになる。しかし、IPネットワークの帯域と送信側の装置の伝送能力とには限界があり、当該IPネットワークを用いた映像データの伝送(配信)では、映像データを受信するサービス対象となる受信端末の数を低く抑える必要がある。なお、受信端末の数を低く抑えることは、IPネットワークが双方向性通信を前提として、TCP/IPプロトコルを使用していることからやむを得ないことと言える。 As a result, the IP network bandwidth is consumed in proportion to the number of receiving devices (hereinafter referred to as receiving terminals) (the occupied bandwidth of the IP network increases), and is proportional to the number of receiving terminals. Therefore, the transmission side device is also required to have a high transmission capability. However, the bandwidth of the IP network and the transmission capability of the device on the transmission side are limited, and in the transmission (distribution) of video data using the IP network, the number of receiving terminals that are service targets for receiving video data is determined. It is necessary to keep it low. Note that keeping the number of receiving terminals low is unavoidable because the IP network uses the TCP / IP protocol on the premise of bidirectional communication.
ただし、放送等に用いる映像データ(映像素材)を実時間で配信するリアルタイム配信では、IPネットワークにおける双方向通信を実現する必要がなく、片方向通信で十分である。このため、映像データ(映像素材)を実時間で配信するリアルタイム配信では、双方向通信で要求されるデータの送達確認や再送要求等の機能(双方向性機能)を持たないマルチキャストプロトコルを使用することが想定される。 However, in real-time distribution in which video data (video material) used for broadcasting or the like is distributed in real time, it is not necessary to realize bidirectional communication in the IP network, and one-way communication is sufficient. For this reason, in real-time distribution in which video data (video material) is distributed in real time, a multicast protocol that does not have functions (bidirectional functions) such as data delivery confirmation and retransmission request required for bidirectional communication is used. It is assumed that
マルチキャストプロトコルを使用することにより、1箇所の送信側からN箇所の受信側に映像データを伝送する場合には、N本のセッションを張る必要がなくなり、受信端末の数が増加しても、IPネットワークの帯域は増大することなく、送信側の装置の伝送能力も受信端末の数に比例して増大させる必要はない。
このマルチキャストプロトコルとしては、TCP/IPプロトコルで実現される通信サービスを実時間転送に適した形式で伝送するRTP(Real−time Transport Protocol)が挙げられる(例えば、非特許文献2参照)。
By using the multicast protocol, when transmitting video data from one transmitting side to N receiving sides, it is not necessary to establish N sessions, and even if the number of receiving terminals increases, IP The bandwidth of the network does not increase, and the transmission capability of the transmission side device does not need to be increased in proportion to the number of receiving terminals.
An example of this multicast protocol is RTP (Real-time Transport Protocol) that transmits a communication service realized by the TCP / IP protocol in a format suitable for real-time transfer (see, for example, Non-Patent Document 2).
しかしながら、従来、よく使用される映像ストリーミングプロトコル(例示したRTP)は、マルチキャストプロトコルとは異なり、データの送達確認や再送要求等の機能(双方向性機能)、すなわち、データ通信の信頼性を確保するための機能により、伝送路上でパケットロス等のデータの消失を回復するための再送機能を持っている。しかし、この機能は、映像データ(映像素材)の再送が発生するため,放送中継などのリアルタイム映像の一方向かつ一過性の伝送には適さない。このため、放送等の高品質な映像データ(映像素材)のリアルタイム配信には、従来の映像ストリーミングプロトコルがそのまま適用できない(使用できない)という問題がある。 However, unlike the multicast protocol, the video streaming protocol that has been often used in the past (RTP exemplified here) ensures functions such as data delivery confirmation and retransmission request (bidirectional function), that is, reliability of data communication. Therefore, a retransmission function for recovering data loss such as packet loss on the transmission path is provided. However, this function is not suitable for one-way and temporary transmission of real-time video such as broadcast relay because video data (video material) is retransmitted. For this reason, there is a problem that the conventional video streaming protocol cannot be applied as it is (cannot be used) to real-time delivery of high-quality video data (video material) such as broadcasting.
そこで、本発明では、前記した問題を解決し、放送等の用途で映像データを伝送する際に、IPネットワークを用いることで、低コスト化と高可用性とを実現すると共に、片方向通信で、リアルタイム配信の確実性を確保することができるデータ受信装置およびデータ受信プログラムを提供することを目的とする。 Therefore, in the present invention, when solving the above-described problem and transmitting video data for broadcasting or the like, an IP network is used to achieve low cost and high availability, and in one-way communication, ensuring the reliability of real time delivery and to provide a Lud over data receiving apparatus and a data receiving program can.
前記課題を解決するため、請求項1記載のデータ受信装置は、符号化された映像データの輝度成分と色差成分とをそれぞれ交互にパケットのペイロードのサイズで分割したコードストリームとしてペイロードに配置し、前記コードストリーム毎に、前記映像データを構成するフィールドの連続した番号を示す映像シーケンス番号と、前記パケットの送信順に連続した番号を示すパケットシーケンス番号と、当該コードストリームが前記輝度成分または前記色差成分であるかを識別するための値である成分識別値と、当該コードストリーム単位での成分毎の開始を示すフラグであるヘッダフラグと、当該コードストリーム単位での成分毎の終了区切りを示すビットであるマーカビットとを含むヘッダが付加されたパケットを受信するデータ受信装置であって、パケット受信手段と、ヘッダ検出手段と、映像シーケンス番号判定手段と、パケットシーケンス番号判定手段と、成分種別判定手段と、ヘッダフラグ判定手段と、マーカビット判定手段と、パケット保持手段と、パケット破棄手段と、パケット出力手段と、を備える構成とした。 In order to solve the above problem, the data receiving apparatus according to claim 1 arranges the luminance component and the color difference component of the encoded video data in the payload as a code stream obtained by alternately dividing the luminance component and the color difference component by the size of the payload of the packet, For each code stream, a video sequence number indicating a continuous number of fields constituting the video data, a packet sequence number indicating a consecutive number in the transmission order of the packets, and the code stream includes the luminance component or the color difference component A component identification value, which is a value for identifying whether or not, a header flag which is a flag indicating the start of each component in the code stream unit, and a bit which indicates an end delimiter for each component in the code stream unit data reception that receives a packet header is added including a certain marker bit A packet receiving unit, a header detecting unit, a video sequence number determining unit, a packet sequence number determining unit, a component type determining unit, a header flag determining unit, a marker bit determining unit, and a packet holding unit. And a packet discarding unit and a packet output unit.
かかる構成によれば、データ受信装置は、パケット受信手段によって、ネットワークを介して送信されたパケットを受信し、ヘッダ検出手段によって、パケットのヘッダを検出する。続いて、このデータ受信装置は、映像シーケンス番号判定手段によって、ヘッダに含まれている映像データを構成するフィールドの連続した番号を示す映像シーケンス番号を判定する。また、このデータ受信装置は、パケットシーケンス番号判定手段によって、パケット送信順を示す番号であるパケットシーケンス番号を判定する。 According to this configuration, the data receiving apparatus receives the packet transmitted via the network by the packet receiving unit, and detects the header of the packet by the header detecting unit. Subsequently, in this data receiving apparatus, the video sequence number indicating the sequential number of the field constituting the video data included in the header is determined by the video sequence number determining means. In this data receiving apparatus, the packet sequence number determining means determines a packet sequence number which is a number indicating the packet transmission order.
そして、このデータ受信装置は、成分種別判定手段によって、ヘッダに含まれている成分識別値に基づいて、成分種別を判定し、ヘッダフラグ判定手段によって、コードストリーム単位での開始を示すフラグであるヘッダフラグを判定し、マーカビット判定手段によって、コードストリーム単位での終了区切りを示すビットであるマーカビットを判定する。つまり、映像シーケンス番号判定手段、パケットシーケンス番号判定手段、成分種別判定手段、ヘッダフラグ判定手段およびマーカビット判定手段は、受信したパケットのヘッダを解析する役割を担っている。 In this data receiving apparatus, the component type determining unit determines the component type based on the component identification value included in the header, and the header flag determining unit is a flag indicating the start of each code stream. The header flag is determined, and the marker bit determining unit determines a marker bit that is a bit indicating an end delimiter in units of code streams. That is, the video sequence number determination means, the packet sequence number determination means, the component type determination means, the header flag determination means, and the marker bit determination means have a role of analyzing the header of the received packet.
そして、このデータ受信装置は、パケット保持手段によって、成分種別判定手段で判定された成分種別に従って、パケット受信手段で受信されたパケットを分類して、一旦保持し、パケット破棄手段によって、映像シーケンス番号判定手段による判定結果、パケットシーケンス番号判定手段による判定結果、成分種別判定手段による判定結果、ヘッダフラグ判定手段による判定結果およびマーカビット判定手段による判定結果に基づき、映像シーケンス番号によって同一フィールドのパケットと判定され、ヘッダフラグとマーカビットとで区切られるコードストリーム単位において、輝度成分または色差成分毎のパケットシーケンス番号が連続でない場合、または、輝度成分の先頭のパケットを受信していない場合、パケット保持手段に保持しているパケットを破棄すると共に、映像シーケンス番号によって同一フィールドのパケットと判定され、ヘッダフラグとマーカビットとで区切られるコードストリーム単位において、色差成分の先頭のパケットを受信していない場合、パケット保持手段に保持している色差成分のパケットのみを破棄する。 The data receiving apparatus classifies the packets received by the packet receiving unit according to the component type determined by the component type determining unit by the packet holding unit, temporarily holds the packet, and stores the video sequence number by the packet discarding unit. Based on the determination result by the determination unit, the determination result by the packet sequence number determination unit, the determination result by the component type determination unit, the determination result by the header flag determination unit, and the determination result by the marker bit determination unit, If the packet sequence number for each luminance component or chrominance component is not consecutive in the code stream unit determined and separated by the header flag and the marker bit, or if the first packet of the luminance component is not received, the packet holding means Hold on The packet holding means when the first packet of the color difference component is not received in the code stream unit determined by the video sequence number and delimited by the header flag and the marker bit. Only the packet of the color difference component held in is discarded.
そして、このデータ受信装置は、パケット出力手段によって、パケット保持手段で保持されているパケットの中で、パケット破棄手段で破棄されなかったパケットを出力する。なお、このパケット出力手段から出力されたパケットは、復号手段等で復号され、表示装置に映像データとして表示されることになる。 In the data receiving apparatus, the packet output unit outputs a packet that is not discarded by the packet discarding unit among the packets held by the packet holding unit. The packet output from the packet output means is decoded by the decoding means or the like and displayed as video data on the display device.
請求項2記載のデータ受信装置は、符号化された映像データの輝度成分と色差成分とをそれぞれ交互にパケットのペイロードのサイズで分割したコードストリームとしてペイロードに配置し、前記コードストリーム毎に、前記映像データを構成するフィールドの連続した番号を示す映像シーケンス番号と、前記パケットの送信順に連続した番号を示すパケットシーケンス番号と、当該コードストリームが前記輝度成分または前記色差成分であるかを識別するための値である成分識別値と、当該コードストリーム単位での成分毎の開始を示すフラグであるヘッダフラグと、当該コードストリーム単位での成分毎の終了区切りを示すビットであるマーカビットとを含むヘッダが付加されたパケットを受信するデータ受信装置であって、パケット受信手段と、ヘッダ検出手段と、映像シーケンス番号判定手段と、パケットシーケンス番号判定手段と、成分種別判定手段と、ヘッダフラグ判定手段と、マーカビット判定手段と、パケット保持手段と、破棄処理遅延手段と、パケット破棄手段と、パケット出力手段と、を備える構成とした。
The data receiving device according to
かかる構成によれば、データ受信装置は、パケット受信手段によって、ネットワークを介して送信されたパケットを受信し、ヘッダ検出手段によって、パケットのヘッダを検出する。続いて、このデータ受信装置は、映像シーケンス番号判定手段によって、ヘッダに含まれている映像データを構成するフィールドの連続した番号を示す映像シーケンス番号を判定する。また、このデータ受信装置は、パケットシーケンス番号判定手段によって、パケット送信順を示す番号であるパケットシーケンス番号を判定する。 According to this configuration, the data receiving apparatus receives the packet transmitted via the network by the packet receiving unit, and detects the header of the packet by the header detecting unit. Subsequently, in this data receiving apparatus, the video sequence number indicating the sequential number of the field constituting the video data included in the header is determined by the video sequence number determining means. In this data receiving apparatus, the packet sequence number determining means determines a packet sequence number which is a number indicating the packet transmission order.
そして、このデータ受信装置は、成分種別判定手段によって、ヘッダに含まれている成分識別値に基づいて、成分種別を判定し、ヘッダフラグ判定手段によって、コードストリーム単位での開始を示すフラグであるヘッダフラグを判定し、マーカビット判定手段によって、コードストリーム単位での終了区切りを示すビットであるマーカビットを判定する。 In this data receiving apparatus, the component type determining unit determines the component type based on the component identification value included in the header, and the header flag determining unit is a flag indicating the start of each code stream. The header flag is determined, and the marker bit determining unit determines a marker bit that is a bit indicating an end delimiter in units of code streams.
そして、このデータ受信装置は、パケット保持手段によって、成分種別判定手段で判定された成分種別に従って、パケット受信手段で受信されたパケットを分類して、一旦1フィールド分保持する。ここで、このデータ受信装置は、破棄処理遅延手段によって、映像シーケンス番号判定手段による判定結果に基づいて、パケット保持手段にパケットが1フィールド分到来したと判定されるまで、パケットを破棄する処理を遅延させる。ここでの映像シーケンス番号判定手段による判定結果は、映像シーケンス番号が同一のフィールドを示すものでなくなったと判定した場合である。 In the data receiving apparatus, the packet holding unit classifies the packets received by the packet receiving unit according to the component type determined by the component type determining unit, and temporarily holds one field. Here, the data receiving apparatus performs processing for discarding the packet until it is determined by the discard processing delay means based on the determination result by the video sequence number determining means that the packet holding means has arrived for one field. Delay. The determination result by the video sequence number determination means here is a case where it is determined that the video sequence numbers no longer indicate the same field.
そして、このデータ受信装置は、パケット破棄手段によって、破棄処理遅延手段でパケットを破棄する処理を実行すると判定されたことを契機に、映像シーケンス番号判定手段による判定結果、パケットシーケンス番号判定手段による判定結果、成分種別判定手段による判定結果、映像シーケンス番号によって同一フィールドのパケットと判定され、前記ヘッダフラグと前記マーカビットとで区切られるコードストリーム単位において、輝度成分または色差成分毎のパケットシーケンス番号が連続でない場合、または、輝度成分の先頭のパケットを受信していない場合、パケット保持手段に保持しているパケットを破棄すると共に、映像シーケンス番号によって同一フィールドのパケットと判定され、ヘッダフラグとマーカビットとで区切られるコードストリーム単位において、色差成分の先頭のパケットを受信していない場合、パケット保持手段に保持している色差成分のパケットのみを破棄する。そして、データ受信装置は、パケット出力手段によって、パケット保持手段で保持されているパケットの中で、パケット破棄手段で破棄されなかったパケットを出力する。 Then, the data receiving apparatus, when the packet discarding unit determines to execute the process of discarding the packet by the discarding process delaying unit, the determination result by the video sequence number determining unit and the determination by the packet sequence number determining unit As a result, the determination result by the component type determination means is determined to be a packet of the same field based on the video sequence number, and the packet sequence number for each luminance component or chrominance component is consecutive in the code stream unit delimited by the header flag and the marker bit. If not, or if the first packet of the luminance component has not been received, the packet held in the packet holding means is discarded, and it is determined that the packet is in the same field by the video sequence number, and the header flag and marker bit Separated by It discards the code stream unit, if not received head packet of a color difference component, only packets of the color difference component held in the packet holding means that. Then, the data receiving apparatus outputs, by the packet output unit, a packet that has not been discarded by the packet discarding unit among the packets held by the packet holding unit.
請求項3記載のデータ受信装置は、請求項1または請求項2に記載のデータ受信装置において、前記パケット破棄手段が、前記パケットシーケンス番号判定手段で前記パケットシーケンス番号が送信開始を示す番号と判定した場合には、前記マーカビット判定手段による判定結果によらずに、前記パケット保持手段に保持されているパケットを全て破棄することを特徴とする。
Determining the data receiving apparatus according to
かかる構成によれば、データ受信装置は、パケット破棄手段によって、コードストリームの終了区切りを示すマーカビットよりも、パケットシーケンス番号の送信開始を示す番号(例えば、0番号)を優先させ、パケット保持手段に保持されているパケットを全て破棄することで、パケットの受信状態を初期状態に戻している。 According to such a configuration, the data receiving device gives priority to a number (for example, 0 number) indicating the start of transmission of the packet sequence number over the marker bit indicating the end delimiter of the code stream by the packet discarding unit, and the packet holding unit The packet reception state is returned to the initial state by discarding all the packets held in.
請求項4記載のデータ受信プログラムは、符号化された映像データの輝度成分と色差成分とをそれぞれ交互にパケットのペイロードのサイズで分割したコードストリームとしてペイロードに配置し、前記コードストリーム毎に、前記映像データを構成するフィールドの連続した番号を示す映像シーケンス番号と、前記パケットの送信順に連続した番号を示すパケットシーケンス番号と、当該コードストリームが前記輝度成分または前記色差成分であるかを識別するための値である成分識別値と、当該コードストリーム単位での成分毎の開始を示すフラグであるヘッダフラグと、当該コードストリーム単位での成分毎の終了区切りを示すビットであるマーカビットとを含むヘッダが付加されたパケットを受信するために、当該パケットを受信するパケット受信手段と当該パケットを保持するパケット保持手段と当該パケットを出力するパケット出力手段とを有したデータ受信装置のコンピュータを、ヘッダ検出手段、映像シーケンス番号判定手段、パケットシーケンス番号判定手段、成分種別判定手段、ヘッダフラグ判定手段、マーカビット判定手段、パケット保持制御手段、パケット破棄手段、パケット出力制御手段、として機能させる構成とした。
The data reception program according to
かかる構成によれば、データ受信プログラムは、ヘッダ検出手段によって、パケット受信手段で受信されたパケットのヘッダを検出し、検出されたヘッダに含まれている映像シーケンス番号を映像シーケンス番号判定手段によって判定し、パケットシーケンス番号をパケットシーケンス番号判定手段によって判定し、パケットを構成しているコードストリームの成分種別を成分種別判定手段によって判定し、コードストリーム単位での開始を示すフラグであるヘッダフラグをヘッダフラグ判定手段によって判定し、コードストリーム単位での終了区切りを示すビットであるマーカビットをマーカビット判定手段によって判定する。 According to such a configuration, the data reception program detects the header of the packet received by the packet reception unit by the header detection unit, and determines the video sequence number included in the detected header by the video sequence number determination unit. The packet sequence number is determined by the packet sequence number determining means, the component type of the code stream constituting the packet is determined by the component type determining means, and a header flag indicating a start in units of code streams is set as a header. The determination is performed by the flag determination unit, and the marker bit that is a bit indicating the end delimiter in units of code streams is determined by the marker bit determination unit.
そして、このデータ受信プログラムは、パケット保持制御手段によって、成分種別判定手段で判定された成分種別に従って、パケット受信手段で受信されたパケットを分類してパケット保持手段に保持させる。そして、このデータ受信プログラムは、パケット破棄手段によって、映像シーケンス番号判定手段による判定結果、パケットシーケンス番号判定手段による判定結果、成分種別判定手段による判定結果、ヘッダフラグ判定手段による判定結果およびマーカビット判定手段による判定結果に基づき、映像シーケンス番号によって同一フィールドのパケットと判定され、ヘッダフラグとマーカビットとで区切られるコードストリーム単位において、輝度成分または色差成分毎のパケットシーケンス番号が連続でない場合、または、輝度成分の先頭のパケットを受信していない場合、パケット保持手段に保持しているパケットを破棄すると共に、映像シーケンス番号によって同一フィールドのパケットと判定され、ヘッダフラグとマーカビットとで区切られるコードストリーム単位において、色差成分の先頭のパケットを受信していない場合、パケット保持手段に保持している色差成分のパケットのみを破棄する。その後、データ受信プログラムは、パケット出力制御手段によって、パケット保持手段で保持されているパケットの中で、パケット破棄手段で破棄されなかったパケットをパケット出力手段から出力させる。 The data receiving program classifies the packets received by the packet receiving unit according to the component type determined by the component type determining unit by the packet holding control unit and causes the packet holding unit to hold the packet. Then, the data receiving program receives the determination result by the video sequence number determination unit, the determination result by the packet sequence number determination unit, the determination result by the component type determination unit, the determination result by the header flag determination unit, and the marker bit determination by the packet discard unit. Based on the determination result by the means, when the packet sequence number for each luminance component or chrominance component is not consecutive in the code stream unit determined as a packet of the same field by the video sequence number and delimited by the header flag and the marker bit, or If the first packet of the luminance component has not been received, the packet held in the packet holding means is discarded, and the packet is determined to be the same field by the video sequence number, and the header flag and marker bit are In off the codestream units, if not received head packet of the color difference components, it discards packets only the chrominance components held in the packet storage means. Thereafter, the data reception program causes the packet output control means to output, from the packet output means, packets that have not been discarded by the packet discarding means among the packets held by the packet holding means.
請求項5記載のデータ受信プログラムは、符号化された映像データの輝度成分と色差成分とをそれぞれ交互にパケットのペイロードのサイズで分割したコードストリームとしてペイロードに配置し、前記コードストリーム毎に、前記映像データを構成するフィールドの連続した番号を示す映像シーケンス番号と、前記パケットの送信順に連続した番号を示すパケットシーケンス番号と、当該コードストリームが前記輝度成分または前記色差成分であるかを識別するための値である成分識別値と、当該コードストリーム単位での成分毎の開始を示すフラグであるヘッダフラグと、当該コードストリーム単位での成分毎の終了区切りを示すビットであるマーカビットと含むヘッダが付加されたパケットを受信するために、当該パケットを受信するパケット受信手段と当該パケットを保持するパケット保持手段と当該パケットを出力するパケット出力手段とを有したデータ受信装置のコンピュータを、ヘッダ検出手段、映像シーケンス番号判定手段、パケットシーケンス番号判定手段、成分種別判定手段、ヘッダフラグ判定手段、マーカビット判定手段、パケット保持制御手段、破棄処理遅延手段、パケット破棄手段、パケット出力制御手段、として機能させる構成とした。
The data receiving program according to
かかる構成によれば、データ受信プログラムは、ヘッダ検出手段によって、パケット受信手段で受信されたパケットのヘッダを検出し、検出されたヘッダに含まれている映像シーケンス番号を映像シーケンス番号判定手段によって判定し、パケットシーケンス番号をパケットシーケンス番号判定手段によって判定し、パケットを構成しているコードストリームの成分種別を成分種別判定手段によって判定し、コードストリーム単位での開始を示すフラグであるヘッダフラグをヘッダフラグ判定手段によって判定し、コードストリーム単位での終了区切りを示すビットであるマーカビットをマーカビット判定手段によって判定する。 According to such a configuration, the data reception program detects the header of the packet received by the packet reception unit by the header detection unit, and determines the video sequence number included in the detected header by the video sequence number determination unit. The packet sequence number is determined by the packet sequence number determining means, the component type of the code stream constituting the packet is determined by the component type determining means, and a header flag indicating a start in units of code streams is set as a header. The determination is performed by the flag determination unit, and the marker bit that is a bit indicating the end delimiter in units of code streams is determined by the marker bit determination unit.
そして、このデータ受信プログラムは、パケット保持制御手段によって、成分種別判定手段で判定された成分種別に従って、パケット受信手段で受信されたパケットを分類して、パケット保持手段に、1フィールド分保持させ、破棄処理遅延手段によって、映像シーケンス番号判定手段による判定結果に基づいて、パケット保持手段にパケットが1フィールド分到来したと判定されるまで、パケットを破棄する処理を遅延させる。 Then, the data receiving program classifies the packets received by the packet receiving unit according to the component type determined by the component type determining unit by the packet holding control unit, and causes the packet holding unit to hold one field, The discard processing delay means delays the packet discarding process until it is determined that one packet has arrived in the packet holding means based on the determination result by the video sequence number determination means.
そして、このデータ受信プログラムは、パケット破棄手段によって、破棄処理遅延手段でパケットを破棄する処理を実行すると判定されたことを契機に、映像シーケンス番号判定手段による判定結果、パケットシーケンス番号判定手段による判定結果、成分種別判定手段による判定結果、ヘッダフラグ判定手段による判定結果およびマーカビット判定手段による判定結果に基づき、映像シーケンス番号によって同一フィールドのパケットと判定され、ヘッダフラグとマーカビットとで区切られるコードストリーム単位において、輝度成分または色差成分毎のパケットシーケンス番号が連続でない場合、または、輝度成分の先頭のパケットを受信していない場合、パケット保持手段に保持しているパケットを破棄すると共に、映像シーケンス番号によって同一フィールドのパケットと判定され、ヘッダフラグとマーカビットとで区切られるコードストリーム単位において、色差成分の先頭のパケットを受信していない場合、パケット保持手段に保持している色差成分のパケットのみを破棄する。その後、このデータ受信プログラムは、パケット出力制御手段によって、パケット保持手段で保持されているパケットの中で、パケット破棄手段で破棄されなかったパケットをパケット出力手段から出力させる。 Then, the data reception program, when it is determined that the packet discarding unit executes the process of discarding the packet by the discarding process delay unit, the determination result by the video sequence number determination unit, the determination by the packet sequence number determination unit As a result, based on the determination result by the component type determination means, the determination result by the header flag determination means, and the determination result by the marker bit determination means, the packet is determined to be a packet in the same field by the video sequence number, and is delimited by the header flag and the marker bit If the packet sequence number for each luminance component or chrominance component is not continuous in the stream unit, or if the first packet of the luminance component is not received, the packet held in the packet holding means is discarded and the video sequence Number If the first packet of the color difference component is not received in the code stream unit delimited by the header flag and the marker bit, only the packet of the color difference component held in the packet holding unit is determined. Discard. Thereafter, the data reception program causes the packet output control means to output, from the packet output means, packets that have not been discarded by the packet discarding means among the packets held by the packet holding means.
請求項6記載のデータ受信プログラムは、請求項4または請求項5に記載のデータ受信プログラムにおいて、前記パケット破棄手段が、前記パケットシーケンス番号判定手段で前記パケットシーケンス番号が送信開始を示す番号と判定した場合には、前記マーカビット判定手段による判定結果によらずに、前記パケット保持手段に保持されているパケットを全て破棄することを特徴とする。
The data reception program according to
かかる構成によれば、データ受信プログラムは、パケット破棄手段によって、コードストリームの終了区切りを示すマーカビットよりも、パケットシーケンス番号の送信開始を示す番号(例えば、0番号)を優先させ、パケット保持手段に保持されているパケットを全て破棄することで、パケットの受信状態を初期状態に戻している。According to such a configuration, the data reception program prioritizes a number (for example, 0 number) indicating the start of transmission of the packet sequence number over the marker bit indicating the end delimiter of the code stream by the packet discarding unit, and the packet holding unit The packet reception state is returned to the initial state by discarding all the packets held in.
請求項1および4記載の発明によれば、送信側からIPネットワーク等のネットワークを介して送信されたパケットを受信し、当該パケットのヘッダに含まれている映像シーケンス番号、パケットシーケンス番号、成分識別値、ヘッダフラグおよびマーカビットを判定して、受信したパケットの中で有効に活用できるもの以外を単純に破棄することで、従来のRTPように、送信側とセッションを確立する必要がなく、片方向通信(一過性の映像データの流れ)によって、映像データのリアルタイム配信の確実性を確保することができる。 According to the first and fourth aspects of the invention, a packet transmitted from a transmitting side via a network such as an IP network is received, and a video sequence number, a packet sequence number, and a component identification included in the header of the packet are received. By determining the value, header flag, and marker bit and simply discarding the received packets other than those that can be used effectively, there is no need to establish a session with the transmission side as in conventional RTP. The reliability of real-time delivery of video data can be ensured by directional communication (transient video data flow).
請求項2および5記載の発明によれば、送信側からIPネットワーク等のネットワークを介して送信されたパケットを受信し、当該パケットのヘッダに含まれている映像シーケンス番号、パケットシーケンス番号、成分識別値、ヘッダフラグおよびマーカビットを判定すると共に、受信したパケットを1フィールド分保持して、当該パケットの中で有効に活用できるもの以外を破棄する処理を遅延させて行うことで、従来のRTPのように、送信側とセッションを確立する必要がなく、片方向通信(一過性の映像データの流れ)によって、映像データのリアルタイム配信の確実性を確保することができる。すなわち、同一フィールド内の映像データを構成するパケットにおいて、パケット欠落有無の判断を遅延させることにより、ネットワークを伝送している途中で順序が入れ替わったパケットを受信できた場合、当該パケットを破棄することなく、有効に活用すること(拾い上げること)ができる。例えば、パケットを受信した順序が反転(逆転)したパケットについても廃棄することなく、パケットシーケンス番号に基づいて並べ替えることで、受信したパケットを有効に活用することができる。 According to the second and fifth aspects of the present invention, a packet transmitted from a transmitting side via a network such as an IP network is received, and a video sequence number, a packet sequence number, and a component identification included in the header of the packet are received. In addition to determining the value, header flag, and marker bit, the received packet is held for one field, and the processing for discarding the packets other than those that can be used effectively is delayed, so that the conventional RTP Thus, it is not necessary to establish a session with the transmission side, and the certainty of real-time delivery of video data can be ensured by one-way communication (transient video data flow). In other words, in a packet constituting video data in the same field, if a packet whose order has been changed during transmission through the network is delayed by delaying the determination of whether or not the packet is missing, the packet is discarded. It can be used effectively (pick up). For example, the received packets can be effectively used by rearranging the packets based on the packet sequence number without discarding the packets in which the order of receiving the packets is reversed (reversed).
請求項3および6記載の発明によれば、パケットシーケンス番号が送信開始を示す番号と判定した場合には、マーカビットの値によらずに、保持しているパケットを破棄することで、受信状態を初期状態に戻すことができ、次のフィールドの映像データを構成するパケットの処理を迅速に行うことができる。 According to the third and sixth aspects of the invention, when the packet sequence number is determined to be a number indicating transmission start, the received packet is discarded regardless of the value of the marker bit. Can be returned to the initial state, and the packet constituting the video data of the next field can be quickly processed.
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
この発明を実施するための最良の形態(実施形態)の説明では、映像データとして、HDTV信号を用いて伝送するHDTV制作システム(データ送信装置およびデータ受信装置を内包しているシステム)の2つの実施形態(第一実施形態、第二実施形態)について行うこととする。
Next, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
In the description of the best mode for carrying out the present invention (embodiment), there are two HDTV production systems (systems including a data transmission device and a data reception device) that transmit HDTV signals as video data. The embodiment (first embodiment, second embodiment) will be described.
〈HDTV制作システム[第一実施形態]の概要〉
図1は、HDTV制作システム(第一実施形態)のブロック図である。この図1に示すように、HDTV制作システムAは、JPEG2000HDTVエンコーダBと、JPEG2000HDTVデコーダCとを備え、これらがネットワークを介して接続されている。
<Overview of HDTV production system [first embodiment]>
FIG. 1 is a block diagram of an HDTV production system (first embodiment). As shown in FIG. 1, the HDTV production system A includes a JPEG2000 HDTV encoder B and a JPEG2000 HDTV decoder C, which are connected via a network.
なお、HDTV制作システムAには、図示を省略したが、原映像信号(HDTV信号)を蓄積するJPEG2000動画像素材サーバと、ネットワークに接続して無線LANを構築するルータと、JPEG2000HDTVデコーダCに表示装置として直接接続されるHDTVフルサイズの表示画面を備えるモニタと、ネットワークに接続されるSDTVサイズの表示画面を備える端末と、原映像信号(HDTV信号)の素材検索編集用の端末とが備えられている。 Although not shown in the HDTV production system A, it is displayed on the JPEG2000 moving image material server that stores the original video signal (HDTV signal), the router that is connected to the network to construct the wireless LAN, and the JPEG2000 HDTV decoder C. A monitor having an HDTV full-size display screen directly connected as a device, a terminal having an SDTV-size display screen connected to a network, and a material search / editing terminal for an original video signal (HDTV signal) are provided. ing.
JPEG2000HDTVエンコーダBは、HDTVカメラで撮影された原映像信号(HDTV信号)が入力された場合に、符号化して、ネットワークに送信するもので、原映像信号(HDTV信号)を符号化する符号化手段2と、データ送信装置1とを備えている。また、JPEG2000HDTVデコーダCは、ネットワークを介して受信したパケット(符号化したHDTV信号をストリーミングしたもの)を復号して表示装置に出力するもので、データ受信装置3と、このデータ受信装置3から出力されたパケットを原映像信号(HDTV信号)に復号して出力する復号手段4とを備えている。正確に言うと、JPEG2000HDTVエンコーダBに含まれているデータ送信装置1と、JPEG2000HDTVデコーダCに含まれているデータ受信装置3とがそれぞれ、本発明の1つの実施形態である。
The JPEG2000 HDTV encoder B encodes an original video signal (HDTV signal) that is encoded and transmitted to a network when an original video signal (HDTV signal) taken by an HDTV camera is input. 2 and the
〈HDTV制作システム[第一実施形態]のデータ送信装置の構成〉
まず、JPEG2000HDTVエンコーダBに含まれているデータ送信装置1の構成を説明する。
データ送信装置1は、JPEG2000HDTVエンコーダBに入力された原映像信号(HDTV信号)が符号化手段2で映像データに符号化され、この符号化された映像データをネットワークに送信するもので、映像データ分割手段5と、ヘッダ作成手段7と、UDPパケット送信手段9とを備えている。このデータ送信装置1は、新たに構築したJPEG2000用のストリーミングフォーマット規定(NNV[Network Natural Video]プロトコルと命名)に従って、映像データをストリーミング(パケット化)して送信するものである。NNVプロトコルについては、ヘッダ作成手段7を説明する際に行うことにする。
<Configuration of Data Transmission Device of HDTV Production System [First Embodiment]>
First, the configuration of the
The
映像データ分割手段5は、符号化された映像データを分割したコードストリームを生成するものである。
この映像データ分割手段5は、映像データのデータ長と、ストリーミングする際のパケットを構成しているペイロードサイズとを比較して、映像データのデータ長がペイロードサイズよりも小さい(短い)場合には、当該映像データを分割せずに、映像データのデータ長を送信データ長(送信する際の映像データの長さ)とする。
また、この映像データ分割手段5は、映像データのデータ長と、ストリーミングする際のパケットを構成しているペイロードサイズとを比較して、映像データのデータ長がペイロードサイズよりも大きい(長い)場合には、送信データ長を最大ペイロードサイズとすると共に、映像データのデータ長から最大ペイロードサイズを減算した長さを次のパケットに収める送信データ長とする。
The video
The video data dividing means 5 compares the data length of the video data with the payload size constituting the packet for streaming, and when the data length of the video data is smaller (shorter) than the payload size. The data length of the video data is set as the transmission data length (the length of the video data at the time of transmission) without dividing the video data.
Further, the video data dividing means 5 compares the data length of the video data with the payload size constituting the packet for streaming, and the video data data length is larger (longer) than the payload size. The transmission data length is set to the maximum payload size, and the length obtained by subtracting the maximum payload size from the data length of the video data is set to the transmission data length that fits in the next packet.
ヘッダ作成手段7は、NNVプロトコルに従ってヘッダを作成するもので、成分種別設定手段7aと、映像シーケンス番号設定手段7bと、ヘッダフラグ設定手段7cと、マーカビット設定手段7dと、パケットシーケンス番号設定手段7eとを備えている。
The
NNVプロトコルは、JPEG2000のストリーミングフォーマットを規定したもので、この規定では、映像データを分割したコードストリーム(UDPのペイロード)に16byteのヘッダを付加して、UDPパケットとしている。 The NNV protocol defines a JPEG2000 streaming format. In this specification, a 16-byte header is added to a code stream (UDP payload) obtained by dividing video data to form a UDP packet.
成分種別設定手段7aは、映像データ分割手段5で分割されたコードストリームの成分種別、つまり、輝度成分を示すものであるか、色差成分を示すものであるかを示す成分識別値(Component Discriminator;CD)を設定するものである。この実施形態では、成分識別値を3bitで表しており、輝度成分(Y成分)を010で、色差成分(Cr成分、Cb成分)を011で表している。なお、この成分識別値は、最大で8成分までを記述可能に設定されている。
The component
映像シーケンス番号設定手段7bは、映像データ分割手段5で分割されたコードストリームが同一のフィールドのものであるかを示すと共に、当該コードストリームの送信開始から連続した番号を示す映像シーケンス番号(Picture SEQuence;PSEQ)を設定するものである。この実施形態では、映像シーケンス番号を16bitで表しており、コードストリームをUDPパケットとして送信する際には、フィールド=0から送信することとし、LSB(最下位ビット)が0のとき、フィールド=0を示しており、LSBが1のとき、フィールド=1を示している。 The video sequence number setting means 7b indicates whether the code stream divided by the video data dividing means 5 is in the same field and also shows a video sequence number (Picture Sequence) indicating a continuous number from the start of transmission of the code stream. PSEQ) is set. In this embodiment, the video sequence number is represented by 16 bits, and when the code stream is transmitted as a UDP packet, it is transmitted from field = 0, and when the LSB (least significant bit) is 0, field = 0 When LSB is 1, field = 1 is indicated.
ヘッダフラグ設定手段7cは、映像データ分割手段5で分割されたコードストリーム単位での開始を示すヘッダフラグ(Head Flag;HF)を設定するものである。この実施形態では、コードストリーム単位において、先頭のパケット(先頭パケット)に付すヘッダフラグを“1”としており、先頭パケット以外のパケットに付すヘッダフラグを“0”としている。 The header flag setting means 7c sets a header flag (Head Flag; HF) indicating the start of each code stream divided by the video data dividing means 5. In this embodiment, in the code stream unit, the header flag attached to the head packet (head packet) is “1”, and the header flag attached to the packets other than the head packet is “0”.
マーカビット設定手段7dは、映像データ分割手段5で分割されたコードストリーム単位での終了区切りを示すビットであるマーカビット(Mark Bit;MB)を設定するものである。この実施形態では、コードストリーム単位において、最終のパケット(最終パケット)に付すマーカビットを“1”としており、最終パケット以外のパケットに付すマーカビットを“0”としている。
The marker
パケットシーケンス番号設定手段7eは、コードストリームの送信開始を0として、UDPパケット送信手段9によって、UDPパケットが送信される送信順に増加していく(インクリメントする)パケットシーケンス番号(SEQuence;SEQ)を設定するものである。 The packet sequence number setting means 7e sets the packet stream number (SEQ; SEQ) to be increased (incremented) in the transmission order in which the UDP packets are transmitted by the UDP packet transmission means 9 with the code stream transmission start as 0. To do.
ヘッダ作成手段7に含まれている、成分種別設定手段7a、映像シーケンス番号設定手段7b、ヘッダフラグ設定手段7c、マーカビット設定手段7dおよびパケットシーケンス番号設定手段7eによって、NNVプロトコルによるヘッダ(NNVヘッダ)が作成されることになる。 A header (NNV header) according to the NNV protocol is included by the component type setting means 7a, the video sequence number setting means 7b, the header flag setting means 7c, the marker bit setting means 7d, and the packet sequence number setting means 7e included in the header creation means 7. ) Will be created.
なお、NNVヘッダには、コードストリームの先頭パケットからのオフセット(OFF)数が設定されている。このオフセット数はoctet数(1octet=8bit)で表されており、例えば、オフセット(OFF)=0である場合で、成分種別を示す成分識別値が輝度成分を示すものである場合、この輝度成分の先頭パケットであることを示している。ちなみに、コードストリームが収められるペイロードのサイズ(データサイズ)もoctet単位で規定されている。 In the NNV header, an offset (OFF) number from the first packet of the code stream is set. The number of offsets is represented by the number of octets (1 octet = 8 bits). For example, when the offset (OFF) = 0, and the component identification value indicating the component type indicates the luminance component, this luminance component Indicates the first packet. Incidentally, the size (data size) of the payload in which the code stream is stored is also defined in octets.
UDPパケット送信手段9は、映像データ分割手段5で分割されたコードストリームに、ヘッダ作成手段7で作成されたヘッダ(NNVヘッダ)を付加して、UDPに従ったUDPパケットとして送信するものである。 The UDP packet transmitting means 9 adds the header (NNV header) created by the header creating means 7 to the code stream divided by the video data dividing means 5 and transmits it as a UDP packet according to UDP. .
UDPパケット送信手段9は、UDPマルチキャストにより、ペイロードにコードストリームを収めたUDPパケットを送信する。この際に、UDPパケット送信手段9は、輝度成分(Y成分1つ)のコードストリームと、色差成分(Cr成分、Cb成分の2つ)のコードストリームとを別々のUDPパケットとして送信している。
そして、UDPパケット送信手段9は、輝度成分または色差成分のコードストリームの先頭パケットそれぞれに、コードストリームの開始を示す先頭ヘッダを含める構成としている。
また、このUDPパケットを送信する際に、マルチキャストアドレスや送信先のポート番号を指定することができる。
The UDP packet transmitting means 9 transmits a UDP packet in which the code stream is stored in the payload by UDP multicast. At this time, the UDP packet transmission means 9 transmits the code stream of the luminance component (one Y component) and the code stream of the color difference components (two Cr components and two Cb components) as separate UDP packets. .
The UDP packet transmitting means 9 is configured to include a head header indicating the start of the code stream in each head packet of the luminance component or color difference component code stream.
Also, when transmitting this UDP packet, a multicast address and a destination port number can be designated.
UDPパケット送信手段9は、輝度成分(Y0,Y1,Y2,・・・)と、色差成分(C0,C1,C2,・・・)とが、交互になるような送信順(Y0,C0,Y1,C1,Y2,C2,・・・)でUDPパケットを送信する。
送信する際のプロトコルは、Multicast(マルチキャスト)/IPとしている。
The UDP packet transmission means 9 transmits the transmission order (Y0, C0,...) In which the luminance components (Y0, Y1, Y2,...) And the color difference components (C0, C1, C2,. UDP packets are transmitted using Y1, C1, Y2, C2,.
The protocol for transmission is Multicast / IP.
この実施形態では、UDPパケット送信手段9が送信するUDPパケットのペイロードサイズの最大octet値を、65,489octetとしており、このペイロードサイズはUDPパケット毎に変更することが可能である。なお、このペイロードサイズの最大octet値を、65,489octetとしたのは、IPデータグラムの最大値が65,535であり、IPヘッダサイズが20octetであり、UDPヘッダサイズが8octetであり、NNVヘッダサイズが18octetであるので、65,535−(20+8+18)=65,489と導き出された結果である。 In this embodiment, the maximum octet value of the payload size of the UDP packet transmitted by the UDP packet transmitting means 9 is 65,489 octets, and this payload size can be changed for each UDP packet. The maximum octet value of the payload size is set to 65,489 octet, the maximum value of the IP datagram is 65,535, the IP header size is 20 octet, the UDP header size is 8 octet, and the NNV header Since the size is 18 octets, the result is derived as 65,535- (20 + 8 + 18) = 65,489.
また、UDPパケット送信手段9が送信するUDPパケットに収められるコードストリームのサイズが、ペイロードサイズの最大octet値以下である場合には、当該コードストリームの終了時点で、UDPパケットを区切る。この場合、UDPパケットに含まれるヘッダ(NNVヘッダ)のヘッダフラグが“1”となり、マーカビットも“1”となる。
When the size of the code stream stored in the UDP packet transmitted by the UDP
また、UDPパケット送信手段9が送信するUDPパケットに収められるコードストリームのサイズが、ペイロードサイズの最大octet値以上である場合には、当該コードストリームを最大octet値に区切る。但し、1つのコードストリームの最終パケットは、当該コードストリームの終了時点で区切る。つまり、1つのUDPパケットに複数のコードストリームが収められることはない。
When the size of the code stream stored in the UDP packet transmitted by the UDP
すなわち、このデータ送信装置1によれば、映像データ分割手段5によって、映像データをコードストリームに分割した後、当該コードストリームに付加するヘッダをヘッダ作成手段7によって、映像シーケンス番号、成分識別値、ヘッダフラグおよびマーカビットを含めて作成し、UDPパケット送信手段9によって、UDPに従ったパケットとして送信しているので、放送等の用途で映像データを伝送する際に、IPネットワーク等のネットワークを用いることができ、低コスト化と高可用性とを実現することができる。また、パケットを受信した受信側で、当該ヘッダを解析することによって、IPネットワークを伝送中に一部のパケットが欠損したとしても、受信したパケットを有効に(破棄することなく)活用することができ、片方向通信で、映像データのリアルタイム配信の確実性を確保することができる。
That is, according to the
〈HDTV制作システム[第一実施形態]のデータ受信装置の構成〉
次に、JPEG2000HDTVデコーダCに含まれているデータ受信装置3の構成を説明する。
データ受信装置3は、JPEG2000HDTVエンコーダB(データ送信装置1)からネットワークを介して送信されたUDPパケット(映像データをストリーミングしたもの)を受信して、このUDPパケットに含まれているヘッダ(NNVヘッダ)を解析することによって、当該UDPパケットがネットワークを伝送中に欠損(欠落)した場合でも、受信できた別のUDPパケットを極力破棄せずに復号手段4に出力して有効活用するもので、UDPパケット受信手段(パケット受信手段)11と、ヘッダ検出手段13と、ヘッダ解析手段15と、パケット破棄手段17と、パケット保持手段19と、パケット出力手段21とを備えている。
<Configuration of Data Receiving Device of HDTV Production System [First Embodiment]>
Next, the configuration of the
The
UDPパケット受信手段11は、データ送信装置1から送信されたUDPパケットを、ネットワークを介して受信して、この受信したUDPパケットをヘッダ検出手段13とパケット保持手段19とに出力するものである。
The UDP
ヘッダ検出手段13は、UDPパケット受信手段11で受信されたUDPパケットに含まれている(UDPパケットを構成している)ヘッダ(NNVヘッダ)を検出(分離、抽出)して、ヘッダ解析手段15に出力するものである。
The
ヘッダ解析手段15は、ヘッダ検出手段13で検出されたヘッダ(NNVヘッダ)を解析し、この解析した結果(判定結果)をパケット破棄手段17に出力するもので、映像シーケンス番号判定手段15aと、パケットシーケンス番号判定手段15bと、成分種別判定手段15cと、ヘッダフラグ判定手段15dと、マーカビット判定手段15eとを備えている。
The
映像シーケンス番号判定手段15aは、ヘッダ(NNVヘッダ)に含まれている映像シーケンス番号を判定するものである。この映像シーケンス番号は、送信側のデータ送信装置1で付されたもので、映像データを分割したコードストリームの送信開始から連続する番号を示しているものである。この映像シーケンス番号判定手段15aは、映像シーケンス番号(PSEQ=0,1,2,3,・・・)を、判定結果としてパケット破棄手段17に出力する。
The video sequence number determination means 15a determines the video sequence number included in the header (NNV header). This video sequence number is assigned by the
パケットシーケンス番号判定手段15bは、ヘッダ(NNVヘッダ)に含まれているパケットシーケンス番号を判定するものである。このパケットシーケンス番号は、送信側のデータ送信装置1から送信される際に付されるもので、UDPパケットの送信順を示しているものである。このパケットシーケンス番号判定手段15bは、パケットシーケンス番号(SEQ=0,1,2,3,・・・)を、判定結果としてパケット破棄手段17に出力する。
The packet sequence number determination means 15b determines the packet sequence number included in the header (NNV header). This packet sequence number is assigned when data is transmitted from the
成分種別判定手段15cは、ヘッダ(NNVヘッダ)に含まれている成分識別値を検出して、コードストリームの成分種別(輝度成分または色差成分)を判定するものである。この成分種別判定手段15cは、成分識別値を判定結果として、パケット破棄手段17に出力すると共に、パケット保持手段19にも出力する。
The component
ヘッダフラグ判定手段15dは、ヘッダ(NNVヘッダ)に含まれているヘッダフラグを検出して、コードストリーム単位での開始を示すフラグ(1または0)を判定するものである。この実施形態では、ヘッダフラグが“1”の場合、コードストリーム単位での開始を示す、つまり、先頭パケットを示しているとしている。このヘッダフラグ判定手段15dは、検出し判定したヘッダフラグ(1または0)を、判定結果として、パケット破棄手段17に出力する。
The header
マーカビット判定手段15eは、ヘッダ(NNVヘッダ)に含まれているマーカビットを検出して、コードストリーム単位での終了区切りを示すビット(1または0)を判定するものである。この実施形態では、マーカビットが“1”の場合、コードストリーム単位での終了区切りを示す、つまり、終了パケットを示しているとしている。このマーカビット判定手段15eは、検出し判定したマーカビット(1または0)を、判定結果として、パケット破棄手段17に出力する。
The marker
パケット破棄手段17は、ヘッダ解析手段15で解析された結果(映像シーケンス番号判定手段15aによる判定結果、パケットシーケンス番号判定手段15bによる判定結果、成分種別判定手段15cによる判定結果、ヘッダフラグ判定手段15dによる判定結果およびマーカビット判定手段15eによる判定結果)に基づいて、UDPパケット受信手段11で受信され、パケット保持手段19で保持されているUDPパケットを破棄させるものである。
The
このパケット破棄手段17によるパケットの破棄の仕方は、まず、映像シーケンス番号判定手段15aによる判定結果によって、UDPパケット受信手段11で受信されたUDPパケットが、直前に受信されたUDPパケットと同一フィールドのUDPパケットであるどうかを判定する。同一フィールドのUDPパケットと判定された際で、且つ、ヘッダフラグ判定手段15dによる判定結果およびマーカビット判定手段15eによる判定結果により、ヘッダフラグ“1”およびマーカビット“1”で区切られるコードストリーム単位のUDPパケットと判定された際に、成分種別判定手段15cによる判定結果およびパケットシーケンス番号判定手段15bによる判定結果により、輝度成分または色差成分毎のパケットシーケンス番号が連続していない場合に、パケット保持手段19に保持されているUDPパケットを破棄する指示信号(全破棄指示信号)をパケット保持手段19に出力することで行われる。
The method of discarding the packet by the
また、このパケット破棄手段17によるパケット破棄の仕方は、映像シーケンス番号判定手段15aによる判定結果によって、同一フィールドのUDPパケットと判定された際に、成分種別判定手段15cによる判定結果およびパケットシーケンス番号判定手段15bによる判定結果により、輝度成分の先頭パケット(ペイロードに先頭ヘッダが含まれているUDPパケット)を受信していない場合に、パケット保持手段19に保持されているUDPパケットを破棄する指示信号(全破棄指示信号)をパケット保持手段19に出力することで行われる。
The
さらに、このパケット破棄手段17によるパケット破棄の仕方は、映像シーケンス番号判定手段15aによる判定結果によって、同一フィールドのUDPパケットと判定された際に、成分種別判定手段15cによる判定結果およびパケットシーケンス番号判定手段15bによる判定結果により、色差成分の先頭パケット(ペイロードに先頭ヘッダが含まれているUDPパケット)を受信していない場合に、パケット保持手段19に保持されているUDPパケットの中で色差成分のコードストリームを含むUDPパケットのみを破棄する指示信号(一部破棄指示信号)をパケット保持手段19に出力することで行われる。
Furthermore, the packet discarding method by the
なお、このパケット破棄手段17は、パケットシーケンス番号判定手段15bによる判定結果により、受信したUDPパケットのパケットシーケンス番号が送信開始を示す番号(ここでは、0番号)である判定した場合には、マーカビット判定手段15eによる判定結果によらずに、つまり、コードストリームの終了区切りである最終パケットを受信していない場合に、パケット保持手段19に保持されているUDPパケットを破棄する指示信号(全破棄指示信号)をパケット保持手段19に出力する。
Note that the
パケット保持手段19は、バッファ等によって構成されており、UDPパケット受信手段11で受信されたUDPパケットを、ヘッダ解析手段15の成分種別判定手段15cによる判定結果(成分識別値)に基づいて、輝度成分のコードストリームまたは色差成分のコードストリームを含むUDPパケットに分類して保持(記憶)すると共に、パケット破棄手段17から出力された指示信号(全破棄指示信号、一部破棄指示信号)に基づいて、保持(記憶)しているUDPパケットを破棄する(パケット出力手段21に出力しない)ものである。
The
パケット出力手段21は、パケット保持手段19から出力されたUDPパケットを、復号手段4に出力して、この復号手段4に対して復号(デコード)して表示する指示を行うものである。 The packet output means 21 outputs the UDP packet output from the packet holding means 19 to the decoding means 4 and instructs the decoding means 4 to decode and display it.
すなわち、このデータ受信装置3によれば、UDPパケット受信手段11で受信したUDPパケットのヘッダを解析し、当該UDPパケットのNNVヘッダに含まれている映像シーケンス番号、パケットシーケンス番号、成分識別値、ヘッダフラグおよびマーカビットを判定することで、ネットワークを伝送中に、UDPパケットの一部が欠損したとしても、受信したUDPパケットの中で有効に活用できるもの以外を単純に破棄することで、従来のRTPのように、送信側(データ送信装置1)とセッションを確立する必要がなく、片方向通信(一過性の映像データの流れ)によって、映像データのリアルタイム配信の確実性を確保することができる。
That is, according to this
また、このデータ受信装置3によれば、パケット破棄手段17がパケットシーケンス番号判定手段15bによる判定結果により、パケットシーケンス番号が送信開始を示す番号と判定した場合には、マーカビットの値によらずに、パケット保持手段19に保持しているパケットを破棄することで、受信状態を初期状態に戻すことができ、次のフィールドの映像データを構成するUDPパケットの処理を迅速に行うことができる。
Also, according to the
〈HDTV制作システム[第一実施形態]のデータ送信装置の動作〉
次に、図3に示すフローチャートを参照して、データ送信装置1の動作を説明する(適宜、図1参照)。
まず、データ送信装置1は、図示を省略した記憶手段に記憶されている、符号化された映像データを初期化(クリア)して(ステップS1)、新たに、符号化された映像データの輝度成分と色差成分とを交互に符号化手段2から読み込んで、輝度成分と色差成分とのそれぞれのデータ長をセットする(ステップS2)。
<Operation of Data Transmission Device of HDTV Production System [First Embodiment]>
Next, the operation of the
First, the
続いて、データ送信装置1は、映像データ分割手段5によって、データ長が最大ペイロードサイズよりも大きいか否かを判定し(ステップS3)、データ長が最大ペイロードサイズよりも大きいと判定された場合(ステップS3、Yes)には、送信データ長(コードストリームのサイズ)を最大ペイロードサイズにして、データ長から送信データ長を減算したものを次のUDPパケットのペイロードに収める送信データ長とする(ステップS4)。データ長が最大ペイロードサイズよりも大きいと判定されなかった場合(ステップS3、No)には、送信データ長(コードストリームのサイズ)をデータ長として、次のUDPパケットのペイロードに収めるものを0(なし)とする(ステップS5)。
Subsequently, the
そして、データ送信装置1は、ヘッダ作成手段7の成分種別設定手段7aによって、コードストリームの成分種別が輝度成分であるか否かを判定し(ステップS6)、輝度成分であると判定した場合(ステップS6、Yes)には、コードストリームが輝度成分であることを示す成分識別値(“1”)を設定し(ステップS7)、輝度成分であると判定しなかった場合(ステップS6、No)には、コードストリームが色差成分であることを示す成分識別値(“0”)を設定する(ステップS8)。
Then, the
そして、データ送信装置1は、ヘッダ作成手段7の映像シーケンス番号設定手段7bによって、コードストリームが同一フィールドのものであるか否かを判定し(ステップS9)、同一フィールドのものであると判定した場合(ステップS9、Yes)には、映像シーケンス番号を同じものに設定し(ステップS10)、同一フィールドのものであると判定しなかった場合(ステップS9、No)には、映像シーケンス番号に1インクリメントしたものに設定する(ステップS11)。
Then, the
そして、データ送信装置1は、ヘッダ作成手段7のヘッダフラグ設定手段7cによって、コードストリームの先頭パケットであるか否かを判定し(ステップS12)、先頭パケットであると判定した場合(ステップS12、Yes)には、ヘッダフラグを“ヘッダフラグ=1”と設定し(ステップS13)、先頭パケットであると判定しなかった場合(ステップS12、No)には、ヘッダフラグを“ヘッダフラグ=0”と設定する(ステップS14)。
Then, the
そして、データ送信装置1は、ヘッダ作成手段7のマーカビット設定手段7dによって、コードストリームの最終パケットであるか否かを判定し(ステップS15)、最終パケットであると判定した場合(ステップS15、Yes)には、マーカビットを“マーカビット=1”と設定し(ステップS16)、最終パケットであると判定しなかった場合(ステップS15、No)には、マーカビットを“マーカビット=0”と設定する(ステップS17)。
Then, the
そして、データ送信装置1は、ヘッダ作成手段7のパケットシーケンス番号設定手段7eによって、パケットシーケンス番号を1インクリメントすると共に、ヘッダ作成手段7によって、データタイプ設定、オフセット設定等を行って、NNVヘッダの作成を完了する(ステップS18)。
Then, the
その後、データ送信装置1は、UDPパケット送信手段9によって、映像データ分割手段5で符号化された映像データを分割したコードストリームに、ヘッダ作成手段7で作成したNNVヘッダを付加したものを、UDPパケットとして送信する(ステップS19)。
After that, the
〈HDTV制作システム[第一実施形態]のデータ受信装置の動作〉
次に、図4に示すフローチャートを参照して、データ受信装置3の動作を説明する(適宜、図1参照)。
まず、データ受信装置3は、パケット保持手段19に保持(記憶)されている、受信したUDPパケットを初期化(クリア)して(ステップS21)、UDPパケット受信手段11によって、新たに、UDPパケットを受信し(ステップS22)、ヘッダ検出手段13によって、UDPパケットを構成するNNVヘッダを検出する(ステップS23)。
<Operation of Data Receiving Device of HDTV Production System [First Embodiment]>
Next, the operation of the
First, the
そして、データ受信装置3は、ヘッダ解析手段15によって、ヘッダ検出手段13で検出されたヘッダ(NNVヘッダ)を解析する(ステップS24)。つまり、データ受信装置3は、ヘッダ解析手段15の映像シーケンス番号判定手段15aによる判定結果(映像シーケンス番号)、パケットシーケンス番号判定手段15bによる判定結果(パケットシーケンス番号)、成分種別判定手段15cによる判定結果(成分識別値[輝度成分または色差成分を示す])、ヘッダフラグ判定手段15dによる判定結果(1または0)およびマーカビット判定手段15eによる判定結果(1または0)をパケット破棄手段17に出力する。
Then, the
そして、データ受信装置3は、パケット破棄手段17によって、輝度成分または色差成分のパケットシーケンス番号は連続しているか否かを判定し(ステップS25)、輝度成分または色差成分のパケットシーケンス番号が連続していると判定した場合(ステップS25、Yes)には、輝度成分の先頭パケットを受信しているか否かを判定する(ステップS26)。また、ステップS25にてパケットシーケンス番号が連続していると判定しなかった場合およびステップS26にて輝度成分の先頭パケットを受信していると判定しなかった場合(ステップS25、NoおよびステップS26、No)には、UDPパケット受信手段11で受信してパケット保持手段19に保持しているUDPパケットを破棄する(ステップS27)。
Then, the
また、ステップS26にて輝度成分の先頭パケットを受信していると判定した場合(ステップS26、Yes)には、色差成分の先頭パケットを受信しているか否かを判定する(ステップS28)。色差成分の先頭パケットを受信していると判定しなかった場合(ステップS28、No)には、色差成分のコードストリームを収めているUDPパケットのみを破棄する(ステップS29)。 If it is determined in step S26 that the top packet of the luminance component has been received (step S26, Yes), it is determined whether or not the top packet of the color difference component has been received (step S28). If it is not determined that the leading packet of the color difference component has been received (step S28, No), only the UDP packet containing the code stream of the color difference component is discarded (step S29).
そして、データ受信装置3は、パケット破棄手段17によって、次の映像シーケンス番号のUDPパケットをUDPパケット受信手段11で受信した、或いは、色差成分のコードストリームの最終パケット(マーカビット1)を受信したかを判定し(ステップS30)、いずれかを受信したと判定した場合(ステップS30、Yes)には、パケット保持手段19からパケット出力手段21を介して、復号手段4にUDPパケットを出力し、復号手段4で復号させ、表示装置に表示させて動作を終了する(ステップS31)。また、いずれかを受信したと判定しなかった場合(ステップS30、No)には、破棄しなかったUDPパケットを保持して動作を終了する(ステップS32)。
Then, the
〈HDTV制作システム[第二実施形態]の概要〉
図2は、HDTV制作システム(第二実施形態)のブロック図である。この図2に示すように、HDTV制作システムA1は、JPEG2000HDTVエンコーダBと、JPEG2000HDTVデコーダC1とを備え、これらがネットワークを介して接続されている。
<Outline of HDTV Production System [Second Embodiment]>
FIG. 2 is a block diagram of the HDTV production system (second embodiment). As shown in FIG. 2, the HDTV production system A1 includes a JPEG2000 HDTV encoder B and a JPEG2000 HDTV decoder C1, which are connected via a network.
なお、HDTV制作システムA1には、図示を省略したが、図1に示したHDTV制作システムAと同様に、JPEG2000動画像素材サーバと、ルータと、HDTVフルサイズの表示画面を備えるモニタと、SDTVサイズの表示画面を備える端末と、原映像信号(HDTV信号)の素材検索編集用の端末とが備えられている。 Although not shown in the HDTV production system A1, as in the HDTV production system A shown in FIG. 1, a JPEG2000 moving image material server, a router, a monitor having an HDTV full-size display screen, and an SDTV A terminal having a size display screen and a material search / editing terminal for an original video signal (HDTV signal) are provided.
JPEG2000HDTVエンコーダBは、HDTVカメラで撮影された原映像信号(HDTV信号)が入力された場合に、符号化して、ネットワークに送信するもので、原映像信号(HDTV信号)を符号化する符号化手段2と、データ送信装置1とを備えている。また、JPEG2000HDTVデコーダC1は、ネットワークを介して受信したパケット(符号化したHDTV信号をストリーミングしたもの)を復号して表示装置に出力するもので、データ受信装置3Aと、このデータ受信装置3Aから出力されたパケットを原映像信号(HDTV信号)に復号して出力する復号手段4とを備えている。
The JPEG2000 HDTV encoder B encodes an original video signal (HDTV signal) that is encoded and transmitted to a network when an original video signal (HDTV signal) taken by an HDTV camera is input. 2 and the
〈HDTV制作システム[第二実施形態]のデータ送信装置の構成〉
JPEG2000HDTVエンコーダBに含まれているデータ送信装置1は、図1に示したものと同様であるので説明を省略する。
<Configuration of Data Transmission Device of HDTV Production System [Second Embodiment]>
The
〈HDTV制作システム[第二実施形態]のデータ受信装置の構成〉
〈HDTV制作システム[第一実施形態]のデータ受信装置の構成〉
次に、JPEG2000HDTVデコーダC1に含まれているデータ受信装置3Aの構成を説明する。
データ受信装置3Aは、JPEG2000HDTVエンコーダB(データ送信装置1)からネットワークを介して送信されたUDPパケット(映像データをストリーミングしたもの)を受信して、このUDPパケットに含まれているヘッダ(NNVヘッダ)を解析することによって、当該UDPパケットがネットワークを伝送中に欠損(欠落)した場合でも、受信できた別のUDPパケットを、少なくとも1フィールド分保持して極力破棄せずに復号手段4に出力して有効活用するもので、UDPパケット受信手段11と、ヘッダ検出手段13と、ヘッダ解析手段15と、パケット破棄手段17Aと、パケット保持手段19Aと、パケット出力手段21と、破棄処理遅延手段23とを備えている。図1に示したデータ受信装置3と同様の構成については、同一の符号を付して、その説明を省略する。
<Configuration of Data Receiving Device of HDTV Production System [Second Embodiment]>
<Configuration of Data Receiving Device of HDTV Production System [First Embodiment]>
Next, the configuration of the data receiving device 3A included in the JPEG2000 HDTV decoder C1 will be described.
The data receiving device 3A receives a UDP packet (streamed video data) transmitted from the JPEG2000 HDTV encoder B (data transmitting device 1) via the network, and includes a header (NNV header) included in the UDP packet. ) Is analyzed, even if the UDP packet is lost (missed) during transmission over the network, another received UDP packet is retained for at least one field and output to the decoding means 4 without being discarded as much as possible. Thus, the UDP
パケット破棄手段17Aは、破棄処理遅延手段23から出力される指示信号(破棄処理指示信号)の入力を待って、ヘッダ解析手段15でNNVヘッダが解析された結果(判定結果)に基づいて、パケット破棄を指示する指示信号(全破棄指示信号、一部破棄指示信号)をパケット保持手段19Aに出力するものである。なお、このパケット破棄手段17AによるUDPパケット破棄の仕方は、図1に示したパケット破棄手段17とほぼ同様であるので(正確には、判定する内容は同じであるが、判定する順序が異なる。それゆえ、詳細な説明は動作の説明で行うこととする)説明を省略する。
The
パケット保持手段19Aは、バッファ等によって構成されており、UDPパケット受信手段11で受信されたUDPパケットを、当該UDPパケットのペイロードに収められているコードストリームの成分種別(ヘッダ解析手段15の成分種別判定手段15cによる判定結果)に基づいて分類して、少なくとも1フィールド分保持するもので、輝度成分保持手段19aと、色差成分保持手段19bとによって構成されている。また、パケット保持手段19Aは、パケット破棄手段17Aから出力される指示信号(全破棄指示信号、一部破棄指示信号)に基づいて、保持しているUDPパケットを破棄する(パケット出力手段21に出力させない)ものである。
The
輝度成分保持手段19aは、輝度成分のコードストリームを1フィールド分保持するものである。
色差成分保持手段19bは、色差成分のコードストリームを1フィールド分保持するものである。
The luminance component holding means 19a holds the code stream of the luminance component for one field.
The color difference component holding unit 19b holds a code stream of color difference components for one field.
破棄処理遅延手段23は、ヘッダ解析手段15の映像シーケンス番号判定手段15aによる判定結果に基づいて、映像シーケンス番号が次のフィールドのコードストリームを示していると判定されるまで、すなわち、UDPパケット受信手段11でUDPパケットが1フィールド分到来したと判定した場合に、パケット破棄手段17Aにパケット破棄の実行を促す指示信号(破棄処理指示信号)を出力するものである。
The discarding
すなわち、このデータ受信装置3Aによれば、UDPパケット受信手段11で受信したUDPパケットのヘッダを解析し、当該UDPパケットのNNVヘッダに含まれている映像シーケンス番号、パケットシーケンス番号、成分識別値、ヘッダフラグおよびマーカビットを判定すると共に、受信したUDPパケットをパケット保持手段19Aで1フィールド分保持して、当該UDPパケットの中で有効に活用できるもの以外を破棄する処理を遅延させて行うことで、従来のRTPように、送信側とセッションを確立する必要がなく、片方向通信(一過性の映像データの流れ)によって、映像データのリアルタイム配信の確実性を確保することができる。すなわち、同一フィールド内の映像データを分割したコードストリームが収められているUDPパケットにおいて、パケット欠落有無の判断を遅延させることにより、ネットワークを伝送している途中で順序が入れ替わったUDPパケットを受信できた場合、当該UDPパケットを破棄することなく、有効に活用すること(拾い上げること)ができる。
That is, according to the data receiving apparatus 3A, the UDP packet header received by the UDP
〈HDTV制作システム[第二実施形態]のデータ送信装置の動作〉
HDTV制作システムA1のJPEG2000HDTVエンコーダBに内包されているデータ送信装置1は、図1に示したものと同様であるので、動作の説明も省略する。
<Operation of Data Transmission Device of HDTV Production System [Second Embodiment]>
The
〈HDTV制作システム[第二実施形態]のデータ受信装置の動作〉
次に、図5に示すフローチャートを参照して、データ受信装置3Aの動作を説明する(適宜、図2参照)。
まず、データ受信装置3Aは、パケット保持手段19Aに保持(記憶)されている、受信したUDPパケットを初期化(クリア)して(ステップS41)、UDPパケット受信手段11によって、新たに、UDPパケットを受信し(ステップS42)、ヘッダ検出手段13によって、UDPパケットを構成するNNVヘッダを検出する(ステップS43)。
<Operation of Data Receiving Device of HDTV Production System [Second Embodiment]>
Next, the operation of the data receiving device 3A will be described with reference to the flowchart shown in FIG. 5 (see FIG. 2 as appropriate).
First, the data receiving device 3A initializes (clears) the received UDP packet held (stored) in the
そして、データ受信装置3Aは、ヘッダ解析手段15によって、ヘッダ検出手段13で検出されたヘッダ(NNVヘッダ)を解析する(ステップS44)。つまり、データ受信装置3は、ヘッダ解析手段15の映像シーケンス番号判定手段15aによる判定結果(映像シーケンス番号)、パケットシーケンス番号判定手段15bによる判定結果(パケットシーケンス番号)、成分種別判定手段15cによる判定結果(成分識別値[輝度成分または色差成分を示す])、ヘッダフラグ判定手段15dによる判定結果(1または0)およびマーカビット判定手段15eによる判定結果(1または0)をパケット破棄手段17Aに出力する。
Then, the data reception device 3A analyzes the header (NNV header) detected by the
なお、データ受信装置3Aは、ヘッダ解析手段15の成分種別判定手段15cによる判定結果(成分識別値[輝度成分または色差成分を示す])をパケット保持手段19Aに出力する(ステップS45)。
The data receiving device 3A outputs the determination result (component identification value [indicating luminance component or color difference component]) by the component
そして、データ受信装置3Aは、パケット破棄手段17Aによって、UDPパケット受信手段11で新たに受信したUDPパケットの映像シーケンス番号が、既に受信した(受信済み)のUDPパケットの映像シーケンス番号と同じ番号であるか否か(同一フィールドのものであるか否か)を判定し(ステップS46)、同じであると判定した場合(ステップS46、Yes)には、パケット保持手段19AにUDPパケットを保持させ(破棄せず)(ステップS47)、動作を終了する。同じであると判定しなかった場合(ステップS46、No)には、輝度成分の先頭パケットを既に受信済みか否かを判定する(ステップS48)。輝度成分の先頭パケットを既に受信済みと判定した場合(ステップS48、Yes)には、色差成分の先頭パケットを受信しているか否かを判定する(ステップS49)。色差成分の先頭パケットを受信していると判定しなかった場合(ステップS49、No)には、色差成分のコードストリームを収めているUDPパケットのみを破棄する(ステップS50)。色差成分の先頭パケットを受信していると判定した場合(ステップS49、Yes)には、輝度成分または色差成分のパケットシーケンス番号は連続しているか否かを判定する(ステップS51)。
Then, the data receiving device 3A uses the
そして、データ受信装置3Aは、パケット破棄手段17Aによって、ステップS48にて輝度成分の先頭パケットを既に受信済みと判定しなかった場合(ステップS48、No)およびステップS51にて輝度成分または色差成分のパケットシーケンス番号が連続していると判定しなかった場合(ステップS51、No)には、受信したUDPパケットを破棄させて動作を終了する(ステップS52)。
Then, the data receiving device 3A determines that the
また、データ受信装置3Aは、パケット破棄手段17Aによって、ステップS51にて輝度成分または色差成分のパケットシーケンス番号が連続していると判定した場合(ステップS51、Yes)には、受信したUDPパケットをパケット保持手段19Aからパケット出力手段21を介して、復号手段4に出力し、復号手段4で復号させ、表示装置に表示させて動作を終了する(ステップS53)。
If the
〈UDPパケット列の取得例について〉
次に、図6〜図8を参照して、データ受信装置3(3A)で受信したUDPパケットを破棄または出力する場合、つまり、UDPパケット列の取得例について説明する。
これまで述べてきたように、第一実施形態のデータ受信装置3は、受信したUDPパケットを単純に破棄する態様であり、第二実施形態のデータ受信装置3Aは、受信したUDPパケットを1フィールド分保持して破棄する処理を遅延させる態様であるので、データ受信装置3は単純破棄型の受信装置、データ受信装置3Aは1フィールド遅延型の受信装置と言える。
<Example of obtaining UDP packet sequence>
Next, a case where the UDP packet received by the data receiving device 3 (3A) is discarded or output, that is, an example of obtaining a UDP packet sequence will be described with reference to FIGS.
As described above, the
図6は、データ受信装置3(3A)によって、UDPパケット(パケット)が正常に受信された場合を示したものである。図7は、データ受信装置3(3A)によって、UDPパケット(パケット)が正常に受信されなかった場合(いずれかのパケットが欠落(ロスト)した場合)を示したものである。図8は、データ受信装置3(3A)によって、UDPパケット(パケット)が正常に受信されなかった場合(いずれかのパケットの順番が逆転した場合)を示したものである。 FIG. 6 shows a case where the UDP packet (packet) is normally received by the data receiving device 3 (3A). FIG. 7 shows a case where the UDP packet (packet) is not normally received by the data receiving device 3 (3A) (when any packet is lost (lost)). FIG. 8 shows a case where the UDP packet (packet) is not normally received by the data receiving device 3 (3A) (when the order of any of the packets is reversed).
図6から図8に示すように、それぞれの図では、パケット0からパケット10までの11個のパケットが示されており、Y0_0、Y0_1、Y0_2、・・・が輝度成分のコードストリームの順序を、C0_0、C0_1、C0_2、・・・が色差成分のコードストリームの順序を示しており、SEQがパケットシーケンス番号を示している。また、PSEQが映像シーケンス番号を示しており、CDが成分識別値を示しており、HFがヘッダフラグを示しており、MBがマーカビットを示している。
As shown in FIGS. 6 to 8, in each figure, 11 packets from
また、各パケットの最下段の“○”は当該パケットが活用できることを示している。なお、図6には示されていないが、図7および図8において示されている、各パケットの最下段の“×”は当該パケットを破棄することを示している。 In addition, “o” at the bottom of each packet indicates that the packet can be used. Although not shown in FIG. 6, “x” at the bottom of each packet shown in FIGS. 7 and 8 indicates that the packet is discarded.
図6に示したように、パケットが正常に受信できた場合には、破棄するパケットは存在しない。
また、図7(a)に示したように、ネットワークを伝送中に何らかの障害によって、先頭パケット以外のパケットがロストしてしまった場合(パケット1からパケット3まで、パケット5およびパケット6、パケット8、パケット10がロスト)、輝度成分または色差成分のコードストリームの先頭パケットのみを活用することができる。
As shown in FIG. 6, when a packet can be normally received, there is no packet to be discarded.
Further, as shown in FIG. 7A, when a packet other than the first packet is lost due to some trouble during transmission through the network (from
また、図7(b)に示したように、ネットワークを伝送中に何らかの障害によって、色差成分のコードストリームの先頭パケットであるパケット4がロストしてしまった場合、同一フィールドにおける色差成分の先頭パケットがないので、パケット5およびパケット6は破棄されることになる。
Further, as shown in FIG. 7B, when
さらに、図7(c)に示したように、ネットワークを伝送中に何らかの障害によって、輝度成分のコードストリームの先頭パケットであるパケット0がロストしてしまった場合、同一フィールドにおける輝度成分の先頭パケットがないので、同一フィールドの輝度成分のパケット1からパケット3までと、色差成分のパケット4からパケット6までとは、全て破棄されることになる。
Further, as shown in FIG. 7C, when
また、図8(a)に示したように、ネットワークを伝送中に何らかの障害によって、パケット2が遅延して受信された場合、データ受信装置3(単純廃棄)では、パケット2およびパケット3は廃棄されることになる。
さらに、図8(b)に示したように、ネットワークを伝送中に何らかの障害によって、パケット3とパケット4との到来タイミングが逆転した場合、データ受信装置3A(1フィールド遅延型)では、パケットシーケンス番号(シーケンス番号)の成分毎の連続性が保たれているので、いずれのパケットも破棄されないことになる。
Further, as shown in FIG. 8A, when the
Further, as shown in FIG. 8B, when the arrival timing of the
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、データ送信装置1およびデータ受信装置3(3A)として説明したが、データ送信装置1およびデータ受信装置3(3A)の各構成の処理を情報の処理過程と捉えたデータ送信方法およびデータ受信方法とみなすことも可能である。また、データ送信装置1およびデータ受信装置3(3A)の各構成の処理を汎用的または特殊なコンピュータ言語で記述したデータ送信プログラムおよびデータ受信プログラムとみなすことも可能である。これらの場合、データ送信装置1およびデータ受信装置3(3A)と同様の効果を得ることができる。
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. For example, in the present embodiment, the
1 データ送信装置
3、3A データ受信装置
5 映像データ分割手段
7 ヘッダ作成手段
7a 成分種別設定手段
7b 映像シーケンス番号設定手段
7c ヘッダフラグ設定手段
7d マーカビット設定手段
7e パケットシーケンス番号設定手段
9 UDPパケット送信手段
11 UDPパケット受信手段(パケット受信手段)
13 ヘッダ検出手段
15 ヘッダ解析手段
15a 映像シーケンス番号判定手段
15b パケットシーケンス番号判定手段
15c 成分種別判定手段
15d ヘッダフラグ判定手段
15e マーカビット判定手段
17、17A パケット破棄手段
19、19A パケット保持手段
19a 輝度成分保持手段
19b 色差成分保持手段
21 パケット出力手段
23 破棄処理遅延手段
DESCRIPTION OF
13 Header detecting means 15 Header analyzing means 15a Video sequence number determining means 15b Packet sequence
Claims (6)
前記パケットを受信するパケット受信手段と、
前記パケットのヘッダを検出するヘッダ検出手段と、
このヘッダ検出手段で検出されたヘッダに含まれている前記映像シーケンス番号を判定する映像シーケンス番号判定手段と、
前記ヘッダに含まれている前記パケットシーケンス番号を判定するパケットシーケンス番号判定手段と、
前記ヘッダに含まれている前記成分識別値に基づいて、成分種別を判定する成分種別判定手段と、
前記ヘッダに含まれている前記ヘッダフラグを判定するヘッダフラグ判定手段と、
前記ヘッダに含まれている前記マーカビットを判定するマーカビット判定手段と、
前記成分種別判定手段で判定された成分種別に従って分類して、前記パケット受信手段で受信されたパケットを保持するパケット保持手段と、
前記映像シーケンス番号判定手段による判定結果、前記パケットシーケンス番号判定手段による判定結果、前記成分種別判定手段による判定結果、前記ヘッダフラグ判定手段による判定結果および前記マーカビット判定手段による判定結果に基づき、前記映像シーケンス番号によって同一フィールドのパケットと判定され、前記ヘッダフラグと前記マーカビットとで区切られるコードストリーム単位において、前記輝度成分または前記色差成分毎の前記パケットシーケンス番号が連続でない場合、または、前記輝度成分の先頭のパケットを受信していない場合、前記パケット保持手段に保持しているパケットを破棄すると共に、前記映像シーケンス番号によって同一フィールドのパケットと判定され、前記ヘッダフラグと前記マーカビットとで区切られるコードストリーム単位において、前記色差成分の先頭のパケットを受信していない場合、前記パケット保持手段に保持している前記色差成分のパケットのみを破棄するパケット破棄手段と、
前記パケット保持手段で保持されているパケットの中で、前記パケット破棄手段で破棄されなかったパケットを出力するパケット出力手段と、
を備えることを特徴とするデータ受信装置。 Arranged in the payload as a code stream obtained by alternately dividing the luminance component and the chrominance component of the encoded video data by the size of the payload of the packet, and for each code stream, consecutive numbers of fields constituting the video data A video sequence number indicating a packet sequence number indicating a consecutive number in the transmission order of the packets, a component identification value that is a value for identifying whether the code stream is the luminance component or the color difference component, Data reception for receiving a packet to which a header including a header flag that indicates a start of each component in a code stream unit and a marker bit that is a bit that indicates an end delimiter for each component in the code stream unit is added A device,
A packet receiving means for receiving the packet;
Header detection means for detecting a header of the packet;
A video sequence number determining means for determining the movies image sequence number that is included in the detected header in this header detection means,
And determining Packet sequence number determining unit that the packet sequence number that is included in the header,
On the basis of the Ingredients identification value that is included in the header, a component type determining means for determining a component type,
Header flag determination means for determining the f Ddafuragu that contained in the header,
The marker bit determination means for determining said Ma Kabitto that contained in the header,
A packet holding means for classifying according to the component type determined by the component type determining means and holding the packet received by the packet receiving means;
Based on the determination result by the video sequence number determination unit, the determination result by the packet sequence number determination unit, the determination result by the component type determination unit, the determination result by the header flag determination unit, and the determination result by the marker bit determination unit, When the packet sequence number for each of the luminance component or the color difference component is not continuous in the code stream unit determined as a packet of the same field by the video sequence number and delimited by the header flag and the marker bit, or the luminance If the first packet of the component has not been received, the packet held in the packet holding means is discarded, and the packet is determined to be in the same field by the video sequence number, and the header flag and the marker bit are In separated by code stream unit, the head of the case where no packet is received, discard the packet discarding means only packets of the color difference component held in the packet holding means of the color difference component,
A packet output means for outputting a packet not discarded by the packet discarding means among the packets held by the packet holding means;
A data receiving apparatus comprising:
前記パケットを受信するパケット受信手段と、
前記パケットのヘッダを検出するヘッダ検出手段と、
このヘッダ検出手段で検出されたヘッダに含まれている前記映像シーケンス番号を判定する映像シーケンス番号判定手段と、
前記ヘッダに含まれている前記パケットシーケンス番号を判定するパケットシーケンス番号判定手段と、
前記ヘッダに含まれている前記成分識別値に基づいて、成分種別を判定する成分種別判定手段と、
前記ヘッダに含まれている前記ヘッダフラグを判定するヘッダフラグ判定手段と、
前記ヘッダに含まれている前記マーカビットを判定するマーカビット判定手段と、
前記成分種別判定手段で判定された成分種別に従って分類して、前記パケット受信手段で受信されたパケットを1フィールド分保持するパケット保持手段と、
前記映像シーケンス番号判定手段による判定結果に基づいて、前記パケット保持手段に前記パケットが1フィールド分到来したと判定されるまで、前記パケットを破棄する処理を遅延させる破棄処理遅延手段と、
この破棄処理遅延手段によって前記パケットを破棄する処理を実行すると判定されたことを契機に、前記映像シーケンス番号判定手段による判定結果、前記パケットシーケンス番号判定手段による判定結果、前記成分種別判定手段による判定結果、前記ヘッダフラグ判定手段による判定結果および前記マーカビット判定手段による判定結果に基づき、前記映像シーケンス番号によって同一フィールドのパケットと判定され、前記ヘッダフラグと前記マーカビットとで区切られるコードストリーム単位において、前記輝度成分または前記色差成分毎の前記パケットシーケンス番号が連続でない場合、または、前記輝度成分の先頭のパケットを受信していない場合、前記パケット保持手段に保持しているパケットを破棄すると共に、前記映像シーケンス番号によって同一フィールドのパケットと判定され、前記ヘッダフラグと前記マーカビットとで区切られるコードストリーム単位において、前記色差成分の先頭のパケットを受信していない場合、前記パケット保持手段に保持している前記色差成分のパケットのみを破棄するパケット破棄手段と、
前記パケット保持手段で保持されているパケットの中で、前記パケット破棄手段で破棄されなかったパケットを出力するパケット出力手段と、
を備えることを特徴とするデータ受信装置。 Arranged in the payload as a code stream obtained by alternately dividing the luminance component and the chrominance component of the encoded video data by the size of the payload of the packet, and for each code stream, consecutive numbers of fields constituting the video data A video sequence number indicating a packet sequence number indicating a consecutive number in the transmission order of the packets, a component identification value that is a value for identifying whether the code stream is the luminance component or the color difference component, Data reception for receiving a packet to which a header including a header flag that indicates a start of each component in a code stream unit and a marker bit that is a bit that indicates an end delimiter for each component in the code stream unit is added A device,
A packet receiving means for receiving the packet;
Header detection means for detecting a header of the packet;
A video sequence number determining means for determining the movies image sequence number that is included in the detected header in this header detection means,
And determining the packet sequence number determining unit that the packet sequence number that is included in the header,
On the basis of the Ingredients identification value that is included in the header, a component type determining means for determining a component type,
Header flag determination means for determining the f Ddafuragu that contained in the header,
The marker bit determination means for determining said Ma Kabitto that contained in the header,
A packet holding unit for classifying according to the component type determined by the component type determining unit, and holding the packet received by the packet receiving unit for one field;
A discarding process delaying unit for delaying a process of discarding the packet until it is determined that one packet has arrived in the packet holding unit based on a determination result by the video sequence number determining unit;
The determination result by the video sequence number determination unit, the determination result by the packet sequence number determination unit, and the determination by the component type determination unit when the discard processing delay unit determines to execute the process of discarding the packet. As a result, based on the determination result by the header flag determination means and the determination result by the marker bit determination means, it is determined as a packet in the same field by the video sequence number, and in a code stream unit delimited by the header flag and the marker bit When the packet sequence number for each of the luminance component or the color difference component is not continuous, or when the first packet of the luminance component has not been received, the packet held in the packet holding unit is discarded, The video sheet If the first packet of the color difference component is not received in the code stream unit delimited by the header number and the marker bit, the packet holding unit holds the packet. A packet discarding unit for discarding only the packet of the color difference component;
A packet output means for outputting a packet not discarded by the packet discarding means among the packets held by the packet holding means;
A data receiving apparatus comprising:
前記パケットシーケンス番号判定手段で前記パケットシーケンス番号が送信開始を示す番号と判定した場合には、
前記マーカビット判定手段による判定結果によらずに、前記パケット保持手段に保持されているパケットを全て破棄することを特徴とする請求項1または請求項2に記載のデータ受信装置。 The packet discarding means includes
When the packet sequence number determining means determines that the packet sequence number is a number indicating the start of transmission,
Irrespective of the determination result by the marker bit judgment means, the data receiving apparatus according to claim 1 or claim 2, characterized in that discarded packets stored in the packet holding means.
前記パケット受信手段で受信されたパケットのヘッダを検出するヘッダ検出手段、
このヘッダ検出手段で検出されたヘッダに含まれている前記映像シーケンス番号を判定する映像シーケンス番号判定手段、
前記ヘッダに含まれている前記パケットシーケンス番号を判定するパケットシーケンス番号判定手段、
前記ヘッダに含まれている前記成分識別値に基づいて、成分種別を判定する成分種別判定手段、
前記ヘッダに含まれている前記ヘッダフラグを判定するヘッダフラグ判定手段、
前記ヘッダに含まれている前記マーカビットを判定するマーカビット判定手段、
前記成分種別判定手段で判定された成分種別に従って、前記パケット受信手段で受信されたパケットを、前記パケット保持手段に保持させるパケット保持制御手段、
前記映像シーケンス番号判定手段による判定結果、前記パケットシーケンス番号判定手段による判定結果、前記成分種別判定手段による判定結果、前記ヘッダフラグ判定手段による判定結果および前記マーカビット判定手段による判定結果に基づき、前記映像シーケンス番号によって同一フィールドのパケットと判定され、前記ヘッダフラグと前記マーカビットとで区切られるコードストリーム単位において、前記輝度成分または前記色差成分毎の前記パケットシーケンス番号が連続でない場合、または、前記輝度成分の先頭のパケットを受信していない場合、前記パケット保持手段に保持しているパケットを破棄すると共に、前記映像シーケンス番号によって同一フィールドのパケットと判定され、前記ヘッダフラグと前記マーカビットとで区切られるコードストリーム単位において、前記色差成分の先頭のパケットを受信していない場合、前記パケット保持手段に保持している前記色差成分のパケットのみを破棄するパケット破棄手段、
前記パケット保持手段で保持されているパケットの中で、前記パケット破棄手段で破棄されなかったパケットを前記パケット出力手段から出力させるパケット出力制御手段、
として機能させることを特徴とするデータ受信プログラム。 Arranged in the payload as a code stream obtained by alternately dividing the luminance component and the chrominance component of the encoded video data by the size of the payload of the packet, and for each code stream, consecutive numbers of fields constituting the video data A video sequence number indicating a packet sequence number indicating a consecutive number in the transmission order of the packets, a component identification value that is a value for identifying whether the code stream is the luminance component or the color difference component, To receive a packet to which a header including a header flag that indicates the start of each component in a code stream unit and a marker bit that is a bit that indicates an end delimiter for each component in the code stream unit is added , Packet receiving means for receiving the packet and holding the packet A computer having a packet output means for outputting that packet holding means and the packet,
Header detection means for detecting a header of a packet received by the packet reception means;
Video sequence number determining means for determining the movies image sequence number that is included in the detected header in this header detection means,
Packet sequence number determining means for determining the packet sequence number that is included in the header,
On the basis of the Ingredients identification value that is included in the header, component type determination means for determining component type,
Header flag determination means for determining the f Ddafuragu that contained in the header,
Marker bit determining means for determining said Ma Kabitto that contained in the header,
Packet holding control means for holding the packet received by the packet receiving means in the packet holding means according to the component type determined by the component type determining means,
Based on the determination result by the video sequence number determination unit, the determination result by the packet sequence number determination unit, the determination result by the component type determination unit, the determination result by the header flag determination unit, and the determination result by the marker bit determination unit, When the packet sequence number for each of the luminance component or the color difference component is not continuous in the code stream unit determined as a packet of the same field by the video sequence number and delimited by the header flag and the marker bit, or the luminance If the first packet of the component has not been received, the packet held in the packet holding means is discarded, and the packet is determined to be the same field by the video sequence number, and the header flag and the marker bit are In delimited by codestream units, if not received head packet of the color difference component, discard the packet discarding means only packets of the color difference component held in the packet holding means,
Packet output control means for outputting, from the packet output means, packets that are not discarded by the packet discarding means among the packets held by the packet holding means,
A data receiving program that functions as
前記パケット受信手段で受信されたパケットのヘッダを検出するヘッダ検出手段、
このヘッダ検出手段で検出されたヘッダに含まれている前記映像シーケンス番号を判定する映像シーケンス番号判定手段、
前記ヘッダに含まれている前記パケットシーケンス番号を判定するパケットシーケンス番号判定手段、
前記ヘッダに含まれている前記成分識別値に基づいて、成分種別を判定する成分種別判定手段、
前記ヘッダに含まれている前記ヘッダフラグを判定するヘッダフラグ判定手段、
前記ヘッダに含まれている前記マーカビットを判定するマーカビット判定手段、
前記成分種別判定手段で判定された成分種別に従って、前記パケット受信手段で受信されたパケットを、前記パケット保持手段に、1フィールド分保持させるパケット保持制御手段、
前記映像シーケンス番号判定手段による判定結果に基づいて、前記パケット保持手段に前記パケットが1フィールド分到来したと判定されるまで、前記パケットを破棄する処理を遅延させる破棄処理遅延手段、
この破棄処理遅延手段によって前記パケットを破棄する処理を実行すると判定されたことを契機に、前記映像シーケンス番号判定手段による判定結果、前記パケットシーケンス番号判定手段による判定結果、前記成分種別判定手段による判定結果、前記ヘッダフラグ判定手段による判定結果および前記マーカビット判定手段による判定結果に基づき、前記映像シーケンス番号によって同一フィールドのパケットと判定され、前記ヘッダフラグと前記マーカビットとで区切られるコードストリーム単位において、前記輝度成分または前記色差成分毎の前記パケットシーケンス番号が連続でない場合、または、前記輝度成分の先頭のパケットを受信していない場合、前記パケット保持手段に保持しているパケットを破棄すると共に、前記映像シーケンス番号によって同一フィールドのパケットと判定され、前記ヘッダフラグと前記マーカビットとで区切られるコードストリーム単位において、前記色差成分の先頭のパケットを受信していない場合、前記パケット保持手段に保持している前記色差成分のパケットのみを破棄するパケット破棄手段、
前記パケット保持手段で保持されているパケットの中で、前記パケット破棄手段で破棄されなかったパケットを前記パケット出力手段から出力させるパケット出力制御手段、
として機能させることを特徴とするデータ受信プログラム。 Arranged in the payload as a code stream obtained by alternately dividing the luminance component and the chrominance component of the encoded video data by the size of the payload of the packet, and for each code stream, consecutive numbers of fields constituting the video data A video sequence number indicating a packet sequence number indicating a consecutive number in the transmission order of the packets, a component identification value that is a value for identifying whether the code stream is the luminance component or the color difference component, To receive a packet to which a header including a header flag that indicates the start of each component in a code stream unit and a marker bit that is a bit that indicates an end delimiter for each component in the code stream unit is added , Packet receiving means for receiving the packet and holding the packet A computer having a packet output means for outputting that packet holding means and the packet,
Header detection means for detecting a header of a packet received by the packet reception means;
Video sequence number determining means for determining the movies image sequence number that is included in the detected header in this header detection means,
Packet sequence number determining means for determining the packet sequence number that is included in the header,
On the basis of the Ingredients identification value that is included in the header, component type determination means for determining component type,
Header flag determination means for determining the f Ddafuragu that contained in the header,
Marker bit determining means for determining said Ma Kabitto that contained in the header,
Packet holding control means for holding the packet received by the packet receiving means for one field according to the component type determined by the component type determining means,
A discarding process delaying unit for delaying a process of discarding the packet until it is determined that the packet has arrived for one field in the packet holding unit based on a determination result by the video sequence number determining unit;
The determination result by the video sequence number determination unit, the determination result by the packet sequence number determination unit, and the determination by the component type determination unit when the discard processing delay unit determines to execute the process of discarding the packet. As a result, based on the determination result by the header flag determination means and the determination result by the marker bit determination means, it is determined as a packet in the same field by the video sequence number, and in a code stream unit delimited by the header flag and the marker bit When the packet sequence number for each of the luminance component or the color difference component is not continuous, or when the first packet of the luminance component has not been received, the packet held in the packet holding unit is discarded, The video sheet If the first packet of the color difference component is not received in the code stream unit delimited by the header number and the marker bit, the packet holding unit holds the packet. Packet discarding means for discarding only the packet of the color difference component,
Packet output control means for outputting, from the packet output means, packets that have not been discarded by the packet discarding means among the packets held by the packet holding means,
A data receiving program that functions as
前記パケットシーケンス番号判定手段で前記パケットシーケンス番号が送信開始を示す番号と判定した場合には、When the packet sequence number determining means determines that the packet sequence number is a number indicating the start of transmission,
前記マーカビット判定手段による判定結果によらずに、前記パケット保持手段に保持されているパケットを全て破棄することを特徴とする請求項4または請求項5に記載のデータ受信プログラム。6. The data receiving program according to claim 4, wherein all the packets held in the packet holding unit are discarded regardless of the determination result by the marker bit determining unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004152163A JP4564782B2 (en) | 2004-05-21 | 2004-05-21 | Data receiving apparatus and data receiving program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004152163A JP4564782B2 (en) | 2004-05-21 | 2004-05-21 | Data receiving apparatus and data receiving program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005333568A JP2005333568A (en) | 2005-12-02 |
JP4564782B2 true JP4564782B2 (en) | 2010-10-20 |
Family
ID=35487885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004152163A Active JP4564782B2 (en) | 2004-05-21 | 2004-05-21 | Data receiving apparatus and data receiving program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4564782B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100855347B1 (en) | 2006-12-05 | 2008-09-04 | 에스케이 텔레콤주식회사 | Message transmitting system based on udp control and method for the same |
KR100958940B1 (en) | 2007-09-07 | 2010-05-19 | 서강대학교산학협력단 | Method for transferring applications in broadcast for Internet Protocol Television |
US20100104003A1 (en) * | 2008-10-24 | 2010-04-29 | Manufacturing Resources International Inc. | System and method for securely transmitting video data |
US9812047B2 (en) | 2010-02-25 | 2017-11-07 | Manufacturing Resources International, Inc. | System and method for remotely monitoring the operating life of electronic displays |
JP5549149B2 (en) * | 2009-08-25 | 2014-07-16 | 富士電機株式会社 | Data sharing system, data sharing method, and data sharing program |
JP5094826B2 (en) * | 2009-12-09 | 2012-12-12 | 三菱電機株式会社 | Unicast redistribution device and packet processing program |
CA2997779A1 (en) | 2015-09-10 | 2017-03-16 | Manufacturing Resources International, Inc. | System and method for systemic detection of display errors |
US10908863B2 (en) | 2018-07-12 | 2021-02-02 | Manufacturing Resources International, Inc. | System and method for providing access to co-located operations data for an electronic display |
JP7170621B2 (en) * | 2018-12-10 | 2022-11-14 | 株式会社東芝 | CONTENT DISTRIBUTION SYSTEM, CONTENT DISTRIBUTION DEVICE, AND METHOD |
US11402940B2 (en) | 2019-02-25 | 2022-08-02 | Manufacturing Resources International, Inc. | Monitoring the status of a touchscreen |
US11137847B2 (en) | 2019-02-25 | 2021-10-05 | Manufacturing Resources International, Inc. | Monitoring the status of a touchscreen |
US11965804B2 (en) | 2021-07-28 | 2024-04-23 | Manufacturing Resources International, Inc. | Display assemblies with differential pressure sensors |
US11921010B2 (en) | 2021-07-28 | 2024-03-05 | Manufacturing Resources International, Inc. | Display assemblies with differential pressure sensors |
US11972672B1 (en) | 2022-10-26 | 2024-04-30 | Manufacturing Resources International, Inc. | Display assemblies providing open and unlatched alerts, systems and methods for the same |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0286281A (en) * | 1988-06-28 | 1990-03-27 | Mitsubishi Electric Sales America Inc | Method and device for transmitting data corresponding to picture element in video image through telephone line |
JPH06237451A (en) * | 1993-02-10 | 1994-08-23 | Hitachi Ltd | Moving picture communication system and terminal equipment |
JPH07143440A (en) * | 1993-11-17 | 1995-06-02 | Toshiba Corp | High efficiency coded data processing unit |
JPH11177948A (en) * | 1997-12-11 | 1999-07-02 | Canon Inc | Communication equipment, method and system |
JP2002044144A (en) * | 2000-07-27 | 2002-02-08 | Nec Soft Ltd | Continuous a/v data transfer system and transfer method |
JP2003101788A (en) * | 2001-09-25 | 2003-04-04 | Ricoh Co Ltd | Decoding method, decoding device, picture processor, packet header generating method and packet header generating device |
JP2003143095A (en) * | 2001-11-01 | 2003-05-16 | Asahi National Broadcasting Co Ltd | Transmission controller |
-
2004
- 2004-05-21 JP JP2004152163A patent/JP4564782B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0286281A (en) * | 1988-06-28 | 1990-03-27 | Mitsubishi Electric Sales America Inc | Method and device for transmitting data corresponding to picture element in video image through telephone line |
JPH06237451A (en) * | 1993-02-10 | 1994-08-23 | Hitachi Ltd | Moving picture communication system and terminal equipment |
JPH07143440A (en) * | 1993-11-17 | 1995-06-02 | Toshiba Corp | High efficiency coded data processing unit |
JPH11177948A (en) * | 1997-12-11 | 1999-07-02 | Canon Inc | Communication equipment, method and system |
JP2002044144A (en) * | 2000-07-27 | 2002-02-08 | Nec Soft Ltd | Continuous a/v data transfer system and transfer method |
JP2003101788A (en) * | 2001-09-25 | 2003-04-04 | Ricoh Co Ltd | Decoding method, decoding device, picture processor, packet header generating method and packet header generating device |
JP2003143095A (en) * | 2001-11-01 | 2003-05-16 | Asahi National Broadcasting Co Ltd | Transmission controller |
Also Published As
Publication number | Publication date |
---|---|
JP2005333568A (en) | 2005-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6419235B2 (en) | Apparatus for receiving data in a digital broadcasting system | |
US11196786B2 (en) | Interface apparatus and method for transmitting and receiving media data | |
JP4195030B2 (en) | Video data transmission method and reception method for continuous video display | |
JP4564782B2 (en) | Data receiving apparatus and data receiving program | |
EP1427146B1 (en) | Packet transmission system and packet reception system | |
KR100651486B1 (en) | Apparatus and Method for transporting MPEG contents through Internet Protocol Network | |
CN101540652B (en) | Terminal heterogeneous self-matching transmission method of multi-angle video Flow | |
US20110219414A1 (en) | Method, apparatus, and system for switching channels | |
JP2002141945A (en) | Data transmission system and data transmission method, and program storage medium | |
RU2420909C2 (en) | Splitting data stream | |
EP1675318A1 (en) | Media stream multicast distribution method and apparatus | |
JP2000224216A (en) | Repeater, communication terminal and communication method | |
JP4491290B2 (en) | Packet error monitoring type MPEG decoder, MPEG video transmission system, and MPEG video transmission method | |
JP2002141944A (en) | Data transmission system and data transmission method, and program storage medium | |
WO2021260935A1 (en) | Video distribution system, video distribution method, transmission device, and transmission program | |
Quaritsch et al. | An adaptive multi-purpose transmission scheme for H. 264 encoded video in wireless networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100706 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100802 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4564782 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |