JP2006254266A - Data transmission system - Google Patents
Data transmission system Download PDFInfo
- Publication number
- JP2006254266A JP2006254266A JP2005070341A JP2005070341A JP2006254266A JP 2006254266 A JP2006254266 A JP 2006254266A JP 2005070341 A JP2005070341 A JP 2005070341A JP 2005070341 A JP2005070341 A JP 2005070341A JP 2006254266 A JP2006254266 A JP 2006254266A
- Authority
- JP
- Japan
- Prior art keywords
- data
- divided
- wireless transmission
- transmitted
- transmission path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、無線伝送路を介して高ビットレートの映像情報等を伝送可能なデータ伝送システムに関し、特に、無線LANを利用してMPEG2−トランスポートストリーム形式のパケット化されたデータを伝送するホームネットワークシステムに関する。 The present invention relates to a data transmission system capable of transmitting high bit rate video information and the like via a wireless transmission line, and more particularly, a home for transmitting packetized data in the MPEG2-transport stream format using a wireless LAN. Related to network system.
近年、PVR(Personal Video Recorder)機能を搭載したDVD/HDDレコーダやパソコンの普及が目覚ましく、それに伴い個人が家庭で視聴しうるビデオ資産も増えてきてきる。そして、DVD/HDDレコーダやパソコンなどに蓄積された映像情報等のコンテンツを、見たいときに、見たい場所で楽しむということが求められており、ホームネットワークを利用してテレビやパソコンなどのクライアント機器に出力可能とする技術が提案されている。映像データや音声データなどの大量のデータを高速かつリアルタイムに伝送する技術として、例えば、ディジタルテレビ、ディジタルビデオなどの接続用インタフェースにIEEE1394が採用されている。 In recent years, DVD / HDD recorders and personal computers equipped with a PVR (Personal Video Recorder) function have been widely used, and video assets that individuals can view at home have also increased. In addition, it is required to enjoy contents such as video information stored on a DVD / HDD recorder or a personal computer at a place where the user wants to view the content, and a client such as a television or a personal computer using a home network. Technologies that enable output to equipment have been proposed. As a technique for transmitting a large amount of data such as video data and audio data at high speed and in real time, for example, IEEE 1394 is adopted as a connection interface for digital television, digital video, and the like.
また、最近では機器間の接続を簡単にするために、無線LANを利用してDVD/HDDレコーダやパソコン、液晶モニタなどを接続できるようになっている。この無線LANの代表的な技術としては、IEEEにおいて標準化されているIEEE802.11があり、2.4GHz帯を使用するものが主流となっている。2.4GHz帯はISM(Industrial, Scientific and Medical)バンドとよばれ、産業用や医療用、家庭用の電子レンジなどに使われる周波数帯であり、日本では2.400〜2.497GHzが無線LANに割り当てられている。 Recently, in order to simplify the connection between devices, a DVD / HDD recorder, a personal computer, a liquid crystal monitor, and the like can be connected using a wireless LAN. As a typical technique of this wireless LAN, there is IEEE 802.11 standardized by IEEE, and the one using the 2.4 GHz band is the mainstream. The 2.4 GHz band is called an ISM (Industrial, Scientific and Medical) band, and is a frequency band used for industrial, medical, and household microwave ovens. In Japan, 2.400-2.497 GHz is a wireless LAN. Assigned to.
ところで、無線LANを映像データや音声データを含むAVデータの伝送媒体として利用するためには、高ビットレートのハイビジョン映像情報等を高品質で伝送する技術が必要である。例えば、映像データは1chあたり2〜30Mbps,音声データは1chあたり64kbps〜1.5Mbpsの伝送速度が必要となる。一方、インターネットはWebアクセスだけならば数Mbpsで十分であるが、コンテンツ配信などの場合は数10Mbpsの伝送速度が必要となる。 By the way, in order to use a wireless LAN as a transmission medium for AV data including video data and audio data, a technology for transmitting high-definition video information at a high bit rate with high quality is required. For example, video data requires a transmission rate of 2 to 30 Mbps per channel, and audio data requires a transmission rate of 64 kbps to 1.5 Mbps per channel. On the other hand, a few Mbps is sufficient for the Internet only for Web access, but a transmission speed of several tens of Mbps is required for content distribution or the like.
上述したように、高ビットレートの映像データ等を1系統の無線伝送路(チャンネル)を利用して伝送する場合、そのビットレートを伝送することが可能な占有周波数帯域幅が必要となるため、伝送路の伝送容量を上回るビットレートの映像データは伝送することができないという問題がある。そこで、高ビットレートの映像データを分割して複数の伝送路(チャンネル)を介して伝送することで、伝送路の周波数帯域幅が狭くても高ビットレートの映像データを送受信できるようにしたデータ伝送システムが提案されている(例えば、特許文献1,2)。
しかしながら、上記特許文献1,2に開示されている技術では、高ビットレートの映像データを分割して複数の伝送路を介して伝送するため、すべての伝送路においてデータが正常に伝送されなければ、元の高ビットレートの映像データを復元できないという問題が生じる。例えば、複数の伝送路ごとに通信速度が異なることや無線通信において伝送チャンネルが使用不可となることなどが考えられ、この場合は分割されたデータを受信装置側で順番通りに復元することができなくなる。
However, in the techniques disclosed in
本発明は、高ビットレートの映像データを分割して複数の無線伝送路(チャンネル)を介して伝送するデータ伝送システムであって、チャンネル毎の通信状態を監視することで分割データが正常に伝送され復元されるようにしたデータ伝送システムを提供することを目的とする。 The present invention is a data transmission system that divides high bit rate video data and transmits it through a plurality of wireless transmission paths (channels), and normally transmits the divided data by monitoring the communication state of each channel. It is an object of the present invention to provide a data transmission system that can be restored.
本発明は、上記課題を解決するためになされたものであり、映像データ又は音声データを含むディジタルデータを供給するデータ供給手段と、上記データ供給手段により供給されたディジタルデータを分割するデータ分割手段と、分割データを複数の伝送路によって送信するデータ送信手段と、を有する送信装置と、各伝送路を経由して送信された分割データを受信するデータ受信手段と、受信した分割データを結合して元のデータを復元するデータ結合手段と、を有する受信装置と、で構成され、上記複数の無線伝送路を介してディジタルデータを伝送可能なデータ伝送システムにおいて、上記送信装置は、上記複数の無線伝送路における通信状態を監視する通信状態監視手段を備え、上記データ送信手段は、上記通信状態監視手段により特定の無線伝送路において正常に分割データの送信がなされていないと判定された場合に、その特定の無線伝送路により送信すべき分割データを他の無線伝送路により送信することを特徴とする。 The present invention has been made to solve the above-mentioned problems, and is a data supply means for supplying digital data including video data or audio data, and a data dividing means for dividing the digital data supplied by the data supply means. And a data transmitting means for transmitting the divided data through a plurality of transmission paths, a data receiving means for receiving the divided data transmitted via each transmission path, and the received divided data. In the data transmission system configured to transmit digital data via the plurality of wireless transmission paths, the transmitting device includes the plurality of data combining means for restoring the original data. A communication state monitoring unit for monitoring a communication state in a wireless transmission path, wherein the data transmission unit is connected to the communication state monitoring unit; If the transmission of the successfully divided data in the constant of the wireless transmission path is determined not performed, and transmits the divided data to be transmitted by another wireless transmission path by the particular radio channel.
また、上記データ送信手段は、上記通信状態監視手段により特定の無線伝送路において正常に分割データの送信がなされていないと判定された場合に、通信状態が回復したか否かを判定するためのテストデータを当該特定の無線伝送路により送信するとともに、当該特定の無線伝送路に対応するデータ受信手段により上記テストデータを受信可能となった後に、上記分割データの送信を再開するようにした。 In addition, the data transmission unit is configured to determine whether or not the communication state has been recovered when the communication state monitoring unit determines that the divided data is not normally transmitted on the specific wireless transmission path. The test data is transmitted through the specific wireless transmission path, and after the test data can be received by the data receiving means corresponding to the specific wireless transmission path, the transmission of the divided data is resumed.
このとき、低ビットレートのテストデータを送信可能となっても、本来送信されるべき高ビットレートの分割データを送信できるとは限らないので、上記テストデータは、本来送信される分割データのビットレートと同等以上のビットレートを有するようにするのがよい。 At this time, even if the low bit rate test data can be transmitted, it is not always possible to transmit the high bit rate divided data to be transmitted. Therefore, the test data is the bit of the divided data originally transmitted. The bit rate should be equal to or higher than the rate.
また、2つの無線伝送路を介してディジタルデータを伝送可能なデータ伝送システムにおいて、上記通信状態監視手段は、一方の無線伝送路から送信した分割データに対する受信確認応答信号を所定数以上連続して受信した場合に、他方の無線伝送路において正常に分割データの送信がなされていないと判定するようにした。 In the data transmission system capable of transmitting digital data via two wireless transmission paths, the communication state monitoring means continuously receives a reception confirmation response signal for the divided data transmitted from one of the wireless transmission paths for a predetermined number or more. When received, it is determined that the divided data is not normally transmitted in the other wireless transmission path.
さらに、上記ディジタルデータがMPEGトランスポートストリーム形式である場合は、上記データ分割手段は、上記データ供給手段により供給されたMPEGトランスポートストリームをパケット単位で分割し、上記データ結合手段は、受信した分割パケットを結合して元のMPEGトランスポートストリームを復元するようにした。 Further, when the digital data is in the MPEG transport stream format, the data dividing means divides the MPEG transport stream supplied by the data supplying means in units of packets, and the data combining means receives the received division. The original MPEG transport stream is restored by combining the packets.
本発明によれば、送信装置側に複数の無線伝送路における通信状態を監視する通信状態監視手段を備えるようにし、データ送信手段は上記通信状態監視手段により特定の無線伝送路において正常に分割データの送信がなされていないと判定された場合に、その特定の無線伝送路により送信すべき分割データを他の無線伝送路により送信するようにしたので、高ビットレートのディジタルデータ(例えばMPEGトランスポートストリーム)を周波数帯域幅が狭い複数の無線伝送路に分配して伝送することができるとともに、受信装置側で分割データを部分的に受信できずに元のディジタルデータを復元できなくなるのを回避できる。これにより、視聴者は無線LANを利用して高ビットレートの映像データも効率よく伝送することができるとともに、離れた場所でも途切れのない高品質な映像を楽しむことができる。 According to the present invention, communication state monitoring means for monitoring communication states in a plurality of wireless transmission paths is provided on the transmitting device side, and the data transmission means is configured to normally divide data in a specific wireless transmission path by the communication state monitoring means. Since it is determined that the divided data to be transmitted by the specific wireless transmission path is transmitted by another wireless transmission path when it is determined that the transmission of the high-bit-rate digital data (for example, MPEG transport) Stream) can be distributed and transmitted to a plurality of wireless transmission lines with narrow frequency bandwidths, and it is possible to avoid the fact that the divided data cannot be partially received and the original digital data cannot be restored. . Thus, the viewer can efficiently transmit high bit rate video data using the wireless LAN, and can enjoy high quality video without interruption even at a distant place.
また、データ送信手段は、通信状態監視手段により特定の無線伝送路において正常に分割データの送信がなされていないと判定された場合に、通信状態が回復したか否かを判定するためのテストデータを当該特定の無線伝送路により送信するとともに、当該特定の無線伝送路に対応するデータ受信手段により上記テストデータを受信可能となった後に、上記分割データの送信を再開するようにしたので、伝送可能な無線伝送路を有効に利用することができる。 The data transmission means is test data for determining whether or not the communication state has been recovered when it is determined by the communication state monitoring means that the divided data is not normally transmitted on the specific wireless transmission path. Is transmitted through the specific wireless transmission path, and after the test data can be received by the data receiving means corresponding to the specific wireless transmission path, the transmission of the divided data is resumed. Possible wireless transmission paths can be used effectively.
以下、本発明の好適な実施の形態を図面に基づいて説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the drawings.
図1は、本実施形態のホームネットワークシステムの概略構成図である。なお、以下の説明では2つのチャンネルを利用してディジタルデータ(例えば、MPEGトランスポートストリーム)を無線伝送する例について説明するが、本発明はこれに限らず、3チャンネル以上のチャンネルを利用してもよい。 FIG. 1 is a schematic configuration diagram of a home network system according to the present embodiment. In the following description, an example in which digital data (for example, an MPEG transport stream) is wirelessly transmitted using two channels will be described. However, the present invention is not limited to this, and three or more channels are used. Also good.
本実施形態に係るホームネットワークシステム100は、映像データ及び音声データを含むコンテンツ(アナログデータ又はディジタルデータ)を提供するコンテンツ提供装置10と、送信装置20と、受信装置30と、液晶モニタやスピーカ等の出力装置40と、で構成される。ここで、コンテンツ提供装置10は、例えば、DVD/HDDレコーダ、ビデオテープレコーダ、アナログテレビジョン放送やディジタルテレビジョン放送の受信機等に相当し、通常、液晶モニタ等の表示装置やスピーカ等の音声出力装置に直接接続して映像及び音声を出力できるAV機器である。
A
ホームネットワークシステム100では、例えば、コンテンツ提供装置10と送信装置20、及び受信装置30と出力装置40はIEEE1394準拠のケーブル等で接続され、送信装置20と受信装置30間はIEEE802.11bに基づく無線LANを利用してデータ伝送を行う。
In the
コンテンツ提供装置10はAVデータ生成部(図示しない)を有し、DVD、ビデオカセットテープ、ハードディスク等の記録媒体からコンテンツ(映像データ、音声データ)を読出し、またはディジタルテレビジョン放送やアナログテレビジョン放送を受信し、そのコンテンツやテレビジョン放送を所定のフォーマットに変換してAVデータとして出力する。なお、コンテンツ提供装置10から出力されるAVデータは、メディアの種類とコンテンツ提供装置の機能によって、アナログデータ又はディジタルデータとなる。
The
図2は、送信装置20の概略構成図である。図2に示すように、送信装置20は、A/D変換部21と、MPEGエンコーダ22と、MPEG分割部23と、バッファ回路24a,24bと、MAC/PHY部25a,25bと、高周波増幅部26a,26bと、アンテナ27a,27bと、制御部28と、を有し、コンテンツ提供装置10から供給されたAVデータをMPEG2準拠のトランスポートストリーム(以下、MPEG2−TSと略する)形式で受信装置30に送信する。
FIG. 2 is a schematic configuration diagram of the
A/D変換部21は、コンテンツ提供装置10から送信されたアナログのAVデータをディジタルデータに変換する。MPEGエンコーダ22は、A/D変換部21から供給されたディジタルAVデータをMPEG2方式に従い圧縮符号化し、これらの圧縮データを多重化してMPEG2?TSを生成する。
The A /
ここで、MPEG2−TSは、図5に示すように、188バイトの固定長のトランスポートストリームパケット(以下、TSパケットと略する)の系列で構成される。また、1つのTSパケットは、4バイトのパケットヘッダと、184バイトのペイロードとから構成され、パケットヘッダ内にはパケットの先頭を識別するための同期バイトやパケットIDが含まれており、一方ペイロードにはビデオ、オーディオ、データ等が記述されている。 Here, MPEG2-TS is composed of a series of 188-byte fixed-length transport stream packets (hereinafter abbreviated as TS packets) as shown in FIG. One TS packet is composed of a 4-byte packet header and a 184-byte payload. The packet header includes a synchronization byte and a packet ID for identifying the head of the packet. Describes video, audio, data, and the like.
なお、コンテンツ提供装置10から供給されるAVデータが、既にMPEG2−TS形式である場合は、A/D変換部21及びMPEGエンコーダ22は使用されない。
If the AV data supplied from the
制御部28は、図示しないCPUと、RAMと、ROMと、で構成される。ROMには、各種制御プログラムが格納されており、CPUはRAMを作業領域として利用しつつ、ROM内の制御プログラムに従って動作する。例えば、制御部28は、MPEGエンコーダ22から供給されるMPEG2−TSのパケットヘッダ内の同期バイトを検出して、伝送パケットに同期したパケット同期信号を生成するとともに、生成したパケット同期信号をMPEG分割部23に供給し、MPEG分割部23の動作を制御する。
The
MPEG分割部23は、制御部28から供給されたパケット同期信号に基づき、1本のMPEG2−TSを伝送パケットの境界で分割し、後段のバッファ回路24a,24bにパケット単位で順番に分配する。具体的には、供給されたMPEG2−TSをパケット毎に分割し(PACK#1,PACK#2,・・)、分割したパケットのうちPACK#1,#3,#5,・・をバッファ回路24aに出力し、PACK#2,#4,#6,・・をバッファ回路24bに出力する。
Based on the packet synchronization signal supplied from the
バッファ回路24a,24bは、MPEG分割部23から供給された分割パケットを順次格納する。MAC/PHY部25a,25bは、バッファ回路24a,24bから出力された分割パケットに対して、プロトコル処理及び所定の変調方式(例えばDSSS変調方式)に従って変復調処理を行う。
The
高周波増幅部26a,26bは、RF信号を高周波増幅し各送信アンテナ27a,27bを介して受信装置30に送信する。例えば、異なる周波数帯域の無線伝送路(例えば、中心周波数2.412GHzと2.484GHz)を介してRF信号を送信する。
The
本実施形態の送信装置20では、MPEG2−TSをパケット単位で分割し、原則として、送信アンテナ26aから発信される第1の伝送路(RF_#1)によりPACK#1,PACK#3,PACK#5・・を送信し、送信アンテナ26bから発信される第2の伝送路(RF_#2)によりPACK#2,PACK#4,PACK#6・・を送信する。ただし、第1の伝送路又は第2の伝送路のうち、一方において伝送可能な帯域幅の減少等により通信状態が悪化し、分割パケットを正常に送信できない場合は、正常に送信可能な他方の伝送路により送受信を行う。
In the
図3は、受信装置30の概略構成図である。図3に示すように、受信装置30は、受信アンテナ31a,31bと、高周波増幅部(RF)32a,32bと、MAC/PHY部33a,33bと、バッファ回路34a,34bと、MPEG結合部35と、MPEGデコーダ36と、D/A変換部37と、制御部38と、を有し、送信装置20から送信された分割パケットを受信する。
FIG. 3 is a schematic configuration diagram of the receiving
受信アンテナ31a,31bは、送信装置20から異なる周波数帯域の無線伝送路を介して送信されたRF信号を受信して、受信したRF信号を対応する高周波増幅部32a,32bに供給する。
The receiving
高周波増幅部32a,32bは、受信アンテナ31a,31bにより受信されたRF信号を高周波増幅し、MAC/PHY部33a,33bに供給する。
The high
MAC/PHY部33a,33bは、高周波増幅部32,32bから供給された分割パケットに対してプロトコル処理及び所定の変調方式に従って変復調処理を行う。バッファ回路34a,34bは、MAC/PHY部33a,33bから供給された分割パケットを順次格納する。
The MAC /
制御部38は、図示しないCPUと、RAMと、ROMと、で構成される。ROMには、各種制御プログラムが格納されており、CPUはRAMを作業領域として利用しつつ、ROM内の制御プログラムに従って動作する。例えば、制御部38は、MAC/PHY部33a,33bから供給される分割パケットに含まれるパケットヘッダ内の同期バイトを検出して、伝送パケットに同期したパケット同期信号を生成するとともに、生成したパケット同期信号をMPEG結合部35に供給し、MPEG結合部35の動作を制御する。
The
MPEG結合部35は、制御部28から供給されたパケット同期信号に基づき、バッファ回路34a,34bから分割パケットを読出し、複数の分割パケットを結合し元のMPEG2−TSを復元し出力する。
Based on the packet synchronization signal supplied from the
MPEGデコーダ36は、MPEG結合部35から供給されたMPEG2−TSを伸張復号化し、ディジタルAVデータを生成する。D/A変換部37は、MPEGデコーダ36から供給されたディジタルAVデータをアナログAVデータに変換し、出力装置40に出力する。
The
なお、出力装置40が、MPEG2−TS形式のAVデータを再生可能な場合は、MPEGデコーダ36及びD/A変換部37は使用されない。
If the output device 40 can reproduce AV data in the MPEG2-TS format, the
本実施形態の受信装置30では、第1の伝送路(RF_#1)により送信されたPACK#1,PACK#3,PACK#5・・と、第2の伝送路(RF_#2)により送信されたPACK#2,PACK#4,PACK#6・・とを、それぞれ対応する受信手段で受信し、これらを結合して元のMPEG2−TSを復元する。
In the receiving
次に、送信装置20におけるデータ伝送制御処理について図4のフローチャートに従って詳細に説明する。このデータ伝送制御処理では、送信装置20の制御部28により制御プログラムが実行され、これに従って各回路が制御される。
Next, data transmission control processing in the
本実施形態では、第1の伝送路又は第2の伝送路のうち、一方において伝送可能な帯域幅の減少等によりMPEG2−TSを正常に送信できない場合は、正常に送信可能な他方の伝送路により送受信が行うようにしている。具体的には、正常にデータを送信できない側の伝送路について、通信モードを通常モードから復帰モードへ移行させ、その後復帰モードから通常モードへ回復するまでの間、正常にデータを送信可能な側の伝送路からデータの送信が行われるようにしている。 In the present embodiment, when MPEG2-TS cannot be normally transmitted due to a decrease in bandwidth that can be transmitted in one of the first transmission line and the second transmission line, the other transmission line that can be normally transmitted. The transmission / reception is performed by Specifically, for the transmission path on the side that cannot normally transmit data, the side that can normally transmit data until the communication mode is changed from the normal mode to the return mode and then recovered from the return mode to the normal mode The data is transmitted from the transmission line.
なお、正常にデータを送信できている側の伝送路をRF_OK、正常にデータを送信できていない側の伝送路をRF_NGとする。 It is assumed that the transmission path on the side that can normally transmit data is RF_OK, and the transmission path on the side that cannot transmit data normally is RF_NG.
まず、MPEG分割部23は1本のMPEG2−TSを伝送パケットの境界で分割する。そして、後段のバッファ回路24a,24bに分割パケットのうちのPACK#1,#3,#5・・をバッファ回路24aに出力し、PACK#2,#4,#6・・をバッファ回路24bに出力する(ステップS101)。次に、PACK#1を第1の伝送路(RF_#1)から送信し、PACK#2を第2の伝送路(RF_#2)から送信する(ステップS102)。
First, the
次いで、送信したデータを受信装置30で正常に受信できた場合に返信されるACK(応答確認)を受信したか判定する(ステップS103)。ここで、ACKを受信した伝送路では正常にデータを送受信できていることになる(RF_OK)。 Next, it is determined whether or not an ACK (response confirmation) is returned when the transmitted data can be normally received by the receiving device 30 (step S103). Here, data can be normally transmitted and received on the transmission path that has received ACK (RF_OK).
次いで、ステップS103でACKを受信したと判定した場合は、ACKを受信した側の伝送路(RF_OK)の通信モードは、通常モードか復帰モードであるか判定する(ステップS104)。ここで、初期状態では何れの伝送路の通信モードも通常モードとなっているが、後述するステップS109において通信モードが復帰モードに移行されることがあるので、ACKを受信した側の伝送路が通常モードである場合と復帰モードである場合が生じるので、ACKを受信した側の伝送路(RF_OK)の通信モードに従って制御するようにしている。 Next, when it is determined in step S103 that ACK has been received, it is determined whether the communication mode of the transmission path (RF_OK) on the ACK reception side is the normal mode or the return mode (step S104). Here, in the initial state, the communication mode of any transmission path is the normal mode. However, in step S109 described later, the communication mode may be shifted to the return mode. Since the normal mode and the return mode may occur, control is performed according to the communication mode of the transmission path (RF_OK) on the ACK reception side.
そして、ステップS104でRF_OKは通常モードであると判定した場合は、同じ伝送路で一定回数以上連続してACKを受信したか判定する(ステップS105)。すなわち、一方の伝送路において正常にデータの送受信が行われていない場合は、他方の伝送路でのみ連続してACKを受信することとなるので、これにより各伝送路における通信状態を監視するようにしている(通信状態監視手段)。 If it is determined in step S104 that the RF_OK is in the normal mode, it is determined whether or not ACK has been continuously received over a predetermined number of times on the same transmission path (step S105). That is, when data transmission / reception is not normally performed on one transmission path, ACK is continuously received only on the other transmission path, so that the communication state on each transmission path is monitored. (Communication state monitoring means).
ここで、一定回数とは、受信装置30でAVデータを途切れなく再生できる範囲で設定される。すなわち、受信装置30から出力装置40に送信するAVデータがなくなる前に、次のMPEG2−TSの結合及びMPEGデコード、D/A変換が完了できる範囲で設定されるのが望ましく、受信装置30内に設けられるバッファ容量等に基づいて決定される。なお、本実施形態では、説明を簡便にするため、2回以上連続して同一伝送路にてACKを受信した場合に、他方の伝送路において正常にデータを送信できていないと判定することにする。
Here, the predetermined number of times is set within a range in which AV data can be reproduced without interruption by the receiving
ステップS105で同じ伝送路で2回以上連続してACKを受信していない、すなわち、第1の伝送路と第2の伝送路で交互にACKを受信していると判定した場合は、バッファ24a,24bから次のPACK(第1の伝送路でACKを受信した場合はPACK#3,第2の伝送路でACKを受信した場合はPACK#4)を読み出して送信する(ステップS106)。
If it is determined in step S105 that ACK has not been received continuously twice or more on the same transmission path, that is, ACK has been received alternately on the first transmission path and the second transmission path, the
一方、ステップS105で同じ伝送路で2回以上連続してACKを受信していると判定した場合はステップS108に移行する。例えば、第1の伝送路において、PACK#1,PACK#3の送信に対するACKを連続して受信した場合は、第2の伝送路で正常にPACK#2に送信ができていない(第2の伝送路はRF_NG)と判定し、ステップS108に移行する。そして、ステップS108で正常にデータの送受信ができていない側の伝送路(RF_NG)の通信モードが通常モードであるか、復帰モードであるか判定する。
On the other hand, if it is determined in step S105 that ACK has been received continuously twice or more on the same transmission path, the process proceeds to step S108. For example, when ACKs for the transmission of
ステップS108でRF_NGの通信モードが通常モードであると判定した場合は、通信モードを通常モードから復帰モードに移行するとともに(ステップS109)、RF_NGからテストデータを送信する(ステップS110)。ここで、テストデータは、RF_NGの通信状態が回復したか否かを判定するためのデータであればよく、特にデータの形式は制限されない。ただし、MPEG2−TSの分割パケットを正常に送信できるか否かの目安とするため、実際に送信する分割パケットとビットレートが同等又はそれ以上であることが望ましい。 If it is determined in step S108 that the RF_NG communication mode is the normal mode, the communication mode is changed from the normal mode to the return mode (step S109), and test data is transmitted from the RF_NG (step S110). Here, the test data may be data for determining whether or not the RF_NG communication state has been recovered, and the data format is not particularly limited. However, it is desirable that the bit rate is equal to or higher than that of the actually transmitted divided packet in order to use as a guideline whether or not the MPEG2-TS divided packet can be normally transmitted.
一方、RF_OKからは、第1の伝送路で送信済みのPACK#と第2の伝送路で送信済みのPACK#を比較して、順番の若いPACKを送信する(ステップS111)。例えば、第1の伝送路から送信したPACK#1,PACK#3に対するACKを連続して受信して、第2の伝送路で正常にPACK#2に送信ができていないと判定した場合は、バッファ回路24bからPACK#2を読み出して、RF_OK(RF_#1)から送信することとなる。
On the other hand, from RF_OK, the PACK # that has been transmitted on the first transmission path is compared with the PACK # that has been transmitted on the second transmission path, and a PACK with a lower order is transmitted (step S111). For example, when ACKs for
また、ステップS108でRF_NGの通信モードは復帰モードであると判定した場合は、RF_NGの通信状態は回復していないことになるので、通信モードはそのままにして、RF_NGからテストデータを送信する(ステップS112)。 If it is determined in step S108 that the RF_NG communication mode is the return mode, the RF_NG communication state is not recovered, and the test data is transmitted from the RF_NG without changing the communication mode (step S108). S112).
一方、RF_OKからは順番の若いPACKを送信する(ステップS113)。例えば、第1の伝送路から送信したPACK#1,PACK#3に対するACKを受信した後、第1の伝送路からPACK#2を送信し(ステップS111)、このPACK#2に対するACKを受信した場合、第2の伝送路では未だ正常にテストデータの送信ができていないと判断できるので、バッファ回路24bからPACK#4を読み出して、RF_OK(RF_#1)からを送信することとなる。
On the other hand, the PACK with the youngest order is transmitted from RF_OK (step S113). For example, after receiving ACK for
また、RF_NGからテストデータの送信を行い、これに対するACKを受信した場合は、ACKを受信した伝送路(RF_OK)の通信モードは復帰モードであると判定されるので(ステップS104)、通信モードを通常モードに移行するとともに(ステップS107)、バッファ24a,24bから次のPACKを読み出して送信する(ステップS106)。例えば、第2の伝送路が復帰モードから回復するまでに、第1の伝送路からPACK#4まで送信された場合は、ステップS106において第2の伝送路から次のPACK#6を送信することとなる。
Also, when test data is transmitted from RF_NG and ACK is received, it is determined that the communication mode of the transmission path (RF_OK) that has received ACK is the return mode (step S104). While shifting to the normal mode (step S107), the next PACK is read from the
このように、本実施形態では、送信装置20で2つの無線伝送路における通信状態を監視するようにし、特定の無線伝送路(例えば、第2の伝送路)において正常に分割パケットの送信がなされていないと判定された場合に、その特定の無線伝送路により送信すべき分割パケットを他の無線伝送路(第1の伝送路)により送信するようにしたので、高ビットレートのMPEG2−TSを周波数帯域幅が狭い複数の無線伝送路に分配して伝送することができるとともに、受信装置30で分割データを部分的に受信できずに元のディジタルデータを復元できなくなるのを回避できる。これにより、視聴者は無線LANを利用して映像データ等を効率よく伝送することができるとともに、離れた場所でも途切れのない高品質なコンテンツを楽しむことができる。
As described above, in the present embodiment, the
また、特定の無線伝送路において正常に分割パケットの送信がなされていないと判定された場合に、通信状態が回復したか否かを判定するためのテストデータを当該特定の無線伝送路により送信するとともに、当該特定の無線伝送路に対応するデータ受信手段により上記テストデータを受信可能となった後に、分割パケットの送信を再開するようにしたので、伝送可能な無線伝送路を有効に利用することができる。 In addition, when it is determined that the divided packet is not normally transmitted in the specific wireless transmission path, test data for determining whether or not the communication state is recovered is transmitted through the specific wireless transmission path. At the same time, after the test data can be received by the data receiving means corresponding to the specific wireless transmission path, the transmission of the divided packet is resumed, so that the wireless transmission path that can be transmitted is used effectively. Can do.
以上、本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。 As mentioned above, although the invention made by this inventor was concretely demonstrated based on embodiment, this invention is not limited to the said embodiment, It can change in the range which does not deviate from the summary.
例えば、上記実施形態では、MPEG2−TSをパケット単位で分割して伝送するようにしているが、元のデータはMPEG2−TSに制限されず、その他のディジタルデータを伝送する場合にも適用できる。 For example, in the above embodiment, MPEG2-TS is divided and transmitted in packet units, but the original data is not limited to MPEG2-TS, and can be applied to transmission of other digital data.
また、上記実施形態では、IEEE802.11bで規定された2.4GHz帯を利用した無線LANについて説明したが、その他の無線伝送技術を利用することもできる。例えば、IEEE802.11aで規定された5.2GHz帯の無線LANやIEEE802.11gで規定された2.4GHz帯の無線LAN、光無線LAN等がある。なお、Bluetoothは、無線LANに比較して伝送速度が低速であるため(1Mbps程度)、映像データのような高ビットレートのデータ伝送には適しているとはいえない。 Moreover, although the said embodiment demonstrated the wireless LAN using the 2.4 GHz band prescribed | regulated by IEEE802.11b, the other wireless transmission technique can also be utilized. For example, there is a 5.2 GHz band wireless LAN defined by IEEE802.11a, a 2.4 GHz band wireless LAN defined by IEEE802.11g, an optical wireless LAN, and the like. Note that Bluetooth is not suitable for data transmission at a high bit rate such as video data because the transmission speed is lower than that of the wireless LAN (about 1 Mbps).
また、上記実施形態において、送信装置20とコンテンツ提供装置10を一体的に構成してデータ送信手段としてもよいし、受信装置30と出力装置40を一体的に構成してデータ受信手段としてもよい。例えば、無線通信機能を有するDVD/HDDレコーダをデータ送信手段とし、無線通信機能を有するテレビジョン受信機をデータ受信手段とすることができる。
In the above-described embodiment, the
10 コンテンツ提供装置
20 送信装置
21 A/D変換部
22 MPEGエンコーダ
23 MPEG分割部
24a,b バッファ(送信装置側)
25a,b MAC/PHY部
26a,b 高周波増幅部
27a,b 送信アンテナ
28 制御部(送信装置側、通信状態監視手段)
30 受信装置
31a,b 受信アンテナ
32a,b 高周波増幅部
33a,b MAC/PHY部
34a,b バッファ(受信装置側)
35 MPEG結合部
36 MPEGデコーダ
37 D/A変換部
40 出力装置
100 ホームネットワークシステム
DESCRIPTION OF
25a, b MAC /
30 receiving device 31a,
35
Claims (16)
各伝送路を経由して送信された分割パケットを受信するデータ受信手段と、受信した分割パケットを結合して元のMPEGトランスポートストリームを復元するデータ合成手段と、を有する受信装置と、で構成され、上記2つの無線伝送路を介してMPEGトランスポートストリーム形式のディジタルデータを伝送可能なデータ伝送システムにおいて、
上記送信装置は、
2つの無線伝送路における通信状態を監視する通信状態監視手段を備え、
上記通信状態監視手段は、一方の無線伝送路から送信した分割パケットに対する受信確認応答信号を所定数以上連続して受信した場合に、他方の無線伝送路において正常に分割パケットの送信がなされていないと判定し、
上記データ送信手段は、上記通信状態監視手段により特定の無線伝送路において正常に分割パケットの送信がなされていないと判定された場合に、この特定の無線伝送路により送信すべき分割パケットを他の無線伝送路により送信するとともに、本来送信される分割パケットのビットレートと同等以上のビットレートを有するテストデータを当該特定の無線伝送路により送信することを特徴とするデータ伝送システム。 MPEG data supply means for supplying an MPEG transport stream including video data or audio data; data division means for dividing the MPEG transport stream supplied by the data supply means in units of packets; A data transmission means for transmitting via a wireless transmission path;
A receiving device having data receiving means for receiving divided packets transmitted via each transmission path and data combining means for restoring the original MPEG transport stream by combining the received divided packets In a data transmission system capable of transmitting digital data in the MPEG transport stream format via the two wireless transmission paths,
The transmitter is
Comprising communication state monitoring means for monitoring communication states in two wireless transmission paths;
When the communication status monitoring means continuously receives a reception confirmation response signal for a divided packet transmitted from one wireless transmission path for a predetermined number or more, the divided packet is not normally transmitted on the other wireless transmission path. And
When the communication state monitoring unit determines that the divided packet is not normally transmitted on the specific wireless transmission path, the data transmission unit transmits the divided packet to be transmitted on the specific wireless transmission path to another A data transmission system characterized by transmitting test data having a bit rate equal to or higher than the bit rate of the originally transmitted divided packet through the specific wireless transmission path.
各伝送路を経由して送信された分割データを受信するデータ受信手段と、受信した分割データを結合して元のデータを復元するデータ結合手段と、を有する受信装置と、で構成され、上記複数の無線伝送路を介してディジタルデータを伝送可能なデータ伝送システムにおいて、
上記送信装置は、
上記複数の無線伝送路における通信状態を監視する通信状態監視手段を備え、
上記データ送信手段は、上記通信状態監視手段により特定の無線伝送路において正常に分割データの送信がなされていないと判定された場合に、その特定の無線伝送路により送信すべき分割データを他の無線伝送路により送信することを特徴とするデータ伝送システム。 Data supply means for supplying digital data including video data or audio data, data division means for dividing the digital data supplied by the data supply means, and data transmission means for transmitting the divided data through a plurality of wireless transmission paths A transmitter having
A data receiving means for receiving the divided data transmitted via each transmission path, and a data combining means for combining the received divided data and restoring the original data, and a receiving device comprising the above, In a data transmission system capable of transmitting digital data via a plurality of wireless transmission paths,
The transmitter is
Comprising communication state monitoring means for monitoring communication states in the plurality of wireless transmission paths,
When the communication state monitoring unit determines that the divided data is not normally transmitted on the specific wireless transmission line, the data transmission unit transmits the divided data to be transmitted on the specific wireless transmission line to another data transmission unit. A data transmission system, wherein transmission is performed through a wireless transmission path.
当該特定の無線伝送路に対応するデータ受信手段により上記テストデータを受信可能となった後に、上記分割データの送信を再開することを特徴とする請求項2に記載のデータ伝送システム。 The data transmitting means is test data for determining whether or not the communication state has been recovered when it is determined by the communication state monitoring means that the divided data is not normally transmitted on a specific wireless transmission line. Is transmitted by the specific wireless transmission path,
3. The data transmission system according to claim 2, wherein after the test data can be received by the data receiving unit corresponding to the specific wireless transmission path, transmission of the divided data is resumed.
上記通信状態監視手段は、一方の無線伝送路から送信した分割データに対する受信確認応答信号を所定数以上連続して受信した場合に、他方の無線伝送路において正常に分割データの送信がなされていないと判定することを特徴とする請求項2から4の何れかに記載のデータ伝送システム。 In a data transmission system capable of transmitting digital data via two wireless transmission paths,
When the communication status monitoring means continuously receives a reception confirmation response signal for the divided data transmitted from one of the wireless transmission paths, the divided data is not normally transmitted on the other wireless transmission path. The data transmission system according to claim 2, wherein the data transmission system is determined.
上記データ分割手段は、上記データ供給手段により供給されたMPEGトランスポートストリームをパケット単位で分割し、
上記データ結合手段は、受信した分割パケットを結合して元のMPEGトランスポートストリームを復元することを特徴とする請求項2から5の何れかに記載のデータ伝送システム。 The digital data is in the MPEG transport stream format,
The data dividing means divides the MPEG transport stream supplied by the data supply means in units of packets,
6. The data transmission system according to claim 2, wherein the data combining means combines the received divided packets to restore the original MPEG transport stream.
データ受信側において、各伝送路を経由して送信された分割データを受信し、該受信した分割データを結合して元のデータを復元するデータ伝送システムにおいて、
上記複数の無線伝送路における通信状態を監視し、
上記監視の結果、特定の無線伝送路において正常に分割データの送信がなされていないと判定された場合に、その特定の無線伝送路により送信すべき分割データを他の無線伝送路により送信することを特徴とするデータ伝送方法。 On the data transmission side, digital data including video data or audio data is input, and the input data is divided and transmitted through a plurality of wireless transmission paths,
On the data receiving side, in the data transmission system that receives the divided data transmitted via each transmission path and combines the received divided data to restore the original data,
Monitor the communication status in the plurality of wireless transmission paths,
As a result of the above monitoring, when it is determined that the divided data is not normally transmitted on the specific wireless transmission path, the divided data to be transmitted on the specific wireless transmission path is transmitted on the other wireless transmission path. A data transmission method characterized by the above.
当該特定の無線伝送路において上記テストデータを送信可能となった後に、上記分割データの送信を再開することを特徴とする請求項7に記載のデータ伝送方法。 As a result of the monitoring, when it is determined that the divided data is not normally transmitted in the specific wireless transmission path, test data for determining whether or not the communication state has been restored is the specific wireless transmission path. And send by
8. The data transmission method according to claim 7, wherein transmission of the divided data is resumed after the test data can be transmitted on the specific wireless transmission path.
一方の無線伝送路から送信した分割データに対する受信確認応答信号を所定数以上連続して受信した場合に、他方の無線伝送路において正常に分割データの送信がなされていないと判定することを特徴とする請求項7から9の何れかに記載のデータ伝送方法。 In a data transmission method capable of transmitting digital data via two wireless transmission paths,
When reception confirmation response signals for divided data transmitted from one wireless transmission path are continuously received by a predetermined number or more, it is determined that the divided data is not normally transmitted in the other wireless transmission path. A data transmission method according to any one of claims 7 to 9.
データ送信側において、入力されたMPEGトランスポートストリームをパケット単位で分割し、
データ受信側において、受信した分割パケットを結合して元のMPEGトランスポートストリームを復元することを特徴とする請求項7から10の何れかに記載のデータ伝送方法。 The digital data is in the MPEG transport stream format,
On the data transmission side, the input MPEG transport stream is divided into packets,
11. The data transmission method according to claim 7, wherein the original MPEG transport stream is restored on the data receiving side by combining the received divided packets.
上記複数の無線伝送路における通信状態を監視する通信状態監視手段を備え、
上記データ送信手段は、上記通信状態監視手段により特定の無線伝送路において正常に分割データの送信がなされていないと判定された場合に、その特定の無線伝送路により送信すべき分割データを他の無線伝送路により送信することを特徴とする送信装置。 Data supply means for supplying digital data including video data or audio data; data division means for dividing the digital data supplied by the data supply means; data transmission means for transmitting the divided data through a plurality of transmission paths; A transmission device comprising:
Comprising communication state monitoring means for monitoring communication states in the plurality of wireless transmission paths,
When the communication state monitoring unit determines that the divided data is not normally transmitted on the specific wireless transmission line, the data transmission unit transmits the divided data to be transmitted on the specific wireless transmission line to another data transmission unit. A transmission apparatus characterized by transmitting via a wireless transmission path.
当該特定の無線伝送路により上記テストデータを送信可能となった後に、上記分割データの送信を再開することを特徴とする請求項12に記載の送信装置。 The data transmitting means is test data for determining whether or not the communication state has been recovered when it is determined by the communication state monitoring means that the divided data is not normally transmitted on a specific wireless transmission line. Is transmitted by the specific wireless transmission path,
13. The transmission apparatus according to claim 12, wherein transmission of the divided data is resumed after the test data can be transmitted through the specific wireless transmission path.
上記通信状態監視手段は、一方の無線伝送路から送信した分割データに対する受信確認応答信号を所定数以上連続して受信した場合に、他方の無線伝送路において正常に分割データの送信がなされていないと判定することを特徴とする請求項12から14の何れかに記載の送信装置。 The data transmitting means can transmit digital data via two wireless transmission paths,
When the communication status monitoring means continuously receives a reception confirmation response signal for the divided data transmitted from one of the wireless transmission paths, the divided data is not normally transmitted on the other wireless transmission path. The transmitter according to claim 12, wherein the transmitter is determined.
上記データ分割手段は、上記データ供給手段により供給されたMPEGトランスポートストリームをパケット単位で分割することを特徴とする請求項12から15の何れかに記載の送信装置。 The digital data is in the MPEG transport stream format,
16. The transmission apparatus according to claim 12, wherein the data dividing unit divides the MPEG transport stream supplied from the data supply unit in units of packets.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005070341A JP4069428B2 (en) | 2005-03-14 | 2005-03-14 | Data transmission system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005070341A JP4069428B2 (en) | 2005-03-14 | 2005-03-14 | Data transmission system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006254266A true JP2006254266A (en) | 2006-09-21 |
JP4069428B2 JP4069428B2 (en) | 2008-04-02 |
Family
ID=37094243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005070341A Expired - Fee Related JP4069428B2 (en) | 2005-03-14 | 2005-03-14 | Data transmission system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4069428B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007195106A (en) * | 2006-01-23 | 2007-08-02 | Yamaha Corp | Content data distribution system |
JP2009044345A (en) * | 2007-08-07 | 2009-02-26 | Toshiba Corp | Ofdm receiver |
WO2010023890A1 (en) * | 2008-08-28 | 2010-03-04 | パナソニック株式会社 | Wireless transmission device, wireless transmission method, program, and integrated circuit |
JP2010531090A (en) * | 2007-06-13 | 2010-09-16 | 韓國電子通信研究院 | Multi-path management method, data transmission / reception method and apparatus using multi-path |
JP2010532594A (en) * | 2007-06-29 | 2010-10-07 | 株式会社東芝 | Video stream over multiple interfaces |
-
2005
- 2005-03-14 JP JP2005070341A patent/JP4069428B2/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007195106A (en) * | 2006-01-23 | 2007-08-02 | Yamaha Corp | Content data distribution system |
JP2010531090A (en) * | 2007-06-13 | 2010-09-16 | 韓國電子通信研究院 | Multi-path management method, data transmission / reception method and apparatus using multi-path |
JP2010532594A (en) * | 2007-06-29 | 2010-10-07 | 株式会社東芝 | Video stream over multiple interfaces |
JP2009044345A (en) * | 2007-08-07 | 2009-02-26 | Toshiba Corp | Ofdm receiver |
WO2010023890A1 (en) * | 2008-08-28 | 2010-03-04 | パナソニック株式会社 | Wireless transmission device, wireless transmission method, program, and integrated circuit |
US8553550B2 (en) | 2008-08-28 | 2013-10-08 | Panasonic Corporation | Wireless transmission device, wireless transmission method, program, and integrated circuit |
Also Published As
Publication number | Publication date |
---|---|
JP4069428B2 (en) | 2008-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100801002B1 (en) | Method for transferring/playing multimedia data on wireless network and wireless device thereof | |
EP2827600B1 (en) | Image processing device, image reproduction device, and image reproduction system | |
RU2528008C2 (en) | Information receiving device and information transmitting device | |
CN101668137B (en) | Television receiver | |
JP4066268B2 (en) | Data transmission system | |
JP2008527887A (en) | Apparatus and method for transmitting communication signal via wireless link or wired link using wireless communication protocol | |
KR100917889B1 (en) | Apparatus and method for wireless communication | |
US20070121550A1 (en) | Wireless apparatus, monitor camera system using the wireless apparatus, and audio-video listening and viewing system using the wireless apparatus | |
JP4069428B2 (en) | Data transmission system | |
JP3600567B2 (en) | Video distribution device | |
JP2006270690A (en) | Data transmission system | |
JP4416704B2 (en) | Wireless transmission system | |
JP2008311969A (en) | Receiver, transmitter, communication system, control method for the receiver, communication method, control program for the receiver, and recording medium with the communication program stored | |
JP2005223443A (en) | System for reducing standby power in high speed wireless data communication apparatus | |
JP4178477B2 (en) | Data transmission device | |
JP4055014B2 (en) | Data transmission device | |
JP2007027813A (en) | Communication system | |
JP2005184567A (en) | Transmission apparatus, reception apparatus, communication system and communication program | |
JP2006014177A (en) | Radio communication apparatus and method | |
JP2004007148A (en) | Image transmitter | |
JP3655259B2 (en) | Network wireless relay device and network wireless relay method | |
JP2008271008A (en) | Wireless communication system, radio transmitter, and band management method of the wireless communication system | |
JP5598001B2 (en) | Reception device, audio signal transmission method, and audio signal transmission system | |
JP2010010759A (en) | Radio transmission device | |
JP2006254387A (en) | Communication method, and wireless device and communication system using the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080102 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140125 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |