JPH1013809A - Vod system and vod terminal equipment - Google Patents
Vod system and vod terminal equipmentInfo
- Publication number
- JPH1013809A JPH1013809A JP8158397A JP15839796A JPH1013809A JP H1013809 A JPH1013809 A JP H1013809A JP 8158397 A JP8158397 A JP 8158397A JP 15839796 A JP15839796 A JP 15839796A JP H1013809 A JPH1013809 A JP H1013809A
- Authority
- JP
- Japan
- Prior art keywords
- video
- video program
- mpeg
- terminal device
- caption information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Machine Translation (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は高能率符号化された
動画像情報より構成される複数の映像プログラムを蓄積
する動画像情報記憶装置から、ユーザーが任意の映像プ
ログラムを選択し端末装置にて再生を行う、多言語表示
への対応方法にかかるＶＯＤ(ビデオ・オン・デマンド)
システム及びＶＯＤ端末装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture information storage device for storing a plurality of video programs composed of highly efficient coded moving picture information. VOD (Video on Demand) related to how to support playback and multi-language display
The present invention relates to a system and a VOD terminal device.
【０００２】[0002]
【従来の技術】ＭＰＥＧ(Moving Picture Experts Grou
p：ＩＳＯ／ＩＥＣ13818)により、動画像情報の高能率
圧縮方式が国際標準規格として規格化されている。ＭＰ
ＥＧでは動画像情報の符号化方式として、予測符号化が
採用されており、(1)フレーム内予測法を適用するＩ−
Ｐicture(Intra Picture)フレーム、(2)過去のフレーム
の画像データに基づいてフレーム間予測を行うようにし
たフレーム間予測法を適用するＰ−Ｐicture(Predicted
Picture)フレーム、(3)過去のフレームの画像データと
未来のフレームの画像データとの双方の画像データに基
づいてフレーム間予測を行うようにしたフレーム間予測
法を適用するＢ−Ｐicture(BidirectionalPicture)フレ
ーム、の３種類のフレームを規格として定め、これらを
組み合わせることで動画像情報を記録するものとしてい
る。2. Description of the Related Art MPEG (Moving Picture Experts Grou)
p: ISO / IEC13818), a highly efficient compression method for moving image information has been standardized as an international standard. MP
The EG adopts predictive coding as a coding method for moving image information.
Picture (Intra Picture) frame, (2) P-Picture (Predicted) applying an inter-frame prediction method in which inter-frame prediction is performed based on image data of a past frame.
Picture) frame, (3) B-Picture (BidirectionalPicture) applying an inter-frame prediction method that performs inter-frame prediction based on both image data of a past frame and image data of a future frame Three types of frames are defined as standards, and moving image information is recorded by combining them.
【０００３】前記動画像情報に加えて任意の国の言語に
よる音声情報を送出するにあたっては、第１の方法とし
て、あらかじめ前記動画像情報に同期して符号化された
音声情報を「ＭＰＥＧシステム規格」に従って動画像情
報に多重化することで、１つのストリームとしてクライ
アントへ送出していた。すなわち複数の国の言語を送出
するためには、あらかじめオリジナルの映画の台詞等か
ら任意の言語への吹き替えを行い、それぞれの言語ごと
に符号化処理を行った上で動画像情報に多重化すること
で、任意の国の言葉に対応したストリームの提供を行っ
ていた。[0003] In transmitting audio information in a language of an arbitrary country in addition to the moving image information, as a first method, audio information encoded in advance in synchronization with the moving image information is encoded according to the MPEG system standard. Multiplexed to the moving image information according to the above, and transmitted to the client as one stream. In other words, in order to transmit the languages of a plurality of countries, the speech of the original movie or the like is dubbed in advance to an arbitrary language, and encoding processing is performed for each language, and then multiplexed with moving image information. As a result, a stream corresponding to the language of an arbitrary country was provided.
【０００４】また、第２の方法として、動画像情報の上
に任意の言語の字幕情報(キャプション)を上書きした状
態で動画像情報を符号化し、音声とは別に動画像情報そ
のものの中に、任意の言語へ翻訳した台詞等の字幕を埋
め込むことで、商用の映画などのような形で多言語への
対応を行っていた。[0004] As a second method, moving picture information is encoded in a state where caption information (caption) in an arbitrary language is overwritten on the moving picture information, and the moving picture information itself is separated from the sound. By embedding subtitles such as dialogue translated into an arbitrary language, multilingual support was performed in the form of a commercial movie or the like.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、上記第
１の方法では、 (１)「ＭＰＥＧシステム規格」によって多重可能な音声
の数が限定されてしまう。However, according to the first method, (1) the number of multiplexable voices is limited by the "MPEG system standard".
【０００６】(２)任意の言語へ翻訳した音声情報を生成
するためには、音声→音声という通訳を行う通訳者の介
在が必要。(2) In order to generate speech information translated into an arbitrary language, the intervention of an interpreter who translates from speech to speech is required.
【０００７】という問題点があった。There was a problem that:
【０００８】さらに、上記第２の方法では、 (１)あらかじめ対応可能な言語の数だけ、翻訳を行った
字幕(キャプション)情報を上書きした動画像情報を蓄積
しておかねばならず、画像情報の部分は重複して符号化
するため、言語数が増える程ディスクの使用効率が低下
してしまう。Further, in the above-mentioned second method, (1) moving image information in which translated caption information is overwritten by the number of languages which can be handled in advance must be stored, Is redundantly encoded, so that as the number of languages increases, the disk usage efficiency decreases.
【０００９】(２)あらかじめ対応可能な言語の数だけ、
翻訳を行ったキャプション情報を上書きした動画像情報
をエンコーディングしておかねばならず、言語数が増え
る程エンコーディングの作業時間が長くかかってしま
う。(2) As many as the number of languages that can be supported in advance,
It is necessary to encode the moving image information in which the translated caption information is overwritten. As the number of languages increases, the encoding work time becomes longer.
【００１０】という問題点があった。There has been a problem that:
【００１１】本発明はこのような従来の問題点を解決
し、任意の言語のキャプション情報の表示を効率的に行
えるＶＯＤシステム及びＶＯＤ端末装置の提供を目的と
する。An object of the present invention is to solve such a conventional problem and to provide a VOD system and a VOD terminal device capable of efficiently displaying caption information in an arbitrary language.
【００１２】[0012]
【課題を解決するための手段】本発明は、上記課題を解
決し目的を達成するため、第１の手段は、映像プログラ
ムとともにあらかじめ字幕等の形式で前記映像プログラ
ムの音声情報をある特定言語のテキスト形態に変換した
キャプション情報をキャプション情報記憶装置に蓄積
し、必要に応じて前記キャプション情報を機械翻訳シス
テムなどを利用することで任意の言語に翻訳し、翻訳終
了後に前記映像プログラムに符号多重化した上で端末装
置に送出することで、任意の言語に対応した映像プログ
ラムの配信を行うものである。According to the present invention, in order to solve the above-mentioned problems and achieve the object, a first means is to preliminarily convert audio information of the video program in a form of a caption or the like in a specific language together with the video program. The caption information converted into a text form is stored in a caption information storage device, and the caption information is translated into an arbitrary language by using a machine translation system or the like, if necessary, and is multiplexed into the video program after the translation is completed. Then, by transmitting the video program to the terminal device, a video program corresponding to an arbitrary language is distributed.
【００１３】この第１の手段によれば、(１)「ＭＰＥＧ
システム規格」によって決まる多重可能なオーディオチ
ャネル数の制限に関係なく、サーバ上で動作する機械翻
訳システムの翻訳可能言語数によって、対応可能な言語
数が決まる。According to the first means, (1) "MPEG
Regardless of the limit on the number of multiplexable audio channels determined by the “system standard”, the number of languages that can be supported is determined by the number of translatable languages of the machine translation system operating on the server.
【００１４】(２)機械翻訳システムを利用し、テキスト
データによる翻訳を行うため、通訳者のような人間の介
在を必要としない。(2) Since translation is performed by text data using the machine translation system, human intervention such as an interpreter is not required.
【００１５】(３)記憶装置内に蓄積するテキスト情報は
一言語のみで、その一言語から必要な言語への翻訳を行
うため、多数の言語に対応した音声情報をあらかじめ準
備しておく必要がなく、記憶装置内の記憶領域の使用効
率が良い。(3) Text information to be stored in the storage device is only one language, and it is necessary to prepare speech information corresponding to many languages in advance in order to translate from one language to a required language. And the efficiency of using the storage area in the storage device is high.
【００１６】(４)必要な言語の翻訳は機械翻訳システム
を利用してリアルタイムに行うため、あらかじめ音声情
報の必要な言語へのエンコーディングを行っておく準備
時間が不要となる。(4) Since the translation of the required language is performed in real time using a machine translation system, there is no need for a preparation time for previously encoding the voice information into the required language.
【００１７】(５)サーバからクライアントへ送出される
動画像情報とキャプション情報は多重化された１ストリ
ームなので、送出に必要な伝送帯域の消費が少ない。(5) The moving picture information and the caption information transmitted from the server to the client are multiplexed streams, so that the transmission bandwidth required for transmission is small.
【００１８】などの作用を有する。And the like.
【００１９】また、第２の手段は、映像プログラムとと
もにあらかじめ字幕等の形式で前記映像プログラムの音
声情報をある特定言語のテキスト形態に変換したキャプ
ション情報をキャプション情報記憶装置に蓄積し、必要
に応じて前記キャプション情報を機械翻訳システムなど
を利用することで任意の言語に翻訳し、前記映像プログ
ラムと並行して端末装置に２本の連続ストリームとして
送出し、端末装置上で前記映像プログラムと前記キャプ
ション情報をデコードし重ねて表示することで、任意の
言語に対応した映像プログラムの配信を行うものであ
る。The second means stores, in a caption information storage device, caption information obtained by converting audio information of the video program into a text format of a specific language in advance in the form of subtitles or the like together with the video program. The caption information is translated into an arbitrary language by using a machine translation system or the like, and is transmitted as two continuous streams to a terminal device in parallel with the video program, and the video program and the caption are transmitted on the terminal device. By decoding the information and displaying it in an overlapping manner, a video program corresponding to an arbitrary language is distributed.
【００２０】この第２の手段によれば、前記第１の手段
の作用(１)ないし(４)に加え、動画像情報にキャプショ
ン情報を多重化する多重化装置が不要となる作用を有す
る。According to the second means, in addition to the actions (1) to (4) of the first means, there is an action that does not require a multiplexing device for multiplexing caption information with moving picture information.
【００２１】さらに、第３の手段は、映像プログラムと
ともにあらかじめ字幕等の形式で前記映像プログラムの
音声情報をある特定言語のテキスト形態に変換したキャ
プション情報をキャプション情報記憶装置に蓄積し、前
記映像プログラムと並行して端末装置に２本の連続スト
リームとして送出し、必要に応じて端末装置上で前記キ
ャプション情報を機械翻訳システムなどを利用すること
で任意の言語に翻訳し、さらに端末装置上で前記映像プ
ログラムと前記キャプション情報をデコードし重ねて表
示することで、任意の言語に対応した映像プログラムの
配信を行うものである。Further, the third means stores, in a caption information storage device, caption information obtained by converting audio information of the video program into a text format of a specific language in advance in the form of subtitles and the like together with the video program. In parallel to the terminal device as two continuous streams, if necessary, translate the caption information on the terminal device into an arbitrary language using a machine translation system or the like, and further translate the caption information on the terminal device. By decoding and displaying the video program and the caption information in a superimposed manner, the video program corresponding to an arbitrary language is distributed.
【００２２】この第３の手段によれば、前記第２の手段
の作用に加え、クライアント側でユーザが必要とする任
意の言語に翻訳する翻訳システムを動作させるため、サ
ーバ側で多種類の言語に対応する機械翻訳システムを準
備する必要がないという作用を有する。According to the third means, in addition to the operation of the second means, the client side operates a translation system for translating into an arbitrary language required by the user. There is no need to prepare a machine translation system corresponding to.
【００２３】[0023]
【発明の実施の形態】以下、本発明の各実施の形態につ
いて図１から図３を用いて説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described below with reference to FIGS.
【００２４】（実施の形態１）図１は本発明の実施の形
態１におけるＶＯＤシステムの構成を示すブロック図で
ある。図１において、１は動画像情報やキャプション情
報を蓄積するサーバ装置、２は端末装置、３はサーバ装
置と端末装置を結ぶ交換網、４は動画像情報記憶装置、
５はキャプション情報記憶装置、６は機械翻訳システ
ム、７はテキストデータを画像情報に変換するテキスト
→画像変換装置、８は画像情報の画像多重化装置、９は
ＭＰＥＧシステムストリームへのＭＰＥＧ多重化装置、
10はＭＰＥＧシステムストリームからのＭＰＥＧ分離化
装置、11はオーディオデータをデコードするオーディオ
デコーダ、12はビデオデータをデコードするビデオデコ
ーダである。(Embodiment 1) FIG. 1 is a block diagram showing a configuration of a VOD system according to Embodiment 1 of the present invention. In FIG. 1, 1 is a server device for storing moving image information and caption information, 2 is a terminal device, 3 is an exchange network connecting the server device and the terminal device, 4 is a moving image information storage device,
5 is a caption information storage device, 6 is a machine translation system, 7 is a text-to-image conversion device for converting text data into image information, 8 is an image multiplexing device for image information, and 9 is an MPEG multiplexing device for MPEG system stream. ,
Reference numeral 10 denotes an apparatus for separating an MPEG from an MPEG system stream, reference numeral 11 denotes an audio decoder for decoding audio data, and reference numeral 12 denotes a video decoder for decoding video data.
【００２５】次に上記構成のＶＯＤシステムの動作につ
いて説明する。図１に示すように、動画像情報はあらか
じめ動画像情報記憶装置４にビデオ(Video)ストリーム
／オーディオ(Audio)ストリームの形で蓄積されている
ものとする。また、ユーザが端末装置２へ読み出す映像
プログラムの選択等はすでに実行済とし、以下の動作例
はユーザに選ばれたあるひとつの映画タイトルを送出す
る場合を仮定する。Next, the operation of the VOD system having the above configuration will be described. As shown in FIG. 1, it is assumed that the moving image information is stored in advance in the moving image information storage device 4 in the form of a video (Video) stream / audio (Audio) stream. In addition, it is assumed that the user has already selected a video program to be read out to the terminal device 2 and the like, and the following operation example assumes a case in which a certain movie title selected by the user is transmitted.
【００２６】まず、動画像情報記憶装置４より、該当す
る映画タイトルのビデオストリーム，オーディオストリ
ームが読み出される。オーディオストリームはそのまま
ＭＰＥＧシステムへのＭＰＥＧ多重化装置９へ入力さ
れ、ビデオストリームは、画像多重化装置８に入力され
る。また、前記ビデオストリームの読み出しと同期し
て、キャプション情報記憶装置５より、映像プログラム
の音声情報をある特定言語のテキスト形態に変換したキ
ャプション情報が読み出される。例えば、本例では、英
語のキャプションのテキストと仮定する(キャプション
とはＴＶ画面の下部に俳優の台詞等が英語のテキストと
して表示されるもの)。First, a video stream and an audio stream of a corresponding movie title are read from the moving picture information storage device 4. The audio stream is directly input to the MPEG multiplexing device 9 for the MPEG system, and the video stream is input to the image multiplexing device 8. In addition, in synchronization with the reading of the video stream, caption information obtained by converting the audio information of the video program into a text format of a specific language is read from the caption information storage device 5. For example, in this example, it is assumed that the caption is a text of an English caption (a caption is a text in which the dialogue of an actor is displayed as an English text at the bottom of a TV screen).
【００２７】また、前記映像プログラムの音声情報と前
記キャプション情報は、あらかじめ同期をとって蓄積さ
れており、それぞれ一定の速度で読み出し処理を行うの
みで、両者の対応は取れるものとする。このキャプショ
ン情報は、機械翻訳システム６に入力され、ユーザの要
求に合わせて、例えば英語→日本語への機械翻訳が実行
される。こうして翻訳を実行されたテキストデータはテ
キスト→画像変換装置７に入力され、テキストデータか
ら画像情報に変換され、画像多重化装置８へ入力され
る。The audio information of the video program and the caption information are stored in synchronization with each other in advance, and it is assumed that only the read processing is performed at a constant speed, and that both can be handled. The caption information is input to the machine translation system 6, and machine translation from, for example, English to Japanese is performed according to the user's request. The translated text data is input to the text-to-image conversion device 7, converted from the text data to image information, and input to the image multiplexing device 8.
【００２８】画像多重化装置８では、前記の画像へ変換
されたキャプション情報と、映像プログラムのビデオス
トリームが多重化され、例えばキャプション情報は映画
の画面下部に表示されるような形でひとつのビデオスト
リームとして、ＭＰＥＧ多重化装置９へ入力される。Ｍ
ＰＥＧ多重化装置９では、動画像情報記憶装置４から読
み出されたオーディオストリームと画像多重化装置８か
らの出力のビデオストリームをＭＰＥＧシステムの形式
に多重化し、交換網３を介して、端末装置２へ送出され
る。In the image multiplexing device 8, the caption information converted into the image and the video stream of the video program are multiplexed. For example, the caption information is converted into one video in such a manner as to be displayed at the bottom of the screen of the movie. The stream is input to the MPEG multiplexer 9. M
The PEG multiplexing device 9 multiplexes the audio stream read from the moving image information storage device 4 and the video stream output from the image multiplexing device 8 into an MPEG system format, 2 is sent.
【００２９】端末装置２では、前記のビデオ／オーディ
オストリームをＭＰＥＧ分離化装置10でＭＰＥＧシステ
ムより分離し、それぞれオーディオデコーダ11，ビデオ
デコーダ12へ入力することで、復号処理を行い、復号さ
れた映像／音声信号をテレビモニタなどに送ることで、
ユーザが適切な言語のキャプションがついた形で映画プ
ログラムの視聴を行うことができる。In the terminal device 2, the video / audio stream is separated from the MPEG system by the MPEG separation device 10 and input to the audio decoder 11 and the video decoder 12, respectively, to perform a decoding process, and / By sending audio signals to a TV monitor, etc.
The user can watch the movie program with captions in the appropriate language.
【００３０】（実施の形態２）図２は本発明の実施の形
態２におけるＶＯＤシステムの構成を示すブロック図で
ある。図２において、前記図１と同じ機能のブロックに
は同じ符号を付し、図１と図２を比較すると明らかなよ
うにサーバ装置１におけるテキスト→画像変換装置７及
び画像多重化装置８を端末装置２に移設し、交換網３を
介して、サーバ装置１の機械翻訳システム６と端末装置
２のテキスト→画像変換装置７が接続され、また、画像
多重化装置８はビデオデコーダ12と接続された構成とな
っている。(Embodiment 2) FIG. 2 is a block diagram showing a configuration of a VOD system according to Embodiment 2 of the present invention. 2, blocks having the same functions as those in FIG. 1 are denoted by the same reference numerals, and as is apparent from a comparison between FIG. 1 and FIG. 2, the text-to-image conversion device 7 and the image multiplexing device 8 in the server device 1 are connected to terminals. The machine translation system 6 of the server device 1 and the text-to-image conversion device 7 of the terminal device 2 are connected via the switching network 3 to the device 2, and the image multiplexing device 8 is connected to the video decoder 12. Configuration.
【００３１】次に上記構成のＶＯＤシステムの動作につ
いて説明する。図２に示すように、動画像情報はあらか
じめ動画像情報記憶装置４にビデオ／オーディオストリ
ームの形で蓄積されているものとする。また、ユーザが
端末装置２へ読み出す映像プログラムの選択等はすでに
実行済とし、以下の動作例はユーザに選ばれたあるひと
つの映画タイトルを送出する場合を仮定する。Next, the operation of the VOD system having the above configuration will be described. As shown in FIG. 2, it is assumed that the moving image information is stored in advance in the moving image information storage device 4 in the form of a video / audio stream. In addition, it is assumed that the user has already selected a video program to be read out to the terminal device 2 and the like, and the following operation example assumes a case in which a certain movie title selected by the user is transmitted.
【００３２】まず、動画像情報記憶装置４より、該当す
る映画タイトルのビデオ／オーディオストリームが読み
出され、そのままＭＰＥＧ多重化装置９へ入力され、交
換網３を経由して、端末装置２へ送出される。また、前
記ビデオストリームの読み出しと同期して、キャプショ
ン情報記憶装置５より、映像プログラムの音声情報をあ
る特定言語のテキスト形態に変換したキャプション情報
が読み出される。例えば、本例では、英語のキャプショ
ンのテキストと仮定する。First, a video / audio stream of a corresponding movie title is read out from the moving picture information storage device 4, input to the MPEG multiplexing device 9 as it is, and transmitted to the terminal device 2 via the switching network 3. Is done. In addition, in synchronization with the reading of the video stream, caption information obtained by converting the audio information of the video program into a text format of a specific language is read from the caption information storage device 5. For example, in this example, assume that the text is English caption text.
【００３３】また、前記映像プログラムの音声情報と前
記キャプション情報は、あらかじめ同期をとって蓄積さ
れており、それぞれ一定の速度で読み出し処理を行うの
みで、両者の対応は取れるものとする。このキャプショ
ン情報は、機械翻訳システム６に入力され、ユーザの要
求に合わせて、例えば英語→日本語への機械翻訳が実行
される。こうして翻訳を実行されたテキストデータは、
交換網３を経由して、端末装置２へ送出される。The audio information of the video program and the caption information are stored in synchronization with each other in advance, and the two can be handled only by performing read processing at a constant speed. The caption information is input to the machine translation system 6, and machine translation from, for example, English to Japanese is performed according to the user's request. The translated text data is
The data is transmitted to the terminal device 2 via the switching network 3.
【００３４】端末装置２に受け取られたテキストデータ
は、テキスト→画像変換装置７に入力され、テキストデ
ータから画像情報に変換され、画像多重化装置８へ入力
される。また、端末装置２で受け取られたビデオ／オー
ディオストリームデータはＭＰＥＧ分離化装置10に入力
され、オーディオデコーダ11，ビデオデコーダ12にて復
号される。The text data received by the terminal device 2 is input to the text-to-image conversion device 7, converted from the text data to image information, and input to the image multiplexing device 8. The video / audio stream data received by the terminal device 2 is input to the MPEG demultiplexer 10 and is decoded by the audio decoder 11 and the video decoder 12.
【００３５】ビデオデコーダ12からの出力であるビデオ
ストリームは画像多重化装置８に入力され、前記の画像
へ変換されたキャプション情報と、前記映像プログラム
のビデオストリームが多重化され、例えばキャプション
情報はディスプレイの画面下部に表示されるような形で
画像多重化装置８からテレビモニタなどに送られる。The video stream output from the video decoder 12 is input to the image multiplexing device 8, and the caption information converted into the image and the video stream of the video program are multiplexed. For example, the caption information is displayed on the display. Is transmitted from the image multiplexing device 8 to a television monitor or the like in such a form as to be displayed at the bottom of the screen.
【００３６】このようにして復号された映像／音声信号
はテレビモニタなどによって、ユーザが適切な言語のキ
ャプションがついた形で映画プログラムの視聴を行うこ
とができる。The video / audio signal decoded in this way allows the user to view the movie program with a caption in a suitable language on a television monitor or the like.
【００３７】（実施の形態３）図３は本発明の実施の形
態３におけるＶＯＤシステムの構成を示すブロック図で
ある。図３において、前記図１及び図２と同じ機能のブ
ロックには同じ符号を付し、図２と比較すると明らかな
ようにサーバ装置１における機械翻訳システム６も端末
装置２に移設し、交換網３を介して、サーバ装置１のキ
ャプション情報記憶装置５と端末装置２の機械翻訳シス
テム６が接続された構成となっている。(Embodiment 3) FIG. 3 is a block diagram showing a configuration of a VOD system according to Embodiment 3 of the present invention. In FIG. 3, blocks having the same functions as those in FIGS. 1 and 2 are denoted by the same reference numerals, and the machine translation system 6 in the server device 1 is also moved to the terminal device 2 as apparent from comparison with FIG. 3, a caption information storage device 5 of the server device 1 and a machine translation system 6 of the terminal device 2 are connected.
【００３８】次に上記構成のＶＯＤシステムの動作につ
いて説明する。図３に示すように、動画像情報はあらか
じめ動画像情報記憶装置４にビデオ／オーディオストリ
ームの形で蓄積されているものとする。また、ユーザが
端末装置へ読み出す映像プログラムの選択等はすでに実
行済とし、以下の動作例はユーザに選ばれたあるひとつ
の映画タイトルを送出する場合を仮定する。Next, the operation of the VOD system having the above configuration will be described. As shown in FIG. 3, it is assumed that the moving image information is stored in advance in the moving image information storage device 4 in the form of a video / audio stream. It is assumed that the user has already selected a video program to be read out to the terminal device, and the following operation example is based on the assumption that a single movie title selected by the user is transmitted.
【００３９】まず、動画像情報記憶装置４より、該当す
る映画タイトルのビデオ／オーディオストリームが読み
出され、そのままＭＰＥＧ多重化装置９へ入力され、交
換網３を経由して、端末装置２へ送出される。また、前
記ビデオストリームの読み出しと同期して、キャプショ
ン情報記憶装置５より、映像プログラムの音声情報をあ
る特定言語のテキスト形態に変換したキャプション情報
が読み出される。例えば、本例では、英語のキャプショ
ンのテキストと仮定する。First, a video / audio stream of a corresponding movie title is read out from the moving picture information storage device 4, input to the MPEG multiplexing device 9 as it is, and transmitted to the terminal device 2 via the switching network 3. Is done. In addition, in synchronization with the reading of the video stream, caption information obtained by converting the audio information of the video program into a text format of a specific language is read from the caption information storage device 5. For example, in this example, assume that the text is English caption text.
【００４０】また、前記映像プログラムの音声情報と前
記キャプション情報は、あらかじめ同期をとって蓄積さ
れており、それぞれ一定の速度で読み出し処理を行うだ
けで、両者の対応は取れるものとする。このキャプショ
ン情報は、交換網３を介して端末装置２へ送出される。The audio information of the video program and the caption information are stored in synchronization with each other in advance, and the two can be handled only by performing the reading process at a constant speed. This caption information is transmitted to the terminal device 2 via the switching network 3.
【００４１】端末装置２に受け取られたテキストデータ
は、機械翻訳システム６に入力され、ユーザの要求に合
わせて、例えば英語→日本語への機械翻訳が実行され
る。続いてテキスト→画像変換装置７に入力され、テキ
ストデータから画像情報に変換され、画像多重化装置８
へ入力される。The text data received by the terminal device 2 is input to the machine translation system 6, and machine translation from, for example, English to Japanese is performed according to a user's request. Subsequently, the data is input to the text-to-image conversion device 7, which converts the text data into image information, and converts the text data into image information.
Is input to
【００４２】また、端末装置２で受け取られたビデオ／
オーディオストリームデータはＭＰＥＧ分離化装置10に
入力され、オーディオデコーダ11，ビデオデコーダ12に
て復号される。The video / video received by the terminal device 2
The audio stream data is input to the MPEG demultiplexer 10, and is decoded by the audio decoder 11 and the video decoder 12.
【００４３】ビデオデコーダ12からの出力であるビデオ
ストリームは画像多重化装置８に入力され、前記の画像
へ変換されたキャプション情報と、前記映像プログラム
のビデオストリームが多重化され、例えばキャプション
情報はディスプレイの画面下部に表示されるような形で
画像多重化装置８からテレビモニタなどに送られる。The video stream output from the video decoder 12 is input to the image multiplexing device 8, and the caption information converted into the image and the video stream of the video program are multiplexed. For example, the caption information is displayed on the display. Is transmitted from the image multiplexing device 8 to a television monitor or the like in such a form as to be displayed at the bottom of the screen.
【００４４】このようにして復号された映像／音声信号
はテレビモニタなどによって、ユーザが適切な言語のキ
ャプションがついた形で映画プログラムの視聴を行うこ
とができる。The video / audio signal thus decoded can be watched by a user on a television monitor or the like in a movie program with captions in an appropriate language.
【００４５】次に、上記各実施の形態１，２，３にて仮
定した、映像プログラムの音声情報とキャプション情報
を、あらかじめ同期をとって蓄積し、それぞれ一定の速
度で読み出し処理を行う方法について説明する。Next, assuming in each of the first, second, and third embodiments, a method of accumulating audio information and caption information of a video program in synchronization with each other, and performing read processing at a constant speed. explain.
【００４６】[0046]
【表１】 [Table 1]
【００４７】表１は動画像情報記憶装置４とキャプショ
ン情報記憶装置５内に蓄積された、それぞれ動画フレー
ムの書き込みアドレスとその動画部に対応したキャプシ
ョン情報の書き込みアドレスを、ＭＰＥＧのＧＯＰ(Gro
up Of Pictures)単位で管理するテーブル例である。本
テーブルは動画像情報記憶装置４とキャプション情報記
憶装置５の両方で保持するものとする。１ＧＯＰには必
ず１ピクチャを構成するために必要な情報が完全に含ま
れているため、キャプション情報をＧＯＰに対応させて
管理できるようにしておけば、ある映像に対して必要十
分な字幕の情報を提供できることとなる。前記テーブル
を作成する際に、動画フレームとキャプション情報の読
み出し速度を考慮して、それぞれ一定速度で読み出しを
続ければ、動画フレームに対応するキャプション情報が
取り出されるような形でテーブルを構成しておくこと
で、それぞれの読み出し処理をこの一定速度に合わせて
実行するので端末装置上で両者の同期が取れることにな
る。Table 1 shows the write address of the moving picture frame and the write address of the caption information corresponding to the moving picture portion stored in the moving picture information storage device 4 and the caption information storage device 5, respectively.
3 is an example of a table managed in units of “up of pictures”. This table is stored in both the moving image information storage device 4 and the caption information storage device 5. Since one GOP always includes information necessary to compose one picture, if caption information can be managed in association with the GOP, subtitle information necessary and sufficient for a certain video is provided. Can be provided. When creating the table, the table is configured in such a manner that the caption information corresponding to the moving image frame is taken out if the reading is continued at a constant speed in consideration of the reading speed of the moving image frame and the caption information. As a result, the respective reading processes are executed in accordance with this constant speed, so that the two can be synchronized on the terminal device.
【００４８】[0048]
【発明の効果】以上説明したように、本発明のＶＯＤシ
ステムにおける動画像プログラムの出力ストリームを多
様な言語に対応させる方法は、動画像プログラムの音声
情報をある特定言語のテキスト形態に変換したキャプシ
ョン情報としてキャプション情報記憶装置に蓄積し、必
要に応じて前記キャプション情報を任意の言語に翻訳
し、前記動画像プログラムのビデオストリームに多重化
して表示することで、 (１)「ＭＰＥＧシステム規格」によって決まる多重可能
なオーディオチャネル数の制限に関係なく、サーバ上で
動作する機械翻訳システムの翻訳可能言語数によって、
対応可能な言語数が決まる。As described above, the method of making the output stream of a moving picture program compatible with various languages in the VOD system of the present invention is based on the caption that converts the audio information of the moving picture program into a text form of a specific language. By storing the information as caption information in a caption information storage device, translating the caption information into an arbitrary language as necessary, and multiplexing the caption information in a video stream of the moving image program for display, (1) According to the “MPEG system standard” Regardless of the limited number of multiplexable audio channels, the number of translatable languages of the machine translation system running on the server
The number of languages that can be supported is determined.
【００４９】(２)機械翻訳システムを利用し、テキスト
データによる翻訳を行うため、通訳者のような人間の介
在を必要としない。(2) Since translation is performed by text data using the machine translation system, human intervention such as an interpreter is not required.
【００５０】(３)情報記憶装置内に蓄積するテキスト情
報は一言語のみで、その一言語から必要な言語への翻訳
を行うため、多数の言語に対応した音声情報をあらかじ
め準備しておく必要がなく、記憶装置内の記憶領域の使
用効率が良い。(3) Text information to be stored in the information storage device is only one language, and it is necessary to prepare speech information corresponding to many languages in advance in order to translate from one language to a required language. And the use efficiency of the storage area in the storage device is good.
【００５１】(４)必要な言語の翻訳は機械翻訳システム
を利用してリアルタイムに行うため、あらかじめ音声情
報の必要な言語へのエンコーディングを行っておく準備
時間が不要である。(4) Since the translation of the required language is performed in real time using a machine translation system, there is no need for a preparation time for encoding the speech information in the required language in advance.
【００５２】という効果を有する。The effect is as follows.
【図１】本発明の実施の形態１におけるＶＯＤシステム
の構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of a VOD system according to Embodiment 1 of the present invention.
【図２】本発明の実施の形態２におけるＶＯＤシステム
の構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of a VOD system according to a second embodiment of the present invention.
【図３】本発明の実施の形態３におけるＶＯＤシステム
の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of a VOD system according to a third embodiment of the present invention.
１…サーバ装置、 ２…端末装置、 ３…交換網、 ４
…動画像情報記憶装置、５…キャプション情報記憶装
置、 ６…機械翻訳システム、 ７…テキスト→画像変
換装置、 ８…画像多重化装置、 ９…ＭＰＥＧ多重化
装置、 11…ＭＰＥＧ分離化装置、 11…オーディオデ
コーダ、 12…ビデオデコーダ。DESCRIPTION OF SYMBOLS 1 ... Server apparatus, 2 ... Terminal apparatus, 3 ... Switching network, 4
... Moving image information storage device, 5 ... Caption information storage device, 6 ... Machine translation system, 7 ... Text-to-image conversion device, 8 ... Image multiplexing device, 9 ... MPEG multiplexing device, 11 ... MPEG demultiplexing device, 11 ... audio decoder, 12 ... video decoder.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 // Ｈ０４Ｎ 7/025 Ｈ０４Ｎ 7/08 7/03 7/035 7/08 7/081 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 6 Identification code Agency reference number FI Technical indication // H04N 7/025 H04N 7/08 7/03 7/035 7/08 7/081
Claims (6)
高能率符号化された複数の映像プログラムを大容量の動
画像情報記憶装置に蓄積し、端末装置より前記動画像情
報記憶装置に蓄積した任意の映像プログラムを検索して
読み出すＶＯＤシステムにおいて、前記映像プログラム
と共にあらかじめ字幕等の形式で前記映像プログラムの
音声情報をある特定言語のテキスト形態に変換したキャ
プション情報をキャプション情報記憶装置に蓄積し、必
要に応じて前記キャプション情報を任意の言語に翻訳
し、前記映像プログラムに符号多重化した上で端末装置
に送出し、任意の言語に対応した映像プログラムの提供
を行うことを特徴とするＶＯＤシステム。1. A plurality of video programs which have been efficiently coded by an image data compression system such as MPEG are stored in a large-capacity moving image information storage device, and an arbitrary terminal program stored in the moving image information storage device from a terminal device. In a VOD system in which a video program is searched and read, caption information obtained by converting audio information of the video program into a text format of a specific language in advance in the form of subtitles together with the video program is stored in a caption information storage device. A VOD system comprising: translating the caption information into an arbitrary language in accordance therewith; code-multiplexing the caption information into the video program; and transmitting the code program to a terminal device to provide a video program corresponding to the optional language.
高能率符号化された複数の映像プログラムを大容量の動
画像情報記憶装置に蓄積し、端末装置より前記動画像情
報記憶装置に蓄積した任意の映像プログラムを検索して
読み出すＶＯＤシステムにおいて、前記映像プログラム
と共にあらかじめ字幕等の形式で前記映像プログラムの
音声情報をある特定言語のテキスト形態に変換したキャ
プション情報をキャプション情報記憶装置に蓄積し、必
要に応じて前記キャプション情報を任意の言語に翻訳
し、前記映像プログラムと並行して端末装置に送出し、
端末装置上で前記映像プログラムと前記キャプション情
報を重ねて表示して、任意の言語に対応した映像プログ
ラムの提供を行うことを特徴とするＶＯＤシステム。2. A plurality of video programs, which have been efficiently coded by an image data compression method such as MPEG, are stored in a large-capacity moving image information storage device, and an arbitrary terminal program stored in the moving image information storage device from a terminal device. In a VOD system in which a video program is searched and read, caption information obtained by converting audio information of the video program into a text format of a specific language in advance in the form of subtitles together with the video program is stored in a caption information storage device. According to the translation of the caption information into any language, and sent to the terminal device in parallel with the video program,
A VOD system, wherein the video program and the caption information are displayed in a superimposed manner on a terminal device to provide a video program corresponding to an arbitrary language.
高能率符号化された複数の映像プログラムを大容量の動
画像情報記憶装置に蓄積し、端末装置より前記動画像情
報記憶装置に蓄積した任意の映像プログラムを検索して
読み出すＶＯＤシステムにおいて、前記映像プログラム
と共にあらかじめ字幕等の形式で前記映像プログラムの
音声情報をある特定言語のテキスト形態に変換したキャ
プション情報をキャプション情報記憶装置に蓄積し、前
記映像プログラムと並行して端末装置に送出し、端末装
置上で任意の言語に翻訳した上で前記映像プログラムと
キャプション情報とを重ねて表示して、任意の言語に対
応した映像プログラムの提供を行うことを特徴とするＶ
ＯＤシステム。3. A plurality of video programs, which have been efficiently coded by an image data compression method such as MPEG, are stored in a large-capacity moving image information storage device, and an arbitrary terminal program stored in the moving image information storage device from a terminal device. In a VOD system for retrieving and reading a video program, caption information obtained by converting audio information of the video program into text format of a specific language in advance in the form of subtitles and the like together with the video program is stored in a caption information storage device. Sending to a terminal device in parallel with the program, translating into an arbitrary language on the terminal device, and superimposing and displaying the video program and caption information to provide a video program corresponding to an arbitrary language V characterized by
OD system.
は、ビデオ／オーディオストリームをＭＰＥＧシステム
より分離するＭＰＥＧ分離化装置と、前記ＭＰＥＧ分離
化装置で分離されたビデオ／オーディオを復号処理する
ビデオレコーダ及びオーディオレコーダとを有すること
を特徴とするＶＯＤ端末装置。4. A VOD terminal device in a VOD system, comprising: an MPEG separator for separating a video / audio stream from an MPEG system; a video recorder and an audio recorder for decoding video / audio separated by the MPEG separator. A VOD terminal device comprising:
は、テキストデータを画像情報に変換するテキスト→画
像変換装置と、前記テキスト→画像変換装置からのキャ
プション情報とビデオデコーダからの映像プログラムの
ビデオストリームを多重化する画像多重化装置と、ビデ
オ／オーディオストリームをＭＰＥＧシステムより分離
するＭＰＥＧ分離化装置と、前記ＭＰＥＧ分離化装置で
分離されたビデオ／オーディオを復号処理するビデオレ
コーダ及びオーディオレコーダとを有することを特徴と
するＶＯＤ端末装置。5. A VOD terminal device in a VOD system, which multiplexes a text-to-image conversion device for converting text data into image information, a caption information from the text-to-image conversion device, and a video stream of a video program from a video decoder. A video multiplexing device, an MPEG separating device for separating a video / audio stream from an MPEG system, and a video recorder and an audio recorder for decoding and processing the video / audio separated by the MPEG separating device. Characteristic VOD terminal device.
は、ユーザの要求に合わせて機械翻訳する機械翻訳シス
テムと、前記機械翻訳システムからのテキストデータを
画像情報に変換するテキスト→画像変換装置と、前記テ
キスト→画像変換装置からのキャプション情報とビデオ
デコーダからの映像プログラムのビデオストリームを多
重化する画像多重化装置と、ビデオ／オーディオストリ
ームをＭＰＥＧシステムより分離するＭＰＥＧ分離化装
置と、前記ＭＰＥＧ分離化装置で分離されたビデオ／オ
ーディオを復号処理するビデオレコーダ及びオーディオ
レコーダとを有することを特徴とするＶＯＤ端末装置。6. A VOD terminal device in a VOD system, comprising: a machine translation system that performs machine translation according to a user's request; a text-to-image conversion device that converts text data from the machine translation system into image information; → An image multiplexer for multiplexing caption information from an image converter and a video stream of a video program from a video decoder, an MPEG separator for separating a video / audio stream from an MPEG system, and the MPEG separator. A VOD terminal device comprising: a video recorder and an audio recorder for decoding separated video / audio.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8158397A JPH1013809A (en) | 1996-06-19 | 1996-06-19 | Vod system and vod terminal equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8158397A JPH1013809A (en) | 1996-06-19 | 1996-06-19 | Vod system and vod terminal equipment |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1013809A true JPH1013809A (en) | 1998-01-16 |
Family
ID=15670856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8158397A Pending JPH1013809A (en) | 1996-06-19 | 1996-06-19 | Vod system and vod terminal equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1013809A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020063341A (en) * | 2001-01-27 | 2002-08-03 | 김종열 | Method for enbodying multilingual internet broadcast |
| WO2004030356A1 (en) * | 2002-09-25 | 2004-04-08 | Matsushita Electric Industrial Co., Ltd. | Reproduction device, optical disc, recording medium, program, and reproduction method |
| JP2006115385A (en) * | 2004-10-18 | 2006-04-27 | Nec Commun Syst Ltd | Image distribution system, image distribution apparatus, image distribution method, and image distribution program |
| JP2008523661A (en) * | 2004-12-06 | 2008-07-03 | トムソン ライセンシング | Multiple closed caption flows and customer access in digital networks |
| US7764868B2 (en) | 2002-09-12 | 2010-07-27 | Panasonic Corporation | Recording medium, reproduction device, program, reproduction method, and recording method |
| JP2014021485A (en) * | 2012-07-20 | 2014-02-03 | Tpv Display Technology (Xiamen) Co Ltd | Television system with multi-language speech translation and implementation method thereof |
| JP2016189508A (en) * | 2015-03-30 | 2016-11-04 | シャープ株式会社 | Receiving device, reception method, and program |
-
1996
- 1996-06-19 JP JP8158397A patent/JPH1013809A/en active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020063341A (en) * | 2001-01-27 | 2002-08-03 | 김종열 | Method for enbodying multilingual internet broadcast |
| US8331769B2 (en) | 2002-09-12 | 2012-12-11 | Panasonic Corporation | Recording medium, playback device, program, playback method, and recording method |
| US7764868B2 (en) | 2002-09-12 | 2010-07-27 | Panasonic Corporation | Recording medium, reproduction device, program, reproduction method, and recording method |
| WO2004030356A1 (en) * | 2002-09-25 | 2004-04-08 | Matsushita Electric Industrial Co., Ltd. | Reproduction device, optical disc, recording medium, program, and reproduction method |
| US7639923B2 (en) | 2002-09-25 | 2009-12-29 | Panasonic Corporation | Reproduction device, optical disc, recording medium, program, and reproduction method |
| US8385720B2 (en) | 2002-09-25 | 2013-02-26 | Panasonic Corporation | Reproduction device, optical disc, recording medium, program, reproduction method |
| US8380048B2 (en) | 2002-09-25 | 2013-02-19 | Panasonic Corporation | Reproduction device, optical disc, recording medium, program, reproduction method |
| JP2006115385A (en) * | 2004-10-18 | 2006-04-27 | Nec Commun Syst Ltd | Image distribution system, image distribution apparatus, image distribution method, and image distribution program |
| JP2008523661A (en) * | 2004-12-06 | 2008-07-03 | トムソン ライセンシング | Multiple closed caption flows and customer access in digital networks |
| KR101200928B1 (en) * | 2004-12-06 | 2012-11-14 | 톰슨 라이센싱 | Multiple closed captioning flows and customer access in digital networks |
| JP4901751B2 (en) * | 2004-12-06 | 2012-03-21 | トムソン ライセンシング | Multiple closed caption flows and customer access in digital networks |
| US8135041B2 (en) | 2004-12-06 | 2012-03-13 | Thomson Licensing | Multiple closed captioning flows and customer access in digital networks |
| JP2014021485A (en) * | 2012-07-20 | 2014-02-03 | Tpv Display Technology (Xiamen) Co Ltd | Television system with multi-language speech translation and implementation method thereof |
| JP2016189508A (en) * | 2015-03-30 | 2016-11-04 | シャープ株式会社 | Receiving device, reception method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2172011C (en) | Subtitle encoding/decoding method and apparatus | |
| US5991503A (en) | Moving picture data storing system and moving picture data decoding system | |
| CN101156443B (en) | Robust mode staggercasting with adjustable delay offset | |
| JP3228874B2 (en) | Method and apparatus for dividing compressed digital video bit stream and method and apparatus for decoding the same | |
| CN1933590B (en) | Method, apparatus and for synchronizing separate compressed video and text streams | |
| EP0596732B1 (en) | Method per performing special effects in the receiver of a coded moving picture transmission system | |
| JP4515465B2 (en) | Moving picture photographing apparatus and moving picture photographing method, moving picture reproducing apparatus and moving picture reproducing method for reproducing a video signal recorded on a recording medium | |
| US20050048916A1 (en) | Service system of thumbnail image and transmitting/receiving method thereof | |
| CN1571496A (en) | Multimedia time warping system | |
| US6333950B1 (en) | Encoding apparatus and method and computer readable recording medium in which encoding program has been recorded | |
| JP4339524B2 (en) | DATA TRANSMISSION METHOD, DATA TRANSMISSION DEVICE, DATA RECEPTION METHOD, DATA RECEPTION DEVICE, DATA RECORDING METHOD, AND DATA RECORDING DEVICE | |
| JPH1013809A (en) | Vod system and vod terminal equipment | |
| KR20000022500A (en) | Method of encoding information, its encoder, its decoding/ synthesizing method, its decoder/synthesizer and recording which those methods are recorded. | |
| JPH0946630A (en) | Image information recorder, image information reproducing device and optical disk | |
| JP3520595B2 (en) | Encoded image and audio data receiving device | |
| US6970514B1 (en) | Signal processing device, signal processing method, decoding device, decoding method and recording medium | |
| JP2001359071A (en) | Data distributor and method, and data distribution system | |
| JPH08191434A (en) | Moving picture/audio coding data multiplexing method and moving picture/audio coding data multiplexer | |
| WO1998000979A1 (en) | Image encoding device and image decoding device | |
| JPH09307865A (en) | Compressed image audio decoder | |
| JP3780142B2 (en) | Video recording / playback device | |
| WO1996024219A1 (en) | Transmission system | |
| JPH11239306A (en) | Digital broadcast receiver | |
| JPH08115567A (en) | Image transmission device | |
| JPH1093977A (en) | Image signal processor and its method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040329 |
|
| A977 | Report on retrieval |
Effective date: 20060224 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060307 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Effective date: 20060914 Free format text: JAPANESE INTERMEDIATE CODE: A61 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150922 Year of fee payment: 9 |