JP2003319420A - Method, device, and program for downloading video contents - Google Patents
Method, device, and program for downloading video contentsInfo
- Publication number
- JP2003319420A JP2003319420A JP2002117510A JP2002117510A JP2003319420A JP 2003319420 A JP2003319420 A JP 2003319420A JP 2002117510 A JP2002117510 A JP 2002117510A JP 2002117510 A JP2002117510 A JP 2002117510A JP 2003319420 A JP2003319420 A JP 2003319420A
- Authority
- JP
- Japan
- Prior art keywords
- video content
- quality
- parameter
- evaluation
- quality parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、映像コンテンツ配
信する映像コンテンツ配信サーバに関する。TECHNICAL FIELD The present invention relates to a video content distribution server for distributing video content.
【０００２】[0002]
【従来の技術】ブロードバンドが脚光を浴びるのに伴
い、映像コンテンツを配信するシステムの開発が進んで
いる。映像コンテンツを配信するシステムとしては、映
像コンテンツをファイルの形式でサーバからダウンロー
ドしてクライアントに提供するシステムや、いわゆるビ
デオ・オン・デマンド（ＶＯＤ）システムのように、サ
ーバとクライアント間でインタラクティブに映像コンテ
ンツの配信制御を可能にしたシステムや、映像コンテン
ツをクライアントに実時間でライブ形式により提供する
システム等がある。2. Description of the Related Art As broadband comes into the limelight, development of systems for delivering video contents is progressing. As a system for distributing video contents, a system for downloading video contents in a file format from a server and providing the same to a client, or a so-called video on demand (VOD) system for interactively transmitting video between the server and the client. There are systems that enable content distribution control, systems that provide video content to clients in real time in a live format, and the like.
【０００３】一方、映像コンテンツを扱うシステムの開
発が活発化するのに伴い、映像コンテンツの品質評価に
ついての重要性が高まってきており、映像コンテンツの
評価方法についての研究開発も進んでいる。On the other hand, with the active development of the system for handling video contents, the importance of the quality evaluation of the video contents is increasing, and the research and development of the evaluation method of the video contents are also progressing.
【０００４】[0004]
【発明が解決しようとする課題】上述した従来の映像コ
ンテンツを提供するシステムは、開発の主眼が、システ
ムの構築やサービスの提供におかれており、必ずしも映
像コンテンツの品質を考慮したものではなかった。ま
た、映像コンテンツの評価方法についても、その研究開
発成果を実際の映像コンテンツ配信システムに適用した
ものはなかった。DISCLOSURE OF INVENTION Problems to be Solved by the Invention The above-mentioned conventional system for providing video contents is focused on the construction of the system and provision of services, and the quality of the video contents is not always taken into consideration. It was Also, regarding the evaluation method of video contents, none of the research and development results were applied to the actual video content distribution system.
【０００５】本発明の目的は、上記課題を解決し、映像
コンテンツの品質の保証を可能にした映像コンテンツ配
信方法および装置を提供することにある。An object of the present invention is to solve the above problems and to provide a video content distribution method and apparatus capable of guaranteeing the quality of video content.
【０００６】[0006]
【課題を解決するための手段】上記目的を達成するため
に、本発明の映像コンテンツ配信装置は、映像コンテン
ツの配信に先立ち、該映像コンテンツの品質を示す第１
の品質パラメータを算出する品質パラメータ算出手段
と、前記映像コンテンツをネットワークを介して所定の
クライアントに配信する映像コンテンツ配信手段と、前
記クライアントから、該クライアントにおいて算出され
た、映像コンテンツの品質を示す第２の品質パラメータ
を受信する品質パラメータ受信手段と、品質パラメータ
受信手段により受信された第２の品質パラメータと、品
質パラメータ算出手段により算出された第１の品質パラ
メータとを比較し、品質評価パラメータを算出する品質
評価手段を有する。In order to achieve the above-mentioned object, the video content distribution apparatus of the present invention has a first feature of indicating the quality of the video content before the distribution of the video content.
Quality parameter calculation means for calculating the quality parameter of the video content, video content distribution means for distributing the video content to a predetermined client via a network, and a first parameter indicating the quality of the video content calculated by the client from the client. The quality parameter receiving means for receiving the second quality parameter, the second quality parameter received by the quality parameter receiving means, and the first quality parameter calculated by the quality parameter calculating means are compared to obtain the quality evaluation parameter. It has a quality evaluation means for calculating.
【０００７】映像配信装置から映像コンテンツを配信す
る際に、映像コンテンツの品質パラメータを算出してお
き、クライアントにおいても受信した映像コンテンツの
品質パラメータを算出し、映像配信装置において、配信
前の品質パラメータと配信された後の品質パラメータと
を比較して、品質評価することにより、評価結果をさま
ざまに利用することが可能となる。When the video content is distributed from the video distribution device, the quality parameter of the video content is calculated in advance, and the client also calculates the quality parameter of the received video content, and the video distribution device calculates the quality parameter before distribution. It is possible to use the evaluation result in various ways by comparing the quality parameter after being distributed with the quality parameter and performing the quality evaluation.
【０００８】[0008]
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, embodiments of the present invention will be described with reference to the drawings.
【０００９】図１を参照すると、本発明の一実施形態の
映像コンテンツ配信システムは、映像コンテンツの配信
を行なう映像配信サーバ１００と、映像サーバ１００か
らの映像コンテンツを再生するクライアント２００と、
映像配信サーバ１００とクライアント２００を互いに接
続するネットワーク３００で構成されている。ネットワ
ーク３００は、光ネットワーク、インターネット、電話
網等、どのようなものでもよい。Referring to FIG. 1, a video content distribution system according to an embodiment of the present invention includes a video distribution server 100 for distributing video content, a client 200 for reproducing the video content from the video server 100,
The network 300 is configured to connect the video distribution server 100 and the client 200 to each other. The network 300 may be any network such as an optical network, the Internet, or a telephone network.
【００１０】映像配信サーバ１００は、映像コンテンツ
を蓄積するコンテンツ蓄積部１０１と、品質評価の対象
となる映像コンテンツを決定する評価対象決定部１０２
と、映像コンテンツのなかで品質評価の対象となる位置
を決定する評価位置決定部１０３、評価対象の映像コン
テンツのなかで評価対象の位置について第１の品質パラ
メータを算出する品質パラメータ算出部１０４と、映像
コンテンツをクライアント２００に配信するための処理
を行う映像コンテンツ配信部１０５と、クライアントに
おいて算出した第２の品質パラメータを受信する品質パ
ラメータ受信部１０６と、上述の第１の品質パラメータ
と第２のパラメータを比較し（両者の差異を求め）、そ
の差異が許容値内にあるかにより、品質評価パラメータ
を算出する品質評価部１０７と、品質評価パラメータに
基づいて所定の処理を行う利用部１０８とを含む。映像
コンテンツ配信部１０５は、映像コンテンツに電子透か
しを挿入する電子透かし処理や映像コンテンツを符号化
する符号化処理を含む。The video distribution server 100 includes a content storage unit 101 for storing video contents and an evaluation target determination unit 102 for determining video contents to be quality evaluated.
And an evaluation position determination unit 103 that determines a position to be a quality evaluation target in the video content, and a quality parameter calculation unit 104 that calculates a first quality parameter for the evaluation target position in the evaluation target video content. , A video content distribution unit 105 that performs a process for distributing the video content to the client 200, a quality parameter reception unit 106 that receives the second quality parameter calculated by the client, the above-described first quality parameter and the second quality parameter. Parameters of the two (calculate the difference between the two), and a quality evaluation unit 107 that calculates a quality evaluation parameter depending on whether the difference is within an allowable value, and a utilization unit 108 that performs a predetermined process based on the quality evaluation parameter. Including and The video content distribution unit 105 includes a digital watermark process for inserting a digital watermark into the video content and a coding process for coding the video content.
【００１１】クライアント２００は、映像配信サーバ１
００から映像コンテンツを受信する映像コンテンツ受信
部２０１と、映像コンテンツの配信先情報、配信期間、
映像コンテンツの内容を入力し、これらと合致するコン
テンツをデータベース（不図示）から選び出し、評価対
象の映像コンテンツと判定する評価対象判定部２０２
と、評価対象の映像コンテンツの中で評価対象の位置か
どうかを、画像フレームのなかの特定フレームと１枚の
フレームの中の画素領域の少なくとも一方に基づいて判
定する評価位置判定部２０３と、映像コンテンツから第
２の品質パラメータを算出するの品質パラメータ算出部
２０４と、算出した第２の品質パラメータを映像配信サ
ーバ１００に送信する品質パラメータ送信部２０５とを
含む。評価対象位置の判定方法としては、最も簡単には
利用者側から、フレーム位置およびフレーム内容の領域
位置を入力する方法、映像コンテンツの中から符号化処
理によって算出された動き補償データ量が所定の閾値よ
り多い領域だけを動きのある部分フレームとみなして評
価対象として抽出するという方法、別の方法として映像
フレーム間に跨る動きベクトルを算出し、その大きさが
ある閾値以上の領域を評価対象とするという処理が用い
られる。The client 200 is the video distribution server 1
Video content receiving unit 201 for receiving video content from 00, distribution destination information of the video content, distribution period,
An evaluation target determination unit 202 that inputs the contents of video contents, selects contents matching these contents from a database (not shown), and determines the video contents as an evaluation target
And an evaluation position determination unit 203 that determines whether the position is the evaluation target position in the evaluation target video content based on at least one of a specific frame of the image frames and a pixel region in one frame, It includes a quality parameter calculation unit 204 for calculating the second quality parameter from the video content, and a quality parameter transmission unit 205 for transmitting the calculated second quality parameter to the video distribution server 100. The simplest method for determining the evaluation target position is to input the frame position and the area position of the frame content from the user side, and to calculate the amount of motion compensation data calculated from the video content by the encoding process. A method in which only areas greater than the threshold value are regarded as moving partial frames and extracted as an evaluation target, another method is to calculate a motion vector across video frames, and an area whose size is greater than or equal to a threshold value is evaluated. The process of doing is used.
【００１２】図２は、本実施形態の映像コンテンツ配信
システムの動作を示すシーケンス例図である。以下、図
１と図２に基づいて、本実施形態の動作を詳細に説明す
る。FIG. 2 is a sequence diagram showing the operation of the video content distribution system of this embodiment. Hereinafter, the operation of this embodiment will be described in detail with reference to FIGS. 1 and 2.
【００１３】クライアント２００に配信する映像コンテ
ンツは、映像配信サーバ１００のコンテンツ蓄積部１０
１に蓄積される（ステップ４０１）。The video content to be distributed to the client 200 is stored in the content storage unit 10 of the video distribution server 100.
1 (step 401).
【００１４】映像配信サーバ１００の評価対象決定部１
０２は、品質評価の対象とする映像コンテンツを決定す
る（ステップ４０２）。クライアント２００に配信する
全ての映像コンテンツを評価対象にする場合は、本評価
対象決定部１０２は不要であるが、通常は品質評価の目
的に応じて、品質対象の映像コンテンツを選定する。例
えば、特定のクライアントとの間のサービス開始時や故
障診断時などの場合には、特定の配信先への映像コンテ
ンツについてのみ品質評価の対象にする。また、システ
ムの本格サービスに先立つ試行サービス期間中の各種試
験データ収集時等の場合や、定期的に品質評価試験を行
う場合には、特定の期間に配信する映像コンテンツにつ
いてのみ品質評価の対象にする。さらに、特定の映像コ
ンテンツの品質評価を行いたい場合には、該映像コンテ
ンツについてのみ品質評価の対象にする。このように、
評価対象決定部１０２では、映像コンテンツの配信先情
報、配信期間、映像コンテンツの内容などのいずれかあ
るいはこれらの組合せに基づいて品質評価対象の映像コ
ンテンツを決定する。Evaluation target determination unit 1 of video distribution server 100
02 determines the video content to be the target of quality evaluation (step 402). When all the video contents to be distributed to the client 200 are to be evaluated, the evaluation target determining unit 102 is not necessary, but normally, the video contents to be quality selected are selected according to the purpose of the quality evaluation. For example, at the time of starting a service with a specific client or at the time of failure diagnosis, only the video content to a specific distribution destination is targeted for quality evaluation. In addition, when collecting various test data during the trial service period prior to the full-scale service of the system, or when performing a quality evaluation test on a regular basis, only the video content delivered during a specific period is subject to quality evaluation. To do. Further, when it is desired to evaluate the quality of a specific video content, only the video content is subjected to the quality evaluation. in this way,
The evaluation target determining unit 102 determines the video content to be quality evaluated based on any one of the distribution destination information of the video content, the distribution period, the content of the video content, and the like, or a combination thereof.
【００１５】映像配信サーバ１００の評価位置決定部１
０３は、評価対象決定部１０２により決定された映像コ
ンテンツのなかで品質評価の対象とする部分の位置を決
定する（ステップ４０３）。映像コンテンツ全体を評価
対象にする場合は、本評価位置決定部１０３は不要であ
るが、通常は評価処理の効率化のために、映像コンテン
ツの内容、データ量の少なくとも一つに基づき、評価対
象決定部１０２により決定された映像コンテンツのなか
で品質評価を行う位置を限定する。例えば、動きのある
部分のみを評価対象にする。本評価位置決定部１０３
は、映像コンテンツのフレーム位置、フレーム内の領域
位置の少なくとも一つに基づき、評価対象決定部１０２
により決定された映像コンテンツのなかで品質評価を行
う位置を表す。Evaluation position determination unit 1 of video distribution server 100
03 determines the position of the portion of the video content determined by the evaluation target determination unit 102, which is the target of quality evaluation (step 403). If the entire video content is to be evaluated, the evaluation position determination unit 103 is not necessary, but normally, in order to improve the efficiency of the evaluation process, the evaluation target is determined based on at least one of the content of the video content and the data amount. The position where the quality evaluation is performed in the video content determined by the determination unit 102 is limited. For example, only a moving part is evaluated. This evaluation position determination unit 103
Is based on at least one of the frame position of the video content and the region position within the frame, and the evaluation target determination unit 102
Represents the position where quality evaluation is to be performed in the video content determined by.
【００１６】映像配信サーバ１００の品質パラメータ算
出部１０４は、コンテンツ蓄積部１０１により蓄積され
ている映像コンテンツに対し、第１の品質パラメータを
算出する（ステップ４０４）。品質パラメータとして
は、正規化カラーヒストグラム、動きエネルギー、エッ
ジ・エネルギー、空間周波数などがある。正規化カラー
ヒストグラムとは、各色および各輝度ごとの画素数を数
え、それぞれを全体の画素の総数（１フレーム内の画素
数）で割ることにより得られる。動きエネルギー、エッ
ジ・エネルギー、および空間周波数はＡＮＳＩ標準の品
質評価パラメータであり、ＡＮＳＩ Ｔ１．８０１．０
３に計算方法が規定されている。これらの品質パラメー
タの一部あるいは全部がフレームごとに算出される。The quality parameter calculation unit 104 of the video distribution server 100 calculates a first quality parameter for the video content stored by the content storage unit 101 (step 404). Quality parameters include normalized color histogram, motion energy, edge energy, spatial frequency, and so on. The normalized color histogram is obtained by counting the number of pixels for each color and each luminance and dividing each by the total number of pixels (the number of pixels in one frame). Motion energy, edge energy, and spatial frequency are ANSI standard quality evaluation parameters, and ANSI T1.801.0
The calculation method is specified in 3. Some or all of these quality parameters are calculated for each frame.
【００１７】ＡＮＳＩ Ｔ１．８０１．０３には次の点
が記載されている。The following points are described in ANSI T1.801.03.
【００１８】画素値Ｙ（ｉ，ｊ，ｔｎ）からフレーム間
差分Ｔｌ（ｉ，ｊ，ｔｎ）の計算、Ｐ個の画素からなる
小領域中の平均値Ｔｌｍｅａｎ（ｔｎ）、標準偏差Ｔｌ
ｓｔｄｅｖ（ｔｎ）、平均二乗誤差Ｔｌｒｍｓ（ｔｎ）
の計算をフレーム毎に行い、これを動きエネルギーとす
る（１６〜１７頁）。ここで、第１の品質パラメータと
第２の品質パラメータの差異について、サーバ側、端末
側での動きエネルギーをａｉｎ（ｔｎ）、ａｏｕｔ（ｔ
ｎ−ｄ）に代入して計算した対数比ｌｏｇ−ｒａｔｉｏ
（ｔｎ）（２２頁６．５．１．１）差異を示すパラメー
タとする。Calculation of inter-frame difference Tl (i, j, tn) from pixel value Y (i, j, tn), average value Tlmean (tn) in a small area consisting of P pixels, standard deviation Tl
stdev (tn), mean square error Tlrms (tn)
Is calculated for each frame and used as motion energy (pages 16 to 17). Here, regarding the difference between the first quality parameter and the second quality parameter, the motion energies on the server side and the terminal side are ain (tn) and aout (t
log-ratio calculated by substituting for n-d)
(Tn) (Page 22, 6.5.1.1) This is a parameter indicating the difference.
【００１９】エッジエネルギーについては、垂直方向の
傾きＳｉｙ（ｉ，ｊ，ｔｎ）と水平方向の傾きＳｉｈ
（ｉ，ｊ，ｔｎ）を注目する座標（ｉ，ｊ）における画
素値Ｙ（ｉ，ｊ，ｔｎ）とその周辺の画素値との差分か
ら求め、これらの値から傾きの大きさＳｉｒ（ｉ，ｊ，
ｔｎ）とその方向ＳＩθ（ｉ，ｊ，ｔｎ）を求め、それ
からＰ個の画素からなる小領域中の平均標準偏差Ｓｉｓ
ｔｄｅｖ（ｔｎ）をフレームごとに計算する（３０頁
７．１．６）。ここで、第１の品質パラメータと第２の
品質パラメータの差異について、サーバ側、端末側での
動きエネルギーをａｉｎ（ｔｎ）、ａｏｕｔ（ｔｎ−
ｄ）に代入して計算した誤差比ｅｒｒ−ｒａｔｉｏ（ｔ
ｎ）（２３頁６．５．１．４）を差異を示すパラメータ
とする。Regarding the edge energy, the vertical inclination Siy (i, j, tn) and the horizontal inclination Sih
(I, j, tn) is obtained from the difference between the pixel value Y (i, j, tn) at the coordinates (i, j) of interest and the pixel values in the vicinity thereof, and from these values the magnitude of inclination Sir (i , J,
tn) and its direction SIθ (i, j, tn), and then the average standard deviation Sis in a small region consisting of P pixels
Calculate tdev (tn) frame by frame (page 30 7.1.6). Here, regarding the difference between the first quality parameter and the second quality parameter, the motion energies on the server side and the terminal side are ain (tn) and aout (tn-
error ratio err-ratio (t
n) (page 23, 6.5.1.4) is used as the parameter indicating the difference.
【００２０】空間エネルギーについては、画素数Ｎ×Ｎ
の小領域の画素値Ｔ（ｔｎ）の二次元フーリエ変換の大
きさＦ（ｔｎ）を求め、画素の原点からの半径ｋ−ｌか
らｋに含まれる領域内のＦ（ｔｎ）に対する平均値ｆ
（ｋ，ｔｎ）を要素とするベクトルｆ（ｔｎ）をフレー
ムごとに計算する（１７頁６．１．２）。ここで、第１
の品質パラメータと第２の品質パラメータの差異につい
て、サーバ側、端末側での動きエネルギーをｂｉｎ（ｔ
ｎ）、ｂｏｕｔ（ｔｎ−ｄ）に代入して計算した半径ｉ
に跨って平均した平均誤差比ｓｕｍ−ｎｅｇ−ｅｒｒ−
ｒａｔｉｏ（ｔｎ）（２６頁６．５．２．２．参照）を
差異を示すパラメータとする。Regarding the spatial energy, the number of pixels N × N
The size F (tn) of the two-dimensional Fourier transform of the pixel value T (tn) of the small area of the pixel is calculated, and the average value f with respect to F (tn) in the area included in the radius k−1 to k from the origin of the pixel is calculated.
A vector f (tn) having (k, tn) as an element is calculated for each frame (6.1.2 on page 17). Where the first
Of the difference between the second quality parameter and the second quality parameter, the motion energy on the server side and the terminal side is represented by bin (t
n), radius i calculated by substituting bout (tn-d)
Average error ratio sum-neg-err-
The ratio (tn) (see 6.5.2.2 on page 26) is used as the parameter indicating the difference.
【００２１】映像配信サーバ１００の映像コンテンツ配
信部１０５は、クライアント２００への映像コンテンツ
の配信に先立ち、映像コンテンツの著作権保護のため、
電子透かし処理により、映像コンテンツに電子透かしを
埋め込んだり、符号化処理により、ＭＰＥＧ方式により
映像コンテンツを符号化する（ステップ４０５）。The video content distribution unit 105 of the video distribution server 100, prior to the distribution of the video content to the client 200, protects the copyright of the video content.
The digital watermark is embedded in the video content by the digital watermark process, or the video content is coded by the MPEG system by the coding process (step 405).
【００２２】映像コンテンツ配信部１０５は、映像コン
テンツをクライアント２００に配信する（ステップ４０
６）。この際、配信する映像コンテンツが、品質パラメ
ータ算出部１０４により、第１の品質パラメータを算出
した評価対象の映像コンテンツの場合には、その旨を示
す評価対象識別情報を映像コンテンツに付加し、映像コ
ンテンツとともにクライアント２００に配信する。ま
た、評価位置決定部１０３により決定した、品質評価を
行う位置情報を映像コンテンツに付加し、映像コンテン
ツとともにクライアント２００に配信する。The video content distribution unit 105 distributes the video content to the client 200 (step 40).
6). At this time, if the video content to be distributed is the video content to be evaluated for which the first quality parameter has been calculated by the quality parameter calculation unit 104, the evaluation target identification information indicating that is added to the video content, The contents are distributed to the client 200. In addition, the position information for quality evaluation determined by the evaluation position determination unit 103 is added to the video content and distributed to the client 200 together with the video content.
【００２３】クライアント２００は、映像コンテンツ受
信部２０１により、映像配信サーバ１００から映像コン
テンツを受信する（ステップ４０７）。その際、評価対
象識別情報がある場合には、その情報も受信する。ま
た、品質評価を行う位置情報がある場合には、その情報
も受信する。The client 200 receives the video content from the video distribution server 100 by the video content receiving unit 201 (step 407). At this time, if there is evaluation target identification information, that information is also received. If there is position information for quality evaluation, that information is also received.
【００２４】クライアント２００の評価対象判定部２０
２は、映像コンテンツ受信部２０１により受信した映像
コンテンツに評価対象識別情報が付加されているかをチ
ェックし、受信した映像コンテンツが品質評価の対象か
否かを判定する（ステップ４０８）。Evaluation target determination unit 20 of client 200
2 checks whether or not the evaluation target identification information is added to the video content received by the video content receiving unit 201, and determines whether or not the received video content is the target of quality evaluation (step 408).
【００２５】クライアント２００の評価位置判定部２０
３は、映像コンテンツ受信部２０１により受信した映像
コンテンツに、品質評価を行う位置情報が付加されてい
るかをチェックし、受信した映像コンテンツのなかで品
質評価の対象の位置か否かを判定する（ステップ４０
９）。Evaluation position determination unit 20 of client 200
3 checks whether the position information for quality evaluation is added to the video content received by the video content receiving unit 201, and determines whether or not the position is the target of quality evaluation in the received video content ( Step 40
9).
【００２６】クライアント２００の品質パラメータ算出
部２０４は、評価対象判定部２０２により評価対象であ
ると判定された映像コンテンツのなかで、評価位置判定
部２０３により評価対象の位置であると判定された映像
コンテンツの部分に対し、第２の品質パラメータを算出
する（ステップ４１０）。第２の品質パラメータは、上
述した第１の品質パラメータと同じものであり、映像配
信サーバ１００の品質パラメータ算出部１０４で算出さ
れたパラメータと同じパラメータが算出される。品質パ
ラメータ算出部２０４でどの品質パラメータを算出する
かの情報は、映像配信サーバ１００の映像コンテンツ配
信部１０５で、映像コンテンツを配信する際の評価対象
識別情報等に設定すればよい。The quality parameter calculation unit 204 of the client 200, in the video contents determined by the evaluation target determination unit 202 to be the evaluation target, the video determined by the evaluation position determination unit 203 to be the position of the evaluation target. A second quality parameter is calculated for the portion of the content (step 410). The second quality parameter is the same as the first quality parameter described above, and the same parameter as the parameter calculated by the quality parameter calculation unit 104 of the video distribution server 100 is calculated. The information about which quality parameter is calculated by the quality parameter calculation unit 204 may be set in the evaluation target identification information when the video content is distributed by the video content distribution unit 105 of the video distribution server 100.
【００２７】クライアント２００の品質パラメータ送信
部２０５は、品質パラメータ算出部２０４で算出された
第２の品質パラメータを映像配信サーバ１００に送信す
る（ステップ４１１）。The quality parameter transmission unit 205 of the client 200 transmits the second quality parameter calculated by the quality parameter calculation unit 204 to the video distribution server 100 (step 411).
【００２８】映像配信サーバ１００は、品質パラメータ
受信部１０６により、クライアント２００から第２の品
質パラメータを受信する。In the video distribution server 100, the quality parameter receiving unit 106 receives the second quality parameter from the client 200.
【００２９】映像配信サーバ１００の品質評価部１０７
は、品質パラメータ受信部１０６により受信した第２の
品質パラメータと、配信時に品質パラメータ算出部１０
４により算出した第１の品質パラメータとを比較し、品
質評価（品質パラメータの算出）を行う（ステップ４１
２）。The quality evaluation unit 107 of the video distribution server 100
Is the second quality parameter received by the quality parameter receiving unit 106 and the quality parameter calculating unit 10 at the time of distribution.
4 is compared with the first quality parameter calculated in step 4 to perform quality evaluation (calculation of quality parameter) (step 41).
2).
【００３０】映像コンテンツは、映像コンテンツ配信部
１０５において、電子透かし処理や符号化処理がなされ
ており、また、映像配信サーバ１００からネットワーク
３００を介してクライアント２００に配信されるため、
ネットワーク３００上の伝走路や各種中継機器等の影響
をうけており、第２の品質パラメータ値は第１の品質パ
ラメータ値とは異なったものになる。The video content is subjected to digital watermark processing and coding processing in the video content distribution unit 105, and is distributed from the video distribution server 100 to the client 200 via the network 300.
The second quality parameter value is different from the first quality parameter value due to the influence of the transmission path on the network 300 and various relay devices.
【００３１】品質評価部１０７では、各品質パラメータ
値について、第１の品質パラメータ値と第２の品質パラ
メータ値との間の差異を求め、その差異が許容値内にあ
るか等の評価を行う。一例として当該パラメータがある
閾値以下である、といった基準で判断する。この場合、
パラメータ種別ごとに閾値が異なる。The quality evaluation unit 107 obtains a difference between the first quality parameter value and the second quality parameter value for each quality parameter value, and evaluates whether the difference is within an allowable value or not. . As an example, the determination is made on the basis that the parameter is below a certain threshold. in this case,
The threshold differs depending on the parameter type.
【００３２】映像配信サーバ１００の利用部１０８は、
品質評価部１０７の評価結果（品質評価パラメータ）を
利用する。The utilization unit 108 of the video distribution server 100 is
The evaluation result (quality evaluation parameter) of the quality evaluation unit 107 is used.
【００３３】利用部１０８による利用としては、映像コ
ンテンツ配信部１０５の電子透かし処理における各種パ
ラメータ値を品質評価結果に応じて変更し、電子透かし
の劣化を最低限にしたり（評価に用いた品質評価パラメ
ータが大きくなる程、透かし強度パラメータを小さくす
る）、符号化処理の各種パラメータ値を品質評価結果に
応じて変更し（評価に用いた品質評価パラメータが大き
くなる程ビットレートを大きくする）、符号化による劣
化を最小限にする等に利用する。また、評価結果をサー
ビス開始前や開始後の各種試験に利用することもでき
る。これにより、本発明による品質パラメータの値が閾
値以下になるようにする。As the usage by the usage unit 108, various parameter values in the digital watermark processing of the video content distribution unit 105 are changed according to the quality evaluation result to minimize the deterioration of the digital watermark (the quality evaluation used for the evaluation. The larger the parameter is, the smaller the watermark strength parameter is), and the various parameter values of the encoding process are changed according to the quality evaluation result (the larger the quality evaluation parameter used for evaluation is, the larger the bit rate is). It is used to minimize deterioration due to aging. In addition, the evaluation result can be used for various tests before and after the start of the service. This ensures that the value of the quality parameter according to the invention is below the threshold value.
【００３４】なお、映像配信サーバ１００は専用のハー
ドウェアにより実現されるもの以外に、その機能を実現
するためのプログラムを、コンピュータ読み取り可能な
記録媒体に記録して、この記録媒体に記録されたプログ
ラムをコンピュータシステムに読み込ませ、実行するも
のであってもよい。コンピュータ読み取り可能な記録媒
体とは、フロッピー（登録商標）ディスク、光磁気ディ
スク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステ
ムに内蔵されるハードディスク装置等の記憶装置を指
す。さらに、コンピュータ読み取り可能な記録媒体は、
インターネットを介してプログラムを送信する場合のよ
うに、短時間の間、動的にプログラムを保持するもの
（伝送媒体もしくは伝送波）、その場合のサーバとなる
コンピュータシステム内部の揮発性メモリのように、一
定時間プログラムを保持しているものも含む。The video distribution server 100 is not only realized by dedicated hardware, but also a program for realizing the function is recorded in a computer-readable recording medium and recorded in this recording medium. The program may be read by a computer system and executed. The computer-readable recording medium refers to a recording medium such as a floppy (registered trademark) disk, a magneto-optical disk, a CD-ROM, or a storage device such as a hard disk device built in a computer system. Further, the computer-readable recording medium is
One that dynamically holds the program for a short time (transmission medium or wave), such as when transmitting the program via the Internet, and volatile memory inside the computer system that serves as the server in that case. , Including those holding the program for a certain period of time.
【００３５】[0035]
【発明の効果】以上説明したように本発明によれば、映
像配信サーバから映像コンテンツを配信する際に、映像
コンテンツの品質パラメータを算出しておき、クライア
ントにおいても受信した映像コンテンツの品質パラメー
タを算出し、映像配信サーバにおいて、配信前の品質パ
ラメータと配信された後の品質パラメータとを比較し
て、品質評価することにより、評価結果をさまざまに利
用することが可能となる。例えば、評価結果に基づき電
子透かし処理や符号化処理等の各種パラメータ値を変更
し、最適化したり、評価結果をサービス開始前や開始後
の各種試験等に利用することが可能となる。As described above, according to the present invention, when the video content is distributed from the video distribution server, the quality parameter of the video content is calculated, and the client also sets the quality parameter of the received video content. It is possible to variously use the evaluation result by calculating and comparing the quality parameter before distribution and the quality parameter after distribution in the video distribution server to evaluate the quality. For example, it is possible to change and optimize various parameter values such as digital watermark processing and encoding processing based on the evaluation result, and use the evaluation result for various tests before and after the service starts.
【図１】本発明の一実施形態の映像コンテンツ配信シス
テムの構成図である。FIG. 1 is a configuration diagram of a video content distribution system according to an embodiment of the present invention.
【図２】図１の映像コンテンツ配信システムの動作を示
すシーケンス図である。FIG. 2 is a sequence diagram showing an operation of the video content distribution system of FIG.
１００ 映像配信サーバ １０１ コンテンツ蓄積部 １０２ 評価対象決定部 １０３ 評価位置決定部 １０４ 品質パラメータ算出部 １０５ 映像コンテンツ配信部 １０６ 品質パラメータ受信部 １０７ 品質評価部 １０８ 利用部 ２００ クライアント ２０１ 映像コンテンツ受信部 ２０２ 評価対象判定部 ２０３ 評価位置判定部 ２０４ 品質パラメータ算出部 ２０５ 品質パラメータ送信部 ３００ ネットワーク ４０１〜４１３ ステップ 100 video distribution server 101 Content storage unit 102 evaluation target determination unit 103 evaluation position determination unit 104 Quality Parameter Calculation Unit 105 Video Content Distribution Section 106 quality parameter receiver 107 Quality Evaluation Department 108 User Department 200 clients 201 Video content receiver 202 Evaluation target determination unit 203 Evaluation position determination unit 204 Quality Parameter Calculation Unit 205 Quality Parameter Transmission Unit 300 networks 401-413 steps
フロントページの続き (72)発明者 角越 和也 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 山田 智広 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 阪本 秀樹 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C061 BB07 BB13 CC01 CC05 Continued front page (72) Inventor Kazuya Kakugoe 2-3-1, Otemachi, Chiyoda-ku, Tokyo Inside Telegraph and Telephone Corporation (72) Inventor Tomohiro Yamada 2-3-1, Otemachi, Chiyoda-ku, Tokyo Inside Telegraph and Telephone Corporation (72) Inventor Hideki Sakamoto 2-3-1, Otemachi, Chiyoda-ku, Tokyo Inside Telegraph and Telephone Corporation F-term (reference) 5C061 BB07 BB13 CC01 CC05
Claims (10)
像コンテンツを配信する映像コンテンツ配信方法であっ
て、 映像コンテンツの配信に先立ち、該映像コンテンツの品
質を示す第１の品質パラメータを算出する品質パラメー
タ算出段階と、 前記映像コンテンツを前記ネットワークを介して所定の
クライアントに配信する映像コンテンツ配信段階と、 前記クライアントから、該クライアントにおいて算出さ
れた、映像コンテンツの品質を示す第２の品質パラメー
タを受信する品質パラメータ受信段階と、 前記品質パラメータ受信段階で受信された前記第２の品
質パラメータと、前記品質パラメータ算出段階により算
出された前記第１の品質パラメータとを比較し、品質評
価パラメータを算出する品質評価段階を有する映像コン
テンツ配信方法。1. A video content distribution method for distributing video content to a client via a network, wherein a quality parameter calculating step of calculating a first quality parameter indicating the quality of the video content prior to the distribution of the video content. A video content distribution step of distributing the video content to a predetermined client via the network, and a quality parameter for receiving from the client a second quality parameter indicating the quality of the video content calculated by the client. A reception step, a quality evaluation step of comparing the second quality parameter received in the quality parameter reception step with the first quality parameter calculated in the quality parameter calculation step, and calculating a quality evaluation parameter Content distribution with Law.
像コンテンツを配信する映像コンテンツ配信装置であっ
て、 映像コンテンツの配信に先立ち、該映像コンテンツの品
質を示す第１の品質パラメータを算出する品質パラメー
タ算出手段と、 前記映像コンテンツを前記ネットワークを介して所定の
クライアントに配信する映像コンテンツ配信手段と、 前記クライアントから、該クライアントにおいて算出さ
れた、映像コンテンツの品質を示す第２の品質パラメー
タを受信する品質パラメータ受信手段と、 前記品質パラメータ受信手段により受信された前記第２
の品質パラメータと、前記品質パラメータ算出手段によ
り算出された前記第１の品質パラメータとを比較し、品
質評価パラメータを算出する品質評価手段を有する映像
コンテンツ配信装置。2. A video content distribution device for distributing video content to a client via a network, wherein a quality parameter calculation means for calculating a first quality parameter indicating the quality of the video content prior to the distribution of the video content. A video content distribution means for distributing the video content to a predetermined client via the network; and a quality parameter for receiving from the client a second quality parameter indicating the quality of the video content calculated by the client. Receiving means, and the second parameter received by the quality parameter receiving means
And a quality evaluation unit that calculates a quality evaluation parameter by comparing the quality parameter and the first quality parameter calculated by the quality parameter calculation unit.
ツを決定する評価対象決定手段をさらに有し、前記評価
対象決定手段により決定された映像コンテンツに対して
のみ前記品質パラメータ算出手段、前記品質パラメータ
受信手段、前記品質評価手段による処理を行うととも
に、前記映像コンテンツ配信手段は、前記映像コンテン
ツを配信するとともに、評価対象の映像コンテンツであ
る旨を前記クライアントに通知する、請求項２に記載の
映像コンテンツ配信装置。3. The quality parameter calculating means and the quality parameter are further provided for the video content determined by the evaluation target determining means, further comprising evaluation target determining means for determining the video content targeted for the quality evaluation. The video according to claim 2, wherein the video content delivery means performs the processing by the receiving means and the quality evaluation means, and the video content delivery means delivers the video content and notifies the client that the video content is an evaluation target. Content distribution device.
ツの配信先情報、配信期間、映像コンテンツの内容の少
なくとも１つに基づき、品質評価対象の映像コンテンツ
を決定する、請求項３記載の映像コンテンツ配信装置。4. The video content according to claim 3, wherein the evaluation target determining unit determines the video content to be quality evaluated based on at least one of the distribution destination information of the video content, the distribution period, and the content of the video content. Delivery device.
位置を決定する評価位置決定手段をさらに有し、映像コ
ンテンツのなかで、前記評価位置決定手段により決定さ
れた位置に対してのみ前記品質パラメータ算出手段、前
記品質パラメータ受信手段、前記品質評価手段による処
理を行うとともに、前記映像コンテンツ配信手段は、前
記映像コンテンツを配信するとともに、映像コンテンツ
の評価対象位置を前記クライアントに通知する、請求項
２から４のいずれか１項に記載の映像コンテンツ配信装
置。5. The quality parameter further includes evaluation position determining means for determining a position to be subject to quality evaluation of the video content, and the quality parameter is set only for the position determined by the evaluation position determining means in the video content. 3. The processing by the calculation means, the quality parameter reception means, and the quality evaluation means is performed, and the video content distribution means distributes the video content and notifies the client of the evaluation target position of the video content. 5. The video content distribution device according to any one of items 4 to 4.
ツの内容、データ量の少なくとも１つに基づき、１つの
映像コンテンツのなかで品質評価を行う位置を決定す
る、請求項５に記載の映像コンテンツ配信装置。6. The video content according to claim 5, wherein the evaluation position determination means determines a position for quality evaluation in one video content based on at least one of the content and the data amount of the video content. Delivery device.
処理を行う利用手段をさらに有する、請求項２から６の
いずれか１項に記載の映像コンテンツ配信装置。7. The video content distribution device according to claim 2, further comprising a utilization unit that performs a predetermined process according to the quality evaluation parameter.
ンテンツへの電子透かし挿入処理を含み、前記利用手段
は、前記品質評価パラメータに応じて電子透かしのパラ
メータ値を制御する、請求項７に記載の映像コンテンツ
配信装置。8. The video content distributing means includes a digital watermark inserting process to the video content, and the utilizing means controls a parameter value of the digital watermark according to the quality evaluation parameter. Video content distribution device.
ンテンツの符号化処理を含み、前記利用手段は、前記品
質評価パラメータに応じて符号化処理のパラメータ値を
制御する、請求項７に記載の映像コンテンツ配信装置。9. The video according to claim 7, wherein the video content distribution unit includes a video content encoding process, and the utilization unit controls a parameter value of the encoding process according to the quality evaluation parameter. Content distribution device.
方法をコンピュータに実行させるための映像コンテンツ
配信プログラム。10. A video content distribution program for causing a computer to execute the video content distribution method according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002117510A JP3844445B2 (en) | 2002-04-19 | 2002-04-19 | Video content distribution method, apparatus, and video content distribution program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002117510A JP3844445B2 (en) | 2002-04-19 | 2002-04-19 | Video content distribution method, apparatus, and video content distribution program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003319420A true JP2003319420A (en) | 2003-11-07 |
| JP3844445B2 JP3844445B2 (en) | 2006-11-15 |
Family
ID=29534685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002117510A Expired - Fee Related JP3844445B2 (en) | 2002-04-19 | 2002-04-19 | Video content distribution method, apparatus, and video content distribution program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3844445B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008524893A (en) * | 2004-12-15 | 2008-07-10 | ティーディーエフ | Variable bit rate transmission method for solving transmission channel |
| WO2008123125A1 (en) * | 2007-03-22 | 2008-10-16 | Nec Corporation | Image quality evaluating system, method and program |
| WO2009075245A1 (en) * | 2007-12-12 | 2009-06-18 | Nec Corporation | Image quality evaluation system, and device, method and program used for the evaluation system |
| WO2009110238A1 (en) | 2008-03-07 | 2009-09-11 | 日本電気株式会社 | Content delivery system, feature quantity delivery server, client, and content delivery method |
| KR100933284B1 (en) | 2008-04-14 | 2009-12-22 | 연세대학교 산학협력단 | Video quality evaluation system, video transmitter, video receiver and its method |
| KR101024384B1 (en) | 2009-02-27 | 2011-03-23 | 연세대학교 산학협력단 | Method and system for video quality measurement |
| US8031770B2 (en) | 2004-04-30 | 2011-10-04 | Sk Telecom Co., Ltd. | Systems and methods for objective video quality measurements |
| JP2012530313A (en) * | 2009-06-19 | 2012-11-29 | トムソン ライセンシング | Method for selecting document version from a plurality of versions received after retrieval and associated receiving apparatus |
| KR101471010B1 (en) * | 2010-08-30 | 2014-12-10 | 연세대학교 산학협력단 | Method and system for video quality measurement |
| JP2015035696A (en) * | 2013-08-08 | 2015-02-19 | 株式会社リコー | Communication terminal, communication system, and communication method, and program |
-
2002
- 2002-04-19 JP JP2002117510A patent/JP3844445B2/en not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8031770B2 (en) | 2004-04-30 | 2011-10-04 | Sk Telecom Co., Ltd. | Systems and methods for objective video quality measurements |
| JP2008524893A (en) * | 2004-12-15 | 2008-07-10 | ティーディーエフ | Variable bit rate transmission method for solving transmission channel |
| WO2008123125A1 (en) * | 2007-03-22 | 2008-10-16 | Nec Corporation | Image quality evaluating system, method and program |
| WO2009075245A1 (en) * | 2007-12-12 | 2009-06-18 | Nec Corporation | Image quality evaluation system, and device, method and program used for the evaluation system |
| US8786711B2 (en) | 2007-12-12 | 2014-07-22 | Nec Corporation | Image quality evaluation system, and apparatus, method and program used for the evaluation system |
| JP5218784B2 (en) * | 2007-12-12 | 2013-06-26 | 日本電気株式会社 | Image quality evaluation system, apparatus, method and program used therefor |
| WO2009110238A1 (en) | 2008-03-07 | 2009-09-11 | 日本電気株式会社 | Content delivery system, feature quantity delivery server, client, and content delivery method |
| US8676935B2 (en) | 2008-03-07 | 2014-03-18 | Nec Corporation | Content distributing system, feature amount distributing server, client, and content distributing method |
| KR100933284B1 (en) | 2008-04-14 | 2009-12-22 | 연세대학교 산학협력단 | Video quality evaluation system, video transmitter, video receiver and its method |
| KR101024384B1 (en) | 2009-02-27 | 2011-03-23 | 연세대학교 산학협력단 | Method and system for video quality measurement |
| JP2012530313A (en) * | 2009-06-19 | 2012-11-29 | トムソン ライセンシング | Method for selecting document version from a plurality of versions received after retrieval and associated receiving apparatus |
| US9678959B2 (en) | 2009-06-19 | 2017-06-13 | Thomson Licensing | Method of selecting versions of a document from a plurality of versions received after a search, and related receiver |
| KR101471010B1 (en) * | 2010-08-30 | 2014-12-10 | 연세대학교 산학협력단 | Method and system for video quality measurement |
| JP2015035696A (en) * | 2013-08-08 | 2015-02-19 | 株式会社リコー | Communication terminal, communication system, and communication method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3844445B2 (en) | 2006-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105915953B (en) | Method, device, system, server and storage medium for live video identification | |
| CN109286855B (en) | Panoramic video transmission method, transmission device and transmission system | |
| US6895410B2 (en) | Method and apparatus for providing a multimedia data stream | |
| US8885870B2 (en) | Information processing device and computer program product | |
| US8510458B2 (en) | Method and device for sharing bandwidth of a communication network | |
| US20090097819A1 (en) | Method for fast forward/backward play of video data and a streaming server | |
| US8938095B2 (en) | Verification method, verification device, and computer product | |
| US20140241699A1 (en) | Content playback information estimation apparatus and method and program | |
| JP2003319420A (en) | Method, device, and program for downloading video contents | |
| US11539985B2 (en) | No reference realtime video quality assessment | |
| US7212498B2 (en) | Measurement of quality of service | |
| CN111093094A (en) | Video transcoding method, device and system, electronic equipment and readable storage medium | |
| US10019448B2 (en) | Methods and systems for providing file data for media files | |
| JP2007194893A (en) | Image quality evaluation apparatus and method | |
| US8681860B2 (en) | Moving picture compression apparatus and method of controlling operation of same | |
| US7907668B2 (en) | Method and apparatus for calculating moving-image correction-coefficient, moving-image correcting apparatus, and computer product | |
| Zhou et al. | PDAS: probability-driven adaptive streaming for short video | |
| US8548042B2 (en) | Video bitrate control method, video bitrate control apparatus, video bitrate control program, and computer-readable recording medium having the program recorded thereon | |
| WO2002015596A1 (en) | Broadcast confirmation system, broadcast confirmation device and method, recorded medium where broadcast confirmation program is recorded | |
| JP3844446B2 (en) | VIDEO MANAGEMENT METHOD, DEVICE, VIDEO MANAGEMENT PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM | |
| EP3264709B1 (en) | A method for computing, at a client for receiving multimedia content from a server using adaptive streaming, the perceived quality of a complete media session, and client | |
| EP1523195A2 (en) | Method and apparatus for decoding digital image data | |
| WO2016077712A1 (en) | System and method for adaptive video streaming with quality equivalent segmentation and delivery | |
| JP2004159042A (en) | Information processor, information processing method, and program | |
| US11334979B2 (en) | System and method to detect macroblocking in images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20040729 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| RD03 | Notification of appointment of power of attorney |
Effective date: 20040729 Free format text: JAPANESE INTERMEDIATE CODE: A7423 |
|
| RD04 | Notification of resignation of power of attorney |
Effective date: 20040729 Free format text: JAPANESE INTERMEDIATE CODE: A7424 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050614 |
|
| A977 | Report on retrieval |
Effective date: 20060602 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20060614 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A521 | Written amendment |
Effective date: 20060719 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Effective date: 20060809 Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060815 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090825 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 4 Free format text: PAYMENT UNTIL: 20100825 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 4 Free format text: PAYMENT UNTIL: 20100825 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110825 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 6 Free format text: PAYMENT UNTIL: 20120825 |
|
| LAPS | Cancellation because of no payment of annual fees |