JP2004159079A - 映像データ処理装置、システム及びコンピュータプログラム - Google Patents
映像データ処理装置、システム及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2004159079A JP2004159079A JP2002322655A JP2002322655A JP2004159079A JP 2004159079 A JP2004159079 A JP 2004159079A JP 2002322655 A JP2002322655 A JP 2002322655A JP 2002322655 A JP2002322655 A JP 2002322655A JP 2004159079 A JP2004159079 A JP 2004159079A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- data
- compression
- processing
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】時間的に連続した映像データを所定のフォーマットで圧縮可能な複数のトランスコーディングPC2と、このトランスコーディングPC2と通信可能に構成されたスケジューリングサーバ1により分散トランスコーディングを行うための仕組みであって、スケジューリングサーバ1が、分割処理部14又は分割処理部204により映像データを複数に分割して、送信指示部15が分割した映像データをトランスコードPC2により分割映像データの圧縮処理を分散処理させることとした。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、映像データを分割し、分割した映像データを分散して圧縮処理するための技術に関する。
【0002】
【従来の技術】
ブロードバンドの普及とビデオのデジタル化の進展により、ビデオなどの映像データをネットワーク上で配信するサービスが展開されている。
このサービスを行うに際しては、配信する映像データに対してトランスコーディング処理が行われる。このトランスコーティング処理は、図17に示すように、コンピュータにより、フォーマットAの圧縮ビデオデータを伸張し、非圧縮の「画像データ」と「音声データ」を得た後、得られたデータを再圧縮して他のフォーマットBのビデオデータに変換する処理である。
【0003】
このトランスコーディング処理を行う場合、映像データの大容量・高画質化に伴い処理の負荷が大きくなる反面、この処理を高速に行い、かつ分割された映像を結合させた際に、高画質かつ高音質な映像データが得られるようにする必要がある。
【0004】
このような要望を満たすため、トランスコーディングの全ての処理を1台のサーバで行うシステムが知られている。
しかし、このような処理では、処理速度はサーバの性能に依存することとなるため、処理時間を短縮するためには高い処理能力を持ったサーバを用意しなければならないという問題がある。
【0005】
このトランスコーディングの処理時間の短縮に対する有効な方法として複数のコンピュータ端末により分散処理を行うことも考えられる。
このような分散処理の一般技術としては、例えば、ネットワークで接続された複数のコンピュータシステム間で、各コンピュータシステムの負荷状況やシステム特性に応じてジョブやタスクを自動的に分散させるシステムが既に知られている(例えば、特許文献1及び特許文献2)。
また、MPEG(Moving Picture Expert Group)形式のビデオデータストリームを、クライアントが処理可能なサーバに対してジョブを単純に振り分けることでMPEG形式のビデオストリームデータを並列して圧縮処理する技術が知られている(例えば、非特許文献1)。
また、グリッドコンピュータティング等の技術を利用して並列分散処理を行うことも知られている。
【0006】
【特許文献1】
特開平2−224169号公報(第1−3ページ、第3図)
【特許文献2】
特開2002−222251号公報(第2−3ページ、第2図)
【非特許文献1】
ジェフリー・ムーア(Jeffrey Moore)、ウィリアム・リー(William Lee)、スコット・ダーソン(Scott Dawson)著、「最適な並行MPEGエンコーディング(Optimal Parallel MPEG Encoding)、1995年12月10日、コーネル大学(Cornell University)、[平成14年10月31日検索]、インターネット<URL:http://www.cs.cornell.edu/Info/Projects/zeno/Projects/OPME/opme.report.html >
【0007】
【発明が解決しようとする課題】
しかし、ビデオのような時間的に連続した映像データでは、これを単純に時間軸で分割して並列的に分散処理すると、分割された映像データを再度結合させる際に、結合ポイント(分割ポイント)でノイズ音や画像ムラなど結合ノイズが発生してしまい、画質や音質が低下してしまうなどの問題があった。
【0008】
また、いわゆるパーソナルコンピュータなどのようにコンピュータ端末が廉価となっていること、またブロードバンドの普及によりこれらコンピュータ端末が容易にネットワークに接続できることから、これらの廉価なコンピュータを用いて高速かつ高品質な映像コンテンツを提供することが求められている。
【0009】
本発明は、上記課題及び問題点を解決するためになされたものであって、映像データを分割後に再結合しても、高品質な映像データを得ることができるとともに、映像データの分割処理が高速に行える仕組みを提供することを課題とする。
【0010】
【課題を解決するための手段】
上述の課題を解決するため、本発明の第1の観点にかかる映像データ処理装置は、時間的に連続した映像データを所定のフォーマットで圧縮可能な複数の圧縮装置と通信可能に構成された装置であって、上記圧縮の対象となる映像データ中から音声データを取り出す音声データ処理手段と、上記音声データが取り出された後の映像データを所定の単位で分割する分割処理手段と、上記取り出された音声データ及び分割された各映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対してデータの圧縮処理を分散処理させる送信指示手段とを有することを特徴とする。
【0011】
本発明の第2の観点にかかる映像データ処理装置は、時間的に連続した映像データを所定のフォーマットで圧縮可能な複数の圧縮装置と通信可能に構成された装置であって、上記映像データ中の音声データが所定の閾値よりも小さい無音区間を抽出し、当該無音区間を映像データの分割ポイントとして上記映像データを複数に分割する分割処理手段と、上記分割された各映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対してデータの圧縮処理を分散処理させる送信指示手段とを有することを特徴とする。
【0012】
上記映像データを分割する前に、上記無音区間の音声データの高周波成分を除去する手段を更に有してもよい。
【0013】
本発明の第3の観点にかかる映像データ処理装置は、時間的に連続した映像データを所定のフォーマットで圧縮可能な複数の圧縮装置と通信可能に構成された装置であって、上記映像データを構成する映像フレームの色又は動きベクトルの変化量に基づいて映像シーンの切替わり部分を抽出して、この映像シーンの切替わり部分を映像データの分割ポイントとして映像データを複数に分割する分割処理手段と、上記分割された各映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対してデータの圧縮処理を分散処理させる送信指示手段とを有することを特徴とする。
【0014】
また、上記分割処理手段は、映像データを構成する映像フレームの色のヒストグラムデータを作成し、作成したヒストグラムデータからその値が急激に変化するポイントを抽出し、或いは映像フレームの動きベクトルの空間的距離の総和を求め、この総和が急激に変化するポイントを抽出し、これらいずれかのポイントを映像シーンの切替わり部分としてもよい
【0015】
本発明の第4の観点にかかる映像データ処理装置は、圧縮された映像データを元の映像データとは別のフォーマットで圧縮可能な複数の圧縮装置と通信可能に構成された装置であって、上記映像データを構成する映像フレーム毎のビットレート(圧縮率)情報を取得し、取得したビットレートが変化するポイントで上記映像データを複数に分割する分割処理手段と、上記分割された各映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対してデータの圧縮処理を分散処理させる送信指示手段とを有することを特徴とする。
【0016】
また、上記送信指示手段は、上記元の圧縮映像データの各フレームのビットレートに応じたビットレートで、映像データの圧縮を行うように上記各圧縮装置に対して指示するようにしてもよい。
【0017】
本発明の第5の観点にかかる映像データ処理装置は、時間的に連続した映像データを所定のフォーマットで圧縮可能な複数の圧縮装置と通信可能に構成された装置であって、上記元の圧縮映像データを、異なる複数のエンコードパラメータ条件下で分割して、上記エンコードパラメータ条件ごとに分割映像データを作成する分割処理手段と、上記複数の条件下で作成された複数の分割映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対して分割映像データの圧縮処理を分散処理させる送信指示手段とを有することを特徴とする。
【0018】
これにより、分割映像データを受け取った装置側で、上記複数の条件下で作成された分割映像データを組み合わせることにより、映像データの画質が均一となる組み合わせを選択することができる。
【0019】
本発明の第1の観点にかかる映像データ処理システムは、時間的に連続した映像データを分割する映像分割装置と、この分割装置と通信可能に構成され、分割された映像データを所定のフォーマットで圧縮する複数の圧縮装置により構成されたシステムであって、上記映像分割装置は、上記映像データを任意の分割ポイントで複数に分割する分割処理手段と、上記分割された各映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対してデータの圧縮処理を分散処理させる送信指示手段とを有し、上記圧縮装置は、上記映像データを構成する映像フレームの色又は動きベクトルの変化量に基づいて映像シーンの切替わり部分があるか否か判別し、映像シーンの切替わり部分がある場合に、当該切替わり部分で映像データを複数に分割する分割処理手段と、上記分割された映像データのうちの少なくとも一つを、他の圧縮装置に対して送信する送信手段と、他の圧縮装置から送信された分割映像データのうち、保持している映像データと連続する映像データがある場合には、送信された分割映像データを保持している映像データと結合させる映像結合手段と、映像シーンの切替わりがない映像データ又は上記結合させた映像データを所定のフォーマットで圧縮する圧縮手段とを有することを特徴とする。
【0020】
本発明にかかるコンピュータプログラムは、コンピュータを上述の各装置としてとして機能させることを特徴とする。
【0021】
【発明の実施の形態】
以下、図面を参照して本発明にかかる実施形態について説明する。
図1に本発明にかかる第1の実施形態の全体構成の概略を示す。
図1において、本実施形態にかかるトランスコーディングシステムは、映像データのマスターデータを保持するマスターコンテンツデータベース4と、マスターコンテンツデータベース4が保持している映像データを分割処理するスケジューリングサーバ1と、このスケジューリングサーバ1とLAN5などのネットワークを介して接続可能に構成された複数のトランスコードパーソナルコンピュータ(PC)2と、これらトランスコードPC2から提供されたトランスコードされたデータを再度結合して映像データとする結合サーバ3から構成されている。
【0022】
マスターコンテンツデータベース4は、映像データのマスターデータをデータベース化して保持するコンピュータ装置である。
このマスターコンテンツデータベース4に記憶されている映像データは、例えば、MPEGなどの所定のフォーマットにより圧縮されたデータとなっている。
また、この映像データは、一般に再生を考慮して図2に示すように画像データと音声データの断片が交互に配列されており、この映像データが所定の記憶媒体(テープ、ディスク等)に保存され、スケジューリングサーバ1に提供されるようになっている。
【0023】
トランスコードPC2は、スケジューリングサーバ1により分割された映像データを所定のフォーマット(例えば、マスターコンテンツデータベース4に記憶されているデータとは別のフォーマット)に変換して圧縮する処理を行うコンピュータである。
このトランスコードPC2は、いわゆる汎用のパーソナルコンピュータであって、これに映像データを所定のフォーマットに変換、圧縮するためのコンピュータプログラムを搭載すると共に、LAN5に接続可能としたものである。
【0024】
結合サーバ3は、トランスコーディングされた分割映像データを再度結合させることにより映像データを作成する処理を行うコンピュータである。
この結合処理は、分割映像データに含まれるシーケンスコードなどの識別情報に基づいて、これを所定の順序に従って分割映像データを結合させることにより行うことができる。
【0025】
スケジューリングサーバ1は、本発明に係る映像データ処理装置を構成する。スケジューリングサーバ1は、コンピュータにより構成され、CPU(CentralProcessing Unit)と、CPUが実行するコンピュータプログラムと、コンピュータプログラムや所定のデータ等を記憶するためのROM、RAMなどの内部メモリ及びハードディスクドライブなどの外部記憶装置及びCD―ROMなどの所定の記録媒体からデータを読み取るための外部ディスク装置などにより図3に示す機能ブロックを構成することができる。
図3に示した機能ブロックは、データ読取部11、データ伸張処理部12、音声データ処理部13、分割処理部14、送信指示部15から構成されている。
【0026】
データ読取部11は、マスターデータとしての映像データが記憶された所定の媒体からマスターデータとしての映像データを読み取る処理を行う。
このデータ読取部11は、例えば、CD−ROMやMO(magneto−optical disc)などの媒体を読み取る読取装置で構成することができる。
【0027】
データ伸張処理部12は、所定のフォーマットで圧縮されているマスターデータとしての映像データを伸張して、非圧縮の「画像データ」と「音声データ」を生成する処理を行う。
このデータの伸張処理は、元となるマスターデータのフォーマットの種類に応じてデータの伸張処理を行うことができる。
【0028】
音声データ処理部13は、マスターデータとしての映像データ中から音声データのみを取り出す処理を行う。
この処理は、例えば、音声データ処理部13が図2に示した映像データの中から、音声データのみを抽出して取り出すことにより行うことができる。
【0029】
分割処理部14は、音声データを取り出した後の映像データ、即ち図2に示した画像データを所定の単位で分割する処理を行う。
この分割処理は、画像データのうち所定のポイント(分割ポイント)を決めて、この分割ポイントで画像を分割する。なお、分割ポイントをどれくらい数、画像データのどの点に設定するかは任意であり、後述する第3〜第6のいずれかの実施形態の分割処理を適用してもよい。
【0030】
送信指示部15は、取り出された音声データ及び分割された各映像データをトランスコードPC2に対して送信して、複数のトランスコードPC2に対してデータの圧縮処理を分散処理させる処理を行う。
なお、この際各トランスコードPC2の処理能力を考慮して、適切な容量のデータを各トランスコードPC2に個別に送信して圧縮処理させてもよい。
【0031】
上述の第1の実施形態にかかるスケジューリングサーバ1が行う映像データ処理方法の一例について図4を参照して説明する。
図4において、まず、マスターコンテンツデータベース4からCD−ROMなどの媒体によりマスターデータとしての映像データが提供されると、データ読取部11が提供された媒体から所定フォーマットで圧縮されている映像データを読み取る(S101)。
【0032】
映像データの読み取りが完了すると、データ伸張処理部12は、圧縮されている映像データを伸張して「画像データ」と「音声データ」からなる映像データを取得する(S102)。
【0033】
映像データの伸張が完了すると、音声データ処理部13が、図5に示すように画像データと音声データとが交互に配置されている映像データVの中から音声データのみを取り出し、取り出した全ての音声データをデマルチプレクス(単一化)して一つのデータブロックSを作成する(S103)。
また、分割処理部14は、音声データが取り出された後の映像データ、即ち残りの画像データを所定の単位で分割して、複数の画像データブロックP1〜Pnを作成する(S104)。
【0034】
これらのデータブロックが作成されると、送信指示部15は、各データブロックをそれぞれ別のトランスコードPC2に送信して、所定フォーマットで圧縮するように指示して(S105)、処理を終了する。
これにより、図5に示すように、各トランスコーディングPC2は送信されたデータを所定のフォーマットで圧縮処理を行い、この圧縮された全てのデータを受け取った結合サーバ3がこれらのデータをマルチプレクス(多重化)することにより、映像データを得ることができる。
【0035】
このように上述の第1の実施形態によれば、音声データ処理部13により映像データ中から音声データのみを取り出して、これを一つのデータブロックとして画像データとは別に処理するようにしたことから、音声データを分割することにより生じる結合ポイントでのノイズの発生を無くすことができる。また、音声データは、画像データに比べて容量が小さいため、1台のトランスコードPC2でまとめて高速に処理することができる。
【0036】
次に本発明にかかる第2の実施形態について説明する。
第2の実施形態は、スケジューリングサーバ1が映像データ中の無音区間で映像データを分割するようにした例である。
なお、上述の第1の実施形態と同一の構成については同一の符号を付して説明を省略する。
本実施形態では、上述のスケジューリングサーバ1を図6に示すように、データ読取部11、データ伸張処理部12、分割処理部204、送信指示部15により構成する。
分割処理部204は、映像データ中の音声データが無い無音区間を抽出して、当該無音区間を映像データの分割ポイントとして上記映像データを複数に分割する処理を行う。なお、この無音区間は、図7に示すように、音声データの振幅が所定の閾値よりも小さい時間が所定時間継続する区間をいう。
【0037】
このように構成された第2の実施形態の映像データ処理方法について図8を参照して説明する。
図8において、まず、マスターコンテンツデータベース4からCD−ROMなどの媒体によりマスターデータとしての映像データが提供されると、データ読取部11が提供された媒体から所定フォーマットで圧縮されているデータを読み取る(S201)。
【0038】
データが読み取られると、データ伸張処理部12は、圧縮されているマスターデータを伸張して映像データを取得する(S202)。
【0039】
データの伸張が完了すると、分割処理部204が映像データ中に含まれる音声データの振幅を検知し、この振幅が所定の閾値よりも小さい無音区間を検出する(S203)。
無音区間が検出されると、分割処理部204は検出された無音区間を分割ポイントとして映像データを複数に分割する(S204)。
【0040】
映像データの分割が完了すると、送信指示部15は、各分割映像データをそれぞれ別のトランスコードPC2に送信して、所定フォーマットで圧縮するように指示して(S205)、処理を終了する。
【0041】
このように無音区間を映像データの分割ポイントとしたことから、分割映像データを結合サーバ3で結合させた際に、映像データの結合部分で発生する音声データのノイズを最小限に抑えることができる。
また、本実施形態によれば、音声データと画像データを分割する必要がないため、マスターコンテンツデータ又は出力コンテンツが、音声データと画像データに分割することが難しいフォーマット形式の場合に特に有効である。
【0042】
なお、上述の実施形態で、映像データを分割する前に、検出した無音区間についてローパスフィルターにより音声データの高周波成分を予め除去するようにしてもよい。これにより、分割部分(無音区間)での高周波ノイズを無くすことができ、より分割映像データの結合時における音声のノイズの発生を抑えることができる。
【0043】
次に、本発明にかかる第3の実施形態について説明する。
第3の実施形態は、映像データを分割する際に映像シーンの切替わり部分を検出し、この映像の切替わり部分を分割ポイントとする例である。
この場合には、上述の第2の実施形態の分割処理部204が、上述の処理に代えて映像データ中の映像シーンの切替わり部分を検出し、この切替わり部分を分割ポイントとして映像データを分割する。
この映像シーンの切替わりの検出は、図9に示すように、分割処理部204が、各映像フレームの色のヒストグラムを検出し、このヒストグラムの分布が急激に変化する部分を映像シーンの切替わり部分として検出してもよいし、また、映像データがMPEG形式のデータであれば、各映像フレームの動きベクトルのノルムの総和Sを計算し、このノルムSが急激に変化する映像フレーム部分を映像シーンの切替わり部分として検出するようにしてもよい。
【0044】
次に第3の実施形態にかかる映像データ処理方法の実施形態について図10を参照して説明する。
図10において、まず、マスターコンテンツデータベース4からCD−ROMなどの媒体によりマスターデータとしての映像データが提供されると、データ読取部11が提供された媒体から所定フォーマットで圧縮されている映像データを読み取る(S301)。
【0045】
映像データの読み取りが完了すると、データ伸張処理部12は、圧縮されているマスターデータを伸張して映像データを取得する(S302)。
【0046】
データの伸張が完了すると、分割処理部204が映像データ中の映像シーンの切替わり部分を検出する(S303)。
この映像シーンの切替わり検出は、上述映像フレームの色のヒストグラムに基づいて行ってもよいし、また各映像フレームの動きベクトルのノルムの総和から検出するようにしてもよい。
映像シーンの切替わりが検出されると、分割処理部204は検出された切替わり部分を分割ポイントとして映像データを複数に分割する(S304)。
【0047】
映像データの分割が完了すると、送信指示部15は、各分割映像データをそれぞれ別のトランスコードPC2に送信して、所定フォーマットで圧縮するように指示して(S305)、処理を終了する。
【0048】
このように第3の実施形態によれば、映像データ中の映像シーンの切替わり部分で映像データを分割するようにしたことから、分割された映像データを結合した際に発生する映像の画質ムラを減少させることができ、結合サーバ3側でも高画質な映像データを得ることができる。
【0049】
次に、本発明にかかる第4の実施形態について説明する。
第4の実施形態は、映像データをトランスコーディングする際に、元の圧縮映像データがMPEG形式の場合に、そのビットレート情報(圧縮率情報)を利用する例である。
この場合には、上述の第2の実施形態の分割処理部204が、図11に示すように、上述の処理に代えて元のMPEG形式の映像データの各映像フレームのビットレート情報を取得し、当該取得したビットレート情報が変化した部分を分割ポイントとして設定し、この分割ポイントで映像データを分割する処理を行うようにする。
【0050】
次に第4の実施形態にかかる映像データ処理方法について図12を参照して説明する。
図12において、まず、マスターコンテンツデータベース4からCD−ROMなどの媒体によりマスターデータとしての映像データが提供されると、データ読取部11が提供された媒体からMPEG形式で圧縮されている映像データを読み取る(S401)。
【0051】
映像データの読取が完了すると、データ伸張処理部12は、MPEG形式で圧縮されているマスターデータを伸張する(S402)。
【0052】
また、分割処理部204は、元のMPEG形式の映像データの各映像フレームのビットレート情報を取得し、このビットレートが変化するポイントを検出する(S403)。
ビットレートが変化するポイントが検出されると、分割処理部204は検出されたビットレートが変化するポイントを分割ポイントとして映像データを複数に分割する(S404)。
【0053】
映像データの分割が完了すると、送信指示部15は、各分割映像データをそれぞれ別のトランスコードPC2に送信して、上記各映像フレームのビットレートに応じて、元の映像フレームのビットレートと同じビットレートで圧縮するように指示して(S405)、処理を終了する。
【0054】
このように、元のMPEGデータのビットレート情報に従ってトランスコーディングを行うようにすれば、例えば、もともと動きの大きいシーンではビットレートを高く、動きの小さいシーンではビットレートを低く設定されているため、これに従うことで分割映像データを結合した際の映像データの画像のムラを抑え高画質な映像を得ることができる。
【0055】
次に、本発明にかかる第5の実施形態について説明する。
第5の実施形態は、画質に影響する量子化スケールやビットレートなどのエンコード(トランスコード)パラメータを様々に変えた条件下で映像データの分割処理を行い、分割映像データを結合する際にこれら複数の条件下で作成された分割映像データの中から画質が均一になる分割映像データの組み合わせを選択できるようにした例である。
この場合には、上述の分割処理部204が、エンコードパラメータの条件を様々に変化させ、それぞれのパラメータ条件毎に分割ポイントを設定して分割映像データを作成する処理を行うようにする。
【0056】
この実施形態にかかる映像データの分割方法について図13を参照して説明する。
図13において、まず、マスターコンテンツデータベース4からCD−ROMなどの媒体によりマスターデータとしての映像データが提供されると、データ読取部11が提供された媒体から所定の形式で圧縮されている映像データを読み取る(S501)。
圧縮映像データの読み取りが完了すると、データ伸張処理部12は、圧縮されている映像データを伸張する(S502)。
【0057】
また、分割処理部204は、複数の所定のエンコードパラメータ値のうちの一のエンコードパラメータ値に基づいて映像データを分割する(S503)。
なお、エンコードパラメータ値は、予め複数のエンコードパラメータ値を設定しておき、分割処理部204が設定されている各エンコードパラメータ値に基づいて順番に分割処理を行ってもよい。またこの映像データの分割処理は、例えば、分割処理部204が、設定されているエンコードパラメータ値を基準として、映像データ中からこのエンコードパラメータ値を超えているポイントを検出し、そのポイントを分割ポイントとして分割処理を行ってもよい。
【0058】
そして、分割処理部204は、設定されている全てのエンコードパラメータ値に基づいて映像データの分割がなされたか否か判別する(S504)。
判別の結果、全てのエンコードパラメータ値について処理が完了していない場合には、S503の処理に戻って次のエンコードパラメータ値に基づく映像データの分割処理を行う。
【0059】
また、全てのエンコードパラメータ値に基づく分割処理が完了したと判別された場合には、送信指示部15が作成された全ての分割映像データをそれぞれ別のトランスコーディングPC2に送信して圧縮を指示して(S505)、スケジューリングサーバ1側の処理を終了する。
【0060】
次に、トランスコーディングされた映像データを受け取った結合サーバ3の処理について、図14を参照して説明する。
図14において、結合サーバ3は、各エンコードパラメータ条件により圧縮された分割映像データを受け取り、この分割映像データを伸張する(S1501)。
結合サーバ3は、伸張した映像データを時系列的に組み合わせ、画質が均一となる分割映像データを組み合わせを選択し、これを結合して映像データを作成する(S1502)。
なお、画質が均一となる分割画像データの選択は、例えば、結合サーバ3が、分割画像データを組み合わせた際のS/N比を検出し、このS/N比が高いものを選択することにより行うことができる。
そして、残った分割映像データを削除して(S1503)、処理を終了する。
【0061】
このように第5の実施形態によれば、分割処理部204が複数のエンコードパラメータ条件下で分割映像データを作成したことから、結合サーバ3側で最も画質が均一となる分割映像データの組み合わせを選択することができ、結合サーバ3側で高画質な映像データを得ることができる。
また、トランスコーディングPC2の台数を多くして、より多くのエンコードパラメータ条件に基づいた分割映像データを作成するようにすれば、分割映像データの組み合わせを選択できる範囲が広がり、結合サーバ3側でより画質のムラを最小限に抑えた映像データを選択することができる。
【0062】
次に、本発明にかかる第6の実施形態について説明する。
第6の実施形態は、映像データを分割する際、スケジューリングサーバ1側で任意に設定した分割ポイントに基づいて映像データを分割処理し、この分割処理された映像データを受け取った各トランスコードPC2側で、上述の実施形態3の処理を分散処理するようにした例である。
この実施形態では、分割処理部204が映像データ中の任意のポイントに映像データの分割ポイントを設定し、この分割ポイントで映像データを複数に分割する処理を行う。
【0063】
本実施形態にかかるスケジューリングサーバ1側の映像データ処理方法について図15を参照して説明する。
図15において、まず、マスターコンテンツデータベース4からCD−ROMなどの媒体によりマスターデータとしての映像データが提供されると、データ読取部11が提供された媒体から所定の形式で圧縮されている映像データを読み取る(S601)。
映像データが読み取りが完了すると、データ伸張処理部12は、圧縮されている映像データを伸張する(S602)。
【0064】
上述の処理が完了すると、分割処理部204は、任意の基準に基づいて映像データに分割ポイントを設定し、この設定した分割ポイントに基づいて映像データを分割する(S603)。
なお、この分割ポイントの設定は、例えば、分割処理部204が、上述の実施形態1、実施形態2又は実施形態4の分割方法に基づいて分割ポイント設定してもよい。
【0065】
そして、分割映像データの作成が完了すると、送信指示部15は、各分割映像データをそれぞれ別のトランスコードPC2に送信して、分割映像データの圧縮するように指示して(S604)、スケジューリングサーバ1側の処理を終了する。
【0066】
次に、スケジューリングサーバ1から送信された分割映像データを受信したトランスコードPC2側の処理について図16を参照して説明する。
図16において、トランスコードPC2は、スケジューリングサーバ1から送信された分割映像データを受信すると(S1601)、この分割映像データの映像シーンの切替わり部分を検出する(S1602)。
この映像シーンの切替わり部分の検出処理は、上述の実施形態3と同様の処理により検出することができる。
【0067】
トランスコードPC2は、検出処理の結果映像シーンの切替わり部分が存在していたか否か判別する(S1603)。
判別の結果、切替わり部分が存在していた場合には、トランスコードPC2は、分割映像データの端からその切替わり部分までの映像フレームデータを抽出し、これを次の又は直前の連続するデータを保持しているトランスコードPC2に対して転送する(S1604)。
なお、この際、トランスコードPC2が連続する分割映像データを受信した他のトランスコードPC2を特定できる場合には、当該トランスコードPCを特定してデータの転送を行ってもよい。
【0068】
また、トランスコードPC2に他のトランスコードPC2から転送された映像データがある場合には、これを受信して(S1605)、受信した映像データが現在トランスコードPC2が保持している分割映像データと連続する映像データか否か判別する(S1606)。
この判別処理は、例えば、分割映像データに付与されている分割フレームのコードなどを参照することにより、連続する映像フレームデータであるか否か判別するようにしてもよい。
【0069】
判別の結果、連続する映像データであると判別された場合には、トランスコードPC2は、受信した映像データと保持している映像データとを結合する(S1607)。
結合した映像データ又はS1606の処理で連続する映像データがないと判別された場合には、トランスコードPC2は、受信した映像データに対して所定のフォーマットで圧縮処理を行い(S1608)、圧縮された映像データを結合サーバ3へ提供して(S1609)、処理を終了する。
【0070】
このように上述の第6の実施形態によれば、上述の実施形態3の分割ポイントの検出処理まで複数のトランスコードPC2で分散して処理することができ、より高速にトランスコーディング処理を行うことができる。
【0071】
なお、各実施形態について個別に説明してきたが、上述の各実施形態の処理を適宜組み合わせて映像データの分割処理を行ってもよい。
例えば、実施形態1の画像データの分割処理を行う際に、上述の実施形態3〜6のいずれかの実施形態の分割処理を適用してもよい。また、第2の実施形態により処理された分割映像データに対して、上述の第4又は第6の実施形態の処理を適用して処理を行ってもよい。また、第3の実施形態により処理された分割映像データに対して、上述の第1、第4の実施形態の処理を適用して処理してもよい。また、第4の実施形態により処理された分割映像データに対して、上述の第1〜3或いは第6の実施形態の処理を適用してもよい。また、第5の実施形態により処理された分割映像データに対して、上述の第1の実施形態の処理を適用して処理してもよい。
【0072】
本実施形態のスケジューリングサーバ1用のコンピュータプログラムを、コンピュータ読み取り可能な媒体(FD、CD−ROM等)に格納して配布してもよいし、搬送波に重畳し、通信ネットワークを介して配信することも可能である。なお、スケジューリングサーバ1の各機能をOS(Operating System)が分担又はOSとアプリケーションプログラムの共同により実現する場合等には、OS以外の部分のみをコンピュータプログラムとして、またこのコンピュータプログラムをコンピュータ読み取り可能な媒体に格納したり、このコンピュータプログラムを配信等したりしてもよい。
【0073】
【発明の効果】
本発明によれば、画像及び音声のデータを劣化させることなく、映像データ分割処理を分散処理することができる。
【図面の簡単な説明】
【図1】本発明にかかる第1の実施形態のシステム全体構成を示した図。
【図2】実施形態にかかる映像データの概念的構成の一例を示した図。
【図3】第1の実施形態にかかるスケジューリングサーバの機能ブロック図。
【図4】第1の実施形態にかかるスケジューリングサーバの処理フローを示した図。
【図5】第1の実施形態にかかる映像データの処理を概念的に示した図。
【図6】第2の実施形態にかかるスケジューリングサーバの機能ブロック図。
【図7】第2の実施形態にかかる映像データの分割ポイントを設定する際の処理を概念的に示した図。
【図8】第2の実施形態にかかるスケジューリングサーバの処理フローを示した図。
【図9】第3の実施形態にかかる映像データの分割ポイントを設定する際の処理を概念的に示した図。
【図10】第3の実施形態にかかるスケジューリングサーバの処理フローを示した図。
【図11】第4の実施形態にかかる映像データの分割ポイントを設定する際の処理を概念的に示した図。
【図12】第4の実施形態にかかるスケジューリングサーバの処理フローを示した図。
【図13】第5の実施形態にかかるスケジューリングサーバの処理フローを示した図。
【図14】第5の実施形態にかかる結合サーバの処理フローを示した図。
【図15】第6の実施形態にかかるスケジューリングサーバの処理フローを示した図。
【図16】第6の実施形態にかかるトランスコードPCの処理フローを示した図。
【図17】トランスコーディング処理の概念を示した図。
【符号の説明】
1 スケジューリングサーバ
2 トランスコードパーソナルコンピュータ(PC)
3 結合サーバ
4 マスターコンテンツデータベース
13 音声データ処理部
14 分割処理部
15 送信指示部
204 分割処理部
Claims (7)
- 時間的に連続した映像データを所定のフォーマットで圧縮可能な複数の圧縮装置と通信可能に構成された装置であって、
上記圧縮の対象となる映像データ中から音声データを取り出す音声データ処理手段と、
上記音声データが取り出された後の映像データを所定の単位で分割する分割処理手段と、
上記取り出された音声データ及び分割された各映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対してデータの圧縮処理を分散処理させる送信指示手段と、
を有することを特徴とする映像データ処理装置。 - 時間的に連続した映像データを所定のフォーマットで圧縮可能な複数の圧縮装置と通信可能に構成された装置であって、
上記映像データ中の音声データが所定の閾値よりも小さい無音区間を抽出し、当該無音区間を映像データの分割ポイントとして上記映像データを複数に分割する分割処理手段と、
上記分割された各映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対してデータの圧縮処理を分散処理させる送信指示手段と、
を有することを特徴とする映像データ処理装置。 - 時間的に連続した映像データを所定のフォーマットで圧縮可能な複数の圧縮装置と通信可能に構成された装置であって、
上記映像データを構成する映像フレームの色又は動きベクトルの変化量に基づいて映像シーンの切替わり部分を抽出して、この映像シーンの切替わり部分を映像データの分割ポイントとして映像データを複数に分割する分割処理手段と、
上記分割された各映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対してデータの圧縮処理を分散処理させる送信指示手段と、
を有することを特徴とする映像データ処理装置。 - 圧縮された映像データを元の映像データとは別のフォーマットで圧縮可能な複数の圧縮装置と通信可能に構成された装置であって、
上記映像データを構成する映像フレーム毎のビットレート情報を取得し、取得したビットレートが変化する所定のポイントで上記映像データを複数に分割する分割処理手段と、
上記分割された各映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対してデータの圧縮処理を分散処理させる送信指示手段と、
を有することを特徴とする映像データ処理装置。 - 時間的に連続した映像データを所定のフォーマットで圧縮可能な複数の圧縮装置と通信可能に構成された装置であって、
上記元の圧縮映像データを、異なる複数のエンコードパラメータ条件下で分割して、上記エンコードパラメータ条件ごとに分割映像データを作成する分割処理手段と、
上記複数の条件下で作成された複数の分割映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対して分割映像データの圧縮処理を分散処理させる送信指示手段と、
を有することを特徴とする映像データ処理装置。 - コンピュータを、上記請求項1〜5のいずれかの項に記載の映像データ処理装置として機能させるためのコンピュータプログラム。
- 時間的に連続した映像データを分割する映像分割装置と、この分割装置と通信可能に構成され、分割された映像データを所定のフォーマットで圧縮する複数の圧縮装置により構成されたシステムであって、
上記映像分割装置は、
上記映像データを任意の分割ポイントで複数に分割する分割処理手段と、
上記分割された各映像データを上記圧縮装置に対して送信し、上記複数の圧縮装置に対してデータの圧縮処理を分散処理させる送信指示手段と、を有し、
上記圧縮装置は、
上記映像データを構成する映像フレームの色又は動きベクトルの変化量に基づいて映像シーンの切替わり部分があるか否か判別し、映像シーンの切替わり部分がある場合に、当該切替わり部分で映像データを複数に分割する分割処理手段と、
上記分割された映像データのうちの少なくとも一つを、他の圧縮装置に対して送信する送信手段と、
他の圧縮装置から送信された分割映像データのうち、保持している映像データと連続する映像データがある場合には、送信された分割映像データを保持している映像データと結合させる映像結合手段と、
映像シーンの切替わりがない映像データ又は上記結合させた映像データを所定のフォーマットで圧縮する圧縮手段と、を有する、
ことを特徴とする映像データ処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002322655A JP3969649B2 (ja) | 2002-11-06 | 2002-11-06 | 映像データ処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002322655A JP3969649B2 (ja) | 2002-11-06 | 2002-11-06 | 映像データ処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004159079A true JP2004159079A (ja) | 2004-06-03 |
JP3969649B2 JP3969649B2 (ja) | 2007-09-05 |
Family
ID=32802783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002322655A Expired - Fee Related JP3969649B2 (ja) | 2002-11-06 | 2002-11-06 | 映像データ処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3969649B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006025348A1 (ja) * | 2004-08-30 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | 記録装置、システム、集積回路、プログラム、記録方法 |
WO2006025322A1 (ja) * | 2004-08-30 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | 記録装置 |
JP2007188259A (ja) * | 2006-01-12 | 2007-07-26 | Hitachi Ltd | 情報処理装置及び情報処理システム |
WO2007122898A1 (ja) * | 2006-04-21 | 2007-11-01 | Panasonic Corporation | トランスコーディング装置、復号装置、及び符号化装置 |
JP2008065546A (ja) * | 2006-09-06 | 2008-03-21 | Sony Computer Entertainment Inc | データ転送システム、データ転送装置、ファイル形式変換装置、およびデータ転送方法 |
WO2008114393A1 (ja) * | 2007-03-19 | 2008-09-25 | Fujitsu Limited | ビットストリーム変換方法、ビットストリーム変換装置、ビットストリーム結合装置、ビットストリーム分割プログラム、ビットストリーム変換プログラム及びビットストリーム結合プログラム |
WO2012081752A1 (ko) * | 2010-12-17 | 2012-06-21 | 주식회사 픽스트리 | 동영상 파일의 분산 트랜스코딩 방법 |
JP2014515895A (ja) * | 2011-03-29 | 2014-07-03 | リリカル ラブス エルエルシー | ビデオエンコードシステムおよび方法 |
KR20160081444A (ko) * | 2014-12-31 | 2016-07-08 | 삼성에스디에스 주식회사 | 영상 데이터 처리 방법 및 장치 |
JP2017507533A (ja) * | 2013-12-30 | 2017-03-16 | グーグル インコーポレイテッド | 分散トランスコーディングのためのコンテンツ適応的なチャンキング |
WO2019103293A1 (ko) * | 2017-11-23 | 2019-05-31 | 주식회사 에스제이테크놀로지 | 분산 트랜스코딩 클라우드 서비스 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06133305A (ja) * | 1992-09-07 | 1994-05-13 | Fujitsu Ltd | 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置 |
JPH06181524A (ja) * | 1992-12-14 | 1994-06-28 | Matsushita Electric Ind Co Ltd | 符号化伝送装置 |
JPH0984023A (ja) * | 1995-09-19 | 1997-03-28 | Nippon Telegr & Teleph Corp <Ntt> | フレーム内符号化挿入方法および映像符号化装置 |
JP2002199392A (ja) * | 2000-10-19 | 2002-07-12 | Matsushita Electric Ind Co Ltd | 映像符号化方法および装置 |
-
2002
- 2002-11-06 JP JP2002322655A patent/JP3969649B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06133305A (ja) * | 1992-09-07 | 1994-05-13 | Fujitsu Ltd | 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置 |
JPH06181524A (ja) * | 1992-12-14 | 1994-06-28 | Matsushita Electric Ind Co Ltd | 符号化伝送装置 |
JPH0984023A (ja) * | 1995-09-19 | 1997-03-28 | Nippon Telegr & Teleph Corp <Ntt> | フレーム内符号化挿入方法および映像符号化装置 |
JP2002199392A (ja) * | 2000-10-19 | 2002-07-12 | Matsushita Electric Ind Co Ltd | 映像符号化方法および装置 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006025322A1 (ja) * | 2004-08-30 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | 記録装置 |
WO2006025348A1 (ja) * | 2004-08-30 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | 記録装置、システム、集積回路、プログラム、記録方法 |
US8126318B2 (en) | 2004-08-30 | 2012-02-28 | Panasonic Corporation | Recording device, system, integrated circuit, program, and recording method |
JP4654918B2 (ja) * | 2006-01-12 | 2011-03-23 | 株式会社日立製作所 | 情報処理装置及び情報処理システム |
JP2007188259A (ja) * | 2006-01-12 | 2007-07-26 | Hitachi Ltd | 情報処理装置及び情報処理システム |
US7432832B2 (en) | 2006-01-12 | 2008-10-07 | Hitachi, Ltd. | Information processing apparatus and information processing system |
US7683808B2 (en) | 2006-01-12 | 2010-03-23 | Hitachi, Ltd. | Information processing apparatus and information processing system |
WO2007122898A1 (ja) * | 2006-04-21 | 2007-11-01 | Panasonic Corporation | トランスコーディング装置、復号装置、及び符号化装置 |
JP2008065546A (ja) * | 2006-09-06 | 2008-03-21 | Sony Computer Entertainment Inc | データ転送システム、データ転送装置、ファイル形式変換装置、およびデータ転送方法 |
US8832308B2 (en) | 2006-09-06 | 2014-09-09 | Sony Corporation | Data transfer system capable of converting file formats |
WO2008114393A1 (ja) * | 2007-03-19 | 2008-09-25 | Fujitsu Limited | ビットストリーム変換方法、ビットストリーム変換装置、ビットストリーム結合装置、ビットストリーム分割プログラム、ビットストリーム変換プログラム及びビットストリーム結合プログラム |
US8411739B2 (en) | 2007-03-19 | 2013-04-02 | Fujitsu Limited | Bitstream conversion method, bitstream conversion apparatus, bitstream connecting apparatus, bitstream splitting program, bitstream conversion program, and bitstream connecting program |
WO2012081752A1 (ko) * | 2010-12-17 | 2012-06-21 | 주식회사 픽스트리 | 동영상 파일의 분산 트랜스코딩 방법 |
KR101166085B1 (ko) | 2010-12-17 | 2012-07-23 | 주식회사 픽스트리 | 동영상 파일의 분산 트랜스코딩 방법 |
JP2014515895A (ja) * | 2011-03-29 | 2014-07-03 | リリカル ラブス エルエルシー | ビデオエンコードシステムおよび方法 |
JP2017507533A (ja) * | 2013-12-30 | 2017-03-16 | グーグル インコーポレイテッド | 分散トランスコーディングのためのコンテンツ適応的なチャンキング |
KR20160081444A (ko) * | 2014-12-31 | 2016-07-08 | 삼성에스디에스 주식회사 | 영상 데이터 처리 방법 및 장치 |
KR101649961B1 (ko) * | 2014-12-31 | 2016-08-22 | 삼성에스디에스 주식회사 | 영상 데이터 처리 방법 및 장치 |
WO2019103293A1 (ko) * | 2017-11-23 | 2019-05-31 | 주식회사 에스제이테크놀로지 | 분산 트랜스코딩 클라우드 서비스 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP3969649B2 (ja) | 2007-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100345447B1 (ko) | 스트리밍 서비스를 위한 가변 비트율 처리 방법 | |
US5666161A (en) | Method and apparatus for creating less amount of compressd image data from compressed still image data and system for transmitting compressed image data through transmission line | |
US20190268613A1 (en) | Image processing device and image processing method | |
AU2020202419B2 (en) | Image encoding device and method, and image decoding device and method | |
EP2908547B1 (en) | Information-processing device, information-processing system, information-processing program, and moving image data transmission/reception method adapting the frame rate of moving image data based on frame similarity | |
KR20090126176A (ko) | 정보 처리 장치 및 방법과, 프로그램 | |
JPH09139940A (ja) | 終端間伸縮可能なビデオデリバリシステム用デコーダ | |
JP3969649B2 (ja) | 映像データ処理システム | |
JP4404180B2 (ja) | データ配信システム、データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム | |
WO2019011133A1 (zh) | 数据传输方法、装置、服务器及存储介质 | |
US20230081384A1 (en) | Accelerated video exportation to multiple destinations | |
JPH09298749A (ja) | 動画配信方法及びその実施装置 | |
US6571018B1 (en) | Encoding and/or decoding system for three-dimensional color ultrasonic image | |
CN102405642A (zh) | 信息处理设备和方法、及信息处理系统 | |
KR101754571B1 (ko) | 대역분리 및 감축을 통한 영상신호의 스위칭/라우팅 장치 및 그 방법 | |
RU2697702C1 (ru) | Способ сжатия изображения, способ восстановления изображения, устройство сжатия изображения и устройство восстановления изображения | |
KR101729904B1 (ko) | 데이터의 손실압축을 통한 무손실 송신 시스템 및 그 방법 | |
US11936962B2 (en) | Information processing device and information processing method | |
KR101603976B1 (ko) | 동영상 파일 결합 방법 및 그 장치 | |
JP2007180999A (ja) | 情報同期システム、情報送信装置、情報受信装置、情報同期プログラム、情報送信プログラム、及び情報受信プログラム | |
JP7229696B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN109104552B (zh) | 摄像设备、摄像设备的处理方法和存储介质 | |
WO2020175176A1 (ja) | 情報処理装置および方法、並びに、再生装置および方法 | |
US11523156B2 (en) | Method and system for distributing an audiovisual content | |
JP4667409B2 (ja) | 画像復号装置及び画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050524 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060222 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070425 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070601 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120615 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120615 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130615 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |