JP2005039739A - Moving picture cluster processing system - Google Patents
Moving picture cluster processing system Download PDFInfo
- Publication number
- JP2005039739A JP2005039739A JP2003277089A JP2003277089A JP2005039739A JP 2005039739 A JP2005039739 A JP 2005039739A JP 2003277089 A JP2003277089 A JP 2003277089A JP 2003277089 A JP2003277089 A JP 2003277089A JP 2005039739 A JP2005039739 A JP 2005039739A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- processing result
- moving image
- delayed
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は動画像クラスタ処理システムに関し、複数台のパーソナルコンピュータ、ワークステーション、その他低価格CPUボード(以下、パソコンと呼ぶ)を用いて動画像処理を行う場合に適用して好適なものである。 The present invention relates to a moving image cluster processing system, and is suitable for application to a case where moving image processing is performed using a plurality of personal computers, workstations, and other low-cost CPU boards (hereinafter referred to as personal computers).
近年、パソコンの高性能化及び低価格化に伴い、ネットワークを介して複数のパソコンを相互接続して処理を分担させる(これをクラスタ処理と呼ぶ)ことにより、従来は高価なコンピュータが必要とされた複雑な処理を低コストで実行できるようになっている。このようなクラスタ処理の適用分野としては、暗号解読、ゲノム解析、コンピュータグラフィックスのレンダリング処理が挙げられる(例えば、特許文献1参照)。 In recent years, along with high performance and low price of personal computers, expensive computers are conventionally required by interconnecting multiple personal computers via a network and sharing the processing (this is called cluster processing). Complicated processing can be executed at low cost. Application fields of such cluster processing include cryptanalysis, genome analysis, and computer graphics rendering processing (see, for example, Patent Document 1).
図20はパソコンを用いた一般的なクラスタ処理システムの構成を示し、ホストノードパソコン101と、複数台の計算ノードパソコン102(102A〜102N)とがネットワーク103を介して接続されてクラスタ処理システム100を構成している。ホストノードパソコン101は、管理下の計算ノードパソコン102A〜102Nに対して処理を分散して実行させる。
FIG. 20 shows a configuration of a general cluster processing system using a personal computer. A host node
図21はクラスタ処理システム100におけるアプリケーション構造を示し、ホストノードパソコン101のクラスタアプリケーションプログラム110は、クラスタ管理プログラム111及び通信層112を介して、各計算ノードパソコン102上の分散ジョブ113を制御する。
FIG. 21 shows an application structure in the
クラスタ管理プログラム111は、クラスタアプリケーションプログラム110からの命令を受け、他のパソコンに対するデータの送受信、分散ジョブ113の起動及び終了等を通信層112を介して実行する。
ここで、上述したクラスタ処理を動画像の圧縮符号化や伸張復号化処理(動画像圧縮伸張処理)に適用することも考えられる。かかる動画像圧縮伸張処理においては、入力したデータをリアルタイムに処理して送信するようなリアルタイム処理が要求される場合と、処理後のデータをハードディスク等の記憶媒体に蓄積するような非リアルタイム処理の2つに分けられる。 Here, it is also conceivable to apply the above-described cluster processing to moving image compression encoding or decompression decoding processing (moving image compression / decompression processing). In such moving image compression / decompression processing, there is a case where real-time processing is required in which input data is processed and transmitted in real time, and non-real-time processing in which processed data is stored in a storage medium such as a hard disk. Divided into two.
非リアルタイム処理では処理時間に制限が無いため、単にクラスタ処理を行わせるパソコン(以下、これをノードと呼ぶ)の台数を増加させることで、負荷の高い圧縮/伸長処理をより高速に実行することができる。 Since non-real-time processing has no limitation on processing time, simply increasing the number of personal computers (hereinafter referred to as nodes) that can perform cluster processing to execute high-speed compression / decompression processing at a higher speed Can do.
これに対してリアルタイム処理では一定時間内に処理が終了することが要求され、当該一定時間内に処理が終了しない場合は処理の取りこぼし等の問題が発生する。このため、クラスタ処理におけるリアルタイム性を保証するために、予め各ノードに対して処理負荷の評価を行い、それぞれの処理負荷に応じた処理を各ノードに割り振るといった対処が行われている。 On the other hand, in real-time processing, it is required that the processing is completed within a certain time, and when the processing is not completed within the certain time, problems such as missing of processing occur. For this reason, in order to guarantee the real-time property in the cluster processing, measures are taken in advance such that the processing load is evaluated for each node, and processing corresponding to each processing load is allocated to each node.
一方、クラスタの各ノードにおいては、クラスタ処理を管理するプログラムは、Linux、Unix(登録商標)、Windows(登録商標)等の基本プログラム(オペレーティングシステム)上で動作しているのが一般的である。 On the other hand, in each node of the cluster, a program for managing cluster processing generally operates on a basic program (operating system) such as Linux, Unix (registered trademark), Windows (registered trademark), or the like. .
ここで、上述したオペレーティングシステムは、その管理下で稼働するアプリケーションプログラムに関して一定時間内での処理終了を保証する機構を備えたもの(以下、これをリアルタイムOSと呼ぶ)ではない。また、各ノードでは複数のプログラム(タスク)が同時に実行されていることがほとんどであり、特定のタスクに所定の計算機リソースの割り当てを保証するものでもない。Unix(登録商標)等の一部のオペレーティングシステムにおいては、タスクの優先度を指定する機能を有しているものの、これも所定時間内に所定処理が終了することを保証するものではない。 Here, the above-described operating system does not have a mechanism (hereinafter referred to as a real-time OS) that guarantees the end of processing within a certain period of time for an application program that runs under its management. Further, in most cases, a plurality of programs (tasks) are executed at each node at the same time, and there is no guarantee that a predetermined computer resource is allocated to a specific task. Some operating systems such as Unix (registered trademark) have a function of specifying the priority of a task, but this also does not guarantee that a predetermined process will be completed within a predetermined time.
従って、パソコンで構成したクラスタを用いてリアルタイム動画像圧縮伸張処理を行う場合、各ノードの処理時間の変動によってリアルタイム性が損なわれ、これによりデータ処理の遅延が発生する場合がある。 Accordingly, when real-time moving image compression / decompression processing is performed using a cluster configured with a personal computer, real-time performance may be impaired due to variations in processing time of each node, which may cause data processing delay.
また、上述したようにパソコンで構成したクラスタを用いてリアルタイム動画像圧縮伸張処理を行う場合、ノードの台数を増加すると、各ノードにおけるデータ処理の遅延が発生する場合がある。 In addition, when the real-time moving image compression / decompression process is performed using a cluster configured with a personal computer as described above, a delay in data processing in each node may occur when the number of nodes is increased.
このように、パソコンで構成したクラスタを用いてリアルタイム動画像圧縮伸張処理を行う場合、各ノードにおけるデータの処理遅延が発生することがあり、これにより符号化データや復号化画像に欠損が生じる可能性があるという問題があった。 In this way, when performing real-time video compression / decompression using a cluster composed of personal computers, data processing delays may occur at each node, which may cause loss of encoded data and decoded images. There was a problem of having sex.
本発明は以上の点を考慮してなされたもので、ノードの処理遅延によるデータや画像の欠損を確実に補正し得る動画像クラスタ処理システムを提案しようとするものである。 The present invention has been made in view of the above points, and an object of the present invention is to propose a moving image cluster processing system capable of reliably correcting data and image loss due to processing delay of nodes.
かかる課題を解決するため本発明においては、複数の情報処理装置と、動画像処理を当該複数の情報処理装置それぞれに分散処理させる管理装置とからなる動画像クラスタ処理システムにおいて、複数の情報処理装置それぞれに対しピクチャ単位で動画像処理を実行させる動画像処理指示手段と、複数の情報処理装置それぞれから返送されるピクチャ毎の動画像処理の処理結果を取得する処理結果取得手段と、情報処理装置からの処理結果の返送が遅延したとき、遅延した処理結果を含む遅延ピクチャと他の参照ピクチャとの間の絵柄の変化度合いを表す変動評価値を所定の閾値と比較し、変動評価値が閾値未満の場合、遅延した処理結果のみを参照ピクチャの対応する処理結果で置換し、変動評価値が閾値以上の場合、遅延ピクチャ全体の処理結果を参照ピクチャの処理結果で置換する処理結果置換手段とを管理装置に設けた。 In order to solve such a problem, in the present invention, in a moving image cluster processing system including a plurality of information processing devices and a management device that distributes moving image processing to each of the plurality of information processing devices, the plurality of information processing devices Moving image processing instruction means for executing moving image processing for each picture, processing result acquisition means for acquiring processing results of moving picture processing for each picture returned from each of the plurality of information processing apparatuses, and information processing apparatus When the return of the processing result from is delayed, the fluctuation evaluation value indicating the degree of change in the pattern between the delayed picture including the delayed processing result and another reference picture is compared with a predetermined threshold, and the fluctuation evaluation value is If it is less than, only the delayed processing result is replaced with the corresponding processing result of the reference picture. It provided a processing result replacing means for replacing the processing result of the reference picture management result to the management apparatus.
遅延ピクチャと参照ピクチャとの間の変動評価値に応じて、遅延した処理結果のみを置換するか、遅延ピクチャ全体の処理結果を置換するかを判断するようにしたことにより、処理遅延によるデータや画像の欠損を、ピクチャの絵柄の変化度合いに応じて確実に補正することができる。 By determining whether to replace only the delayed processing result or the entire processing result of the delayed picture according to the fluctuation evaluation value between the delayed picture and the reference picture, An image defect can be reliably corrected according to the degree of change in the picture pattern.
以下図面について、本発明の一実施の形態を詳述する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
(1)第1の実施の形態
(1−1)動画像クラスタ処理システムの全体構成
図1において、1は全体として第1の実施の形態の動画像クラスタ処理システムを示し、管理装置としてのホストノードパソコン2と、情報処理装置としての4台の計算ノードパソコン3A〜3Dとがネットワーク4を介して接続されている。
(1) First Embodiment (1-1) Overall Configuration of Moving Image Cluster Processing System In FIG. 1,
この動画像クラスタ処理システム1は、外部から供給されるアナログ映像信号を、クラスタ処理によってJPEG(Joint Photographic cording experts Group)2000方式でリアルタイム圧縮符号化処理するようになされている。
The moving image
ホストノードパソコン2においては、当該ホストノードパソコン2を統括制御するCPU11に対し、メモリ12、表示部13、ハードディスクドライブ14、ネットワークインターフェース15及びビデオキャプチャ回路16が、バス17を介して接続されている。
In the host node
ハードディスクドライブ14には、例えばWindows(登録商標)等のオペレーティングシステムや、動画像クラスタ処理プログラム等の各種アプリケーションプログラムが格納されている。CPU11は、ホストノードパソコン2の起動に応じてハードディスクドライブ14からオペレーティングシステムを読み出し、メモリ12に展開して実行する。
The
そして動画像処理指示手段としてのCPU11は、オペレーティングシステムの実行環境下において動画像クラスタ処理プログラムを実行し、計算ノードパソコン3A〜3Dに対して動画像の圧縮符号化及び伸張復号化処理を分散処理させる。
Then, the
すなわち動画像の圧縮符号化時において、ホストノードパソコン2のビデオキャプチャ回路16は、外部から供給されるアナログ映像信号S1をディジタル変換してディジタル映像信号D1を生成し、これをCPU11に供給する。CPU11は動画像クラスタ処理プログラムに従い、ディジタル映像信号D1の圧縮符号化を計算ノードパソコン3A〜3Dに分散処理させる。
That is, at the time of compression encoding of a moving image, the
ここでJPEG2000方式は、ディジタル映像信号の圧縮符号化を、ピクチャとしてのフレーム(又はフィールド)毎に完結して行うとともに、各フレームを、複数の画像ブロック(以下、これをタイルと呼ぶ)に分割して、各タイル個別に圧縮符号化し得るようになされている。 Here, in the JPEG2000 system, compression encoding of a digital video signal is completed for each frame (or field) as a picture, and each frame is divided into a plurality of image blocks (hereinafter referred to as tiles). Thus, each tile can be individually compressed and encoded.
すなわち図2に示すように、CPU11は例えば720×480画素でなるディジタル映像信号S1の各フレームを計算ノードパソコン3A〜3Dの台数に合わせて4分割し、360×240画素でなるタイル1〜タイル4を生成する。そしてCPU11は、分割後の各タイル1〜タイル4のデータを分割ディジタル映像データD2A〜D2Dとして対応する計算ノードパソコン3A〜3Dに順次供給する(図3(A))。
That is, as shown in FIG. 2, the
計算ノードパソコン3A〜3Dにおいては、当該計算ノードパソコン3を統括制御するCPU21に対し、メモリ22、表示部23、ハードディスクドライブ24及びネットワークインターフェース25がバス27を介して接続されている。
In the calculation node
ハードディスクドライブ24には、オペレーティングシステムやクラスタアプリケーションプログラム等の各種アプリケーションプログラムが格納されている。CPU21は、計算ノードパソコン3の起動に応じてハードディスクドライブ24からオペレーティングシステムを読み出し、メモリ22に展開して実行する。
The
そしてCPU21は、オペレーティングシステムの実行環境下において動画像クラスタ処理プログラムを実行することにより、ホストノードパソコン2から供給される分割ディジタル映像データD2(D2A〜D2D)をJPEG2000方式で圧縮符号化して分割符号化データD3(D3A〜D3D)を生成し、これをホストノードパソコン2に返送する(図3(B))。
The
処理結果取得手段としてのCPU11は、各計算ノードパソコン3A〜3Dから返送される分割符号化データD3A〜D3Dをフレーム単位で順次合成して、圧縮符号化されたフレームデータの連続でなる符号化映像信号D4を生成し、これをハードディスクドライブ14に格納するか、あるいはネットワーク4を介して外部の送信先に送信する(図3(C))。
The
かくして動画像クラスタ処理システム1は、アナログ映像信号S1をクラスタ処理によってリアルタイム圧縮符号化する。
Thus, the moving image
また動画像の伸張復号化時において、ホストノードパソコン2のCPU11はクラスタアプリケーションプログラムに従い、ハードディスクドライブ14から読みだした符号化映像信号D4、あるいは外部からネットワーク4を介して供給された符号化映像信号D4の伸張復号化を計算ノードパソコン3A〜3Dに分散処理させる。
At the time of decompression decoding of the moving image, the
すなわちCPU11は、符号化映像信号D4のフレーム毎の符号化データを、図2に示すタイル1〜タイル4に対応して4分割して分割符号化データD3A〜D3Dを生成し、それぞれを対応する計算ノードパソコン3A〜3Dに供給する(図3(C))。
That is, the
計算ノードパソコン3A〜3DのCPU21は動画像クラスタ処理プログラムに従い、それぞれホストノードパソコン2から供給される分割符号化データD3A〜D3Dを伸張復号化して、タイル1〜タイル4の連続映像でなる分割ディジタル映像データD2A〜D2Dを生成し、これをホストノードパソコン2に返送する(図3(D))。
In accordance with the moving image cluster processing program, the
処理結果取得手段としてのCPU11は、各計算ノードパソコン3A〜3Dから返送された分割ディジタル映像データD2A〜D2Dをフレーム毎に順次合成してディジタル映像信号D1を生成し、これを表示部13に表示するか、あるいはネットワーク4を介して外部の送信先に送信する(図3(E))。
The
かくして動画像クラスタ処理システム1は、符号化映像信号D4をクラスタ処理によってリアルタイム伸張復号化する。
Thus, the moving image
(1−2)圧縮符号化及び伸張復号化時のエラーコンシールメント
かかる構成に加えてホストノードパソコン2は、各計算ノードパソコン3A〜3Dそれぞれにおけるタイル毎の符号化処理時間又は復号化処理時間を常に監視している。
(1-2) Error concealment at the time of compression encoding and decompression decoding In addition to such a configuration, the host node
そしてホストノードパソコン2は、符号化処理時間又は復号化処理時間のいずれかが所定の基準処理時間を越えた場合(すなわち計算ノードにおける処理遅延の発生)、当該処理遅延が発生したタイルを含むフレームを、その前又は後のフレームを用いて補間することにより、計算ノードの処理遅延による復号画像の欠損を防止するようになされている。かかる補間処理をエラーコンシールメントと呼ぶ。
Then, when either the encoding processing time or the decoding processing time exceeds a predetermined reference processing time (that is, processing delay occurs in the calculation node), the host node
まず、上述したエラーコンシールメントを伴う動画像圧縮符号化を行うための、ホストノードパソコン2におけるクラスタ符号化処理手順を、図4に示すフローチャートを用いて詳細に説明する。
First, the cluster encoding processing procedure in the host node
ホストノードパソコン2のCPU11は、ルーチンRT1の開始ステップから入って次のステップSP1に移る。ステップSP1において、動画像処理指示手段としてのCPU11は、各計算ノードパソコン3A〜3Dに対して符号化ターゲットレート等の各種処理パラメータを送信し、次のステップSP2に移る。
The
ステップSP2においてCPU11は、ディジタル映像信号D1の1フレーム分の画像データをメモリ12に格納し、次のステップSP3に移る。
In step SP2, the
ステップSP3においてCPU11は、メモリ12に取り込んだ1フレーム分の画像データを4枚のタイルに対応して分割して分割ディジタル映像データD2A〜D2Dを生成し、次のステップSP4に移る。
In step SP3, the
ステップSP4においてCPU11は、現フレームの各タイルと、これに対応する1枚前のフレーム(これを比較対象フレームと呼ぶ)のタイルとの間の、RGB各画素の画素値の差分値を算出する。
In step SP4, the
そしてCPU11は、算出した差分値の絶対値をタイル毎に平均し、各平均値を、タイル1〜4それぞれのフレーム間の絵柄の変化度合いを表す画像変動評価値Diff1〜Diff4としてメモリ12に記憶し、次のステップSP5に移る。
Then, the
図5は、フレームの変化に伴う画像変動評価値の推移の例を示す。例えばフレーム3において、三角形の物体がタイル1及びタイル3にかけて出現していることから、当該フレーム3のタイル1の画像変動評価値Diff1及びタイル3の画像変動評価値Diff3が増加している。また、フレーム3とフレーム5の間に全く異なる絵柄のフレーム4が挟まれていることから、フレーム4及びフレーム5の各画像変動評価値Diff1〜Diff4はいずれも大きな値となっている。
FIG. 5 shows an example of the transition of the image fluctuation evaluation value accompanying the change of the frame. For example, in
ステップSP5において、動画像処理指示手段としてのCPU11は、各計算ノードパソコン3A〜3Dに対し、対応するタイル1〜タイル4を供給するとともに、当該タイルに対する圧縮符号化の開始を指示し、次のステップSP6に移る。
In step SP5, the
ステップSP6において、処理結果取得手段としてのCPU11は、各計算ノードパソコン3A〜3Dから返送される分割符号化データD3A〜D3Dの待ち受けを開始する。そしてCPU11は、当該待ち受けの開始から基準処理時間が経過すると、次のステップSP7に移る。
In step SP6, the
ステップSP7においてCPU11は、各計算ノードパソコン3A〜3Dから返送される分割符号化データD3A〜D3Dの返送状況に基づいて、圧縮符号化に遅延が生じたか否かを判断する。
In step SP7, the
ステップSP7において、全ての分割符号化データD3A〜D3Dが返送されている場合、このことは全計算ノードパソコン3A〜3Dで処理遅延が発生せず、エラーコンシールメントが不要であることを表しており、このときCPU11はステップSP8に移り、返送された全ての分割符号化データD3A〜D3D(タイル)を用いて合成して符号化映像信号D4を生成し、ステップSP2に戻る。
In step SP7, when all the divided encoded data D3A to D3D are returned, this means that no processing delay occurs in all the calculation node personal computers 3A to 3D, and no error concealment is required. At this time, the
これに対してステップSP7において、分割符号化データD3A〜D3Dのいずれかが未だ返送されていない場合、このことはいずれかの計算ノードパソコン3A〜3Dで処理遅延が発生し、エラーコンシールメントが必要であることを表しており、このときCPU11はステップSP9に移る。
On the other hand, if any of the divided encoded data D3A to D3D has not yet been returned in step SP7, this causes a processing delay in any of the calculation node personal computers 3A to 3D, and error concealment is required. In this case, the
ステップSP9において、処理結果置換手段としてのCPU11は、処理遅延が発生したタイルの画像変動評価値Diffと、所定の変動評価閾値Dlimとを比較し、当該比較結果に基づいてエラーコンシールメント方法(一部のタイルを置換するか、あるいは全てのタイルを置換するか)を選択する。
In step SP9, the
すなわちステップSP9において、処理遅延が発生したタイルの画像変動評価値Diffが変動評価閾値Dlim未満の場合、このことは当該処理遅延が発生したタイルとこれに対応する比較対象フレームのタイルとの間の絵柄の相違が少なく、処理遅延が発生したタイルの代わりに比較対象フレームのタイルを用いて分割符号化データD3A〜D3Dを合成しても、復号後の映像における違和感が少ないことを表しており、このときCPU11はステップSP10に移る。
That is, in step SP9, when the image fluctuation evaluation value Diff of the tile in which the processing delay has occurred is less than the fluctuation evaluation threshold value Dlim, this means that the tile between the tile in which the processing delay has occurred and the tile of the comparison target frame corresponding thereto. Even if the divided encoded data D3A to D3D are synthesized by using the tile of the comparison target frame instead of the tile in which the processing delay has occurred with little difference in the design, it represents that there is little uncomfortable feeling in the decoded video, At this time, the
ステップSP10において、処理結果置換手段としてのCPU11は、処理遅延が発生したタイルの分割符号化データD3nを比較対象フレームのタイルの分割符号化データD3nで置換した後、分割符号化データD3A〜D3Dを合成して符号化映像信号D4を生成し、ステップSP2に戻る。
In step SP10, the
これに対してステップSP9において、処理遅延が発生したタイルの画像変動評価値Diffが変動評価閾値Dlim以上の場合、このことは当該処理遅延が発生したタイルと比較対象フレームのタイルとの間の絵柄の相違が大きく、処理遅延が発生したタイルの代わりに比較対象フレームのタイルを用いて分割符号化データD3A〜D3Dを合成すると、復号後の映像における違和感が大きくなることを表しており、このときCPU11はステップSP11に移る。
On the other hand, in step SP9, when the image fluctuation evaluation value Diff of the tile in which the processing delay has occurred is equal to or greater than the fluctuation evaluation threshold Dlim, this means that the pattern between the tile in which the processing delay has occurred and the tile of the comparison target frame. When the divided encoded data D3A to D3D are synthesized using the tile of the comparison target frame instead of the tile in which the processing delay has occurred, the sense of incongruity in the decoded video increases. The
ステップSP11において、処理結果置換手段としてのCPU11は、処理遅延が発生したタイルを含む全てのタイルの分割符号化データD3A〜D3Dを、比較対象フレームのタイルの分割符号化データD3A〜D3Dで置換した後合成して符号化映像信号D4を生成し、ステップSP2に戻る。
In step SP11, the
図6及び図7に、符号化時におけるエラーコンシールメントの例を示す。ここで、変動評価閾値Dlim=10とする。 6 and 7 show examples of error concealment during encoding. Here, it is assumed that the fluctuation evaluation threshold value Dlim = 10.
例えば図6(B)に示すように、フレーム3のタイル1(画像変動評価値Diff1=4)が処理遅延した場合、当該タイル1の画像変動評価値Diff1は変動評価閾値Dlim未満であることから、CPU11は処理遅延が発生したタイル1のみを比較対象フレームであるフレーム2のタイル1と置換する。この場合、タイル1にかかっていた3角形の先端部分は置換によって消去されるが、その面積が比較的小さいため復号後の映像における違和感は少ない。
For example, as shown in FIG. 6B, when the
また図6(C)に示すように、フレーム3のタイル2(画像変動評価値Diff1=0)が処理遅延した場合、当該タイル2の画像変動評価値Diff1は変動評価閾値Dlim未満であることから、CPU11は処理遅延が発生したタイル2のみをフレーム2のタイル2と置換する。
As shown in FIG. 6C, when the tile 2 (image fluctuation evaluation value Diff1 = 0) of the
これに対して図6(D)に示すように、フレーム3のタイル3(画像変動評価値Diff1=30)が処理遅延した場合、当該タイル3の画像変動評価値Diff1は変動評価閾値Dlim以上であることから、CPU11は全てのタイルを比較対象フレームであるフレーム2のタイルと置換する。この場合、同一の絵柄のフレームが2枚連続することになるが、タイル3を置換する場合に比べて復号後の映像における違和感は少なくなる。
On the other hand, as shown in FIG. 6D, when the
さらに図7に示すように、フレーム5(図5(E))のいずれかのタイルが処理遅延した場合、当該フレーム5の各タイル1〜タイル4の画像変動評価値Diff1〜Diff4はいずれも変動評価閾値Dlim以上であることから、CPU11は全てのタイルを比較対象フレームであるフレーム4のタイルと置換する。
Further, as shown in FIG. 7, when any tile of frame 5 (FIG. 5E) is delayed in processing, all the image fluctuation evaluation values Diff <b> 1 to Diff <b> 4 of each
次に、エラーコンシールメントを伴う動画像伸張復号化を行うための、ホストノードパソコン2におけるクラスタ復号化処理手順を、図8に示すフローチャートを用いて詳細に説明する。
Next, a cluster decoding processing procedure in the host node
ホストノードパソコン2のCPU11は、ルーチンRT2の開始ステップから入って次のステップSP21に移る。ステップSP21において、動画像処理指示手段としてのCPU11は、各計算ノードパソコン3A〜3Dに対してデコードレベル等の各種処理パラメータを送信し、次のステップSP22に移る。
The
ステップSP22においてCPU11は、符号化映像信号D4の1フレーム分の符号化データをメモリ12に格納し、次のステップSP23に移る。
In step SP22, the
ステップSP23においてCPU11は、メモリ12に取り込んだ1フレーム分の符号化データを4枚のタイルに対応して分割して分割符号化データD3A〜D3Dを生成し、次のステップSP24に移る。
In step SP23, the
ステップSP24において、動画像処理指示手段としてのCPU11は、各計算ノードパソコン3A〜3Dに対して対応する分割符号化データD3A〜D3Dを供給し、次のステップSP25に移る。
In step SP24, the
ステップSP25において、処理結果取得手段としてのCPU11は、各計算ノードパソコン3A〜3Dから返送される分割ディジタル映像データD2A〜D2Dの待ち受けを開始する。そしてCPU11は、当該待ち受けの開始から基準処理時間が経過すると、次のステップSP26に移る。
In step SP25, the
ステップSP26において、処理結果置換手段としてのCPU11は、各計算ノードパソコン3A〜3Dから返送される分割ディジタル映像データD2A〜D2Dの返送状況に基づいて、伸張復号化に遅延が生じたか否かを判断する。
In step SP26, the
ステップSP26において、全ての分割ディジタル映像データD2A〜D2Dが返送されている場合、このことは全計算ノードパソコン3A〜3Dで処理遅延が発生せず、エラーコンシールメントが不要であることを表しており、このときCPU11はステップSP26に移り、返送された全ての分割ディジタル映像データD2A〜D2Dを用いて合成し、ステップSP22に戻る。
If all the divided digital video data D2A to D2D are returned in step SP26, this indicates that no processing delay occurs in all the calculation node personal computers 3A to 3D, and no error concealment is required. At this time, the
これに対してステップSP26において、分割ディジタル映像データD2A〜D2Dのいずれかが未だ返送されていない場合、このことはいずれかの計算ノードパソコン3A〜3Dで処理遅延が発生し、エラーコンシールメントが必要であることを表しており、このときCPU11はステップSP28に移る。
On the other hand, if any of the divided digital video data D2A to D2D has not yet been returned in step SP26, this causes a processing delay in any of the calculation node personal computers 3A to 3D, and error concealment is required. In this case, the
ここで、先に述べた圧縮符号化時のエラーコンシールメントにおいては、符号化の処理遅延が発生したタイルの画像変動評価値Diffに基づいてエラーコンシールメント方法を選択するようにしたが、この伸張復号化時のエラーコンシールメントでは、復号化の処理遅延が発生したタイル自体が復号されていないため、当該処理遅延が発生したタイルの画像変動評価値Diffを得ることができない。 Here, in the error concealment at the time of compression encoding described above, the error concealment method is selected based on the image fluctuation evaluation value Diff of the tile in which the encoding processing delay has occurred. In the error concealment at the time of decoding, since the tile itself in which the decoding processing delay has occurred is not decoded, the image fluctuation evaluation value Diff of the tile in which the processing delay has occurred cannot be obtained.
そこでこの場合、処理遅延が発生しなかった他のタイル(基準処理時間内に復号が完了したタイル)の画像変動評価値Diffの平均値に基づいてエラーコンシールメント方法を選択する。 Therefore, in this case, the error concealment method is selected based on the average value of the image fluctuation evaluation values Diff of other tiles in which no processing delay has occurred (tiles that have been decoded within the reference processing time).
すなわちステップSP28において、処理結果置換手段としてのCPU11は、復号が完了した現フレームの各タイルと、これに対応する1枚前のフレーム(比較対象フレーム)のタイルとの間の画像変動評価値Diffの平均値(これを平均変動評価値Daveと呼ぶ)を算出し、次のステップSP29に移る。
That is, in step SP28, the
ステップSP29においてCPU11は、算出した平均変動評価値Daveと、変動評価閾値Dlimとを比較する。
In step SP29, the
ステップSP29において、平均変動評価値Daveが変動評価閾値Dlim未満の場合、このことは処理遅延が発生しなかったタイルとこれに対応する比較対象フレームのタイルとの間の絵柄の相違が少ないこと、すなわちフレーム全体での絵柄の相違が少ないことを表している。 In step SP29, when the average fluctuation evaluation value Dave is less than the fluctuation evaluation threshold value Dlim, this means that there is little difference in the pattern between the tile in which the processing delay has not occurred and the tile of the comparison target frame corresponding thereto, That is, it shows that there is little difference in the pattern in the whole frame.
このため、処理遅延が発生したタイルのみを比較対象フレームのタイルと置換しても復号後の映像における違和感が少ないことが想定され、このとき、処理結果置換手段としてのCPU11はステップSP30に移り、処理遅延が発生したタイルの分割ディジタル映像データD2nを、比較対象フレームのタイルの分割ディジタル映像データD2nで置換した後、分割ディジタル映像データD2A〜D2Dを合成してディジタル映像信号D1を生成し、ステップSP22に戻る。
For this reason, it is assumed that there is little discomfort in the decoded video even if only the tile in which the processing delay has occurred is replaced with the tile of the comparison target frame. At this time, the
これに対してステップSP29において、平均変動評価値Daveが変動評価閾値Dlim以上の場合、このことは処理遅延が発生しなかったタイルとこれに対応する比較対象フレームのタイルとの間の絵柄の相違が大きいこと、すなわちフレーム全体での絵柄の相違が大きいことを表している。 On the other hand, when the average fluctuation evaluation value Dave is equal to or larger than the fluctuation evaluation threshold value Dlim in step SP29, this means that the pattern difference between the tile in which the processing delay has not occurred and the tile of the comparison target frame corresponding to this tile. Is large, that is, the difference in the pattern in the entire frame is large.
このため、処理遅延が発生したタイルのみを比較対象フレームのタイルと置換すると、復号後の映像における違和感が大きくなることが想定され、このとき、処理結果置換手段としてのCPU11はステップSP30に移り、処理遅延が発生したタイルを含む全てのタイルの分割ディジタル映像データD2A〜D2Dを比較対象フレームの分割ディジタル映像データD2A〜D2Dで置換した後合成してディジタル映像信号D1を生成し、ステップSP22に戻る。
For this reason, it is assumed that when only the tile in which the processing delay has occurred is replaced with the tile of the comparison target frame, the sense of incongruity in the decoded video is increased. At this time, the
図9及び図10に、復号化時におけるエラーコンシールメントの例を示す。ここで変動評価閾値Dlim=10とする。 9 and 10 show examples of error concealment at the time of decoding. Here, it is assumed that the fluctuation evaluation threshold value Dlim = 10.
例えば図9(B)に示すように、フレーム3のタイル1が処理遅延した場合、処理が間に合ったタイル2、タイル3及びタイル4の平均変動評価値Daveは(0+30+0)/3=10となり、当該平均変動評価値Daveが変動評価閾値Dlim以上であることから、CPU11は全てのタイルを比較対象フレームであるフレーム2のタイルと置換する。
For example, as shown in FIG. 9B, when the
また図9(C)に示すように、フレーム3のタイル2が処理遅延した場合、処理が間に合ったタイル1、タイル3及びタイル4の平均変動評価値Daveは(4+30+0)/3=11.3となり、当該平均変動評価値Daveが変動評価閾値Dlim以上であることから、CPU11は全てのタイルをフレーム2のタイルと置換する。
As shown in FIG. 9C, when the
これに対して図9(D)に示すように、フレーム3のタイル3が処理遅延した場合、処理が間に合ったタイル1、タイル2及びタイル4の平均変動評価値Daveは(4+0+0)/3=1.3となり、当該平均変動評価値Daveが変動評価閾値Dlim未満であることから、処理遅延が発生したタイル3のみを比較対象フレームであるフレーム2のタイル3と置換する。
On the other hand, as shown in FIG. 9D, when the
また図10に示すように、フレーム5(図5(E))のいずれかのタイルが処理遅延した場合、どのタイルが処理遅延しても平均変動評価値Daveは変動評価閾値Dlim以上になることから、CPU11は全てのタイルを比較対象フレームであるフレーム2のタイルと置換する。
As shown in FIG. 10, when any tile in frame 5 (FIG. 5E) is delayed in processing, the average fluctuation evaluation value Dave is equal to or greater than the fluctuation evaluation threshold Dlim regardless of which tile is delayed in processing. Therefore, the
次に、上述した動画像圧縮符号化及び伸張復号化処理を行うための、計算ノードパソコン3(3A〜3D)における計算処理手順を、図11に示すフローチャートを用いて詳細に説明する。 Next, a calculation processing procedure in the calculation node personal computer 3 (3A to 3D) for performing the above-described moving image compression encoding and decompression decoding processing will be described in detail with reference to the flowchart shown in FIG.
計算ノードパソコン3のCPU21は、ルーチンRT3の開始ステップから入って次のステップSP41に移る。ステップSP41においてCPU21は、ホストノードパソコン2から送信される符号化ターゲットレートやデコードレベル等の各種処理パラメータを待ち受け、当該処理パラメータを受け取ると、次のステップSP42に移る。
The
ステップSP42においてCPU21は、ホストノードパソコン2から送信される分割ディジタル映像データD2n又は分割符号化データD3nを待ち受け、当該データを受け取ると、次のステップSP43に移る。
In step SP42, the
ステップSP43においてCPU21は、ホストノードパソコン2から受け取った分割ディジタル映像データD2nの符号化処理又は分割符号化データD3nの復号化処理を行い、当該処理が完了すると、次のステップSP44に移る。
In step SP43, the
ステップSP44においてCPU21は、処理結果の分割符号化データD3n又は分割ディジタル映像データD2nをホストノードパソコン2に返送し、ステップSP42に戻る。
In step SP44, the
(1−3)動作及び効果
以上の構成において、動画像クラスタ処理システム1のホストノードパソコン2は、圧縮符号化処理時、ディジタル映像信号D1の1フレーム分の画像データを4枚のタイルに対応して分割した分割ディジタル映像データD2A〜D2Dを、それぞれ対応する計算ノードパソコン3A〜3Dに供給して圧縮符号化処理させるとともに、現フレームの各タイルについて、比較対象フレームのタイルとの間の絵柄の変化度合いを表す画像変動評価値Diffを算出してメモリ12に記憶する。
(1-3) Operation and Effect In the above configuration, the host node
そしてホストノードパソコン2は、各計算ノードパソコン3A〜3Dで圧縮符号化されて返送された分割符号化データD3A〜D3Dを合成して符号化映像信号D4を生成することにより動画像の圧縮符号化をクラスタ処理する。
Then, the host node
このときホストノードパソコン2は、計算ノードパソコン3A〜3Dのいずれかで圧縮符号化処理に遅延が発生した場合、処理遅延が発生したタイルの画像変動評価値Diffと変動評価閾値Dlimとを比較する。
At this time, when a delay occurs in the compression encoding process in any of the calculation node personal computers 3A to 3D, the host node
そしてホストノードパソコン2は、画像変動評価値Diffが変動評価閾値Dlim未満の場合、処理遅延が発生したタイルと比較対象フレームのタイルとの間の絵柄の変化が小さく、当該処理遅延が発生したタイルを比較対象フレームのタイルで置換しても復号後映像における違和感が少ないものとして、当該処理遅延が発生したタイルを比較対象フレームのタイルと置換して符号化映像信号D4を生成する。
When the image fluctuation evaluation value Diff is less than the fluctuation evaluation threshold Dlim, the host node
これに対してホストノードパソコン2は、画像変動評価値Diffが変動評価閾値Dlim以上の場合、処理遅延が発生したタイルと比較対象フレームのタイルとの間の絵柄の変化が大きく、処理遅延が発生したタイルのみを置換すると復号後の映像における違和感が大きくなるとして、処理遅延が発生したタイルを含むフレーム全体を比較対象フレームと置換して符号化映像信号D4を生成する。
On the other hand, when the image fluctuation evaluation value Diff is equal to or larger than the fluctuation evaluation threshold Dlim, the host node
またホストノードパソコン2は、伸張復号化処理時、符号化映像信号D4の1フレーム分の画像データを4枚のタイルに対応して分割した分割符号化データD3A〜D3Dを、それぞれ対応する計算ノードパソコン3A〜3Dに供給して伸張復号化処理させる。
In addition, the host node
そしてホストノードパソコン2は、各計算ノードパソコン3A〜3Dで伸張復号化処理されて返送された分割ディジタル映像データD2A〜D2Dを合成してディジタル映像信号D1を生成することにより、動画像の伸張復号化をクラスタ処理する。
The host node
このときホストノードパソコン2は、計算ノードパソコン3A〜3Dのいずれかでタイルの伸張復号化処理に遅延が生じた場合、処理遅延を生じなかった他のタイルの画像変動評価値Diffを平均した平均変動評価値Daveを算出し、当該平均変動評価値Daveと変動評価閾値Dlimとを比較する。
At this time, when a delay occurs in the tile decompression decoding process in any of the calculation node personal computers 3A to 3D, the host node
そしてホストノードパソコン2は、平均変動評価値Daveが変動評価閾値Dlim未満の場合、処理遅延が発生したタイルを含むフレームと、比較対象フレームとの間の絵柄の変化が小さく、当該処理遅延が発生したタイルを比較対象フレームのタイルで置換しても復号後映像における違和感が少ないものとして、当該処理遅延が発生したタイルを比較対象フレームのタイルと置換してディジタル映像信号D1を生成する。
When the average fluctuation evaluation value Dave is less than the fluctuation evaluation threshold value Dlim, the host node
これに対してホストノードパソコン2は、平均変動評価値Daveが変動評価閾値Dlim以上の場合、処理遅延が発生したタイルを含むフレームと、比較対象フレームとの間の絵柄の変化が大きく、当該処理遅延が発生したタイルを比較対象フレームのタイルで置換すると復号後映像における違和感が大きくなるとして、処理遅延が発生したタイルを含むフレーム全体を比較対象フレームと置換してディジタル映像信号D1を生成する。
On the other hand, when the average fluctuation evaluation value Dave is equal to or larger than the fluctuation evaluation threshold value Dlim, the host node
以上の構成によれば、動画像クラスタ処理において処理遅延が発生した場合、当該処理遅延が発生したタイルの画像変動評価値Diff、又は当該処理遅延が発生したタイル以外のタイルの画像変動評価値Diffの平均値に基づいて、当該処理遅延が発生したタイルのみを比較対象フレームのタイルで置換するか、あるいはフレーム全体を置換するかを判断するようにしたことにより、絵柄の変化に応じた滑らかなエラーコンシールメントを行うことができる。 According to the above configuration, when a processing delay occurs in the moving image cluster processing, the image variation evaluation value Diff of the tile in which the processing delay has occurred, or the image variation evaluation value Diff of a tile other than the tile in which the processing delay has occurred. Based on the average value, it is determined whether to replace only the tile in which the processing delay has occurred with the tile of the comparison target frame or to replace the entire frame. Error concealment can be performed.
(1−4)他の実施の形態
なお上述の実施の形態においては、動画像クラスタ処理システム1がJPEG2000方式による動画像圧縮伸張処理を実行する場合について述べたが、本発明はこれに限らず、例えばMPEG(Moving Picture Experts
Group)2方式等、様々な符号化方式を本発明に適用することができる。
(1-4) Other Embodiments In the above-described embodiment, the case where the moving image
Various encoding schemes such as (Group) 2 scheme can be applied to the present invention.
ここでMPEG2方式は、フレーム毎に符号化が完結するJPEG2000方式とは異なり、前後のフレームを参照して符号化効率を向上させる、ブロックマッチング法を用いた動き補償フレーム間符号化が行われている。 The MPEG2 system differs from the JPEG2000 system in which encoding is completed for each frame, and motion-compensated interframe encoding is performed using a block matching method that improves encoding efficiency with reference to the previous and subsequent frames. Yes.
すなわちMPEG2方式では、フレーム内符号化を行うIピクチャ、Iピクチャを参照して順方向予測符号化を行うPピクチャ、前後のIピクチャ及びPピクチャを参照して双方向予測符号化を行うBピクチャの3つのピクチャタイプが適宜選択される。またMPEG2方式では、図12に示すように、符号化前のディジタル映像信号のシークエンス(図12(A))と、符号化後の符号化映像信号のシークエンス(図12(B))とでフレームの順序に相違が生じる。 That is, in the MPEG2 system, an I picture that performs intraframe coding, a P picture that performs forward predictive coding with reference to the I picture, and a B picture that performs bidirectional predictive coding with reference to the preceding and following I pictures and P pictures These three picture types are appropriately selected. In the MPEG2 system, as shown in FIG. 12, a frame is composed of a sequence of digital video signals before encoding (FIG. 12A) and a sequence of encoded video signals after encoding (FIG. 12B). Differences occur in the order.
このためMPEG2方式に本発明を適用する場合、符号化対象のフレームのピクチャタイプに応じて比較対象フレームを変える必要がある。例えば、符号化対象のフレームがBピクチャ又はPピクチャの場合、その前方向のIピクチャ又はPピクチャを比較対象フレームとする。また、符号化対象のフレームがIピクチャの場合、一番近い前方向のIピクチャ又はPピクチャを比較対象フレームとする。 For this reason, when the present invention is applied to the MPEG2 system, it is necessary to change the comparison target frame in accordance with the picture type of the encoding target frame. For example, when the encoding target frame is a B picture or a P picture, the forward I picture or P picture is set as a comparison target frame. When the encoding target frame is an I picture, the closest forward I picture or P picture is set as a comparison target frame.
さらにMPEG2方式では、図13に示すように、ピクチャタイプや動き探索レベル(ブロックマッチング法の動き検索対象範囲)に応じて、符号化処理時間や復号化処理時間が変化する。このためMPEG2方式に本発明を適用する場合、符号化対象フレームのピクチャタイプや動き探索レベルに応じて、処理遅延を判断するための基準処理時間を変更する必要がある。 Furthermore, in the MPEG2 system, as shown in FIG. 13, the encoding processing time and the decoding processing time vary depending on the picture type and the motion search level (the motion search target range of the block matching method). For this reason, when the present invention is applied to the MPEG2 system, it is necessary to change the reference processing time for determining the processing delay according to the picture type and motion search level of the encoding target frame.
また上述の実施の形態においては、ホストノードパソコン2のCPU11がハードディスクドライブ14に格納されている動画像クラスタ処理プログラムを実行するようにしたが、本発明はこれに限らず、動画像クラスタ処理プログラムが格納されているプログラム格納媒体をホストノードパソコン2にインストールすることにより、上述した動画像クラスタ処理を実行するようにしてもよい。
In the above embodiment, the
この場合、動画像クラスタ処理プログラムをホストノードパソコン2にインストールするためのプログラム格納媒体としては、例えばCD−ROM(Compact Disk-Read Only Memory )やDVD(Digital Versatile
Disk)等のパッケージメディアのみならず、プログラムが一時的又は永続的に格納される半導体メモリや磁気ディスク等で実現してもよい。また、これらプログラム格納媒体にプログラムを格納する手段としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を用いても良い。
In this case, as a program storage medium for installing the moving image cluster processing program in the host node
In addition to a package medium such as a disk), it may be realized by a semiconductor memory or a magnetic disk in which a program is temporarily or permanently stored. Further, as means for storing the programs in these program storage media, wired and wireless communication media such as a local area network, the Internet, and digital satellite broadcasting may be used.
(2)第2の実施の形態
図1との対応部分に同一符号を付して示す図14において、30は全体として本発明の第2の実施の形態のバーチャルリアリティクラスタ処理システム(以下、VRクラスタ処理システムと呼ぶ)を示し、ホストノードパソコン2と、3台の計算ノードパソコン3A〜3Cとがネットワーク4を介して接続されている。
(2) Second Embodiment In FIG. 14, in which parts corresponding to those in FIG. 1 are assigned the same reference numerals, 30 is a virtual reality cluster processing system (hereinafter referred to as VR hereinafter) according to a second embodiment of the present invention as a whole. A host node
このVRクラスタ処理システム30においては、バーチャルリアリティ(仮想現実)の体験者(以下、VR体験者と呼ぶ)の前及び左右を取り囲むようにして配置された、コンピュータグラフィックス処理によって生成した仮想現実画像(以下、VR画像と呼ぶ)を表示するための3台のディスプレイ32A〜32C(正面ディスプレイ32A、右側面ディスプレイ32B及び左側面ディスプレイ32C)と、当該VR体験者の視線方向及び動作を検出するためのモーションセンサ33とからなるVR装置34とが、ホストノードパソコン2のビデオインターフェース31に接続されている。なお、モーションセンサ33は人間の頭部に装着されている場合もあるし、ビデオカメラ等により視線方向、動作を検出する場合も考えられる。
In this VR
VRクラスタ処理システム30のホストノードパソコン2は、オペレーティングシステムの実行環境下においてVRクラスタ処理プログラムを実行し、モーションセンサ33を介してVR体験者の視線方向及び動作を検出し、当該検出結果に応じたVR画像データD5A〜D5Cを、計算ノードパソコン3A〜3Cに分散生成させる。
The host node
すなわち計算ノードパソコン3Aは、正面ディスプレイ32Aに表示されるVR画像のデータでなるVR画像データD5Aを生成する。同様に計算ノードパソコン3Bは、右側面ディスプレイ32Bに表示されるVR画像のデータでなるVR画像データD5Bを生成し、計算ノードパソコン3Cは、左側面ディスプレイ32Cに表示されるVR画像のデータでなるVR画像データD5Cを生成する。
That is, the computation node personal computer 3A generates VR image data D5A composed of VR image data displayed on the
そしてホストノードパソコン2のCPU11は、各計算ノードパソコン3A〜3Cが生成したVR画像データD5A〜D5Cをそれぞれ対応するディスプレイ32A〜32Cに供給してVR画像を表示することにより、VR体験者に対し、VR体験者自身の動きに対応して表示が変化する変化仮想現実空間を体験させるようになされている。
Then, the
正面ディスプレイ32A、右側面ディスプレイ32B及び左側面ディスプレイ32CにおけるVR画像の表示変化の例を図16に示す。この場合、VR体験者は視線方向を正面ディスプレイ32Aに向けたまま、当該正面ディスプレイ32Aに向かって移動している。
FIG. 16 shows an example of display changes of VR images on the
かかる構成に加えてホストノードパソコン2は、各計算ノードパソコン3A〜3DそれぞれにおけるVR画像データD5A〜D5Cの生成に要する処理時間を常に監視しており、VR画像データD5A〜D5Cいずれかの生成が遅延した場合(処理遅延の発生)、その前のフレームのVR画像データを用いてエラーコンシールメントすることにより、計算ノードの処理遅延によるVR画像の欠損を防止するようになされている。
In addition to such a configuration, the host node
次に、上述したエラーコンシールメントを伴うVR画像データ生成のための、ホストノードパソコン2におけるクラスタVR処理手順を、図15に示すフローチャートを用いて詳細に説明する。
Next, the cluster VR processing procedure in the host node
ホストノードパソコン2のCPU11は、ルーチンRT4の開始ステップから入って次のステップSP51に移る。ステップSP51において、動画像処理指示手段としてのCPU11は、各計算ノードパソコン3A〜3Cに対して初期状態のVR画像データD5A〜D5Cの生成を指示し、次のステップSP52に移る。
The
ステップSP52において、処理結果取得手段としてのCPU11は、各計算ノードパソコン3A〜3Cから返送されたVR画像データD5A〜D5Cを対応するディスプレイ32A〜32Cに供給してVR画像を表示し、次のステップSP53に移る。
In step SP52, the
ステップSP53においてCPU11は、モーションセンサ33から供給されるVR体験者の画像D6の変化に基づいて当該VR体験者の視線方向及び動作を抽出し、次のステップSP54に移る。
In step SP53, the
ステップSP54においてCPU11は、抽出したVR体験者の視線方向及び動作に変化が生じたか否かを判断する。ステップSP53において、VR体験者の視線方向及び動作に変化が生じていないと判断した場合、CPU11はステップSP53に戻って再度VR体験者の視線方向及び動作を抽出する。
In step SP54, the
これに対し、ステップSP53においてVR体験者の視線及び動作に変化が生じたと判断した場合、CPU11は次のステップSP55に移る。
On the other hand, if it is determined in step SP53 that changes have occurred in the line of sight and operation of the VR experiencer, the
ステップSP55において、動画像処理指示手段としてのCPU11は、各計算ノードパソコン3A〜3Cに対して、抽出したVR体験者の視線方向及び動作の変化に応じた新たなVR画像の生成を指示し、次のステップSP56に移る。
In step SP55, the
ステップSP56において、処理結果取得手段としてのCPU11は、各計算ノードパソコン3A〜3Cから返送されるVR画像データD5A〜D5Cの待ち受けを開始する。そしてCPU11は、当該待ち受けの開始から基準処理時間が経過すると、次のステップSP57に移る。
In step SP56, the
ステップSP57においてCPU11は、各計算ノードパソコン3A〜3Cから返送されるVR画像データD5A〜D5Cの返送状況に基づいて、VR画像データの生成に遅延が生じたか否かを判断する。
In step SP57, the
ステップSP57において、全てのVR画像データが返送されている場合、このことは全計算ノードパソコン3A〜3Cで処理遅延が発生せず、エラーコンシールメントが不要であることを表しており、このときCPU11はステップSP58に移り、返送された各VR画像データD5A〜D5Cを対応するディスプレイ32A〜32Cに供給してVR画像を表示し、ステップSP53に戻る。
If all the VR image data are returned in step SP57, this indicates that no processing delay occurs in all the computation node personal computers 3A to 3C, and no error concealment is required. At this time, the
これに対してステップSP57において、VR画像データD5A〜D5Cのいずれかが未だ返送されていない場合、このことはいずれかの計算ノードパソコン3A〜3Cで処理遅延が発生し、エラーコンシールメントが必要であることを表しており、このときCPU11はステップSP59に移る。
On the other hand, if any of the VR image data D5A to D5C has not yet been returned in step SP57, this causes a processing delay in any of the calculation node personal computers 3A to 3C, and error concealment is required. At this time, the
ステップSP59において、処理結果置換手段としてのCPU11は、処理遅延が発生したVR画像データD5が、VR体験者の視線方向の画像であるか否かを判断する。ステップSP59において、処理遅延が発生したVR画像データD5が視線方向の画像ではないと判断した場合、CPU11はステップSP60に移る。
In step SP59, the
この場合、処理遅延が発生したVR画像データD5は視線方向の画像ではないため、エラーコンシールメントによって画像に不連続が生じても、VR体験者はこれを感知しにくい。このためCPU11はステップSP60において、処理遅延が発生したVR画像データD5のみを1フレーム前のVR画像データD5で一律に置換して表示し、ステップSP53に戻る。
In this case, the VR image data D5 in which the processing delay has occurred is not an image in the line-of-sight direction, so even if a discontinuity occurs in the image due to error concealment, it is difficult for the VR experience person to detect this. Therefore, in step SP60, the
この場合のエラーコンシールメントの様子を図17に示す。T=3のタイミングにおいて左側面画像に処理遅延が生じたものとする。この場合、処理遅延が発生したVR画像は視線方向の画像ではないため、T=2の画像で置換が行われる。 The state of error concealment in this case is shown in FIG. It is assumed that a processing delay occurs in the left side image at the timing of T = 3. In this case, since the VR image in which the processing delay has occurred is not an image in the line-of-sight direction, the replacement is performed with an image of T = 2.
これに対してステップSP59において、処理遅延が発生したVR画像データD5が視線方向の画像であると判断した場合、CPU11はステップSP61に移る。
On the other hand, if it is determined in step SP59 that the VR image data D5 in which the processing delay has occurred is an image in the line-of-sight direction, the
この場合、処理遅延が発生したVR画像データD5は視線方向の画像であるため、エラーコンシールメントによって画像に不連続が生じると、VR体験者はこれを感知しやすい。このため、処理結果置換手段としてのCPU11はステップSP61において、遅延を生じなかった他の2つのVR画像データD5についての平均変動評価値Daveを算出し、次のステップSP62に移って平均変動評価値Daveと変動評価閾値Dlimとを比較する。
In this case, the VR image data D5 in which processing delay has occurred is an image in the line-of-sight direction. Therefore, if a discontinuity occurs in the image due to error concealment, the VR experience person can easily detect this. For this reason, the
ステップSP62において、平均変動評価値Daveが変動評価閾値Dlim未満の場合、このことは処理遅延が発生しなかったVR画像の変化が少ないことを表している。このため、処理遅延が発生したVR画像のみを前フレームのVR画像と置換しても違和感が少ないことが想定され、このとき処理結果置換手段としてのCPU11はステップSP63に移り、処理遅延が発生したVR画像データD5のみを前フレームのVR画像データD5で置換して表示し、ステップSP53に戻る。
In step SP62, when the average fluctuation evaluation value Dave is less than the fluctuation evaluation threshold value Dlim, this indicates that there is little change in the VR image in which no processing delay has occurred. For this reason, it is assumed that there is little discomfort even if only the VR image in which the processing delay has occurred is replaced with the VR image of the previous frame. At this time, the
この場合のエラーコンシールメントの様子を図18に示す。T=2のタイミングにおいて正面画像に処理遅延が生じたものとする。この場合、処理遅延が発生したVR画像は視線方向の正面画像であるため、処理遅延が発生しなかった右側面画像及び左側面画像の平均変動評価値Daveを算出し、当該平均変動評価値Daveが変動評価閾値Dlim未満であるため、T=1の画像で置換が行われる。 The state of error concealment in this case is shown in FIG. Assume that processing delay occurs in the front image at the timing of T = 2. In this case, since the VR image in which the processing delay has occurred is a front image in the line-of-sight direction, the average fluctuation evaluation value Dave of the right side image and the left side image in which no processing delay has occurred is calculated, and the average fluctuation evaluation value Dave is calculated. Is less than the fluctuation evaluation threshold value Dlim, replacement is performed with an image of T = 1.
これに対してステップSP62において、平均変動評価値Daveが変動評価閾値Dlim以上の場合、このことは処理遅延が発生しなかったVR画像の変化が大きいことを表している。このため、処理遅延が発生したVR画像のみを前フレームのVR画像と置換すると違和感が大きくなることが想定され、このとき処理結果置換手段としてのCPU11はステップSP64に移り、全てのVR画像データD5を前フレームのVR画像データD5で置換して表示し、ステップSP53に戻る。
On the other hand, when the average fluctuation evaluation value Dave is greater than or equal to the fluctuation evaluation threshold value Dlim in step SP62, this indicates that the change in the VR image in which no processing delay has occurred is large. For this reason, it is assumed that the discomfort increases when only the VR image in which the processing delay has occurred is replaced with the VR image of the previous frame. At this time, the
この場合のエラーコンシールメントの様子を図19に示す。T=4のタイミングにおいて正面画像に処理遅延が生じたものとする。この場合、処理遅延が発生したVR画像は視線方向の正面画像であるため、処理遅延が発生しなかった右側面画像及び左側面画像の平均変動評価値Daveを算出し、当該平均変動評価値Daveが変動評価閾値Dlim以上であるため、全ての画像について、T=1の画像で置換が行われる。 The state of error concealment in this case is shown in FIG. Assume that processing delay occurs in the front image at the timing of T = 4. In this case, since the VR image in which the processing delay has occurred is a front image in the line-of-sight direction, the average fluctuation evaluation value Dave of the right side image and the left side image in which no processing delay has occurred is calculated, and the average fluctuation evaluation value Dave is calculated. Is equal to or greater than the fluctuation evaluation threshold value Dlim, all the images are replaced with images of T = 1.
以上の構成において、VRクラスタ処理システム30のホストノードパソコン2は、計算ノードパソコン3A〜3Cに対し、モーションセンサ33を介して検出したVR体験者の視線方向及び動作に応じたVR画像データD5A〜D5Cをクラスタ処理で生成させ、当該VR画像データD5A〜D5Cをそれぞれ対応するディスプレイ32A〜32Cに供給してVR画像を表示する。
In the above configuration, the host node
このときホストノードパソコン2は、VR体験者の視線方向以外のVR画像データが生成遅延した場合、当該処理遅延が発生したVR画像データのみを1フレーム前のVR画像データで置換して表示する。
At this time, when VR image data other than the direction of the visual line of the VR experience person is delayed in generation, the host node
これに対してVR体験者の視線方向のVR画像データが生成遅延した場合、ホストノードパソコン2は、処理遅延を生じなかった他のVR画像データの平均変動評価値Daveと変動評価閾値Dlimとを比較し、平均変動評価値Daveが変動評価閾値Dlim未満の場合、処理遅延が発生したVR画像データのみを前フレームのVR画像データで置換して表示するのに対し、平均変動評価値Daveが変動評価閾値Dlim以上の場合、全てのVR画像データを前フレームのVR画像データで置換して表示する。
On the other hand, when the VR image data in the line-of-sight direction of the VR experience person is delayed in generation, the host node
以上の構成によれば、VRクラスタ処理において処理遅延が発生した場合、処理遅延を生じなかった他のVR画像データの平均変動評価値Daveに基づいて、当該処理遅延が発生したVR画像データのみを置換するか、あるいは全てのVR画像データを置換するかを判断するようにしたことにより、VR画像の変化に応じた滑らかなエラーコンシールメントを行うことができる。 According to the above configuration, when a processing delay occurs in the VR cluster processing, only the VR image data in which the processing delay has occurred is obtained based on the average fluctuation evaluation value Dave of the other VR image data that did not cause the processing delay. By determining whether to replace or to replace all the VR image data, smooth error concealment according to the change of the VR image can be performed.
なお上述の実施の形態においては、本発明をコンピュータグラフィックス処理によってVR画像を生成するVRクラスタ処理システム30に適用した場合について述べたが、本発明はこれに限らず、例えばコンピュータゲームにおけるゲーム画面の生成等、種々のコンピュータグラフィックス処理に本発明を適用するコトができる。
In the above-described embodiment, the case where the present invention is applied to the VR
さらに上述の実施の形態においては、ホストノードパソコン2のCPU11がハードディスクドライブ14に格納されているVRクラスタ処理プログラムを実行するようにしたが、本発明はこれに限らず、VRクラスタ処理プログラムが格納されているプログラム格納媒体をホストノードパソコン2にインストールすることにより、上述した動画像クラスタ処理を実行するようにしてもよい。
Furthermore, in the above-described embodiment, the
この場合、VRクラスタ処理プログラムをホストノードパソコン2にインストールするためのプログラム格納媒体としては、例えばCD−ROM(Compact Disk-Read Only Memory )やDVD(Digital Versatile Disk)等のパッケージメディアのみならず、プログラムが一時的又は永続的に格納される半導体メモリや磁気ディスク等で実現してもよい。また、これらプログラム格納媒体にプログラムを格納する手段としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を用いても良い。
In this case, the program storage medium for installing the VR cluster processing program in the host node
複数台のパーソナルコンピュータ、ワークステーション、パソコン等を用いて動画像処理を行う場合に適用できる。 The present invention can be applied when moving image processing is performed using a plurality of personal computers, workstations, personal computers, and the like.
1……動画像クラスタ処理システム、2……ホストノードパソコン、3A〜3D……計算ノードパソコン、4……ネットワーク、11、21……CPU11、12、22……メモリ、13、23……表示部示部、14、24……ハードディスクドライブ、15、25……ネットワークインターフェース、16……ビデオキャプチャ回路、17、27……バス、30……VRクラスタ処理システム、31……ビデオインターフェース、32A〜32C……ディスプレイ、33……モーションセンサ。
DESCRIPTION OF
Claims (7)
上記管理装置は、
上記複数の情報処理装置それぞれに対し、ピクチャ単位で上記動画像処理を実行させる動画像処理指示手段と、
上記複数の情報処理装置それぞれから返送される、上記ピクチャ毎の上記動画像処理の処理結果を取得する処理結果取得手段と、
上記情報処理装置からの上記処理結果の返送が遅延したとき、遅延した上記処理結果を含む遅延ピクチャと他の参照ピクチャとの間の絵柄の変化度合いを表す変動評価値を所定の閾値と比較し、上記変動評価値が上記閾値未満の場合、上記遅延した処理結果のみを、上記参照ピクチャの対応する上記処理結果で置換し、当該変動評価値が当該閾値以上の場合、上記遅延ピクチャ全体の上記処理結果を、上記参照ピクチャの上記処理結果で置換する処理結果置換手段と
を具えることを特徴とする動画像クラスタ処理システム。 In a moving image cluster processing system comprising a plurality of information processing devices and a management device that distributes moving image processing to each of the plurality of information processing devices,
The management device
Moving image processing instruction means for executing the moving image processing in units of pictures for each of the plurality of information processing devices;
Processing result acquisition means for acquiring the processing result of the moving image processing for each picture returned from each of the plurality of information processing devices;
When the return of the processing result from the information processing apparatus is delayed, the fluctuation evaluation value indicating the degree of change in the pattern between the delayed picture including the delayed processing result and another reference picture is compared with a predetermined threshold. When the variation evaluation value is less than the threshold value, only the delayed processing result is replaced with the corresponding processing result of the reference picture. When the variation evaluation value is equal to or greater than the threshold value, the entire delay picture A moving image cluster processing system comprising: processing result replacement means for replacing a processing result with the processing result of the reference picture.
上記複数の情報処理装置それぞれに対し、ピクチャ単位で上記動画像処理を実行させる動画像処理指示手段と、
上記複数の情報処理装置それぞれから返送される、上記ピクチャ毎の上記動画像処理の処理結果を取得する処理結果取得手段と、
上記情報処理装置からの上記処理結果の返送が遅延したとき、遅延した上記処理結果を含む遅延ピクチャと他の参照ピクチャとの間の絵柄の変化度合いを表す変動評価値を所定の閾値と比較し、上記変動評価値が上記閾値未満の場合、上記遅延した処理結果のみを、上記参照ピクチャの対応する上記処理結果で置換し、当該変動評価値が当該閾値以上の場合、上記遅延ピクチャ全体の上記処理結果を、上記参照ピクチャの上記処理結果で置換する処理結果置換手段と
を具えることを特徴とする管理装置。 In a management device that distributes moving image processing to a plurality of information processing devices,
Moving image processing instruction means for executing the moving image processing in units of pictures for each of the plurality of information processing devices;
Processing result acquisition means for acquiring the processing result of the moving image processing for each picture returned from each of the plurality of information processing devices;
When the return of the processing result from the information processing apparatus is delayed, the fluctuation evaluation value indicating the degree of change in the pattern between the delayed picture including the delayed processing result and another reference picture is compared with a predetermined threshold. When the variation evaluation value is less than the threshold value, only the delayed processing result is replaced with the corresponding processing result of the reference picture. When the variation evaluation value is equal to or greater than the threshold value, the entire delay picture A management apparatus comprising: processing result replacement means for replacing a processing result with the processing result of the reference picture.
上記動画像処理指示手段は、上記動画像のピクチャを上記複数の情報処理装置に対応した画像ブロックに分割し、当該各画像ブロックをそれぞれ対応する上記情報処理装置に供給し、
上記情報処理装置は、上記画像ブロックを圧縮符号化した符号化データを上記処理結果として上記管理装置に返送し、
上記処理結果置換手段は、上記画像ブロックの絵柄の変化度合いから上記変動評価値を算出する
ことを特徴とする請求項2に記載の管理装置。 The moving image process is a moving image compression encoding process,
The moving image processing instruction means divides the moving picture into image blocks corresponding to the plurality of information processing devices, and supplies the image blocks to the corresponding information processing devices,
The information processing apparatus returns encoded data obtained by compression encoding the image block to the management apparatus as the processing result,
The management apparatus according to claim 2, wherein the processing result replacement unit calculates the variation evaluation value from a degree of change in the design of the image block.
上記動画像処理指示手段は、上記動画像を圧縮符号化した符号化データを上記複数の情報処理装置に対応した分割符号化データに分割し、当該各分割符号化データをそれぞれ対応する上記情報処理装置に供給し、
上記情報処理装置は、上記分割符号化データを伸張復号化した画像ブロックを上記処理結果として上記管理装置に返送し、
上記処理結果置換手段は、上記画像ブロックの絵柄の変化度合いから上記変動評価値を算出する
ことを特徴とする請求項2に記載の管理装置。 The moving image processing is moving image decompression decoding processing,
The moving image processing instruction means divides encoded data obtained by compressing and encoding the moving image into divided encoded data corresponding to the plurality of information processing devices, and each of the divided encoded data corresponds to the corresponding information processing. Supply to the device,
The information processing apparatus returns an image block obtained by decompressing and decoding the divided encoded data to the management apparatus as the processing result,
The management apparatus according to claim 2, wherein the processing result replacement unit calculates the variation evaluation value from a degree of change in the design of the image block.
上記動画像処理指示手段は、上記情報処理装置に対してコンピュータグラフィック画像の生成を実行させ、
上記情報処理装置は、生成したコンピュータグラフィック画像を上記処理結果として上記管理装置に返送し、
上記処理結果置換手段は、上記コンピュータグラフィック画像の絵柄の変化度合いから上記変動評価値を算出する
ことを特徴とする請求項2に記載の管理装置。 The moving image processing is computer graphic image generation processing,
The moving image processing instruction means causes the information processing apparatus to generate a computer graphic image,
The information processing apparatus returns the generated computer graphic image to the management apparatus as the processing result,
The management apparatus according to claim 2, wherein the processing result replacement unit calculates the variation evaluation value from a degree of change in a pattern of the computer graphic image.
上記複数の情報処理装置それぞれに対し、ピクチャ単位で上記動画像処理を実行させる動画像処理指示ステップと、
上記複数の情報処理装置それぞれから返送される、上記ピクチャ毎の上記動画像処理の処理結果を取得する処理結果取得ステップと、
上記情報処理装置からの上記処理結果の返送が遅延したとき、遅延した上記処理結果を含む遅延ピクチャと他の参照ピクチャとの間の絵柄の変化度合いを表す変動評価値を所定の閾値と比較し、上記変動評価値が上記閾値未満の場合、上記遅延した処理結果のみを、上記参照ピクチャの対応する上記処理結果で置換し、当該変動評価値が当該閾値以上の場合、上記遅延ピクチャ全体の上記処理結果を、上記参照ピクチャの上記処理結果で置換する処理結果置換ステップと
を具えることを特徴とする動画像クラスタ処理方法。 In a moving image cluster processing method in which moving image processing is distributed to each of a plurality of information processing apparatuses,
A moving image processing instruction step for causing each of the plurality of information processing apparatuses to execute the moving image processing in units of pictures;
A processing result acquisition step for acquiring a processing result of the moving image processing for each picture returned from each of the plurality of information processing devices;
When the return of the processing result from the information processing apparatus is delayed, the fluctuation evaluation value indicating the degree of change in the pattern between the delayed picture including the delayed processing result and another reference picture is compared with a predetermined threshold. When the variation evaluation value is less than the threshold value, only the delayed processing result is replaced with the corresponding processing result of the reference picture. When the variation evaluation value is equal to or greater than the threshold value, the entire delay picture A moving image cluster processing method comprising: a processing result replacement step of replacing a processing result with the processing result of the reference picture.
上記複数の情報処理装置それぞれに対し、ピクチャ単位で上記動画像処理を実行させる動画像処理指示ステップと、
上記複数の情報処理装置それぞれから返送される、上記ピクチャ毎の上記動画像処理の処理結果を取得する処理結果取得ステップと、
上記情報処理装置からの上記処理結果の返送が遅延したとき、遅延した上記処理結果を含む遅延ピクチャと他の参照ピクチャとの間の絵柄の変化度合いを表す変動評価値を所定の閾値と比較し、上記変動評価値が上記閾値未満の場合、上記遅延した処理結果のみを、上記参照ピクチャの対応する上記処理結果で置換し、当該変動評価値が当該閾値以上の場合、上記遅延ピクチャ全体の上記処理結果を、上記参照ピクチャの上記処理結果で置換する処理結果置換ステップと
を実行させる動画像クラスタ処理プログラム。 In a management device that distributes moving image processing to a plurality of information processing devices,
A moving image processing instruction step for causing each of the plurality of information processing apparatuses to execute the moving image processing in units of pictures;
A processing result acquisition step for acquiring a processing result of the moving image processing for each picture returned from each of the plurality of information processing devices;
When the return of the processing result from the information processing apparatus is delayed, the fluctuation evaluation value indicating the degree of change in the pattern between the delayed picture including the delayed processing result and another reference picture is compared with a predetermined threshold. When the variation evaluation value is less than the threshold value, only the delayed processing result is replaced with the corresponding processing result of the reference picture. When the variation evaluation value is equal to or greater than the threshold value, the entire delay picture A moving image cluster processing program for executing a processing result replacement step of replacing a processing result with the processing result of the reference picture.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003277089A JP4178462B2 (en) | 2003-07-18 | 2003-07-18 | Video cluster processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003277089A JP4178462B2 (en) | 2003-07-18 | 2003-07-18 | Video cluster processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005039739A true JP2005039739A (en) | 2005-02-10 |
JP4178462B2 JP4178462B2 (en) | 2008-11-12 |
Family
ID=34213192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003277089A Expired - Fee Related JP4178462B2 (en) | 2003-07-18 | 2003-07-18 | Video cluster processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4178462B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008139708A1 (en) * | 2007-04-27 | 2008-11-20 | Panasonic Corporation | Image decoding device, image decoding system, image decoding method, and integrated circuit |
JP2013211902A (en) * | 2007-12-05 | 2013-10-10 | Onlive Inc | Video compression system and method for reducing effects of packet loss over communication channel |
US10058778B2 (en) | 2007-12-05 | 2018-08-28 | Sony Interactive Entertainment America Llc | Video compression system and method for reducing the effects of packet loss over a communication channel |
-
2003
- 2003-07-18 JP JP2003277089A patent/JP4178462B2/en not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008139708A1 (en) * | 2007-04-27 | 2008-11-20 | Panasonic Corporation | Image decoding device, image decoding system, image decoding method, and integrated circuit |
JP5324431B2 (en) * | 2007-04-27 | 2013-10-23 | パナソニック株式会社 | Image decoding apparatus, image decoding system, image decoding method, and integrated circuit |
US8724708B2 (en) | 2007-04-27 | 2014-05-13 | Panasonic Corporation | Image decoding device, image decoding system, image decoding method, and integrated circuit |
JP2013211902A (en) * | 2007-12-05 | 2013-10-10 | Onlive Inc | Video compression system and method for reducing effects of packet loss over communication channel |
US10058778B2 (en) | 2007-12-05 | 2018-08-28 | Sony Interactive Entertainment America Llc | Video compression system and method for reducing the effects of packet loss over a communication channel |
Also Published As
Publication number | Publication date |
---|---|
JP4178462B2 (en) | 2008-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3606082B1 (en) | Panoramic video playback method and client terminal | |
EP2232858B1 (en) | Changing visual content communication | |
JP5921469B2 (en) | Information processing apparatus, cloud platform, information processing method and program thereof | |
JP4643727B2 (en) | Image processing apparatus and image processing method | |
JP2020025251A (en) | Method and system for encoding video with overlay | |
JP4384607B2 (en) | Image processing device | |
JP2007025073A (en) | Data transmission method, data transmission apparatus, data receiving apparatus, and program | |
EP0935396A2 (en) | Video coding method and apparatus | |
JP2008090080A (en) | Display controller, display system, and display control method | |
WO2000007364A1 (en) | Moving picture synthesizer | |
CN102413382B (en) | Method for promoting smoothness of real-time video | |
JP2006512838A (en) | Encoding dynamic graphic content views | |
JP2005080123A (en) | Device, control method, and control program for coding video image | |
JP4178462B2 (en) | Video cluster processing system | |
JP2002351438A (en) | Image monitor system | |
JP2005130251A (en) | Video image distribution system | |
JP4100359B2 (en) | Signal transmission system, data transmission device, and data reception device | |
CN101658039B (en) | Dynamic image decoding method, dynamic image decoding device, and electronic apparatus | |
JP2006340183A (en) | Image coding apparatus and image coding method | |
CN113542890A (en) | Video editing method and related device | |
JP2002164790A (en) | Device and method for decoding compressed stream and storage medium | |
JP2002112149A (en) | Data processing method and device, data transmission system, transmission medium | |
JP2005039738A (en) | Moving picture cluster processing system | |
JP5171655B2 (en) | Image transmitting apparatus, method, and storage medium | |
US7627232B2 (en) | Reproduction apparatus, data processing system, reproduction method, program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060711 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080731 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080813 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |