JP2011166261A - ビデオデータ処理装置、ビデオデータ処理方法、プログラム - Google Patents
ビデオデータ処理装置、ビデオデータ処理方法、プログラム Download PDFInfo
- Publication number
- JP2011166261A JP2011166261A JP2010023989A JP2010023989A JP2011166261A JP 2011166261 A JP2011166261 A JP 2011166261A JP 2010023989 A JP2010023989 A JP 2010023989A JP 2010023989 A JP2010023989 A JP 2010023989A JP 2011166261 A JP2011166261 A JP 2011166261A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- encoding
- video
- decoded
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 85
- 238000000034 method Methods 0.000 title description 41
- 239000002131 composite material Substances 0.000 claims abstract description 36
- 230000015572 biosynthetic process Effects 0.000 claims description 21
- 238000003786 synthesis reaction Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 abstract description 63
- 230000006835 compression Effects 0.000 abstract description 60
- 238000004519 manufacturing process Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 9
- 238000013144 data compression Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004260 weight control Methods 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
【課題】オーサリングにおけるビデオデータの圧縮エンコードにおいて、圧縮前と圧縮後の映像を容易に確認できるようにする。
【解決手段】圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成する。その後、圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、該復号ビデオデータの映像と、該復号ビデオデータと同一時間範囲の圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する。この合成ビデオデータを表示させることで、圧縮前後の画像が同時に見ることができるようにする。
【選択図】図２
【解決手段】圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成する。その後、圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、該復号ビデオデータの映像と、該復号ビデオデータと同一時間範囲の圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する。この合成ビデオデータを表示させることで、圧縮前後の画像が同時に見ることができるようにする。
【選択図】図２
Description
本発明は、ビデオデータ処理装置、ビデオデータ処理方法、及びプログラムに関し、例えば光ディスク等のオーサリング過程におけるビデオデータの圧縮エンコードに関する。
例えばブルーレイディスク（Blu-ray Disc（登録商標）：以下「ＢＤ」)における再生専用ディスク（ＢＤ-ＲＯＭ）等の製造において、記録するコンテンツを作成するオーサリングシステムを用いた、光ディスクの製造までの流れを図６で簡単に説明する。
まず素材製作として、映像素材の撮影、音声素材の録音、編集等が行われる（Ｓ１）。
この撮影・編集等で得られたデータは、制作するコンテンツの素材データ（映像素材、音声素材、字幕データ等）として格納される（Ｓ２）。
まず素材製作として、映像素材の撮影、音声素材の録音、編集等が行われる（Ｓ１）。
この撮影・編集等で得られたデータは、制作するコンテンツの素材データ（映像素材、音声素材、字幕データ等）として格納される（Ｓ２）。
各種素材データは、オーサリングスタジオに持ち込まれ、ディスクデータ（コンテンツ）制作に供される。
オーサリングスタジオでは、オーサリング処理のためのプログラムをインストールしたパーソナルコンピュータや所要のハードウエアを用いて、各種素材データを利用したコンテンツ制作を行う。
映像素材、音声素材はビデオエンコード、オーディオエンコードの各処理により、それぞれ所定の形式に圧縮符号化される。また字幕データ等から、メニューデータ、字幕データ等が作成される（Ｓ３）。次にコンテンツの構成としてのシナリオやメニュー作成が行われる（Ｓ４）。また各種データ編集が行われる（Ｓ５）。
オーサリングスタジオでは、オーサリング処理のためのプログラムをインストールしたパーソナルコンピュータや所要のハードウエアを用いて、各種素材データを利用したコンテンツ制作を行う。
映像素材、音声素材はビデオエンコード、オーディオエンコードの各処理により、それぞれ所定の形式に圧縮符号化される。また字幕データ等から、メニューデータ、字幕データ等が作成される（Ｓ３）。次にコンテンツの構成としてのシナリオやメニュー作成が行われる（Ｓ４）。また各種データ編集が行われる（Ｓ５）。
その後、マルチプレクサ処理（Ｓ６）として、コンテンツを構成するストリームデータを形成する。マルチプレクサ処理は、符号化された映像データや音声データ、メニュ−などを多重化するためのものである。この場合、例えばハードディスク内等に格納された画像、音声、字幕などの符号化された素材データをインターリーブし、各種フォーマットファイルと合わせて多重化されたデータを作成する多重化処理が行われる。
最終的に作成された多重化データは、ディスク製造用のカッティングマスタとして、例えばパーソナルコンピュータ内のハードディスク等に格納される。
そのカッティングマスタは、ディスク製造のために工場に送られることになる（Ｓ７）。
最終的に作成された多重化データは、ディスク製造用のカッティングマスタとして、例えばパーソナルコンピュータ内のハードディスク等に格納される。
そのカッティングマスタは、ディスク製造のために工場に送られることになる（Ｓ７）。
工場では、プリマスタリング（Ｓ８）として、データの暗号化やディスク記録データとしてのエンコード等の各種データ処理を行い、マスタリングデータを作成する。そしてマスタリング（Ｓ９）として、ディスク原盤のカッティングからスタンパ作成までの工程を行う。最後にリプリケーション（Ｓ１０）として、スタンパを用いたディスク基板の制作や、ディスク基板上への所定の層構造形成を行い、完成品として光ディスク（ＢＤ−ＲＯＭ）を得る。
このように、光ディスク等のパッケージメディアの作成現場においては、ＭＰＥＧ（Moving Picture Experts Group）の手法を適用してビデオデータ、オーディオデータ等をそれぞれデータ圧縮（Ｓ３）した後、多重化して各種メディアに記録するようになされている。
オーサリング装置では、上記（Ｓ３）のビデオエンコード、オーディオエンコードの処理として、メディアに記録可能なビット量をビデオデータ、オーディオデータ等に配分し、それぞれこの配分したビット量に納まるように、ビデオデータ、オーディオデータをデータ圧縮する。
このときビデオデータについては、一定のデータ圧縮条件によりデータ圧縮して発生するビット量に応じて、ビデオデータに割り当てたビット量を各フレームに配分する。各フレームデータはフレーム内符号化またはフレーム間符号化処理されたＧＯＰ（Group Of Picture）単位で構成される。
このときビデオデータについては、一定のデータ圧縮条件によりデータ圧縮して発生するビット量に応じて、ビデオデータに割り当てたビット量を各フレームに配分する。各フレームデータはフレーム内符号化またはフレーム間符号化処理されたＧＯＰ（Group Of Picture）単位で構成される。
一般的にビデオデータの圧縮に関しては、圧縮が完了した後に圧縮前のビデオデータと比較して画質の劣化度合いを確認し、圧縮パラメータまたはビットの配分をし直して、画質の劣化度合いが許容できる範囲に収まるまで圧縮作業を繰り返す。
この際に圧縮前と圧縮後のビデオデータを見比べる必要がある。
ところが、圧縮前のビデオデータは、そのデータが保存されている記憶装置が十分高速でないとコマ落ちが発生するケースがある。
また圧縮後のビデオデータはフレーム間圧縮を行うために遅延が発生するという特性がある。
さらにＩＳＯ／ＩＥＣ １４４９６−１０で規格化されているＡＶＣコーデックを使ったデータ圧縮では、データの復号に複雑な計算処理が必要であり、処理能力が低い計算装置の場合コマ落ちが発生するケースがある。
この際に圧縮前と圧縮後のビデオデータを見比べる必要がある。
ところが、圧縮前のビデオデータは、そのデータが保存されている記憶装置が十分高速でないとコマ落ちが発生するケースがある。
また圧縮後のビデオデータはフレーム間圧縮を行うために遅延が発生するという特性がある。
さらにＩＳＯ／ＩＥＣ １４４９６−１０で規格化されているＡＶＣコーデックを使ったデータ圧縮では、データの復号に複雑な計算処理が必要であり、処理能力が低い計算装置の場合コマ落ちが発生するケースがある。
従来のオーサリング装置ではこれらの問題から圧縮前と圧縮後のビデオデータの同期を取りながら同時に表示を行い見比べる作業は非常に困難であった。
本発明は以上の点を考慮してなされたもので、圧縮前と圧縮後のビデオデータの同期を取りながら一つの画面内でそれぞれを分割して表示し、ビデオデータを効率よく処理できるデータ処理装置を提案しようとするものである。
本発明のビデオデータ処理装置は、入力された圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコード部と、上記エンコード部で生成された圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、上記復号ビデオデータと同一時間範囲の圧縮前ビデオデータを取得し、上記復号ビデオデータの映像と上記圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理部とを備える。
上記合成処理部は、上記合成ビデオデータを、表示装置に供給して表示させる。
又、上記合成処理部は、上記合成ビデオデータを、所定の格納部に供給して格納させる。
その場合、上記所定の格納部に格納された上記合成ビデオデータを読み出し、読み出した合成ビデオデータについて、上記復号ビデオデータの映像の一部と、上記圧縮前ビデオデータの映像の一部とを合成し、当該各部分をつなぎ合わせた映像となる分割合成ビデオデータを生成し、該分割合成ビデオデータを、表示装置に供給して表示させる分割合成処理部を、さらに備えるようにする。
上記合成処理部は、上記合成ビデオデータを、表示装置に供給して表示させる。
又、上記合成処理部は、上記合成ビデオデータを、所定の格納部に供給して格納させる。
その場合、上記所定の格納部に格納された上記合成ビデオデータを読み出し、読み出した合成ビデオデータについて、上記復号ビデオデータの映像の一部と、上記圧縮前ビデオデータの映像の一部とを合成し、当該各部分をつなぎ合わせた映像となる分割合成ビデオデータを生成し、該分割合成ビデオデータを、表示装置に供給して表示させる分割合成処理部を、さらに備えるようにする。
本発明のビデオデータ処理方法は、圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコードステップと、上記エンコードステップで得られた圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、該復号ビデオデータの映像と、該復号ビデオデータと同一時間範囲の圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理ステップとを備える。
本発明のプログラムは、上記各ステップを演算処理装置に実行させるプログラムである。
本発明のプログラムは、上記各ステップを演算処理装置に実行させるプログラムである。
即ち本発明では、ビデオデータを圧縮エンコードした後、圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得る。そして復号ビデオデータと、同一時間範囲の圧縮前ビデオデータとを合成する。この合成画像データは、復号ビデオデータの映像と圧縮前ビデオデータの映像、つまり同一の映像が、同期して一表示画面内で並列表示される映像となるビデオデータである。このような合成画像データを表示させれば、圧縮前後の映像が同期して一画面に並列表示される。
或いは、復号ビデオデータの映像の一部と、圧縮前ビデオデータの映像の一部とを合成し、当該各部分をつなぎ合わせた映像となる分割合成ビデオデータを生成し、これを表示させる場合も、圧縮前後の映像が一画面に表示される。
或いは、復号ビデオデータの映像の一部と、圧縮前ビデオデータの映像の一部とを合成し、当該各部分をつなぎ合わせた映像となる分割合成ビデオデータを生成し、これを表示させる場合も、圧縮前後の映像が一画面に表示される。
本発明によれば、これまでは難しかった圧縮前ビデオデータと圧縮後ビデオデータの画質比較が簡単に行えるようになり、かつ、画質劣化箇所が容易に特定できるようになる。これによりオーサリング作業工程におけるビデオ圧縮作業の効率が向上する。
以下、本発明の実施の形態を次の順序で説明する。
［１．オーサリング装置構成］
［２．第１の処理例］
［３．第２の処理例］
［４．プログラム］
［１．オーサリング装置構成］
［２．第１の処理例］
［３．第２の処理例］
［４．プログラム］
［１．オーサリング装置構成］
図１は実施の形態のオーサリング装置として、特にビデオエンコードに関する部分を示したブロック図である。ここでは、ビデオデータ処理装置１，オーサリングアプリケーション２、ビデオデータサーバ３，圧縮データサーバ４、モニタ装置５を示している。
図１は実施の形態のオーサリング装置として、特にビデオエンコードに関する部分を示したブロック図である。ここでは、ビデオデータ処理装置１，オーサリングアプリケーション２、ビデオデータサーバ３，圧縮データサーバ４、モニタ装置５を示している。
ビデオデータ処理装置１は、例えばコンピュータ装置としてのハードウエア及びコンピュータ装置上で起動されるソフトウエアにより実現される。公知の通りコンピュータは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、外部装置とのインターフェース部などを有して構成されている。
オーサリングアプリケーション２は、オーサリング装置の動作全体を実行させるアプリケーションソフトウエアであり、外部の操作入力等に対応して、ネットワーク接続されたビデオデータ処理装置１としてのコンピュータ装置を用いたオーサリング処理に必要な動作を制御する。
例えば図６で説明した手順Ｓ３〜Ｓ７の各種の処理を制御実行させるソフトウエアであるとしている。ここでは、特にビデオエンコード処理の全体を制御するものとして示している。
このオーサリングアプリケーション２は、オーサリングシステム全体を制御する図示しないメインコントロール装置上で起動され、本例のエンコード処理を行うビデオデータ処理装置１として割り当てられたコンピュータ装置の動作を指示するものしている。但し、ビデオデータ処理装置１としてのコンピュータ装置上で起動されるものとされる場合もある。
例えば図６で説明した手順Ｓ３〜Ｓ７の各種の処理を制御実行させるソフトウエアであるとしている。ここでは、特にビデオエンコード処理の全体を制御するものとして示している。
このオーサリングアプリケーション２は、オーサリングシステム全体を制御する図示しないメインコントロール装置上で起動され、本例のエンコード処理を行うビデオデータ処理装置１として割り当てられたコンピュータ装置の動作を指示するものしている。但し、ビデオデータ処理装置１としてのコンピュータ装置上で起動されるものとされる場合もある。
ビデオデータサーバ３は、圧縮エンコードを行う前の映像素材としてのビデオデータ（説明上、「圧縮前ビデオデータ」という）を格納する。また後述する合成ビデオデータの格納にも用いられる。
圧縮データサーバ４は、圧縮エンコードが施されたビデオデータ（「圧縮ビデオデータ」）を格納する。
これらビデオデータサーバ３，圧縮データサーバ４は、例えばハードディスクドライブ（ＨＤＤ：Hard Disk Drive）により実現される。
このビデオデータサーバ３，圧縮データサーバ４としてのＨＤＤは、ビデオデータ処理装置１としてのコンピュータ装置に内蔵されるものでも良いし、外部装置として接続されるものでも良い。
圧縮データサーバ４は、圧縮エンコードが施されたビデオデータ（「圧縮ビデオデータ」）を格納する。
これらビデオデータサーバ３，圧縮データサーバ４は、例えばハードディスクドライブ（ＨＤＤ：Hard Disk Drive）により実現される。
このビデオデータサーバ３，圧縮データサーバ４としてのＨＤＤは、ビデオデータ処理装置１としてのコンピュータ装置に内蔵されるものでも良いし、外部装置として接続されるものでも良い。
モニタ装置５はビデオデータ処理装置１から与えられるビデオデータの映像表示出力を行うディスプレイデバイスである。本例の場合、後述するように圧縮前ビデオデータと圧縮ビデオデータが合成された合成ビデオデータの表示が行われる。
図１ではビデオデータ処理装置１として、主コントローラ１４を示し、その内部に各種機能ブロックを示している。主コントローラ１４は、即ちビデオデータ処理装置１としての動作機能を示すものである。
主コントローラ１４は、ビデオエンコード処理全体の制御・実行を行うものであり、ビデオデータ処理装置１として割り当てられたコンピュータ装置により構成される。
この主コントローラ１４は、オーサリングシステムのネットワークを介して行うオーサリングアプリケーション２との間のデータ通信により、このビデオデータ処理装置１の全体の動作を制御する。
主コントローラ１４は、ビデオエンコード処理全体の制御・実行を行うものであり、ビデオデータ処理装置１として割り当てられたコンピュータ装置により構成される。
この主コントローラ１４は、オーサリングシステムのネットワークを介して行うオーサリングアプリケーション２との間のデータ通信により、このビデオデータ処理装置１の全体の動作を制御する。
本例の動作に関連する主コントローラ１４内の機能ブロックとして、ＧＵＩ（Graphical User Interface）制御部６、エンコードマネージャ７、ウェイトコントロール部８、エンコードコントロール部９、ＩＮＦＯデータベース１０、マルチパスコントロール部１１、エンコーダ１２、デコードコントロール部１３を示している。
ＧＵＩ部６は、モニタ装置５での画面上での入力用アイコン等の表示及び操作入力に対応した処理を行う。
エンコードマネージャ７は、ウェイトコントロール部８、エンコードコントロール部９、デコードコントロール部１３の動作を制御する。
ウェイトコントロール部８はマルチパスコントロール部１１の計算に必要なデータを発生させる。例えば圧縮処理の際のビット配分のデータ等のコントロールを行う。
エンコードコントロール部９はエンコーダ１２を制御する。
ＩＮＦＯデータベース１０はエンコードマネージャ７で得られたデータ等の格納に用いられる。
マルチパスコントロール部１１は目標ビット量の計算を行う。
エンコーダ１２はビデオデータの圧縮エンコードを行う。
デコードコントロール部１３は、圧縮エンコードされたビデオデータの非圧縮デコードや後述する合成ビデオデータ、分割合成ビデオデータの生成、モニタ装置５への表示データの出力の制御等を行う。
エンコードマネージャ７は、ウェイトコントロール部８、エンコードコントロール部９、デコードコントロール部１３の動作を制御する。
ウェイトコントロール部８はマルチパスコントロール部１１の計算に必要なデータを発生させる。例えば圧縮処理の際のビット配分のデータ等のコントロールを行う。
エンコードコントロール部９はエンコーダ１２を制御する。
ＩＮＦＯデータベース１０はエンコードマネージャ７で得られたデータ等の格納に用いられる。
マルチパスコントロール部１１は目標ビット量の計算を行う。
エンコーダ１２はビデオデータの圧縮エンコードを行う。
デコードコントロール部１３は、圧縮エンコードされたビデオデータの非圧縮デコードや後述する合成ビデオデータ、分割合成ビデオデータの生成、モニタ装置５への表示データの出力の制御等を行う。
このようなビデオ信号処理装置１によるエンコードの際の各部の動作は次のようになる。
ビデオデータサーバ３には圧縮前ビデオデータが格納される。
ビデオデータサーバ３は、この再生制御に基づき、処理対象の圧縮前ビデオデータＤ１を再生出力する。この圧縮前ビデオデータＤ１はエンコーダ１２に供給される。
ビデオデータサーバ３には圧縮前ビデオデータが格納される。
ビデオデータサーバ３は、この再生制御に基づき、処理対象の圧縮前ビデオデータＤ１を再生出力する。この圧縮前ビデオデータＤ１はエンコーダ１２に供給される。
エンコーダ１２は、オーサリングアプリケーション２により通知される条件に従って、エンコードマネージャ７、エンコードコントロール部９の制御に基づいて動作を切り換え、ビデオデータサーバ３よりより出力されるビデオデータＤ１をデータ圧縮する。
さらにエンコーダ１２は、このようにして符号化処理する際に、符号化処理結果をエンコードマネージャ７に通知する。これによりエンコードマネージャ７において、データ圧縮により決定されたピクチャータイプおよび発生するビット量を各フレーム単位で把握できるようになされている。
またエンコーダ１２は、事前の難易度計測のための圧縮処理においては、内部処理においてピクチャータイプを決定してビデオデータＤ１をデータ圧縮して処理結果をエンコードマネージャ７に通知する。
一方、最終的なデータ圧縮処理においては、エンコーダ１２は、エンコードコントロール部９にてフレームごとにピクチャータイプおよび目標ビット量を指定してデータ圧縮処理したビデオデータＤ２を、圧縮データサーバ４に供給して記録させる。さらに記録したデータ量等をエンコードマネージャ７に通知する。
エンコードマネージャ７はこうして得られた各種データをＩｎｆｏデータベース１０に格納する。
さらにエンコーダ１２は、このようにして符号化処理する際に、符号化処理結果をエンコードマネージャ７に通知する。これによりエンコードマネージャ７において、データ圧縮により決定されたピクチャータイプおよび発生するビット量を各フレーム単位で把握できるようになされている。
またエンコーダ１２は、事前の難易度計測のための圧縮処理においては、内部処理においてピクチャータイプを決定してビデオデータＤ１をデータ圧縮して処理結果をエンコードマネージャ７に通知する。
一方、最終的なデータ圧縮処理においては、エンコーダ１２は、エンコードコントロール部９にてフレームごとにピクチャータイプおよび目標ビット量を指定してデータ圧縮処理したビデオデータＤ２を、圧縮データサーバ４に供給して記録させる。さらに記録したデータ量等をエンコードマネージャ７に通知する。
エンコードマネージャ７はこうして得られた各種データをＩｎｆｏデータベース１０に格納する。
モニタ装置５は、ビデオデータサーバ３に記録された圧縮前ビデオデータＤ１、および圧縮データサーバ４に記録された圧縮ビデオデータＤ２について、デコードコントロール部１３で伸張した後にモニタ表示できるように構成される。
これによりビデオ信号処理装置１では、必要に応じて圧縮前とデータ圧縮した処理結果のビデオデータを、モニタ装置５により確認して、いわゆるプレビューできるようにされている。そして、このプレビュー結果に基づいて、符号化の詳細な条件を細かく変更できるようになされている。
これによりビデオ信号処理装置１では、必要に応じて圧縮前とデータ圧縮した処理結果のビデオデータを、モニタ装置５により確認して、いわゆるプレビューできるようにされている。そして、このプレビュー結果に基づいて、符号化の詳細な条件を細かく変更できるようになされている。
またデコードコントロール部１３では、オペレータが指定する任意の時間範囲について、その時間範囲の圧縮前ビデオデータＤ１および圧縮ビデオデータＤ２を復号したデータを一つのファイルにまとめた合成ビデオデータＤ３を作成することができる。そしてデコードコントロール部１３は、その作成した合成ビデオデータＤ３については、ビデオデータサーバ３に格納させたり、モニタ装置５へ出力して表示させることができる。
モニタ装置５では、合成ビデオデータＤ３が供給された場合、指定された割合で画像を分割表示を行い、画質の比較ができるようになっている。
モニタ装置５では、合成ビデオデータＤ３が供給された場合、指定された割合で画像を分割表示を行い、画質の比較ができるようになっている。
主コントローラ１４全体としては、ＧＵＩ部６の管理により、オーサリングアプリケーション２からの制御を受け付けると共に、オペレータの操作を受け付け、このＧＵＩ部６により管理されるエンコードマネージャ７、エンコードコントロール９によりエンコーダ１２の動作を制御することとなる。
すなわち主コントローラ１４全体としては、オーサリングアプリケーション２により通知された条件に従って処理対象を符号化処理する。また処理結果をオーサリングアプリケーション２に通知する。さらにＧＵＩ部６を介してオペレータの設定を受け付け、符号化の詳細な条件を変更できるようになされている。
すなわち主コントローラ１４全体としては、オーサリングアプリケーション２により通知された条件に従って処理対象を符号化処理する。また処理結果をオーサリングアプリケーション２に通知する。さらにＧＵＩ部６を介してオペレータの設定を受け付け、符号化の詳細な条件を変更できるようになされている。
エンコードコントロール部９は、オーサリングアプリケーション２より通知される編集リストに従ってビデオデータサーバ３内のビデオデータファイルを制御し、所望の編集対象を再生させる。
またウェイトコントロール８部は、同様にオーサリングアプリケーション２より通知される符号化ファイルＶＥＮＣ．ＸＭＬに従って符号化処理の条件を各エンコード単位で決定し、この条件による制御データをマルチパスコントロール部１１に通知する。
このときマルチパスコントロール部１１は、符号化処理におけるビット配分の設定と、設定した条件をオペレータの操作に応動して変更する。
またウェイトコントロール８部は、同様にオーサリングアプリケーション２より通知される符号化ファイルＶＥＮＣ．ＸＭＬに従って符号化処理の条件を各エンコード単位で決定し、この条件による制御データをマルチパスコントロール部１１に通知する。
このときマルチパスコントロール部１１は、符号化処理におけるビット配分の設定と、設定した条件をオペレータの操作に応動して変更する。
エンコードコントロール部９は、マルチパスコントロール部１１より通知される制御ファイルに従ってエンコーダ１２の符号化動作を制御する。さらに各符号化処理に要する困難度のデータをフレーム単位でエンコードコントロール部９に通知し、また圧縮データサーバ４に圧縮ビデオデータＤ２を記録する制御を行う。
［２．第１の処理例］
本実施の形態の圧縮エンコード時の処理としての第１の処理例を図２に示す。
圧縮エンコード時の処理としては、大きく分けて、準備処理、エンコード処理、チェック処理、後処理があり、場合によっては再エンコード処理が行われる。
本実施の形態の圧縮エンコード時の処理としての第１の処理例を図２に示す。
圧縮エンコード時の処理としては、大きく分けて、準備処理、エンコード処理、チェック処理、後処理があり、場合によっては再エンコード処理が行われる。
まず準備処理としてステップＦ１０１〜Ｆ１０４が行われる。
オペレータのＧＵＩ操作に応じたオーサリングアプリケーション２の指示に基づき、ステップＦ１０１として映像素材としてのビデオデータの取り込みが開始される。即ち圧縮前ビデオデータをビデオデータサーバ３に格納させる処理である。図示しない再生装置によって、映像素材のビデオデータが再生される。そのビデオデータがオーサリングシステムのネットワークを介してビデオデータサーバ３に供給されて記録されていく。
オペレータのＧＵＩ操作に応じたオーサリングアプリケーション２の指示に基づき、ステップＦ１０１として映像素材としてのビデオデータの取り込みが開始される。即ち圧縮前ビデオデータをビデオデータサーバ３に格納させる処理である。図示しない再生装置によって、映像素材のビデオデータが再生される。そのビデオデータがオーサリングシステムのネットワークを介してビデオデータサーバ３に供給されて記録されていく。
この取り込み動作が行われながら、ステップＦ１０２、Ｆ１０３，Ｆ１０４が行われる。
ステップＦ１０２では分割ポイント候補の検出及び記録が行われる。分割ポイントとは、時間的に連続する一連の映像素材としてのビデオデータのうちで、エンコード処理の便宜上、何回かに分けてエンコードする場合に設定する分割点である。
ステップＦ１０３ではプルダウンパターンの検出及び記録が行われる。これは取り込みを行っているビデオデータについてのプルダウン情報の検出・記録である。
ステップＦ１０４のビデオデータの書込は、ビデオデータサーバへのビデオデータ及び付随する情報の記録を示している。
これらの準備処理により、エンコード処理を行う圧縮前ビデオデータがビデオデータサーバ３に格納された状態となる。
ステップＦ１０２では分割ポイント候補の検出及び記録が行われる。分割ポイントとは、時間的に連続する一連の映像素材としてのビデオデータのうちで、エンコード処理の便宜上、何回かに分けてエンコードする場合に設定する分割点である。
ステップＦ１０３ではプルダウンパターンの検出及び記録が行われる。これは取り込みを行っているビデオデータについてのプルダウン情報の検出・記録である。
ステップＦ１０４のビデオデータの書込は、ビデオデータサーバへのビデオデータ及び付随する情報の記録を示している。
これらの準備処理により、エンコード処理を行う圧縮前ビデオデータがビデオデータサーバ３に格納された状態となる。
ステップＦ１０５〜Ｆ１０８でエンコード処理が行われる。
まずステップＦ１０５ではオペレータのエンコード条件の入力に応じてエンコードマネージャ７がエンコード条件を設定する。
ステップＦ１０６では圧縮エンコードの難易度が測定され、またピクチャータイプとしてＩピクチャ、Ｐピクチャ、Ｂピクチャの決定が行われる。
これらはエンコーダ７，ウェイトコントロール部８の処理に基づいてエンコードマネージャ７が把握する。
そしてエンコードマネージャ７はステップＦ１０７で、難易度、ピクチャータイプ、設定条件からビット配分計算処理を行う。その結果、エンコードマネージャ７は、エンコードコントロール部９、ウェイトコントロール部８、マルチパスコントロール部１１に決定した設定条件、ピクチャータイプ、ビット配分等を伝える。
まずステップＦ１０５ではオペレータのエンコード条件の入力に応じてエンコードマネージャ７がエンコード条件を設定する。
ステップＦ１０６では圧縮エンコードの難易度が測定され、またピクチャータイプとしてＩピクチャ、Ｐピクチャ、Ｂピクチャの決定が行われる。
これらはエンコーダ７，ウェイトコントロール部８の処理に基づいてエンコードマネージャ７が把握する。
そしてエンコードマネージャ７はステップＦ１０７で、難易度、ピクチャータイプ、設定条件からビット配分計算処理を行う。その結果、エンコードマネージャ７は、エンコードコントロール部９、ウェイトコントロール部８、マルチパスコントロール部１１に決定した設定条件、ピクチャータイプ、ビット配分等を伝える。
そしてステップＦ１０８として、これらの条件に基づいてエンコーダ１２で実際の圧縮エンコード処理が行われる。
即ちエンコードコントロール部９はビデオデータサーバ３から圧縮前ビデオデータＤ１を再生させ、エンコーダ１２に圧縮前ビデオデータＤ１に対する圧縮エンコードを実行させる。またエンコードコントロール部９は、圧縮エンコードされた圧縮ビデオデータＤ２を圧縮データサーバ４に格納させる制御を行う。
即ちエンコードコントロール部９はビデオデータサーバ３から圧縮前ビデオデータＤ１を再生させ、エンコーダ１２に圧縮前ビデオデータＤ１に対する圧縮エンコードを実行させる。またエンコードコントロール部９は、圧縮エンコードされた圧縮ビデオデータＤ２を圧縮データサーバ４に格納させる制御を行う。
エンコード処理が終了し、対象のビデオデータ範囲についての圧縮ビデオデータＤ２の圧縮データサーバ４への格納が完了したら、ステップＦ１０９〜Ｆ１１２のチェック処理にうつる。
このチェック処理とは、圧縮前後でのビデオデータを実際に表示させて、圧縮後の画質をチェックできるようにする処理である。
このチェック処理とは、圧縮前後でのビデオデータを実際に表示させて、圧縮後の画質をチェックできるようにする処理である。
ステップＦ１０９では、オペレータの入力に応じてエンコードマネージャ７が画質確認箇所を設定する。
オペレータは圧縮処理を行ったビデオデータについて、任意の時間範囲を画質確認箇所として指定できる。つまり、圧縮ビデオデータＤ２のうちで、確認したい時間範囲（タイムコード範囲）を指定できる。エンコードマネージャ７はオペレータの入力に応じてチェック箇所としての時間範囲の設定を行うことになる。
オペレータは圧縮処理を行ったビデオデータについて、任意の時間範囲を画質確認箇所として指定できる。つまり、圧縮ビデオデータＤ２のうちで、確認したい時間範囲（タイムコード範囲）を指定できる。エンコードマネージャ７はオペレータの入力に応じてチェック箇所としての時間範囲の設定を行うことになる。
次にステップＦ１１０で、画質確認箇所として設定された時間範囲のビデオデータについて合成ビデオデータＤ３の作成を行う。
合成ビデオデータＤ３の作成はデコードコントロール部１３で行われる。合成ビデオデータＤ３の作成のため、デコードコントロール部１３は、図３（ａ）に示すデコーダモジュール１７，ビデオ合成モジュール１９としての機能を備える。
エンコードマネージャ７は、この機能を備えたデコードコントロール部１３に、画質確認箇所としての時間範囲についての合成ビデオデータＤ３をデコードコントロール部１３に実行させる。
合成ビデオデータＤ３の作成はデコードコントロール部１３で行われる。合成ビデオデータＤ３の作成のため、デコードコントロール部１３は、図３（ａ）に示すデコーダモジュール１７，ビデオ合成モジュール１９としての機能を備える。
エンコードマネージャ７は、この機能を備えたデコードコントロール部１３に、画質確認箇所としての時間範囲についての合成ビデオデータＤ３をデコードコントロール部１３に実行させる。
まず、エンコードマネージャ７は、圧縮データサーバ４から、当該時間範囲の圧縮ビデオデータＤ２を再生させて、デコードコントロール部１３に供給させる。デコードコントロール部１３では、図３（ａ）に示すようにデコーダモジュール１７において圧縮ビデオデータＤ２のデコード（圧縮に対する伸長処理）が行われ、復号ビデオデータＤ２’が得られる。
また、エンコードマネージャ７は、ビデオデータサーバ３から、当該時間範囲の圧縮前ビデオデータＤ１を再生させて、デコードコントロール部１３に供給させる。
デコードコントロール部１３では、そのビデオデータＤ１と、デコーダモジュール１７で復号された復号ビデオデータＤ２’がビデオ合成モジュール１９に供給され、合成処理が行われる。
このビデオ合成モジュール１９では、復号ビデオデータＤ２’と圧縮前ビデオデータＤ１について、フレーム同期をとりながら合成し、図３（ｂ）のように例えば二つの画像を縦に張り合わせた合成ビデオデータＤ３を生成する。
エンコードマネージャ７は、このようにして生成された合成ビデオデータＤ３を、ビデオデータサーバ３に転送させ、格納させる。すなわち合成ビデオデータＤ３は圧縮前ビデオデータＤ１と比較して縦方向に２倍のサイズのビデオデータとして格納されることになる。なお、このとき生成された合成ビデオデータＤ３をモニタ装置５に直接転送して表示させることも可能である。
また、合成ビデオデータＤ３は、ビデオデータサーバ３に格納するのではなく、他の記録メディア、例えば圧縮データサーバ４側に格納してもよい。
また、エンコードマネージャ７は、ビデオデータサーバ３から、当該時間範囲の圧縮前ビデオデータＤ１を再生させて、デコードコントロール部１３に供給させる。
デコードコントロール部１３では、そのビデオデータＤ１と、デコーダモジュール１７で復号された復号ビデオデータＤ２’がビデオ合成モジュール１９に供給され、合成処理が行われる。
このビデオ合成モジュール１９では、復号ビデオデータＤ２’と圧縮前ビデオデータＤ１について、フレーム同期をとりながら合成し、図３（ｂ）のように例えば二つの画像を縦に張り合わせた合成ビデオデータＤ３を生成する。
エンコードマネージャ７は、このようにして生成された合成ビデオデータＤ３を、ビデオデータサーバ３に転送させ、格納させる。すなわち合成ビデオデータＤ３は圧縮前ビデオデータＤ１と比較して縦方向に２倍のサイズのビデオデータとして格納されることになる。なお、このとき生成された合成ビデオデータＤ３をモニタ装置５に直接転送して表示させることも可能である。
また、合成ビデオデータＤ３は、ビデオデータサーバ３に格納するのではなく、他の記録メディア、例えば圧縮データサーバ４側に格納してもよい。
ステップＦ１１０として以上のように合成ビデオデータＤ３が生成され、ビデオデータサーバ３に格納できたら、続いてステップＦ１１１で合成ビデオデータＤ３の表示を行う。
即ちエンコードマネージャ７は、ビデオデータサーバ３から当該合成ビデオデータＤ３の再生を実行させ、合成ビデオデータＤ３をデコードコントロール部１３に供給させる。デコードコントロール部１３は、合成ビデオデータＤ３をモニタ装置５に送り、表示させる。
即ち図３（ｂ）のように圧縮ビデオデータＤ２からの復号ビデオデータＤ２’と、圧縮前ビデオデータＤ１として、同じ時間範囲の映像が、上下に並列表示された映像が、モニタ装置５で表示されることになる。
なお、モニタ装置５では、モニタ表示画面のアスペクト比に応じて、２つの並列画面が同時に表示できるように、合成ビデオデータＤ３の縮小表示等を行うことになる。
このような表示により、オペレータは、圧縮前後の画像を一画面で同時に見比べることができ、圧縮後の画質チェックを容易に実行できる。
即ちエンコードマネージャ７は、ビデオデータサーバ３から当該合成ビデオデータＤ３の再生を実行させ、合成ビデオデータＤ３をデコードコントロール部１３に供給させる。デコードコントロール部１３は、合成ビデオデータＤ３をモニタ装置５に送り、表示させる。
即ち図３（ｂ）のように圧縮ビデオデータＤ２からの復号ビデオデータＤ２’と、圧縮前ビデオデータＤ１として、同じ時間範囲の映像が、上下に並列表示された映像が、モニタ装置５で表示されることになる。
なお、モニタ装置５では、モニタ表示画面のアスペクト比に応じて、２つの並列画面が同時に表示できるように、合成ビデオデータＤ３の縮小表示等を行うことになる。
このような表示により、オペレータは、圧縮前後の画像を一画面で同時に見比べることができ、圧縮後の画質チェックを容易に実行できる。
画質がＯＫであれば、オペレータはチェックＯＫ（エンコード終了）の操作入力を行う。それに応じてエンコードマネージャ７はステップＦ１１２からステップＦ１１５に進み、後処理として、エンコード結果の圧縮ビデオデータＤ２の確定等、必要な処理を行って一連のエンコード作業を終了させる。
一方、画質が不満足であった場合、オペレータは、圧縮ビデオデータＤ２のうちの任意の時間範囲について再エンコードを指示することができる。その場合、ステップＦ１１３で、エンコードマネージャ７はオペレータの入力に応じてエンコード処理のパラメータの変更を行う。そしてステップＦ１１４で、指定された時間範囲について、エンコーダ１２にエンコード処理を実行させる。つまりエンコードマネージャ７、エンコードコントロール部９は、指定された時間範囲について、ビデオデータサーバ３から圧縮前ビデオデータＤ１を再生させてエンコーダ１２に供給させ、エンコーダ１２に圧縮エンコードを実行させる。そして得られた圧縮ビデオデータＤ２を圧縮ビデオデータＤ２に格納させる。つまりこのとき、当該再エンコードを行った時間範囲の部分の圧縮ビデオデータＤ２が。圧縮データサーバ４に格納されている一連の圧縮ビデオデータＤ２の一部として差し替えられるようにする。
このような再エンコードを行ったらステップＦ１０９からのチェック処理を同様に行う。
一方、画質が不満足であった場合、オペレータは、圧縮ビデオデータＤ２のうちの任意の時間範囲について再エンコードを指示することができる。その場合、ステップＦ１１３で、エンコードマネージャ７はオペレータの入力に応じてエンコード処理のパラメータの変更を行う。そしてステップＦ１１４で、指定された時間範囲について、エンコーダ１２にエンコード処理を実行させる。つまりエンコードマネージャ７、エンコードコントロール部９は、指定された時間範囲について、ビデオデータサーバ３から圧縮前ビデオデータＤ１を再生させてエンコーダ１２に供給させ、エンコーダ１２に圧縮エンコードを実行させる。そして得られた圧縮ビデオデータＤ２を圧縮ビデオデータＤ２に格納させる。つまりこのとき、当該再エンコードを行った時間範囲の部分の圧縮ビデオデータＤ２が。圧縮データサーバ４に格納されている一連の圧縮ビデオデータＤ２の一部として差し替えられるようにする。
このような再エンコードを行ったらステップＦ１０９からのチェック処理を同様に行う。
以上のように本実施の形態では、チェック処理において、デコードコントロール部１３で、圧縮ビデオデータＤ２を非圧縮デコードして復号ビデオデータＤ２’を得るとともに、復号ビデオデータＤ２’と同一時間範囲の圧縮前ビデオデータＤ１をビデオデータサーバ３から取得する。そして復号ビデオデータＤ２’の映像と圧縮前ビデオデータＤ１の映像が同期して上下に一表示画面内で並列表示される映像となる合成ビデオデータＤ３を生成する。このような合成ビデオデータＤ３を一旦ビデオデータサーバ３に格納した後、これを再生させ、モニタ装置５で表示させる。これによって、オペレータは非常に容易に、圧縮前後の映像を見比べることができ、圧縮エンコードに関する画質チェックを容易且つ効率的に実行できることになる。同期して同時に表示されることで、画質劣化箇所の特定も容易である。
これによりオーサリング作業工程におけるビデオ圧縮作業の効率が著しく向上される。
これによりオーサリング作業工程におけるビデオ圧縮作業の効率が著しく向上される。
［３．第２の処理例］
第２の処理例を図４に示す。なお図４においてステップＦ１０１〜Ｆ１０４の準備処理、ステップＦ１０５〜Ｆ１０８のエンコード処理、ステップＦ１１３，Ｆ１１４の再エンコード処理、ステップＦ１１５の後処理は図２と同様であるため説明を省略する。ここではステップＦ１０９、Ｆ１１０，Ｆ１２１，Ｆ１２２，Ｆ１１２のチェック処理についてのみ説明する。
第２の処理例を図４に示す。なお図４においてステップＦ１０１〜Ｆ１０４の準備処理、ステップＦ１０５〜Ｆ１０８のエンコード処理、ステップＦ１１３，Ｆ１１４の再エンコード処理、ステップＦ１１５の後処理は図２と同様であるため説明を省略する。ここではステップＦ１０９、Ｆ１１０，Ｆ１２１，Ｆ１２２，Ｆ１１２のチェック処理についてのみ説明する。
ステップＦ１０８のエンコード処理が完了した後、ステップＦ１０９では、オペレータの入力に応じてエンコードマネージャ７が画質確認箇所としての時間範囲（タイムコード範囲）を設定する。
ステップＦ１１０で、画質確認箇所として設定された時間範囲のビデオデータについて合成ビデオデータＤ３の作成を行う。
この場合もデコードコントロール部１３には、図３（ａ）に示したデコーダモジュール１７，ビデオ合成モジュール１９としての機能を備え、第１の処理例１の場合と同様、図３（ｂ）のような合成ビデオデータＤ３を作成する。
エンコードマネージャ７は、このようにして生成された合成ビデオデータＤ３を、ビデオデータサーバ３に転送させ、格納させる。
ステップＦ１１０で、画質確認箇所として設定された時間範囲のビデオデータについて合成ビデオデータＤ３の作成を行う。
この場合もデコードコントロール部１３には、図３（ａ）に示したデコーダモジュール１７，ビデオ合成モジュール１９としての機能を備え、第１の処理例１の場合と同様、図３（ｂ）のような合成ビデオデータＤ３を作成する。
エンコードマネージャ７は、このようにして生成された合成ビデオデータＤ３を、ビデオデータサーバ３に転送させ、格納させる。
次にステップＦ１２１として、分割合成ビデオデータの作成が行われる。
分割合成ビデオデータの作成はデコードコントロール部１３で行われる。図５（ａ）のうに、分割合成ビデオデータＤＶの作成のため、デコードコントロール部１３は、分割合成モジュール２１としての機能を備える。つまり第２の処理例を実行する場合、デコードコントロール部１３は、上記図３（ａ）に示したデコーダモジュール１７，ビデオ合成モジュール１９に加え、さらに図５（ａ）の分割合成モジュール２１を有するものとされる。
エンコードマネージャ７は、この分割合成モジュール２１を備えたデコードコントロール部１３に、ビデオデータサーバ３から合成ビデオデータＤ３を供給させる。
図５（ａ）に示すように、デコードコントロール部１３では、合成ビデオデータＤ３が分割合成モジュール２１に供給され、分割合成処理が行われる。
分割合成ビデオデータの作成はデコードコントロール部１３で行われる。図５（ａ）のうに、分割合成ビデオデータＤＶの作成のため、デコードコントロール部１３は、分割合成モジュール２１としての機能を備える。つまり第２の処理例を実行する場合、デコードコントロール部１３は、上記図３（ａ）に示したデコーダモジュール１７，ビデオ合成モジュール１９に加え、さらに図５（ａ）の分割合成モジュール２１を有するものとされる。
エンコードマネージャ７は、この分割合成モジュール２１を備えたデコードコントロール部１３に、ビデオデータサーバ３から合成ビデオデータＤ３を供給させる。
図５（ａ）に示すように、デコードコントロール部１３では、合成ビデオデータＤ３が分割合成モジュール２１に供給され、分割合成処理が行われる。
分割合成は次のような処理となる。
図５（ｂ）に示すように、合成ビデオデータＤ３は、復号ビデオデータＤ２’と圧縮前ビデオデータＤ１がフレーム同期がとられて張り合わされたデータである。
ここで、この合成ビデオデータＤ３の画像を領域Ａ，Ｂ，Ｃ，Ｄに分割する。即ち復号ビデオデータＤ２’の領域を左右に２分割して領域Ａ，Ｂとし、また圧縮前ビデオデータＤ１の領域を左右に２分割して領域Ｃ、Ｄとする。
その上で、領域Ａ，Ｄを左右に貼り合わせて新たな合成画像を生成する。
このような分割合成処理を行って、分割合成ビデオデータＤＶを作成する。
図５（ｂ）に示すように、合成ビデオデータＤ３は、復号ビデオデータＤ２’と圧縮前ビデオデータＤ１がフレーム同期がとられて張り合わされたデータである。
ここで、この合成ビデオデータＤ３の画像を領域Ａ，Ｂ，Ｃ，Ｄに分割する。即ち復号ビデオデータＤ２’の領域を左右に２分割して領域Ａ，Ｂとし、また圧縮前ビデオデータＤ１の領域を左右に２分割して領域Ｃ、Ｄとする。
その上で、領域Ａ，Ｄを左右に貼り合わせて新たな合成画像を生成する。
このような分割合成処理を行って、分割合成ビデオデータＤＶを作成する。
ステップＦ１２１として以上のように分割合成ビデオデータＤＶが生成され、ステップＦ１２２で、この分割合成ビデオデータＤＶがモニタ装置５に送られて表示させる。
即ち図５（ｂ）の分割合成ビデオデータＤＶのように、左半分が復号ビデオデータＤ２’、右半分が圧縮前ビデオデータＤ１に基づく映像が、モニタ装置５で表示されることになる。
即ち図５（ｂ）の分割合成ビデオデータＤＶのように、左半分が復号ビデオデータＤ２’、右半分が圧縮前ビデオデータＤ１に基づく映像が、モニタ装置５で表示されることになる。
このような分割合成ビデオデータＤＶを表示するようにしても、オペレータの画質チェックに好適である。
まず、合成ビデオデータＤ３のままであると、２つの画面内容を並列に貼り付けた状態のデータであるため、モニタ装置５で表示するときには、或る程度の縮小が必要である。
一方、分割合成ビデオデータＤＶの場合は、合成ビデオデータＤ３について、復号ビデオデータＤ２’の映像の一部と、圧縮前ビデオデータＤ１の映像の一部とを合成し、当該各部分をつなぎ合わせた映像となるものであり、１画面としてのサイズに収めることができる。その場合、モニタ装置５の画面を最も広く使用して表示することが可能となる。このため、縮小しない大きい画像として、圧縮前後を見比べることができるようになる。
オペレータは、このような分割合成ビデオデータＤＶによる表示を確認して、エンコードＯＫであるか、再エンコード処理を行うかを決めればよい。
まず、合成ビデオデータＤ３のままであると、２つの画面内容を並列に貼り付けた状態のデータであるため、モニタ装置５で表示するときには、或る程度の縮小が必要である。
一方、分割合成ビデオデータＤＶの場合は、合成ビデオデータＤ３について、復号ビデオデータＤ２’の映像の一部と、圧縮前ビデオデータＤ１の映像の一部とを合成し、当該各部分をつなぎ合わせた映像となるものであり、１画面としてのサイズに収めることができる。その場合、モニタ装置５の画面を最も広く使用して表示することが可能となる。このため、縮小しない大きい画像として、圧縮前後を見比べることができるようになる。
オペレータは、このような分割合成ビデオデータＤＶによる表示を確認して、エンコードＯＫであるか、再エンコード処理を行うかを決めればよい。
なお、分割合成処理における分割及び合成の態様は多様に考えられる。
例えば図５（ｂ）の領域Ａ，Ｄを貼り合わせたり、領域Ｂ、Ｄを貼り合わせたり、領域Ｂ、Ｄを貼り合わせることも考えられる。
また復号ビデオデータＤ２’、圧縮前ビデオデータＤ１を、それぞれ上下に２分割して、それぞれから所要の領域を抽出して貼り合わせても良い。
もちろん復号ビデオデータＤ２’、圧縮前ビデオデータＤ１について、それぞれ３分割以上して、それぞれから所要の領域を抽出して貼り合わせても良い。
また、分割合成ビデオデータＤＶにおいて、復号ビデオデータＤ２’の映像が占める領域面積と、圧縮前ビデオデータＤ１の映像が占める領域面積とは、同じであっても良いし、異なっても良い。復号ビデオデータＤ２’の映像と圧縮前ビデオデータＤ１の映像の境界線をオペレータの入力に応じて設定する機能を持たせることもできる。
このように、分割の仕方や、貼り合わせる分割領域の選定は、どのようなものでも良く、一画面上で表示させて復号ビデオデータＤ２’と圧縮前ビデオデータＤ１の画質を比較できるものであればよい。
例えば図５（ｂ）の領域Ａ，Ｄを貼り合わせたり、領域Ｂ、Ｄを貼り合わせたり、領域Ｂ、Ｄを貼り合わせることも考えられる。
また復号ビデオデータＤ２’、圧縮前ビデオデータＤ１を、それぞれ上下に２分割して、それぞれから所要の領域を抽出して貼り合わせても良い。
もちろん復号ビデオデータＤ２’、圧縮前ビデオデータＤ１について、それぞれ３分割以上して、それぞれから所要の領域を抽出して貼り合わせても良い。
また、分割合成ビデオデータＤＶにおいて、復号ビデオデータＤ２’の映像が占める領域面積と、圧縮前ビデオデータＤ１の映像が占める領域面積とは、同じであっても良いし、異なっても良い。復号ビデオデータＤ２’の映像と圧縮前ビデオデータＤ１の映像の境界線をオペレータの入力に応じて設定する機能を持たせることもできる。
このように、分割の仕方や、貼り合わせる分割領域の選定は、どのようなものでも良く、一画面上で表示させて復号ビデオデータＤ２’と圧縮前ビデオデータＤ１の画質を比較できるものであればよい。
［４．プログラム］
本実施の形態のプログラムは、上述した実施の形態の図２、又は図４の処理動作をＣＰＵ等の演算処理装置（主コントローラ１４等）に実行させるプログラムである。
即ち本実施の形態のプログラムは、圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコードステップを演算処理装置に実行させる。また、エンコードステップで得られた圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、該復号ビデオデータの映像と、該復号ビデオデータと同一時間範囲の圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理ステップを演算処理装置に実行させる。
本実施の形態のプログラムは、上述した実施の形態の図２、又は図４の処理動作をＣＰＵ等の演算処理装置（主コントローラ１４等）に実行させるプログラムである。
即ち本実施の形態のプログラムは、圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコードステップを演算処理装置に実行させる。また、エンコードステップで得られた圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、該復号ビデオデータの映像と、該復号ビデオデータと同一時間範囲の圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理ステップを演算処理装置に実行させる。
このような本実施の形態のプログラムは、コンピュータ装置や、オーサリングシステム上の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、本発明のプログラムは、リムーバブル記録媒体からコンピュータ装置等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
そして本実施の形態のプログラムによれば、上記実施の形態の処理を実現するビデオデータ処理装置、オーサリングシステムの実現及び広範な提供に適している。
そして本実施の形態のプログラムによれば、上記実施の形態の処理を実現するビデオデータ処理装置、オーサリングシステムの実現及び広範な提供に適している。
１ ビデオデータ処理装置、２ オーサリングアプリケーション、３ ビデオデータサーバ、４ 圧縮データサーバ、５ モニタ装置、６ ＧＵＩ部、７ エンコードマネージャ、８ エンコードコントロール部、１２ エンコーダ、１３ デコードコントロール部、１７ デコーダモジュール、１９ ビデオ合成モジュール、２１ 分割合成モジュール
Claims (6)
- 入力された圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコード部と、
上記エンコード部で生成された圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、上記復号ビデオデータと同一時間範囲の圧縮前ビデオデータを取得し、上記復号ビデオデータの映像と上記圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理部と、
を備えたビデオデータ処理装置。 - 上記合成処理部は、上記合成ビデオデータを、表示装置に供給して表示させる請求項１に記載のビデオデータ処理装置。
- 上記合成処理部は、上記合成ビデオデータを、所定の格納部に供給して格納させる請求項１に記載のビデオデータ処理装置。
- 上記所定の格納部に格納された上記合成ビデオデータを読み出し、読み出した合成ビデオデータについて、上記復号ビデオデータの映像の一部と、上記圧縮前ビデオデータの映像の一部とを合成し、当該各部分をつなぎ合わせた映像となる分割合成ビデオデータを生成し、該分割合成ビデオデータを、表示装置に供給して表示させる分割合成処理部を、さらに備えた請求項３に記載のビデオデータ処理装置。
- 圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコードステップと、
上記エンコードステップで得られた圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、該復号ビデオデータの映像と、該復号ビデオデータと同一時間範囲の圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理ステップと、
を備えたビデオデータ処理方法。 - 圧縮前ビデオデータに対し圧縮エンコードを行い圧縮ビデオデータを生成するエンコードステップと、
上記エンコードステップで得られた圧縮ビデオデータを非圧縮デコードして復号ビデオデータを得るとともに、該復号ビデオデータの映像と、該復号ビデオデータと同一時間範囲の圧縮前ビデオデータの映像が同期して一表示画面内で並列表示される映像となる合成ビデオデータを生成する合成処理ステップと、
を演算処理装置に実行させるプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010023989A JP2011166261A (ja) | 2010-02-05 | 2010-02-05 | ビデオデータ処理装置、ビデオデータ処理方法、プログラム |
| US12/931,271 US20110228857A1 (en) | 2010-02-05 | 2011-01-27 | Video data processing apparatus, video data processing method, and program |
| CN2011100332747A CN102148938A (zh) | 2010-02-05 | 2011-01-28 | 视频数据处理装置、视频数据处理方法和程序 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010023989A JP2011166261A (ja) | 2010-02-05 | 2010-02-05 | ビデオデータ処理装置、ビデオデータ処理方法、プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011166261A true JP2011166261A (ja) | 2011-08-25 |
Family
ID=44422905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010023989A Pending JP2011166261A (ja) | 2010-02-05 | 2010-02-05 | ビデオデータ処理装置、ビデオデータ処理方法、プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20110228857A1 (ja) |
| JP (1) | JP2011166261A (ja) |
| CN (1) | CN102148938A (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294425B (zh) * | 2012-02-27 | 2019-02-05 | 联想(北京)有限公司 | 图像处理方法和图像处理设备 |
| CN110798641B (zh) * | 2013-06-24 | 2022-05-17 | 索尼公司 | 再现装置、再现方法以及记录介质 |
| US9749636B2 (en) * | 2014-10-24 | 2017-08-29 | Intel Corporation | Dynamic on screen display using a compressed video stream |
| JP6907880B2 (ja) * | 2017-10-24 | 2021-07-21 | オムロン株式会社 | 画像処理装置、画像処理システム、画像処理プログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6057882A (en) * | 1996-10-29 | 2000-05-02 | Hewlett-Packard Company | Testing architecture for digital video transmission system |
| JP3791114B2 (ja) * | 1997-04-30 | 2006-06-28 | ソニー株式会社 | 信号再生装置及び方法 |
| JP2000165802A (ja) * | 1998-11-25 | 2000-06-16 | Matsushita Electric Ind Co Ltd | ストリーム編集装置と編集方法 |
| US7430002B2 (en) * | 2001-10-03 | 2008-09-30 | Micron Technology, Inc. | Digital imaging system and method for adjusting image-capturing parameters using image comparisons |
| JP4655191B2 (ja) * | 2004-09-02 | 2011-03-23 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
| US7974485B1 (en) * | 2005-10-27 | 2011-07-05 | Nvidia Corporation | Split-frame post-processing in a programmable video pipeline |
-
2010
- 2010-02-05 JP JP2010023989A patent/JP2011166261A/ja active Pending
-
2011
- 2011-01-27 US US12/931,271 patent/US20110228857A1/en not_active Abandoned
- 2011-01-28 CN CN2011100332747A patent/CN102148938A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN102148938A (zh) | 2011-08-10 |
| US20110228857A1 (en) | 2011-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW446939B (en) | Optical disc, optical disc recording apparatus, and optical disc recording method for facilitating dubbing, storage medium for storing optical disc recording program for facilitating dubbing optical disc reproducing apparatus and method | |
| JP6508249B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
| JP6501952B2 (ja) | 再生装置 | |
| JP6508248B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
| JP5652642B2 (ja) | データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法 | |
| JP6872098B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
| TW200847143A (en) | Information encoding method, information playback method, and information storage medium | |
| JP2010245938A (ja) | 信号処理装置、信号処理方法、プログラム | |
| WO2004008747A2 (en) | Interleaving of base and enhancement layers for hd-dvd | |
| JP2019079591A (ja) | 再生装置、及び、再生方法 | |
| JP2019079590A (ja) | 再生方法および再生装置 | |
| JP2011166261A (ja) | ビデオデータ処理装置、ビデオデータ処理方法、プログラム | |
| JP2019075819A (ja) | デコーダシステムおよびデコード方法 | |
| JP2004118986A (ja) | 情報記録装置および方法 | |
| JPWO2005015907A1 (ja) | データ処理装置 | |
| JP2019091520A (ja) | 再生方法および再生装置 | |
| JP6477715B2 (ja) | 情報処理装置、情報処理方法、およびプログラム、並びに記録媒体 | |
| JP2002176623A (ja) | ビデオデータの択一的な再生が可能なマルチメディアストリーム生成方法とマルチメディア光ディスクオーサリングシステム | |
| JP2007042197A (ja) | 複合型記録再生装置 | |
| US20070122113A1 (en) | Information reproducing apparatus and information reproducing method | |
| JP6589980B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
| JP2004312743A (ja) | デジタルデータ複製装置及びその方法 | |
| JP4539755B2 (ja) | 情報処理システム及び情報処理方法、並びにプログラム | |
| JP2009232319A (ja) | 動画符号化装置、動画再生装置、記録媒体、動画符号化プログラム、および動画再生プログラム | |
| JP2006245936A (ja) | サウンド加工装置、サウンド加工装置の制御方法、プログラム、集積回路および再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110512 |