JP2009171134A

JP2009171134A - 映像フォーマット変換装置

Info

Publication number: JP2009171134A
Application number: JP2008005923A
Authority: JP
Inventors: Hideki Yoshioka; 秀樹吉岡; Hisahiro Ito; 寿浩伊藤
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2008-01-15
Filing date: 2008-01-15
Publication date: 2009-07-30

Abstract

【課題】デジタル映像ファイルのフォーマットを高速に変換する映像フォーマット変換装置を提供する。
【解決手段】本発明の映像フォーマット変換装置１００は、第１のフォーマットで圧縮された映像データを伸長して第２のフォーマットに変換する装置であり、第１のフォーマットの圧縮映像データを、伸長する際に前後の相関関係がないような区切りで分割し、複数の映像データの塊を形成する分割手段３００と、当該映像データの塊の各々を、並行処理で第２のフォーマットに変換する変換手段４０１〜４０３と、当該フォーマット変換した映像データの塊の各々を、第１のフォーマットの圧縮映像データの順で合成する合成手段５００とを備える。
【選択図】図１

Description

本発明は、デジタル映像ファイルのフォーマット変換に関し、特に、デジタル映像ファイルを分割して、フォーマット変換を行う映像フォーマット変換装置に関する。

コンピュータの性能の向上により、企業において、映像データをコンピュータで扱う機会が増えてきている。

映像データをコンピュータで扱うには、映像データを符号化し、デジタル映像ファイルを生成する必要がある。映像データを符号化するための方式としては、代表的なものにＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）がある。これは、映像データ中の動画像における画像の動き部分を抽出し、差分情報を保存することにより、情報を圧縮する技術である。

このＭＰＥＧには、ＭＰＥＧ−２やＭＰＥＧ−４など、複数の種類がある。ＭＰＥＧ−２については、ＩＳＯ／ＩＥＣＤＩＳ１３８１８−１、１３８１８−２、１３８１８−３などに規定されている。ＭＰＥＧ−４は、ＩＳＯ／ＩＥＣＦＤＩＳ１４４９６−１、１４４９６−２などに規定されている。ＭＰＥＧだけではなく、その他の符号化方式も存在する。

尚、１枚あたりの画像フレームの大きさには、標準仕様の１つとしてＨＤ（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）があり、これは１９２０×１０８０の解像度である。また、画像フレームの枚数は、１秒あたり３０枚程度である。

一方、例えばインターネットを介してコンピュータ間のデータ通信で符号化方式を変換する技術が知られている（例えば、特許文献１参照）。この技術は、第１の符号化方式（例えばＭＰＥＧ―２）の画像符号化ビットストリームを第２の符号化方式（例えば、ＭＰＥＧ−４）の画像符号化ビットストリームに変換する場合に、第１の符号化方式のパラメータを抽出し、このパラメータの値に応じて第２の符号化方式のパラメータに変換し、このパラメータを用いて第２の符号化方式に変換するものである。

特開２００１−２３８２１４号公報

前述したように、符号化方式は複数存在し、それぞれの用途に適した方式が用いられる。従って、いずれが最も優れているかは一概に定めることができない。また、今後新しい符号化方式が規定されることも考えられる。例えば、一つの企業の中においても、使用する符号化方式を一種類に留めることは難しい。従って、実際には、映像情報をある業務で使用した後、別の業務で使用する際に、映像フォーマットの変換を施す必要性が生じる。

しかしながら、このフォーマット変換には、高速なコンピュータを使用しても、多くの時間を費やすという問題がある。これは、ＨＤ映像データの場合、１枚の画像フレームの解像度は、１９２０×１０８０、画像フレームは１秒あたり約３０枚という情報量の多さに起因している。即ち、フォーマット変換を行うには、符号化されたこれらの画像フレーム１枚１枚を伸長して一旦ビットマップの形に戻し、再度別の方式の符号化を施すことが必要になる。

また、符号化されたデータサイズや格納すべきバッファサイズを考慮せずに、符号化パラメータを抽出して出力する符号化方式のパラメータに変換して、符号化方式を変換すると、デッドロックを起こす可能性がある。

そこで、本発明の目的は、デジタル映像ファイルのフォーマットを高速に変換する映像フォーマット変換装置を提供することにある。

本発明の映像フォーマット変換装置は、第１のフォーマットで圧縮された映像データを伸長して第２のフォーマットに変換する映像フォーマット変換装置であって、第１のフォーマットの圧縮映像データを、伸長する際に前後の相関関係がないような区切りで分割し、複数の映像データの塊を形成する分割手段と、当該映像データの塊の各々を、並行処理で第２のフォーマットに変換する変換手段と、当該フォーマット変換した映像データの塊の各々を、前記第１のフォーマットの圧縮映像データの順で合成する合成手段とを備えることを特徴とするものである。

本発明の映像フォーマット変換装置では、１つのハードウェア（例えば、ＣＰＵ）に、画像フレーム単位でフォーマット変換処理を割り振る。ただし、ＭＰＥＧの場合、画像フレームによっては、異なる画像フレーム間の差分情報のみをデータとして保持しているので、互いに相関関係のあるデータを異なるハードウェアに振り分けると、フォーマット変換のための伸長処理ができなくなってしまう。そこで、分割後の画像フレームを割り振る際に、分割前の映像データにおける前後の相関関係がない区切りを予め決定して、区切りと区切りの中で分割を行って個別の塊となる映像データ（個別の映像データ集合と考えることができる。）を生成し、１つのハードウェアに割り振るようにする。この第１のフォーマットの圧縮映像データを伸長して、これを第２のフォーマットの形式に圧縮する処理に時間を要するので、ハードウェアを複数用意し、異なる映像データの塊を並行処理すれば、処理時間を短縮することができる。

更に、本発明の映像フォーマット変換装置において、前記合成手段は、当該合成に必要とされるバッファを有し、該バッファの大きさは、前記区切りの間隔の大きさに基づいて予め確保されることを特徴とする。

本発明において、映像フォーマット変換を行うために、一旦映像データを分割するので、フォーマット変換を行った後に合成する必要がある。ただし、複数のハードウェアがフォーマット変換するのに要する時間は、ハードウェアの性能や映像の複雑さに依存するため、終了する順序で予め決められない。

そのため、フォーマット変換後の各映像データを合成するには、合成用のバッファが必要となる。一方で、分割の際、映像データを前後の相関関係がないように設けられた区切りに従って分割するので、ある程度大きな塊（即ち、分割後の個別の映像データ）になってしまう可能性がある。この塊が大きすぎると、合成用のバッファの大きさによっては、バッファが満杯になってしまい、デッドロックを起こす可能性がある。

そこで、本発明の映像フォーマット変換装置は、入力された映像データから、必要とされる合成用のバッファの大きさを予め確保するようにする。これにより、合成を高速に行うことができる。

本発明の映像フォーマット変換装置を用いれば、映像データを複数のハードウェアで並行してフォーマット変換を行うことにより、高速なフォーマット変換を可能とする。また、複数のハードウェアでフォーマット変換を実施する際、合成手段において必要とされるバッファの大きさを決定することができ、合成手段において発生しうるデッドロックを防止することが可能となる。

図１は、本発明による一実施例の映像フォーマット変換装置１００の構成を示す図である。映像フォーマット変換装置１００は、或るフォーマットでデジタル化された映像ファイルを画像としては全く同じ内容の、別のフォーマットのデジタル映像ファイルに高速に変換する装置である。映像フォーマット変換装置１００は、第１蓄積部２００、分配部３００、第１変換部４０１、第２変換部４０２、第３変換部４０３、合成部５００及び第２蓄積部６００を備える。尚、本実施例において、３つの変換部（第１変換部４０１、第２変換部４０２及び第３変換部４０３）として説明するが、２以上の任意の数の変換部を設けることができることは後述の説明で明らかになる。

第１蓄積部２００は、変換元のデジタル映像ファイルを蓄積する機能を有する。尚、この変換元のデジタル映像ファイルは、第１の符号化方式で圧縮された映像データのファイルである。

分配部３００は、第１蓄積部２００からデジタル映像ファイルを読み出し、後述する予め規定した区切り手法で当該映像データを分割し、分割した個別の映像データの各々を第１変換部４０１、第２変換部４０２及び第３変換部４０３に順次振り分けるように送出する機能を有する。

第１変換部４０１、第２変換部４０２及び第３変換部４０３の各々は、分配部３００から受け取った分割後の個別の映像データを第１の符号化方式とは異なる符号化方式のフォーマットのデジタル映像データに変換する機能を有する。

合成部５００は、第１変換部４０１、第２変換部４０２及び第３変換部４０３から受け取った個別のデジタル映像データを合成し、フォーマット変換後のデジタル映像データファイルを生成する機能を有する。

第２蓄積部６００は、最終的に合成を完了したフォーマット変換後のデジタル映像データをファイルとして保存する機能を有する。

このように、映像ファイルのフォーマットを変換する処理を各変換部（第１変換部４０１、第２変換部４０２及び第３変換部４０３）で並行して処理することにより、映像フォーマット変換装置１００として高速に変換処理を行うことが可能となる。例として、映像フォーマット変換装置１００は、第１の符号化方式であるＭＰＥＧ−２の映像データファイルを、第２の符号化方式であるＨ．２６４の映像データファイルに高速に変換することができる。

尚、分配部３００、第１変換部４０１、第２変換部４０２、第３変換部４０３及び合成部５００は、それぞれを異なるコンピュータで実現することができ、或いは又１台のコンピュータ上で実現することもできる。

図２は、本発明による一実施例の映像フォーマット変換装置１００の一つのコンポーネントである第１変換部４０１の構成を示している。尚、第２変換部４０２又は第３変換部４０３などの並列に設けられる変換部は、第１変換部４０１と同一の構成からなり、代表的に第１変換部４０１について説明する。

第１変換部４０１は、デジタル映像データの１つの塊（即ち、分割後の個別の映像データ）を受け取り、当該塊を、画像内容は同一ではあるがフォーマットが異なるデジタル映像データに変換する。

第１ネットワークインタフェース４１１は、分配部３００からデジタル映像データを受信するネットワークのインタフェースボードである。例として、イーサネット（登録商標）のインタフェースなどがある。

デコーダ４１２は、デジタル映像データを伸長して、非圧縮の映像データに変換する。例として、ＭＰＥＧ−２のデコーダが挙げられる。

バッファ４１３は、デコーダ４１２によって伸長したビットマップデータを一時的に蓄積するメモリである。

エンコーダ４１４は、非圧縮のビットマップデータを、所望のデジタル映像フォーマットに圧縮する。例として、Ｈ．２６４の圧縮方式がある。

第２ネットワークインタフェース４１５は、エンコーダ４１４から受け取ったデジタル映像データを合成部５００に渡すためのネットワークのインタフェースボードである。例として、イーサネット（登録商標）のインタフェースなどが適用できる。

このように、第１変換部４０１は、デジタル映像データの１つの塊を受け取り、デコーダ４１２にて第１の符号化方式（ＭＰＥＧ−２）でデコードし、エンコーダ４１４にて第２の符号化方式（Ｈ．２６４など）で符号化し、映像フォーマット変換を行う。このような変換部を複数設けて並列処理を行い、合成することにより、高速にデジタル映像フォーマットの変換を実現することができる。例として、ＭＰＥＧ−２映像データの塊を、Ｈ．２６４のフォーマットに変換する構成が挙げられる。

図３（ａ）〜図３（ｃ）は、分配部３００において、デジタル映像データを分配するときの処理を示す図である。分配部３００の中にバッファ１００１があるとする。図３（ａ）は、バッファ１００１内に保持されたデジタル映像データの構成を示している。デジタル映像データは、一般的には、連続する画像フレームから構成されている。図３（ａ）では、画像フレーム１００２、１００３、１００４、・・・が示されている。分配部３００は、デジタル映像データを解析し、画像フレーム単位に論理的に分割する機能を有している。

デジタル映像データは、圧縮方式によっては、個々の画像データが独立した画像フレーム情報を有する場合と、隣接の画像フレームとの差分情報のみを有する場合がある。独立した画像フレーム情報を持つ場合と、隣接の画像フレームとの差分情報を持つ場合とでは、分割における区切り手法が異なる。

例えば、或るデータの塊を第１変換部４０１に送信し、次のデータの塊を第２変換部４０２に送信する場合を説明する。ここで、分配部３００によって、第２変換部４０２に送信したデータの塊の先頭の画像フレームデータが、第１変換部４０１に送信された画像フレームとの差分情報しか存在しないように映像データに区切りを設けてしまうと、第２変換部４０２では、変換のために必要な伸長処理が正しく行われないという問題が発生する。そこで、分配部３００は、デジタル映像データを分割する場合、前後の画像フレームに対して相関関係がないところで当該一連の映像データに対して区切りを設ける必要がある。

ＭＰＥＧ−２の場合、一つの方法として、全ての画像フレームに、前後のフレームとは独立した情報を持たせることができる（図３（ｂ）参照）。この場合、それぞれのフレームは、イントラフレームと呼ばれるものであり、図３（ｂ）において、「Ｉ」と表示している。図３（ｂ）の場合、いずれの箇所で分割しても問題が発生しない。ただし、分割数をあまりに多くすると、分割処理のオーバーヘッドが増大し、装置性能の低下を招くことも考えられる。そこで、ある程度まとまった塊にして分割する。例えば、映像データとして１秒分、即ちフレーム数にして３０枚分を一つの塊（図３（ｂ）では、１１０２、１１０３、１１０４、・・・）にして、この塊を各変換部（第１変換部４０１、第２変換部４０２及び第３変換部４０３）に送出するようにする。即ち、図３（ｂ）では、塊（１１５１）は、全てがイントラフレームの画像フレーム（１１０２、１１０３、１１０４、・・・）からなる。

一方、ＭＰＥＧ−２の場合、画像フレームの差分情報を持たせる圧縮方式がある。この場合、図３（ｃ）に示すように、一つの塊（１２５１）に、他と相関のないフレームが先頭に一つだけあり、それに続く画像フレームは、その前後のフレームとの差分情報のみを有している。即ち、この塊は、いわゆるＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅ）の単位で構成している。つまり、１つのＧＯＰの中で区切りを設けて分割してしまうと、イントラフレームを持たない塊を生成することになり、当該イントラフレームを持たない塊を受け取った変換部は、各変換部として独立した伸長処理ができないことになる。そこで、分割部３００は、必ずＧＯＰ単位の塊（同図において、１２５１、１２５２、・・・）を各変換部（第１変換部４０１、第２変換部４０２及び第３変換部４０３）に送出する。例として、ＭＰＥＧ−２やＭＰＥＧ−４には、ヘッダと呼ばれるデータ内容を示す情報が格納されており、ＧＯＰ（ＭＰＥＧ−４ではＧＯＶ：ＧｒｏｕｐｏｆＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ）の区切りを示すＧＯＰヘッダを見つけてＧＯＰヘッダから次のＧＯＰヘッダまでの間のデータを抽出するだけで、イントラフレームから始まるＧＯＰ単位の塊を容易に生成することができる。また、Ｈ．２６４の場合には、ビットストリームを構成するＮＡＬ（ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ）ユニットのヘッダ情報を参照してＩＤＲ（ＩｎｓｔａｎｔａｎｅｏｕｓＤｅｃｏｒｄｅｒＲｅｆｌｅｓｈ）ピクチャを見つけて、ＩＤＲピクチャから次のＩＤＲピクチャまでのＮＡＬユニットを抽出することで、前後との相関のないデータの塊を生成することができる。

このように構成したことにより、分割部３００は、変換部が正しく伸長処理を行うことができるような形で、分割処理を実施することが可能となる。

図４は、本発明による一実施例の映像フォーマット変換装置において、分割部３００内で分割する塊の大きさと、合成部５００におけるバッファの大きさの関係を示す図である。合成部５００は、合成バッファ５０１を備えている。合成部５００は、各変換部で生成された第２の映像フォーマットの映像データを受信して、合成バッファ５０１に格納する。生成されるデジタル映像データは、当然のことながら、元のデジタル映像データの画像フレームの順序を維持しなければならない。しかしながら、各変換部は、データの条件（例えば、前述した塊を生成するための区切り手法の違い）やハードウェア性能が異なる場合があり、必ずしも順序どおり処理を終えるとは限らない。そのため、合成バッファ５０１に書き込む際には、複数の変換部から受け取るデジタル映像データのフレーム番号などを参照することにより、適切な順序になるように挿入する形で書き込む必要がある。

具体的に説明すると、図４の分割部の分割バッファ３０２内でデータの塊がｄ_１、ｄ_２、ｄ_３、ｄ_４、ｄ_５として存在し、第１変換部４０１、第２変換部４０２、第３変換部４０３のそれぞれに、ｄ_１、ｄ_２、ｄ_３を振り分けたとする。それぞれの変換部は、フォーマット変換を行い、生成したデジタル映像データを集約させるために合成部５００に送出するが、データの条件（例えば、前述した塊を生成するための区切り手法の違い）やハードウェア性能の相違で、必ずしも第１変換部４０１、第２変換部４０２、第３変換部４０３の順番で処理を終えるとは限らない。

例えば、図４において、ｄ_１’、ｄ_２’、ｄ_３’、ｄ_４’、ｄ_５’が、それぞれｄ_１、ｄ_２、ｄ_３、ｄ_４、ｄ_５を変換した結果とする。例えば、ｄ_１’よりｄ_２’が先に生成される場合が起こりうる。しかしながら、この場合にも、合成バッファ５０１には、ｄ_１’、ｄ_２’の順序で格納する必要がある。そして、ｄ_１’、ｄ_２’が揃って初めて、第２蓄積部６００に書き出すことができる。

以上のことから、合成バッファ５０１は、ある程度大きなバッファである必要がある。そこで、映像フォーマット変換装置１００が、スムーズに動作するために必要なバッファの量について説明する。ここでは、仮に、分割バッファ３０２内のデジタル映像データを分割した塊が一様の大きさであり、サイズを“Ａ”とする。変換部の数を“Ｎ”台とする。合成バッファ５０１の大きさを“Ｂ”とする。また、各変換部でのフォーマット変換前後の映像データ圧縮率をＺとする。Ｚは、変換元と変換後のデジタル映像のフォーマットによって値が決まる。

仮に、ＡにＮを乗算した値がＢに近い値か、又はＢより大きい値であるとすると、前述のように、先に生成されるべきデータｄ_１’が生成されずに、後のデータｄ_２’が先に生成されるようなことが起こりうるため、合成バッファ５０１内のデータを第２蓄積部６００に書き込むことができない。その結果、合成バッファ５０１を解放することができないため、次に変換部が生成したデータを第２蓄積部６００に書き込むことができなくなり、デッドロックを起こす可能性がある。

これを避けるために、合成バッファ５０１の容量は、或る程度の大きさが要求される。Ａ、Ｎ及びＢの間には、式（１）が成立すればよい。

Ａ×Ｎ×Ｚ×α＜Ｂ（１）
ただし、αは、余裕をとるための係数

ところで、分割バッファ３０２内のデータの塊（３０１）は、分割することが許される最小の塊の幾つかを組み合わせたものである。仮に最小単位の大きさを“ａ”で一定であるとし、変換部に振り分けるデータの塊が“Ｍ”個の最小単位からなるものとすると、式（２）が成立する。

ａ×Ｍ＝Ａ（２）

式（１）及び式（２）とを組み合わせると、式（３）のように表すことができる。

ａ×Ｍ×Ｎ×Ｚ＜α＜Ｂ（３）

従って、式（３）を満たす場合に、合成バッファ５０１内のデータが満杯になることはなく、その結果、装置全体がデッドロックを起こすことがなくなる。

尚、式（３）において、最小の塊の大きさ“ａ”は、扱う符号化方式の種類に依存して変更することができ、それ故予め定めることができる。“Ｎ”も固定であり、“Ｂ”は映像フォーマット変換装置１００の高速性を維持するためには、固定にするのが望ましい。式（３）において、“Ｍ”の値が存在するか否かで、高速に変換することが可能であるか否かが決まる。“Ｍ”を決定できない場合においては、高速性が保証できない例外的な状況である。

そこで、第１蓄積部２００のデジタル映像ファイルを読み出すことで、予め“Ｍ”の値が存在するか否かを調べ、“Ｍ”の値を決定しておくことができる。この決定した“Ｍ”により上記式（３）を満たすようにＢを定めて、合成部のバッファサイズを固定する。これによって高速変換が可能となる。もし、合成部５００の所要バッファ量が“Ｂ”を超える例外的な状況が発生すれば、合成バッファ５０１のデータを一時的にハードディスクなどの二次記憶装置（図示せず）に書き込むなどの例外処理を設ければよい。尚、合成部５００は、“Ｂ”の値を動的に決定することが可能となるように構成して、予め決定した“Ｍ”の値に応じて、合成バッファ５０１を確保するように機能させることができるが、この場合は高速変換が制限を受ける。

以上の構成により、映像データを複数のハードウェアでフォーマット変換を実現することが可能となり、従って高速な変換が可能となる。また、複数のハードウェアでフォーマット変換を行う場合、合成部５００において必要となる合成バッファ５０１の数及び／又は容量の大きさを式（３）に基づいて決定することができ、合成部５００において発生しうるデッドロックを防止することが可能となる。

上述の実施例については特定の符号化方式を代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変形及び置換することができることは当業者に明らかである。例えば、フレーム間予測を用いない符号化方式（ＭｏｔｉｏｎＪＰＥＧ方式など）においても適用可能である。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明による映像フォーマット変換装置は、映像フォーマットを変換する用途、特に動画ファイルを扱う用途に有用である。

本発明による一実施例の映像フォーマット変換装置の構成を示す図である。本発明による一実施例の映像フォーマット変換装置における変換部の構成を示す図である。本発明による一実施例の映像フォーマット変換装置におけるフォーマット変換を施す映像データの構成を示す図である。本発明による一実施例の映像フォーマット変換装置におけるフォーマット変換を施す映像データの構成と、変換後の映像データを合成した後の映像データの構成の関係を示す図である。

符号の説明

１００映像フォーマット変換装置
２００第１蓄積部
３００分配部
３０１データの塊
３０２分割バッファ
４０１第１変換部
４０２第２変換部
４０３第３変換部
４１１第１ネットワークインタフェース
４１２デコーダ
４１３バッファ
４１４エンコーダ
４１５第２ネットワークインタフェース
５００合成部
５０１合成バッファ
６００第２蓄積部
１００１バッファ
１００２，１００３，１００４画像フレーム
１１０１バッファ
１１０２，１１０３，１１０４画像フレーム
１１５１データの塊
１２０１バッファ
１２０２，１２０３，１２０４画像フレーム
１２５１，１２５２データの塊

Claims

第１のフォーマットで圧縮された映像データを伸長して第２のフォーマットに変換する映像フォーマット変換装置であって、
第１のフォーマットの圧縮映像データを、伸長する際に前後の相関関係がないような区切りで分割し、複数の映像データの塊を形成する分割手段と、
当該映像データの塊の各々を、並行処理で第２のフォーマットに変換する変換手段と、
当該フォーマット変換した映像データの塊の各々を、前記第１のフォーマットの圧縮映像データの順で合成する合成手段と、
を備えることを特徴とする映像フォーマット変換装置。
前記合成手段は、当該合成に必要とされるバッファを有し、該バッファの大きさは、前記区切りの間隔の大きさに基づいて予め確保されることを特徴とする、請求項１に記載の映像フォーマット変換装置。