JP2007336036A

JP2007336036A - 動画像合成装置及びプログラム

Info

Publication number: JP2007336036A
Application number: JP2006163173A
Authority: JP
Inventors: Satoyuki Shimizu; 智行清水; Akio Yoneyama; 暁夫米山; Yasuhiro Takishima; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2006-06-13
Filing date: 2006-06-13
Publication date: 2007-12-27
Anticipated expiration: 2026-06-13
Also published as: JP4569968B2

Abstract

【課題】ピクチャデータ又はマクロブロックに関する符号化パラメータが異なる動画像符号化データを合成する場合であっても、データを復号することなく、スムーズに再生をすることができる動画像合成装置及びプログラムを提供する。
【解決手段】動画像符号化データ毎に、ピクチャヘッダに含まれる第１の符号化パラメータ(f_code又はintra_dc_precision)を抽出する符号化パラメータ抽出部と、複数の符号化パラメータを比較して、最大値となる第１の最大符号化パラメータを選択する符号化パラメータ選択部と、第１の最大符号化パラメータに基づいて、各動画像符号化データのマクロブロックに含まれる第２の符号化パラメータを調整する符号化パラメータ調整部と、ピクチャヘッダに、第１の最大符号化パラメータを設定し、マクロブロックに、調整された第２の符号化パラメータを設定する動画像データ合成部とを有する。
【選択図】図５

Description

本発明は、複数の動画像符号化データを空間方向に接合して、１つの高解像度の動画像符号化データを生成する動画像合成装置及びプログラムに関する。特に、フレーム間予測を用いて圧縮符号化された動画像符号化データを、高解像度に合成する装置等に関する。

図１は、２つの動画像を合成した高解像度動画像を表す画面表示図である。

図１によれば、２つの動画像符号化データを空間方向に接合し、１つの高解像度の動画像符号化データが生成されている。

従来、複数の動画像符号化データを１つの動画像符号化データとして合成するには、最初に、各動画像符号化データを、復号化器を用いて１フレーム分の画素データに復号する。次に、各画素データを、画像合成器を用いて合成画像データに合成する。そして、合成画像データを、符号化器を用いて動画像符号化データに合成する。これにより、合成された動画像符号化データを生成することができる。

また、復号、画像合成及び再符号化をすることなく、動画像符号化データを合成する技術もある（例えば特許文献１参照）。この技術は、マクロブロックを含むスライスの順序を並べ替えるために、そのアドレスを書き換える。従って、同じフレームタイプの動画像符号化データを、そのまま合成することができる。

特開２０００−６９４７４号公報

しかしながら、復号、画像合成及び再符号化をする方法では、膨大な計算量を必要とするので、処理負荷が大きくなるという問題がある。リアルタイム性を確保するには、高い処理能力を要するコンピュータを必要とする。

また、特許文献１に記載された技術は、合成される動画像符号化データについて、ピクチャデータ又はマクロブロックに関する符号化パラメータが同一であることを前提としている。即ち、これら符号化パラメータが異なる場合、合成された動画像符号化データは、スムーズな再生をすることができない。現実に、被写体の動きの激しい動画像符号化データと、被写体の動きが少ない動画像符号化データとを合成した場合、スムーズな再生をすることはできない。

従って、本発明は、ピクチャデータ又はマクロブロックに関する符号化パラメータが異なる動画像符号化データを合成する場合であっても、データを復号することなく、スムーズに再生をすることができる動画像合成装置及びプログラムを提供することを目的とする。

本発明によれば、入力された複数の動画像符号化データを空間方向に接合し、１つの高解像度の動画像符号化データを生成する動画像合成装置において、
動画像符号化データ毎に、ピクチャヘッダに含まれる第１の符号化パラメータを抽出する符号化パラメータ抽出手段と、
複数の第１の符号化パラメータを比較して、最大値となる第１の最大符号化パラメータを選択する符号化パラメータ選択手段と、
第１の最大符号化パラメータに基づいて、各動画像符号化データのマクロブロックに含まれる第２の符号化パラメータを調整する符号化パラメータ調整手段と、
入力された複数の動画像符号化データの表示位置情報を書き換えて空間方向に接合すると共に、ピクチャヘッダに、第１の最大符号化パラメータを設定し、マクロブロックに、調整された第２の符号化パラメータを設定する動画像データ合成手段と
を有することを特徴とする。

本発明の動画像合成装置における他の実施形態によれば、第１の符号化パラメータは、動きベクトルに関するパラメータであることも好ましい。

本発明の動画像合成装置における他の実施形態によれば、
動画像符号化データが、ＭＰＥＧに基づくものであり、
第１の符号化パラメータは、f_codeであり、
第２の符号化パラメータは、motion_code及びmotion_residualである
ことも好ましい。

本発明の動画像合成装置における他の実施形態によれば、第１の符号化パラメータは、ＤＣＴ(Discrete Cosine Transform：離散コサイン変換)係数に関するパラメータであることも好ましい。

本発明の動画像合成装置における他の実施形態によれば、
動画像符号化データが、ＭＰＥＧに基づくものであり、
第１の符号化パラメータは、intra_dc_precisionであり、
第２の符号化パラメータは、dct_dc_size及びdct_dc_differentialである
ことも好ましい。

本発明の動画像合成装置における他の実施形態によれば、第１の最大符号化パラメータは、最も精度が高い第１の符号化パラメータであることも好ましい。

本発明によれば、入力された複数の動画像符号化データを空間方向に接合し、１つの高解像度の動画像符号化データを生成する装置に搭載されたコンピュータを機能させる動画像合成プログラムにおいて、
動画像符号化データ毎に、ピクチャヘッダに含まれる第１の符号化パラメータを抽出する符号化パラメータ抽出手段と、
複数の第１の符号化パラメータを比較して、最大値となる第１の最大符号化パラメータを選択する符号化パラメータ選択手段と、
第１の最大符号化パラメータに基づいて、各動画像符号化データのマクロブロックに含まれる第２の符号化パラメータを調整する符号化パラメータ調整手段と、
入力された複数の動画像符号化データの表示位置情報を書き換えて空間方向に接合すると共に、ピクチャヘッダに、第１の最大符号化パラメータを設定し、マクロブロックに、調整された第２の符号化パラメータを設定する動画像データ合成手段と
してコンピュータを機能させることを特徴とする。

本発明の動画像合成プログラムにおける他の実施形態によれば、第１の符号化パラメータは、動きベクトルに関するパラメータであるようにコンピュータを機能させることも好ましい。

本発明の動画像合成プログラムにおける他の実施形態によれば、第１の符号化パラメータは、ＤＣＴ係数に関するパラメータであるようにコンピュータを機能させることも好ましい。

本発明の動画像合成装置及びプログラムによれば、ピクチャデータ又はマクロブロックに関する符号化パラメータが異なる動画像符号化データを合成する場合であっても、データを復号することなく、スムーズに再生をすることができる。

以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。

図２は、ＭＰＥＧ２(Moving Picture Experts Group - 2)に基づくデータ構成図である。

図２によれば、最初に、シーケンスヘッダとＧＯＰ(Group Of Picture)データとから構成される。シーケンスヘッダには、フレームの縦横画素数等が記述される。ＧＯＰデータは、一連の順序を持ったＩ、Ｐ及びＢピクチャデータの集合である。

ＧＯＰデータは、ＧＯＰヘッダと、複数のピクチャデータとから構成される。ＧＯＰヘッダは、グループの最初に提示する画面の時刻を表すタイムコード等を含む。ピクチャデータは、１枚のフレーム（画像）を表す。

ピクチャデータは、ピクチャヘッダと、スライスデータとから構成される。図２によれば、１枚のピクチャデータは、縦１０８８画素×横１４４０画素からなり、６８ラインのスライスから構成される。スライスは、１枚のピクチャを帯状に断片化したものである。図２によれば、１つのスライスは、スライスヘッダと、９０個のマクロブロックデータとから構成される。１つのマクロブロックは、１６画素×１６ラインの正方形の画素ブロックである。

図３は、合成されたピクチャデータの構成図である。

図３によれば、２枚のピクチャデータが、左右に並べて接合されている。スライスの並び変えは、表示位置情報を書き換えることによってなされる。合成された１枚のピクチャデータは、縦１０８８画素（６８スライス）×横２８８０画素（１８０マクロブロック）で表された高解像度の画像となる。

図４は、ピクチャデータの合成を表す説明図である。

図４によれば、２つのピクチャデータの列が、同期したピクチャデータ毎に、左右に並べて接合されている。合成されるピクチャデータのピクチャタイプは、同じでなければならない。

図５は、本発明におけるピクチャヘッダの書き換えを表す説明図である。

ピクチャヘッダは、ピクチャタイプ、符号化パラメータ等を含む。符号化パラメータには、動きベクトルに関する符号化パラメータと、ＤＣＴ係数に関する符号化パラメータとがある。最初に、合成されるピクチャデータＡ及びピクチャデータＢから、これら符号化パラメータを抽出する。

動きベクトルに関する符号化パラメータとしては、f_codeがある。f_codeは、ピクチャ単位で表した動きベクトルの範囲（予測のフレーム間隔）を表す。ＭＰＥＧによれば、隣接画像から予測するだけでなく、離れた画像からも予測するために、フレーム間隔に比例する大きな動きが発生する。そのために、３ビットのf_code（１〜７）を用いて、フレーム間隔１、２、４、８、１６、３２、６４を表す。

ＤＣＴ係数に関する符号化パラメータとしては、intra_dc_precisionがある。intra_dc_precisionは、ＩピクチャにおけるＤＣＴ係数におけるＤＣ（直流）成分を表す。intra_dc_precisionは、８〜１１のビット精度を表す。
１１ビット精度：-1023〜1024の連続した整数
１０ビット精度：-1022,-1020,〜,1022,1024のように、２つ置きに間引いた整数
９ビット精度：-1020,-1016,〜,1020,1024のように４つ置きに間引いた整数
８ビット精度：-1016,-1008,〜,1016,1024のように８つ置きに間引いた整数

実際には、ＤＣ係数を間引き間隔で除算した値を導出し、左側のマクロブロックのＤＣ係数との差分deltaが、ＭＰＥＧ−２符号化データに格納される。

ピクチャヘッダＡのf_code(A)と、ピクチャヘッダBのf_code(B)とを比較し、大きい方の値を、合成されたピクチャデータのピクチャヘッダに設定する。f_code(A)＞f_code(B)であれば、合成されたピクチャヘッダのf_codeには、f_code(A)を設定する。逆に、f_code(A)＜f_code(B)であれば、合成されたピクチャヘッダのf_codeには、f_code(B)を設定する。

ピクチャヘッダＡのintra_dc_precision(A)と、ピクチャヘッダBのintra_dc_precision(B)とを比較し、精度の高い方の値を、合成されたピクチャデータのピクチャヘッダに設定する。intra_dc_precision(A)＞intra_dc_precision(B)であれば、合成されたピクチャヘッダのintra_dc_precisionには、intra_dc_precision(A)を設定する。逆に、intra_dc_precision(A)＜intra_dc_precision(B)であれば、合成されたピクチャヘッダのintra_dc_precisionには、intra_dc_precision(B)を設定する。

図６は、マクロブロックの動きベクトルパラメータの書き換えを表す説明図である。

ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）のマクロブロックデータには、マクロブロック単位で動きベクトルを指定する符号化パラメータとして、motion_code及びmotion_residualがある。図６によれば、f_code(A)＞f_code(B)の場合が表されており、f_code(A)を選択する。そうすると、ピクチャヘッダＢのf_codeには、f_code(A)が設定される。また、マクロブロックＢの符号化パラメータmotion_code及びmotion_residualは、f_code(A)に基づいて再符号化される。

（Ｓ６０１）動きベクトルmvd(motion vector data)が、以下の式によって導出される。
mvd＝motion_code×２^(f_code-1)＋motion_residual

前述の式に、f_code(B)、motion_code(B1)及びmotion_residual(B1)を代入して、動きベクトルmvdを算出する。
mvd(B1)＝motion_code(B1)×２^{(f_code(B)-1)}＋motion_residual(B1)

ここで、ｆ＝２^(f_code-1)と定義し、f_code＝f_code(A)とする。そうすると、ｆ＝２^{(f_code(A)-1)}によって、以下のようにmotion_code及びmotion_residualを算出することができる。
mvd＝０の場合、motion_residual＝０とする。
mvd＞０の場合、
motion_code＝（mvd＋ｆ−１）／ｆ
motion_residual＝ｆ−motion_code×ｆ＋mvd−１
mvd＜０の場合、
motion_code＝（mvd−ｆ＋１）／ｆ
motion_residual＝ｆ＋motion_code×ｆ−mvd−１

motion_codeは、可変長符号化テーブルに従って可変長符号化される。motion_residualは、（f_code−１）ビットの固定長符号として符号化される。これにより、動きベクトルmvdが同じであっても、f_codeの値によって、動きベクトルmvdの符号長が異なる。

通常、一方のマクロブロックの動きベクトルと、他方のマクロブロックの動きベクトルとの差分(mvd)を符号化する。しかしながら、本発明によれば、f_codeを変更することによって再符号化する。尚、mvdは、ｘ成分とｙ成分とに分けて符号化される。

図７は、本発明におけるマクロブロックのＤＣ係数パラメータの書き換えを表す説明図である。

図７によれば、intra_dc_precision(A)＜intra_dc_precision(B)の場合が表されている。
（Ｓ７０１）左側のマクロブロックのイントラＤＣ係数と、原マクロブロックのイントラＤＣ係数との差分deltaを導出する（復号）。ＭＰＥＧ２によれば、deltaは、以下のように表される。
half_range＝２^{(dct_dc_size-1)}と定義する。
dct_dc_size＝０の場合、
delta＝０
dct_dc_differential≧half_rangeの場合、
delta＝dct_dc_differential
dct_dc_differential＜half_rangeの場合、
delta＝dct_dc_differential−２×half_range
例えば、intra_dc_precision(A)が８ビット精度である場合、導出されたdeltaは、８ビット精度のintra_dc_precision(A)に基づく。

（Ｓ７０２）intra_dc_precision(A)に基づくdeltaを、intra_dc_precision(B)に基づくdeltaへ調整する。例えば、intra_dc_precision(B)が９ビット精度である場合、最初にdeltaを１１ビット精度に戻す。例えば、整数値を８倍（３ビット差）することによって得られる。次に、そのdeltaを、９ビット精度に変換する。例えば整数値を１／４（２ビット差）にすることによって得られる。

（Ｓ７０３）最後に、変換されたdeltaに基づいて、以下の式によってdct_dc_differentialを算出する。
d＝ｌｏｇ_２｜delta｜と定義する。
delta＝０の場合、
dct_dc_differentialは符号化しない。
delta＞０の場合、
dct_dc_differential＝delta
delta＜０の場合、
dct_dc_differential＝２^ｄ−１＋delta
従って、dct_dc_differentialは、dビットの固定長符号として符号化される。また、dct_dc_sizeは、可変長符号化テーブルに従って、ｄを可変長符号化したものである。

このようにして導出されたdct_dc_size及びdct_dc_differentialを、マクロブロックＢ１の符号化パラメータとして格納する。

図８は、本発明における動画像合成装置の機能構成図である。

図８によれば、動画像合成装置１は、符号化パラメータ抽出部１１と、符号化パラメータ選択部１２と、符号化パラメータ調整部１３と、動画像データ合成部１４とを有する。これら機能部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによっても実現できる。

符号化パラメータ抽出部１１は、入力された動画像符号化データ毎に、ピクチャヘッダに含まれる第１の符号化パラメータを抽出する。第１の符号化パラメータは、動きベクトルに関するパラメータ(f_code)及び／又はＤＣＴ係数に関するパラメータ(intra_dc_precision)である。これら第１の符号化パラメータは、符号化パラメータ選択部１２へ通知される。

符号化パラメータ選択部１２は、複数の符号化パラメータを比較して、最大値となる第１の最大符号化パラメータを選択する。特に、符号化パラメータ選択部は、最も精度が高くなる符号化パラメータを選択する。第１の最大符号化パラメータは、符号化パラメータ調整部１３及び動画像データ合成部１４へ通知される。

符号化パラメータ調整部１３は、第１の最大符号化パラメータに基づいて、各動画像符号化データのマクロブロックに含まれる第２の符号化パラメータを調整する。第１の符号化パラメータがf_codeである場合、第２の符号化パラメータは、motion_code及びmotion_residualである。また、第１の符号化パラメータがintra_dc_precisionである場合、第２の符号化パラメータは、dct_dc_size及びdct_dc_differentialである。調整された第２の符号化パラメータは、動画像データ合成部１４へ通知される。

動画像データ合成部１４は、最初に、入力された複数の動画像符号化データの表示位置情報を書き換えて空間方向に接合する。スライスに含まれるスライスヘッダには、Slice Start Codeが記述されている。このSlice Start Codeを、合成後のスライスの垂直位置を示すコードに修正する。スライスに含まれる先頭のマクロブロックについて、Macroblock
EscapeとMacroblock Address Incrementを合成後のスライスの先頭マクロブロックの水平位置を表すコードに修正する。これにより、ピクチャデータを合成することができる。

動画像データ合成部１４は、更に、ピクチャヘッダに、符号化パラメータ選択部１２から出力された第１の最大符号化パラメータを設定し（図５参照）、マクロブロックに、符号化パラメータ調整部１３から出力された第２の符号化パラメータを設定する（図６及び７参照）。

以上、詳細に説明したように、本発明の動画像合成装置及びプログラムによれば、ピクチャデータ又はマクロブロックに関する符号化パラメータが異なる動画像符号化データを合成する場合であっても、データを復号することなく、スムーズに再生をすることができる。

前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

２つの動画像を合成した高解像度動画像を表す画面表示図である。ＭＰＥＧ２に基づくデータ構成図である。合成されたピクチャデータの構成図である。ピクチャデータの合成を表す説明図である。本発明におけるピクチャヘッダの書き換えを表す説明図である。マクロブロックの動きベクトルパラメータの書き換えを表す説明図である。本発明におけるマクロブロックのＤＣ係数パラメータの書き換えを表す説明図である。本発明における動画像合成装置の機能構成図である。

符号の説明

１動画像合成装置
１１符号化パラメータ抽出部
１２符号化パラメータ選択部
１３符号化パラメータ調整部
１４動画像データ合成部

Claims

入力された複数の動画像符号化データを空間方向に接合し、１つの高解像度の動画像符号化データを生成する動画像合成装置において、
前記動画像符号化データ毎に、ピクチャヘッダに含まれる第１の符号化パラメータを抽出する符号化パラメータ抽出手段と、
複数の第１の符号化パラメータを比較して、最大値となる第１の最大符号化パラメータを選択する符号化パラメータ選択手段と、
第１の最大符号化パラメータに基づいて、各動画像符号化データのマクロブロックに含まれる第２の符号化パラメータを調整する符号化パラメータ調整手段と、
入力された前記複数の動画像符号化データの表示位置情報を書き換えて空間方向に接合すると共に、前記ピクチャヘッダに、第１の最大符号化パラメータを設定し、前記マクロブロックに、調整された第２の符号化パラメータを設定する動画像データ合成手段と
を有することを特徴とする動画像合成装置。
第１の符号化パラメータは、動きベクトルに関するパラメータであることを特徴とする請求項１に記載の動画像合成装置。
前記動画像符号化データが、ＭＰＥＧに基づくものであり、
第１の符号化パラメータは、f_codeであり、
第２の符号化パラメータは、motion_code及びmotion_residualである
ことを特徴とする請求項２に記載の動画像合成装置。
第１の符号化パラメータは、ＤＣＴ係数に関するパラメータであることを特徴とする請求項１に記載の動画像合成装置。
前記動画像符号化データが、ＭＰＥＧに基づくものであり、
第１の符号化パラメータは、intra_dc_precisionであり、
第２の符号化パラメータは、dct_dc_size及びdct_dc_differentialである
ことを特徴とする請求項４に記載の動画像合成装置。
第１の最大符号化パラメータは、最も精度が高い第１の符号化パラメータであることを特徴とする請求項４又は５に記載の動画像合成装置。
入力された複数の動画像符号化データを空間方向に接合し、１つの高解像度の動画像符号化データを生成する装置に搭載されたコンピュータを機能させる動画像合成プログラムにおいて、
前記動画像符号化データ毎に、ピクチャヘッダに含まれる第１の符号化パラメータを抽出する符号化パラメータ抽出手段と、
複数の第１の符号化パラメータを比較して、最大値となる第１の最大符号化パラメータを選択する符号化パラメータ選択手段と、
第１の最大符号化パラメータに基づいて、各動画像符号化データのマクロブロックに含まれる第２の符号化パラメータを調整する符号化パラメータ調整手段と、
入力された前記複数の動画像符号化データの表示位置情報を書き換えて空間方向に接合すると共に、前記ピクチャヘッダに、第１の最大符号化パラメータを設定し、前記マクロブロックに、調整された第２の符号化パラメータを設定する動画像データ合成手段と
してコンピュータを機能させることを特徴とする動画像合成プログラム。
第１の符号化パラメータは、動きベクトルに関するパラメータであるようにコンピュータを機能させることを特徴とする請求項７に記載の動画像合成プログラム。
第１の符号化パラメータは、ＤＣＴ係数に関するパラメータであるようにコンピュータを機能させることを特徴とする請求項７に記載の動画像合成プログラム。