JP2014127747A - 画像処理装置 - Google Patents

Abstract

【課題】 処理負荷を大幅に増加させずに、動画データの結合を可能とする。
【解決手段】 動画データをフレーム内符号化により符号化する符号化手段と、各フレームを識別する第１の識別情報と符号化タイプを識別する第２の識別情報とを含み、可変長符号化された付加情報を生成する手段であって、隣接フレーム間で値が重複しないように第１の識別情報を設定し、第１の値及び第２の値のうち符号長が長い方の第１の値を第２の識別情報に設定する生成手段と、符号化された動画データに付加情報を付加したストリームを記録する記録手段と、記録された二つのストリームを結合する結合手段と、二つのストリームの境界部で連続する２フレームの第１の識別情報が同じ値であった場合、一方のフレームの第２の識別情報を第２の値に変更し、一方のフレームの第１の識別情報を第１の値の符号長と第２の値の符号長の差の分だけ長い符号長の値に変更する制御手段とを備える。
【選択図】 図１２

Description

本発明は画像処理装置に関し、特に、符号化された動画データを処理する装置に関する。

従来、動画データをＨ．２６４方式に従い符号化し、符号化された動画データをＭＰ４ファイル形式で記録媒体に記録する装置が知られている（特許文献１参照）。Ｈ．２６４方式において、シーケンスパラメータセット、ピクチャパラメータセット、及びスライスヘッダは可変長符号化（ＶＬＣ）により符号化される。可変長符号化においては、情報源シンボルの発生確率に応じて決められた長さの符号後が各シンボルに割り当てられる。

また、Ｈ．２６４においては、ＩＤＲピクチャが用意されており、ＩＤＲピクチャを飛び越えた参照は禁止されている。Ｈ．２６４方式では、ＩＤＲピクチャの識別情報（ＩＤ）としてｉｄｒ＿ｐｉｃ＿ｉｄが規定されている。ｉｄｒ＿ｐｉｃ＿ｉｄはスライスヘッダに含まれ、そこにはＶＬＣにより符号化された値が格納される。また、Ｈ．２６４方式では、ストリームの互換性保証のため、隣接するＩＤＲピクチャのｉｄｒ＿ｐｉｃ＿ｉｄが異なる値に設定されることが必要となる。動画データを全てこのＩＤＲピクチャにより符号化することにより、符号化された状態で、フレーム単位での結合編集が容易になる。

特開２０１１−２３７７２

前述のように、各フレームがＩＤＲピクチャとして符号化された動画データを結合する場合を考える。結合を行った結果、結合境界の前後の連続した２フレームのｉｄｒ＿ｐｉｃ＿ｉｄが同じ値となることがある。この場合、何れか一方を違う値に変更する必要がある。

しかしながら、後に続くＩＤＲピクチャのｉｄｒ＿ｐｉｃ＿ｉｄの値によっては、ｉｄｒ＿ｐｉｃ＿ｉｄのビット数が違ってしまうことがある。例えば、ｉｄｒ＿ｐｉｃ＿ｉｄを変更することにより、ビット数が増加する場合がある。そのため、結合部分以降のストリームの全てのビットについて、２ビットずつ後方にシフトする必要があり、編集システムにとって大きな処理負荷となっていた。

本発明は前述の問題点に鑑み、処理負荷を大幅に増加させること無く、動画データの結合を可能とすることを目的とする。

本発明は、フレーム内符号化とフレーム間符号化のいずれかの符号化タイプを用いることが可能な符号化方式に従って動画データを符号化する手段であって、入力された動画データの各フレームをフレーム内符号化により符号化する符号化手段と、前記符号化された動画データの各フレームを識別するための第１の識別情報と、前記符号化された動画データの符号化タイプを識別するための第２の識別情報とを含み、前記第１の識別情報と前記第２の識別情報とが可変長符号化により符号化された付加情報を生成する手段であって、隣接するフレーム間で同じ値とならないように前記第１の識別情報の値を設定すると共に、それぞれが前記フレーム内符号化のタイプを示す、第１の値及び、前記第１の値よりも符号長が短い第２の値のうち、前記第１の値を前記第２の識別情報に設定する生成手段と、前記符号化された動画データの各フレームに前記生成手段により生成された付加情報を付加し、前記付加情報が付加された動画データのストリームを記録媒体に記録する記録手段と、前記記録媒体に記録された二つの前記動画データのストリームを結合し、結合された動画データのストリームを生成する結合手段と、前記結合された動画データのストリームにおける前記二つのストリームの境界部分の前後に連続する２フレームの前記第１の識別情報の値を検出し、この検出結果に応じて前記結合された動画データのストリームにおける付加情報を変更する制御手段とを備え、前記制御手段は、前記境界部分の前後に連続する２フレームの前記第１の識別情報が同じ値であった場合、前記２フレームのうちの少なくとも一方のフレームの前記第２の識別情報を前記第２の値に変更し、前記少なくとも一方のフレームの第１の識別情報を、前記第１の値の符号長と前記第２の値の符号長の差の分だけ長い符号長の値に変更する。

本発明によれば、処理負荷を大幅に増加させること無く、動画データの結合が可能になる。

本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。 実施形態において扱うファイル形式を示す図である。 Ｈ．２６４におけるスライスヘッダを示す図である。 可変長符号の例を示す図である。 スライスタイプに対応した識別情報の値を示す図である。 二つの動画データを結合する処理を示す図である。 結合処理を示すフローチャートである。 結合処理により生成される動画ファイルを示す図である。 結合処理により生成される動画ファイルを示す図である。 結合処理により生成される動画ファイルを示す図である。 ｉｄｒ＿ｐｉｃ＿ｉｄを変更する場合の変更前後の値を示す図である。 ｓｌｉｃｅ＿ｔｙｐｅとｉｄｒ＿ｐｉｃ＿ｉｄの変更前後のスライスヘッダを示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。

図１は、本発明の実施形態に係る画像処理装置１００の構成例を示すブロック図である。

図１において、入力部１０１は、動画データや音声データを取得して出力する。本実施形態では、入力部１０１はデータ処理装置１００の外部から供給された動画データや音声データを入力する。しかし、入力部１０１を撮像部やマイクロフォンを含む構成とし、撮像部で撮影された動画やマイクにより収集された音声データをそれぞれ取得する構成としてもよい。

信号処理部１０２は、記録時においては、入力部１０１により入力された動画データや音声データをＨ．２６４（ＭＰＥＧ４ ＡＶＣ）方式に従って符号化して、その情報量を圧縮する。また、動画データや音声データを記録するために必要な処理を行う。また、信号処理部１０２は、再生時においては、再生された動画データや音声データを復号し、その情報量を伸張する。信号処理部１０２は、記録時において、符号化された動画データや音声データの符号量（データ量）の情報を制御部１０２に出力する。

メモリ１０３は、動画データや音声データを記憶する。データ処理装置１００の各ブロックは、メモリ１０３に対してアクセスすることにより、必要な動画データや音声データを処理する。メモリ１０３は、動画データや音声データの他に、ファイルシステムの情報や、動画ファイルの管理情報など、各種の情報を記憶し、更に、制御部１０６による制御のためのワークメモリ等の役割を果たす。

メディアデータ管理部１０４は、記録時においては、後述の様に、ＭＰ４ファイルにて規定された各種の情報を生成し、再生時には、再生された管理情報を処理し、その内容を制御部１０６に知らせる。表示部１０５は、入力または再生された動画、或いは、メニュー情報などの各種の情報を表示する。

制御部１０６は、操作入力部１０７からの入力に応じてデータ処理装置１００の動作全体を制御する。制御部１０６はマイクロコンピュータやメモリ等を含み、不図示のＲＯＭに記憶されたプログラムに従ってデータ処理装置１００を制御する。操作入力部１０７は、ユーザにより操作可能な各種のスイッチを含み、ユーザによる各種の指示などを受け付けて制御部１０６へ通知する。また、操作入力部１０７は、電源スイッチや記録の開始、停止を指示するためのスイッチ、データ処理装置１００のモードを切り替えるためのスイッチ等を含む。

記録再生部１０８は、記録媒体１０９に動画データや音声データ、或いは、各種の情報を記録すると共に、記録媒体１０９からこれらのデータを再生する。記録再生部１０８は、記録時においては、メモリ１０３に蓄積された管理情報や動画データ、或いは音声データを記、後述の様なファイル形式で録媒体１０９に記録する。記録再生部１０６は、再生時においては、記録媒体１０９から動画ファイルの管理情報や動画データ、音声データを再生し、メモリ１０３に記憶する。本実施形態では、記録媒体１０９はハードディスク（ＨＤＤ）、フラッシュメモリカード等、ランダムアクセス可能な記録媒体である。

記録再生部１０８は、記録媒体１０９に記録する動画ファイルや、各種の情報を、ＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）等のファイルシステムに従い、ファイルとして管理する。また、不図示の装着、排出機構により、データ処理装置１００に対して記録媒体１０９を容易に装着、排出することができるように構成するが、データ処理装置１００に記録媒体１０９が内蔵される構成でもよい。

制御部１０６は、記録媒体１０９に動画ファイルの書き込み、読み出しを行う場合、記録再生部１０８を制御して、記録媒体１０９からファイルシステムデータ（管理データ）を再生してメモリ１０３に記憶する。このファイルシステムデータは、記録媒体１０９に記録されたデータのファイル名やファイルのサイズ、データの記録アドレスなどを示すデータであり、ファイルを管理するための管理情報である。制御部１０６は、読み出したファイルシステムデータに従ってファイルの書き込み、読み出しを制御する。制御部１０６は、記録媒体１０９へのファイルの書き込みに応じて、メモリ１０３に記憶されたファイルシステムデータを更新し、更新したファイルシステムデータを、記録再生部１０８により記録媒体１０９に記録する。また、制御部１０６は、後述のように、記録媒体１０９に記録された動画データの結合処理を行う。出力部１１０は、再生された動画データや音声データを外部機器部出力する。

次に、本実施形態で扱う情報ファイルについて説明する。図２は本実施形態で扱う動画ファイルの構成を表している。動画ファイル２０１は、動画データや音声データなどの情報データを格納するための第１の領域２０２を含む。また、動画ファイル２０１は、第１の領域２０２に格納された動画データの位置や、音声データの位置に関する位置情報を含む、メタデータが格納される第２の領域を含む。

この様なファイル形式で動画データを記録するフォーマットとして、ＭＰ４ファイルフォーマットが知られている。本実施形態では、ＭＰ４ファイル形式に従い、動画ファイルを記録する。ＭＰ４ファイルにおいては、第１の領域がｍｄａｔボックスに対応し、第２の領域がｍｏｏｖ領域に対応する。

ＭＰ４ファイルはボックスと呼ばれる単位で構成される。一つのボックスは、ｂｏｘ−ｓｉｚｅ，ｂｏｘ−ｔｙｐｅ，ｂｏｘ−ｄａｔａの領域を含む。ｂｏｘ−ｓｉｚｅにはこのボックスのデータ長（サイズ）の情報が格納される。ｂｏｘ−ｔｙｐｅにはｂｏｘ−ｄａｔａに格納されるデータ種別を示す情報が格納される。ｂｏｘ−ｄａｔａには実データが格納される。ｂｏｘ−ｔｙｐｅは３２ビットの固定長のデータ領域である。ｂｏｘ−ｄａｔａは可変長の領域である。ｂｏｘ−ｓｉｚｅが３２ビットであるため、一つのボックスのサイズは通常０ｘＦＦＦＦＦＦＦＦバイト以下である。

図２の動画ファイルは、ＦｉｌｅＴｙｐｅＢｏｘ（ｆｔｙｐ），ＭｅｄｉａＤａｔａＢｏｘ（ｍｄａｔ），ＭｏｖｉｅＢｏｘ（ｍｏｏｖ）の三つのボックスから構成される。ｆｔｙｐ、ｍｄａｔ、ｍｏｏｖの各ボックスは、最上位の階層である。

ｆｔｙｐは、ｂｏｘ−ｔｙｐｅがｆｔｙｐであり、ファイルの互換性に関する情報が格納されるボックスである。ｆｔｙｐに記述されたｂｏｘ−ｄａｔａに基づいて、ＭＰ４ファイルに格納された動画データや音声データの符号化方式等を判別することができる。

ｍｄａｔは、ｂｏｘ−ｔｙｐｅがｍｄａｔであり、動画データや音声データの各サンプルが格納されるボックスである。符号化された動画データや音声データは、それぞれチャンクという単位に分割されて格納される。動画ファイル２０１では、動画データの１チャンクが複数のビデオサンプルから構成される例を示す。

ｍｏｏｖは、ｂｏｘ−ｔｙｐｅがｍｏｏｖであり、動画データや音声データに関するメタデータが格納されるボックスである。ｍｏｏｖのｂｏｘ−ｄａｔａには、動画データや音声データのチャンクのファイル先頭からのオフセットを示すチャンクオフセット、各チャンクのサンプル数、サンプルサイズなどの情報が格納される。ｍｏｏｖは、ｍｖｈｄと１以上のｔｒａｋを含む。ｔｒａｋボックスは、１以上のビデオトラック、ビデオ、オーディオトラックを定義する情報である。

ｔｒａｋはｔｋｈｄを含む。ｓｔｓｄには、ビデオデータの解像度や符号化パラメータに関する情報が格納される。ｓｔｔｓには、ビデオデータのサンプリング周波数情報が格納される。ｓｔｓｃには、チャンク当たりに格納されるサンプル数の情報が格納される。ｓｔｓｚには、サンプルサイズ情報が格納される。ｓｔｃｏには、各チャンクへのファイル先頭からのオフセット情報が格納される。ｓｔｓｃ、ｓｔｓｚ、ｓｔｃｏは、ビデオデータ（動画データ）における各チャンクにアクセスするためのデータとして使用される。

次に、動画の記録処理について説明する。本実施形態では、動画データをＨ．２６４方式に従って符号化する。Ｈ．２６４方式では、フレーム内符号化とフレーム間符号化とを用いて符号化をすることが可能であるが、本実施形態では、各フレームをＨ．２６４方式におけるＩＤＲピクチャとして符号化して記録する。また、符号化処理の単位としてスライスを用いる。各スライスにはスライスヘッダ（付加情報）が付加される。スライスヘッダを図３に示す。本実施形態では、１スライスを１フレームとする。

図３のスライスヘッダは可変長符号化により符号化される。ＶＬＣの各値に対して割り当てられた符号語は図４に示す通りである。図３において、ｓｌｉｃｅ＿ｔｙｐｅはスライスの符号化タイプを示す情報（第２の識別情報）が格納される。ＩＤＲピクチャを示すスライスタイプはＩスライスである。Ｈ．２６４では、図５に示すように、Ｉスライスを示す値として、予め設定された値７（符号長が７ビット、第１の値）と値２（符号長が３ビット、第２の値）の何れかを設定することが可能である。本実施形態では、動画データを記録する場合に、ｓｌｉｃｅ＿ｔｙｐｅの値として７（符号長が７ビット）を設定して記録する。即ち、Ｉスライスを示す二つの値のうち、符号長が長い方の値がｓｌｉｃｅ＿ｔｙｐｅに設定されて記録される。

また、本実施形態では、各フレームをＩＤＲピクチャとして符号化する。スライスヘッダには、各ＩＤＲピクチャを識別するためのｉｄｒ＿ｐｉｃ＿ｉｄ（第１の識別情報）が含まれる。また、Ｈ．２６４では、前述のように、ストリームの互換性保証のため、隣接するＩＤＲピクチャのｉｄｒ＿ｐｉｃ＿ｉｄが異なる値に設定されることが必要となる。そのため、隣接するフレーム間で、ｉｄｒ＿ｐｉｃ＿ｉｄの値が同じ値にならないように、ｉｄｒ＿ｐｉｃ＿ｉｄの値を設定する。具体的には、値１（符号長が３ビット）と値２（符号長が３ビット）を１フレームおきに交互に設定する。

記録待機状態において、操作入力部１０７より記録開始の指示を受けると、制御部１０６は、記録再生部１０８に対し、新たに動画ファイルを作成するように指示する。そして、信号処理部１０２に対し、動画データの符号化を開始するように指示する。信号処理部１０２は、入力された動画データの各フレームをＩＤＲピクチャとして符号化し、符号化された動画データをメモリ１０３に順次記憶する。信号処理部１０２は、符号化された動画データのスライスヘッダを生成し、動画データに多重することにより動画データのストリームを生成する。また、制御部１０６は、動画データの符号化処理に伴い、信号処理部１０２からの発生符号量などの情報をメモリ１０３に記憶する。制御部１０６は、記録再生部１０８に対し、メモリ１０３に記憶された動画データのストリームを記録する様に指示する。記録再生部１０８は、動画データを、図２におけるｍｄａｔボックスに順次格納し、記録媒体１０９に記録する。

このように動画データの記録が継続される。制御部１０６は、操作入力部１０７より記録停止の指示があったか否かを判別し、記録停止の指示が無い場合にはそのまま記録を続ける。また、記録停止の指示があると、制御部１０６は、信号処理部１０２による動画データの符号化を停止する。そして、制御部１０６は、メディアデータ管理部１０４に対し、直前に記録されたデータのメタデータを生成するように指示する。

メディアデータ管理部１０４は、ＭＰ４ファイル形式で決められた各メタデータを生成する。制御部１０６は、記録再生部１０８に対し、メタデータをｍｏｏｖボックスに格納して記録するように指示する。記録再生部１０８は、メタデータをメモリ１０３から読み出し、動画ファイルのｍｏｏｖに格納して記録媒体１０９に記録する。

次に、動画の編集処理について説明する。図１の画像処理装置１００は、記録媒体１０９に記録された二つの動画データ（動画ファイル）を符号化された状態で結合し、新たな動画ファイルを記録する機能を持つ。

図６は、結合される動画データを示す図である。図６において、動画データＡ６０１の最後に動画データＢ６０２の先頭を結合するものとする。また、図６の四角は１フレームを示し、その中の数値は各フレームに付加されるｉｄｒ＿ｐｉｃ＿ｉｄの値を示している。動画データＡ６０１の最後のフレームには、ｉｄｒ＿ｐｉｃ＿ｉｄとして値１が付加され、動画データＢ６０２の先頭フレームにはｉｄｒ＿ｐｉｃ＿ｉｄとして値２が付加されている。これら二つの動画データを結合し、新たに動画データＣ６０３を生成する場合、動画データＡ６０１と動画データＢ６０２の境界部分６０４の前後のフレームに付加されるｉｄｒ＿ｐｉｃ＿ｉｄの値が共に１となってしまう。

そこで、本実施形態では、このように結合部分の前後のフレームに付加されるｉｄｒ＿ｐｉｃ＿ｉｄの値が重複した場合に、境界部分の直前または直後のフレームに付加するｉｄｒ＿ｐｉｃ＿ｉｄの値を変更する。更に、このとき、スライスヘッダに含まれるｓｌｉｃｅ＿ｔｙｐｅの値を後述のように変更することで、結合部分以降のストリームにおいて、ビットシフトが発生しないようにする。

図７は動画データの結合処理を示すフローチャートである。ユーザは操作入力部１０７を操作して、記録媒体１０９に記録された複数の動画ファイルから、何れか二つの動画ファイルを指定する。そして、ユーザは、先に再生される方の動画ファイルを指定した後、結合を指示する。このように、動画ファイルの結合が指示された場合に、図７の処理が実行される。なお、図７の処理は、制御部１０６が各部を制御することにより実行される。

制御部１０６は、記録再生部１０８に対し、ユーザにより指定された結合対象の動画ファイルのｆｔｙｐとｍｏｏｖを読み出すように指示する。記録再生部１０８は、指定された動画ファイルのｆｔｙｐとｍｏｏｖを読み出し、メモリ１０３に記憶する。制御部１０６は、メモリ１０３に記憶されたｍｏｏｖを確認する（Ｓ７０１）。そして、制御部１０６は、これら二つの動画ファイルに格納された動画データのストリームを結合可能であるか否かを判別する（Ｓ７０２）。

制御部１０６は、ｆｔｙｐに基づいて、動画コンテンツとして互換性があるか否かを判別する。また、制御部１０６は、ｍｏｏｖにおけるｔｒａｋ，ｓｔｓｄ，ｓｔｓｓに基づいて、動画データの解像度（画素数）や符号化形式、フレームレートなどを比較し、これらが同じであるか否かを判別する。本実施形態では、記録される動画データの符号化形式や解像度、フレームレートは全て共通としているが、解像度やフレームレートをユーザの指示により変更可能としてもよい。制御部１０６は、比較結果に基づいて、二つの動画データを結合可能であるか否かを判別する。

二つの動画データを結合可能でないと判別した場合、制御部１０６は、表示部１０５に対し、警告画面を表示して処理を終了する（Ｓ７１０）。

一方、結合可能であると判別した場合、制御部１０６は、記録再生部１０８に対し、結合後の動画ファイルを作成する様に指示する。記録再生部１０８は、結合後の動画ファイルを記録媒体１０９に作成する（Ｓ７０３）。次に、制御部１０９は、結合対象の二つの動画ファイルそれぞれのｍｏｏｖに基づいて、結合後の動画ファイルのｍｏｏｖを作成し、作成したｍｏｏｖをメモリ１０３に記憶する（Ｓ７０４）。

具体的な処理は以下の通りである。なお、以下の説明では、結合対象の二つの動画ファイルのうち、先に再生される前半の動画ファイルをＭＰ４（Ａ）とし、後に再生される後半ファイルをＭＰ４（Ｂ）、結合後の動画ファイルをＭＰ４（Ｃ）として説明する。まず、ｆｔｙｐについては、ＭＰ４（Ａ）のものをそそまま使用する。ｍｖｈｄについては、ＭＰ４（Ａ）のものをベースに、コンテンツ再生時間に、ＭＰ４（Ｂ）の再生時間を加算して補正する。ｔｋｈｄについては、ＭＰ４（Ａ）のものをベースに、ビデオデータ再生時間に、ＭＰ４（Ｂ）の再生時間を加算して補正する。ｓｔｓｄ、ｓｔｔｓについては、ＭＰ４（Ａ）のものをそそまま使用する。ｓｔｓｃ、ｓｔｓｚについては、それぞれ、ＭＰ４（Ａ）の後にＭＰ４（Ｂ）の情報を追記する。ｓｔｃｏについては、ＭＰ４（Ａ）の後にＭＰ４（Ｂ）の情報を追加し、動画データを記録した後で変更する。このようにｍｏｏｖを生成した後、制御部１０６は、このｍｏｏｖを結合後の動画ファイルに格納するように、記録再生部１０８に指示する。記録再生部１０８は、ｍｏｏｖをメモリ１０３から読み出し、記録媒体１０９に作成した結合後の動画ファイルに格納して記録する。結合後の動画ファイルＭＰ４（Ｃ）におけるｍｏｏｖの生成手順を図８に示す。

続いて、制御部１０６は、前半の動画ファイルＭＰ４（Ａ）の動画データ（ストリーム）を、結合後の動画ファイルＭＰ４（Ｃ）のｍｄａｔに記録するように、記録再生部１０８に指示する（Ｓ７０６）。この処理は、動画ファイルＭＰ４（Ａ）のｍｄａｔに格納されている動画データのストリームを、結合後の動画ファイルＭＰ４（Ｃ）のｍｄａｔの先頭からの位置にコピーする処理である。このように前半の動画ファイルを結合後の動画ファイルＭＰ４（Ｃ）に記録した後、制御部１０６は、結合後の動画ファイルのｓｔｃｏを変更する。結合後の動画ファイルＭＰ４（Ｃ）のｍｄａｔに対する、前半の動画ファイルＭＰ４（Ａ）の動画データの記録手順を図９に示す。

次に、制御部１０６は、前半の動画ファイルＭＰ４（Ａ）の最終フレームのスライスへだと、後半の動画ファイルＭＰ４（Ｂ）の動画データの先頭フレームのスライスヘッダを読み出すように記録再生部１０８に指示する。記録再生部１０８は、動画ファイルＭＰ４（Ａ）の最終フレームのスライスヘッダと、ＭＰ４（Ｂ）の先頭フレームのスライスヘッダを読みだして、メモリ１０３に記憶する。

制御部１０６は、メモリ１０３に記憶された、動画ファイルＭＰ４（Ａ）の最終フレームのスライスヘッダと、ＭＰ４（Ｂ）の先頭フレームのスライスヘッダに格納された、ｉｄｒ＿ｐｉｃ＿ｉｄの値を検出する。そして、これらの連続する二つのフレームに付加されたｉｄｒ＿ｐｉｃ＿ｉｄの値が同じであるか否かを判別する（Ｓ７０７）。

二つのフレームに付加されたｉｄｒ＿ｐｉｃ＿ｉｄの値が異なっている場合、制御部１０６は、そのまま動画データを結合しても規則に反しないと判断する。そして、制御部１０６は、後半の動画ファイルＭＰ４（Ｂ）の動画データ（ストリーム）を、結合後の動画ファイルＭＰ４（Ｃ）のｍｄａｔに記録するように、記録再生部１０８に指示する（Ｓ７０８）。この処理は、動画ファイルＭＰ４（Ｂ）のｍｄａｔに格納されている動画データのストリームを、結合後の動画ファイルＭＰ４（Ｃ）のｍｄａｔの先頭からの位置にコピーする処理である。このように後半の動画ファイルを結合後の動画ファイルＭＰ４（Ｃ）に記録した後、制御部１０６は、結合後の動画ファイルのｓｔｃｏを変更する。結合後の動画ファイルＭＰ４（Ｃ）のｍｄａｔに対する、後半の動画ファイルＭＰ４（Ｂ）の動画データの記録手順を図１０に示す。

一方、結合時の境界部分の前後の連続する二つのフレームに付加されたｉｄｒ＿ｐｉｃ＿ｉｄの値が同じであった場合、制御部１０６は、後半の動画ファイルの先頭フレームのスライスヘッダにおけるｓｌｉｃｅ＿ｔｙｐｅとｉｄｒ＿ｐｉｃ＿ｉｄの値を変更する（Ｓ７０９）。ｉｄｒ＿ｐｉｃ＿ｉｄはＶＬＣにより符号化されているので、ｉｄｒ＿ｐｉｃ＿ｉｄの変更によりビット幅（データ長）が変わることがある。そこで、本実施形態では、ｓｌｉｃｅ＿ｔｙｐｅを変更することにより、ｉｄｒ＿ｐｉｃ＿ｉｄの変更によるビット幅の変動分を相殺する。

ｓｌｉｃｅ＿ｔｙｐｅは、ｉｄｒ＿ｐｉｃ＿ｉｄと同じくＶＬＣにより符号化されて記述されている。ＩＤＲピクチャを示すスライスタイプはＩスライスであり、７（符号長が７ビット）以外に２（符号長が３ビット）を設定することができる。前述のように、本実施形態では、動画データの記録時に、ｓｌｉｃｅ＿ｔｙｐｅとして値７を設定している。

そこで、制御部１０６は、後半の動画データの先頭フレームのｓｌｉｃｅ＿ｔｙｐｅの値を７から２に変更する。これにより、ｓｌｉｃｅ＿ｔｙｐｅの符号語は７ビットから３ビットに変更され、４ビット分データ長が短くなる。そして、この短くなった４ビット分のデータを、変更後のｉｄｒ＿ｐｉｃ＿ｉｄに割り当てる。

図１１は、元のｉｄｒ＿ｐｉｃ＿ｉｄから、符号語として４ビット増加後に取り得る値を示している。図１１に示すように、元のｉｄｒ＿ｐｉｃ＿ｉｄの値が１または２の場合、７−１４の何れかの値に変更される。また、元のｉｄｒ＿ｐｉｃ＿ｉｄの値が０の場合、３−６のいずれかの値に変更される。本実施形態では、動画データの記録時に、ｉｄｒ＿ｐｉｃ＿ｉｄとして値１と２を１フレームおきに交互に付加しているため、７−１４の何れかの値、例えば、値７に変更する。これにより、結合時の境界部分の前後の２フレーム、及び、後半の動画データの先頭フレームと２フレーム目の間で、ｉｄｒ＿ｐｉｃ＿ｉｄとして同じ値が付加されてしまうことがない。

このようにｓｌｉｃｅ＿ｔｙｐｅとｉｄｒ＿ｐｉｃ＿ｉｄの値を変更した後、制御部１０６は、後半の動画ファイルＭＰ４（Ｂ）の動画データ（ストリーム）を、結合後の動画ファイルＭＰ４（Ｃ）のｍｄａｔに記録するように、記録再生部１０８に指示する（Ｓ７０８）。

このように、ｓｌｉｃｅ＿ｔｙｐｅとｉｄｒ＿ｐｉｃ＿ｉｄの値を変更することにより、後半の動画データのストリームにおけるデータの位置がずれることが無く、動画の結合による負荷を大幅に削減することが可能となる。

図１２に、ｓｌｉｃｅ＿ｔｙｐｅとｉｄｒ＿ｐｉｃ＿ｉｄを変更した場合のスライスヘッダの様子を示す。図１２に示すように、ｓｌｉｃｅ＿ｔｙｐｅを２から７に変更し、ｉｄｒ＿ｐｉｃ＿ｉｄを１から７に変更することにより、ｓｌｉｃｅ＿ｔｙｐｅからｉｄｒ＿ｐｉｃ＿ｉｄの範囲内でビットシフトが発生しない。

なお、本実施形態では、二つの動画ファイルにおける、一方の動画データの最終フレームと他方の動画データの先頭フレームとを結合する処理について説明した。これ以外にも、例えば、一方の動画ファイルの再生終了フレーム（アウト点）と、他方の動画ファイルの再生開始フレーム（イン点）とをユーザが指定し、このアウト点とイン点において、二つの動画ファイルを結合する構成としてもよい。この場合も、同様に、境界部分の連続した２フレームにおいて、ｉｄｒ＿ｐｉｃ＿ｉｄの値が重複した場合に、ｓｌｉｃｅ＿ｔｙｐｅとｉｄｒ＿ｐｉｃ＿ｉｄを変更する。

また、本実施形態では、境界部分の連続した２フレームのうち、後半の動画データの先頭フレームのｓｌｉｃｅ＿ｔｙｐｅとｉｄｒ＿ｐｉｃ＿ｉｄを変更したが、前半の動画データの最終フレームのｓｌｉｃｅ＿ｔｙｐｅとｉｄｒ＿ｐｉｃ＿ｉｄを変更する構成としてもよい。この場合、境界部分の連続した２フレームのｉｄｒ＿ｐｉｃ＿ｉｄの値が重複せず、且つ、前半の動画データの最終フレームと、その一つ前のフレームのｉｄｒ＿ｐｉｃ＿ｉｄが重複しないように、前半の動画データの最終フレームのｉｄｒ＿ｐｉｃ＿ｉｄを決める。

即ち、二つの動画データを結合した場合の境界部分の連続した２フレームのｉｄｒ＿ｐｉｃ＿ｉｄが同じ値であった場合、これら２フレームの少なくとも一方に付加されるスライスヘッダのｓｌｉｃｅ＿ｔｙｐｅとｉｄｒ＿ｐｉｃ＿ｉｄを別の値に変更する。この場合、他方のフレームについては、ｓｌｉｃｅ＿ｔｙｐｅとｉｄｒ＿ｐｉｃ＿ｉｄの値を変更しない。

また、本実施形態では、動画データの記録時に、ｉｄｒ＿ｐｉｃ＿ｉｄとして、値１（第３の値）と値２（第４の値）をフレーム毎に交互に付加したが、これ以外の値を付加することも可能である。

（その他の実施形態）
前述した本発明の実施形態における記録装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図５に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

Claims (8)

1. フレーム内符号化とフレーム間符号化のいずれかの符号化タイプを用いることが可能な符号化方式に従って動画データを符号化する手段であって、入力された動画データの各フレームをフレーム内符号化により符号化する符号化手段と、
   前記符号化された動画データの各フレームを識別するための第１の識別情報と、前記符号化された動画データの符号化タイプを識別するための第２の識別情報とを含み、前記第１の識別情報と前記第２の識別情報とが可変長符号化により符号化された付加情報を生成する手段であって、隣接するフレーム間で同じ値とならないように前記第１の識別情報の値を設定すると共に、それぞれが前記フレーム内符号化のタイプを示す、第１の値及び、前記第１の値よりも符号長が短い第２の値のうち、前記第１の値を前記第２の識別情報に設定する生成手段と、
   前記符号化された動画データの各フレームに前記生成手段により生成された付加情報を付加し、前記付加情報が付加された動画データのストリームを記録媒体に記録する記録手段と、
   前記記録媒体に記録された二つの前記動画データのストリームを結合し、結合された動画データのストリームを生成する結合手段と、
   前記結合された動画データのストリームにおける、前記二つのストリームの境界部分の前後に連続する２フレームの前記第１の識別情報の値を検出し、検出された前記第１の識別情報の値に応じて前記結合された動画データのストリームにおける付加情報を変更する制御手段とを備え、
   前記制御手段は、前記境界部分の前後に連続する２フレームの前記第１の識別情報が同じ値であった場合、前記２フレームのうちの少なくとも一方のフレームの前記第２の識別情報を前記第２の値に変更し、前記少なくとも一方のフレームの第１の識別情報を、前記第１の値の符号長と前記第２の値の符号長の差の分だけ長い符号長の値に変更することを特徴とする画像処理装置。
2. 前記記録手段は、前記動画データのストリームをファイルとして前記記録媒体に記録し、前記結合手段は、前記記録媒体に記録された二つのファイルを結合することを特徴とする請求項１に記載の画像処理装置。
3. 前記結合手段は、一方の動画データのストリームから指定された再生終了フレームと、他方の動画データのストリームから指定された再生開始フレームとを結合することを特徴とする請求項１に記載の画像処理装置。
4. 前記生成手段は、符号長が同じ第３の値と第４の値をフレーム毎に交互に前記第１の識別情報として設定することを特徴とする請求項１に記載の画像処理装置。
5. 前記制御手段は、前記境界部分の前後に連続する２フレームの前記第１の識別情報が互いに異なる値であった場合は、前記２フレームの前記第１の識別情報と前記第２の識別情報とを変更しないようにすることを特徴とする請求項１に記載の画像処理装置。
6. フレーム内符号化とフレーム間符号化のいずれかの符号化タイプを用いることが可能な符号化方式に従って符号化された動画データの各フレームに前記付加情報が付加された動画データのストリームであって、
   前記動画データの各フレームがフレーム内符号化により符号化され、
   前記付加情報が、前記符号化された動画データの各フレームを識別するための第１の識別情報と、前記符号化された動画データの符号化タイプを識別するための第２の識別情報とを含み、前記第１の識別情報と前記第２の識別情報とが可変長符号化により符号化され、隣接するフレーム間で同じ値とならないように前記第１の識別情報の値が設定され、それぞれが前記フレーム内符号化のタイプを示す、第１の値及び、前記第１の値よりも符号長が短い第２の値のうち、前記第１の値が前記第２の識別情報に設定されている、前記動画データのストリームを処理する画像処理装置において、
   前記記録媒体に記録された二つの前記動画データのストリームを結合し、結合された動画データのストリームを生成する結合手段と、
   前記結合された動画データのストリームにおける前記二つのストリームの境界部分の前後に連続する２フレームの前記第１の識別情報の値を検出し、検出された前記第１の識別情報の値に応じて前記結合された動画データのストリームにおける付加情報を変更する制御手段とを備え、
   前記制御手段は、前記境界部分の前後に連続する２フレームの前記第１の識別情報が同じ値であった場合、前記２フレームのうちの少なくとも一方のフレームの前記第２の識別情報を前記第２の値に変更し、前記少なくとも一方のフレームの第１の識別情報を、前記第１の値の符号長と前記第２の値の符号長の差の分だけ長い符号長の値に変更することを特徴とする画像処理装置。
7. フレーム内符号化とフレーム間符号化のいずれかの符号化タイプを用いることが可能な符号化方式に従って動画データを符号化する手段であって、入力された動画データの各フレームをフレーム内符号化により符号化する符号化ステップと、
   前記符号化された動画データの各フレームを識別するための第１の識別情報と、前記符号化された動画データの符号化タイプを識別するための第２の識別情報とを含み、前記第１の識別情報と前記第２の識別情報とが可変長符号化により符号化された付加情報を生成する手段であって、隣接するフレーム間で同じ値とならないように前記第１の識別情報の値を設定すると共に、それぞれが前記フレーム内符号化のタイプを示す、第１の値及び、前記第１の値よりも符号長が短い第２の値のうち、前記第１の値を前記第２の識別情報に設定する生成ステップと、
   前記符号化された動画データの各フレームに前記生成ステップにより生成された付加情報を付加し、前記付加情報が付加された動画データのストリームを記録媒体に記録する記録ステップと、
   前記記録媒体に記録された二つの前記動画データのストリームを結合し、結合された動画データのストリームを生成する結合ステップと、
   前記結合された動画データのストリームにおける前記二つのストリームの境界部分の前後に連続する２フレームの前記第１の識別情報の値を検出し、検出された前記第１の識別情報の値に応じて前記結合された動画データのストリームにおける付加情報を変更する制御ステップとを備え、
   前記制御ステップは、前記境界部分の前後に連続する２フレームの前記第１の識別情報が同じ値であった場合、前記２フレームのうちの少なくとも一方のフレームの前記第２の識別情報を前記第２の値に変更し、前記少なくとも一方のフレームの第１の識別情報を、前記第１の値の符号長と前記第２の値の符号長の差の分だけ長い符号長の値に変更することを特徴とする画像処理装置。
8. フレーム内符号化とフレーム間符号化のいずれかの符号化タイプを用いることが可能な符号化方式に従って符号化された動画データの各フレームに前記付加情報が付加された動画データのストリームであって、
   前記動画データの各フレームがフレーム内符号化により符号化され、
   前記付加情報が、前記符号化された動画データの各フレームを識別するための第１の識別情報と、前記符号化された動画データの符号化タイプを識別するための第２の識別情報とを含み、前記第１の識別情報と前記第２の識別情報とが可変長符号化により符号化され、隣接するフレーム間で同じ値とならないように前記第１の識別情報の値が設定され、それぞれが前記フレーム内符号化のタイプを示す、第１の値及び、前記第１の値よりも符号長が短い第２の値のうち、前記第１の値が前記第２の識別情報に設定されている、前記動画データのストリームを処理する画像処理方法において、
   前記記録媒体に記録された二つの前記動画データのストリームを結合し、結合された動画データのストリームを生成する結合ステップと、
   前記結合された動画データのストリームにおける前記二つのストリームの境界部分の前後に連続する２フレームの前記第１の識別情報の値を検出し、検出された前記第１の識別情報の値に応じて前記結合された動画データのストリームにおける付加情報を変更する制御ステップとを備え、
   前記制御ステップは、前記境界部分の前後に連続する２フレームの前記第１の識別情報が同じ値であった場合、前記２フレームのうちの少なくとも一方のフレームの前記第２の識別情報を前記第２の値に変更し、前記少なくとも一方のフレームの第１の識別情報を、前記第１の値の符号長と前記第２の値の符号長の差の分だけ長い符号長の値に変更することを特徴とする画像処理装置。

Images