JP2007300593A - 情報処理装置および情報処理方法、記録媒体、並びに、プログラム - Google Patents

Abstract

【課題】スプライシングにおける再エンコード区間の基準となる最小再エンコード区間を設定する。
【解決手段】ストリームＡにおける編集点ａを含むＧＯＰの開始位置をαとし、ストリームＢにおける編集点ｂを含むＧＯＰの終了位置をβとしたとき、ストリームＡおよびストリームＢが編集点において接続されて生成されるストリームＣにおける基準再エンコード区間は、編集点ａおよびｂを含むαからβまでの区間とされる。基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ａ＋Ｂ＜Ｎ／２を満たす場合、最小再エンコード区間は、ストリームＢにおける編集点ｂを含むＧＯＰの次のＧＯＰを含ませて、αから次のＧＯＰの終了点γまでであるものとする。本発明は、編集装置に適用できる。
【選択図】図５

Description

本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、双方向のフレーム間予測を用いて圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。

MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。しかし、映像を編集することを考えた場合、フレーム間予測を用いた圧縮画像は、フレーム間に予測による圧縮信号の関連があるため、圧縮されたままの映像信号で、映像素材をつなぎ合わせることとはできない。そのため、映像素材を編集することが予め考慮されたシステムにおいては、一般的に、フレーム間予測を用いず、フレーム内での圧縮のみを用いて符号化が行われている。

しかしながら、例えば、ＨＤ（High Definition）信号のように、高精細で情報量の多い映像信号が取り扱われる場合、フレーム内圧縮のみで符号化を行うと、低い圧縮効率しか得られないため、多量のデータを伝送したり、蓄積するためには、転送速度が速かったり、記憶容量が大きかったり、または、処理速度が速いなどの、高価なシステムが必要となってしまう。すなわち、高精細で情報量の多い映像信号を安価なシステムで取り扱うためには、フレーム間予測を用いて圧縮効率を上げることが必要となる。

MPEGストリームを編集するために、従来、編集点（スプライス点）近傍のピクチャを一旦デコードし、非圧縮の画像信号を編集点でつなぎあわせた後、再エンコードする技術が用いられている（例えば、特許文献１）。
国際公開番号ＷＯ９９／０５８６４号公報

MPEGにおいて、Ｉピクチャ（Ｉ-Picture）、Ｐピクチャ（Ｐ-Picture）、および、Ｂピクチャ（B-Picture）から構成される、双方向のフレーム間予測を用いた圧縮符号化方式は、Long GOP（Group of Picture)方式の圧縮と呼ばれる。

Ｉピクチャとは、フレーム内（Intra）符号化画像のことであり、他の画面とは独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Ｐピクチャとは、フレーム間(inter)順方向予測符号化画像のことであり、時間的に前（順方向）のフレームからの差分によって表現される前方向予測符号化ピクチャである。Ｂピクチャとは、双方向予測符号化画像のことであり、時間的に前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。

ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、GOPを長くすれば（すなわち、Long GOPを構成するピクチャ数を増加させれば）、映像の圧縮率を高くすることができるので、デジタル放送やDVD（Digital Versatile Disk）ビデオでの利用に適している。しかしながら、GOPが長すぎると、フレーム精度での編集コントロールが困難となり、特に、業務用用途での編集では、運用上の問題が発生する。

Long GOP方式で圧縮された２つの映像データを所定の編集点で接続することにより編集する処理について、図１を用いて説明する。

まず、編集対象圧縮映像データ１および編集対象圧縮映像データ２のそれぞれにおいて、編集点近傍の部分的なデコードが行われ、部分的な非圧縮の映像信号１および映像信号２が得られる。そして、非圧縮の映像信号１および映像信号２が編集点で接続されて、必要に応じて編集点付近にエフェクト（Effect）が施されて、再エンコードが行われる。そして、再エンコードされた圧縮映像データが、デコードおよび再エンコードされていない（部分的なデコードが行われた編集点近傍以外の）圧縮映像データと結合される。

図１を用いて説明した方法は、圧縮された編集素材の映像データを全てデコードしてから、映像信号を編集点でつなぎ、再び全ての映像信号を再エンコードして編集済みの圧縮映像データを得る方法と比較して、再エンコードによる画質劣化を局所的に抑えることができるとともに、編集処理時間を大幅に短縮することができるなどの利点がある。

上述したように、編集点近傍を部分的にデコードした後、非圧縮の映像信号を接続して、接続された非圧縮の映像を再エンコードし、デコードおよび再エンコードされていない部分の圧縮映像データと結合することにより、編集を行った場合、再エンコード部分と再エンコードしない部分のVBV Buffer Occupancyの連続性を保つ必要がある。

図２を用いて、VBV Buffer Occupancyの連続性について説明する。

編集後の圧縮映像データにおいて、VBVバッファが破綻しないようにするためには、再エンコード開始部と終了部のOccupancyを、前後に結合する再エンコードしない圧縮映像データの結合部のOccupancyに一致させる必要がある。すなわち、編集後の圧縮映像の図中Ｅで示される再エンコード部分の最初のＩピクチャの図中Ｃで示されるOccupancyは、編集前の圧縮素材映像１の図中Ａで示されるOccupancyと一致するように、編集後の圧縮映像の図中Ｅで示される再エンコード部分の次のＩピクチャの図中Ｄで示されるOccupancyは、編集前の圧縮素材映像２の図中Ｂで示されるOccupancyと一致するように制御されなければならない。

編集前後のOccupancyは、Closed GOPの場合であっても、Closed GOPでないOpen GOPである場合にも、同様に、一致させる必要がある。VBV Buffer Occupancyの連続性が保たれていない場合、デコード時にデコーダのバッファが破綻し、例えば、ピクチャスキップやフリーズなどの現象が発生する原因となり得る。

PS(Program Stream)やTS(Transport Stream)においては、SCR（System Clock Reference)またはPCR（Program Clock Reference）と、PTS（Presentation Time Stamp）やDTS（Decoding Time Stamp）から、各ピクチャのVBV BufferのOccupancyを求めることができる。しかしながら、ES(Elementary Stream)においては、VBV BufferのOccupancyを容易に求めることはできない。

ＥＳにおいては、Picture HeaderのVBV Delayの値から、それぞれのピクチャのVBV BufferのOccupancyを求めることができる。しかしながら、Picture HeaderのVBV Delayのパラメータには、正確な値が入っているとは限らないため、VBV Delayのパラメータから算出されたOccupancyの値に信憑性がある（正確である）とはいえない。また、VBR(Variable Bit Rate)でエンコードされたＥＳにおいては、VBV Delayの値が固定値となるので、VBV BufferのOccupancyを求めるために利用することができない。

このように、ＥＳにおいては、VBV BufferのOccupancyを容易に求めることはできないので、ＥＳを編集するにあたり、VBV Bufferの連続性を保つように正しく再エンコードできない場合、バッファがオーバフローまたはアンダーフローしてしまい、デコードされた映像に、例えば、ピクチャスキップやフリーズなどの現象が発生してしまう恐れがある。

例えば、放送番組制作用途のシステムなどでは、映像にピクチャスキップやフリーズなどなどが発生することは許されない。しかし、従来、タイムスタンプが挿入されていないESを編集するにあたっては、VBV Buffer Occupancyの連続性を保つことはできなかった。

本発明はこのような状況に鑑みてなされたものであり、ＥＳを編集するにあたり、VBV Buffer Occupancyの連続性を保つことができるようにするものである。

本発明の第１の側面の情報処理装置は、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置であって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する制御手段と、前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするデコード手段と、前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２のベースバンド信号とを、編集点で接続し、第３のベースバンド信号を生成する接続手段と、前記接続手段により接続されて生成された前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成するエンコード手段とを備え、前記制御手段は、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、前記第１の区間において、前記デコード手段によりデコードされ、前記接続手段により接続された後、前記エンコード手段によりエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれなかった場合、前記制御手段は、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に追加する。

前記エンコード手段によるエンコード処理の発生符号量を管理する管理手段をさらに備えさせるようにすることができ、前記管理手段には、前記第１の区間において、前記デコード手段によりデコードされ、前記接続手段により接続された後、前記エンコード手段によりエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたか否かを判断させるようにすることができ、前記管理手段により、前記オキュパンシの連続性が保たれなかったと判断された場合、前記制御手段には、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に追加させるようにすることができる。

前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記第１の区間に続く所定の前記区間は、１GOPであるものとすることができる。

前記デコード手段への前記第１の符号化ストリームおよび前記第２の符号化ストリームの供給を制御する供給制御手段を更に備えさせるようにすることができ、前記供給制御手段には、前記デコード手段、前記接続手段、および、前記エンコード手段により前記第１の区間に対応する前記第３の符号化ストリームが生成されている間に、前記第１の区間に続く所定の前記区間の前記第２の符号化ストリームの前記デコード手段への供給を制御させるようにすることができる。

前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記第１の区間に続く所定の前記区間は、１GOPであるものとすることができる。

前記管理手段への前記エンコード手段によるエンコード処理の発生符号量を管理するために必要な情報の供給を制御する供給制御手段を更に備えさせるようにすることができ、前記供給制御手段には、前記デコード手段、前記接続手段、および、前記エンコード手段により前記第１の区間に対応する前記第３の符号化ストリームが生成されている間に、前記第１の区間に続く所定の前記区間の前記第２の符号化ストリームをエンコードする場合の発生符号量を管理するために必要な情報の供給を制御させるようにすることができる。

前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記第１の区間に続く所定の前記区間は、１GOPであるものとすることができる。

前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記オキュパンシの連続性が保たれた場合、前記制御手段には、前記第１の区間に続く次のGOPの最初の前方向参照フレームの直前までのフレームを、再エンコードを実行する第２の区間として、更に追加させるようにすることができる。

前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記制御手段には、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、前記基準区間に含まれるフレーム数を基に、前記第１の区間を決定させるようにすることができる。

前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ｍ≦Ｎを満たす場合、前記基準区間を前記第１の区間とさせるようにすることができる。

前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ｍ＜Ｎ／２を満たす場合、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とさせるようにすることができる。

前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たす場合、前記基準区間を複数ＧＯＰに分割するとともに、前記基準区間を前記第１の区間とさせるようにすることができる。

前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たし、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から前記編集点までのフレーム数Ａが、Ａ≧Ｎ／２を満たす場合、前記基準区間を、前記編集点で２つのＧＯＰに分割させるようにすることができる。

前記エンコード手段には、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰは、表示順でＩ２ピクチャから開始されるように、前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成させるようにすることができる。

前記エンコード手段には、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰに含まれるフレーム数Ｒが、Ｎ／２≦Ｒを満たさないとき、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とさせ、Ｎ／２≦Ｒを満たすとき、前記基準区間を前記第１の区間とさせるようにすることができる。

本発明の第１の側面の情報処理方法およびプログラムは、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行するためのものであって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、前記第１の区間に含まれる前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードして、編集点で接続し、接続されて生成されたベースバンド信号をエンコードして、第３の符号化ストリームの生成を制御し、前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれなかった場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に追加するステップを含む。

本発明の第１の側面においては、第１の符号化ストリームおよび第２の符号化ストリームのうち、再エンコードを実行する第１の区間が決定され、第１の区間に含まれる第１の符号化ストリームおよび第２の符号化ストリームがデコードされて、編集点で接続され、接続されて生成されたベースバンド信号がエンコードされて、第３の符号化ストリームが生成され、第３の符号化ストリームの終了点と、第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれなかった場合、第１の区間に続く所定の区間が、再エンコードを実行する第２の区間として、更に追加される。

本発明の第２の側面の情報処理装置は、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置であって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する再エンコード区間を決定する制御手段と、前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするデコード手段と、前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２のベースバンド信号とを、編集点で接続し、第３のベースバンド信号を生成する接続手段と、前記接続手段により接続されて生成された前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成するエンコード手段とを備え、前記制御手段は、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、前記基準区間に含まれるフレーム数を基に、前記再エンコード区間を決定する。

前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ｍ≦Ｎを満たす場合、前記基準区間を前記再エンコード区間とさせることができる。

前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ｍ＜Ｎ／２を満たす場合、前記基準区間に１ＧＯＰ加えた区間を前記再エンコード区間とさせることができる。

前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たす場合、前記基準区間を複数ＧＯＰに分割するとともに、前記基準区間を前記再エンコード区間とさせることができる。

前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たし、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から前記編集点までのフレーム数Ａが、Ａ≧Ｎ／２を満たす場合、前記基準区間を、前記編集点で２つのＧＯＰに分割させるようにすることができる。

前記エンコード手段には、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰは、表示順でＩ２ピクチャから開始されるように、前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成させるようにすることができる。

前記エンコード手段には、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰに含まれるフレーム数Ｒが、Ｎ／２≦Ｒを満たさないとき、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とさせ、Ｎ／２≦Ｒを満たすとき、前記基準区間を前記第１の区間とさせるようにすることができる。

本発明の第２の側面の情報処理方法およびプログラムは、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行するためのものであって、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、前記基準区間に含まれるフレーム数を基に、再エンコードを実行する再エンコード区間を決定するステップを含む。

本発明の第２の側面においては、第１の符号化ストリームにおける編集点を含むＧＯＰの開始位置から、第２の符号化ストリームにおける編集点を含むＧＯＰの終了位置までが基準区間として設定され、基準区間に含まれるフレーム数を基に、再エンコードを実行する再エンコード区間が決定される。

ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。

以上のように、本発明の第１の側面によれば、編集処理を実行することができ、特に、第１の区間で実行される再エンコードにおいて、前記オキュパンシの連続性が保たれなかった場合、再エンコードを実行する区間、換言すれば、再エンコード区間を延長することができる。

本発明の第２の側面によれば、編集処理を実行することができ、特に、再エンコード区間の画質の劣化を防止することができるように再エンコード区間を決定することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面の情報処理装置(例えば、図３の編集装置１)は、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置であって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する制御手段(たとえば、図３のＣＰＵ１１)と、前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするデコード手段（例えば、図３のデコーダ２２およびデコーダ２３）と、前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２のベースバンド信号とを、編集点で接続し、第３のベースバンド信号を生成する接続手段（例えば、図３のエフェクト／スイッチ２６）と、前記接続手段により接続されて生成された前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成するエンコード手段（例えば、図３のエンコーダ２７）とを備え、前記制御手段は、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間（例えば、最小再エンコード区間）を決定し、前記第１の区間において、前記デコード手段によりデコードされ、前記接続手段により接続された後、前記エンコード手段によりエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれなかった場合、前記制御手段は、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間（例えば、延長再エンコード区間）として、更に追加する。

前記エンコード手段によるエンコード処理の発生符号量を管理する管理手段（例えば、図３のＣＰＵ２０）をさらに備えさせることができ、前記管理手段は、前記第１の区間において、前記デコード手段によりデコードされ、前記接続手段により接続された後、前記エンコード手段によりエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたか否かを判断し、前記管理手段により、前記オキュパンシの連続性が保たれなかったと判断された場合、前記制御手段は、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間（例えば、延長再エンコード区間）として、更に追加する。

前記デコード手段への前記第１の符号化ストリームおよび前記第２の符号化ストリームの供給を制御する供給制御手段(例えば、図３のＣＰＵ１１)を更に備えることができ、前記供給制御手段は、前記デコード手段、前記接続手段、および、前記エンコード手段により前記第１の区間に対応する前記第３の符号化ストリームが生成されている間に、前記第１の区間に続く所定の前記区間の前記第２の符号化ストリームの前記デコード手段への供給を制御することができる。

前記管理手段への前記エンコード手段によるエンコード処理の発生符号量を管理するために必要な情報の供給を制御する供給制御手段(例えば、図３のＣＰＵ１１)を更に備えることができ、前記供給制御手段は、前記デコード手段、前記接続手段、および、前記エンコード手段により前記第１の区間に対応する前記第３の符号化ストリームが生成されている間に、前記第１の区間に続く所定の前記区間の前記第２の符号化ストリームをエンコードする場合の発生符号量を管理するために必要な情報の供給を制御することができる。

本発明の第１の側面の情報処理方法およびプログラムは、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行するためのものであって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し(例えば、図１２のステップＳ２の処理)、前記第１の区間に含まれる前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードして、編集点で接続し、接続されて生成されたベースバンド信号をエンコードして、第３の符号化ストリームの生成を制御し(例えば、図１７のステップＳ８４の処理)、前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれなかった場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に追加する(例えば、図１７のステップＳ９１の処理)ステップを含む。

本発明の第２の側面の情報処理装置(例えば、図３の編集装置１)は、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置であって、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する再エンコード区間を決定する制御手段(たとえば、図３のＣＰＵ１１)と、前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするデコード手段（例えば、図３のデコーダ２２およびデコーダ２３）と、前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２のベースバンド信号とを、編集点で接続し、第３のベースバンド信号を生成する接続手段（例えば、図３のエフェクト／スイッチ２６）と、前記接続手段により接続されて生成された前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成するエンコード手段（例えば、図３のエンコーダ２７）とを備え、前記制御手段は、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、前記基準区間に含まれるフレーム数を基に、前記再エンコード区間を決定する。

本発明の第２の側面の情報処理方法およびプログラムは、第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行するためのものであって、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし(例えば、図１４のステップＳ４１の処理)、前記基準区間に含まれるフレーム数を基に、再エンコードを実行する再エンコード区間を決定する(例えば、図１４のステップＳ４２乃至ステップＳ５０の処理)ステップを含む。

以下、図を参照して、本発明の実施の形態について説明する。

図３は本発明を適用した編集装置１のハードウェア構成を示すブロック図である。

ＣＰＵ（Central Processing Unit）１１は、ノースブリッジ１２に接続され、例えば、ＨＤＤ（Hard disk Drive）１６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ２０が実行する編集処理を制御するための制御信号やコマンドを生成し、出力する。ノースブリッジ１２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）１４に接続され、例えば、ＣＰＵ１１の制御に基づいて、サウスブリッジ１５を介して、ＨＤＤ１６に記憶されているデータの供給を受けて、ＰＣＩバス１４、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。また、ノースブリッジ１２は、メモリ１３とも接続されており、ＣＰＵ１１の処理に必要なデータを授受する。

メモリ１３は、ＣＰＵ１１が実行する処理に必要なデータを保存する。サウスブリッジ１５は、ＨＤＤ１６のデータの書き込みおよび読み出しを制御する。ＨＤＤ１６には、圧縮符号化された編集用の素材が記憶される。

ＰＣＩブリッジ１７は、メモリ１８のデータの書き込みおよび読み出しを制御したり、デコーダ２２乃至２４、または、ストリームスプライサ２５への圧縮符号化データの供給を制御するとともに、ＰＣＩバス１４およびコントロールバス１９のデータの授受を制御する。メモリ１８は、ＰＣＩブリッジ１７の制御に基づいて、ＨＤＤ１６により読み出された、編集用素材である圧縮符号化データや、ストリームスプライサ２５から供給される編集後の圧縮符号化データを記憶する。

ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から供給された制御信号やコマンドにしたがって、ＰＣＩブリッジ１７、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、および、スイッチ２９が実行する処理を制御する。メモリ２１は、ＣＰＵ２０の処理に必要なデータを記憶する。

デコーダ２２乃至デコーダ２４は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化データをデコードし、非圧縮の映像信号(ベースバンドの画像データ)を出力する。また、デコーダ２２乃至デコーダ２４は、編集装置１に含まれない独立した装置として設けられていても良い。例えば、デコーダ２４が、独立した装置として設けられている場合、デコーダ２４は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。

ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、供給された符号化ストリーム（圧縮映像データ）を、デコーダ２４に供給したり、ＰＣＩブリッジ１７を介して、メモリ１８に供給して保存させる。また、ストリームスプライサ２５は、エンコーダ２７から、エンコード処理において取得されたデータの供給を受け、ＰＣＩブリッジ１７を介して、メモリ１８に供給して保存させることも可能である。

エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、デコーダ２２またはデコーダ２３、もしくは、入力端子２８から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ２７に供給したり、入力端子２８から供給される非圧縮の映像信号をエンコーダ２７に供給する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の映像信号をエンコードする。

スイッチ２９は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から出力されるベースバンド画像信号、または、ストリームスプライサ２５から供給され、デコーダ２４によってデコードされたベースバンド画像信号のいずれかを、外部の、例えば、表示装置などに出力する。

次に、編集装置１の動作について説明する。

ＨＤＤ１６には、Long GOPのOpen GOP方式で圧縮された複数の圧縮素材映像データが記憶されている。ＣＰＵ１１は、図示しない操作入力部からユーザの操作入力を受け、編集される２つのストリームと、その編集点の情報を受ける。

ＣＰＵ１１は、圧縮符号化された圧縮素材映像データであるストリームＡおよびストリームＢのＧＯＰ構造、並びに、編集点を示す情報を基に、ストリームＡおよびストリームＢのうち、再エンコードを行う区間を決定する。

このとき、ＣＰＵ１１は、まず、再エンコードを試みる区間として、最小再エンコード区間を決定する。最小再エンコード区間の決定について、図４乃至図６を用いて説明する。

すなわち、図４に示されるように、ストリームＡにおける編集点ａを含むＧＯＰの開始位置をαとし、ストリームＢにおける編集点ｂを含むＧＯＰの終了位置をβとしたとき、ストリームＡおよびストリームＢが編集点において接続されて生成されるストリームＣにおける基準再エンコード区間は、編集点ａおよびｂを含むαからβまでの区間とされる。

そして、編集点ａおよびｂを含むαからβまでの区間、すなわち、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たす場合、図４に示されるように、基準再エンコード区間は、そのまま、最小再エンコード区間に設定される。

そして、編集点ａおよびｂを含むαからβまでの区間、すなわち、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ａ＋Ｂ＜Ｎ／２を満たす場合、図５に示されるように、最小再エンコード区間は、ストリームＢにおける編集点ｂを含むＧＯＰの次のＧＯＰを含ませて、αから次のＧＯＰの終了点γまでであるものとする。

そして、次のＧＯＰに含まれるフレーム数がＣであるとき、基準再エンコード区間に含まれるフレーム数A＋Bに、ストリームＢの次のＧＯＰのフレーム数を加えた値Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすか否かが判断される。Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎが満たされる場合、αからγまでが１ＧＯＰとされて、最小再エンコード区間に設定される。それに対して、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎが満たされない場合、換言すれば、Ｎ＜Ａ＋Ｂ＋Ｃである場合、αからγまでを、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たすように複数のＧＯＰに分割して、２以上のＧＯＰを設定し、これら全てを最小再エンコード区間に設定する。

最小再エンコード区間が、複数のＧＯＰに分割されるとき、それぞれのＧＯＰに含まれるフレーム数ができるだけ均等になるように分割されると好適である。例えば、２ＧＯＰに分割される場合、Ａ＋Ｂ＋Ｃのフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、この２ＧＯＰが最小再エンコード区間に設定される。

また、このとき、αからγまでのフレーム数が、ＧＯＰの数で割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。具体的には、例えば、αからγまでのフレーム数が１９であった場合、１つ目のＧＯＰのフレーム数を９とし、２つ目のＧＯＰのフレーム数を１０とすると好適である。なぜなら、再エンコードされた符号化ストリームと、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるからである。

更に、Ａ＋Ｂ＋Ｃのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。また、予め定められた所定のフレーム数は、それぞれのＧＯＰにおいて、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で定められるものとすると好適である。

具体的には、例えば、Ｎ＝１５のとき、所定のフレーム数を８として、Ａ＋Ｂ＋Ｃ＝１６であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を８とし、Ａ＋Ｂ＋Ｃ＝１７であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を９とし、Ａ＋Ｂ＋Ｃ＝１８であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１０とするように、２つ目のＧＯＰのフレーム数を変化させ、同様に、Ａ＋Ｂ＋Ｃ＝２２であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１４とするようにしても良い。

そして、編集点ａおよびｂを含むαからβまでの区間、すなわち、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たす場合、図６に示されるように、基準再エンコード区間は、基準再エンコード区間のフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、この２ＧＯＰが最小再エンコード区間に設定される。

この場合においても、αからβまでのフレーム数が、２で割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。

また、同様にして、この場合においても、Ａ＋Ｂのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。

また、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１が成り立つ場合、更に、Ａ≧Ｎ／２であるか否かを判断し、Ａ≧Ｎ／２が成り立つ場合、図７に示されるように、編集点をＧＯＰの切れ目としても良い。そして、そのとき、編集点以降に対応する後ろ側のＧＯＰの先頭をＩ２ピクチャとし、Ｂ０およびＢ１ピクチャを省略するようにしてもよい。

このように、編集点、すなわち、大きく絵が変化する部分でＧＯＰを分割し、編集点以降に対応する後ろ側のＧＯＰのディスプレイ順における先頭をＩ２ピクチャとし、Ｂ０およびＢ１ピクチャを省略するものとすると、編集点以降のＧＯＰの画質の劣化を抑制することができ、好適である。

また、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１であり、かつ、Ａ≧Ｎ／２である場合、最小再エンコード区間において、編集点より後ろの部分のフレーム数、すなわち、フレーム数Ｂが少ない場合（例えば、Ｂ≧Ｎ／２が成り立たないような場合）、編集点より後ろの部分が所定のフレーム数以上（例えば、Ｎ／２以上）となるように、ストリームＢの続くＧＯＰを最小再エンコード区間に加えるものとすると、極端に少ないフレーム数で構成されたＧＯＰを再エンコード区間に含ませることを防止することができる。これにより、編集点よりも後ろの部分のＧＯＰにおいて、ＶＢＶ占有量の連続性を保ちつつ、それぞれのフレームに適切な発生符号量を配分することが容易となるので、好適である。

そして、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１であるが、Ａ≧Ｎ／２ではない場合、上述した場合と同様にして、Ａ＋Ｂのフレーム数をできるだけ均等に２つのＧＯＰに分割するようにしてもよいし、上述したように、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で、予め定められた所定のフレーム数を基準として、２つのＧＯＰに分割するものとしても良い。

このようにして、最小再エンコード区間を決定するようにすることにより、再エンコード区間の設定について、短いGOPを結果として残さない様にすることができ、いたずらに画質の劣化をもたらさないようにすることができる。

そして、再エンコードを行う区間の各GOPに対し、画質の劣化をもたらさないように、かつ、出来る限り大きなGOP長となる様なエンコードを実施できるため、符号化効率が向上し、より良い画質の符号化を期待することができる。

そして、ＣＰＵ１１は、ストリームＡおよびストリームＢを、VBV Buffer ModelのVBV占有量の連続性を守ったまま、編集点で接続して１つのストリームとする、すなわち、スプライシングするための処理を実行する。

すなわち、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、ストリームＡの編集点ａまでの部分がデコーダ２２に供給され、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、編集点で接続され、必要に応じてエフェクトが施されるように、制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

再エンコード区間および再エンコード区間前後の部分の表示が指令されている場合、ＣＰＵ１１は、ストリームＡにおいて表示開始が指令された位置から編集点までの圧縮画像データ、および、ストリームＢにおいて編集点(編集点以降の部分をデコードするために必要なフレームを含む)から表示終了が指令された位置までの圧縮画像データの、メモリ１８への供給を制御するので、ＣＰＵ２０は、ストリームＡの最小再エンコード区間以前の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力され、続いて、エフェクト／スイッチ２６から出力された、編集された部分のベースバンド画像データが、スイッチ２９を介して、外部の表示装置などに出力されるように制御する。

例えば、任意のフレームを編集点として２つのストリームのVBV占有量の連続性を損なわずにスプライスする方法は、特開2006-67095などに開示されている。

しかしながら、この方法では、再エンコード時の発生符号量の調節に失敗した場合(例えば、接続すべきＰピクチャでのVBV占有量よりも、Ｐピクチャ直前のＢピクチャによるVBV占有量が小さくなってしまい、zero stuffingを以ってVBV占有量を連続にすることができない場合)、発生符号量の調節設定を変更して再度エンコードを実行する必要があった。

再度エンコードを実行する、いわゆる、リトライ動作は、デコーダとの調走等、処理が複雑になってしまうため、実装が困難である。

そこで、編集装置１においては、スプライシングの実行時にVBV占有量の接合ができなかった場合に、再度エンコードを実行する、いわゆる、リトライ動作を実行するのではなく、再エンコード区間自体を延ばして処理を実行するようになされている。このことにより、装置内部のエンコーダとデコーダやつなぎ動作を実行するスイッチャー(例えば、図３のエフェクト／スイッチ２６)との調走などの複雑な動作は１回だけで済み、実装が楽になる。また、このような処理は、編集画像をリアルタイムで表示させる場合など、即時性が重要視されるような場合に用いると好適である。

まず、図４乃至図６を用いて説明した最小再エンコード区間の再エンコード(デコードおよびエンコード)が実行される。ＣＰＵ１１は、ストリームＡおよびストリームＢをＨＤＤ１６から読み出させ、サウスブリッジ１５、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。そして、ＣＰＵ１１は、ストリームＡおよびストリームＢのうち、最小再エンコード区間のデータが、それぞれ、デコーダ２２およびデコーダ２３に供給されてデコードされ、エフェクト／スイッチ２６において接続されて、必要に応じてエフェクトがかけられ、エンコーダ２７に供給されるように制御する。

ＣＰＵ２０は、ここで、再エンコードのVBV占有量の開始値は、最小再エンコード区間の最初、すなわち、ストリームＡのaを含むGOPの先頭におけるオリジナルのVBV占有量であり、再エンコード終了時のVBV占有量の目標値は、最小再エンコード区間の次のGOPの開始のVBV占有量であるものとする。すなわち、図８に示されるように、最小再エンコード区間の最後をβとした場合、次のＧＯＰの開始のＩ２ピクチャ(図中アで示される)のＶＢＶ占有量が、再エンコード終了位置のVBV占有量の目標値となる。

そして、ＣＰＵ２０は、任意の発生符号量調整方法により、目標VBV占有量よりも大きなVBV占有量で最小再エンコード区間のエンコードが終了する様に再エンコードの実行を制御する。

そして、最小再エンコード区間でのエンコード終了時に、目標VBV占有量より実際のVBV占有量が大きければ、zero stuffによって、VBV占有量を連続的とすることが可能であり、そこで動作を終了させて、再エンコード結果を得ることができる。

目標VBV占有量よりも実際のVBV占有量を大きくすることができた場合、続いて、次GOPのcoding順の最初のＰピクチャ（図８において図中イで示されるピクチャ）の直前までのフレームが、ストリームスプライサ２５に供給されるとともに、デコーダ２３に供給され、デコードされた後、エフェクト／スイッチ２６を介して、エンコーダ２７に供給されてエンコードされる。

このとき、次GOPのcoding順の最初のＰピクチャ（図８において図中イで示されるピクチャ）でのVBV占有量を目標値とし、Ｉピクチャ（図８において図中アで示されるピクチャ）の符号量を、オリジナルのストリームＢにおける該当するＩピクチャの符号量として、次GOPの先頭から最初のPピクチャ（図８において図中イで示されるピクチャ）の手前まで(IBBか、または、IB)を、PピクチャでVBV占有量を連続的とすることができる様に(VBV占有量を目標値よりも大きくする様に)、任意の発生符号調整方法により再エンコード処理が実行される。

その結果、目標Ｐピクチャで、必要に応じてzero stuffを利用して、VBV占有量を連続とすることができれば、ＣＰＵ２０は、Ｉピクチャの符号を、オリジナルのストリームＢにおける該当するＩピクチャの符号に差し替えて、エンコード結果とし、スプライシング動作を終了させる。

一方、目標Ｐピクチャで、VBV占有量を連続にすることができなかった場合、ＣＰＵ２０は、図８のβまでの再エンコード区間すなわち、GOP切れ目でのVBV占有量が連続となったエンコード結果をもって、スプライシング動作を終了させる。換言すれば、図８のβまでの再エンコード区間以降、次GOPのcoding順の最初のＰピクチャの直前までのフレーム（例えば、図８において図中アで示されるピクチャから図中イで示されるピクチャまでの範囲）において、編集後の圧縮画像データとして、再エンコードされた圧縮画像データではなく、ストリームスプライサ２５に供給されたオリジナルのストリームに含まれていたフレームが採用される。

スプライシング動作が終了された場合、ＣＰＵ２０は、ＣＰＵ１１に対して、デコーダ２２またはデコーダ２３へのストリームの供給を停止させるように、制御信号を供給する。再エンコード区間のみの表示が指令されている場合、ＣＰＵ１１は、ストリームＢのメモリ１８への転送をストップさせる。また、再エンコード区間前後の部分の表示が指令されている場合、ＣＰＵ１１は、ストリームＢのメモリ１８への転送を続ける。ＣＰＵ２０は、エフェクト／スイッチ２６から出力された、編集された部分のベースバンド画像データが、スイッチ２９を介して、外部の表示装置などに出力されるのに続いて、ストリームＢの再エンコード区間以後の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように制御する。

これに対して、最小再エンコード区間でのエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまった場合は、zero stuffによってVBV占有量を連続にすることはできないため、ＣＰＵ２０は、次GOPもエンコード対象として、任意の発生符号調整方法により再エンコードが継続されるように、各部を制御する。

具体的には、ＣＰＵ２０は、図９Ａに示される最小再エンコード区間に対して、図９Ｂに示されるように、次のＧＯＰを延長再エンコード区間とし、任意の発生符号量調整方法により、目標VBV占有量よりも大きなVBV占有量で延長再エンコード区間のエンコードが終了する様に、目標発生符号量を設定して、再エンコードを実行させる。図中γで示される、更に続くＧＯＰの開始のVBV占有量が、再エンコード区間が延長された場合の延長再エンコード区間における再エンコード終了時のVBV占有量の目標値とされる。

そして、図９Ｂに示されるγまでの再エンコード結果、目標VBV占有量よりも実際のVBV占有量を大きくすることができた場合、上述した場合と同様に、続くGOPのcoding順の最初のＰピクチャ（図８において図中イで示されるピクチャ）でのVBV占有量を目標値として、再エンコードが実行される。図９Ｂに示されるγまでの再エンコード結果、目標VBV占有量よりも実際のVBV占有量を大きくすることができなかった場合、更に、続くＧＯＰが延長再エンコード区間とされる。

なお、最小再エンコード区間、または、延長再エンコード区間に続く次のＧＯＰにおいて、coding順で最初のＰピクチャの前にＢピクチャが配置されていなかった場合、GOP切れ目でのVBV占有量が連続となったエンコード結果を以って、スプライシング動作が終了される。また、ストリームＡの編集点aがGOPのdisplay順先頭であった場合、最小再エンコード区間の開始はストリームＢの編集点bからであるものとすることができる。

すなわち、編集装置１においては、再エンコード区間の切れ目(再エンコード区間の最後と、続くＧＯＰの最初と)でVBV占有量をあわせることができなかった場合、次のGOP切れ目までエンコード区間が延長されて、延長再エンコード区間とされる。そして、再エンコード区間の切れ目でVBV占有量をあわせることができた場合、再エンコード区間の次のGOPのIピクチャにはオリジナルの符号が使用され、更に、再エンコード区間の次のGOPの最初のPピクチャまでのフレームが再エンコードされる。そして、ＰピクチャにおいてVBVを合わせることができれば、このＰピクチャの手前までで再エンコードが終了される。また、ＰピクチャにおいてVBVを合わせることができなかったときには、再エンコード区間までで再エンコードが終了される。

このようにすることにより、編集点を含むＧＯＰを含んで構成される最小再エンコード区間において、目標VBV占有量よりも実際のVBV占有量を大きくすることができなかった場合においても、リトライ動作を行わないようにすることができるので、リトライ動作を含むものと比較して、実装が容易になる。

次に、図１０は、図３の編集装置１が有する主な機能の構成について説明するための機能ブロック図である。なお、図１０において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

編集装置１は、制御部１０１、取得部１０２、デコーダ２２およびデコーダ２３を含むデコーダ１０３、並びに、エンコーダ２７から構成される。

制御部１０１は、ＣＰＵ１１およびＣＰＵ２０に対応し、編集装置１の各部を制御する。取得部１０２は、制御部１０１の制御に基づいて、ＨＤＤ１６またはメモリ１８から圧縮素材映像データを取得して、再エンコード区間に対応する部分は、デコーダ２２またはデコーダ２３を含むデコーダ１０３に供給する。圧縮素材映像データが記憶されるＨＤＤ１６またはメモリ１８が取得部１０２に含まれるようにしてもよいし、取得部１０２が編集装置１に接続されている他の装置から圧縮素材映像データを取得するものとしてもよい。また、取得部１０２は、必要に応じて、再エンコード区間に対応しない部分も取得し、再エンコードされた部分と接続して、編集画像を生成するために（図３におけるストリームスプライサ２５に）出力する。

デコーダ１０３は、取得部１０２から供給された圧縮素材映像データをデコードし、その結果として得られた非圧縮の映像信号をエンコーダ２７に供給する。なお、図１０に示す編集装置１には、圧縮素材映像データをデコードするデコーダとして、２つのデコーダ２２およびデコーダ２３が設けられ、編集後のストリームをデコードするデコーダとして、デコーダ２４が設けられているが、編集装置１に設けられるデコーダは１つであってもよいし、３以上であってもよい。

また、制御部１０１は、より詳細には図１１に示すような機能を有している。

すなわち、制御部１０１は、ＣＰＵ１１およびＣＰＵ２０が実行可能な機能を併せ持つものとして定義されるものである。また、ＣＰＵ１１は、操作入力取得部１３１、再エンコード区間決定部１３２、ストリーム送出制御部１３３、および、パラメータ送出部１３４の機能を有し、ＣＰＵ２０は、ストリーム取得制御部１５１、パラメータ取得部１５２、復号制御部１５３、および、符号化制御部１５４から構成される。

操作入力取得部１３１は、ユーザによる操作入力を受けて、編集されるストリームおよび編集点に関する情報などのユーザの操作に応じた情報を取得し、取得した情報を再エンコード区間決定部１３２またはストリーム送出制御部１３３に供給する。

再エンコード区間決定部１３２は、まず、操作入力取得部１３１から供給される編集されるストリームおよび編集点に関する情報に基づいて、最小再エンコード区間を決定する。再エンコード区間決定部１３２は、決定された最小再エンコード区間を示す情報をパラメータ送出部１３４およびストリーム送出制御部１３３に供給する。そして、再エンコード区間決定部１３２は、符号化制御部１５４から、ストリーム供給を停止させる要求を受けなかった場合、換言すれば、最小再エンコード区間の再エンコード処理の結果、ＶＢＶ占有量が目標値よりも下回ったために、延長再エンコード区間として設定される次のＧＯＰの供給が要求された場合、延長再エンコード区間を示す情報をパラメータ送出部１３４およびストリーム送出制御部１３３に供給する。

パラメータ送出部１３４は、再エンコード区間決定部１３２からの最小再エンコード区間または延長再エンコード区間を示す情報に基づいて、ストリームの再エンコードに必要な各種のパラメータをパラメータ取得部１５２に供給する。

ストリーム送出制御部１３３は、操作入力取得部１３１および再エンコード区間決定部１３２からの情報に基づいて、編集されるストリームのうちの再エンコード区間として設定された部分がデコーダ２２またはデコーダ２３に送出されるように、取得部１０２を制御する。また、ストリーム送出制御部１３３は、必要に応じて、編集されるストリームのうちの再エンコード区間として設定されていない部分も取得し、（図３におけるストリームスプライサ２５に）出力されるように、取得部１０２を制御する。また、ストリーム送出制御部１３３は、操作入力取得部１３１からの情報に基づいて、ストリームの編集、記憶、または表示などのユーザの操作に応じた処理を行うための制御信号をストリーム取得制御部１５１に供給する。

ストリーム取得制御部１５１は、ストリーム送出制御部１３３からの制御信号に基づいて、編集されるストリームの取得を制御する。

復号制御部１５３は、ストリームのデコードを制御する。パラメータ取得部１５２は、パラメータ送出部１３４からストリームの再エンコードに必要な各種のパラメータを取得し、符号化制御部１５４に供給する。

符号化制御部１５４は、パラメータ取得部１５２から供給されるパラメータに基づいて、編集されたストリームの再エンコードを制御する。

次に、図１２および図１３のフローチャートを参照して、ＣＰＵ１１の処理について説明する。

ステップＳ１において、ＣＰＵ１１は、圧縮符号化された圧縮素材映像データであるストリームＡおよびストリームＢのＧＯＰ構造、並びに、編集点を示す情報の入力を受ける。また、ＣＰＵ１１は、再エンコード区間前後の部分の表示が指令されている場合、ストリームＡの最小再エンコード区間以前の部分のデータが、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ２において、図１４または図１５および図１６を用いて後述する最小再エンコード区間決定処理が実行され、図４乃至図６を用いて説明したように、最小再エンコード区間が決定される。

ステップＳ３において、ＣＰＵ１１は、ステップＳ２において、最小再エンコード区間が決定されたか否かを判断する。ステップＳ３において、最小再エンコード区間が決定されなかったと判断された場合、処理は、終了される。

ステップＳ３において、最小再エンコード区間が決定されたと判断された場合、ステップＳ４において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータを取得する。

最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータには、例えば、ストリームＡにおける編集点を含むＧＯＰまでのＧＯＰ数など、その位置を示す情報、ストリームＡにおける編集点を含むＧＯＰにおける編集点の位置を示す情報、ストリームＢにおける編集点を含むＧＯＰからストリーム終了までのＧＯＰ数など、その位置を示す情報、ストリームＢにおける編集点を含むＧＯＰにおける編集点の位置を示す情報、最小再エンコード区間のはじめのＶＢＶ値および次のＧＯＰの最初のフレームのＶＢＶ値（すなわち、最小再エンコード区間におけるＶＢＶ目標値）、エフェクトの有無またはエフェクトの種類を示す情報などがある。

ステップＳ５において、ＣＰＵ１１は、最小再エンコード区間のエンコード終端処理に必要なパラメータを取得する。エンコード終端処理とは、図８を用いて説明した、最小再エンコード区間の次のＧＯＰの最初のＰピクチャまでの再エンコード処理と、その結果に基づいた、編集ストリームＣの生成処理である。

最小再エンコード区間のエンコード終端処理を実行させるために必要なパラメータには、例えば、該当するＧＯＰにおけるＶＢＶ目標値、該当するＧＯＰの次のＧＯＰの最初のＰピクチャにおけるＶＢＶ値、該当するＧＯＰの次のＧＯＰのＩピクチャの発生符号量、該当するＧＯＰの次のＧＯＰの最初のＰピクチャ直前のＢピクチャの数、該当するＧＯＰの次のＧＯＰの最初のＰピクチャ直前のＢピクチャにおける量子化マトリクスなどがある。

ステップＳ６において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリームのデコーダ２２およびデコーダ２３への送出を制御する。具体的には、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、ストリームＡの編集点ａまでの部分がデコーダ２２に供給され、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、編集点で接続され、必要に応じてエフェクトが施されるように、各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ７において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ８において、ＣＰＵ１１は、最小再エンコード区間において表示出力されるストリームが、エンコーダ２７への入力データとなるようにスイッチ２９を制御させるための制御信号を、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ９において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータを取得する。

ステップＳ１０において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間のエンコード終端処理に必要なパラメータを取得する。

ステップＳ１１において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、ストリームＢの最小再エンコード区間に続くＧＯＰのデコーダ２３への送出を制御する。

ステップＳ１２において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ１３において、ＣＰＵ１１は、コントロールバス１９、ＰＣＩブリッジ１７、ＰＣＩバス１４、および、ノースブリッジ１２を介して、ＣＰＵ２０から、デコーダ２３へのストリーム供給を停止させる要求を受けたか否かを判断する。

すなわち、最小再エンコード区間における再エンコード処理において、目標VBV占有量よりも大きなVBV占有量で最小再エンコード区間のエンコードが終了された場合、ＣＰＵ２０は、ＣＰＵ１１に、デコーダ２３へのストリーム供給を停止させる要求を送出する。

ステップＳ１３において、ＣＰＵ２０から、デコーダ２３へのストリーム供給を停止させる要求を受けていない、すなわち、最小再エンコード区間における再エンコード処理において、目標VBV占有量よりも大きなVBV占有量で最小再エンコード区間のエンコードが終了されていないと判断された場合、処理は、ステップＳ９に戻り、それ以降の処理が繰り返される。

ステップＳ１３において、ＣＰＵ２０から、デコーダ２３へのストリーム供給を停止させる要求を受けたと判断された場合、ステップＳ１４において、ＣＰＵ１１は、最終的な再エンコード区間に続くフレームとして、Iピクチャに続いてBピクチャが配置されているか否かを判断する。ステップＳ１４において、Iピクチャに続いてBピクチャが配置されていない、すなわち、Ｉピクチャに続いて、Ｐピクチャが配置されていると判断された場合、処理は、後述するステップＳ１７に進む。

ステップＳ１４において、Iピクチャに続いてBピクチャが配置されていると判断された場合、ステップＳ１５において、ＣＰＵ１１は、最終的な再エンコード区間に続くIピクチャ、１枚以上のBピクチャ、および、Pピクチャ、すなわち、図８において図中アに示されるフレームから図中イに示されるフレームまでの複数のフレームは、ＨＤＤ１６から読み出され、サウスブリッジ１５、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給されているか否かを判断する。ステップＳ１５において、Iピクチャ、１枚以上のBピクチャ、および、Pピクチャが、メモリ１８に供給されていると判断された場合、処理は、後述するステップＳ１７に進む。

ステップＳ１５において、Iピクチャ、１枚以上のBピクチャ、および、Pピクチャが、メモリ１８に供給されていないと判断された場合、ステップＳ１６において、ＣＰＵ１１は、最終的な再エンコード区間に続くIピクチャ、１枚以上のBピクチャ、および、Pピクチャのデコーダ２３への供給を制御する。

ステップＳ１４において、Iピクチャに続いてBピクチャが配置されていない、すなわち、Ｉピクチャに続いて、Ｐピクチャが配置されていると判断された場合、ステップＳ１５において、Iピクチャ、１枚以上のBピクチャ、および、Pピクチャが、メモリ１８に供給されていると判断された場合、または、ステップＳ１６の処理の終了後、ステップＳ１７において、ＣＰＵ１１は、再エンコード区間外において表示出力されるストリームが、ストリームスプライサ２５を介してデコーダ２４に供給されてデコードされ、外部の表示装置などに供給されるように各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出して、処理が終了される。

このような処理により、ＣＰＵ１１は、最小再エンコード区間を決定して、最小再エンコード区間の再エンコード処理、および、エンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出するとともに、再エンコード区間のストリームの、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介した、メモリ１８への供給と、デコーダ２３(または、必要に応じて、デコーダ２２)への供給を制御することができるようになされている。

また、ＣＰＵ１１は、予め、次に再エンコードされる延長再エンコード区間の再エンコード処理、および、エンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出するとともに、再エンコード区間が延長された場合に続いて再エンコードされるストリームを、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させ、デコーダ２３(または、必要に応じて、デコーダ２２)に供給させることができるようになされている。これにより、編集装置１は、再エンコード区間が延長されて、延長再エンコード区間が設定された場合であっても、処理が遅延されたりとまったりすることがないため、連続して編集画像を再生出力させることが可能となる。

次に、図１４のフローチャートを参照して、図１２のステップＳ２において実行される処理の第１の例である、最小再エンコード区間決定処理１について説明する。

ステップＳ４１において、ＣＰＵ１１は、編集されるそれぞれのストリームにおける編集点位置の情報を基に、図４を用いて説明したように、基準再エンコード区間を決定する。すなわち、ストリームＡにおける編集点ａを含むＧＯＰの開始位置をαとし、ストリームＢにおける編集点ｂを含むＧＯＰの終了位置をβとしたとき、ストリームＡおよびストリームＢが編集点において接続されて生成されるストリームＣにおける基準再エンコード区間は、編集点ａおよびｂを含むαからβまでの区間とされる。

ステップＳ４２において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たすか否かを判断する。

ステップＳ４２において、フレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たすと判断された場合、ステップＳ４３において、ＣＰＵ１１は、基準再エンコード区間を１ＧＯＰとして、最小再エンコード区間に設定し、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。

ステップＳ４２において、フレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たさないと判断された場合、ステップＳ４４において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすか否かを判断する。

ステップＳ４４において、フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすと判断された場合、ステップＳ４５において、ＣＰＵ１１は、図６を用いて説明したように、基準再エンコード区間のフレーム数が偶数の場合は均等に分割し、奇数の場合は後ろが１フレーム多くなるように分割して、２ＧＯＰとし、最小再エンコード区間に設定する。

また、このとき、フレーム数Ａ＋Ｂが割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。なぜなら、再エンコードされた符号化ストリームと、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるからである。

ステップＳ４４において、フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たさないと判断された場合、ステップＳ４６において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たすか否かを判断する。

ステップＳ４６において、フレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たさないと判断された場合、フレーム数A＋Bは、２Ｎ以上の値を有するので、ステップＳ４７において、ＣＰＵ１１は、エラー処理を実行し、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。

ステップＳ４６において、フレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たすと判断された場合、ステップＳ４８において、ＣＰＵ１１は、基準再エンコード区間に含まれるフレーム数A＋Bに、ストリームＢの次のＧＯＰのフレーム数を加えた値Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすか否かを判断する。

ステップＳ４８において、Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たさないと判断された場合、すなわち、Ｎ＜Ａ＋Ｂ＋Ｃである場合、ステップＳ４９において、ＣＰＵ１１は、図５を用いて説明したように、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たすように分割して、２以上のＧＯＰを設定して、最小再エンコード区間に設定する。このとき、それぞれのＧＯＰに含まれるフレーム数ができるだけ均等になるように分割されると好適である。例えば、２ＧＯＰに分割される場合、Ａ＋Ｂ＋Ｃのフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、この２ＧＯＰが最小再エンコード区間に設定される。

また、このとき、フレーム数Ａ＋Ｂ＋Ｃが割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。なぜなら、再エンコードされた符号化ストリームと、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるからである。

更に、Ａ＋Ｂ＋Ｃのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。また、予め定められた所定のフレーム数は、それぞれのＧＯＰにおいて、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で定められるものとすると好適である。

ステップＳ４９の処理の終了後、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。

ステップＳ４８において、Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすと判断された場合、ステップＳ５０において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを１ＧＯＰとして、最小再エンコード区間に設定し、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。

このような処理により、最小再エンコード区間の設定について、短いGOPを結果として残さない様にすることができ、いたずらに画質の劣化をもたらさないようにすることができる。そして、再エンコードを行う区間の各GOPに対し、出来る限り大きなGOP長となる様なエンコードを実施できるため、符号化効率が最大となり、より良い画質の符号化を期待することができる。

なお、ステップＳ４５の処理においては、基準再エンコード区間内のフレーム数をできるだけ均等になるように分割するものとして説明したが、ここでは、Ａ＋Ｂ＋Ｃのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。

次に、図１５および図１６のフローチャートを参照して、図１２のステップＳ２において実行される処理の第２の例である、最小再エンコード区間決定処理２について説明する。

ステップＳ６１乃至ステップＳ６４において、図１４のステップＳ４１乃至ステップＳ４４と、基本的に同様の処理が実行される。

すなわち、ＣＰＵ１１は、編集されるそれぞれのストリームにおける編集点位置の情報を基に、図４を用いて説明したように、基準再エンコード区間を決定する。そして、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たすと判断された場合、基準再エンコード区間を１ＧＯＰとして、最小再エンコード区間が設定される。

そして、ステップＳ６４において、フレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たさないと判断された場合、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすか否かが判断される。ステップＳ６４において、フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たさないと判断された場合、処理は、後述するステップＳ６７に進む。

ステップＳ６４において、フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすと判断された場合、ステップＳ６５において、ＣＰＵ１１は、基準再エンコード区間のうち、編集点より前にあるフレームの数Ａは、Ａ≧Ｎ／２を満たしているか否かを判断する。ステップＳ６５において、Ａ≧Ｎ／２を満たしていると判断された場合、処理は、後述するステップＳ７２に進む。

ステップＳ６５において、Ａ≧Ｎ／２を満たしていないと判断された場合、ステップＳ６６において、ＣＰＵ１１は、フレーム数A＋Bの値に基づいた所定のフレーム数になるように分割して２ＧＯＰとし、最小再エンコード区間に設定して、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。

また、このとき、例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。具体的には、例えば、Ｎ＝１５のとき、Ａ＋Ｂ＋Ｃ＝１６であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を８とし、Ａ＋Ｂ＋Ｃ＝１７であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を９とし、Ａ＋Ｂ＋Ｃ＝１８であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１０とするように、２つ目のＧＯＰのフレーム数を変化させ、同様に、Ａ＋Ｂ＋Ｃ＝２２であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１４とするようにしても良い。

このようにして、時間的に前のＧＯＰのフレーム数を、再エンコードが困難とならないような所定の値に固定しておき、後のＧＯＰのフレーム数が多くなるように設定すると、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるため、好適である。

ステップＳ６４において、フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たさないと判断された場合、ステップＳ６７乃至ステップＳ７１において、図１４のステップＳ４６乃至ステップＳ５０と基本的に同様の処理が繰り返される。

すなわち、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たすか否かが判断され、フレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たさないと判断された場合、フレーム数A＋Bは、２Ｎ以上の値を有するので、エラー処理が実行され、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。そして、フレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たすと判断された場合、基準再エンコード区間に含まれるフレーム数A＋Bに、ストリームＢの次のＧＯＰのフレーム数を加えた値Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすか否かが判断される。

Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たさないと判断された場合、すなわち、Ｎ＜Ａ＋Ｂ＋Ｃである場合、図５を用いて説明したように、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものが、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たすように分割されて、２以上のＧＯＰが設定されて、最小再エンコード区間に設定され、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。このとき、Ａ＋Ｂ＋Ｃのフレーム数をできるだけ均等に２つのＧＯＰに分割するようにしてもよいし、上述したように、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で、予め定められた所定のフレーム数で、２つのＧＯＰに分割するものとしても良い。

そして、Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすと判断された場合、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものが１ＧＯＰとされて、最小再エンコード区間に設定され、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。

ステップＳ６５において、Ａ≧Ｎ／２を満たしていると判断された場合、ステップＳ７２において、ＣＰＵ１１は、編集点をＧＯＰの切れ目としたとき、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂを満たすか否かを判断する。

ステップＳ７２において、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂを満たすと判断された場合、ステップＳ７３において、ＣＰＵ１１は、図７を用いて説明したように、編集点をＧＯＰの切れ目として、基準再エンコード区間を２ＧＯＰに分割し、最小再エンコード区間に設定して、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。

なお、ステップＳ７３の処理が実行された場合、図１２を用いて説明したＣＰＵ１１の処理のステップＳ７において、ＣＰＵ１１は、最小再エンコード区間において編集点より後ろのＧＯＰのディスプレイ順における先頭をＩ２ピクチャとする（換言すれば、Ｂ０およびＢ１ピクチャを省略する）ことを示す情報を、再エンコードに必要なパラメータとして、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ７２において、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂを満たさないと判断された場合、ステップＳ７４において、ＣＰＵ１１は、編集点をＧＯＰの切れ目としたとき、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂに、ストリームＢの次のＧＯＰのフレーム数Ｃを加えたＢ＋Ｃは、Ｎ／２≦Ｂ＋Ｃ≦Ｎを満たすか否かを判断する。

ステップＳ７４において、Ｎ／２≦Ｂ＋Ｃ≦Ｎが満たされると判断された場合、ステップＳ７５において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを、１ＧＯＰ目が編集点より前、２ＧＯＰ目を編集点より後ろの部分として、最小再エンコード区間に設定して、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。

ステップＳ７４において、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂ＋Ｃ≦Ｎを満たさないと判断された場合、ステップＳ７６において、ＣＰＵ１１は、Ｂ＋Ｃは、Ｎ／２＞Ｂ＋Ｃを満たすか否かを判断する。

ステップＳ７６において、Ｎ／２＞Ｂ＋Ｃが満たされないと判断された場合、Ｂ＋Ｃ＞Ｎであるので、ステップＳ７７において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを、１ＧＯＰ目が編集点より前、２ＧＯＰ目および３ＧＯＰ目を、編集点より後ろの部分、すなわち、フレーム数がＢ＋Ｃフレームである部分を２ＧＯＰに分割したそれぞれのＧＯＰであるものとして、この３ＧＯＰを最小再エンコード区間に設定し、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。

ステップＳ７６において、Ｎ／２＞Ｂ＋Ｃが満たされると判断された場合、ステップＳ７８において、ＣＰＵ１１は、更に、ストリームＢの次のＧＯＰのフレーム数を加えたフレーム数は、Ｎ／２と等しいか、または、大きいかを判断する。ステップＳ７８において、フレーム数はＮ／２より小さいと判断された場合、フレーム数が、Ｎ／２と等しいか、または、大きいと判断されるまで、ステップＳ７８の処理が繰り返される。

ステップＳ７８において、フレーム数が、Ｎ／２と等しいか、または、大きいと判断された場合、ステップＳ７９において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの複数ＧＯＰを加えたものを、１ＧＯＰ目が編集点より前、２ＧＯＰ目を編集点より後ろの部分として、最小再エンコード区間に設定して、処理は、図１２のステップＳ２に戻り、ステップＳ３に進む。

このような処理により、最小再エンコード区間の設定について、ＧＯＰを構成するフレーム数と、編集点の位置とを考慮して、いたずらに画質の劣化をもたらさないようなＧＯＰ構成とすることができる。それにより、より良い画質の符号化を期待することができる。

なお、ステップＳ６６の処理においては、Ａ＋Ｂ＋Ｃのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとして説明したが、ここでは、基準再エンコード区間内のフレーム数をできるだけ均等になるように分割するものとしても良い。

次に、図１７のフローチャートを参照して、ＣＰＵ２０の処理について説明する。

ステップＳ８１において、ＣＰＵ２０は、図１２のステップＳ７においてＣＰＵ１１により送出された、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを取得する。

ステップＳ８２において、ＣＰＵ２０は、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とを取得する。

ステップＳ８３において、ＣＰＵ２０は、ＶＢＶ目標値Ｖ２に対して、最小再エンコード区間の符号配分を決定する。符号配分の決定方法は、ここでは、いずれの方法を用いても良い。

ステップＳ８４において、ＣＰＵ２０は、決定された符号配分に基づいて、最小再エンコード区間のデコードおよびエンコード、並びに、編集点の接続の制御を開始する。すなわち、ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から送出される制御信号を基に、ストリームＡの最小再エンコード区間以前の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように、ＰＣＩブリッジ１７、ストリームスプライサ２５、デコーダ２４、および、スイッチ２９の動作を制御し、ストリームＡの最小再エンコード区間のデータがデコーダ２２に供給されてデコードされ、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、デコードされたそれぞれのストリームが編集点で接続され、必要に応じてエフェクトが施された後、スイッチ２９を介して、外部の表示装置などに出力されるとともに、エンコーダ２７によってエンコードされるように、ＰＣＩブリッジ１７、デコーダ２２、デコーダ２３、エフェクト／スイッチ２６、エンコーダ２７、および、スイッチ２９の動作を制御する。

なお、最小再エンコード区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たし、そのうち、編集点の前までのフレーム数Ａが、Ａ≧Ｎ／２を満たす場合、ＣＰＵ２０は、編集点より後のＧＯＰが、表示順でＩ２ピクチャから開始されるように、エンコーダ２７を制御する。

ステップＳ８５において、ＣＰＵ２０は、図１３のステップＳ１２においてＣＰＵ１１により送出された、延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを取得する。

ステップＳ８６において、ＣＰＵ２０は、延長再エンコード区間のＶＢＶ開始値Ｖ１’とＶＢＶ目標値Ｖ２’とを取得する。

ステップＳ８７において、ＣＰＵ２０は、ＶＢＶ目標値Ｖ２’に対して、延長再エンコード区間の符号配分を決定する。符号配分の決定方法は、ここでも、いずれの方法を用いても良い。

ステップＳ８８において、ＣＰＵ２０は、現在設定されている再エンコード区間(例えば、１回目のステップＳ８８の処理においては、最小再エンコード区間、それ以降に実行されるステップＳ８８の処理においては、延長再エンコード区間)の再エンコードは終了したか否かを判断する。ステップＳ８８において、現在設定されている区間の再エンコードは終了していないと判断された場合、現在設定されている区間の再エンコードは終了したと判断されるまで、ステップＳ８８の処理が繰り返される。

ステップＳ８８において、現在設定されている区間の再エンコードは終了したと判断された場合、ステップＳ８９において、ＣＰＵ２０は、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かを判断する。

ステップＳ８９において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致しないと判断された場合、ステップＳ９０において、ＣＰＵ２０は、ステップＳ８５において取得した、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータ、並びに、ステップＳ８６において取得した、延長再エンコード区間のＶＢＶ開始値Ｖ１’およびＶＢＶ目標値Ｖ２’を基に、延長再エンコード区間の再エンコードの設定を行う。

ステップＳ９１において、ＣＰＵ２０は、ステップＳ８７において決定した、再エンコード区間の符号配分を基に、決定された符号配分に基づいて、次に再エンコードされる延長再エンコード区間のデコードおよびエンコードの開始を制御し、処理は、ステップＳ８５に戻り、それ以降の処理が繰り返される。

ステップＳ８９において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致する、すなわち、Occupancyの連続性が保たれたと判断された場合、ステップＳ９２において、図１８を用いて後述するエンコード終端処理が実行され、処理が終了される。

このような処理により、再エンコード区間の終了点において、ＶＢＶ目標値に合致するか否かが判断され、ＶＢＶ目標値に合致しなかった場合、再エンコード区間が延長されるので、再エンコードがリトライされない。そのため、編集時にリアルタイムで編集画像を表示させる場合などの応答性が向上する。

また、ある再エンコード区間の処理が終了する前に、次に再エンコードされる延長再エンコード区間を再エンコードするために必要な情報が取得されるので、再エンコード区間が延長された場合でも、処理が遅延されるようなことがない。

次に、図１８のフローチャートを参照して、図１７のステップＳ９２において実行される、エンコード終端処理について説明する。

ステップＳ１２１において、ＣＰＵ２０は、次のＧＯＰのエンコード前に、次のＧＯＰのＢピクチャの量子化マトリクスを設定する。

ステップＳ１２２において、ＣＰＵ２０は、Ｉピクチャから次のＰピクチャの直前までの区間の再エンコードを実行する。

ステップＳ１２３において、ＣＰＵ２０は、ＶＢＶ目標値を次のＧＯＰの最初のＰピクチャの直前のＶＢＶ値に設定し、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かを判断する。このとき、オリジナルのストリーム(例えば、図４などにおけるストリームＢ)のＩピクチャのビット量を用いて、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かの判断が実行される。

ステップＳ１２３において、ＶＢＶ目標値に合致した、すなわち、Occupancyの連続性が保たれたと判断された場合、ステップＳ１２４において、ＣＰＵ２０は、再エンコードを終了し、Ｉピクチャをオリジナルのストリーム(例えば、図４などにおけるストリームＢ)のＩピクチャに置き換えて、このＧＯＰの最初のＰピクチャの直前までの再エンコード画像を、編集画像として採用するように、各部を制御して、処理は、図１７のステップＳ９２に戻り、処理が終了される。

ステップＳ１２３において、ＶＢＶ目標値に合致しなかったと判断された場合、ステップＳ１２５において、ＣＰＵ２０は、再エンコードを終了し、前のＧＯＰまでの再エンコード画像を採用する、すなわち、ストリームスプライサ２５に供給されたオリジナルのストリームＢにおいて、最初のＰピクチャの前に配置されている１枚または複数枚のＢピクチャを編集画像として採用する処理を実行して（換言すれば、ステップＳ１２２において再エンコードされた、次のＰピクチャの直前までの区間の再エンコード結果を破棄して）、処理は、図１７のステップＳ９２に戻り、処理が終了される。

このような処理により、ＧＯＰの切れ目でＶＢＶが連続した場合、次のＰピクチャの直前まで再エンコード区間が延長され、その再エンコード区間の終了点でＶＢＶが連続するように、再エンコードが制御される。そして、次のＰピクチャにおいてＶＢＶが連続した場合、編集データとして、次のＧＯＰの最初のＰピクチャの直前までのＢピクチャが加えられる。

なお、ここでは、コーディックの方式としてＭＰＥＧを用いた場合を例として説明しているが、フレーム相関を伴うコーディック処理を行う場合、バッファモデリングにしたがうコーディック処理を行う場合においても、本発明は適用可能であることはいうまでもない。例えば、ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などにおいて、本発明は適用可能である。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図３を用いて説明した編集装置１は、図１９に示されるようなパーソナルコンピュータ３０１により構成される。

図１９において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。

入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図１９に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、上述の実施の形態においては、編集装置１が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図２０に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置３７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置３７２が、それぞれ独立した装置として構成されていても良い。

このとき、復号装置３７１は、映像素材である圧縮符号化データを復号し、符号化装置３７２に供給するのみならず、本発明を適用することにより符号化装置３７２により部分的に符号化された後、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。

さらに、上述の実施の形態においては、デコーダ２２乃至２４が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ２７が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。

例えば、デコーダ２２乃至２４が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ２７は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。

さらに、上述の実施の形態においては、デコーダ２２乃至２４が完全に復号したベースバンド信号を、エンコーダ２７が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、デコーダ２２乃至２４が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、エンコーダ２７が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。

更に、図２０に示される復号装置３７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置３７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。

例えば、復号装置３７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置３７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理（中途段階までの復号）を行う復号装置３７１のデコード処理、および、符号化（中途段階からの符号化）を行う符号化装置３７２のエンコード処理において、本発明を適用することができるのは言うまでもない。

更に、復号装置３７１が完全に復号したベースバンド信号を、符号化装置３７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置３７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置３７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。

更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置３１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置３７２で構成されたトランスコーダ３８１においても、本発明は適用可能である。このようなトランスコーダ３８１は、例えば、スプライシングなどの編集を行う編集装置３８２、すなわち、上述した編集装置１のストリームスプライサ２５やエフェクト／スイッチ２６が実行可能な機能を有する編集装置が利用される場合などに用いられる。

さらに、上述の実施の形態においては、ＣＰＵ１１およびＣＰＵ２０がそれぞれ別の形態で構成されているが、これに限らず、編集装置１全体を制御する１つのＣＰＵとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ１３およびメモリ２１がそれぞれ別の形態で構成されているが、これに限らず、編集装置１において１つのメモリとして構成する形態も考えられる。

さらに、上述の実施の形態においては、ＨＤＤ１６、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、入力端子２８、および、スイッチ２９を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。

さらに、上述の実施の形態においては、圧縮された編集用の素材がＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。

さらに、上述の実施の形態においては、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、入力端子２８、および、スイッチ２９は、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

編集と部分再エンコードについて説明するための図である。 部分再エンコードおよび編集処理を実行した場合のVBVバッファについて説明するための図である。 編集装置の構成を示すブロック図である。 最小再エンコード区間の設定について説明するための図である。 最小再エンコード区間の設定について説明するための図である。 最小再エンコード区間の設定について説明するための図である。 最小再エンコード区間の設定について説明するための図である。 エンコード終端処理について説明するための図である。 再エンコード区間の延長について説明するための図である。 編集装置の機能構成を示す機能ブロック図である。 制御部の機能構成を示す機能ブロック図である。 ＣＰＵ１１の処理について説明するためのフローチャートである。 ＣＰＵ１１の処理について説明するためのフローチャートである。 最小再エンコード区間決定処理１について説明するためのフローチャートである。 最小再エンコード区間決定処理２について説明するためのフローチャートである。 最小再エンコード区間決定処理２について説明するためのフローチャートである。 ＣＰＵ２０の処理について説明するためのフローチャートである。 エンコード終端処理について説明するためのフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。 本発明を適用可能な異なる装置の構成について説明するための図である。

符号の説明

１ 編集装置， １１ ＣＰＵ， １６ ＨＤＤ， ２０ ＣＰＵ， ２２乃至２４ デコーダ， ２５ ストリームスプライサ， ２６ エフェクト／スイッチ， ２７ エンコーダ， ２９ スイッチ

Claims (28)

1. 第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置において、
   前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する区間を決定する制御手段と、
   前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするデコード手段と、
   前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２のベースバンド信号とを、編集点で接続し、第３のベースバンド信号を生成する接続手段と、
   前記接続手段により接続されて生成された前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成するエンコード手段と
   前記エンコード手段によるエンコード処理の発生符号量を管理する管理手段と
   を備え、
   前記制御手段は、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、
   前記第１の範囲において、前記デコード手段によりデコードされ、前記接続手段により接続された後、前記エンコード手段によりエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれなかった場合、前記制御手段は、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に追加する
   情報処理装置。
2. 前記エンコード手段によるエンコード処理の発生符号量を管理する管理手段をさらに備え、
   前記管理手段は、前記第１の区間において、前記デコード手段によりデコードされ、前記接続手段により接続された後、前記エンコード手段によりエンコードされて生成された前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたか否かを判断し、
   前記管理手段により、前記オキュパンシの連続性が保たれなかったと判断された場合、前記制御手段は、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に追加する
   請求項１に記載の情報処理装置。
3. 前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
   前記第１の区間に続く所定の前記区間は、１GOPである
   請求項１に記載の情報処理装置。
4. 前記デコード手段への前記第１の符号化ストリームおよび前記第２の符号化ストリームの供給を制御する供給制御手段を更に備え、
   前記供給制御手段は、前記デコード手段、前記接続手段、および、前記エンコード手段により前記第１の区間に対応する前記第３の符号化ストリームが生成されている間に、前記第１の区間に続く所定の前記区間の前記第２の符号化ストリームの前記デコード手段への供給を制御する
   請求項１に記載の情報処理装置。
5. 前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
   前記第１の区間に続く所定の前記区間は、１GOPである
   請求項４に記載の情報処理装置。
6. 前記管理手段への前記エンコード手段によるエンコード処理の発生符号量を管理するために必要な情報の供給を制御する供給制御手段を更に備え、
   前記供給制御手段は、前記デコード手段、前記接続手段、および、前記エンコード手段により前記第１の区間に対応する前記第３の符号化ストリームが生成されている間に、前記第１の区間に続く所定の前記区間の前記第２の符号化ストリームをエンコードする場合の発生符号量を管理するために必要な情報の供給を制御する
   請求項２に記載の情報処理装置。
7. 前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
   前記第１の区間に続く所定の前記区間は、１GOPである
   請求項６に記載の情報処理装置。
8. 前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
   前記オキュパンシの連続性が保たれた場合、前記制御手段は、前記第１の区間に続く次のGOPの最初の前方向参照フレームの直前までのフレームを、再エンコードを実行する第２の区間として、更に追加する
   請求項１に記載の情報処理装置。
9. 前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
   前記制御手段は、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、前記基準区間に含まれるフレーム数を基に、前記第１の区間を決定する
   請求項１に記載の情報処理装置。
10. 前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ｍ≦Ｎを満たす場合、前記基準区間を前記第１の区間とする
    請求項９に記載の情報処理装置。
11. 前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ｍ＜Ｎ／２を満たす場合、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とする
    請求項９に記載の情報処理装置。
12. 前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たす場合、前記基準区間を複数ＧＯＰに分割するとともに、前記基準区間を前記第１の区間とする
    請求項９に記載の情報処理装置。
13. 前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たし、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から前記編集点までのフレーム数Ａが、Ａ≧Ｎ／２を満たす場合、前記基準区間を、前記編集点で２つのＧＯＰに分割する
    請求項９に記載の情報処理装置。
14. 前記エンコード手段は、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰは、表示順でＩ２ピクチャから開始されるように、前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成する
    請求項１３に記載の情報処理装置。
15. 前記エンコード手段は、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰに含まれるフレーム数Ｒが、Ｎ／２≦Ｒを満たさないとき、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とし、Ｎ／２≦Ｒを満たすとき、前記基準区間を前記第１の区間とする
    請求項１３に記載の情報処理装置。
16. 第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置の情報処理方法において、
    前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、
    前記第１の区間に含まれる前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードして、編集点で接続し、接続されて生成されたベースバンド信号をエンコードして、第３の符号化ストリームの生成を制御し、
    前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれなかった場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に追加する
    ステップを含む情報処理方法。
17. 第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理をコンピュータに実行させるためのプログラムであって、
    前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、
    前記第１の区間に含まれる前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードして、編集点で接続し、接続されて生成されたベースバンド信号をエンコードして、第３の符号化ストリームの生成を制御し、
    前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれなかった場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に追加する
    ステップを含む処理をコンピュータに実行させるプログラム。
18. 第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理をコンピュータに実行させるためのプログラムであって、
    前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する第１の区間を決定し、
    前記第１の区間に含まれる前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードして、編集点で接続し、接続されて生成されたベースバンド信号をエンコードして、第３の符号化ストリームの生成を制御し、
    前記第３の符号化ストリームの終了点と、前記第２の符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれなかった場合、前記第１の区間に続く所定の区間を、再エンコードを実行する第２の区間として、更に追加する
    ステップを含む処理をコンピュータに実行させるためのプログラムが記録されている記録媒体。
19. 第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置において、
    前記第１の符号化ストリームおよび前記第２の符号化ストリームのうち、再エンコードを実行する再エンコード区間を決定する制御手段と、
    前記第１の符号化ストリームおよび前記第２の符号化ストリームをデコードするデコード手段と、
    前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１のベースバンド信号と、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２のベースバンド信号とを、編集点で接続し、第３のベースバンド信号を生成する接続手段と、
    前記接続手段により接続されて生成された前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成するエンコード手段と
    を備え、
    前記制御手段は、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、前記基準区間に含まれるフレーム数を基に、前記再エンコード区間を決定する
    情報処理装置。
20. 前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ｍ≦Ｎを満たす場合、前記基準区間を前記再エンコード区間とする
    請求項１９に記載の情報処理装置。
21. 前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ｍ＜Ｎ／２を満たす場合、前記基準区間に１ＧＯＰ加えた区間を前記再エンコード区間とする
    請求項１９に記載の情報処理装置。
22. 前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たす場合、前記基準区間を複数ＧＯＰに分割するとともに、前記基準区間を前記再エンコード区間とする
    請求項１９に記載の情報処理装置。
23. 前記制御手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たし、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から前記編集点までのフレーム数Ａが、Ａ≧Ｎ／２を満たす場合、前記基準区間を、前記編集点で２つのＧＯＰに分割する
    請求項１９に記載の情報処理装置。
24. 前記エンコード手段は、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰは、表示順でＩ２ピクチャから開始されるように、前記第３のベースバンド信号をエンコードして、第３の符号化ストリームを生成する
    請求項２３に記載の情報処理装置。
25. 前記エンコード手段は、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰに含まれるフレーム数Ｒが、Ｎ／２≦Ｒを満たさないとき、前記基準区間に１ＧＯＰ加えた区間を前記第１の区間とし、Ｎ／２≦Ｒを満たすとき、前記基準区間を前記第１の区間とする
    請求項２３に記載の情報処理装置。
26. 第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理を実行する情報処理装置の情報処理方法において、
    前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、
    前記基準区間に含まれるフレーム数を基に、再エンコードを実行する再エンコード区間を決定する
    ステップを含む情報処理方法。
27. 第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理をコンピュータに実行させるためのプログラムであって、
    前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、
    前記基準区間に含まれるフレーム数を基に、再エンコードを実行する再エンコード区間を決定する
    ステップを含む処理をコンピュータに実行させるプログラム。
28. 第１の符号化ストリームおよび第２の符号化ストリームを編集点で接続する処理をコンピュータに実行させるためのプログラムであって、
    前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、
    前記基準区間に含まれるフレーム数を基に、再エンコードを実行する再エンコード区間を決定する
    ステップを含む処理をコンピュータに実行させるためのプログラムが記録されている記録媒体。

Images