JP2009077105A - 編集装置および編集方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】重なり要素の設定に基づいて、編集要素塊を設定する。
【解決手段】同じ開始時刻の重なり要素は同じ編集要素塊に属するように編集要素塊を設定される。また、重なり要素Ａの終了時刻と、重なり要素Ａよりも開始時刻の遅いなり要素Ｂの開始時刻が比較されて、重なり要素Ｂの開始時刻が重なり要素Ａの終了時刻以前であれば、重なり要素Ｂは重なり要素Ａが含まれる編集要素塊に含まれるものとされ、重なり要素Ｂの開始時刻が重なり要素Ａの終了時刻よりも後であれば、重なり要素Ａが含まれる編集要素塊には、重なり要素Ｂが含まれないものとされる。本発明は、画像処理装置に適用できる。
【選択図】図１６

Description

本発明は、編集装置および編集方法、プログラム、並びに記録媒体に関し、特に、符号化ストリームを素材として編集処理を行う場合に用いて好適な、編集装置および編集方法、プログラム、並びに記録媒体に関する。

ＭＰＥＧ２（Moving Picture Coding Experts Group／Moving Picture Experts Group２）などのLongGOP形式で符号化された複数のストリームを編集点などで接続する場合、編集点近傍の所定区間のみを一旦デコードした後、編集点で接続して、一旦デコードした部分とデコードをしていない部分とでVBVoccupancyを連続的とする様にエンコード処理を行い、デコードをしていない部分と接続することで、デコードとエンコードを繰り返すことによる世代落ちをできる限り回避し、かつ、編集結果ストリーム生成時間を小さくすることができる技術がある(例えば、特許文献１参照)。

特開２００６−６７０９５号公報

デコードおよびエンコードを繰り返すことにより、世代落ちが発生した場合、画質が劣化してしまう恐れがあるので、上述した特許文献１の技術を用いると、編集結果ストリームで画質が劣化してしまう恐れのある部分をできるだけ少なくすることができる。

また、タイムラインと称される時間軸を用いて、LongGOP形式で符号化された複数のストリームを編集する技術がある。すなわち、ユーザは、所定の表示装置に表示されたタイムラインと称される時間軸上に、編集に用いる全ての素材（すなわち、編集に用いられる符号化ストリーム）、編集点、エフェクト等を置き、編集効果を確認するためのプレビュー等を行って、それらの編集要素を決定する。編集装置は、タイムライン上の最初の時刻から最後の時刻までの全ての素材を一旦デコードし、タイムラインに表示された編集内容に沿って、デコードされたベースバンド信号を接続詞、更に、接続されたベースバンド信号に対して、編集やエフェクト効果を加えた後にエンコードを行って、編集後の圧縮動画信号を得ることができる。

上述した、タイムラインを用いた編集操作においては、タイムライン上の編集要素を決定するために、プレビューを繰り返し、編集要素確定後に全体を通してエンコードを行うため、編集のための操作入力から、編集後の符号化ストリームを得るまでには、非常に時間がかかってしまう。しかも、その結果の編集内容に不満がある場合、タイムラインを構成し直してもう一度全域に対するデコードおよびエンコードを実施する必要があった。

また、この方法では、編集素材の全域に渡り、デコードおよびエンコードを実行するため、どの部分も1世代落ちしてしまうため、画質劣化は全域に渡ってしまう。

また、上述した特許文献１に記載のように、最低限の部分のみに対して、デコードおよびエンコードを行うようにした場合、世代落ちが発生してしまう部分をできるだけ少なくすることができる。そこで、上述した、タイムラインを用いた編集操作に上述した特許文献１に記載の技術を適用し、編集点やエフェクト部分などの編集要素ごとに、デコードおよびエンコードを行う必要がある最低限の部分を求め、その部分のみを順次デコードおよびエンコードを行うものとする。その場合、それぞれの編集要素前後の所定区間にデコードおよびエンコードが必要となるため、編集要素間の距離が非常に短かった場合や、編集素材のＧＯＰ構造によっては、それぞれの編集要素に対して発生するデコードおよびエンコードを行う必要のある最低限の部分が重なってしまう可能性があり、重なった部分において、余計な世代落ちを発生させる可能性がある。

また、タイムライン上の編集要素確定後に全体を通してエンコードを行った後、さらに編集要素を変更したり、増減させる場合には、タイムラインを構成し直してから、もう一度、全ての編集点前後のデコードおよびエンコードを実施する範囲を設定する必要があった。

本発明はこのような状況に鑑みてなされたものであり、タイムラインを用いた編集操作において、編集要素の変更等があった場合であっても、世代落ちの部分をできるだけ少なくするとともに、処理を複雑にしないようにするものである。

本発明の一側面の編集装置は、符号化ストリームを編集素材として、編集処理を実行する編集装置であって、編集に用いられる前記編集素材および編集効果と前記編集効果の開始および終了タイミングを指定する操作入力を受ける入力手段と、前記入力手段により入力された前記編集素材および前記編集効果に基づいて、前記編集素材のうち、デコードおよびエンコードを行わなければならない区間である編集処理単位を、前記編集効果が開始されてから終了されるまでの少なくとも一部が重なる前記編集効果が１つの前記編集処理単位に含まれるようにして設定する編集処理単位設定手段と、前記編集処理単位設定手段により設定された前記編集処理単位をエンコードするために必要な最小のエンコード区間である最小エンコード区間を設定する最小エンコード区間設定手段と、前記最小エンコード区間設定手段により設定された前記編集処理単位の前記最小エンコード区間の設定に基づいて、前記編集素材をデコードし、前記編集処理単位に含まれる前記編集効果を施した後、エンコードして、編集後符号化ストリームの一部を生成する編集後ストリーム生成手段とを備える。

前記編集処理単位設定手段により設定された前記編集処理単位に関する情報、および、前記最小エンコード区間設定手段により設定された前記編集処理単位の前記最小エンコード区間が記載された編集情報を生成する編集情報生成手段を更に備えさせるようにすることができる。

前記編集情報生成手段により生成された前記編集情報を記憶する記憶手段を更に備えさせるようにすることができ、前記入力手段により前記編集素材および前記編集効果の一部の変更を指令する操作が入力された場合、前記編集処理単位設定手段には、前記記憶手段により記憶されている前記編集情報のうち、前記編集素材および前記編集効果の構成が同一の前記編集処理単位に関する情報を流用して、前記編集処理単位を設定させるようにすることができ、前記最小エンコード区間設定手段には、前記記憶手段により記憶されている前記編集情報のうち、前記編集素材および前記編集効果の構成が同一の前記編集処理単位に関する情報を流用して、前記編集処理単位における前記最小エンコード区間を設定させるようにすることができる。

前記最小エンコード区間設定手段により設定された複数の前記最小エンコード区間のうちの一部が重なった場合、前記編集処理単位設定手段には、重なった前記最小エンコード区間に対応する前記編集処理単位を、１つの編集処理単位となるように、前記編集処理単位を再設定させるようにすることができる。

前記編集後ストリーム生成手段による前記編集後符号化ストリームの生成処理において、複数の前記編集処理単位を含む区間が連続的にエンコードされた場合、前記編集処理単位設定手段には、連続的にエンコードされた複数の前記編集処理単位を、１つの編集処理単位となるように、前記編集処理単位を再設定させるようにすることができ、前記最小エンコード区間設定手段には、再設定された前記編集処理単位における前記最小エンコード区間を設定させるようにすることができる。

前記編集後ストリーム生成手段には、高画質の画像データに対応する第１の編集後符号化ストリームの一部と、低画質の画像データに対応する第２の編集後符号化ストリームの一部とを生成させるようにすることができ、生成される前記第２の編集後符号化ストリームがClosedGOPとなり、かつ、１フレーム当たりの平均発生符号量が等しくなるように、エンコード処理を実行させるようにすることができる。

前記編集後ストリーム生成手段には、前記第１の編集後符号化ストリームと前記第２の編集後符号化ストリームのＧＯＰ位相が同一になるように、前記第１の編集後符号化ストリームおよび前記第２の編集後符号化ストリームのエンコード処理を実行させるようにすることができる。

前記編集後ストリーム生成手段には、前記第１の編集後符号化ストリームの最小ＧＯＰ長は、前記第２の編集後符号化ストリームの最大ＧＯＰ長より大きいものとして、前記第１の編集後符号化ストリームおよび前記第２の編集後符号化ストリームのエンコード処理を実行させるようにすることができる。

前記編集後ストリーム生成手段による前記第２の編集後符号化ストリームの生成処理において、複数の前記編集処理単位を含む区間が連続的にエンコードされた場合、前記編集処理単位設定手段には、連続的にエンコードされた複数の前記編集処理単位を、１つの編集処理単位となるように、前記編集処理単位を再設定させるようにすることができ、前記最小エンコード区間設定手段には、再設定された前記編集処理単位における前記最小エンコード区間を設定させるようにすることができる。

編集に用いられる前記編集素材および編集効果を図形化して時間軸上に時系列に配置した第１のタイムラインと、前記編集処理単位設定手段により設定された前記編集処理単位に関する情報、および、前記最小エンコード区間設定手段により設定された前記編集処理単位の前記最小エンコード区間を、前記第１のタイムラインに対応付けて時系列に配置した第２のタイムラインとの表示を制御する表示制御手段を更に備えさせるようにすることができる。

前記表示制御手段には、前記第２のタイムライン上に配置される前記編集処理単位ごとに、前記編集処理単位が、前記編集後ストリーム生成手段によりすでにエンコードされているか否かを示す情報の表示を更に制御させるようにすることができる。

前記最小エンコード区間設定手段には、前記編集処理単位の前記最小エンコード区間の開始位置を、前記編集処理単位内で最も開始時刻の早い前記編集効果の開始フレームを含むGOPの最初のフレームとさせるようにすることができる。

前記最小エンコード区間設定手段には、前記編集処理単位の前記最小エンコード区間の終了位置を、前記編集処理単位内で最も終了時刻の遅い前記編集効果の終了フレームを含むGOPに属するIピクチャ直前のピクチャとさせるようにすることができる。

前記最小エンコード区間設定手段には、前記編集処理単位の前記最小エンコード区間の終了位置を、前記編集処理単位内で最も終了時刻の遅い前記編集効果の終了フレームを含むGOPの終了位置とさせるようにすることができる。

前記最小エンコード区間設定手段には、前記編集処理単位の前記最小エンコード区間の終了位置を、前記編集処理単位内で最も終了時刻の遅い前記編集効果の終了フレームを含むGOPの次のGOPに属するIピクチャ直前のピクチャとさせるようにすることができる。

前記最小エンコード区間設定手段には、前記編集処理単位の前記最小エンコード区間の終了位置を、前記編集処理単位内で最も終了時刻の遅い前記編集効果の終了フレームを含むGOPの次のGOPの終了位置とさせるようにすることができる。

本発明の一側面の編集方法は、符号化ストリームを編集素材として、編集処理を実行する編集装置の編集方法であって、編集に用いられる前記編集素材および編集効果と前記編集効果の開始および終了タイミングを指定する操作入力を受け、前記編集素材および前記編集効果に基づいて、前記編集素材のうち、デコードおよびエンコードを行わなければならない区間である編集処理単位を、前記編集効果が開始されてから終了されるまでの少なくとも一部が重なる前記編集効果が１つの前記編集処理単位に含まれるようにして設定し、設定された前記編集処理単位をエンコードするために必要な最小のエンコード区間である最小エンコード区間を設定し、前記編集処理単位の前記最小エンコード区間の設定に基づいて、前記編集素材をデコードし、前記編集処理単位に含まれる前記編集効果を施した後、エンコードして、編集後符号化ストリームの一部を生成するステップを含む。

本発明の一側面のプログラムは、符号化ストリームを編集素材とした編集処理をコンピュータに実行させるプログラムであって、編集に用いられる前記編集素材および編集効果と前記編集効果の開始および終了タイミングを指定する操作入力を受け、前記編集素材および前記編集効果に基づいて、前記編集素材のうち、デコードおよびエンコードを行わなければならない区間である編集処理単位を、前記編集効果が開始されてから終了されるまでの少なくとも一部が重なる前記編集効果が１つの前記編集処理単位に含まれるようにして設定し、設定された前記編集処理単位をエンコードするために必要な最小のエンコード区間である最小エンコード区間を設定し、前記編集処理単位の前記最小エンコード区間の設定に基づいて、前記編集素材をデコードし、前記編集処理単位に含まれる前記編集効果を施した後、エンコードして、編集後符号化ストリームの一部を生成するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、編集に用いられる編集素材および編集効果と編集効果の開始および終了タイミングを指定する操作が入力され、編集素材および編集効果に基づいて、編集素材のうち、デコードおよびエンコードを行わなければならない区間である編集処理単位が、編集効果が開始されてから終了されるまでの少なくとも一部が重なる編集効果が１つの編集処理単位に含まれるようにして設定され、設定された編集処理単位をエンコードするために必要な最小のエンコード区間である最小エンコード区間が設定され、編集処理単位の最小エンコード区間の設定に基づいて、編集素材がデコードされ、編集処理単位に含まれる編集効果が施された後、エンコードされて、編集後符号化ストリームの一部が生される。

ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。

編集装置は、独立した装置であっても良いし、情報処理装置の編集処理を行うブロックであっても良い。

以上のように、本発明の一側面によれば、符号化ストリームを素材とした編集処理を行うことができ、特に、世代落ちによる画像劣化が発生してしまう範囲を減少することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の編集装置は、符号化ストリームを編集素材として、編集処理を実行する編集装置（例えば、図１の画像処理装置１）であって、編集に用いられる前記編集素材および編集効果（例えば、カットやエフェクトなどの重なり要素）と前記編集効果の開始および終了タイミングを指定する操作入力（例えば、タイムライン上に素材やエフェクトに対応する図形を配置する操作入力）を受ける入力手段（例えば、図１の編集操作パネル、または、図４の操作入力取得部１０１）と、前記入力手段により入力された前記編集素材および前記編集効果に基づいて、前記編集素材のうち、デコードおよびエンコードを行わなければならない区間である編集処理単位（例えば、編集要素塊）を、前記編集効果が開始されてから終了されるまでの少なくとも一部が重なる前記編集効果が１つの前記編集処理単位に含まれるようにして設定する編集処理単位設定手段（例えば、図４の編集要素塊決定部１０６）と、前記編集処理単位設定手段により設定された前記編集処理単位をエンコードするために必要な最小のエンコード区間である最小エンコード区間を設定する最小エンコード区間設定手段（例えば、図４の最小エンコード区間設定部１０７）と、前記最小エンコード区間設定手段により設定された前記編集処理単位の前記最小エンコード区間の設定に基づいて、前記編集素材をデコードし、前記編集処理単位に含まれる前記編集効果を施した後、エンコードして、編集後符号化ストリームの一部（例えば、ブリッジクリップ）を生成する編集後ストリーム生成手段（例えば、図１のＳＤＩ入出力ポート）とを備える。

前記編集処理単位設定手段により設定された前記編集処理単位に関する情報、および、前記最小エンコード区間設定手段により設定された前記編集処理単位の前記最小エンコード区間が記載された編集情報（例えば、図２５乃至図３０の編集情報テーブル）を生成する編集情報生成手段（例えば、図４の編集情報テーブル生成部１０８）を更に備えることができる。

前記編集情報生成手段により生成された前記編集情報を記憶する記憶手段（例えば、図４の編集情報テーブル記憶制御部１０９）を更に備えることができ、前記入力手段により前記編集素材および前記編集効果の一部の変更を指令する操作が入力された場合、前記編集処理単位設定手段は、前記記憶手段により記憶されている前記編集情報のうち、前記編集素材および前記編集効果の構成が同一の前記編集処理単位に関する情報を流用して、前記編集処理単位を設定することができ、前記最小エンコード区間設定手段は、前記記憶手段により記憶されている前記編集情報のうち、前記編集素材および前記編集効果の構成が同一の前記編集処理単位に関する情報を流用して、前記編集処理単位における前記最小エンコード区間を設定することができる。

編集に用いられる前記編集素材および編集効果を図形化して時間軸上に時系列に配置した第１のタイムライン（例えば、図２などに示されるタイムライン）と、前記編集処理単位設定手段により設定された前記編集処理単位に関する情報、および、前記最小エンコード区間設定手段により設定された前記編集処理単位の前記最小エンコード区間を、前記第１のタイムラインに対応付けて時系列に配置した第２のタイムライン（例えば、図３３乃至図２６の下段のＧＵＩ）との表示を制御する表示制御手段（例えば、図４の表示制御部１０５）を更に備えることができる。

本発明の一側面の編集方法は、符号化ストリームを編集素材として、編集処理を実行する編集装置（例えば、図１の画像処理装置１）の編集方法であって、編集に用いられる前記編集素材および編集効果（例えば、カットやエフェクトなどの重なり要素）と前記編集効果の開始および終了タイミングを指定する操作入力（例えば、タイムライン上に素材やエフェクトに対応する図形を配置する操作入力）を受け（例えば、図３７のステップＳ１１の処理）、前記編集素材および前記編集効果に基づいて、前記編集素材のうち、デコードおよびエンコードを行わなければならない区間である編集処理単位（例えば、編集要素塊）を、前記編集効果が開始されてから終了されるまでの少なくとも一部が重なる前記編集効果が１つの前記編集処理単位に含まれるようにして設定し（例えば、図３７のステップＳ１３乃至ステップＳ２０の処理）、設定された前記編集処理単位をエンコードするために必要な最小のエンコード区間である最小エンコード区間を設定し（例えば、図３８のステップＳ２１乃至ステップＳ２８の処理）、前記編集処理単位の前記最小エンコード区間の設定に基づいて、前記編集素材をデコードし、前記編集処理単位に含まれる前記編集効果を施した後、エンコードして、編集後符号化ストリームの一部（例えば、ブリッジクリップ）を生成する（例えば、図４０を用いて説明した処理）ステップを含む。

本発明の一側面のプログラムは、符号化ストリームを編集素材とした編集処理をコンピュータに実行させるプログラムであって、編集に用いられる前記編集素材および編集効果（例えば、カットやエフェクトなどの重なり要素）と前記編集効果の開始および終了タイミングを指定する操作入力（例えば、タイムライン上に素材やエフェクトに対応する図形を配置する操作入力）を受け（例えば、図３７のステップＳ１１の処理）、前記編集素材および前記編集効果に基づいて、前記編集素材のうち、デコードおよびエンコードを行わなければならない区間である編集処理単位（例えば、編集要素塊）を、前記編集効果が開始されてから終了されるまでの少なくとも一部が重なる前記編集効果が１つの前記編集処理単位に含まれるようにして設定し（例えば、図３７のステップＳ１３乃至ステップＳ２０の処理）、設定された前記編集処理単位をエンコードするために必要な最小のエンコード区間である最小エンコード区間を設定し（例えば、図３８のステップＳ２１乃至ステップＳ２８の処理）、前記編集処理単位の前記最小エンコード区間の設定に基づいて、前記編集素材をデコードし、前記編集処理単位に含まれる前記編集効果を施した後、エンコードして、編集後符号化ストリームの一部（例えば、ブリッジクリップ）を生成する（例えば、図４０を用いて説明した処理）ステップを含む処理をコンピュータに実行させる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理装置１の構成を示すブロック図を示す。

画像処理装置１は、Ｎ個のSDI入出力ポート１１−１乃至１１−Ｎ、バンクメモリ１２、バンクメモリコントローラ１３、フラッシュメモリ１４、光ディスクドライブ１５、ＦＰＧＡ（Field Programmable Gate Array）１６、ＣＰＵ１７およびＣＰＵ１８、ＦＰＧＡ１９、および、編集操作パネル２０を含んで構成されている。

SDI入出力ポート１１−１乃至１１−Ｎは、ＳＤＩ規格のベースバンド信号を入出力するための複数のＳＤＩ入出力ポートであり、それぞれ、入出力処理部４１−１乃至４１−Ｎ、および、コーデック処理部４２−１乃至４２−Ｎを含んでいる。入出力処理部４１−１乃至４１−Ｎ、および、コーデック処理部４２−１乃至４２−Ｎの更に詳細な構成例については、図３を用いて後述する。

以下の説明においては、SDI入出力ポート１１−１乃至１１−Ｎを個々に区別する必要がない場合、単に、SDI入出力ポート１１と称し、入出力処理部４１−１乃至４１−Ｎを個々に区別する必要がない場合、単に、入出力処理部４１と称し、コーデック処理部４２−１乃至４２−Ｎを個々に区別する必要がない場合、単に、コーデック処理部４２と称するものとする。

バンクメモリ１２は、SDI入出力ポート１１に供給されるＡＶデータや、SDI入出力ポート１１から供給されるＡＶデータを一時的に記録するためのメモリである。

バンクメモリコントローラ１３は、バンクメモリ１２へのＡＶデータの記録および読み出しや、SDI入出力ポート１１、および、ＦＰＧＡ１６とのデータの授受を制御するコントローラである。

フラッシュメモリ１４は、画像処理装置１のメインストレージである大容量のフラッシュメモリであり、編集素材となる符号化ストリームなどを記憶しているとともに、編集後の符号化ストリームの一部を構成する後述するブリッジクリップなども記憶することができる。また、フラッシュメモリ１４に代わって、メインストレージとしてハードディスクドライブを用いるものとしてもよい。

光ディスクドライブ１５は、着脱可能な光ディスクが装着されたとき、光ディスクとのデータの授受を制御するドライブである。光ディスクドライブ１５は、装着される光ディスクに記録されている、編集素材となる符号化ストリームなどを読み出したり、編集後の符号化ストリームの一部を構成する後述するブリッジクリップなどを光ディスクに記録することができる。

また、フラッシュメモリ１４または光ディスクドライブ１５に装着される光ディスクには、編集素材となる符号化ストリームとともに、編集素材となる符号化ストリームのＧＯＰ構造や、それぞれのフレームのVBVoccupancyに関する情報も記録されていると好適である。なお、フラッシュメモリ１４または光ディスクドライブ１５に装着される光ディスクに、編集素材となる符号化ストリームのＧＯＰ構造や、それぞれのフレームのVBVoccupancyに関する情報が記録されていない場合、ＣＰＵ１７の制御により、それぞれの符号化ストリームが解析され、編集素材となる符号化ストリームのＧＯＰ構造や、それぞれのフレームのVBVoccupancyに関する情報が求められ、符号化ストリームとともに記録されるようにすると好適である。

ＦＰＧＡ１６は、低機能のプロセッサを設けたプログラミング可能なＬＳＩ（Large Scale Integration）であり、フラッシュメモリ１４および光ディスクドライブ１５を制御する。

ＣＰＵ１７は、編集操作パネル２０を用いてオペレータから入力された操作入力に基づいて、ＦＰＧＡ１６、ＣＰＵ１８、および、ＦＰＧＡ１９を制御する。ＣＰＵ１７は、フラッシュメモリ１４および光ディスクドライブ１５に装着されている光ディスクに記録されているデータをそれぞれ管理するファイルシステムや、それらのファイルシステムの上位のプログラムであるファイルマネージャーを搭載しており、画像処理装置１全体の処理を統括して制御する。

ＣＰＵ１８は、ＣＰＵ１７の制御に基づいて、ＳＤＩ入出力ポート１１およびバンクメモリコントローラ１３を制御する。

ＦＰＧＡ１９は、低機能のプロセッサを設けたプログラミング可能なＬＳＩであり、ＲＳ−４２２プロトコルを用いた外部とのコマンドやステータスの授受を制御する。具体的には、ＦＰＧＡ１９は、外部からＲＳ−４２２プロトコルで受信したＳＤＩ入出力ポート１１のそれぞれに対して記録または再生などの動作を指令するコマンドを解釈してＣＰＵ１７に供給したり、ＣＰＵ１７からのステータスをＲＳ−４２２プロトコルに変換して外部に返送する。

編集操作パネル２０は、例えば、キー、ボタン、マウス、タッチパネルなどの入力素子を備え、オペレータから、編集処理に関する操作入力を受けるものである。また、編集操作パネル２０は、オペレータが編集処理を行うための操作入力を行う上での補助となるＧＵＩ（graphical user interface）を表示する表示部も備えている。表示部には、後述するタイムラインなどが表示される。

次に、画像処理装置１の動作について説明する。

フラッシュメモリ１４または光ディスクドライブ１５に装着されている光ディスクには、編集素材として用意されている符号化ストリームが記録されている。

ＣＰＵ１７は、フラッシュメモリ１４または光ディスクドライブ１５に装着されている光ディスクに記録されている符号化ストリームに関する情報を取得し、編集素材としてこれらの符号化ストリームを選択し、所望の点で接続し、必要な部分に所定の編集効果などを付与するための指令を行うためにオペレータが参照するＧＵＩを生成し、編集操作パネル２０の表示部にＧＵＩを表示させる。

オペレータは、編集操作パネル２０の表示部に表示されるＧＵＩに基づいて、フラッシュメモリ１４または光ディスクドライブ１５に装着されている光ディスクに記録されている符号化ストリームから、編集素材を選択し、所定の位置で接続させたり、所望の位置に、エフェクトやデータの重畳などの編集効果を付与させるための操作入力を行う。

図２に、編集操作パネル２０の表示部に表示されるＧＵＩであるタイムラインの例を示す。

タイムラインとは、編集後のストリームの配置および編集効果の内容を時系列に図形化して表示させたものである。

図２のタイムラインによって指定される編集処理が実行されたとき、符号化ストリーム（１）と符号化ストリーム（２）とが、カット１で示される時刻において接続され、符号化ストリーム（２）と符号化ストリーム（３）とが、カット２で示される時刻において接続され、カット２を含むように、ワイプＩＮ１で示される時刻からワイプＩＮ２で示される時刻までの間に、カットとカットをつなぐ基本的なエフェクトの一つであり、前のカットをぬぐうように新しいカットが現れるワイプが施される。そして、符号化ストリーム（３）と符号化ストリーム（４）とが、カット３で示される時刻において接続され、符号化ストリーム（４）と符号化ストリーム（５）とが、カット４で示される時刻において接続され、符号化ストリーム（５）と符号化ストリーム（６）とが、カット５で示される時刻において接続され、符号化ストリーム（６）と符号化ストリーム（７）とが、カット６で示される時刻において接続されるとともに、カット５およびカット６を含むように、テロップＩＮ１と示される時刻から、テロップＯＵＴ１と示される時刻まで、テロップが挿入され、テロップＯＵＴ１の時刻を挟んで、モザイクＩＮ１で示される時刻からモザイクＯＵＴ１と示される時刻まで、モザイク処理が施される。そして、符号化ストリーム（７）と符号化ストリーム（８）とが、カット７で示される時刻において接続され、符号化ストリーム（８）と符号化ストリーム（９）とが、カット８で示される時刻において接続される。

タイムライン上に配置される素材に対して、例えば、カット点、ワイプなどのエフェクト、並びに、テロップ、モザイク、およびピクチャ・イン・ピクチャの重畳など、タイムライン上の素材に対して作用させる要素を重なり要素と称するものとする。そして、素材および重なり要素を編集要素と称する。重なり要素には、必ず開始時刻と終了時刻が存在する。カット点は開始時刻と終了時刻が一致している重なり要素と考える。重なり要素の開始時刻とは、重なり要素が作用開始する素材のタイムコードであり、重なり要素の終了時刻とは、重なり要素が作用終了する素材の次のタイムコードであるものとする。重なり要素に関しては、図５乃至図１５を用いて後述する。

タイムライン上の重なり要素の部分とその前後の所定範囲は、編集のために、編集素材をデコードした後エンコードする必要がある。例えば、重なり要素の開始時刻順に、編集素材をデコードおよびエンコードする範囲を決定し、重なり要素ごとに、順次、デコードおよびエンコード処理を行うようにした場合、例えば、図２のテロップ１、モザイク１、カット５およびカット６の部分で、同一の部分に対して複数回数デコードおよびエンコードが施されてしまい、その部分が大きく世代落ちして画像が劣化してしまう。

そこで、タイムライン上で重なる重なり要素を、編集要素塊として、ひとかたまりで考えるものとする。

すなわち、タイムライン上、ある重なり要素Ａの終了時刻よりも、重なり要素Ａの開始時刻よりも遅い開始時刻である異なる重なり要素Ｂの開始時刻が早い場合、これらは１つの編集要素塊とみなされ、この編集要素塊の終了時刻よりも開始時刻の早い、異なる重なり要素Ｃ，Ｄ・・・が更にあるとき、それらの重なり要素も、１つの編集要素塊とみなされる。編集要素塊とは、含まれる重なり要素のうちの最も開始時刻の早い重なり要素の開始時刻から、最も終了時刻の遅い重なり要素の終了時刻までに含まれる、全ての編集要素を含むものである。

そして、編集のためのデコードおよびエンコードを行う範囲は、この編集要素塊に基づいて定められる。編集要素塊毎に、その編集要素塊に関する編集結果としての圧縮動画信号を得るために必要な、最小の再エンコード区間を、最小エンコード区間と称する。最小エンコード区間は、それらを構成する素材のGOP切れ目の位置、並びに、先行および後続する編集要素塊を構成するGOP切れ目の位置との関係から定まる。最小エンコード区間についての詳細は、図１７乃至図２４を用いて後述する。

すなわち、ＣＰＵ１７は、編集操作パネル２０から供給されるオペレータの操作入力を基に、タイムライン上の編集素材および重なり要素を認識し、編集要素塊を設定して、編集要素塊に基づいて最小エンコード区間を設定する。

そして、ＣＰＵ１７は、ＣＰＵ１８に対して、最小エンコード区間のコーデック処理を含む編集処理の制御を指令する。

ＣＰＵ１８は、バンクメモリコントローラ１３を制御して、最小エンコード区間に含まれる編集素材をＳＤＩ入出力ポート１１に供給させるとともに、ＳＤＩ入出力ポート１１による最小エンコード区間のコーデック処理を含む編集処理を制御する。

画像処理装置１のＳＤＩ入出力ポート１１のコーデック処理部４２においては、タイムライン上の各編集要素塊に対して、最小エンコード区間のエンコードのために必要な部分のみがデコードされた後、重なり要素に基づいた処理が施され、重なり要素に基づいた処理が施された非圧縮の映像信号が、デコードされていない部分との接続点においてVBVoccupancyが連続性を有するようにエンコードされる。この、デコードおよびエンコードが施された部分を、ブリッジクリップと称するものとする。

編集後の符号化ストリームは、ＣＰＵ１７の制御により、フラッシュメモリ１４または光ディスクドライブ１５に装着される光ディスクに記録される、デコードおよびエンコードが施されたブリッジクリップの部分と、予め記録されているデコードされていない編集素材ストリームとが接続されて生成される。

また、コーデック処理部４２においては、この最小エンコード区間のエンコードを、ブリッジクリップ終了点と、デコードおよびエンコードを行わない部分のつなぎ目において、VBVoccupancyが連続性を有するように実行されなければならない。すなわち、最小エンコード区間のエンコードにおける目標VBVoccupancyは、ブリッジクリップ終了点に接続されるフレームのVBVoccupancyとなる。ＣＰＵ１７は、フラッシュメモリ１４または光ディスクドライブ１５に装着されている光ディスクに記録されている符号化ストリームに関する情報を取得し、目標VBVoccupancyに合致するように、必要に応じてブリッジクリップの範囲を延長することや、ブリッジクリップ内のエンコードを再度実行する２パスエンコードを実行させるように、ＣＰＵ１８に対して、最小エンコード区間のコーデック処理を含む編集処理の制御を指令する。

ＣＰＵ１７は、フラッシュメモリ１４または光ディスクドライブ１５に装着されている光ディスクに記録されている符号化ストリームに関する情報として、符号化ストリーム各フレームのVBVoccupancyの情報を取得するので、コーデック処理部４２において、ブリッジクリップ終了点に接続されるフレームのVBVoccupancyの値を目標VBVoccupancyとすることができる。

なお、編集操作パネル２０の表示部には、図２を用いて説明したタイムラインに加えて、さらに、編集要素塊と最小エンコード区間などをオペレータに認識させ、オペレータの操作入力の補助となるような情報を更に表示させることができるようにしても良い。そのような情報の表示についての例は、図３３乃至図２６を用いて後述する。

次に、図３は、SDI入出力ポート１１の更に詳細な構成を示すブロック図である。

入出力処理部４１は、ＳＤＩ入力部６１、エフェクト／スイッチ６２、および、ＳＤＩ出力部６３を含んで構成され、コーデック処理部４２は、デコーダ８１−１および８１−２、エンコーダ８２、並びに、プロクシ（Proxy）エンコーダ８３を含んで構成されている。

デコーダ８１−１およびデコーダ８１−２は、編集素材である符号化ストリームのうち、ブリッジクリップの生成に必要な部分の供給を受け、これをデコードする。デコードされた編集素材に対応する非圧縮の映像信号は、エフェクト／スイッチ６２に供給される。

エフェクト／スイッチ６２は、デコーダ８１−１およびデコーダ８１−２から非圧縮の映像信号の供給を受け、ＣＰＵ１８の制御に基づいて、供給される非圧縮の映像信号の出力を切り替える。すなわち、エフェクト／スイッチ６２は、供給された非圧縮の映像信号を所定のフレームで結合するカット点の処理を施す。また、エフェクト／スイッチ６２は、必要に応じて所定の範囲にワイプやモザイクなどのエフェクトを施したり、ＳＤＩ入力部６１から供給されるテロップやピクチャ・イン・ピクチャなどに対応する画像を重畳する処理を行う。エフェクト／スイッチ６２は、生成された重なり要素を含む非圧縮の映像信号を、ＳＤＩ出力部６３から出力させて、プレビューとして表示させたり、エンコーダ８２またはプロクシエンコーダ８３に供給する。

エンコーダ８２は、ＣＰＵ１８の制御に基づいて、供給される非圧縮の映像信号をエンコードして、ブリッジクリップを生成する。エンコーダ８２は、上述したように、ＣＰＵ１８の制御に基づいて、ブリッジクリップ終了点と、デコードおよびエンコードを行わない部分とのつなぎ目において、VBVoccupancyが連続性を有するように、エンコード処理を実行する。また、エンコードの終了時にVBVoccupancyが連続性を有していない場合、エンコーダ８２は、必要に応じてブリッジクリップの範囲を延長することや、ブリッジクリップ内のエンコードを再度実行する２パスエンコードを実行することができるものとする。

プロクシエンコーダ８３は、エンコーダ８２によりエンコードされて生成されるストリームと同じ絵柄の画像データに対して、符号量を極端に減らすことにより、画質は落ちるが、データ容量を少なくして容易に通信可能としたり、または、プレビューや高速再生時のデータとして活用するための動画データであるプロクシ画像ストリームを生成するために供給される非圧縮の映像信号をエンコードして、ブリッジクリップの部分のプロクシ映像データを生成する。プロクシエンコーダ８３によるプロクシデータのエンコードについての詳細は、後述する。

このようにして、１つのSDI入出力ポート１１は、１つのブリッジクリップの生成を行うことができる。換言すれば、複数のSDI入出力ポート１１で、並行して、複数のブリッジクリップの生成を行うことができる。

次に、図４は、ＣＰＵ１７およびＣＰＵ１８が有する機能について説明するための機能ブロック図である。

ＣＰＵ１７は、操作入力取得部１０１、編集素材および重なり要素認識部１０２、表示制御部１０５、編集要素塊決定部１０６、最小エンコード区間設定部１０７、編集情報テーブル生成部１０８、編集情報テーブル記憶制御部１０９、および、編集制御部１１０を含んで構成される。そして、ＣＰＵ１８は、デコード処理部１２１、ＳＤＩ入出力制御部１２２、スイッチング等制御部１２３、および、エンコード制御部１２４を含んで構成されている。

操作入力取得部１０１は、編集操作パネル２０を用いてオペレータから入力された操作入力を取得し、編集素材および重なり要素認識部１０２に供給する。

編集素材および重なり要素認識部１０２は、操作入力取得部１０１から供給された、オペレータの操作入力に基づいて、編集のために指令される編集素材および重なり要素を認識し、表示制御部１０５、編集要素塊決定部１０６、および、編集情報テーブル生成部１０８に供給する。

表示制御部１０５は、編集素材および重なり要素認識部１０２から供給された編集における編集素材および重なり要素の情報に基づいて、図２を用いて説明したタイムラインを編集操作パネル２０の表示部に表示させる。また、表示制御部１０５は、編集操作パネル２０の表示部に、タイムラインに加えて、さらに、編集要素塊と最小エンコード区間などをオペレータに認識させ、オペレータの操作入力の補助となるような情報を更に表示させるようにしても良い。

編集要素塊決定部１０６は、編集素材および重なり要素認識部１０２から供給された編集における編集素材および重なり要素の情報に基づいて、上述した編集要素塊を決定し、編集要素塊を構成する編集要素と、それらの編集要素に関する情報を、編集情報テーブル生成部１０８および最小エンコード区間設定部１０７に供給する。編集要素塊決定部１０６は、タイムライン上の編集要素の一部が変更された場合、編集情報テーブル記憶制御部１０９に記憶されている過去の編集情報テーブルに基づいて、その変更にしたがって変更される編集要素塊のみを設定することができる。また、決定された、または、変更された編集要素塊を、タイムラインとともに表示させるようになされている場合、編集要素塊決定部１０６は、編集要素塊に含まれる編集要素と、それらの編集要素に関する情報を、表示制御部１０５に供給する。

最小エンコード区間設定部１０７は、編集要素塊決定部１０６から供給された編集要素塊に含まれる編集要素と、それらの編集要素に関する情報に基づいて、最小エンコード区間を設定する。最小エンコード区間の設定については、図１７乃至図２４を用いて後述する。最小エンコード区間設定部１０７は、決定された最小エンコード区間と、例えば、GOP構造や、目標VBVoccupancyの値などの、エンコードの制御に必要な情報とを、編集制御部１１０に供給する。また、最小エンコード区間設定部１０７は、タイムライン上の編集要素の一部が変更された場合、編集情報テーブル記憶制御部１０９に記憶されている過去の編集情報テーブルに基づいて、その変更にしたがって変更される最小エンコード区間のみを設定することができる。また、決定された、または、変更された最小エンコード区間を、タイムラインとともに表示させるようになされている場合、最小エンコード区間設定部１０７は、最小エンコード区間に関する情報を、表示制御部１０５に供給する。

編集情報テーブル生成部１０８は、編集要素塊決定部１０６により決定された編集要素塊に含まれる編集要素と、それらの編集要素に関する情報、および、最小エンコード区間設定部１０７によって設定された最小エンコード区間を記載した編集情報テーブルを生成し、編集情報テーブル記憶制御部１０９に供給して記憶される。編集情報テーブルについての詳細は、図２５乃至図３０を用いて後述する。

同一のタイムライン上で、一部の編集要素が変更された場合、それに伴って変更される編集要素塊や最小エンコード区間の情報とともに、新たな編集情報テーブルが生成される。そして、変更前の編集情報テーブルは、そのタイムラインを用いた編集操作が完全に終了されるまで、または、オペレータにより明示的に消去が指令されるまで、編集情報テーブル記憶制御部１０９に残っているので、編集要素の変更に伴って変更しない部分の編集要素塊や最小エンコード区間の設定については、編集情報テーブル記憶制御部１０９に残っている変更前の編集情報テーブルを参照することが可能である。また、同一のタイムライン上で、一部の編集要素が変更されたあと、もう一度元に戻された場合であっても、編集情報テーブルを再度作成しないですむため、好適である。

編集情報テーブル記憶制御部１０９は、編集情報テーブル生成部１０８によって生成された編集情報テーブルを記憶する。

編集制御部１１０は、編集情報テーブル生成部１０８によって生成された編集情報テーブルに基づいて、ＣＰＵ１８によるSDI入出力ポート１１で実行される編集処理の制御のためのコマンドなどを生成し、ＣＰＵ１８に発行するとともに、最小エンコード区間設定部１０７から供給された、決定された最小エンコード区間と、例えば、編集素材のGOP構造や、目標VBVoccupancyの値などの、エンコードの制御に必要な情報を、ＣＰＵ１８に発行する。また、編集制御部１１０は、ＣＰＵ１８のエンコード制御部１２４から、現在のエンコード区間の設定において、エンコード終了点において、VBVoccupancyが連続性を有するようにエンコードを終了させることができなかったことの通知を受けたとき、ブリッジクリップの範囲を延長することや、ブリッジクリップ内のエンコードを再度実行する２パスエンコードを実行させるコマンドを生成し、ＣＰＵ１８に発行する。

デコード処理部１２１は、編集制御部１１０から発行されたコマンドに基づいて、SDI入出力ポート１１のデコーダ８１−１およびデコーダ８１−２における編集素材である符号化ストリームのデコード処理を制御する。

ＳＤＩ入出力制御部１２２は、編集制御部１１０から発行されたコマンドに基づいて、ＳＤＩ入力部６１からのＳＤＩ信号の入力の制御、および、ＳＤＩ出力部６３からのＳＤＩ信号の出力の制御を行う。

スイッチング等制御部１２３は、編集制御部１１０から発行されたコマンドに基づいて、エフェクト／スイッチ６２による非圧縮の映像信号の出力のスイッチング、すなわち、カット点の処理を制御するとともに、所定の範囲にワイプやモザイクなどのエフェクトを施す処理、および、テロップやピクチャ・イン・ピクチャなどに対応する画像を重畳する処理を制御する。

エンコード制御部１２４は、編集制御部１１０から発行されたコマンドに基づいて、エンコーダ８２およびプロクシエンコーダ８３によるエンコード処理を制御する。

次に、図５乃至図１５を参照して、重なり要素について説明する。

図５および図６を用いて、単純カット点について説明する。

図５に示される重なり要素である単純カット点（以下、カット点と称する）は、カット点開始直前素材とカット点終了直後素材を接続する点である。

図６に示されるように、カット点の直前のフレームが、カット点が重なり要素として作用終了するフレームであり、この次のフレームが重なり要素の終了時刻となる。そして、カット点の直後のフレームが、カット点が重なり要素として作用開始するフレームであり、このフレームが開始時刻となる。すなわち、カット点の開始時刻は、カット点の終了時刻でもある。

次に、図７および図８を用いて、単純エフェクトについて説明する。

ここで、「単純エフェクト」として分類したのは、図７に示されるように、エフェクトの開始から終了までの間に、カット点などの他の重なり要素が存在していないものである。したがって、重なり要素としての単純エフェクトは１つの素材のみに対して施されるので、重なり要素の開始前素材および終了後素材は、同一素材となる。

図８に、図７の単純エフェクトの開始点および終了点付近（図７中丸印が付与されている部分）のエフェクトとフレームの関係をしめす。αで示されるのが単純エフェクト開始点付近のフレームであり、重なり要素としてのエフェクトが作用開始するフレームが示されている。そして、βで示されるのが、単純エフェクト終了点付近のフレームであり、重なり要素としてのエフェクトが作用終了するフレームが示され、この次のフレームが重なり要素の終了時刻フレームとなる。

次に、図９乃至図１２を用いて、重なりエフェクトについて説明する。

重なりエフェクトとは、図９に示されるように、カット点を含まない区間でエフェクトが重なる編集要素である。

この場合、最初の重なり要素が作用開始する時刻を開始時刻、最後の重なり要素が作用終了する時刻を終了時刻として、重なっている重なり要素を１つのかたまりとして考える。カット点を含まない区間であるので、重なり要素としての重なりエフェクトは１つの素材のみに対して施され、重なり要素の開始前素材および終了後素材は、同一素材となる。

図１０に、図９の重なりエフェクトの開始点および終了点付近（図９中丸印が付与されている部分）のエフェクトとフレームの関係をしめす。αで示されるのが重なりエフェクト開始点付近のフレームであり、重なり要素としてのエフェクトが作用開始するフレームが示されている。そして、βで示されるのが、重なりエフェクト終了点付近のフレームであり、重なり要素としてのエフェクトが作用終了するフレームが示され、この次のフレームが重なり要素の終了時刻フレームとなる。

また、図１１に示されるように、前の重なり要素の終了時刻と次の重なり要素の開始時刻が同時刻の場合、すなわち、重なり要素は重ならないが、連続している場合も、重なりエフェクトであるものとして扱うものとする。

図１２に、図１１の重なりエフェクトにおいて、２つのエフェクトが連続している部分（図１１中丸印が付与されている部分）のエフェクトとフレームの関係をしめす。図１２に示されるように、それぞれのエフェクトは、それぞれ異なるフレームに対して施され、互いに関係することは無いが、編集要素塊として捉える場合、図９および図１０を用いた場合と同様に、重なりエフェクトとして取り扱うものとする。

次に、図１３乃至図１５を用いて、カットエフェクトについて説明する。

カットエフェクトは、例えば、図１３に示されるように、エフェクトの開始時刻から終了時刻までの時間帯内にカット点を含む編集要素である。

図１４に、図１３のカットエフェクトにおいて、カット点とエフェクトが重なっている部分（図１３中丸印が付与されている部分）のエフェクトとフレームの関係をしめす。ここでは、エフェクトとしてワイプがかけられ、カット点の前のカットをぬぐうようにカット点の後ろのカットが現れるようになされている。図１４には、重なり要素としてのエフェクトが作用開始するフレームが示されるとともに、重なり要素としてのエフェクトが作用終了するフレームが示され、作用終了するフレームの次のフレームが重なり要素の終了時刻フレームとなる。

なお、単純エフェクト、重なりエフェクト、または、カットエフェクトにおけるエフェクトは、ワイプなどのエフェクトの付与だけでなく、ピクチャ・イン・ピクチャの様な別動画素材の挿入、モザイク、テロップ、または、静止画などの挿入も含むものである。

また、図１５に示されるように、素材１と素材２をつなぐカット点１にワイプ１がかけられ、ワイプ１終了時刻前にモザイク１が開始され、モザイク１の終了前に、素材２と素材３とをつなぐカット点２が存在するとき、カットエフェクトは、この全体となり、この編集要素塊の構成要素は、ワイプ１、カット点１、モザイク１、カット点２、素材１、素材２、および、素材３の全てである。

編集要素および重なり要素認識部１０２は、上述した編集要素および重なり要素を認識し、表示制御部１０５に認識した編集要素および重なり要素に関する情報を供給するので、表示制御部１０５は、図１６に示されるタイムラインの表示を制御する。

図１６上段に示されるタイムラインには、以下のような編集内容が表記される。

すなわち、重なり要素の開始時刻の順に並べると、図１６上段に示されるタイムラインには、
（１）カット１点で素材(1)から素材(2)に画面が切り替わる
（２）ワイプIN１点から素材(2)から素材(3)へ切り替わるときのワイプ動作が始まり、ワイプOUT２点で終了する
（３）カット３点で素材(3)から素材(4)に画面が切り替わる
（４）カット点４で素材(4)から素材(5)に画面が切り替わる
（５）テロップIN１点からテロップOUT１点までテロップが挿入される
（６）カット５点で素材(5)から素材(6)に画面が切り替わる
（７）カット６点で素材(6)から素材(7)に画面が切り替わる
（８）モザイクIN１点からモザイクOUT１点まで画面にモザイクが施される
（９）カット７点で素材(7)から素材(8)に画面が切り替わる
（１０）カット８点で素材(8)から素材(9)に画面が切り替わる
の１０の編集内容が表記されている。

そして、編集要素塊決定部１０６は、重なり要素同士の重なり具合により、編集要素塊を決定する。すなわち、編集要素塊決定部１０６は、開始時刻の早い順に重なり要素を並べ、同じ開始時刻の重なり要素は同じ編集要素塊に属するように、開始時刻の早い重なり要素から編集要素塊を仮決定していく。さらに、編集要素塊決定部１０６は、重なり要素Ａの終了時刻と、重なり要素Ａよりも開始時刻の遅いなり要素Ｂの開始時刻を比較する。そして、重なり要素Ｂの開始時刻が重なり要素Ａの終了時刻以前であれば、編集要素塊決定部１０６は、重なり要素Ｂは重なり要素Ａが含まれる編集要素塊に含まれるものとする。それに対して、重なり要素Ｂの開始時刻が重なり要素Ａの終了時刻よりも後であれば、編集要素塊決定部１０６は、重なり要素Ａが含まれる編集要素塊には、重なり要素Ｂが含まれないものとする。

このようにして、編集要素塊決定部１０６は、全ての重なり要素に対して、図１６の下段に示されるような編集要素塊の仮確定を行う。仮確定された編集要素塊の内容は、編集情報テーブル生成部１０８により生成される編集情報テーブルに反映される。

そして、最小エンコード区間設定部１０７は、仮確定された編集要素塊に対して、最小エンコード区間を設定する。

最小エンコード区間は、編集要素塊を構成する重なり要素を含む範囲で設定される。例えば、図１７のように、カットエフェクトに対しては、エフェクトの開始位置および編集素材におけるエフェクトの開始位置を含むＧＯＰの位相、並びに、エフェクトの終了位置および編集素材におけるエフェクトの終了位置を含むＧＯＰの位相によって決まる図中ａに示される範囲が最小エンコード区間として設定される。

最小エンコード区間の開始点は、基本的に、重なり要素の開始フレームを含むGOPの最初のフレームとなる。

それに対して、最小エンコード区間の終了点は、重なり要素の終了フレームを含むGOPの切れ目であっても良いし、重なり要素の終了フレーム直後のIピクチャの直前のピクチャまでとしても良い。

最小エンコード区間の終了点は、そのＧＯＰのＩピクチャ前のBピクチャを正しくデコードすることができる参照関係を、Ｉピクチャ前のＢピクチャと、その前後のPピクチャおよびＩピクチャとで保てるか否かで決まる。基本的には、図１８に示されるように、最小エンコード区間をIピクチャの直前のピクチャまでとすることで、エンコードによってデータがデコード前の内容と異なってしまう影響を受ける全ての部分をエンコードするものとする（例えば、特開２００６−６７０９５号公報参照）。

また、符号化効率を落とさないために必要な、１GOPに含まれるフレーム数の最小値をN´としたとき、ブリッジクリップの最後のGOPのフレーム数が、N'に満たない場合は、その前後どちらかのGOPと結合し、結合されたGOPに含まれるフレーム数が１GOPに含まれるフレーム数の最大値N以上となった場合には、GOPに含まれるフレーム数がN´を下回らないように再度GOPを分割することにより、それぞれのGOPに含まれるフレーム数がN´乃至Nの範囲内になるようにする。例えば、図１９に示されるように、カット点に対する最小エンコード区間を求めるにあたって、カット点の後続のGOPの位相から、ブリッジクリップの最後のGOPのフレーム数が、N'に満たないものとなる場合、その後に続くGOPを結合して、ブリッジクリップの最後のGOPとする。

また、図１９に示すようにGOPを延長する場合は、図１８を用いて説明したように、最小エンコード区間の終了点をそのGOPに続くIピクチャの直前のピクチャまでとはせず、GOP切れ目までとする。

図１９の場合における場合、最小エンコード区間の終了点をGOP切れ目までとするのは、最終エンコードフレームとなるP14の参照画となる同GOP内のＩピクチャおよびＰピクチャは、世代が落ちこそすれ、絵柄が変わったわけではないので、このP14の先のB0およびB1までエンコードすることによってB0およびB1の世代を落すよりは、GOP切れ目を最小エンコード区間の終了点とするほうが、SNR的に有利である場合が多い、という理由による。もちろん、GOPを延長する場合においても、その様な例外的な判断はせずに、図１８と同じく、次のＩピクチャ直前まで（例えば、図１９においてはB1まで）を最小エンコード区間としても構わない。

また、図２０に示されるように、カット点が、カット点前素材のGOP切れ目であり、かつ、カット点後の素材のIピクチャ直前であるとき、最小エンコード区間の長さは０フレームとなる。このような場合、この重なり要素に対しては、デコードおよびエンコードを行ってブリッジクリップを生成することなく、カット点において、素材ストリームを接続すればよい。

すなわち、編集要素塊に関するエンコードは、その編集要素塊に含まれる最初の重なり要素の開始時刻に存在する素材のGOP切れ目から、最後の重なり要素の終了時刻に存在する素材のGOPに属するIピクチャ直前のピクチャか、そのGOPの切れ目か、その次のGOPに属するIピクチャ直前のピクチャか、その次のGOPの切れ目までの４パターンとなる。また、これらの終了点の前に編集素材が終了している場合は、その終了フレームまでがエンコードの対象となる。

次に、図２１乃至図２４を参照して、最小エンコード区間の終了点の４つのパターンについて説明する。

図２１に、第１のパターンとして、最小エンコード区間の終了点が、最後の重なり要素の終了時刻に存在する素材のGOPに属するIピクチャ直前のピクチャである場合を示す。図２１においては、図１８における場合と同様に、最小エンコード区間の終了点が、重なり要素の終了フレーム直後のIピクチャの直前のピクチャまでとなっている。例えば、重なり要素がエフェクトなどであり、そのエフェクト終了点付近にカット点がないような場合、図２１に示されるように、重なり要素の終了点と最小エンコード区間の終了点が近くなり、世代落ちが発生する範囲を少なくすることができる場合がある。

図２２に、第２のパターンとして、最小エンコード区間の終了点が、最後の重なり要素の終了時刻に存在する素材のGOPの切れ目となる場合を示す。ここでは、編集要素はカット点であり、図２１を用いて説明したように、最小エンコード区間の終了点を、最後の重なり要素の終了時刻に存在する素材のGOPに属するIピクチャ直前のピクチャとした場合、カット点を含むGOPに含まれるフレーム数が極端に少なくなり、画像が劣化してしまうので、カット点後の素材のGOP位相において、そのGOPの切れ目までが、最小エンコード区間とされる。

図２３に、第３のパターンとして、最小エンコード区間の終了点が、最後の重なり要素の終了時刻に存在する素材のGOPの次のGOPに属するIピクチャ直前のピクチャとなる場合を示す。重なり要素であるエフェクトの終了時刻に存在する素材のGOPに属するIピクチャ直前のピクチャは、エフェクトの範囲内なので、このような場合、最小エンコード区間の終了点は、最後の重なり要素の終了時刻に存在する素材のGOPの次のGOPに属するIピクチャ直前のピクチャとなる。

そして、図２４に、第４のパターンとして、最小エンコード区間の終了点が、最後の重なり要素の終了時刻に存在する素材のGOPの次のGOPの終了点となる場合を示す。ここでは、編集要素はカット点であり、図２３を用いて説明したように、最小エンコード区間の終了点を、最後の重なり要素の終了時刻に存在する素材のGOPの次のGOPに属するIピクチャ直前のピクチャとした場合、カット点を含むGOPに含まれるフレーム数が極端に少なくなり、画像が劣化してしまうので、カット点後の素材のGOP位相において、次のGOPの切れ目までが、最小エンコード区間とされる。

この様にして、仮確定した編集要素塊に対して、最小エンコード区間が、フレーム単位で定まる。最小エンコード区間の内容は、編集情報テーブル生成部１０８により生成される編集情報テーブルに反映される。

このようにして定められる最小エンコード区間の終了点、すなわち、ブリッジクリップの終了点において、エンコーダ８２は、上述したように、ＣＰＵ１８の制御に基づいて、ブリッジクリップ終了点と、デコードおよびエンコードを行わない部分のつなぎ目において、VBVoccupancyが連続性を有するように、エンコード処理を実行する。

なお、最小エンコード区間を決定するフレームが登場する前に、隣接する編集要素塊が始まる、または、終わっている場合、具体的には、例えば、図２４のカット点の後P14ピクチャまでのいずれかのフレームから、隣接する編集要素塊が始まっている場合などにおいては、編集要素塊決定部１０６は、隣接する編集要素塊同士を、ひとつの編集要素塊とする。

また、それぞれの編集要素塊に対応する最小エンコード区間が、隣接する編集要素塊に対応する最小エンコード区間と重なっている場合、編集要素塊決定部１０６は、隣接する編集要素塊同士を、ひとつの編集要素塊とする。

また、上述したように、実際のエンコード処理において、エンコード区間が延長されたような場合、その部分の編集要素塊は、エンコード区間の延長に基づいて変更される。

すなわち、編集要素塊決定部１０６は、重なり要素の開始時刻および終了時刻の関係、および、それらの重なり要素が作用する素材のGOP位相により決まる最小エンコード区間が重なるか否か、または、延長するか否かに基づいて、編集要素塊の設定を確定する。

このようにして編集要素塊が確定した後、編集操作パネル２０を用いて、オペレータが、一部の編集要素を変更したとき、変更された編集要素に関係する部分に対して、上述した処理が繰り返され、編集要素塊および最小エンコード区間が求められる。

また、変更前の編集情報テーブルは、そのタイムラインを用いた編集作業が完全に終了されるまでは、編集情報テーブル記憶制御部１０９に記憶されるようになされている。したがって、オペレータが新たに変更した部分とかかわりのない部分、すなわち、編集要素塊としての構成要素が全く同じ部分については、編集情報テーブル記憶制御部１０９に記憶されている編集要素塊や最小エンコード区間の情報を利用することができる。また、エンコード処理時においても、編集情報テーブル記憶制御部１０９に記憶されている編集情報テーブルを参照して、編集要素塊の構成要素が全く同じ場合は、既にエンコード済みであるブリッジクリップをそのまま利用することも可能である。また、一旦変更された編集内容が元に戻った場合にも、編集要素塊や最小エンコード区間を再度設定したり、一度エンコードしたブリッジクリップと同一のブリッジクリップを再度エンコードすることなく、流用することが可能である。

次に、図２５乃至図３０を参照して、編集情報テーブル生成部１０８により生成される編集情報テーブルについて説明する。

編集素材および重なり要素認識部１０２により、図１６に示されるタイムラインで記載される編集要素および重なり要素が認識されたとき、図２５に示されるように、各重なり要素と、その開始時刻および終了時刻が編集情報テーブルに記載される。カット点に関しては、開始時刻および終了時刻は同一の時刻として記載される。

そして、編集要素塊決定部１０６により、全ての重なり要素に対して仮確定された編集要素塊の内容が、図２６に示されるように、編集情報テーブル生成部１０８により生成される編集情報テーブルに反映される。すなわち、ここでは、編集要素塊１として、カット１を含む部分が仮確定され、編集要素塊２として、ワイプおよびカット２を含む部分が仮確定され、編集要素３として、カット３を含む部分が仮確定され、編集要素４として、カット４を含む部分が仮確定され、編集要素５として、テロップとカット５と方と６とモザイクとを含む部分が仮確定され、編集要素６として、カット７を含む部分が仮確定され、編集要素７として、カット８を含む部分が仮確定される。

そして、編集情報テーブルには、仮確定された編集要素塊の開始時刻と終了時刻が記載されるとともに、それぞれの編集要素塊に含まれる素材ストリームを示す情報が記載される。ここでは、素材ストリームを示す情報として、図１６の示されるタイムラインに付与されている番号が記載されているが、素材ストリームを示す情報は、ストリームのデータ名や、フラッシュメモリ１４などにおける記録アドレスなど、ストリームを個々に区別可能な情報に加えて、素材としてライムライン上に記載されている部分はそのストリームのどの部分であるかを示す相対時刻情報やデータアドレス情報などにより構成される。

そして、最小エンコード区間設定部１０７により、それぞれの編集要素塊に対する最小エンコード区間が設定された場合、設定された最小エンコード区間の情報が、図２７に示されるように、編集情報テーブル生成部１０８により生成される編集情報テーブルに反映される。すなわち、編集要素塊１乃至編集要素塊７のそれぞれの最小エンコード区間が設定され、その開始時刻と終了時刻が記載される。例えば、あるカット点の位置がちょうどＧＯＰ切れ目であった場合、図２０を用いて説明したように、最小エンコード区間は０フレームとなるので、対応する最小エンコード区間の開始時刻と終了時刻とは同一時刻が設定される。

そして、図２７の編集情報テーブルの設定に基づいて、それぞれの最小エンコード区間が実際にエンコードされた結果が、編集要素塊決定部１０６による編集要素塊の再設定と、最小エンコード区間設定部１０７による最小エンコード区間の再設定に反映される。例えば、エンコードの延長などが行われて、生成されたブリッジクリップが編集要素塊を２つ以上含んでしまったような場合、それらの編集要素塊は、１つの編集要素塊として再設定される。

そして、再設定された編集要素塊と最小エンコード区間の内容が、図２８に示されるように、編集情報テーブル生成部１０８により生成される編集情報テーブルに反映される。ここでは、編集要素塊１とその最小エンコード区間および編集要素塊２とその最小エンコード区間は変更されず、最小エンコード区間がエンコードの実績に基づいて設定されたものであるというフラグ情報（ここでは、星印）が付与される。そして、実際にエンコードされた結果に基づいて、元の編集要素塊３と編集要素塊４が一つの編集要素塊８となり、この編集要素塊８の最小エンコード区間がエンコードの実績に基づいて設定されたものであるというフラグ情報が付与される。そして、編集要素塊５乃至編集要素塊７とそれらの最小エンコード区間は変更されず、最小エンコード区間がエンコードの実績に基づいて設定されたものであるというフラグ情報が付与される。

そして、図２９に示されるように、新たな重なり要素として、テロップ２の追加が指令されたとき、追加された重なり要素に関係する部分の編集要素塊の再設定、および、最小エンコード区間の再設定が実行される。

そのとき、新たな重なり要素と関係のない部分においては、既に設定済みの編集要素塊および最小エンコード区間の設定が利用される。したがって、図３０に示されるように、追加された重なり要素であるテロップ２の追加によって、新たな編集要素塊９と、編集要素塊９に対応する最小エンコード区間が設定される。この時点では、編集要素塊９の最小エンコード区間は、エンコードの実績に基づいて設定されたものではないため、フラグが付けられていない。そして、それ以外の編集要素塊１，２，５，６，７に関しては、テロップ２の追加によって、構成要素が全く変わらないため、前の編集要素塊および最小エンコード区間をそのまま流用することができる。

このようにして、編集情報テーブルが生成され、その情報は、該当するタイムラインを用いた編集処理が完全に終了するまで消去されない。したがって、図３０のテロップ２の追加が取りやめになった場合、新たに対応する部分の編集要素塊および最小エンコード区間が再設定されるのではなく、テロップ２の追加前の編集要素塊８が再度利用されるようになされる。

次に、図３のプロクシエンコーダ８３により生成されるプロクシ画像ストリームについて説明する。

プロクシ画像ストリームは、エンコーダ８２によりエンコードされて生成されるストリームと同じ絵柄だが、符号量を極端に減らすことにより、画質は落ちるが、データ容量を少なくして容易に通信可能としたり、または、プレビューや高速再生時のデータとして活用するための動画データである。

プロクシエンコーダ８３においても、必要最小限のエンコードを行ってブリッジクリップを作成し、その他の部分は、デコードおよびエンコードを行わないストリームをそのまま用いて、これらを接続することにより、編集後のプロクシ画像ストリームが生成されるものとする。

プロクシエンコーダ８３は、Closed GOPで符号化を行い、最小エンコード区間は、開始点も終了点も、GOPの切れ目とする。そして、プロクシエンコーダ８３は、それぞれのGOP長が一定であっても異なる場合であっても、１フレーム当たりの平均発生符号量が等しくなるようにエンコードを実行する。

プロクシエンコーダ８３で生成されるストリームをClosed GOPとし、最小エンコード区間の終了点を、必ず、GOPの切れ目とすることで、GOP切れ目で絵柄の参照関係の不整合が発生することがなくなる。また、プロクシ画像ストリームは、画質はあまり良くなくても構わないので、任意のGOP長に対して、１フレーム当たりの平均符号量を一定とすることで、すべてのGOP切れ目においてVBVoccupancyが一定値を取るようにすることができる。これにより、目標VBVoccupancyの値を定めることなく、すべてのGOP切れ目でVBVoccupancyが連続性を有するものとなる。

これにより、プロクシのブリッジクリップと、デコードおよびエンコードを行わないストリームとをそのまま接続することが可能となる。

しかしながら、図３１に示されるように、エンコーダ８２で生成されるストリーム(図３１においては、Hi-resと記載する)とプロクシエンコーダ８３で生成されるストリーム(図３１においては、Lo-resと記載する)のGOP位相が異なる場合、エンコーダ８２では異なるブリッジクリップとしてエンコード可能であった部分が、プロクシエンコーダ８３では１つのブリッジクリップとしてエンコードしなければならない場合が発生する。

例えば、エンコーダ８２で生成されるストリーム（Hi-res）において、1GOPが15フレームであるが、プロクシエンコーダ８３で生成されるストリーム（Lo-res）において、1GOPが10フレームであり、編集によっては、任意のGOP長を許すようになされている場合について考える。

例えば、編集要素塊Ａにおける重なり要素が素材に作用する範囲が、プロクシエンコーダ８３で生成されるストリーム（Lo-res）では、終了フレームを含むGOPのIピクチャの直前のピクチャまでであり、編集要素塊Ａに続く編集要素塊Ｂの開始点が、ちょうどその次のＧＯＰ切れ目であったとき、図３１に示されるように、プロクシエンコーダ８３で生成されるストリーム（Lo-res）の編集要素塊Ａと編集要素塊Ｂとのそれぞれの最小エンコード区間は重ならない。

これに対して、プロクシエンコーダ８３で生成されるストリーム（Lo-res）のGOP位相がプロクシエンコーダ８３で生成されるストリーム（Lo-res）とはずれてしまい、編集要素塊Ａにおける重なり要素が素材に作用する範囲が、あるGOPの最初のフレームであった場合、編集要素塊Ａに対する最小エンコード区間は、そのGOPの切れ目となる。また、図３１においては、プロクシエンコーダ８３で生成されるストリーム（Lo-res）では、編集要素塊Ａの最小エンコード区間の終了点よりも前に、編集要素塊Ａに続く編集要素塊Ｂの開始点が存在するため、プロクシエンコーダ８３は、エンコーダ８２では異なるブリッジクリップとしてエンコード可能であった編集要素塊Ａと編集要素塊Ｂとを、１つのブリッジクリップとしてエンコードしなければならない。

このような場合、プロクシエンコーダ８３によるエンコード実績を反映させて、編集要素塊および最小エンコード区間を再度設定し、エンコーダ８２によるエンコード処理を新たに設定された編集要素塊および最小エンコード区間に基づいて実行させるようにしても良い。

また、このように、プロクシエンコーダ８３によるエンコード実績によって、エンコーダ８２によるエンコード処理を再度実行させることを避けるためには、エンコーダ８２によるエンコードにおける最小GOP長を、プロクシエンコーダ８３によるエンコードの最大GOP長より大きくするか、または、エンコーダ８２によるエンコード処理とプロクシエンコーダ８３によるエンコード処理のGOP長およびGOP位相を常に同一とすればよい。

いずれにしても、プロクシエンコーダ８３によるエンコードによって生成されるLo-resのブリッジクリップは、エンコーダ８２によるエンコードによって生成されるHi-resのブリッジクリップと同数となり、同一の重なり要素に対して、それぞれ、範囲は異なっても良いが、対応するように編集要素塊および最小エンコード区間が設定されなければならない。

また、プロクシエンコーダ８３によるエンコードに関しても、エンコーダ８２によるエンコードにおける場合と同様にして、編集情報テーブル生成部１０８により、同様の編集情報テーブルを生成するものとしても良いことはいうまでもない。プロクシ用の編集情報テーブルも、編集情報テーブル記憶制御部１０９により記憶しておけば、編集要素の変更時に、記憶されている編集情報テーブルの情報を利用して、同様の設定処理やエンコード処理を繰り返してしまうことを防ぐようにすることができる。

また、上述した編集処理を、図３を用いて説明したＳＤＩ入出力ポート１１に代わって、図３２のＳＤＩ入出力ポート１５１を用いて実行することも可能である。

なお、図３２においては、図３のＳＤＩ入出力ポート１１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

すなわち、図３２のＳＤＩ入出力ポート１５１には、入出力処理部４１に代わって入出力処理部１６１が備えられ、コーデック処理部４２に代わってコーデック処理部１６２が備えられている。入出力処理部１６１は、新たに、エフェクト／スイッチ１８１が備えられ、ＳＤＩ出力部６３に代わって、エフェクト／スイッチ１８１からの出力を出力するＳＤＩ出力部１８２が設けられている以外は、コーデック処理部４２と同様の構成を有している。また、コーデック処理部１６２は、新たに、デコーダ１９１−１および１９１−２が備えられている以外は、コーデック処理部４２と同様の構成を有している。

ＳＤＩ入力部６１、エフェクト／スイッチ６２、デコーダ８１−１および８１−２、エンコーダ８２、および、プロクシ（Proxy）エンコーダ８３は、図３のＳＤＩ入出力ポート１１における場合と同様に、タイムライン上に設定された編集要素塊のデコード、編集、および、エンコード処理、すなわち、ブリッジクリップの生成に係る処理を実行する。

これに対して、エフェクト／スイッチ１８１、ＳＤＩ出力部１８２、デコーダ１９１−１および１９１−２は、オペレータが編集内容を確認するためのプレビューを生成するための処理を実行する。

デコーダ１９１−１および１９１−２は、編集素材である符号化ストリームの供給を受け、これをデコードする。デコードされた編集素材に対応する非圧縮の映像信号は、エフェクト／スイッチ１８１に供給される。

エフェクト／スイッチ１８１は、デコーダ１９１−１および１９１−２から非圧縮の映像信号の供給を受け、ＣＰＵ１８の制御に基づいて、供給される非圧縮の映像信号の出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するカット点の処理を施す。また、エフェクト／スイッチ１８１は、供給される非圧縮の映像信号に対して、エフェクト付与などの編集効果を付ける処理も行う。

このような構成を有するＳＤＩ入出力ポート１５１では、オペレータのプレビュー動作とは無関係に、タイムライン上に設定された編集要素塊に対するエンコードをバックグラウンドで実行することが可能である。

例えば、オペレータからエンコード開始の指令を受けることなく、自動的にバックグラウンドで編集要素塊のエンコードを行う場合は、タイムライン上、先にある編集要素塊に関するエンコードから実行した方が、エンコード延長が発生した場合に、全体のエンコード時間が短くなる可能性が高い。

これに対して、オペレータは、タイムラインを参照して、編集要素塊のエンコード実行を、編集要素塊ごとに指令することができるようにしても良い。

また、オペレータは、プレビューの有無や、エンコードの処理がバックグラウンドで自動的に行われるか明示的に指示された場合にのみ行われるかにかかわらず、編集後のストリームのうち、ブリッジクリップである部分とそうでない部分や、それぞれの編集要素塊がエンコード処理済であるか否かを認識したいと考える。

したがって、編集操作パネル２０の表示部には、タイムラインとともに、編集要素塊および最小エンコード区間がどこ部分であるかを示す情報、ならびに、それぞれの編集要素塊ごとにエンコード結果を既に得られているか否かを示す情報が、常に表示されることが望ましい。

そこで、表示制御部１０５は、編集素材および重なり要素認識部１０２から供給された編集における編集素材および重なり要素の情報に基づいて、編集操作パネル２０の表示部に、任意時点でオペレータが確認可能なように、オペレータの設定したタイムラインによって演算される編集要素塊を個々に区別可能なような図形等と、各編集要素塊における最小エンコード区間を示す図形等とを含み、編集要素塊を実際にエンコードして得られるエンコード結果を反映させた最小エンコード区間であるか否か、換言すれば、各編集要素塊が既にエンコードを終了しているか否かを示す情報をユーザに提示することができるＧＵＩを、タイムラインに関連付けて表示させる。

表示制御部１０５により表示される、タイムラインに関連付けられた上述のＧＵＩの例を、図３３乃至図３６を用いて説明する。

オペレータがタイムライン上で、全ての素材と、重なり要素を決定している場合、または、一部の素材と、重なり要素を決定している場合、決定されている部分だけにおいても、編集要素塊および最小エンコード区間の設定は可能であるので、設定された編集要素塊および最小エンコード区間をオペレータが認識可能なように、必要なＧＵＩが、タイムラインに関連付けて表示されるものとする。

例えば、図３３上段に示されるように、オペレータがタイムライン上で、全ての素材と、重なり要素を決定している場合、図３３下段に示されるようなＧＵＩにより、タイムライン上の設定に基づいて決まる編集要素塊の領域と、それらに対する最小エンコード区間をオペレータに認識させることができる。

そして、オペレータがタイムラインを作成している間に、演算できるところから、演算処理を行い、編集要素塊や最小エンコード区間をＧＵＩ表示していくことができる。例えば、編集要素塊の重なり要素の時間範囲は、素材が決まっていなくても確定するので、素材確定がまだであっても計算することができ、編集要素塊の両端の素材が確定した時点で最小エンコード区間を演算することができる。

すなわち、オペレータがタイムライン上で、全ての素材と、重なり要素を決定していない場合でも、同様のＧＵＩは表示可能である。例えば、図３３上段に示されるタイムラインにおける素材６の部分がまだ決定されていない図３４上段に示されるタイムラインに対しても、タイムライン上に設定された重なり要素に基づいて、編集要素塊とその最小エンコード区間が求められるので、図３４下段に示されるようなＧＵＩにより、タイムライン上の設定に基づいて決まる編集要素塊の領域と、それらに対する最小エンコード区間をオペレータに認識させることができる。

また、図３３および図３４においては、編集要素塊の区間をしめすＧＵＩが、編集要素塊を特定する名称(ここでは、A,B,…とアルファベットで記載されているが、その場合、IとOは使用しないのが望ましい)とともに表示され、それらの編集要素塊と明らかに対応している最小エンコード区間が表示されている。ここで、集要素塊を特定する名称は、演算が終了したものから順に命名されるなど、個々に区別可能であればよい。

図３４下段のＧＵＩに示される編集要素塊Ｇは、素材が決まっていないので、完全に編集要素塊の構成要素が確定したわけではない。そこで、完全に編集要素塊の構成要素が確定している図３３の下段のＧＵＩに示される編集要素塊Ｇとは、区別可能なように表示されると更に好適である。

例えば、完全に編集要素塊の構成要素が確定していない図３４下段のＧＵＩに示される編集要素塊Ｇに対応する部分は、例えば、点滅させたり、他と表示色を変えたり、コメントを表示させるなどして、素材が確定していないことをオペレータに通知し、素材の入力を促すようにすると好適である。

しかしながら、完全に編集要素塊の構成要素が確定していない部分のエンコードが指令された場合、その部分には、null素材が指定されているものと考えることとして、編集要素塊を確定させることとする。null素材とは真っ黒な画像、所謂「Black」と考えてもよいが、エンコード処理におけるＶＢＶバッファの制御には真っ黒な画像は大きな影響を与えてしまうので、null素材を含む実エンコードをする必要のある場合は、VBVoccupancyがGOP単位でできるかぎり上下しない様に、平均レートで推移する様なzero stuffingを行う必要がある。

また、null素材には、Black以外にも、真っ白な画像（White）、またはカラーバー(ColorBar)等の単純画を設定することが可能であり、エンコード規則としては、できるかぎりピクチャ毎にzerostuffを実行して、平均レートの符号量を使用し、GOPの最初と最後とでVBVoccupancyが変わらない様にすると好適である。また、例えば、zerostuffの有無を設定することなどにより、オペレータにより、null素材の使用符号量を任意設定することが可能であるものとしてもよい。

また、それぞれの最小エンコード区間において、エンコードが実行済みであるか否かを区別可能とするために、例えば、図３５下段のＧＵＩにおいて、エンコードが実行済みである編集要素塊ＣおよびＤの最小エンコード区間を示す図形を、他の編集要素塊と異なる色や形状などで表示させるようにすることができる。

また、テロップの内容やモザイクの内容が変更された場合、編集要素塊の構成要素が変更されたものとして、編集要素塊の名称がＧからＨに変更される。

上述したように、バックグラウンドでエンコードを実行できる構成ならば、できるだけ時間的先頭からエンコードを開始するようにすると、エンコード範囲が延長した場合の最小エンコード区間の再設定が複数の編集要素塊を１つとする設定変更を伴う場合であっても、重なる部分のエンコードを再度実行する必要がないため、好適である。これに対して、プレビューまたはエンコードの開始指示を明示的に行うようになされている場合、エンコードが実行済みでない編集要素塊の表示を、例えば、マウスカーソル等の移動により選択決定することや、キーボードなどにより所望の編集要素塊の名称を入力することにより、プレビューまたはエンコードの開始を指令することができるようになされていると好適である。

また、ある編集要素塊に対応する部分がエンコード中であるとき、最初、エンコードが未実施であることを示す色で表示されていた最小エンコード区間を示す図形上で、エンコードがなされている領域に同期して、その表示色を、エンコード実施済みであることを示す色に変換させていくことにより、エンコード中である編集要素塊をオペレータに示すことも可能である。

そして、図３５下段のＧＵＩにおいて編集要素塊Ｈと表されていた部分のエンコードが実行されたとき、そのエンコード範囲が延長され、次の編集要素塊Ｅを含んでしまった場合、図３６下段に示されるように、新たなＪという編集要素塊に変更されたことが、オペレータに認識可能なように表示される。

このように、表示制御部１０５は、編集素材および重なり要素認識部１０２から供給された編集における編集素材および重なり要素の情報に基づいて、タイムラインとともに、編集要素塊と最小エンコード区間をオペレータに通知可能なＧＵＩを、編集操作パネル２０の表示部に表示させることができる。

その場合、決定されていない素材があった場合であっても、重なり要素が決定し、編集要素塊の設定および最小エンコード区間の設定が可能な条件では、これらを設定し、設定結果を表示することができる。ただし、決まっていない素材がある場合は、点滅か表示色の変更などでそのことをオペレータに示すようにすると好適である。

そして、最小エンコード区間がエンコード済みであるか否か、または、エンコード中であるかを、表示色の変更などにより、オペレータに通知するものとする。そして、エンコードの実施や重なり要素の変更により、編集要素塊や最小エンコード区間の設定が変更されたとき、その内容は、随時、ＧＵＩに反映されるものとする。編集要素塊の構成要素のうちの一部でも変更があった場合、編集要素塊を区別可能なように付けられる名称が変更されることは、言うまでもない。

また、上述したように、編集情報テーブル記憶制御部１０９は、編集情報テーブル生成部１０８によって生成された編集情報テーブルを記憶する。そこで、記憶されている過去の任意の編集情報テーブルに対応する編集要素塊および最小エンコード区間を示す同様のＧＵＩを更に表示させ、オペレータが、現在の編集要素塊の構成を、かつてのものと比較したり、既に用意されているエンコード結果を再度利用するために容易に選択することができるようにしてもよい。

記憶されている過去の編集情報テーブルに対応する編集要素塊および最小エンコード区間を示すＧＵＩにも、現在の編集状態における編集要素塊および最小エンコード区間を示すＧＵＩと同様の表示形式が用いられる。すなわち、過去の編集情報テーブルに対応する編集要素塊および最小エンコード区間を示すＧＵＩにおいても、編集要素塊には個々に区別可能なように名称が付けられて、エンコード済みか否かなどがオペレータに認識可能なように区別されて表示される。

そして、過去の編集情報テーブルに対応する編集要素塊および最小エンコード区間を示すＧＵＩにおいても、これらのＧＵＩの所望の編集要素塊の部分をマウスカーソルなどで選択決定したり、名称をキーボードなどで入力することによって、プレビューやエンコード開始を指令することができるようにする。

次に、図３７および図３８のフローチャートを参照して、編集要素塊設定処理について説明する。

ステップＳ１１において、操作入力取得部１０１は、編集操作パネル２０を用いてオペレータから入力された、タイムライン上に並べられる編集要素の設定または変更の指令を受ける。編集素材および重なり要素認識部１０２は、操作入力取得部１０１から供給された、オペレータの操作入力に基づいて、編集のために指令される編集素材および重なり要素を認識し、表示制御部１０５、編集要素塊決定部１０６、および、編集情報テーブル生成部１０８に供給する。

ステップＳ１２において、編集要素塊決定部１０６および最小エンコード区間設定部１０７は、同一タイムラインの編集情報テーブルがすでに存在し、過去のエンコードに関する情報が、編集情報テーブル記憶制御部１０９の処理により記憶されていた場合、それらの情報を取得する。

ステップＳ１３において、編集要素塊決定部１０６は、編集素材および重なり要素認識部１０２から供給された編集における編集素材および重なり要素の情報に基づいて、重なり要素を抽出し、開始時間の早い順に並べる。

ステップＳ１４において、編集要素塊決定部１０６は、編集要素塊として仮確定されていない重なり要素の中で開始時間の最も早いものを、注目重なり要素として抽出する。

ステップＳ１５において、編集要素塊決定部１０６は、注目重なり要素と同時刻に開始する重なり要素があるか否かを判断する。ステップＳ１５において、同時刻に開始する重なり要素がないと判断された場合、処理はステップＳ１７に進む。

ステップＳ１５において、同時刻に開始する重なり要素があると判断された場合、ステップＳ１６において、編集要素塊決定部１０６は、注目重なり要素と同時刻に開始する重なり要素を同一の編集要素塊とする。

ステップＳ１５において、同時刻に開始する重なり要素がないと判断された場合、または、ステップＳ１６の処理の終了後、ステップＳ１７において、編集要素塊決定部１０６は、注目重なり要素または注目重なり要素を含む編集要素塊に後続する重なり要素が存在するか否かを判断する。ステップＳ１７において、後続する重なり要素が存在しないと判断された場合、処理は、後述するステップＳ２１に進む。

ステップＳ１７において、後続する重なり要素が存在すると判断された場合、ステップＳ１８において、編集要素塊決定部１０６は、後続する重なり要素の開始時刻は、その前に位置する重なり要素の終了時刻より後であるか否かを判断する。

ステップＳ１８において、後ではないと判断された場合、ステップＳ１９において、編集要素塊決定部１０６は、後続する重なり要素を、注目重なり要素と同一の編集要素塊として、処理は、ステップＳ１７に戻り、それ以降の処理が繰り返される。

ステップＳ１８において、後であると判断された場合、ステップＳ２０において、編集要素塊決定部１０６は、注目重なり要素を含む編集要素塊を仮確定し、処理は、ステップＳ１４に戻り、それ以降の処理が繰り返される。

ステップＳ１７において、後続する重なり要素が存在しないと判断された場合、ステップＳ２１において、編集要素塊決定部１０６は、仮確定した編集要素塊に関する情報を、編集情報テーブル生成部１０８および最小エンコード区間設定部１０７に供給する。編集情報テーブル生成部１０８は、上述したように、仮確定された編集要素塊の情報を用いて、編集テーブル生成部を生成または更新する。そして、最小エンコード区間設定部１０７は、仮設定された編集要素塊を、開始時間の早い順に並べる。

ステップＳ２２において、最小エンコード区間設定部１０７は、編集要素塊の中で最小エンコード区間が設定されていないもののうち、開始時間の最も早いものを抽出する。

ステップＳ２３において、最小エンコード区間設定部１０７は、編集情報テーブル記憶制御部１０９に記憶されている過去の編集情報テーブルに基づいて、抽出された編集要素塊は、既にエンコード処理の実績があるか否かを判断する。

ステップＳ２３において、抽出された編集要素塊は、既にエンコード処理の実績があると判断された場合、ステップＳ２４において、最小エンコード区間設定部１０７は、編集情報テーブル記憶制御部１０９に記憶されている過去の編集情報テーブルに記載されている最小エンコード区間をその編集要素塊の最小エンコード区間として設定する。

ステップＳ２３において、抽出された編集要素塊は、エンコード処理の実績がないと判断された場合、ステップＳ２５において、最小エンコード区間設定部１０７は、編集要素塊前後のストリームのＧＯＰ位相に基づいて、最小エンコード区間を演算し、設定する。

ステップＳ２４またはステップＳ２５の処理の終了後、ステップＳ２６において、最小エンコード区間設定部１０７は、最小エンコード区間が隣接する、または、一部重複する他の編集要素塊が存在するか否かを判断する。

ステップＳ２６において、隣接または重複する編集要素塊があると判断された場合、ステップＳ２７において、最小エンコード区間設定部１０７は、隣接または重複する編集要素塊を１つの編集要素塊であると設定し、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返される。

ステップＳ２６において、隣接または重複する編集要素塊がないと判断された場合、ステップＳ２８において、最小エンコード区間設定部１０７は、編集要素塊の全ての最小エンコード区間が設定されたか否かを判断する。ステップＳ２８において、編集要素塊の全ての最小エンコード区間が設定されていないと判断された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返される。

ステップＳ２８において、編集要素塊の全ての最小エンコード区間が設定されたと判断された場合、ステップＳ２９において、最小エンコード区間設定部１０７は、設定された最小エンコード区間に関する情報を編集情報テーブル生成部１０８および編集要素塊決定部１０６に供給する。編集要素塊決定部１０６は、最小エンコード区間の設定内容に基づいて、編集要素塊を確定し、確定した内容を、編集情報テーブル生成部１０８に供給する。そして、編集情報テーブル生成部１０８は、編集要素塊決定部１０６により決定された編集要素塊に含まれる編集要素と、それらの編集要素に関する情報、および、最小エンコード区間設定部１０７によって設定された最小エンコード区間を記載した編集情報テーブルを生成または更新し、編集情報テーブル記憶制御部１０９に供給して記憶させて、処理が終了される。

このような処理により、編集要素塊が設定されるので、編集要素の組み合わせ方がどのようなものであっても、同一の部分を何度もデコードおよびエンコードをしてしまうことを防止することができる。

また、編集要素塊や最小エンコード区間の情報が記載された編集情報テーブルが生成されて記録されるので、編集要素の一部が変更されたり、また、変更後、基に戻されたりした場合に、記録されている編集情報テーブルを参照することにより、タイムラインの全ての部分の編集要素塊や最小エンコード区間の再設定をする必要がなくなり、好適である。

次に、図３９のフローチャートを参照して、プロクシデータを生成する場合の編集要素塊設定処理について説明する。

ステップＳ５１において、図３７および図３８を用いて説明した編集要素塊設定処理が実行されて、エンコーダ８２によりエンコードされる通常のブリッジクリップのための編集要素塊および最小エンコード区間の設定、並びに、編集情報テーブルの生成と記憶が実行される。

ステップＳ５２において、編集要素塊決定部１０６および最小エンコード区間設定部１０７は、編集情報テーブルの情報を取得する。

ステップＳ５３において、編集要素塊決定部１０６は、エンコーダ８２によりエンコードされる通常のブリッジクリップのための編集要素塊を、プロクシデータ用のエンコードのための編集要素塊として、編集要素塊を、開始時刻の早い順に並べる。

ステップＳ５４において、最小エンコード区間設定部１０７は、編集要素塊の中で、プロクシに関する最小エンコード区間が設定されていないもののうち、開始時間の最も早いものを、抽出する。

ステップＳ５５において、最小エンコード区間設定部１０７は、編集情報テーブル記憶制御部１０９に記憶されている過去の編集情報テーブルに基づいて、抽出された編集要素塊は、プロクシデータに関して、既にエンコード処理の実績があるか否かを判断する。

ステップＳ５５において、抽出された編集要素塊は、既にエンコード処理の実績があると判断された場合、ステップＳ５６において、最小エンコード区間設定部１０７は、編集情報テーブル記憶制御部１０９に記憶されている過去の編集情報テーブルに記載されている最小エンコード区間をその編集要素塊のプロクシデータに関する最小エンコード区間として設定する。

ステップＳ５５において、抽出された編集要素塊は、エンコード処理の実績がないと判断された場合、ステップＳ５７において、最小エンコード区間設定部１０７は、編集要素塊前後のストリームのＧＯＰ位相に基づいて、プロクシデータに関する最小エンコード区間を演算し、設定する。

ステップＳ５６またはステップＳ５７の処理の終了後、ステップＳ５８において、最小エンコード区間設定部１０７は、最小エンコード区間が隣接する、または、一部重複する他の編集要素塊が存在するか否かを判断する。

ステップＳ５８において、隣接または重複する編集要素塊があると判断された場合、ステップＳ５９において、最小エンコード区間設定部１０７は、隣接または重複する編集要素塊を１つの編集要素塊であると設定し、処理は、ステップＳ５４に戻り、それ以降の処理が繰り返される。

ステップＳ５８において、隣接または重複する編集要素塊がないと判断された場合、ステップＳ６０において、最小エンコード区間設定部１０７は、編集要素塊の全てのプロクシ用の最小エンコード区間が設定されたか否かを判断する。ステップＳ６０において、編集要素塊の全ての最小エンコード区間が設定されていないと判断された場合、処理は、ステップＳ５４に戻り、それ以降の処理が繰り返される。

ステップＳ６０において、編集要素塊の全ての最小エンコード区間が設定されたと判断された場合、ステップＳ６１において、最小エンコード区間設定部１０７は、設定されたプロクシ用の最小エンコード区間に関する情報を編集情報テーブル生成部１０８および編集要素塊決定部１０６に供給する。編集要素塊決定部１０６は、プロクシ用の最小エンコード区間の設定内容に基づいて、エンコーダ８２によりエンコードされる通常のブリッジクリップのための設定も同様として、編集要素塊を確定し、確定した内容を、編集情報テーブル生成部１０８に供給する。そして、編集情報テーブル生成部１０８は、編集要素塊決定部１０６により決定された編集要素塊に含まれる編集要素と、それらの編集要素に関する情報、および、最小エンコード区間設定部１０７によって設定された最小エンコード区間を記載した編集情報テーブルを生成または更新し、編集情報テーブル記憶制御部１０９に供給して記憶させて、処理が終了される。

このような処理により、エンコーダ８２により生成されるブリッジクリップに対応するブリッジクリップを同様に生成するために、プロクシ用の編集要素塊と最小エンコード区間を設定することができる。また、プロクシ画像ストリームの生成のために編集要素塊の設定が変わった場合には、その編集要素塊の設定を、エンコーダ８２によるブリッジクリップの生成にも反映させることができる。

次に、図４０のフローチャートを参照して、エンコーダ８２またはプロクシエンコーダ８３がブリッジクリップを生成する場合に実行される、エンコード処理について説明する。

ステップＳ９１において、編集制御部１１０は、編集情報テーブル生成部１０８において生成された、現在、表示されているタイムラインに対応する編集情報テーブルを取得する。

ステップＳ９２において、編集制御部１１０は、編集情報テーブルを参照し、エンコードされていない編集要素塊のうち、時間的に一番早いものを抽出する。

ステップＳ９３において、編集制御部１１０は、抽出された編集要素塊のエンコード処理を実行するためのコマンドを生成し、ＣＰＵ１８に供給する。ＣＰＵ１８のデコード処理部１２１は、編集制御部１１０から発行されたコマンドに基づいて、対応する編集要素塊の構成要素である素材ストリームの対応する部分のデコーダ８１−１またはデコーダ８１−２によるデコードを制御する。ＳＤＩ入出力制御部１２２は、編集制御部１１０から発行されたコマンドに基づいて、ＳＤＩ入力部６１からのテロップやピクチャ・イン・ピクチャなどに対応するＳＤＩ信号の入力の制御を実行する。

そして、スイッチング等制御部１２３は、編集制御部１１０から発行されたコマンドに基づいて、エフェクト／スイッチ６２による非圧縮の映像信号の出力のスイッチング、すなわち、カット点の処理を制御するとともに、所定の範囲にワイプやモザイクなどのエフェクトを施す処理、および、テロップやピクチャ・イン・ピクチャなどに対応する画像を重畳する処理を制御する。そして、エンコード制御部１２４は、エンコーダ８２またはプロクシエンコーダ８３を制御して、エフェクト／スイッチ６２から出力されたベースバンド信号のエンコード処理を制御するとともに、実際のエンコードにおいて、例えば、エンコード範囲が延長したか否かなどの情報を、編集制御部１１０に供給する。

ステップＳ９４において、編集制御部１１０は、エンコード制御部１２４から供給されたエンコード結果の情報に基づいて、抽出された編集要素塊のエンコードが、後続する１つまたは複数の編集要素塊を含んで実行されたか否かを判断する。

ステップＳ９４において、抽出された編集要素塊のエンコードが、後続する１つまたは複数の編集要素塊を含んで実行されたと判断された場合、ステップＳ９４において、編集制御部１１０は、複数の編集要素塊が一度にエンコードされたことを示す情報を、編集情報テーブル生成部１０８に供給する。編集情報テーブル生成部１０８は、対応する部分の編集要素塊を１つにし、最小エンコード区間の情報とともに、編集情報テーブルを更新する。

ステップＳ９４において、抽出された編集要素塊のエンコードが、後続する１つまたは複数の編集要素塊を含んで実行されていない、すなわち、抽出された編集要素塊のみでエンコードが実行されたと判断された場合、または、ステップＳ９５の処理の終了後、ステップＳ９６において、編集情報テーブル生成部１０８は、編集情報テーブルにおいて、エンコードした部分の編集要素塊をエンコード実績ありとする。

ステップＳ９７において、編集制御部１１０は、全ての編集要素塊に対するエンコード処理が終了したか否かを判断する。ステップＳ９７において、全ての編集要素塊に対するエンコード処理が終了していないと判断された場合、処理は、ステップＳ９２に戻り、それ以降の処理が繰り返される。ステップＳ９７において、全ての編集要素塊に対するエンコード処理が終了したと判断された場合、処理は終了される。

このような処理により、１世代落ちだけでブリッジクリップを生成することができるので、編集要素の組み合わせがどのような場合であっても、なん世代も世代落ちをしたり、全ての部分を世代落ちさせるようなことがないので、従来の手法と比較して、画質の劣化を防ぐことができる。

上述したように、本発明を適用した画像処理装置１では、タイムライン上の全体を一旦デコードした後、編集後のベースバンド信号を最初から最後までエンコードするのではなく、素材の接続やエフェクト等の付与のために必要な部分のみを一旦デコードした後、素材の接続や編集効果の付与などを行ったベースバンド信号に再度エンコードを行って、ブリッジクリップを生成するようになされている。そして、画像処理装置１では、タイムライン上の編集要素の構成に基づいて、同一ブリッジクリップとするべき編集要素塊を設定することにより、例えば、近傍に存在するカット点やエフェクトなどの重なり要素のために、同一の部分を何度もデコードおよびエンコードして画像を劣化させてしまうことを防ぐことができる。そして、編集要素塊ごとに、最小エンコード区間が設定され、最小エンコード区間に基づいて、デコードおよびエンコードを含む編集処理が実行され、ブリッジクリップが生成される。画像処理装置１では、このような構成を有することにより画質劣化と編集時間を最小限とすることが可能となる。

また、画像処理装置１では、編集要素塊とその最小エンコード区間、および、それらのエンコード結果を関連付けて、編集情報テーブルとして管理することで、編集要素の削除、追加による編集要素塊の変化に対して容易に追従することができ、最小限の再エンコードで編集要素の修正に対応することを可能とする。

また、画像処理装置１では、編集要素塊とその最小エンコード区間、および、その編集要素塊はエンコード済みであるか否かを示すＧＵＩをタイムラインに対応付けて表示させることができるので、オペレータは、より容易に編集処理を行うことができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、上述した処理は、図４１に示されるようなパーソナルコンピュータ５００により実行される。

図４１において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。

入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。

入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理装置の構成を示すブロック図である。 タイムラインについて説明するための図である。 図１のＳＤＩ入出力ポートの構成を示すブロック図である。 図１のＣＰＵ１７およびＣＰＵ１８が有する機能について説明するための機能ブロック図である。 重なり要素について説明するための図である。 重なり要素について説明するための図である。 重なり要素について説明するための図である。 重なり要素について説明するための図である。 重なり要素について説明するための図である。 重なり要素について説明するための図である。 重なり要素について説明するための図である。 重なり要素について説明するための図である。 重なり要素について説明するための図である。 重なり要素について説明するための図である。 重なり要素について説明するための図である。 タイムラインに対する編集要素塊について説明するための図である。 最小エンコード区間について説明するための図である。 最小エンコード区間について説明するための図である。 最小エンコード区間について説明するための図である。 最小エンコード区間について説明するための図である。 最小エンコード区間について説明するための図である。 最小エンコード区間について説明するための図である。 最小エンコード区間について説明するための図である。 最小エンコード区間について説明するための図である。 編集情報テーブルについて説明するための図である。 編集情報テーブルについて説明するための図である。 編集情報テーブルについて説明するための図である。 編集情報テーブルについて説明するための図である。 編集情報テーブルについて説明するための図である。 編集情報テーブルについて説明するための図である。 プロクシファイルのエンコードについて説明するための図である。 ＳＤＩ入出力ポートの異なる構成例を示すブロック図である。 タイムラインとともに表示されるＧＵＩについて説明するための図である。 タイムラインとともに表示されるＧＵＩについて説明するための図である。 タイムラインとともに表示されるＧＵＩについて説明するための図である。 タイムラインとともに表示されるＧＵＩについて説明するための図である。 編集要素塊設定処理について説明するためのフローチャートである。 編集要素塊設定処理について説明するためのフローチャートである。 プロクシデータを生成する場合の編集要素塊設定処理について説明するためのフローチャートである。 エンコード処理について説明するためのフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１ 画像処理装置， １１ ＳＤＩ入出力ポート， １７，１８， ＣＰＵ， ２０ 編集操作パネル， ４１ 入出力処理部， ４２ コーデック処理部， ６２ エフェクト／スイッチ， ８１ デコーダ， ８２ エンコーダ， ８３ プロクシエンコーダ， １０１ 操作入力取得部， １０２ 編集素材および重なり要素認識部， １０５ 表示制御部， １０６ 編集要素塊決定部， １０７ 最小エンコード区間設定部， １０８ 編集情報テーブル生成部， １０９ 編集情報テーブル記憶制御部， １１０ 編集制御部， １２１ デコード制御部， １２２ ＳＤＩ入出力制御部， １２３ スイッチング等制御部， １２４ エンコード制御部

Claims (19)

1. 符号化ストリームを編集素材として、編集処理を実行する編集装置において、
   編集に用いられる前記編集素材および編集効果と前記編集効果の開始および終了タイミングを指定する操作入力を受ける入力手段と、
   前記入力手段により入力された前記編集素材および前記編集効果に基づいて、前記編集素材のうち、デコードおよびエンコードを行わなければならない区間である編集処理単位を、前記編集効果が開始されてから終了されるまでの少なくとも一部が重なる前記編集効果が１つの前記編集処理単位に含まれるようにして設定する編集処理単位設定手段と、
   前記編集処理単位設定手段により設定された前記編集処理単位をエンコードするために必要な最小のエンコード区間である最小エンコード区間を設定する最小エンコード区間設定手段と、
   前記最小エンコード区間設定手段により設定された前記編集処理単位の前記最小エンコード区間の設定に基づいて、前記編集素材をデコードし、前記編集処理単位に含まれる前記編集効果を施した後、エンコードして、編集後符号化ストリームの一部を生成する編集後ストリーム生成手段と
   を備える編集装置。
2. 前記編集処理単位設定手段により設定された前記編集処理単位に関する情報、および、前記最小エンコード区間設定手段により設定された前記編集処理単位の前記最小エンコード区間が記載された編集情報を生成する編集情報生成手段を更に備える
   請求項１に記載の編集装置。
3. 前記編集情報生成手段により生成された前記編集情報を記憶する記憶手段を更に備え、
   前記入力手段により前記編集素材および前記編集効果の一部の変更を指令する操作が入力された場合、
   前記編集処理単位設定手段は、前記記憶手段により記憶されている前記編集情報のうち、前記編集素材および前記編集効果の構成が同一の前記編集処理単位に関する情報を流用して、前記編集処理単位を設定し、
   前記最小エンコード区間設定手段は、前記記憶手段により記憶されている前記編集情報のうち、前記編集素材および前記編集効果の構成が同一の前記編集処理単位に関する情報を流用して、前記編集処理単位における前記最小エンコード区間を設定する
   請求項２に記載の編集装置。
4. 前記最小エンコード区間設定手段により設定された複数の前記最小エンコード区間のうちの一部が重なった場合、前記編集処理単位設定手段は、重なった前記最小エンコード区間に対応する前記編集処理単位を、１つの編集処理単位となるように、前記編集処理単位を再設定する
   請求項１に記載の編集装置。
5. 前記編集後ストリーム生成手段による前記編集後符号化ストリームの生成処理において、複数の前記編集処理単位を含む区間が連続的にエンコードされた場合、
   前記編集処理単位設定手段は、連続的にエンコードされた複数の前記編集処理単位を、１つの編集処理単位となるように、前記編集処理単位を再設定し、
   前記最小エンコード区間設定手段は、再設定された前記編集処理単位における前記最小エンコード区間を設定する
   請求項１に記載の編集装置。
6. 前記編集後ストリーム生成手段は、高画質の画像データに対応する第１の編集後符号化ストリームの一部と、低画質の画像データに対応する第２の編集後符号化ストリームの一部とを生成し、
   生成される前記第２の編集後符号化ストリームがClosedGOPとなり、かつ、１フレーム当たりの平均発生符号量が等しくなるように、エンコード処理を実行する
   請求項１に記載の編集装置。
7. 前記編集後ストリーム生成手段は、前記第１の編集後符号化ストリームと前記第２の編集後符号化ストリームのＧＯＰ位相が同一になるように、前記第１の編集後符号化ストリームおよび前記第２の編集後符号化ストリームのエンコード処理を実行する
   請求項６に記載の編集装置。
8. 前記編集後ストリーム生成手段は、前記第１の編集後符号化ストリームの最小ＧＯＰ長は、前記第２の編集後符号化ストリームの最大ＧＯＰ長より大きいものとして、前記第１の編集後符号化ストリームおよび前記第２の編集後符号化ストリームのエンコード処理を実行する
   請求項６に記載の編集装置。
9. 前記編集後ストリーム生成手段による前記第２の編集後符号化ストリームの生成処理において、複数の前記編集処理単位を含む区間が連続的にエンコードされた場合、
   前記編集処理単位設定手段は、連続的にエンコードされた複数の前記編集処理単位を、１つの編集処理単位となるように、前記編集処理単位を再設定し、
   前記最小エンコード区間設定手段は、再設定された前記編集処理単位における前記最小エンコード区間を設定する
   請求項６に記載の編集装置。
10. 編集に用いられる前記編集素材および編集効果を図形化して時間軸上に時系列に配置した第１のタイムラインと、
    前記編集処理単位設定手段により設定された前記編集処理単位に関する情報、および、前記最小エンコード区間設定手段により設定された前記編集処理単位の前記最小エンコード区間を、前記第１のタイムラインに対応付けて時系列に配置した第２のタイムラインと
    の表示を制御する表示制御手段
    を更に備える請求項１に記載の編集装置。
11. 前記表示制御手段は、前記第２のタイムライン上に配置される前記編集処理単位ごとに、前記編集処理単位が、前記編集後ストリーム生成手段によりすでにエンコードされているか否かを示す情報の表示を更に制御する
    請求項１０に記載の編集装置。
12. 前記最小エンコード区間設定手段は、前記編集処理単位の前記最小エンコード区間の開始位置を、前記編集処理単位内で最も開始時刻の早い前記編集効果の開始フレームを含むGOPの最初のフレームとする
    請求項１に記載の編集装置。
13. 前記最小エンコード区間設定手段は、前記編集処理単位の前記最小エンコード区間の終了位置を、前記編集処理単位内で最も終了時刻の遅い前記編集効果の終了フレームを含むGOPに属するIピクチャ直前のピクチャとする
    請求項１に記載の編集装置。
14. 前記最小エンコード区間設定手段は、前記編集処理単位の前記最小エンコード区間の終了位置を、前記編集処理単位内で最も終了時刻の遅い前記編集効果の終了フレームを含むGOPの終了位置とする
    請求項１に記載の編集装置。
15. 前記最小エンコード区間設定手段は、前記編集処理単位の前記最小エンコード区間の終了位置を、前記編集処理単位内で最も終了時刻の遅い前記編集効果の終了フレームを含むGOPの次のGOPに属するIピクチャ直前のピクチャとする
    請求項１に記載の編集装置。
16. 前記最小エンコード区間設定手段は、前記編集処理単位の前記最小エンコード区間の終了位置を、前記編集処理単位内で最も終了時刻の遅い前記編集効果の終了フレームを含むGOPの次のGOPの終了位置とする
    請求項１に記載の編集装置。
17. 符号化ストリームを編集素材として、編集処理を実行する編集装置の編集方法において、
    編集に用いられる前記編集素材および編集効果と前記編集効果の開始および終了タイミングを指定する操作入力を受け、
    前記編集素材および前記編集効果に基づいて、前記編集素材のうち、デコードおよびエンコードを行わなければならない区間である編集処理単位を、前記編集効果が開始されてから終了されるまでの少なくとも一部が重なる前記編集効果が１つの前記編集処理単位に含まれるようにして設定し、
    設定された前記編集処理単位をエンコードするために必要な最小のエンコード区間である最小エンコード区間を設定し、
    前記編集処理単位の前記最小エンコード区間の設定に基づいて、前記編集素材をデコードし、前記編集処理単位に含まれる前記編集効果を施した後、エンコードして、編集後符号化ストリームの一部を生成する
    ステップを含む編集方法。
18. 符号化ストリームを編集素材とした編集処理をコンピュータに実行させるプログラムであって、
    編集に用いられる前記編集素材および編集効果と前記編集効果の開始および終了タイミングを指定する操作入力を受け、
    前記編集素材および前記編集効果に基づいて、前記編集素材のうち、デコードおよびエンコードを行わなければならない区間である編集処理単位を、前記編集効果が開始されてから終了されるまでの少なくとも一部が重なる前記編集効果が１つの前記編集処理単位に含まれるようにして設定し、
    設定された前記編集処理単位をエンコードするために必要な最小のエンコード区間である最小エンコード区間を設定し、
    前記編集処理単位の前記最小エンコード区間の設定に基づいて、前記編集素材をデコードし、前記編集処理単位に含まれる前記編集効果を施した後、エンコードして、編集後符号化ストリームの一部を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。
19. 請求項１８に記載のプログラムが記録されている記録媒体。

Images