JP2012175264A - 画像処理制御装置、画像処理制御方法、及びプログラム - Google Patents

Abstract

【課題】予測される負荷に応じてエフェクト処理を簡易化する技術を提供すること。
【解決手段】複数のフレームで構成される映像ストリームに施すエフェクト処理の内容を含む再生情報を取得する再生情報取得部と、前記再生情報取得部により取得された再生情報に基づいて映像ストリームにエフェクト処理を施した場合に生じる負荷の大きさを予測する負荷予測部と、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、当該負荷の大きさが前記所定の閾値よりも小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する再生情報変更部と、を備える、画像処理制御装置が提供される。
【選択図】図１

Description

本技術は、画像処理制御装置、画像処理制御方法、及びプログラムに関する。

複数の映像ストリームを繋ぎ合わせたり、映像ストリームにエフェクトを付加したりして映像ストリームを編集する技術が知られている。以前はユーザが手作業で映像ストリームの編集を行うことが多かったが、最近では映像ストリームの編集作業を一部自動化することが可能になってきている。例えば、下記の特許文献１には、予め決められたテンプレートに従って映像素材やエフェクトなどを映像ストリームに挿入する技術が開示されている。こうした編集作業を行う際、ユーザは、編集結果を確認するためにプレビュー映像を表示させる。このプレビュー映像の表示速度は、編集効率に大きく影響する。

特開２００３−２８９４９９号公報

そのため、プレビュー映像を高速に表示する技術が求められる。プレビュー映像の表示速度は、編集処理を実行する装置の性能に依存する。また、プレビュー映像の表示速度は、映像ストリームに対して付加されたエフェクトの種類や、映像ストリームの繋ぎ合わせ方など、編集内容にも依存する。つまり、プレビュー映像の表示速度を高速化するには、編集処理を実行する装置の性能を向上させるか、編集内容を工夫することが求められる。

そこで、本技術は、上記のような事情を受けて考案されたものであり、予測される負荷に応じてエフェクト処理を簡易化することが可能な、新規かつ改良された画像処理制御装置、画像処理制御方法、及びプログラムを提供することを意図している。

本技術のある観点によれば、複数のフレームで構成される映像ストリームに施すエフェクト処理の内容を含む再生情報を取得する再生情報取得部と、前記再生情報取得部により取得された再生情報に基づいて映像ストリームにエフェクト処理を施した場合に生じる負荷の大きさを予測する負荷予測部と、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、当該負荷の大きさが前記所定の閾値よりも小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する再生情報変更部と、を備える、画像処理制御装置が提供される。

また、前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、複数の映像ストリームを同時に再生する区間の長さが短くなるように前記再生情報に示されたエフェクト処理の内容を変更するように構成されていてもよい。

また、前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、映像ストリームに重畳して表示される情報の表示区間と、前記複数の映像ストリームを同時に再生する区間とが重ならないように前記再生情報に示されたエフェクト処理の内容を変更するように構成されていてもよい。

また、前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、ピクセル単位で実行される種類のエフェクト処理がフレーム単位で実行される種類のエフェクト処理に置き換わるように前記再生情報に示されたエフェクト処理の内容を変更するように構成されていてもよい。

また、前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、フレーム内の一部領域に施されるエフェクト処理について、当該フレーム内の一部領域のサイズが小さくなるように前記再生情報に示されたエフェクト処理の内容を変更するように構成されていてもよい。

また、前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、複数のフレームを所定のサイズに拡大した上で合成するエフェクト処理について、当該複数のフレームを合成した上で所定のサイズに拡大するように、前記再生情報に示されたエフェクト処理の内容を変更するように構成されていてもよい。

また、前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、エフェクト処理の対象となるフレームを一旦減色した状態で、当該フレームに対してエフェクト処理を施すように、前記再生情報に示されたエフェクト処理の内容を変更するように構成されていてもよい。

また、前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、エフェクト処理の対象となるフレームを一旦縮小した状態で、当該フレームに対してエフェクト処理を施すように、前記再生情報に示されたエフェクト処理の内容を変更するように構成されていてもよい。

また、前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている区間に含まれるフレームを対象に、前記再生情報に示されたエフェクト処理の内容を変更するように構成されていてもよい。

また、前記再生情報は、再生する映像ストリームの種類を示すストリーム情報を含んでいてもよい。この場合、前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている区間が存在する場合に、復号時に生じる負荷のより小さい符号化方式で符号化された映像ストリームを用いるように、前記再生情報に示されたストリーム情報を変更する。

また、前記再生情報は、映像ストリームの再生速度を示す速度情報を含んでいてもよい。この場合、前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている区間が存在する場合に、前記映像ストリームの再生速度を遅くするように、前記再生情報に示された速度情報を変更し、かつ、当該映像ストリームの動きベクトルが示す方向に動きが感じられるエフェクト処理を追加するように、前記再生情報に示されたエフェクト処理の内容を変更する。

また、上記の画像処理制御装置は、所定の特徴を有するフレーム内の領域を認識する特徴領域認識部をさらに備えていてもよい。この場合、前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている区間が存在する場合に、前記特徴領域認識部により認識された領域以外の領域に対して、当該負荷の大きさが前記所定の閾値よりも小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する。

また、上記の画像処理制御装置は、ユーザが注視しているフレーム内の領域を認識する注視領域認識部をさらに備えていてもよい。この場合、前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている区間が存在する場合に、前記注視領域認識部により認識された領域以外の領域に対して、当該負荷の大きさが前記所定の閾値よりも小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する。

また、上記の画像処理制御装置は、前記映像ストリームにエフェクト処理を施すエフェクト処理部と、前記再生情報に含まれるエフェクト処理の内容に基づいて前記エフェクト処理部により実行されるエフェクト処理を制御するエフェクト処理制御部と、をさらに備えていてもよい。

また、本技術の別の観点によれば、複数のフレームで構成される映像ストリームに施すエフェクト処理の内容を含む再生情報を取得する再生情報取得ステップと、取得された再生情報に基づいて映像ストリームにエフェクト処理を施した場合に生じる負荷の大きさを予測する負荷予測ステップと、予測される負荷の大きさが所定の閾値を越えている場合に、当該負荷の大きさが前記所定の閾値よりも小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する再生情報変更ステップと、を含む、画像処理制御方法が提供される。

また、本技術の別の観点によれば、複数のフレームで構成される映像ストリームに施すエフェクト処理の内容を含む再生情報を取得する再生情報取得機能と、前記再生情報取得機能により取得された再生情報に基づいて映像ストリームにエフェクト処理を施した場合に生じる負荷の大きさを予測する負荷予測機能と、前記負荷予測機能により予測される負荷の大きさが所定の閾値を越えている場合に、当該負荷の大きさが前記所定の閾値よりも小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する再生情報変更機能と、をコンピュータに実現させるためのプログラムが提供される。また、本技術の別の観点によれば、上記のプログラムが記録された記録媒体が提供される。

以上説明したように本技術によれば、予測される負荷に応じてエフェクト処理を簡易化することが可能になる。

本技術の一実施形態に係る映像編集装置の機能構成について説明するための説明図である。 同実施形態に係る映像編集装置の動作について説明するための説明図である。 同実施形態に係る映像編集装置の動作について説明するための説明図である。 同実施形態に係る再生情報の調整方法について説明するための説明図である。 同実施形態に係る再生情報の調整方法について説明するための説明図である。 同実施形態に係るエフェクト処理の簡易化方法について説明するための説明図である。 同実施形態に係るエフェクト処理の簡易化方法について説明するための説明図である。 同実施形態に係るエフェクト処理の簡易化方法について説明するための説明図である。 同実施形態に係るエフェクト処理の簡易化方法について説明するための説明図である。 同実施形態に係るエフェクト処理の簡易化方法について説明するための説明図である。 同実施形態に係る映像編集装置の機能を実現することが可能な情報処理装置のハードウェア構成について説明するための説明図である。

以下に添付図面を参照しながら、本技術に係る好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［説明の流れについて］
ここで、以下に記載する説明の流れについて簡単に述べる。まず、図１を参照しながら、本技術の一実施形態に係る映像編集装置１００の機能構成について説明する。次いで、図２及び図３を参照しながら、同実施形態に係る映像編集装置１００の動作について説明する。また、図４及び図５を参照しながら、同実施形態に係る再生情報の調整方法について説明する。さらに、図６〜図１０を参照しながら、同実施形態に係るエフェクト処理の簡易化方法について説明する。そして、図示しない他の方法についても説明する。次いで、図１１を参照しながら、同実施形態に係る映像編集装置１００の機能を実現することが可能な情報処理装置のハードウェア構成について説明する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。

（説明項目）
１：実施形態
１−１：映像編集装置１００の機能構成
１−２：映像編集装置１００の動作
１−３：再生情報の調整方法
１−３−１：エフェクト区間の短縮
１−３−２：エフェクト区間の移動
１−３−３：その他の調整方法
１−４：エフェクト処理の簡易化方法
１−４−１：ピクセル単位の処理→フレーム単位の処理
１−４−２：エフェクト対象領域の縮小
１−４−３：処理順序の変更
１−４−４：割り当てビット数の低減（並列処理の効率化）
１−４−５：画像サイズの縮小
１−４−６：その他の簡易化方法
１−５：組み合わせについて
１−６：ハードウェア構成
２：まとめ

＜１：実施形態＞
以下、本技術の一実施形態について説明する。

［１−１：映像編集装置１００の機能構成］
まず、図１を参照しながら、本実施形態に係る映像編集装置１００の機能構成について説明する。図１は、本実施形態に係る映像編集装置１００の機能構成について説明するための説明図である。なお、映像編集装置１００の機能は、例えば、図１１に示す情報処理装置のハードウェア構成を利用して実現することが可能である。

図１に示すように、映像編集装置１００は、主に、バッファ１０１と、復号部１０２と、エフェクト処理部１０３と、表示部１０４と、性能測定部１０５と、再生情報調整部１０６と、制御部１０７と、負荷監視部１０８とにより構成される。なお、図示しないが、映像編集装置１００は、通信手段、入力手段、音声出力手段などを有していてもよい。

この映像編集装置１００は、複数の映像ストリームを用いて新たな映像ストリームを生成する編集機能を有する。以下、編集後の映像ストリームが表示されるまでの流れに沿って映像編集装置１００の機能構成について説明する。

まず、映像編集装置１００には、複数の映像ストリーム（以下、ストリーム＃１、ストリーム＃２）が入力される。これらストリーム＃１とストリーム＃２とは、所定の符号化方式で符号化されている。所定の符号化方式としては、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣなどがある。また、ストリーム＃１とストリーム＃２とで符号化方式が異なっていてもよい。例えば、ストリーム＃１がＭＰＥＧ−２で符号化され、ストリーム＃２がＨ．２６４／ＡＶＣで符号化されていてもよい。この場合、ストリーム＃１に比べてストリーム＃２の方が、復号処理に要する演算量が多くなる。

映像編集装置１００に入力されたストリーム＃１とストリーム＃２とは、バッファ１０１に格納される。バッファ１０１の機能は、例えば、図１１に示す情報処理装置のハードウェア構成のうち、ＲＡＭ９０６や記憶部９２０などの機能を利用して実現される。なお、ストリーム＃１及びストリーム＃２は、それぞれ複数枚のフレームにより構成される。バッファ１０１にはストリーム＃１を構成するフレーム及びストリーム＃２を構成するフレームが順次入力され、バッファ１０１に蓄積される。なお、バッファ１０１は、所定枚数のフレームを格納することが可能な記憶容量を有する。

バッファ１０１に蓄積されたフレームは、復号部１０２により読み出される。また、バッファ１０１に蓄積されたフレームの情報（以下、蓄積フレーム情報）は、負荷監視部１０８に入力される。復号部１０２は、バッファ１０１からストリーム＃１のフレームを読み出し、所定の符号化方式に基づいてストリーム＃１を復号する。同様に、復号部１０２は、バッファ１０１からストリーム＃２のフレームを読み出し、所定の符号化方式に基づいてストリーム＃２を復号する。復号部１０２により復号されたストリーム＃１とストリーム＃２とは、エフェクト処理部１０３に入力される。

ストリーム＃１とストリーム＃２とが入力されると、エフェクト処理部１０３は、入力されたストリーム＃１とストリーム＃２とを用いて新たな映像ストリーム（以下、出力ストリーム）を生成する。例えば、エフェクト処理部１０３は、ストリーム＃１とストリート＃２とを繋ぎ合わせて出力ストリームを生成する。このとき、エフェクト処理部１０３は、ストリーム＃１とストリーム＃２とが同時に再生される区間（以下、クロスフェード区間）を設け、滑らかにストリーム＃１の映像からストリーム＃２の映像へと移行するように見せるエフェクト効果を付加する。

例えば、エフェクト処理部１０３は、クロスフェード区間において、ストリーム＃１のフレームとストリーム＃２のフレームとを合成したり、ストリーム＃１のフレームにストリーム＃２のフレームを重畳したりする。また、エフェクト処理部１０３は、ストリーム＃１に予め用意された画像やテキストなどを重畳したり、ストリーム＃２に予め用意された画像やテキストなどを重畳したりする。さらに、エフェクト処理部１０３は、ストリーム＃１のフレームを拡大・縮小したり、ストリーム＃２のフレームを拡大・縮小したりする。その他にも、エフェクト処理部１０３は、ストリーム＃１のフレーム、ストリーム＃２のフレーム、又は両フレームから生成された画像などにマスク処理を施したり、減色処理や増色処理などを施したりする。

エフェクト処理部１０３により生成された出力ストリームは、表示部１０４に表示される。表示部１０４の機能は、例えば、液晶ディスプレイ、有機電界発光ディスプレイ、プラズマディスプレイなどのディスプレイ装置により実現される。また、表示部１０４は、映像編集装置１００と別体であってもよい。例えば、表示部１０４は、通信網を介して映像編集装置１００に接続された端末のディスプレイ装置であってもよい。この場合、エフェクト処理部１０３により生成された出力ストリームは、映像編集装置１００の通信手段により通信網を介して端末に送信され、端末のディスプレイ装置に表示される。

以上、編集後の映像ストリームが表示されるまでの流れに沿って映像編集装置１００の機能構成について説明した。

次に、主にエフェクト処理部１０３の制御に関する映像編集装置１００の機能構成について説明する。

本実施形態に係る映像編集装置１００は、出力ストリームを生成する際に生じる負荷を予測し、予測した負荷に応じてエフェクト処理などを簡易化する機能を有する。この機能を用いることにより、プレビュー映像として表示部１０４に表示される出力ストリームの生成時間が短縮され、プレビュー映像の高速な表示が可能になる。以下、この機能に関する映像編集装置１００の機能構成について、より詳細に説明する。

まず、性能測定部１０５により、映像編集装置１００の処理性能が測定される。例えば、性能測定部１０５は、映像編集装置１００に搭載されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの性能を測定する。また、性能測定部１０５は、エフェクトの種類毎に、エフェクト処理に要する実行時間（負荷の大きさに相当）を算出する。さらに、性能測定部１０５は、符号化方式毎に、復号処理に要する実行時間（負荷の大きさに相当）を算出する。性能測定部１０５により測定された処理性能を示す情報（以下、性能情報）は、再生情報調整部１０６に入力される。

性能情報が入力されると、再生情報調整部１０６は、入力された性能情報に基づき、ユーザにより入力された再生情報又は予め用意されている再生情報を調整する。なお、再生情報には、ストリーム＃１の符号化方式、ストリーム＃２の符号化方式、出力ストリームの再生速度、ストリーム＃１とストリーム＃２とを用いたエフェクト処理の内容などが含まれる。まず、再生情報調整部１０６は、再生情報に基づいて復号処理及びエフェクト処理を実行した場合に要する処理時間Ｔを予測する。例えば、再生情報調整部１０６は、下記の式（１）に基づいて処理時間Ｔを算出する。但し、ＴＥは、エフェクト処理に要する処理時間を表す。また、ＴＤは、復号処理に要する処理時間を表す。

次いで、再生情報調整部１０６は、下記の式（２）に基づいて、処理時間Ｔが所定の閾値Ｔｔｈを上回るか否かを判定する。但し、閾値Ｔｔｈは、例えば、バッファ１０１に蓄積されるフレームの枚数Ｎと、１フレームの処理に許容される処理時間ΔＴとの積Ｎ・ΔＴに設定される。処理時間Ｔが閾値Ｔｔｈを上回る場合、再生情報調整部１０６は、処理時間Ｔが閾値Ｔｔｈを下回るように再生情報を調整する。例えば、再生情報調整部１０６は、図４に示すように、クロスフェード区間を短縮する。また、再生情報調整部１０６は、ストリーム＃１、ストリーム＃２の一方又は両方の符号化方式を演算負荷の低い符号化方式に変更してもよい。

また、再生情報調整部１０６は、出力ストリームの再生速度を遅くしてもよい。例えば、再生情報調整部１０６は、エフェクトが施される区間における出力ストリームの再生速度を遅くする。このとき、再生情報調整部１０６は、出力ストリームの動きベクトルと同じ方向に動きを感じさせるエフェクトの効果を追加することが好ましい。例えば、再生情報調整部１０６は、出力ストリームのフレームを拡大しておき、出力ストリームの動きベクトルと同じ方向にフレームの表示範囲を移動させる。このような効果を追加することにより、ユーザに与える違和感を低減することが可能になる。

また、再生情報調整部１０６は、図５に示すように、ストリーム＃１、ストリーム＃２の一方又は両方に重畳される画像やテキストなどの表示区間を移動してもよい。さらに、再生情報調整部１０６は、図６〜図１０に示すように、エフェクト処理を簡易化してもよい。また、再生情報調整部１０６は、出力ストリームの表示サイズを縮小したり、出力ストリームのフォーマットを変更したりしてもよい。なお、どの調整方法を適用するかをユーザが選択できるようにしてもよい。また、複数の調整方法を組み合わせて適用することも可能である。なお、これらの調整方法については、図４〜図１０を参照しながら、後段においてより詳細に説明する。

Ｔ＝ＴＥ＋ＴＤ
…（１）

Ｔｔｈ≧Ｔ
…（２）

再生情報調整部１０６によりエフェクト処理の内容などが修正された再生情報は、制御部１０７に入力される。再生情報が入力されると、制御部１０７は、入力された再生情報に基づいて復号部１０２及びエフェクト処理部１０３の動作を制御する。例えば、制御部１０７は、再生情報に含まれるストリーム＃１の符号化方式とストリーム＃２の符号化方式とを復号部１０２に通知し、通知した符号化方式に基づいてストリーム＃１とストリーム＃２とを復号させる。また、制御部１０７は、再生情報に基づいてエフェクト処理部１０３の動作を制御し、エフェクトの種類やエフェクトを施す区間などを制御する。さらに、制御部１０７は、後述する負荷監視部１０８から入力された負荷情報に応じて、処理を実行するデバイスを変更したり、復号部１０２及びエフェクト処理部１０３を制御する。

負荷監視部１０８は、出力ストリームの生成開始から終了までの間、映像編集装置１００の負荷、及びバッファ１０１に蓄積されているフレーム数などを監視する。負荷監視部１０８により監視されている負荷及びフレーム数の情報は、負荷情報としてリアルタイムに制御部１０７に入力される。但し、負荷監視部１０８は、負荷が所定の閾値を超えたタイミング、又はバッファ１０１に蓄積されているフレーム数が所定数を下回ったタイミングで負荷情報を制御部１０７に入力するように構成されていてもよい。

負荷情報に応じた復号部１０２の制御としては、例えば、フレームのコマ落としや、フレームレート変換の簡略化などがある。通常、入力される映像ストリーム（この場合はストリーム＃１、ストリーム＃２）のフレームレートと出力ストリームのフレームレートとが異なる場合、復号部１０２は、補間すべき位置の近傍にあるフレームを利用して補間フレームを生成し、その補間フレームを用いてフレームレートを変換する。しかし、負荷が高い場合、復号部１０２は、補間すべき位置の近傍にあるフレームをそのまま補間フレームとして利用し、その補間フレームを用いてフレームレートを変換する。

以上、主にエフェクト処理部１０３の制御に関する映像編集装置１００の機能構成について説明した。

以上説明したように、本実施形態に係る映像編集装置１００は、負荷に応じてエフェクト処理などを簡易化する機能を有する。この機能により、ユーザは、編集後の映像ストリームを高速にプレビューすることが可能になる。その結果、編集作業の効率が向上する。

［１−２：映像編集装置１００の動作］
次に、図２及び図３を参照しながら、本実施形態に係る映像編集装置１００の動作について説明する。図２及び図３は、本実施形態に係る映像編集装置１００の動作について説明するための説明図である。なお、図２及び図３に示したプレビュー処理の手順は一例であり、適宜、一部の処理ステップを交換してもよい。

図２に示すように、映像編集装置１００は、再生情報調整部１０６の機能により、性能情報を取得する（Ｓ１０１）。例えば、映像編集装置１００は、再生情報調整部１０６の機能により、予め性能測定部１０５により測定しておいた性能情報を取得する。次いで、映像編集装置１００は、性能情報を取得できたか否かを判定する（Ｓ１０２）。ステップＳ１０１で性能情報を取得できた場合、映像編集装置１００は、処理をステップＳ１０４に進める。一方、ステップＳ１０１で性能情報を取得できなかった場合、映像編集装置１００は、処理をステップＳ１０３に進める。

処理をステップＳ１０３に進めた場合、映像編集装置１００は、性能測定部１０５の機能により、映像編集装置１００の性能を測定し（Ｓ１０３）、処理をステップＳ１０４に進める。処理をステップＳ１０４に進めた場合、映像編集装置１００は、再生情報調整部１０６の機能により、性能情報に応じて再生情報を調整する（Ｓ１０４）。次いで、映像編集装置１００は、再生情報調整部１０６の機能により、プレビュー時の負荷を予測する（Ｓ１０５）。次いで、映像編集装置１００は、再生情報調整部１０６の機能により、復号部１０２によるデコード処理の簡易化が必要か否かを判定する（Ｓ１０６）。

ステップＳ１０６でデコード処理の簡易化が必要と判定された場合、映像編集装置１００は、処理をステップＳ１０７に進める。一方、ステップＳ１０６でデコード処理の簡易化が不要と判定された場合、映像編集装置１００は、処理をステップＳ１０８に処理を進める。処理をステップＳ１０７に進めた場合、映像編集装置１００は、復号部１０２によるデコード処理を簡易化するように再生情報を修正し（Ｓ１０７）、処理をステップＳ１０８に進める。処理をステップＳ１０８に進めた場合、映像編集装置１００は、制御部１０７の機能により、再生情報に基づいて復号部１０２にデコード処理を実行させる（Ｓ１０８）。

なお、ステップＳ１０８において、映像編集装置１００は、負荷監視部１０８の機能により負荷が所定の閾値を上回っているか否かをリアルタイムに監視し、制御部１０７の機能により監視結果に応じた復号部１０２の制御を実行する。次いで、映像編集装置１００は、処理をステップＳ１０９（図３）に進める。処理をステップＳ１０９に進めると、映像編集装置１００は、図３に示すように、再生情報調整部１０６の機能により、エフェクト処理の簡易化が必要か否かを判定する（Ｓ１０９）。ステップＳ１０９でエフェクト処理の簡易化が必要と判定した場合、映像編集装置１００は、処理をステップＳ１１０に進める。一方、ステップＳ１０９でエフェクト処理の簡易化が不要と判定した場合、映像編集装置１００は、処理をステップＳ１１１に進める。

処理をステップＳ１１０に進めた場合、映像編集装置１００は、再生情報調整部１０６の機能により、エフェクト処理を簡易化するように再生情報を修正し（Ｓ１１０）、処理をステップＳ１１１に進める。処理をステップＳ１１１に進めた場合、映像編集装置１００は、制御部１０７の機能により、再生情報に基づいてエフェクト処理部１０３にエフェクト処理を実行させる（Ｓ１１１）。次いで、映像編集装置１００は、処理すべき次のフレームが存在するか否かを判定する（Ｓ１１２）。ステップＳ１１２で処理すべき次のフレームが存在すると判定した場合、映像編集装置１００は、処理をステップＳ１０６（図２）に進める。一方、ステップＳ１１２で処理すべき次のフレームが存在しないと判定した場合、映像編集装置１００は、プレビューに関する一連の処理を終了する。

以上、本実施形態に係る映像編集装置１００の動作について説明した。上記の説明においては、再生情報の調整方法及びエフェクト処理の簡易化方法について詳細な説明を省略していた。そこで、以下では、本実施形態に係る再生情報の調整方法及びエフェクト処理の簡易化方法について、より詳細に説明する。

［１−３：再生情報の調整方法］
以下、本実施形態に係る再生情報の調整方法について説明する。なお、以下で説明する再生情報の調整方法は、映像編集装置１００が有する機能のうち、主に再生情報調整部１０６の機能により実現される。

（１−３−１：エフェクト区間の短縮）
まず、図４を参照しながら、本実施形態に係る再生情報の調整方法の一例であるエフェクト区間の短縮方法について説明する。図４は、本実施形態に係る再生情報の調整方法の一例であるエフェクト区間の短縮方法について説明するための説明図である。

図４に示すように、ストリーム＃１とストリーム＃２とをクロスフェードさせる場合、クロスフェード区間で負荷が大きく増大してしまう。例えば、クロスフェード区間では、ストリーム＃１とストリーム＃２とを同時に復号する処理が発生する。そのため、一方のストリームを復号する処理に比べ、クロスフェード区間における復号処理は負荷が高い。
また、クロスフェード区間では、フレームの拡大や縮小などの処理が発生する。そのため、一方のストリームを単純に再生させる場合に比べ、クロスフェード区間では負荷が大きく増大してしまう。なお、複数のストリームを同時に再生する種類のエフェクトについては、同様の理由で負荷の増大が予想される。

そこで、再生情報調整部１０６は、クロスフェード区間のようなエフェクト区間で負荷が増大すると予測される場合に、そのエフェクト区間の長さが短くなるように再生情報を修正する。図４に示すように、エフェクト区間が短くなると、エフェクト区間で生じる負荷の増大が抑えられる。その結果、エフェクト区間における処理遅延の発生を抑制することが可能になり、プレビュー映像の再生遅延を回避することができるようになる。

（１−３−２：エフェクト区間の移動）
次に、図５を参照しながら、本実施形態に係る再生情報の調整方法の一例であるエフェクト区間の移動方法について説明する。図５は、本実施形態に係る再生情報の調整方法の一例であるエフェクト区間の移動方法について説明するための説明図である。

上記のように、クロスフェード区間では負荷が増大する傾向にある。そのため、図５に示すように、クロスフェード区間に他のエフェクト区間が重なると、負荷が所定の閾値を上回る確率が高くなる。そこで、再生情報調整部１０６は、例えば、テキストや画像などをストリームに重畳するエフェクト区間がクロスフェード区間と重なっている場合に、そのエフェクト区間をクロスフェード区間の外側に移動する。このようにしてクロスフェード区間と他のエフェクト区間とを分離することにより負荷が分散されるため、負荷が所定の閾値を上回るのを回避することが可能になる。その結果、処理遅延の発生を抑制することが可能になり、プレビュー映像の再生遅延を回避することができるようになる。

なお、クロスフェード区間以外にも、負荷の高いエフェクト処理を実行する区間に他のエフェクト区間が重なっている場合には、両区間が分離されるようにエフェクト区間を移動することにより同様の効果が得られる。

（１−３−３：その他の調整方法）
これまでエフェクト区間の短縮やエフェクト区間の移動について説明してきたが、例えば、ストリームの符号化方式を変更することで負荷を低減させることもできる。仮に、ストリーム＃１がＨ．２６４／ＡＶＣで符号化されていた場合、符号化方式をＭＰＥＧ−２に変更することにより、復号処理に要する負荷を大きく低減することができる。また、クロスフェード区間におけるストリームの再生速度を遅くすることにより、単位時間当たりに復号すべきフレーム数が減る。そのため、復号時の処理遅延を抑制することが可能になる。但し、再生速度の変更に起因して生じる違和感を低減させる工夫も必要である。例えば、フレームを拡大しておき、ストリームの動きベクトルと同じ方向に移動させるなどのエフェクトが施されていると、ユーザが感じる違和感を低減できると考えられる。

以上、本実施形態に係る再生情報の調整方法について説明した。

［１−４：エフェクト処理の簡易化方法］
次に、本実施形態に係るエフェクト処理の簡易化方法について説明する。なお、以下で説明するエフェクト処理の簡易化方法は、映像編集装置１００が有する機能のうち、主に再生情報調整部１０６や制御部１０７の機能により実現される。また、ここで説明するエフェクト処理の簡易化方法は、再生情報調整部１０６が再生情報を修正することにより実現されてもよいし、制御部１０７によるリアルタイムな処理により実現されてもよい。但し、以下の説明では、再生情報調整部１０６がエフェクト処理を簡易化するように再生情報を修正するものとして説明を進める。

（１−４−１：ピクセル単位の処理→フレーム単位の処理）
まず、図６を参照しながら、本実施形態に係るエフェクト処理の簡易化方法の一例である処理単位の変更方法について説明する。図６は、本実施形態に係るエフェクト処理の簡易化方法の一例である処理単位の変更方法について説明するための説明図である。

図６に示すように、ストリーム＃１のフレームＡと、ストリーム＃２のフレームＢとを合成する場合、マスク画像を利用してフレームＡ、Ｂにマスク処理が施され、その後にフレームＡ、Ｂが合成される。例えば、フレームＡの画素Ａ０、Ａ１、及びフレームＢの画素Ｂ０、Ｂ１に注目すると、図６に示すように、合成画像の対応画素Ｒ０、Ｒ１は、それぞれ対応するマスク値Ｍ０、Ｍ１を用いて下記の式（３）及び式（４）のように表現される。このように、フレームＡ、Ｂを合成する場合には、ピクセル単位の処理を含むマスク処理が実行される。しかし、ピクセル単位の処理は、フレーム単位の処理に比べて負荷が高い。そのため、負荷が所定の閾値を上回ると予測される場合、再生情報調整部１０６は、ピクセル単位の処理をフレーム単位の処理に変更する。

Ｒ０＝Ｍ０×Ａ０＋（１−Ｍ０）×Ｂ０
…（３）

Ｒ１＝Ｍ１×Ａ１＋（１−Ｍ１）×Ｂ１
…（４）

フレーム単位の処理としては、例えば、アルファブレンドなどの処理がある。マスク処理の場合にはピクセル単位で透過量を決めるマスク値が設定されていたが、アルファブレンドの場合には透過量を決めるパラメータとして１つのアルファ値αのみが設定される。また、合成画像の画素Ｒ０、Ｒ１は、アルファ値αを用いて下記の式（５）及び式（６）のように算出される。なお、このアルファ値αを０から１まで徐々に変化させることにより、フレームＡが徐々に薄れ、フレームＢが徐々に現れるクロスフェード効果が実現される。つまり、マスク処理をクロスフェード処理に変更することにより、負荷を低減することが可能になる。その結果、エフェクト区間における処理遅延の発生を抑制することが可能になり、プレビュー映像の再生遅延を回避することができるようになる。

Ｒ０＝（１−α）×Ａ０＋α×Ｂ０
…（５）

Ｒ１＝（１−α）×Ａ１＋α×Ｂ１
…（６）

（１−４−２：エフェクト対象領域の縮小）
次に、図７を参照しながら、本実施形態に係るエフェクト処理の簡易化方法の一例であるエフェクト対象領域の縮小方法について説明する。図７は、本実施形態に係るエフェクト処理の簡易化方法の一例であるエフェクト対象領域の縮小方法について説明するための説明図である。図７に示すように、ストリーム＃１のフレームＡにストリーム＃２のフレームＢを重畳させる種類のエフェクトがある。この場合、フレームＢのサイズを縮小することにより、フレームＡ、Ｂを処理の対象とする領域が小さくなるため、負荷を低減することが可能になる。その結果、エフェクト区間における処理遅延の発生を抑制することが可能になり、プレビュー映像の再生遅延を回避することができるようになる。

（１−４−３：処理順序の変更）
次に、図８を参照しながら、本実施形態に係るエフェクト処理の簡易化方法の一例である処理順序の変更方法について説明する。図８は、本実施形態に係るエフェクト処理の簡易化方法の一例である処理順序の変更方法について説明するための説明図である。

図８に示すように、ストリーム＃１のフレームＡと、ストリーム＃２のフレームＢとの拡大・合成画像を生成する場合、エフェクト処理部１０３は、フレームＡ及びフレームＢのサイズを拡大し、フレームＡの拡大画像とフレームＢの拡大画像とを合成する。しかし、合成前にフレームＡ及びフレームＢを拡大すると、合成処理を施すべき画素数が増えてしまう。そこで、再生情報調整部１０６は、図８に示すように、サイズの大きいフレームＡにフレームＢのサイズを揃え、フレームＡを拡大せずにフレームＢと合成し、合成画像を拡大するように処理順序を変更する。このように処理順序を変更すると、合成処理を施すべき画素数がフレームＡの画素数に抑えられるため、負荷が低減される。その結果、エフェクト区間における処理遅延の発生を抑制することが可能になり、プレビュー映像の再生遅延を回避することができるようになる。

（１−４−４：割り当てビット数の低減（並列処理の効率化））
次に、図９を参照しながら、本実施形態に係るエフェクト処理の簡易化方法の一例である並列処理の効率化方法について説明する。図９は、本実施形態に係るエフェクト処理の簡易化方法の一例である並列処理の効率化方法について説明するための説明図である。

例えば、３２ビットのデータを１サイクルで処理可能な場合、１ピクセル当たり１６ビットのビット深度を有するフレームＡは２ピクセル単位で処理される。しかし、フレームＡが有する１ピクセル当たりのビット深度が８ビットである場合には４ピクセル単位で処理することが可能になる。そこで、再生情報調整部１０６は、フレームＡを減色し、１ピクセル当たりのビット深度を減らした状態で処理を実行させ、処理後に増色してビット深度を戻すように処理手順を変更する。このような処理手順にすることにより、処理効率を高めることが可能になる。特に、ＣＰＵやＧＰＵのコア数が多い場合や、並列実行可能なスレッド数が多いハードウェアを利用している場合には、並列処理の効率が高まるため、フレーム当たりの処理時間を大きく短縮することが可能になる。

（１−４−５：画像サイズの縮小）
次に、図１０を参照しながら、本実施形態に係るエフェクト処理の簡易化方法の一例である画像サイズの縮小方法について説明する。図１０は、本実施形態に係るエフェクト処理の簡易化方法の一例である画像サイズの縮小方法について説明するための説明図である。図１０に示すように、再生情報調整部１０６は、エフェクト処理の前段でフレームＡのサイズを縮小し、縮小画像に対してエフェクト処理を施し、エフェクト処理後に元のサイズに戻すように処理手順を変更する。このような処理手順にすることで、エフェクト処理を施すべき画素数を減らすことが可能になり、負荷を低減することができる。その結果、エフェクト区間における処理遅延の発生を抑制することが可能になり、プレビュー映像の再生遅延を回避することができるようになる。

（１−４−６：その他の簡易化方法）
これまで様々な簡易化の方法について説明してきたが、これらの方法以外にも、例えば、拡大・縮小処理の際に実行する補間処理を簡易化する方法などがある。補間処理としては、バイキュービック補間を用いることが多い。しかし、負荷が高い場合、再生情報調整部１０６は、バイキュービック補間をバイリニア補間に変更する。それでも負荷が高い場合、再生情報調整部１０６は、バイリニア補間を最近傍法に変更する。このように補間処理の種類を変更することにより、負荷を低減することが可能になる。

また、これまではエフェクト処理を簡略化する領域について言及してこなかったが、負荷の低減と画質の維持とのバランスについても考えるべきである。画質を維持する方法としては、例えば、注目領域以外の領域に対して施されるエフェクト処理だけを簡略化するなどの方法が考えられる。注目領域としては、例えば、フレームに含まれる顔領域などが例として挙げられる。顔領域は、顔検出などの形状認識技術を用いて検出可能である。この場合、再生情報調整部１０６は、顔領域以外の領域について上述したエフェクト処理の簡易化方法を適用したり、ノイズリダクションや高解像処理などの高画質化処理を省略したりするように処理内容を変更する。

また、映像編集装置１００に撮像手段が接続されている場合、再生情報調整部１０６は、その撮像手段を用いて取得されるユーザの画像などから注視領域を検出し、注視領域以外の領域について上述したエフェクト処理の簡易化方法を適用したり、高画質化処理を省略したりするように処理内容を変更する。また、リアルタイムで通知される負荷が所定の閾値を上回った場合に、制御部１０７は、エフェクト処理を実行するデバイス（例えば、ＣＰＵやＧＰＵなど）を動的に変更してもよい。さらに、制御部１０７は、コマ落としをしたり、フレームレート変換を簡略化するように復号部１０２を制御してもよい。

［１−５：組み合わせについて］
これまで説明してきた様々な簡易化の方法は、組み合わせて適用することが可能である。例えば、ユーザが指定した編集内容を極力変更しないようにしたい場合、上述したエフェクト処理の簡易化やプレビュー画像の縮小などを組み合わせるのが好ましい。また、クロスフェード区間の位置、長さ及び再生速度などを極力変更しないようにしたい場合、上述した他のエフェクト区間を移動する方法、処理単位を変更する方法、処理範囲を縮小する方法、上述したエフェクト処理の簡易化方法、及びプレビュー画像の縮小などの方法を組み合わせるのが好ましい。

さらに、プレビュー画像の画質を極力維持したい場合、クロスフェード区間などのエフェクト区間を短くする方法、エフェクト区間を移動する方法、ストリームの符号化方式を変更する方法、処理単位を変更する方法、エフェクト処理の範囲を縮小する方法などを組み合わせるのが好ましい。なお、組み合わせ方法をユーザが自由に指定できるようにしてもよいし、予め用意しておいた組み合わせテンプレートから選択できるようにしてもよいし、自動的にテンプレートが選択されるようにしてもよい。このように、上述した方法の組み合わせ方は様々に変形することが可能である。

［１−６：ハードウェア構成］
上記の映像編集装置１００が有する各構成要素の機能は、例えば、図１１に示す情報処理装置のハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図１１に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略である。

図１１に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙの略である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅの略である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅの略である。

以上、本技術の一実施形態について説明した。本実施形態の技術を適用することにより、装置の性能に応じて、リアルタイムプレビューが可能になるように再生情報の自動調整が行われる。また、プレビュー中に行われた他の作業により負荷が増大してしまう場合でも、リアルタイムプレビューの状態が維持される。さらに、画質の劣化やユーザの感じる違和感を抑制しつつ、リアルタイムプレビューを実現することが可能になる。

＜２：まとめ＞
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、ＰＣ、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。

上記の情報処理装置の機能構成は次のように表現することができる。当該情報処理装置は、以下に示す再生情報取得部、負荷予測部、再生情報変更部により構成される。上記の再生情報取得部は、複数のフレームで構成される映像ストリームに施すエフェクト処理の内容を含む再生情報を取得する手段である。例えば、再生情報取得部は、ユーザにより入力された再生情報を取得したり、予め用意された再生情報を取得したりする。なお、再生情報取得部は、情報処理装置に内蔵された記憶手段から再生情報を取得してもよいし、通信網に接続されたクラウドシステムなどの情報処理システムから取得してもよい。

また、上記の負荷予測部は、前記再生情報取得部により取得された再生情報に基づいて映像ストリームにエフェクト処理を施した場合に生じる負荷の大きさを予測する手段である。さらに、上記の再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、当該負荷の大きさが前記所定の閾値よりも小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する手段である。このように、負荷に応じてエフェクト処理の内容を変更することにより、処理遅延を抑制し、プレビュー映像の再生遅延を回避することが可能になる。その結果、リアルタイムプレビューが実現される。

（備考）
上記の映像編集装置１００は、画像処理制御装置の一例である。上記の再生情報調整部１０６は、再生情報取得部の一例である。上記の再生情報調整部１０６、制御部１０７は、再生情報変更部の一例である。上記の制御部１０７は、特徴領域認識部、注視領域認識部、エフェクト処理制御部の一例である。

以上、添付図面を参照しながら本技術に係る好適な実施形態について説明したが、本技術はここで開示した構成例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本技術の技術的範囲に属するものと了解される。

１００ 映像編集装置
１０１ バッファ
１０２ 復号部
１０３ エフェクト処理部
１０４ 表示部
１０５ 性能測定部
１０６ 再生情報調整部
１０７ 制御部
１０８ 負荷監視部

Claims (16)

1. 複数のフレームで構成される映像ストリームに施すエフェクト処理の内容を含む再生情報を取得する再生情報取得部と、
   前記再生情報取得部により取得された再生情報に基づいて映像ストリームにエフェクト処理を施した場合に生じる負荷の大きさを予測する負荷予測部と、
   前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、当該負荷の大きさが前記所定の閾値よりも小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する再生情報変更部と、
   を備える、
   画像処理制御装置。
2. 前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、複数の映像ストリームを同時に再生する区間の長さが短くなるように前記再生情報に示されたエフェクト処理の内容を変更する、
   請求項１に記載の画像処理制御装置。
3. 前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、映像ストリームに重畳して表示される情報の表示区間と、前記複数の映像ストリームを同時に再生する区間とが重ならないように前記再生情報に示されたエフェクト処理の内容を変更する、
   請求項２に記載の画像処理制御装置。
4. 前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、ピクセル単位で実行される種類のエフェクト処理がフレーム単位で実行される種類のエフェクト処理に置き換わるように前記再生情報に示されたエフェクト処理の内容を変更する、
   請求項１に記載の画像処理制御装置。
5. 前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、フレーム内の一部領域に施されるエフェクト処理について、当該フレーム内の一部領域のサイズが小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する、
   請求項１に記載の画像処理制御装置。
6. 前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、複数のフレームを所定のサイズに拡大した上で合成するエフェクト処理について、当該複数のフレームを合成した上で所定のサイズに拡大するように、前記再生情報に示されたエフェクト処理の内容を変更する、
   請求項１に記載の画像処理制御装置。
7. 前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、エフェクト処理の対象となるフレームを一旦減色した状態で、当該フレームに対してエフェクト処理を施すように、前記再生情報に示されたエフェクト処理の内容を変更する、
   請求項１に記載の画像処理制御装置。
8. 前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている場合に、エフェクト処理の対象となるフレームを一旦縮小した状態で、当該フレームに対してエフェクト処理を施すように、前記再生情報に示されたエフェクト処理の内容を変更する、
   請求項１に記載の画像処理制御装置。
9. 前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている区間に含まれるフレームを対象に、前記再生情報に示されたエフェクト処理の内容を変更する、
   請求項３に記載の画像処理制御装置。
10. 前記再生情報は、再生する映像ストリームの種類を示すストリーム情報を含み、
    前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている区間が存在する場合に、復号時に生じる負荷のより小さい符号化方式で符号化された映像ストリームを用いるように、前記再生情報に示されたストリーム情報を変更する、
    請求項１に記載の画像処理制御装置。
11. 前記再生情報は、映像ストリームの再生速度を示す速度情報を含み、
    前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている区間が存在する場合に、前記映像ストリームの再生速度を遅くするように、前記再生情報に示された速度情報を変更し、かつ、当該映像ストリームの動きベクトルが示す方向に動きが感じられるエフェクト処理を追加するように、前記再生情報に示されたエフェクト処理の内容を変更する、
    請求項１に記載の画像処理制御装置。
12. 所定の特徴を有するフレーム内の領域を認識する特徴領域認識部をさらに備え、
    前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている区間が存在する場合に、前記特徴領域認識部により認識された領域以外の領域に対して、当該負荷の大きさが前記所定の閾値よりも小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する、
    請求項１に記載の画像処理制御装置。
13. ユーザが注視しているフレーム内の領域を認識する注視領域認識部をさらに備え、
    前記再生情報変更部は、前記負荷予測部により予測される負荷の大きさが所定の閾値を越えている区間が存在する場合に、前記注視領域認識部により認識された領域以外の領域に対して、当該負荷の大きさが前記所定の閾値よりも小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する、
    請求項１に記載の画像処理制御装置。
14. 前記映像ストリームにエフェクト処理を施すエフェクト処理部と、
    前記再生情報に含まれるエフェクト処理の内容に基づいて前記エフェクト処理部により実行されるエフェクト処理を制御するエフェクト処理制御部と、
    をさらに備える、
    請求項９に記載の画像処理制御装置。
15. 複数のフレームで構成される映像ストリームに施すエフェクト処理の内容を含む再生情報を取得する再生情報取得ステップと、
    取得された再生情報に基づいて映像ストリームにエフェクト処理を施した場合に生じる負荷の大きさを予測する負荷予測ステップと、
    予測される負荷の大きさが所定の閾値を越えている場合に、当該負荷の大きさが前記所定の閾値よりも小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する再生情報変更ステップと、
    を含む、
    画像処理制御方法。
16. 複数のフレームで構成される映像ストリームに施すエフェクト処理の内容を含む再生情報を取得する再生情報取得機能と、
    前記再生情報取得機能により取得された再生情報に基づいて映像ストリームにエフェクト処理を施した場合に生じる負荷の大きさを予測する負荷予測機能と、
    前記負荷予測機能により予測される負荷の大きさが所定の閾値を越えている場合に、当該負荷の大きさが前記所定の閾値よりも小さくなるように前記再生情報に示されたエフェクト処理の内容を変更する再生情報変更機能と、
    をコンピュータに実現させるためのプログラム。
    

Images