JP2010028189A - データ処理装置 - Google Patents

Abstract

【課題】映像を含むデータを入力とし、映像あるいはその成分を含む複数の成分の各々の再生時間を適切に調節して出力することができるデータ処理装置を提供すること。
【解決手段】記録媒体11は、素材映像を記録している。背景抽出部13および前景抽出部14は、素材映像における背景映像および前景映像を抽出し、前景分割部15および背景分割部16は、背景映像および前景映像を背景分割映像および前景分割映像に分割する。フレームレート調節部17は、背景分割映像および前景分割映像の各々の再生時間を、各々が再生される状態を考慮して、個別に、所望の同一長さに調節する。合成部18は、再生時間が調節された背景分割映像および前景分割映像を統合する。
【選択図】図１

Description

本発明は、データ処理装置に関し、特に、映像を含む入力データから映像あるいはその成分を含む複数の成分を抽出し、各成分の再生時間を個別に同じ長さにに調節した後、統合して出力するデータ処理装置に関する。

一般的な早送りビデオ(タイムラプスビデオ)では、植物の成長や日照の変化といった実時間では把握しにくい変化を、再生速度を上げることで把握することができる。また、従来、長時間の映像を、より短時間の映像に要約する技術が提案されている。このような技術を利用すれば、長時間の映像を短時間で把握できるようにしたり、カメラから送出される映像を取捨選択して保存するようにして撮像時間を延ばしたりすることができる。

特許文献１には、MPEG-2に代表される動き補償回路を備えた動画像符号化方式を用いることにより、専用の動き検出装置を用いずに動き検出を行い、動き検出時に適応的に記録間隔を変化させたり、記録画像品質を高品質にするタイムラプスレコーダが記載されている。これによれば、動物体が存在するシーンを正確に記録できる。

特許文献２には、画像処理装置において、入力画像の変化を検出して画像の記録/伝送の開始、停止を制御する自動撮影機能を実現する際に、自動撮影の起動時には記録/伝送を即座に開始し、画像の変化が小さいと判定されてから画像の変化が大きいと判定されることなく所定の時間が経過した時は記録/伝送を停止させることが記載されている。これによれば、状態変化が検出されたときの画像に加えて、変化する前や変化しなくなった後の背景画像、風景画像なども一連の画像として記録/伝送することが可能になるとされている。

特許文献３には、映像を前景と背景に分離し、背景を早送りで表示し、変化のある前景のみを対応する背景が表示された時点から等速で表示することで、動きのある部分は等速で表示されながらも、全体の映像は背景を早送りする速度で把握することができる画像処理システムが記載されている。

特許文献４には、映像の動き量に応じて適応的(動的)にフレームレートを増減させることで、記録データ量を抑えながら、滑らかな動画記録や高速物体に追従した静止画記録を可能とした画像信号処理装置が記載されている。
特開２０００−１３７４４号公報 特開２００１−３０９３５４号公報 特開２００４−３３６１７２号公報 特開２００７−１３４９９１号公報

しかしながら、特許文献１−４に記載されている従来技術では、動きや変化量の異なる様々な動物体や変化が滑らかの背景の存在する場合、個々に適切な再生速度が設定されないという課題がある。

すなわち、特許文献１のタイムラプスレコーダや特許文献２の画像処理装置では、動きのある映像のみを重要な映像としているため、動物体が存在するシーンは精細に表示することができるが、夕焼けや植物の開花などといった滑らかな変化を捉えることができない。また、動物体が消失し、一定時間経ってから新たな動物体が出現すると、その間の映像がスキップされて背景が不自然になる。さらに、動物体が長時間、シーン内に存在する場合には常に撮影され続け、その時間部分の映像は短縮されないので、結果的に得られる映像を所望の時間に調節することができない。

特許文献３の画像処理システムでは、前景と背景を分離しているため、前景と背景をともに滑らかに表示することができる。しかし、前景も背景も、例えば、1倍速、2倍速といった固定速度で表示されるため、それぞれの物体の動きや変化量に応じた適切な表示速度が設定されない。また、画面内の異なる動物体も同一前景とされるため、比較的動きの多い映像では前景映像が存在する1シーンが長くなりすぎ、適切に映像を短縮することができない。さらに、前景と背景を合成する際に、時間の異なるフレーム同士を合成するため、照明や太陽光の変化がある場合には、不自然なノイズが発生する。

特許文献４の画像信号処理装置では、映像の動き量に応じてフレームレートを変化させるが、夕焼けや植物の開花といった滑らかな変化を滑らかなまま表示させることができない。また、異なる動物体が同一画面内にある場合、それぞれに適したフレームレートを設定することができない。

本発明の目的は、映像を含むデータを入力とし、映像あるいはその成分を含む複数の成分の各々の再生時間を適切に調節して出力することができるデータ処理装置を提供することにある。

上記課題を解決するため、本発明は、映像を含むデータの再生時間を調節するデータ処理装置であって、入力データから映像あるいはその成分を含む複数の成分を抽出する抽出手段と、前記抽出手段により抽出された複数の成分の各々の再生時間を、各々の成分が再生される状態を考慮して、個別に、所望の同一長さに調節する再生時間調節手段と、前記再生時間調節手段により再生時間が調節された複数の成分を統合する統合手段を備える点に第１の特徴がある。

また、本発明は、入力データがマルチメディアデータであり、前記抽出手段が、マルチメディアデータから映像およびその他の少なくとも１つのデータを複数の成分として抽出する点に第２の特徴がある。

また、本発明は、入力データが映像であり、前記抽出手段が、映像の前景映像を抽出する前景抽出手段と、映像の背景映像を抽出する背景抽出手段を備え、前景映像および背景映像を複数の成分として抽出する点に第３の特徴がある。 また、本発明は、入力データが映像であり、前記抽出手段は、映像の前景映像を抽出する前景抽出手段と、映像の背景映像を抽出する背景抽出手段と、前記背景抽出手段により抽出された背景映像を複数の背景分割映像に分割する背景分割手段を備え、前景映像および背景分割映像を複数の成分として抽出する点に第４の特徴がある

また、本発明は、入力データが映像であり、前記抽出手段が、映像の前景映像を抽出する前景抽出手段と、映像の背景映像を抽出する背景抽出手段と、前記前景抽出手段により抽出された前景映像を複数の前景分割映像に分割する前景分割手段を備え、前景分割映像および背景映像を複数の成分として抽出する点に第５の特徴がある。

また、本発明は、入力データが映像であり、前記抽出手段が、映像の前景映像を抽出する前景抽出手段と、映像の背景映像を抽出する背景抽出手段と、前記前景抽出手段により抽出された前景映像を複数の前景分割映像に分割する前景分割手段と、前記背景抽出手段により抽出された背景映像を複数の背景分割映像に分割する背景分割手段を備え、前景分割映像および背景分割映像を複数の成分として抽出する点に第６の特徴がある。

また、本発明は、前記前景分割手段が、前記前景抽出手段により抽出された前景映像の中で、孤立した領域を個々の物体とみなし、個々の物体のテクスチャ特徴量および動きベクトルの少なくとも一方を利用して同一物体を追跡し、同一物体が全フレームにわたって同一の前景分割映像に配置されるように前景映像を分割する点に第７の特徴がある。

また、本発明は、前記前景分割手段が、前記前景抽出手段により抽出された前景映像の中で、孤立した領域を個々の物体とみなし、個々の物体のテクスチャ特徴量および動きベクトルの少なくとも一方を利用して同一物体を追跡し、同一物体でない物体が全フレームにわたって異なる前景分割映像に配置されるように前景映像を分割する点に第８の特徴がある。

また、本発明は、前記前景分割手段が、前記前景抽出手段により抽出された前景映像の中で、孤立した領域を個々の物体とみなし、個々の物体のテクスチャ特徴量および動きベクトルの少なくとも一方を利用してクラスタに分類し、同一のクラスタに分類された物体が全フレームにわたって同一の前景分割映像に配置されるように前景映像を分割する点に第９の特徴がある。

また、本発明は、前記前景分割手段が、前記前景抽出手段により抽出された前景映像の中で、孤立した領域を個々の物体とみなし、前記前景分割映像を有限個とし、あるフレームで新規に物体が出現した場合には、そのフレームでは物体が配置されていない前景分割映像のうち、これまでに配置された物体の面積の総和が最も小さい前景分割映像にその物体を配置し、そのフレームでは物体が配置されていない前景分割映像が存在しなければ、これまでに配置された物体の面積の総和が最も小さい前景分割映像にその物体を配置する点に第１０の特徴がある。

また、本発明は、前記背景分割手段が、前記背景抽出手段により抽出された特定の１フレームまたは複数フレームの背景映像における空間的特徴量を利用して１つ以上の背景分割映像に分割し、この分割を全フレームにわたって利用する点に第１１の特徴がある。

また、本発明は、前記背景分割手段が、前記背景抽出手段により抽出された背景映像の領域における時間的変化量を求め、該時間的変化量が小さい領域が境界となるように分割し、該分割を全フレームにわたって利用する点に第１２の特徴がある。

また、本発明は、前記再生時間調節手段が、前景分割画像および背景分割画像に対して同一または異なるフレームレート調節規則を設定し、該フレームレート調節規則に従ってそれぞれのフレームレートを調節する点に第１３の特徴がある。

また、本発明は、前記再生時間調節手段が、前景分割映像において新たに物体が出現したフレームと同時刻の対応する背景分割映像のフレームの前と後のフレーム数が同じになるように、同一または異なるフレームレート調節規則を設定し、該フレームレート調節規則に従ってそれぞれのフレームレートを調節する点に第１４の特徴がある。

また、本発明は、前記フレームレート調節規則が、入力映像と出力映像のフレーム数の比で決定される一定間隔ごとのフレームをサンプリングし、残りのフレームを削除する点に第１５の特徴がある。

また、本発明は、前記フレームレート調節規則が、出力映像のフレーム数になるまで前景分割映像あるいは背景分割映像のフレームを前後のフレームと比較して変化量の小さいフレームから削除することを規定する点に第１６の特徴がある。

また、本発明は、前記フレームレート調節規則が、前景分割映像あるいは背景分割映像をさらにいくつかの区間に時間方向に分割し、それぞれの区間から、それらを繋いだ際の再生画像が滑らかになるように、連続するフレーム群を取り出すことを規定する点に第１７の特徴がある。

また、本発明は、前記統合手段が、各背景分割映像を、それらの時間的ずれに起因する輝度の違いなどを補正したうえで合成して背景映像を生成し、その後、前景分割映像を合成する点に第１８の特徴がある。

また、本発明は、前記統合手段が、各背景分割映像を合成して背景映像を生成し、その後、背景映像と前景分割映像を、それらの時間的ずれに起因する輝度の違いを補正したうえで合成する点に第１９の特徴がある。

さらに、本発明は、前記再生時間調節手段が、前景分割映像および背景分割映像をそれぞれフレーム番号順に保持するバッファを備え、前景分割映像および背景分割映像のそれぞれに対して同一または異なるフレームレート調節規則を設定し、前記バッファが一杯になる度にフレームレート調節規則に従ってバッファ内の前景分割映像および背景分割映像のフレーム数を調整し、出力映像のフレームレートに従う時間間隔で、最もフレーム番号が小さいものを前記合成部に出力する点に第２０の特徴がある。

本発明によれば、長時間の撮像により蓄積された映像やカメラからのリアルタイム映像を、動物体の動きや背景の滑らかな変化などに合わせて、それぞれに適した再生速度で再生できる出力映像に編集でき、さらに、出力映像の長さを所望の長さに調節することができる。すなわち、早送りビデオと同様に、実時間で把握しにくい変化を容易に把握できる出力映像を生成でき、さらに、動画要約と同様に、動きのある映像を詳細に記録でき、かつ、映像の長さを所望の長さに調節できる。

以下、図面を参照して本発明を説明する。以下では、処理対象のデータが映像として説明するが、本発明は、映像とそれに付随する音声、テキスト、BMLデータなどを含むマルチメディアデータを処理対象とすることもできる。

図１は、本発明に係るデータ処理装置の第１実施形態を示すブロック図である。第１実施形態では、記録媒体から映像を読み出し、この映像を元に、再生時間が一定長に調節された出力映像を生成する。再生時間の調節に際しては、出力映像が再生された場合の各物体や背景の動きを考慮する。

図１において、データ処理装置は、記録媒体11、読み出し部12、背景抽出部13、前景抽出部14、前景分割部15、背景分割部16、フレームレート調節部17、合成部18、圧縮部19および記録部20を備える。

記録媒体11は、処理対象のデータである映像を記録している。この映像は、デジタル化されて特定の圧縮方式によって圧縮されているのが普通である。圧縮方式としては、MPEG-2，MPEG-4 visual，MPEG-4 AVC（H.264），Motion-JPEG2000，VC-1(Windows(登録商標) Media Video 9)などが挙げられる。以降の処理は、記録媒体11が記録している映像を元に行う。以下では、この元の映像を素材映像と称する。

図２は、素材映像の一例を示す。ここでは、説明を簡単にするため、素材映像が10フレーム(フレーム番号0〜9)からなるものとして図示しているが、実際上では、素材映像は、より多くのフレームを含む。図２に示す素材映像では、0〜9フレームにわたって人がゆっくりと移動しており、2〜5フレームにわたって車が高速で移動している。背景である太陽と樹木は0〜9 フレームにわたって殆ど変化しない。

読み出し部12は、記録媒体11から素材映像を読み出す。記録媒体11が記憶している素材映像が圧縮されている場合、読み出し部12は復号器を備える。復号器は、記録媒体11に記憶されている映像素材を復号し、背景抽出部13および前景抽出部14で利用可能なフォーマットに変換する。

背景抽出部13は、読み出し部12で読み出された素材映像における背景映像をフレームごとに抽出する。背景映像を抽出する手法は、公知であり、例えば、映像の複数のサンプルフレームの画素の中央値や平均値を背景映像とする手法を利用できる。

中央値を背景映像とする手法では、素材映像Iのi番目のフレームI(i)の座標(x,y)の画素値をI(i,x,y)、背景映像I^ＢのフレームI^Ｂ(i)の座標(x,y)の画素値をI^Ｂ(i,x,y)、N個のフレームI(i_０),I(i_１),・・・,I(i_Ｎ−１)の座標(x,y)の画素値をI(i_０,x,y),I(i_１,x,y),・・・,I(i_Ｎ−１,x,y)とすると、背景映像I^Ｂは、式(1)で求められる。なお、MEDIAN( )は、( )内の中央値を採用することを意味する。

図３は、図２に示す素材映像から抽出された背景映像を示す。ここでは、人と車を除いた、太陽と樹木を含む映像が背景映像として抽出される。背景映像も10フレームからなる。

前景抽出部14は、読み出し部12で読み出された素材映像における前景映像をフレームごとに抽出する。前景映像は、素材映像および背景映像を元に、背景差分法を利用して抽出できる。単純な背景差分法では、背景抽出部13で抽出された背景映像と素材映像を比較し、差が大きい部分を前景映像とする。すなわち、前景映像I^ＦのフレームI^Ｆ(i)の座標(x,y)の画素値をI^Ｆ(i,x,y)、閾値をTh_１とすると、前景映像I^Ｆの画素値I^Ｆ(i,x,y)は、式(2)で求められる。

また、背景映像の画素値を確率密度関数を推定し、モデル化した確率密度関数を用いて前景映像を抽出することもできる。すなわち、個々の背景映像の画素値の生起確率を推定し、現在の画素値の生起確率が閾値未満である場合、該画素は前景映像に含まれると判断する。確率密度関数をp^Ｂ、閾値をTh_２とすると、前景映像I^Ｆの画素値I^Ｆ(i,x,y)は、式(3)で求められる。

確率密度関数の推定は、パラメトリックな手法、ノンパラメトリックな手法、セミパラメトリックな手法に大別される。パラメトリックな手法では、確率密度関数をガウス分布などの少数のパラメータで表現される関数と仮定し、最尤法やベイズ推定でパラメータを推定する。ノンパラメトリックな手法では、確率密度関数の形を仮定せず、ヒストグラムなどを用いて確率密度関数を推定する。セミパラメトリックな手法では、確率密度関数をパラメトリックな手法よりも一般的な関数、例えば、混合ガウス分布などの関数と仮定し、最尤法やEMアルゴリズムで確率密度関数を推定する。

図４は、図２の素材映像から抽出された前景映像を示す。ここでは、太陽と樹木などを除いた、人と車を含む映像が前景映像として抽出される。前景映像も10フレームからなる。

前景分割部16は、前景抽出部14で抽出された各前景映像I^Ｆを複数の前景分割映像I^Ｆ _０,I^Ｆ _１,I^Ｆ _２,・・・に分割する。ここで、前景分割映像の数は、1つでも複数でもよく、制限されないが、各フレームについての前景分割映像の数は、同一とする。前景分割映像の数が1つの場合、前景分割部16を備える必要はない。

前景映像の分割では、同一物体は全フレームにわたって同一の前景分割映像に配置されるように分割する。例えば、以下のような分割手法を利用すれば、同一物体を同一の前景分割映像に配置し、異なる物体を異なる前景分割映像に配置することができる。

すなわち、前景分割映像の先頭フレームから物体を配置するものとし、現在の前景映像I^Ｆの処理対象フレーム内で孤立した領域を個々の物体と認識し、それが前フレームではどの前景分割映像に配置されていたかを探索する。この探索には、動きベクトルを利用できる。ここで探索するフレームを前フレームだけでなく、それ以前の一定数のフレームまでとすれば、オクルージョン(遮蔽)で一時的に遮蔽された物体や画面外に出て再び画面内に入ってきた物体でも同一物体として認識できる。

ある物体が前フレームにおいてある前景分割映像に配置されていた場合、処理対象フレームで認識された同一物体は、処理対象フレームでも同一の前景分割映像に配置する。例えば、前フレームにおいて前景分割映像I^Ｆ _１に配置されている物体は、処理対象フレームでも前景分割映像I^Ｆ _１に配置する。前フレームのどの前景分割映像にも配置されていない物体が処理対象フレームで認識された場合、その物体は、物体が配置されていない空の前景分割映像に配置する。

また、前景映像に存在する物体をクラスタリングし、同一クラスタに存在する物体は同一物体と認識して、上記の分割手法を適用してもよい。例えば、似たような形状やテクスチャを持つ物体、似たような動きをする物体を同一クラスタとすることができる。この場合、似たような形状やテクスチャを持つ物体、似たような動きをする物体は、同一物体として認識されることがあるが、そのような物体を同一の前景映像に配置することが好ましい場合もある。なお、物体の探索には、ブロックマッチング、ヒストグラムや同時生起確率などの特徴量によるマッチング、パーティクルフィルタなどを利用できる。

図５は、図４の前景映像から抽出された前景分割映像を示す。前景映像には人と車の2つ物体が存在するので、前景分割映像I^Ｆは、2つの前景分割映像I^Ｆ _０,I^Ｆ _１に分割され、前景分割映像I^Ｆ _０のフレーム0〜9に人が配置され、前景分割映像I^Ｆ _１のフレーム2〜5に車が配置される。各前景分割映像I^Ｆ _０,I^Ｆ _１も10フレームからなる。

背景分割部15は、背景抽出部13で抽出された各背景映像I^Ｂを複数の背景分割映像I^Ｂ _０,I^Ｂ _１,I^Ｂ _２,・・・に分割する。背景分割映像の数は、１つでも複数でもよく、制限されないが、各フレームについての背景分割映像の数は、同一とする。背景分割映像の数が1つの場合、背景分割部15を備える必要はない。

背景映像の分割では、全フレームにわたって分割領域が変化しないことが好ましい。1つのフレームまたは複数のフレームの映像を、Split&Merge法、K平均法、グラフカットなどにより分割し、その分割を全てのフレームに適用するという手法により、全フレームにわたって分割を同一することができる。この分割に際しては、空間的特徴だけでなく、時間方向の特徴量を利用してもよい。例えば、背景抽出部13で抽出された背景映像の時間的変化量を求め、時間的変化量が小さい領域が境界となるように分割し、その分割を全てのフレームに適用するという手法を採用できる。

図６は、図３の背景映像から抽出された背景分割映像を示す。ここでは背景映像I^Ｂが背景分割映像I^Ｂ _０,I^Ｂ _１に分割される。背景分割映像I^Ｂ _０のフレーム0〜9に樹木が配置され、背景分割映像I^Ｂ _１のフレーム0〜9に太陽が配置される。各背景分割映像I^Ｂ _０,I^Ｂ _１も10フレームからなる。

フレームレート調節部17は、前景分割部16で生成された前景分割映像I^Ｆ _０,I^Ｆ _１,I^Ｆ _２,・・・および背景分割部15で生成された背景分割映像I^Ｂ _０,I^Ｂ _１,I^Ｂ _２,・・・が所望の一定長の再生時間になるようにフレームレート調節を行う。ここで、フレームレート調節とは、映像のフレームの間引き(サンプリング)を行って再生時間が所望の一定長の映像を生成することを意味し、これは、分割映像のフレームを複製して追加することを含んでも構わない。以下では、前景分割映像および背景分割映像を総称して分割映像と称する。

フレームレート調節部17は、素材映像Iの総フレーム数をN_{ｉｎｐｕｔ}としたとき、分割映像のそれぞれに対して同一または異なる規則を割り当て、総フレーム数が予め設定された所望のフレーム数N_{ｏｕｔｐｕｔ}(N_{ｏｕｔｐｕｔ}≦N_{ｉｎｐｕｔ})となるように、割り当てられた規則に従って分割映像をフレームレート調節する。なお、前景映像I^Ｆ，背景映像I^Ｂ，前景分割映像I^Ｆ _０,I^Ｆ _１,I^Ｆ _２,・・・，背景分割映像I^Ｂ _０,I^Ｂ _１,I^Ｂ _２,・・・それぞれの総フレーム数もN_{ｉｎｐｕｔ}である。

フレーム調節により除去されたフレームの映像情報は、そのままでは失われる。除去されたフレームの映像情報をレベル調整した後、その後にサンプリングされたフレームの映像に加算するようにすれば、除去されたフレームの映像情報を残像効果のようにして残すことができる。

図７は、前景分割映像I^Ｆ _０,I^Ｆ _１,I^Ｆ _２,・・・に対するフレームレート調節の例を示し、図８は、背景分割映像I^Ｂ _０,I^Ｂ _１,I^Ｂ _２,・・・に対するフレームレート調節の例を示す。この例では、N_{ｉｎｐｕｔ}=10、N_{ｏｕｔｐｕｔ}=5 である。X印が付したフレームが間引かれたフレームである。フレームレート調節のための規則の例を以下に示す。

[規則1] 規則1は、等間隔N_{ｉｎｐｕｔ}/N_{ｏｕｔｐｕｔ}フレームごとに1フレームをサンプリングし、残りを間引くことでフレームレート調節を行うことを規定する。規則1は、空の色の変化、雲の動きや植物の成長など、実時間では変化が分かりにくい映像のフレームレート調節に好適である。このような映像は、背景分割映像にみられる。そのため、継続して少しずつ変化する部分が含まれている背景分割映像に規則1を割り当てるのが好ましい。なお、全ての分割映像に規則1を割り当てると、いわゆる早送りの映像が生成されることになる。例えば、N_{ｉｎｐｕｔ}/N_{ｏｕｔｐｕｔ}=2とすれば、2倍速の映像が生成される。図８の背景分割映像I′^Ｂ _１は、N_{ｉｎｐｕｔ}/N_{ｏｕｔｐｕｔ}=2とし、規則1に従ってフレームレート調節を行った例である。

[規則2] 規則2は、動きや変化の大きなフレームをサンプリングし、残りを間引くことでフレームレート調節を行うことを規定する。これは、人間、動物、車など、動きのある映像のフレームレート調節に好適である。このような映像は、前景分割映像にみられる。そのため、動物体が含まれている前景分割映像に規則2を割り当てるのが好ましい。また、規則2は、植物の開花や雪解けなど、変化の度合いが時間によって違うような背景分割映像のフレームレート調節にも好適である。なお、間引かれたフレーム間での動きを続くフレームに順次繰り越すようにすれば、サンプリングされるフレームをある程度均一にすることができる。

図７の前景分割映像I′^Ｆ _０，I′^Ｆ _１は、規則2に従ってフレームレート調節を行った例である。具体例では、分割映像の各フレームに対して、前後のフレームを参照することで動きの大きさを表す尺度M_ｍｏｖｅと変化の大きさを表す尺度M_ｄｉｆｆを求め、max(M_ｍｏｖｅ,M_ｄｉｆｆ)が一番小さいフレームから順に削除する。なお、M_ｍｏｖｅ∈[0,1]，M_ｄｉｆｆ∈[0,1](それぞれの最大値で正規化)とする。

[規則3] 規則3は、分割映像を時間方向にM分割し、それぞれから連続したN_{ｏｕｔｐｕｔ}/Mフレームをサンプリングし、残りを間引くことでフレームレート調節を行うことを規定する。これは、風に揺れる草花や旗など、周期的な動きのある映像のフレームレート調節に好適である。この際、それぞれの区間からどのN_{ｏｕｔｐｕｔ}/Mフレームをサンプリングするかは、例えば、下記のように決定する。区間R_ｔとR_ｔ＋１からそれぞれN_{ｏｕｔｐｕｔ}/Mフレームがサンプリングされたとき、区間R_ｔからサンプリングされたN_{ｏｕｔｐｕｔ}/Mフレームのうちの最後のフレームをX_ｉ、区間R_ｔ＋１からサンプリングされたN_{ｏｕｔｐｕｔ}/Mフレームのうちの最初のフレームをX_ｊとしたとき、フレームX_ｉ，X_ｊは、サンプリング後に隣り合うフレームとなる。この2つのフレームX_ｉ，X_ｊが連続して表示されたときの不自然さを式(4)で定義する。

ここで、w_ｋは、ｋに大して単調減少する関数である。この不自然さを全ての隣り合う区間で求め、その総和が最少となるようなサンプリングの仕方を動的計画法で求める。規則3によれば、サンプリングされたフレームを繋いだ際の再生画像を滑らかにすることができる。図８の背景分割映像I′^Ｂ _０は、N_{ｏｕｔｐｕｔ}/M=5(N_{ｏｕｔｐｕｔ}=5,M=1)とし、規則3に従ってフレームレート調節を行った例である。

合成部18は、フレームレート調節部17でフレームレート調節された前景分割映像I′^Ｆ _０,I′^Ｆ _１,I′^Ｆ _２,・・・および背景分割映像I′^Ｂ _０,I′^Ｂ _１,I′^Ｂ _２,・・・を合成し、編集映像I′を生成する。具体的には、まず、フレームレート調節された前景分割映像I′^Ｆ _０,I′^Ｆ _１,I′^Ｆ _２,・・・それぞれからフレーム番号の小さい順にフレームを取り出す。背景分割映像I′^Ｂ _０,I′^Ｂ _１,I′^Ｂ _２,・・・についても同様にフレーム番号の小さい順にフレームを取り出す。次に、フレーム順を合わせて背景分割映像I′^Ｂ _０,I′^Ｂ _１,I′^Ｂ _２,・・・を合成し、背景映像I′^Ｂを生成する。

次に、フレーム順を合わせて、背景映像I′^Ｂの上に前景分割映像I′^Ｆ _０,I′^Ｆ _１,I′^Ｆ _２,・・・を合成する。前景分割映像I′^Ｆ _０,I′^Ｆ _１,I′^Ｆ _２,・・・の合成では、その画素値が0の領域を透過色として合成する。図９は、前景分割映像I′^Ｆ _０,I′^Ｆ _１と背景分割映像I′^Ｂ _０,I′^Ｂ _１を合成して編集映像I′を生成する様子を示す図である。

背景分割映像I′^Ｂ _０,I′^Ｂ _１,I′^Ｂ _２,・・・を合成する際、隣接する背景分割映像の時間的なずれに起因する輝度値の違いがノイズになることがある。このノイズは、下記文献に記載されているモザイキング技術を利用して軽減できる．

Aseem Agarwala, ”Efficient Gradient-Domain Compositing Using Quadtrees”, ACM Transactions on Graphics (TOG), vol.26, no.3, July 2007．

また、前景分割映像I′^Ｆ _０,I′^Ｆ _１,I′^Ｆ _２,・・・を背景映像I′^Ｂに合成する際、前景分割映像I′^Ｆ _０,I′^Ｆ _１,I′^Ｆ _２,・・・と背景映像I′^Ｂの時間的なずれに起因する輝度値のミスマッチが発生することがある。輝度値のミスマッチは、前景分割映像I′^Ｆ _０,I′^Ｆ _１,I′^Ｆ _２,・・・の輝度値を修正することで軽減できる。この輝度値の修正には、下記文献で提案されているseamless cloning 技術を利用できる。

Patrick Pe´rez, Michel Gangnet, Andrew Blake, ”Poisson Image Editing”, ACM Transactions on Graphics (TOG), vol.22, no.3, July 2003．

圧縮部19は、合成部18で生成された編集映像I′を圧縮する。記録部20は、圧縮部19で圧縮された編集映像I′を記録する。編集映像I′は、記録媒体11に記録することもできる。圧縮部19での圧縮では、例えば、MPEG-2，MPEG-4 visual，MPEG-4 AVC (H.264), Motion-JPEG2000，VC-1 (Windows(登録商標) Media Video 9)を利用できる。

次に、本発明に係るデータ処理装置の第２実施形態について説明する。第１実施形態では、前景映像に存在する各物体を異なる前景分割映像に配置し、前景分割映像の数に制限を設けないが、第２実施形態では、前景分割映像の最大数を制限して有限個とし、前景映像に存在する異なる物体でも同一の前景分割映像に配置することを許容する。その際、物体をなるべく均一に前景分割映像に配置する。

これにより、同一フレームの前景映像に含まれる物体の数とそれぞれの物体が存在する時間を調節することができる。前景分割映像の数を増やすことで物体が存在する時間を短縮できる一方、前景分割映像の数を制限することで前景映像に同時に存在する物体の数を減らすことができ、個々の物体を把握しやすくなる。

第２実施形態のブロック図およびその動作は、第１実施形態とほぼ同一であり、前景分割部だけが相違するので、以下では、図１を参照し、前景分割部について説明し、その他の構成要素の説明は省略する。

前景分割部16は、前景抽出部14で抽出された各前景映像I^Ｆを複数の前景分割映像I^Ｆ _０,I^Ｆ _１,I^Ｆ _２,・・・,I^Ｆ _{ＦＭＡＸ−１}に分割する。前景映像部16は、同一物体が全フレームにわたって同一の前景分割映像に配置されるように分割するが、前景分割映像の最大数は有限個であるので、この数を超える物体が存在する場合には、同一の前景分割映像に複数の物体が配置されるように分割する。これは、例えば、以下に説明する手法により実現できる。

前景分割映像の先頭フレームから物体を配置するものとし、現在の前景映像I^Ｆの処理対象フレームの孤立した領域を個々の物体と認識し、その物体が前フレームでどの前景分割映像に配置されていたかを探索する。

ある物体が前フレームにおいてある前景分割映像に配置されていた場合、処理対象フレームで認識された同一物体は、処理対象フレームでも同一の前景分割映像に配置する。前フレームのどの前景分割映像にも配置されていない物体が処理対象フレームで認識された場合、その物体は留保しておく。

全ての物体についての探索および探索された物体の配置が終了した後、保留しておいた物体を、処理対象フレームでは物体が配置されていない空の前景分割映像にそれぞれ配置する。複数の空の前景分割映像があった場合には、前景分割映像のうち、最初のフレームから対象フレームにわたって配置された物体の面積の総和が小さい前景分割映像に配置する。空の前景分割映像が存在しない場合も、同様に、最初のフレームから対象フレームにわたって配置された物体の面積の総和が小さい前景分割映像に配置する。このような配置手法により、出力画像において複数の物体が同時に存在する時間を短くすることができる。

図１０は、第１実施形態と第２実施形態の前景映像の分割法の違いを示す。図１０は、横軸は時間軸であり、上段は、前景映像I^Ｆに物体A,B,C,D,Eが存在する時間帯を表している。。

中段左は、第１実施形態の前景分割映像I^Ｆ _０,I^Ｆ _１,I^Ｆ _２,I^Ｆ _３,I^Ｆ _４である。第１実施形態では、1つの前景分割映像に対して1つだけの物体が配置される。中段右は、中段左の前景分割映像I^Ｆ _０,I^Ｆ _１,I^Ｆ _２,I^Ｆ _３,I^Ｆ _４をフレームレート調節し、合成した結果の前景分割映像I′^Ｆを表している。

下段左は、第２実施形態の前景分割映像I^Ｆ _０,I^Ｆ _１,I^Ｆ _２である。この場合、前景分割映像の数は3である。第２実施形態では、1つの前景分割映像に複数の物体を配置することを許容しており、ここでは、前景分割映像I^Ｆ _０に物体Aが配置され、前景分割映像I^Ｆ _１に物体B,Eが配置され、前景分割映像I^Ｆ _２に物体C,Dが配置されている。すなわち、物体A,B,Cは、前景分割映像I^Ｆ _０,I^Ｆ _１,I^Ｆ _２に順次配置され、次に認識された物体Dは、最初のフレームから対象フレームにわたって配置された物体の面積の総和が小さい前景分割映像I^Ｆ _２に配置され、次に認識された物体Eは、同様に、前景分割映像I^Ｆ _１に配置される。

下段右は、下段左の前景分割映像I^Ｆ _０,I^Ｆ _１,I^Ｆ _２をフレームレート調節し、合成した結果の前景分割映像I′^Ｆを表している。第１実施形態の前景映像I′^Ｆでは同時に5つの物体(A〜E)が存在するのに対し、第２実施形態の前景画像I′^Ｆでは同時に3つの物体(A,B,C)または(A,E,D)が存在する。

次に、本発明に係るデータ処理装置の第３実施形態について説明する。第１および第２の実施形態では、それぞれの分割映像のフレームレート調節を独立に行うが、第３実施形態では、他の分割映像のフレームレート調節に合わせてフレームレート調節を行う。これにより、素材映像での物体の出現の順番と出力映像での物体の出現の順番が同じであることを保証できる。第３実施形態のブロック図およびその動作は、第２実施形態とほぼ同一であり、フレームレート調節部だけが相違するので、以下では、図１を参照し、フレームレート調節部について説明し、その他の構成要素の説明は省略する。

フレームレート調節部17は、分割映像を他の分割映像に合わせてフレームレート調節を行う。その際、まず、ある分割映像とその他の分割映像のいくつかのフレームの組を対応付ける。例えば、ある分割映像を背景分割映像とし、他の分割映像を前景分割映像としたとき、前景分割映像に各物体が初めて出現する時刻のフレーム同士を対応付ける。そして、それらのフレームがフレームレート調節された後でも同時刻に存在するように前景分割映像をサンプリングする。

これは、対応するフレームの前後で個別にフレーム調節を行うことで実現できる。つまり、フレームレート調節する前の対応フレームがk番目であり、背景分割映像をフレームレート調節した結果、対応フレームがl番目のフレームになったとすると、Nフレームからなる前景分割映像からMフレームサンプリングする処理を、前景分割映像の0〜k-1番目のフレームからlフレームサンプリングする処理とk+1〜N-1番目のフレームからM-l-1フレームサンプリングする処理に分割すればよい。この分割を対応するフレーム全てに対して行う。

図１１は、第２実施形態と第３の実施形態のフレームレート調節の違いを示す。第３の実施形態では、背景分割映像I^Ｂにと前景分割映像I^Ｆに物体A,B,Cが初めて出現する時刻のフレーム同士を対応付けてフレームレート調節を行う。すなわち、フレームレート調節後の背景分割映像I′^Ｂと前景分割映像I′^Ｆでも物体A,B,Cが出現する時刻をそれぞれ同じにする。

図１１は、背景分割画像と前景分割画像の間でのフレームレート調節であるが、前景分割画像同士あるいは背景分割画像同士でも同様にフレームレート調節できる。なお、均等にサンプリングされた分割映像を基準とし、それに他の分割映像を対応付けるのが好ましい。

第１〜第３実施形態によれば、予め記録されている素材映像を元にして生成された前景分割映像および背景分割映像のフレームレートを個別に調節し、再生時間が一定長に調節された映像を生成できるので、前景および背景に含まれる各物体や背景を容易かつ詳細に把握できる映像を再生でき、さらに、出力映像を任意の長さにすることができる。

次に、本発明に係るデータ処理装置の第４実施形態について説明する。図１２は、本発明に係るデータ処理装置の第４実施形態を示すブロック図であり、図１と同一あるいは同等部分には同じ符号を付している。

図１２において、データ処理装置は、カメラ部21、背景抽出部13、前景抽出部14、前景分割部15、背景分割部16、フレームレート調節部17、合成部18、圧縮部19および記録部20を備え、カメラ部41からのリアルタイム映像を元に編集された出力映像を生成し記録する。フレームレート調節部17は、それぞれの分割映像を独立に一定量保持するバッファを備える。

カメラ部21は、初期設定されたフレームレートF_{ｉｎｐｕｔ}[fps]で撮像し、出力映像の元となるリアルタイム映像を背景抽出部13および前景抽出部14に送出する。

背景抽出部13、前景抽出部14、前景分割部15、背景分割部16、圧縮部19および記録部20の動作は、第１〜第３実施形態と同様であるので、説明を省略する。

カメラ部21からのリアルタイム映像を撮像終了時まで全て取得してからフレームレート調節を行う場合、フレームレート調節部17は、第１〜第３実施形態と同じでよいが、第４実施形態では、リアルタイムにフレームレート調節を行うことを可能とするため、それぞれの分割映像をバッファに保持し、このバッファ内の分割映像をフレームレート調節の対象とする。以下、バッファを利用してのフレームレート調節について説明する。

それぞれの分割映像に対してバッファが保持できるフレーム数をN_ｂｕｆとし、編集後の出力映像のフレームレートをF_{ｏｕｔｐｕｔ}[fps]とする。まず、バッファが一杯になるまで分割映像を取得する。バッファが一杯になった後は、分割映像が1フレーム送られてくる度に、バッファのN_ｂｕｆ枚のフレームと送られてきた1フレームをN_ｂｕｆ枚のフレームに調節する。

このフレームの調節では、第１実施形態と同様の規則[K](K=1,2,3)を使用できる。バッファが保持している分割映像のうち、フレーム番号が一番小さいものを出力映像の再生速度に応じた一定レートF_{ｏｕｔｐｕｔ}[fps]で合成部18へ出力する。

なお、バッファの大きさを分割映像ごとに変えてもよい。例えば、第１実施形態での規則[1]に従う分割映像のバッファは、常に送られてくる分割映像でバッファを置き換えるようにすればN_ｂｕｆ=1でもよく、これにより第１実施形態での規則[1]と同様の効果を発揮できる。

図１３は、第４実施形態のフレームレート調節部でのフレームレート調整を概念的に示し、前景分割画像I^Ｆ _０,I^Ｆ _１および背景分割映像I′^Ｂ _０,I′^Ｂ _１はそれぞれバッファで規則A,B,C,Dに従ってフレームが調節され、その後、合成部で合成される。なお、図１３は、背景分割映像I′^Ｂ _１用のバッファが1枚のフレームを保持し(N_ｂｕｆ=1)、規則Dとして規則[1]を使用する場合を示している。

第４実施形態によれば、リアルタイム映像を元にして生成された前景分割映像および背景分割映像のフレームレートを個別に調節し、カメラなどからの映像でも再生時間が一定長に調節された映像を生成できるので、前景および背景に含まれる各物体や背景を容易かつ詳細に把握できる映像を再生でき、さらに、出力映像を任意の長さにし、随時保存することができる。

以上では、処理対象を映像とし、それを元にして生成した前景分割映像および背景分割映像のフレームレート調節について説明したが、それに加えて、映像に付随する音声やテキストやBMLデータの再生時間も調節できる。また、本発明は、映像を含むデータ、例えば、映像とそれに付随する音声、テキストあるいはBMLデータなどを含むマルチメディアデータを処理対象とし、映像とその他のデータの再生時間の調節にも適用できる。音声やテキストやBMLデータについては、映像の再生時間との関係、聴き取りやすさや視認しやすさなどを考慮して、間引きや複製などを行えばよい。

本発明に係るデータ処理装置の第１実施形態を示すブロック図である。 素材映像の一例を示す図である。 素材映像から抽出された背景映像の一例を示す図である。 素材映像から抽出された前景映像の一例を示す図である。 前景映像から抽出された前景分割映像の一例を示す図である。 背景映像から抽出された背景分割映像の一例を示す図である。 前景分割映像のフレームレート調節の一例を示す図である。 背景分割映像のフレームレート調節の一例を示す図である。 前景分割映像と背景分割映像を合成して編集映像を生成する様子を示す図である。 第１実施形態と第２実施形態における前景映像の分割法の違いを示す説明図である。 他の分割映像に依存したフレームレート調節を示す図である。 本発明に係るデータ処理装置の第４実施形態を示すブロック図である。 第４実施形態におけるフレームレート調節を概念的に示す図である。

符号の説明

11・・・記録媒体、12・・・読み出し部、13・・・背景抽出部、14・・・前景抽出部、15・・・前景分割部、16・・・背景分割部、17・・・フレームレート調節部、18・・・合成部、19・・・圧縮部、20・・・記録部、21・・・カメラ部

Claims (20)

1. 映像を含むデータの再生時間を調節するデータ処理装置であって、
   入力データから映像あるいはその成分を含む複数の成分を抽出する抽出手段と、
   前記抽出手段により抽出された複数の成分の各々の再生時間を、各々の成分が再生される状態を考慮して、個別に、所望の同一長さに調節する再生時間調節手段と、
   前記再生時間調節手段により再生時間が調節された複数の成分を統合する統合手段を備えることを特徴とするデータ処理装置。
2. 入力データがマルチメディアデータであり、前記抽出手段は、マルチメディアデータから映像およびその他の少なくとも１つのデータを複数の成分として抽出することを特徴とする請求項１に記載のデータ処理装置。
3. 入力データが映像であり、前記抽出手段は、映像の前景映像を抽出する前景抽出手段と、映像の背景映像を抽出する背景抽出手段を備え、前景映像および背景映像を複数の成分として抽出することを特徴とする請求項１に記載のデータ処理装置。
4. 入力データが映像であり、前記抽出手段は、映像の前景映像を抽出する前景抽出手段と、映像の背景映像を抽出する背景抽出手段と、前記背景抽出手段により抽出された背景映像を複数の背景分割映像に分割する背景分割手段を備え、前景映像および背景分割映像を複数の成分として抽出することを特徴とする請求項１に記載のデータ処理装置。
5. 入力データが映像であり、前記抽出手段は、映像の前景映像を抽出する前景抽出手段と、映像の背景映像を抽出する背景抽出手段と、前記前景抽出手段により抽出された前景映像を複数の前景分割映像に分割する前景分割手段を備え、前景分割映像および背景映像を複数の成分として抽出することを特徴とする請求項１に記載のデータ処理装置。
6. 入力データが映像であり、前記抽出手段は、映像の前景映像を抽出する前景抽出手段と、映像の背景映像を抽出する背景抽出手段と、前記前景抽出手段により抽出された前景映像を複数の前景分割映像に分割する前景分割手段と、前記背景抽出手段により抽出された背景映像を複数の背景分割映像に分割する背景分割手段を備え、前景分割映像および背景分割映像を複数の成分として抽出することを特徴とする請求項１に記載のデータ処理装置。
7. 前記前景分割手段は、前記前景抽出手段により抽出された前景映像の中で、孤立した領域を個々の物体とみなし、個々の物体のテクスチャ特徴量および動きベクトルの少なくとも一方を利用して同一物体を追跡し、同一物体が全フレームにわたって同一の前景分割映像に配置されるように前景映像を分割することを特徴とする請求項５または６に記載のデータ処理装置。
8. 前記前景分割手段は、前記前景抽出手段により抽出された前景映像の中で、孤立した領域を個々の物体とみなし、個々の物体のテクスチャ特徴量および動きベクトルの少なくとも一方を利用して同一物体を追跡し、同一物体でない物体が全フレームにわたって異なる前景分割映像に配置されるように前景映像を分割することを特徴とする請求項５または６に記載のデータ処理装置。
9. 前記前景分割手段は、前記前景抽出手段により抽出された前景映像の中で、孤立した領域を個々の物体とみなし、個々の物体のテクスチャ特徴量および動きベクトルの少なくとも一方を利用してクラスタに分類し、同一のクラスタに分類された物体が全フレームにわたって同一の前景分割映像に配置されるように前景映像を分割することを特徴とする請求項５または６に記載のデータ処理装置。
10. 前記前景分割手段は、前記前景抽出手段により抽出された前景映像の中で、孤立した領域を個々の物体とみなし、前記前景分割映像を有限個とし、あるフレームで新規に物体が出現した場合には、そのフレームでは物体が配置されていない前景分割映像のうち、これまでに配置された物体の面積の総和が最も小さい前景分割映像にその物体を配置し、そのフレームでは物体が配置されていない前景分割映像が存在しなければ、これまでに配置された物体の面積の総和が最も小さい前景分割映像にその物体を配置することを特徴とする請求項５または６に記載のデータ処理装置。
11. 前記背景分割手段は、前記背景抽出手段により抽出された特定の１フレームまたは複数フレームの背景映像における空間的特徴量を利用して１つ以上の背景分割映像に分割し、この分割を全フレームにわたって利用することを特徴とする請求項４または６に記載のデータ処理装置。
12. 前記背景分割手段は、前記背景抽出手段により抽出された背景映像の領域における時間的変化量を求め、該時間的変化量が小さい領域が境界となるように分割し、該分割を全フレームにわたって利用することを特徴とする請求項４または６に記載のデータ処理装置。
13. 前記再生時間調節手段は、前景分割画像および背景分割画像に対して同一または異なるフレームレート調節規則を設定し、該フレームレート調節規則に従ってそれぞれのフレームレートを調節することを特徴とする請求項６に記載のデータ処理装置。
14. 前記再生時間調節手段は、前景分割映像において新たに物体が出現したフレームと同時刻の対応する背景分割映像のフレームの前と後のフレーム数が同じになるように、同一または異なるフレームレート調節規則を設定し、該フレームレート調節規則に従ってそれぞれのフレームレートを調節することを特徴とする請求項６に記載のデータ処理装置。
15. 前記フレームレート調節規則は、入力映像と出力映像のフレーム数の比で決定される一定間隔ごとのフレームをサンプリングし、残りのフレームを削除することを規定することを特徴とする請求項１３に記載のデータ処理装置。
16. 前記フレームレート調節規則は、出力映像のフレーム数になるまで前景分割映像あるいは背景分割映像のフレームを前後のフレームと比較して変化量の小さいフレームから削除することを規定することを特徴とする請求項１３に記載のデータ処理装置。
17. 前記フレームレート調節規則は、前景分割映像あるいは背景分割映像をさらにいくつかの区間に時間方向に分割し、それぞれの区間から、それらを繋いだ際の再生画像が滑らかになるように、連続するフレーム群を取り出すことを規定することを特徴とする請求項１３に記載のデータ処理装置。
18. 前記統合手段は、各背景分割映像を、それらの時間的ずれに起因する輝度の違いなどを補正したうえで合成して背景映像を生成し、その後、前景分割映像を合成することを特徴とする請求項６に記載のデータ処理装置。
19. 前記統合手段は、各背景分割映像を合成して背景映像を生成し、その後、背景映像と前景分割映像を、それらの時間的ずれに起因する輝度の違いを補正したうえで合成することを特徴とする請求項６に記載のデータ処理装置。
20. 前記再生時間調節手段は、前景分割映像および背景分割映像をそれぞれフレーム番号順に保持するバッファを備え、前景分割映像および背景分割映像のそれぞれに対して同一または異なるフレームレート調節規則を設定し、前記バッファが一杯になる度にフレームレート調節規則に従ってバッファ内の前景分割映像および背景分割映像のフレーム数を調整し、出力映像のフレームレートに従う時間間隔で、最もフレーム番号が小さいものを前記合成部に出力することを特徴とする請求項６に記載のデータ処理装置。

Images