JP2011155477A - 映像処理装置、映像処理方法及びプログラム - Google Patents

Abstract

【課題】映像中の被写体の動き同一性に基づいて、複数の映像の撮影時の同期位置を検出する。
【解決手段】少なくとも2つの映像データから、前記映像データの撮影時を同期した編集映像を生成する映像処理装置において、前記映像データ毎に、被写体を含む領域である被写体領域を選択する被写体領域選択手段と、前記被写体領域選択手段により選択された前記被写体領域に関する動き情報を算出する動き情報算出手段と、前記動き情報算出手段により算出された前記動き情報に基づき、前記被写体の動きに関する時系列のパターンである動きパターンを作成する動きパターン作成手段と、前記動きパターン作成手段で作成された複数の動きパターンを用いて、前記映像データ間の撮影時の同期位置を検出する同期位置検出手段と、を有する。
【選択図】図２

Description

本発明は、複数の映像の撮影時情報を一致させるための技術に関するものである。

ディジタルカメラ、ディジタルビデオカメラなどの普及により、ディジタル符号化された映像が手軽に入手できるようになった。これらの映像から、オリジナル映像を作成して楽しむことが広がりつつある。オリジナル映像を作成する際には、素材映像を編集する必要がある。

例えば、小学校の運動会では、数多くの親がビデオカメラで自分の子供の姿を撮影する。ビデオカメラ設置位置を変えて、複数のビデオカメラで同じ時刻に同じ走者を撮影した素材映像を使って、走者を多視点から見る映像を作成することがある。この映像を作製するには、複数の素材映像から同時刻に撮影した部分を再生、早送り、巻き戻しをして探し出す必要があり、非常に手間がかかる。

特許文献１に開示される技術では、複数の映像から音声情報を抽出し、音声レベルの時間的変化が類似する時間情報を検出し、この時間情報を利用して補正した音声時間情報を生成する。具体的には、重複した撮影時刻があり、かつ近接する場所で、各々独立に撮影した複数の映像データがある。これらの映像データの音情報を解析し、音声レベルの時間的変化が類似する部分を検出する。この音情報解析結果を利用し、映像データに付与されている撮影時刻差を補正する。

特許文献２に開示される技術では、映像データに付加されている撮影時情報を利用して、映像を編集する。具体的には、映像ファイルに付加されている撮影時情報を、映像編集の作業に利用する映像編集管理テーブルの時刻情報として取り込む。

特開２００９−１０５４８号公報 特開２００４−３０４４８６号公報

しかしながら、従来技術においては以下のような課題がある。特許文献１に開示される技術では、映像中に特徴的な音が無い場合は、撮影時情報を同期できない。また、特許文献２に開示される技術では、映像データに撮影時情報が付与されていない場合は、撮影時情報を同期できない。さらに、映像データに撮影時情報を付与する撮像機器の時刻情報が正確でない場合、撮影時情報を精度よく同期できない。

そこで、本発明の目的は、映像中に特徴的な音が無い場合でも、撮影時情報を同期することにある。

本発明の映像処理装置は、複数の映像データから、前記映像データの撮影時を同期した編集映像を生成する映像処理装置において、前記映像データごとに、被写体を含む領域である被写体領域を選択する選択手段と、前記被写体領域に関する動き情報を算出する算出手段と、前記動き情報に基づき、前記被写体の動きに関する時系列のパターンである動きパターンを作成する作成手段と、前記動きパターンを用いて、映像データ間の撮影時の同期位置を検出する検出手段とを有することを特徴とする。

本発明によれば、映像中に特徴的な音が無い場合でも、撮影時情報を同期できる。また、映像データに撮影時情報が付与されていない場合、もしくは付与された撮影時情報が正確でない場合でも撮影時情報を同期できる。

本発明の実施形態における映像処理装置のハードウェア構成の一例を示す図である。 本発明の第１の実施形態における映像処理装置の機能構成を示す図である。 本発明の第１の実施形態における動き情報を示す図である。 本発明の第１の実施形態における動きパターンの一例を示す図である。 本発明の第１の実施形態におけるパターンマッチングの一例を示す図である。 本発明の実施形態における映像処理装置の画面の一例を示す図である。 本発明の実施形態における映像処理装置の処理を示すフローチャートである。 本発明の第２の実施形態における映像処理装置の機能構成を示す図である。 本発明の第２の実施形態における映像処理装置の被写体領域を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。本実施形態では、複数の映像の撮影時情報を一致させ、編集映像を作成する処理を、映像処理装置で実施した場合について説明する。なお、本発明はこの実施形態に限定されるものではない。

図１は、本実施形態における映像処理装置のハードウェア構成の一例を示す図である。図１において、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２及び／又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３に格納された制御プログラムを実行し、各デバイスを制御する。

ＲＯＭ２は、各種の制御プログラムやデータを保持する。ＲＡＭ４（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）は、ＣＰＵ１のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。

ＨＤＤ３は、各種制御プログラムや各種データを保存する。入力・表示装置５は、ユーザからの入力を受け付け、情報を映像処理装置に入力すると共に、後述する処理結果を表示する。ＣＰＵバス６は、アドレスバス、データバス及びコントロールバスを含む。

制御プログラムは、ＲＯＭ２又はＨＤＤ３に予め記憶されていてもよいし、通信路を介して他の情報装置等からＲＯＭ２又はＨＤＤ３に記憶されてもよい。ＣＰＵ１が、ＲＯＭ２又はＨＤＤ３等に記憶されているプログラムに基づき、処理を実行することにより、後述する映像処理装置の機能、又は後述するフローチャートに係る処理が実現される。

図２は、本実施形態における映像処理装置の機能構成の一例を示す図である。映像データ記憶部２０１はＨＤＤ３に存在する。複数の映像データＡ２０２、映像データＢ２０３を記憶している。映像入力部２０４は、入力・表示装置５でユーザに指定された映像データＡ２０２、映像データＢ２０３を、被写体領域選択部２０５に取り込む。被写体領域選択部２０５は、映像データ毎に被写体が映っている被写体領域を選択する。選択された被写体領域は、映像フレーム画像内の位置座標として保持される。

図３に被写体領域が示されている。映像データＡ２０２の被写体領域は、被写体領域３０１（図３（ａ））、被写体領域３０２（図３（ｂ））である。映像データＢ２０３の被写体領域は、被写体領域３０４（図３（ｄ））、被写体領域３０５（図３（ｅ））である。被写体領域を選択する具体的な方法は、ユーザが映像を目視し、被写体が映っている画面領域を指定して被写体領域を選択する。

または、映像フレーム画像の色、輝度に関する画素値を解析処理して顔検出や物体検出するアルゴリズムを用いて、被写体領域を選択してもよい。または、映像フレーム画像の色に関する画素値を解析処理して、所定の色の領域を、被写体領域として選択してもよい。または、映像フレーム画像の輝度に関する画素値を解析処理して、所定の輝度の領域を、被写体領域として選択してもよい。または、映像フレーム画像の色もしくは輝度の境界部をエッジとして検出し、このエッジ形状が所定の形状である領域を、被写体領域として選択してもよい。

動き情報算出部２０６は、被写体領域選択部２０５で選択された被写体領域に関する動き情報を算出する。具体的には、被写体領域の中心、重心の位置の時間的変化量である。また、被写体領域の輪郭、外形の時間的変化量である。また、被写体領域内の画素の移動に関する動きベクトルであり、一般的にオプティカルフローと呼ばれている。本実施例では、動きベクトルを動き情報とする。

図３に映像データＡ２０２と映像データＢ２０３の動き情報を示している。動き情報は動きベクトルである。映像データＡ２０２に関する動きベクトル３０３（図３（ｃ））と、映像データＢ２０３に関する動きベクトル３０６（図３（ｆ））を示す。動きベクトル３０３（図３（ｃ））の算出方法を説明する。被写体領域３０１（図３（ａ））と、被写体領域３０２（図３（ｂ））の関係は、撮影時間的に前後の関係である。被写体領域３０１（図３（ａ））が前で、被写体領域３０２（図３（ｂ））が後である。よって、被写体領域３０１（図３（ａ））内の所定の画素の、被写体領域３０２（図３（ｂ））における移動を算出する。この移動の軌跡を動きベクトルとする。例えば、所定の画素とは、画像のエッジに関する画素である。また、画像空間的に近傍の複数の画素を、１つのグループとしてもよい。同様に、動きベクトル３０６（図３（ｆ））を、被写体領域３０４（図３（ｄ））と被写体領域３０５（図３（ｅ））から算出する。

さらに以下の処理を行う場合がある。映像を撮影した撮影装置の操作、移動、撮影者の手ブレが、被写体領域に関する動き情報に及ぼす影響を補正する。撮影装置の操作とは、ズームイン、ズームアウト等である。撮影装置の移動とは、パン、ティルト、ドリー等である。具体的な補正方法を説明する。まず、撮影情報作成を行う。被写体領域以外の画素値の変化から動きベクトルを生成し、この動きベクトルを撮影情報とする。そして、撮影情報に基づいて、動き情報を補正する。撮影情報である動きベクトルとは逆の方向に、被写体領域に関する動き情報を補正する。または、撮影時に撮影装置により映像データに付与される、撮影装置の操作、移動に関する情報を撮影情報とする。この撮影情報で、被写体領域に関する動き情報を補正する。例えば、撮影装置の操作がズームインの場合、被写体領域をズーム倍率の逆数で縮小処理する。

動きパターン作成部２０７は、動き情報算出部２０６で算出された動き情報から、被写体の動きに関する時系列パターンである動きパターンを作成する。図４に、動きパターンを示す。映像データＡ２０２の動きパターン４０３（図４（ａ））と、映像データＢ２０３の動きパターン４０６（図４（ｂ））を示す。

具体的な、動きパターン４０３（図４（ａ））を作成する方法を説明する。動き情報算出部２０６で算出された、動きベクトル３０３（図４（ａ））を用いる。すべての動きベクトル３０３（図３（ｃ））の大きさを加算した総和値である、動きベクトル和４０１（図４（ａ））を算出する。動きベクトル和４０１（図４（ａ））が、所定の閾値４０２（図４（ａ））以上の映像フレームを“１”とする。それ以外の映像フレームを“０”とする。この２値の時系列パターンを動きパターン４０３（図４（ａ））とする。同様に、動きパターン４０６（図４（ｂ））を、動きベクトル和４０４（図４（ｂ））と閾値４０５（図４（ｂ））から作成する。

同期位置検出部２０８は、動きパターン作成部２０７で作成した、複数の動きパターンを、パターンマッチングする。パターンマッチングの結果、最もパターンが一致する点を、映像データ間の撮影時の同期位置と判定する。具体例として、パターンマッチングの方法として、テンプレートマッチングを行う場合を説明する。映像データＡ２０２で作成された動きパターン４０３（図４（ａ））と、映像データＢ２０３で作成された動きパターン４０６（図４（ｂ））がある。動きパターン４０６（図４（ｂ））をテンプレートとし、動きパターン４０３（図４（ａ））とテンプレートマッチングを行う。この時、動きパターン４０６（図４（ｂ））の全体ではなく、任意の一部を指定してテンプレートを作成してもよい。時間シフト５０１（図５（ａ））、時間シフト５０２（図５（ｂ））、時間シフト５０３（図５（ｃ））しながら、パターンマッチングを行う。時間シフト５０３（図５（ｃ））において、最もパターンが一致する点となる。時間シフト５０３（図５（ｃ））させた地点を、映像データＡ２０２と映像データＢ２０３の撮影時の同期位置とする。

本実施形態では動き情報を２値に変換しパターンマッチングを行う。しかし、これに限られるものではなく、Ｎ値や増減パターンのマッチングなどの一般的なパターンマッチング手法であってもよい。

タイムライン作成部２０９は、映像データＡ２０２と映像データＢ２０３の共通のタイムラインを作成する。同期位置検出部２０８で判定された映像データＡ２０２と映像データＢ２０３の同期位置と、映像データＡ２０２と映像データＢ２０３の撮影時を用いて作成する。映像データＡ２０２、もしくは映像データＢ２０３の撮影時を基準時とし、同期位置である時間シフト５０３（図５（ｃ））で補正して、共通のタイムラインを作成する。

図６に映像処理装置の画面を示す。図７に映像処理装置の処理のフローチャートを示す。Ｓ７０１において、映像処理装置は、ユーザによる映像Ａ選択ボタン６０１の操作入力を検出する。映像データＡ２０２が映像入力部２０４に取り込まれる。Ｓ７０２において、映像処理装置は、ユーザによる映像Ｂ選択ボタン６０２の操作入力を検出する。映像データＢ２０３が映像入力部２０４に取り込まれる。Ｓ７０３において、映像処理装置は、ユーザによるオブジェクト選択ボタン６０３の操作入力を検出する。被写体領域選択部２０５において、映像データＡ２０２、映像データＢ２０３の映像フレームが所定の間隔で表示される。ユーザが映像フレームを目視し、被写体が映っている画面領域を指定して被写体領域を選択する。映像データＡ２０２では被写体領域３０１（図３（ａ））と被写体領域３０２（図３（ｂ））が、映像データＢ２０３では被写体領域３０４（図３（ｄ））と被写体領域３０５（図３（ｅ））が選択される。

Ｓ７０４において、映像処理装置は、ユーザによるタイムライン同期ボタン６０４の操作入力を検出する。まず、動き情報算出部２０６にて、映像データＡ２０２に関する動きベクトル３０３（図３（ｃ））と、映像データＢ２０３に関する動きベクトル３０６（図３（ｆ））が算出される。映像処理装置は、動きベクトル３０３（図３（ｃ））を、被写体領域３０１（図３（ａ））と被写体領域３０２（図３（ｂ））から算出する。また、映像処理装置は、動きベクトル３０６（図３（ｆ））を、被写体領域３０４（図３（ｄ））と被写体領域３０５（図３（ｅ））から算出する。

そして、映像処理装置は、動きパターン作成部２０７にて、映像データＡ２０２の動きパターン４０３（図４（ａ））と、映像データＢ２０３の動きパターン４０６（図４（ｂ））を作成する。映像処理装置は、動きパターン４０３（図４（ａ））を、動きベクトル和４０４（図４（ｂ））と閾値４０５（図４（ｂ））で作成する。また、映像処理装置は、動きパターン４０６（図４（ｂ））を、動きベクトル和４０４（図４（ｂ））と閾値４０５（図４（ｂ））で作成する。そして、同期位置検出部２０８にて、動きパターン４０３（図４（ａ））と動きパターン４０６（図４（ｂ））をパターンマッチングする。

図５にパターンマッチングの概要を示す。パターンマッチングの結果、動きパターン４０３（図４（ａ））を基準とし、動きパターン４０６（図４（ｂ））を時間シフト５０３（図５（ｃ））させた地点でパターンが最も一致する。よって、映像データＡ２０２と映像データＢ２０３の撮影時の同期位置は、時間シフト５０３（図５（ｃ））の地点となる。

そして、タイムライン作成部２０９は、映像データＡ２０２と映像データＢ２０３の共通のタイムラインを作成する。映像データＡ２０２の撮影時を基準時とし、時間シフト５０３（図５（ｃ））で補正して、共通のタイムラインを作成する。作成されたタイムラインを、画面のタイムライン表示部６０６に表示する。

Ｓ７０５において、映像処理装置はユーザによる映像作成ボタン６０５の操作入力を検出する。編集映像が作成され、作成された映像が画面の映像表示部６０７に表示される。映像データＡ２０２と映像データＢ２０３がタイムライン作成部２０９で作成された共通のタイムライン上に配置される。編集映像の画面はマルチ画面となっている。大きい画面に映像データＡが再生されている。小さい画面に映像データＢが再生されている。

よって、本実施形態における映像処理装置を利用することで、同一シーンを複数のカメラで撮影した映像を用いて、撮影時が同期した編集映像を簡易に作成することができる。

次に、本発明の第２の実施形態について説明する。本実施形態では、複数の映像の撮影時情報を一致させる処理を、映像処理装置で実施した場合について説明する。第１の実施形態との違いは、同一被写体領域選択部を利用することである。なお、本発明はこの実施形態に限定されるものではない。本実施形態の映像処理装置のハードウェア構成及び操作のフローチャートは第１の実施形態と同じであるため、本実施形態では説明を省略する。

図８に本実施形態における映像処理装置の機能構成を示す。２０１〜２０９は第１の実施形態と同じであるため、説明を省略する。同一被写体領域選択部８０１は、被写体領域選択部２０５で選択された被写体領域において、同一の被写体領域を識別し、同一被写体領域を選択する。図９に、映像データＡ２０２と映像データＢ２０３の被写体領域が示されている。映像データＡ２０２の被写体領域は、被写体領域９０１（図９（ａ））、被写体領域９０２（図９（ａ））、被写体領域９０３（図９（ｂ））、被写体領域９０４（図９（ｂ））である。映像データＢ２０３の被写体領域は、被写体領域９０５（図９（ｃ））、被写体領域９０６（図９（ｄ））である。この６つの被写体領域に対して、色、輝度に関する画素値を解析処理して顔検出を行う。被写体領域毎に１つ、合計で６つの顔が検出される。この６つの顔に対して、顔識別処理を行う。顔識別処理は、色、輝度に関する画素値を解析処理して、検出された顔の色合いおよび形状が、似ているものを判別する。被写体領域９０１（図９（ａ））、被写体領域９０３（図９（ｂ））、被写体領域９０５（図９（ｃ））、被写体領域９０６（図９（ｄ））で検出された顔が同一の顔と識別される。そして、識別結果に基づいて、被写体領域９０１（図９（ａ））、被写体領域９０３（図９（ｂ））、被写体領域９０５（図９（ｃ））、被写体領域９０６（図９（ｄ））が同一被写体領域と選択される。その他の同一被写体領域を選択する方法を、以下に記載する。映像フレーム画像の色に関する画素値を解析処理して、同じ色の領域を、同一被写体領域として選択してもよい。または、映像フレーム画像の輝度に関する画素値を解析処理して、同じ輝度の領域を、同一被写体領域として選択してもよい。または、映像フレーム画像の色もしくは輝度の境界部をエッジとして検出し、このエッジ形状が似ている領域を、同一被写体領域として選択してもよい。または、色解析結果、輝度解析結果、エッジ解析結果を組み合わせて、同一被写体領域を選択してもよい。または、顔識別処理に限定せず、オブジェクト識別、物体識別、人物識別でもよい。

よって、同一被写体領域選択部があることで、同一の被写体でないが動きパターンが似ている場合に起こる、撮影時同期位置の誤検出を防止することができる。したがって、撮影時同期位置判定の精度を向上することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１：ＣＰＵ、２：ＲＯＭ、３：ＨＤＤ、４：ＲＡＭ、５：入力・表示装置

Claims (9)

1. 複数の映像データから、前記映像データの撮影時を同期した編集映像を生成する映像処理装置において、
   前記映像データごとに、被写体を含む領域である被写体領域を選択する選択手段と、
   前記被写体領域に関する動き情報を算出する算出手段と、
   前記動き情報に基づき、前記被写体の動きに関する時系列のパターンである動きパターンを作成する作成手段と、
   前記動きパターンを用いて、映像データ間の撮影時の同期位置を検出する検出手段とを有することを特徴とする映像処理装置。
2. 前記選択手段は、前記映像データの映像フレーム画像の色に関する画素値に基づいて被写体領域を選択することを特徴とする請求項１に記載の映像処理装置。
3. 前記選択手段は、前記映像データの映像フレーム画像の輝度に関する値に基づいて被写体領域を選択することを特徴とする請求項１に記載の映像処理装置。
4. 前記選択手段は、前記映像データの映像フレーム画像の色もしくは輝度の境界に基づいて被写体領域を選択することを特徴とする請求項１に記載の映像処理装置。
5. 前記算出手段は、前記被写体領域の座標の変化量を算出することを特徴とする請求項１に記載の映像処理装置。
6. 前記算出手段は、前記被写体領域の画素に関する動きベクトルを算出することを特徴とする請求項１に記載の映像処理装置。
7. 前記検出手段は、前記作成手段で作成された複数の動きパターンを用いて、パターンマッチングを行い、前記パターンマッチングの結果に基づいて、前記映像データ間の撮影時の同期位置を検出することを特徴とする請求項１に記載の映像処理装置。
8. 複数の映像データから、前記映像データの撮影時を同期した編集映像を生成する映像処理方法において、
   前記映像データごとに、被写体を含む領域である被写体領域を選択する選択工程と、
   前記被写体領域に関する動き情報を算出する算出工程と、
   前記動き情報に基づき、前記被写体の動きに関する時系列のパターンである動きパターンを作成する作成工程と、
   前記動きパターンを用いて映像データ間の撮影時の同期位置を検出する検出工程とを有することを特徴とする映像処理方法。
9. 複数の映像データから、前記映像データの撮影時を同期した編集映像を生成する映像処理方法をコンピュータに実行させるためのプログラムにおいて、
   前記映像データごとに、被写体を含む領域である被写体領域を選択する選択ステップと、
   前記被写体領域に関する動き情報を算出する算出ステップと、
   前記動き情報に基づき、前記被写体の動きに関する時系列のパターンである動きパターンを作成する作成ステップと、
   前記動きパターンを用いて映像データ間の撮影時の同期位置を検出する検出ステップとをコンピュータに実行させるためのプログラム。

Images