JP2012222651A

JP2012222651A - 映像再生装置、映像再生方法、および映像再生プログラム

Info

Publication number: JP2012222651A
Application number: JP2011087363A
Authority: JP
Inventors: Takashi Sato; 隆佐藤; Mitsuhiro Goto; 充裕後藤; Takeshi Irie; 豪入江; Akira Kojima; 明小島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2011-04-11
Filing date: 2011-04-11
Publication date: 2012-11-12

Abstract

【課題】あらかじめ映像の被写体の動きを検出することなく、直感的な映像再生を可能とする。
【解決手段】複数のフレーム画像からなる映像データを記憶する映像記憶手段１６と、ユーザが入力した初期座標と、ユーザが初期座標を移動させた移動座標とを受け付ける入力手段１２と、所定の時点のフレーム画像上で入力された初期座標の周辺の画像データを探索パターンとし、所定の時点の前後の各フレーム画像において、移動座標の周辺の探索領域の中から、探索パターンに最も類似する類似データ領域の座標を探索するパターン探索手段１４と、探索した各フレーム画像の類似データ領域の座標の中で、移動座標と最も近い類似データ領域の座標を有するフレーム画像を選択するフレーム画像選択手段１３と、選択したフレーム画像を表示する表示手段１１とを備える。
【選択図】図１

Description

本発明は、映像を再生する映像再生装置、映像再生方法、および映像再生プログラムに関する。

コンピュータを用いてデジタル映像を再生する上で、単に映像を先頭から再生して流し見するだけでなく、好きな部分をインタラクティブに巻き戻し・早送り・コマ送りして再生する方法がある。

従来の映像再生方法としては、スライダーのGUI（Graphical User Interface）を用いて、再生する映像のフレームを選ぶものがある。例えば、図７に示すように、マウスやタッチパネル等のポインティングデバイスを用いて、スライダー上のツマミを左右に動かすことによって、フレームを前後にコマ送りし、所望のフレーム画像を表示する。

また、特許文献１には、あらかじめ被写体の動きに合った折れ線型のスライダーを定義し、映像の中に配置しておくことによって、あたかも被写体を動かしているかのように、映像をコマ送り再生する方法が記載されている。

また、非特許文献１には、Particle Video（非特許文献２参照）等の動き検出技術を用いて、画面上の多数の点（パーティクル）の動きをあらかじめ追跡しておき、ポインティングデバイスからの入力座標の動きに一番近い動きに相当するフレームを選択することで、映像再生を実現する方法が記載されている。

また、非特許文献３では、あらかじめSIFT特徴点の追跡により被写体の動きを検出し、検出した被写体の動きを用いて映像再生を実現する方法が記載されている。

特許第3325859号公報

Goldman, D.B., Curless, B., Salesin D., Seitz, S.M., "Interactive Video Object Annotation", Tech Report UW-CSE-2007-04-01, 2007. Sand, P., and Teller, S., "Particle video: LOng-range motion estimation using point trajectories", CVPR'06 2006. Dragicevic, P., Ramos, G., Bibliowitcz, J. Nowrouzezahrai, D., Balakrishnan, R., and Singh, K, "Video Browsing by Direct Manipulation", CHI'08, 2008

以上の従来技術では、あらかじめ被写体の動きに対応した折れ線型のスライダーを設定し、もしくは、被写体の動きを検出しておく必要がある。このため、折れ線型のスライダーを編集する作業負荷が発生し、もしくは、被写体の動きを計算するための計算コストがかかるという問題がある。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、あらかじめ映像の被写体の動きを検出することなく、直感的な映像再生を可能とする映像再生装置、映像再生方法、および映像再生プログラムを提供することにある。

上記目的を達成するため、本発明は、映像再生装置であって、複数のフレーム画像からなる映像データを記憶する映像記憶手段と、ユーザが入力した初期座標と、前記ユーザが前記初期座標を移動させた移動座標とを受け付ける入力手段と、所定の時点のフレーム画像上で入力された前記初期座標の周辺の画像データを探索パターンとし、前記所定の時点の前後の各フレーム画像において、前記移動座標の周辺の探索領域の中から、前記探索パターンに最も類似する類似データ領域の座標を探索するパターン探索手段と、前記パターン探索手段が探索した各フレーム画像の類似データ領域の座標の中で、前記移動座標と最も近い類似データ領域の座標を有するフレーム画像を選択するフレーム画像選択手段と、前記フレーム画像選択手段が選択したフレーム画像を表示する表示手段と、を備える。

また、本発明は、映像再生装置が行う映像再生方法であって、前記映像再生装置は、複数のフレーム画像からなる映像データを記憶する映像記憶部と、ユーザが入力した初期座標と、前記ユーザが前記初期座標を移動させた移動座標とを受け付ける入力ステップと、所定の時点のフレーム画像上で入力された前記初期座標の周辺の画像データを探索パターンとし、前記所定の時点の前後の各フレーム画像において、前記移動座標の周辺の探索領域の中から、前記探索パターンに最も類似する類似データ領域の座標を探索するパターン探索ステップと、前記パターン探索ステップで探索した各フレーム画像の類似データ領域の座標の中で、前記移動座標と最も近い類似データ領域の座標を有するフレーム画像を選択するフレーム画像選択ステップと、前記フレーム画像選択ステップで選択されたフレーム画像を表示する表示ステップと、を行う。

また、本発明は、前記映像再生装置としてコンピュータを機能させるための映像再生プログラムである。

本発明によれば、あらかじめ映像の被写体の動きを検出することなく、直感的な映像再生を可能とする映像再生装置、映像再生方法、および映像再生プログラムを提供することができる。

本発明の実施形態に係る映像再生装置の構成図である。表示部に表示されたゴルフプレーヤのフレーム画像の一例を示す図である。本実施形態の動作を示すフローチャートである。探索パターンと探索ウィンドウを説明する説明図である。ブロックマッチング法を説明する説明図である。初期状態のフレーム画像と、移動後のフレーム画像の一例を示す図である。従来のスライダーを説明するための説明図である。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施形態に係る映像再生装置の構成を示す構成図である。本実施形態の映像再生装置は、映像データを表示する表示部１１と、例えばマウスやタッチパネルなどのユーザの指示を受け付ける入力部１２と、フレーム画像選択部１３と、パターン探索部１４と、フレーム画像復号部１５と、デジタル化された映像データを記憶する映像記憶部１６と、記憶部１７とを備える。

映像記憶部１６に記憶される映像データは、複数のフレーム画像から構成される動画データである。なお、本実施形態の映像データは、例えばＭＰＥＧなどの所定の圧縮方式を用いて圧縮し、映像記憶部１６に記憶されているものとする。

フレーム画像復号部１５は、映像記憶部１６に圧縮して記憶された映像データのフレーム画像を復号する。

入力部１２は、ユーザが入力した初期座標と、ユーザが初期座標を移動させた移動座標とを受け付ける。

パターン探索部１４は、所定の時点のフレーム画像上で入力された初期座標の周辺の画像データを探索パターンとし、所定の時点の前後の各フレーム画像において、移動座標の周辺の探索領域の中から、探索パターンに最も類似する類似データ領域の座標を探索する。なお、本実施形態では、探索方法として、ブロックマッチング法を用いるものとする。

フレーム画像選択部１３は、パターン探索部１４が探索した各フレーム画像の類似データ領域の座標の中で、移動座標と最も近い類似データ領域の座標を有するフレーム画像を選択する。表示部１１は、フレーム画像選択部１３が選択したフレーム画像を表示する。

以上説明した映像再生装置は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた映像再生装置用のプログラムを実行することにより、映像再生装置の各機能が実現される。また、映像再生装置のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。また、映像再生装置は、専用ハードウェア上で動作することとしてもよい。

次に、本実施形態の動作について説明する。

本実施形態では、映像再生操作をするユーザの知識や経験、期待、操作履歴などを活用し、計算コストを削減しながら、直感的な映像再生を可能にする。ユーザは映像を見ると、被写体がどのように動くのかを期待する。たとえば、ゴルフプレーヤの映像の場合、ゴルフクラブを振り回すであろうと期待する。実際にユーザの行動を観察すると、期待する動きをなぞるように操作することが多い。そこで、本実施形態では、ユーザの操作を手がかりとして、あらかじめ映像の被写体の動きを検出することなく、直感的な映像再生を可能とする。

ここでは、映像記憶部１６には、ゴルフプレーヤのスイング映像が記憶されおり、表示部１１には、当該スイング映像の中の図２に示す所定のフレーム画像が表示されている場合を例に、本実施形態の動作を説明する。

図示するフレーム画像上で、ユーザは、入力部１２を用いて、ゴルフプレーヤの手の部分の座標Ｉ₁を初期座標として入力するものとする。図示する例では、矢印で表示したカーソルを操作することで、初期座標Ｉ₁（矢印の先端座標）を入力する。そして、ユーザが、入力部１２を用いて、初期座標Ｉ₁を右上の移動座標Ｉ₂方向に移動（ドラッグ）した場合の動作を説明する。

図３は、本実施形態の映像再生装置の動作を示すフローチャートである。

ここでは、表示部１１に図２に示すフレーム画像（静止画）が表示されており、この状態でユーザは、初期座標Ｉ₁を入力する。これにより、映像再生装置のフレーム画像選択部１３は、初期化処理として、現時点で表示されているフレーム画像のフレーム番号ｎと、ユーザが入力した初期座標Ｉｎ（Ｉ₁）と、現時点で表示されているフレーム画像上の探索パターンＲｎとを、記憶部１７に記憶する（Ｓ１１）。

探索パターンＲｎは、図４に示すように、初期座標Ｉｎ（Ｉ₁）の周辺領域の画像データである。図４に示す探索パターンＲｎは、初期座標Ｉｎ（Ｉ₁）を中心とした、所定のサイズの矩形領域の画像データである。

そして、ユーザは、入力部１２を用いて初期座標Ｉｎ（Ｉ₁）に設定されたカーソルを所望の位置に移動する。このカーソルの移動操作（ドラッグ）により、カーソルが順次移動した位置（移動座標）に応じて、Ｓ１３からＳ１７の処理が繰り返し行われ（Ｓ１２）、対応するフレーム画像がコマ送りで再生される。

すなわち、フレーム画像選択部１３は、カーソルの移動操作により、移動されたことを検知すると、現時点でのカーソルの位置を示す移動座標Ｉｃ（Ｉ_２）を、記憶部１７に記憶する（Ｓ１３）。

そして、フレーム画像選択部１３は、Ｓ１１で記憶部１７に記憶したフレーム番号ｎの前後のフレーム番号（ｄ＝ｎ±１、ｎ±２、・・・、ｎ±Ｄ）の各フレーム画像（探索フレーム画像）について、Ｓ１５およびＳ１６の処理を、フレーム画像復号部１５およびパターン探索部１４を用いて、繰り返し行う（Ｓ１４）。

まず、フレーム画像復号部１５は、フレーム画像選択部１３が指示したフレーム番号ｄのフレーム画像Ｆｄを、映像記憶部１６から読み出し、復号する（Ｓ１５）。

そして、パターン探索部１４は、フレーム画像復号部１５が復号したフレーム画像Ｆｄから、Ｓ１１で記憶部１７に記憶した探索パターンＲｎの画像データに最も類似する画像データの領域の位置を探索する（Ｓ１６）。探索方法としては、本実施形態ではブロックマッチング法を用いることとする。

ブロックマッチング法は、図５に示すように、所定のサイズの探索ウィンドウを設定し、当該探索ウィンドウの中で探索ブロックを１ピクセルずつずらしながら走査して、探索対象の画像データ（探索パターンＲｎ）と最も類似する画像データの探索ブロックの位置を調べる方法である。

図２に示すフレーム画像の場合、図４に示すように移動された移動座標Ｉｃ（Ｉ_２）の周辺を探索ウィンドウとして設定する。図４に示す探索ウィンドウは、移動座標Ｉｃ（Ｉ_２）を中心とした、所定のサイズの矩形領域の画像データである。なお、探索ウィンドウのサイズは、探索パターンＲｎのサイズより大きい。

そして、図５で説明したように、探索パターンＲｎと同じサイズの探索ブロックを、探索ウィンドウの左上から１ピクセルずつずらしながら走査していき、探索パターンＲｎの画像データと最も類似する画像データ（類似データ）の探索ブロックの位置（中心座標）Ｏｄを取得する。

なお、パターン探索部１４は、探索パターンＲｎとの類似度を判定するために、比較する２つの画像データ（探索パターンＲｎの画像データと、探索ブロックの画像データ）の間の距離として、輝度の差の絶対値の和や、差の二乗和を用いることが考えられる。すなわち、以下の式により、輝度の差の絶対値の和、差の二乗和を算出する。

輝度の差の絶対値の和＝Σ｜Ｐ_１−Ｐ_２｜
輝度の差の二乗和＝Σ（Ｐ_１−Ｐ_２）^２
ここで、Ｐ_１とＰ_２は、比較する２つの画像データの特定の画素の輝度値を表す。このほか、ＲＧＢ成分の差の絶対値の和や２乗和や、輝度色ヒストグラムの差の絶対値の和または２乗和等を、画像データ間の距離として用いてもよい。いずれの距離を用いるにせよ、ブロックマッチング法では、探索ウィンドウの中で、最も距離の小さくなる探索ブロックの位置（中心座標）Ｏｄを検出する。

このように、フレーム番号ｎの前後のフレーム番号の各フレーム画像毎にＳ１５およびＳ１６を繰り返し行うことで、フレーム画像選択部１３は、探索パターンＲｎと最も類似する探索ブロックの位置（中心座標）Ｏｄを、各フレーム画像毎に取得する。

そして、フレーム画像選択部１３は、各フレーム毎の最も類似する探索ブロックの位置（中心座標）Ｏｄと、Ｓ１３で記憶部１７に記憶した移動座標Ｉｃ（Ｉ_２）との距離をそれぞれ算出し、移動座標Ｉｃ（Ｉ_２）に最も近い位置（中心座標）Ｏｄの探索ブロックのフレーム画像を選択し、選択したフレーム画像を表示部１１に出力する（Ｓ１７）。

これにより、図６に示すように、Ｓ１１で表示部１１に表示されたフレーム番号ｎのフレーム画像（図６（ａ））において、ユーザが初期座標Ｉ₁を入力し、当該フレーム画像（図６（ａ））上でカーソルを右上の移動座標Ｉ_２に移動させることで、初期座標Ｉ₁が示す箇所の画像（ゴルフプレーヤの手）が、移動座標Ｉ_２に移動したフレーム画像（図６（ｂ））を自動的に検索し、表示する。これにより、ユーザは、あたかもゴルフプレーヤの手を直接つかんで動かしているかのように直感的に映像データを再生することができる。

なお、ユーザのカーソルの移動操作（ドラッグ）により、カーソルの各位置（移動座標）に応じてＳ１３からＳ１７のループ処理が行われるため、例えば図６に示すフレーム画像において、ユーザが、初期位置Ｉ₁から右上の方向にカーソルを移動させていくと、連続的なフレーム画像が、ユーザの操作速度と同じ速度で表示部１１に順次再生される。

以上説明した本実施形態では、ユーザの操作開始時点の初期座標の周辺の画像データを探索パターンとし、前後の各フレーム画像において、移動座標の周辺の探索ウィンドウの中から、探索パターンに最も類似する探索ブロックの座標を探索し、探索した各フレーム画像の最も類似する探索ブロックの座標の中で、移動座標と最も近い距離の探索ブロックを有するフレーム画像を、次に表示すべきフレーム画像として選択する。

これにより、本実施形態では、あらかじめ映像の被写体の動きを検出することなく、直感的な映像再生を可能とする。すなわち、被写体の動きに基づくインタラクティブな映像再生を実現する上で、あらかじめ映像中の被写体の動きを検出しなくても、ユーザの期待に基づく操作を活用して、ユーザの操作する近傍の画像データのみを探索すれば済むため、計算コストを削減することができる。

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、上記実施形態の本映像装置を、ＰＣなどのコンピュータだけでなく、デジタルカメラ、カメラ付き携帯電話、スマートフォンなどで動作させてもよい。

また、上記実施形態では、映像再生装置が単体で、映像生成を行うこととしたが、サーバー・クライアント構成を適用し、サーバ側に計算コストが比較的高いパターン探索部やフレーム画像選択部を備え、クライアント側では、サーバ側から送信される処理結果の画像フレームを表示することとしてもよい。

また、上記実施形態では、映像データは圧縮して映像記憶部１６に記憶されることとしたが、圧縮しない状態で映像記憶部１６に記憶されることとしてもよい。この場合、映像再生装置は、フレーム画像復号部１５を備えなくてもよい。

１１：表示部
１２：入力部
１３：フレーム画像選択部
１４：パターン探索部
１５：フレーム画像復号部
１６：映像記憶部
１７：記憶部

Claims

映像再生装置であって、
複数のフレーム画像からなる映像データを記憶する映像記憶手段と、
ユーザが入力した初期座標と、前記ユーザが前記初期座標を移動させた移動座標とを受け付ける入力手段と、
所定の時点のフレーム画像上で入力された前記初期座標の周辺の画像データを探索パターンとし、前記所定の時点の前後の各フレーム画像において、前記移動座標の周辺の探索領域の中から、前記探索パターンに最も類似する類似データ領域の座標を探索するパターン探索手段と、
前記パターン探索手段が探索した各フレーム画像の類似データ領域の座標の中で、前記移動座標と最も近い類似データ領域の座標を有するフレーム画像を選択するフレーム画像選択手段と、
前記フレーム画像選択手段が選択したフレーム画像を表示する表示手段と、を備えること
を特徴とする映像再生装置。
請求項１記載の映像再生装置であって、
前記パターン探索手段は、ブロックマッチング法を用いて、前記探索パターンに最も類似する類似データ領域の座標を探索すること
を特徴とする映像再生装置。
請求項１記載の映像再生装置であって、
前記映像記憶手段に記憶された映像データのフレーム画像を復号するフレーム画像復号手段をさらに備えること
を特徴とする映像再生装置。
映像再生装置が行う映像再生方法であって、
前記映像再生装置は、
複数のフレーム画像からなる映像データを記憶する映像記憶部を備え、
ユーザが入力した初期座標と、前記ユーザが前記初期座標を移動させた移動座標とを受け付ける入力ステップと、
所定の時点のフレーム画像上で入力された前記初期座標の周辺の画像データを探索パターンとし、前記所定の時点の前後の各フレーム画像において、前記移動座標の周辺の探索領域の中から、前記探索パターンに最も類似する類似データ領域の座標を探索するパターン探索ステップと、
前記パターン探索ステップで探索した各フレーム画像の類似データ領域の座標の中で、前記移動座標と最も近い類似データ領域の座標を有するフレーム画像を選択するフレーム画像選択ステップと、
前記フレーム画像選択ステップで選択されたフレーム画像を表示する表示ステップと、を行うこと
を特徴とする映像再生方法。
請求項４記載の映像再生方法であって、
前記パターン探索ステップは、ブロックマッチング法を用いて、前記探索パターンに最も類似した類似データ領域の座標を探索すること
を特徴とする映像再生方法。
請求項４記載の映像再生方法であって、
前記映像記憶部に記憶された映像データのフレーム画像を復号するフレーム画像復号ステップをさらに行うこと
を特徴とする映像再生方法。
請求項１から請求項３のいずれか一項に記載の映像再生装置としてコンピュータを機能させるための映像再生プログラム。