JP2016092795A - 動画像再生装置、および動画像再生方法 - Google Patents

Abstract

【課題】より大きなブレ低減効果を発揮する事ができ、また撮影された動画像の画角よりも広い画角での再生画像を合成するため、再生画像内に所望の被写体を留めておきやすい動画像再生装置、および動画像再生方法を提供すること。【解決手段】動画像再生時に、動画像再生時間を１つ以上の区間に区切り、各動画像再生区間において、フレーム間のグローバル動きベクトルを算出し、算出した各フレーム間のグローバル動きベクトルから、各動画像再生区間における画像重心を算出し、動画像再生区間の各フレームを、位置合わせ合成して生成される合成画像から、上記画像重心を中心とし、縦横比が動画像と同じで、かつ画角が広くなるように画像を切り出し、上記切り出し画像を下地画像として、その上に各フレームの画像を位置合わせして重畳して表示することで、動画像を再生することを特徴とする。【選択図】図１

Description

本発明は、撮影済み動画像に対し、手振れ補正しながら再生を行う動画像再生装置、および動画像再生方法に関する。

近年、小型軽量ビデオカメラの中には、頭に固定したり、胸に装着したりした状態で撮影するウェラブルカメラと呼ばれる撮像装置が存在する。このような撮影方法の場合、撮影者が撮影画像を常時確認しながら撮影するわけではなく、また体の動きと直接連動して撮像装置も動いてしまうため、撮影された動画像はブレが大きく、また、必ずしも撮影したい被写体を捉えられていないという課題が生じる。このようなブレのある動画像に対して、再生時に画像処理によりブレを低減させて再生する装置が存在する（特許文献１参照）。

特開２００７−１６４５７０号公報

しかしながら、特許文献１では、ブレ画像のブレ量の低減がなされるだけで、十分にブレが補正された物にはならない場合がある。また先に挙げた課題の一つである、撮影したい被写体を捉えきれない場合があるという課題が残る。

そこで、本発明の目的は、より大きなブレ低減効果を発揮する事ができ、また撮影された動画像の画角よりも広い画角での再生画像を合成するため、再生画像内に所望の被写体を留めておきやすい動画像再生装置、および動画像再生方法を提供することにある。

上記の目的を達成するために、本発明の動画像再生装置、および動画像再生方法は、動画像再生時に動画像再生時間を１つ以上の区間に区切り、各動画像再生区間において、フレーム間のグローバル動きベクトルを算出し、算出した各フレーム間のグローバル動きベクトルから、各動画像再生区間におおける画像重心を算出し、動画像再生区間の各フレームを、位置合わせ合成して生成される合成画像から、上記画像重心を中心とし、縦横比が動画像と同じで、かつ画角が広くなるように画像を切り出し、上記切り出し画像を下地画像として、その上に各フレームの画像を位置合わせして重畳して表示することで、動画像を再生することを特徴とする。

本発明によれば、より大きなブレ低減効果を発揮する事ができ、また撮影された動画像の画角よりも広い画角での再生画像を合成するため、再生画像内に所望の被写体を留めておきやすい動画像再生装置、および動画像再生方法の提供を実現できる。

本発明の実施形態を適用可能な動画像再生装置の構成例 実施例１における動画像再生処理フローチャート グローバル動きベクトル算出方法の説明図 画像重心算出方法の説明図 位置合わせ合成方法の説明図 下地画像生成方法の説明図 手ぶれ補正画像生成方法の説明図 手ぶれ補正画像生成方法の説明図 手ぶれ補正画像生成方法の説明図 手ぶれ補正画像生成方法の説明図 実施例２における動画像再生処理フローチャート

以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。以下に説明する実施の形態は、本発明の実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［実施例１］
図１は本発明の実施形態を適用可能な動画像再生装置の一例の構成を示す。図１に示されるように、動画像再生装置は、一般的な情報処理装置と同様な構成を有する。

図１において、内部バス１１０に対してＣＰＵ１０１、ハードディスクドライブ（ＨＤＤ）１０２、メモリ１０３、表示制御部１０４、入力部１０５、カードコントローラ１０６、動画像復号化部１０９および画像処理部１１１が接続される。内部バス１１０に接続される各部は、内部バス１１０を介して互いにデータのやりとりを行うことができ、メモリ１０３はそれぞれのブロックのデータやりとりのためのバッファとして利用される。

ハードディスクドライブ１０２は、動画像データやその他のデータ（ファイルとして記録されていてもよい）、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。メモリ１０３は、例えばＲＡＭからなる。制御手段、計算手段としてのＣＰＵ１０１は、例えばハードディスクドライブ１０２に格納されるプログラムに従い、メモリ１０３をワークメモリとして用いて、この動画像再生装置１００の各部を制御し、様々な制御、処理を行う。なおＣＰＵ１０１が動作するためのプログラムは、ハードディスク１０２に格納されるとは限らず、例えば図１には図示されないＲＯＭに予め記憶しておいてもよい。

入力部１０５は、ユーザ操作を受け付け、操作に応じた制御信号を生成し、ＣＰＵ１０１に供給する。例えば入力部１０５は、ユーザ操作を受け付ける入力デバイスとして、４方向キーや各種操作ボタンなどを有する。ＣＰＵ１０１は、入力デバイスに対してなされたユーザ操作に応じて入力部１０５で生成され、供給される制御信号に基づき、プログラムに従いこの動画像再生装置１００の各部を制御する。これにより、動画像再生装置１００に対し、ユーザ操作に応じた動作を行わせることができる。

表示制御部１０４は、ディスプレイ１０７に対して画像を表示させるための表示信号を出力する。例えば、表示制御部１０４に対して、ＣＰＵ１０１がプログラムに従い生成した表示制御信号が供給される。表示制御部１０４は、この表示制御信号に基づき表示信号を生成してディスプレイ１０７に対して出力する。また表示制御部１０４は、ＣＰＵ１０１が生成する表示制御信号に基づき、ＧＵＩ(Graphical User Interface)を構成するＧＵＩ画面をディスプレイ１０７に対して表示したり、メモリ１０３上に展開されたビデオフレームデータを参照して、ディスプレイ１０７に表示したりといった処理を行う。

カードコントローラ１０６は、外部記録媒体としてのメモリカード１０８が装着可能とされ、ＣＰＵ１０１の制御に基づき、装着されたメモリカード１０８からのデータの読み出しや、データの書き込みを行う。

復号化部１０９は、ハードディスクドライブ１０２やメモリカード１０８に記録された動画像データからディスプレイ１０７に表示可能なデータ形式にデータを復号する機能を有する。復号化前後のデータはメモリ１０３を介して、各ブロック間で受け渡される。尚、本復号化部は、ＣＰＵ１０１によるソフトウェア処理により実現しても構わない。画像処理部１１１は、メモリ上に保持されている２枚のフレーム画像から、動きベクトルを求めるベクトル算出処理や、２枚のフレームの位置合わせ処理を行ない、１枚の画像に合成する合成処理等の処理を行なう。詳細は後述する。

図２のフローチャートを用いて、本発明の動画像再生装置における再生方法について説明する。

本実施例の動画像再生装置では、再生時間を複数の再生期間に区切り、その期間毎の再生を連続して行うことで、動画像全体の再生を行う（再生時間が数秒のような短い動画像（スナップショット動画等）を再生する場合には、全体を一つの再生期間としても良い）。再生単位となる期間Ｔの間の動画像再生方法について、図２のフローチャートに示す。期間Ｔは固定である必要はなく、例えば３００フレーム時間等の数秒程度の期間が考えられる。

期間Ｔの再生処理（図２フローチャート）において、符号Ｓ２０１から符号Ｓ２０５までは再生準備処理であり、再生準備処理の結果により、符号Ｓ２０６の通常再生処理を行うのか、符号２０７から２０８までの手ぶれ補正再生処理を行うのかを判定する。再生準備処理は、符号Ｓ２０２の各フレーム間のグローバル動きベクトル算出処理、符号Ｓ２０３における期間Ｔの画像重心算出処理、符号Ｓ２０４の手ぶれ有無判別処理に分けられる。

まず、符号Ｓ２０２のフレーム間のグローバル動きベクトル算出処理について、図３を用いて説明する。記録メディアから読み出され、動画像復号化部により復号された動画像を構成する各フレームの画像データは、メモリ１０３に保持される。連続するフレーム間において、それぞれのフレームの画像の移動方向を画像処理部１１１により算出する。例えば以下のように算出できる。一方のフレーム（時間的に前のフレーム）から複数の小領域（符号３０１）を抽出し、それぞれがもう一方のフレームのどの位置に移動しているかを、それぞれの小領域の輝度情報等の周辺比較によって算出する（符号３０２）。周辺比較範囲には制限を設け、比較範囲内で一致する領域が見つからなかった場合には処理を打ち切る（符号３０３）。

算出された複数の省領域の動きベクトルから、あきらかに他の省領域とは動きベクトルが異なる方向、または異なる動き量を示すもの（符号３０４、３０５、例えば抽出した小領域が、移動する物体に該当する場合）は除外し、その他の動きベクトルの平均を算出することで、フレーム間のグローバル動きベクトルを算出する。比較処理が打ち切られた小領域が、ある一定数以上存在する場合には、グローバル動きベクトルは算出不能とし、以降の各フレーム間の算出処理も打ち切る。本処理で算出したフレーム間のグローバル動きベクトルは、後の処理に利用するため、ワークメモリ上に、その履歴を保持しておく。

期間Ｔのグローバル動きベクトルの履歴が算出できると、期間Ｔの画像重心を算出する（ステップＳ２０３の画像重心算出処理）。図４のように、例えば期間Ｔの最初のフレームの画像重心座標を（Ｘ０，Ｙ０）として、ここから各フレーム間のグローバル動きベクトルより、各フレームｎの画像重心（Ｘｎ、Ｙｎ）を算出し、全フレームの平均をとることで、期間Ｔの画像重心（Ｘｔ，Ｙｔ）を算出可能である。また、算出に用いた各フレームの画像重心（Ｘｎ，Ｙｎ）の履歴も、ワークメモリ上に保持しておく。

次に期間Ｔの間の手ぶれ有無判別処理を行う（ステップＳ２０４）。本実施例では、以下のような場合には手振れではないと判別する。前述のグローバル動きベクトル算出処理（ステップＳ２０２）において、グローバルベクトルの算出が不能のフレームがあった場合には、手振れ有無も判別不能とし、手ぶれではないと判別する。また、期間Ｔのグローバル動きベクトルが一定方向に動き続ける場合も、手ぶれではない（撮像装置のパンニング）と判別する。

ステップＳ２０５で、手振れはないと判断された場合は、ステップＳ２０６に進み、期間Ｔの再生においては通常の再生処理（手ぶれ補正処理は行なわない）を実行する。手振れありと判断された場合には、ステップＳ２０７以降の再生処理を実行する。本発明の手ぶれ補正再生処理では、期間Ｔの動画像再生時の最初に、期間Ｔの動画像の各フレームを位置合わせして合成する事によって得られる合成画像を、再生時に利用する。

図５に符号１１１の画像処理部によって実施される位置合わせ合成の様子を示す。期間Ｔの動画像中に、フレームが（ｆ＋１）枚存在する場合、先に求めてメモリ上に保持しておいた各フレーム（フレーム番号ｎ）の画像重心（Ｘｎ、Ｙｎ）をもとに、各フレームの位置合わせ合成を行なう。この時に、フレーム番号ｆのフレームからフレーム番号０のフレームを、時間順には逆に上に重ねて（フレーム番号０のフレームが一番上になるように）位置合わせ合成を行なう。

このように合成した結果、図６の符号６０１のように合成画像が生成される。期間Ｔの画像重心（Ｘｔ，Ｙｔ）に、動画像の画角６０２を重ねると図６のようになる。ここから画像の縦横比を維持しながら、画角をひろげて行き、合成画像６０１からはみ出さない最大の画角が符号６０３で示される。この符号６０３の画角で、合成画像を切り抜いたものを、下地画像と呼ぶことにする。

下地画像の生成に続き、期間Ｔの動画像の手ぶれ補正再生を行なう（ステップＳ２０８）。まずはじめに、先に作成した下地画像を表示領域いっぱいに表示する。これが時刻０の再生画像となる（図７（ａ））。その上に各フレームの画像（フレーム１、フレーム２、・・・・）を、先に求めた各フレームの画像重心情報をもとに、位置合わせをしながら重畳していく事で、時刻１、２、・・・の再生フレームを生成する。つまり前の時刻の再生画像が、次の時刻の下地画像となり、その上に各フレームの画像が重畳され、再生画像が生成される。重畳した際には、表示領域からはみ出す部分（符号７０１）や、表示領域に不足する部分（符号７０３）もあるが、不足した部分については、下地画像がそのまま表示される。このような処理を繰り返すことで、期間Ｔの動画像が再生される。

以上説明した通り、本実施例の動画像再生装置では、下地画像を基準に位置合わせされた画像が、各フレームの画像として再生されるため、期間Ｔの間、手ブレのない動画像が再生される。また下地画像は、本来の撮影動画像の画角よりも広く合成されているため、画角の広い動画像を生成する事ができるため、被写体を再生画像内に留め易いという効果がある。

［実施例２］
実施例１における動画像再生装置の場合、複数の再生期間を設け、再生期間毎に画像重心を算出して、再生時の手ぶれ補正を実現している。しかしながら、再生期間の遷移時に、画像重心の大きな変化があった場合には、急激な画像の変化が生じてしまい、好ましくない。本実施例では、この問題に対処するために、図８のような処理で再生を行なう。図２のフローチャートとの差異は、ステップＳ８０１とＳ８０２の部分である。

本実施例では、再生期間の画像重心が算出された後、前の再生期間の画像重心との差分を確認する（ステップＳ８０１）。差分の算出は、現在処理中の再生期間の最初のフレームと一つ前の再生期間の最終フレーム間のグローバル動きベクトルを求める事で、重心の差分も求める事ができる。算出された差分が、決められた閾値よりも大きい場合には、再生期間の短縮を行ない、再度新しい再生期間内での画像重心の算出を行なう。閾値以下になるまで、このループを行なう事で、再生期間の遷移時の画像重心の大きな変化を抑制する事が可能となる。

閾値を小さくすると、再生期間の見直しが頻発する可能性があるため、再生準備時間が大きくなってしまう可能性がある。ある再生期間の手ぶれ補正再生時間中に、次の再生期間の再生準備処理が完了している事ができれば（パイプライン処理）、動画像の再生が滞ることなく実施できるため、閾値は利用者が適当な値を選択できるように構成しておく。

１０１ ＣＰＵ、１０２ ハードディスクドライブ、１０３ メモリ（ＲＡＭ）、
１０４ 表示制御部、１０５ 入力部（ユーザ操作部）、１０６ カードコントローラ、
１０７ ディスプレイ、１０８ メモリカード、１０９ 動画像復号化部、
１１０ 内部バス、１１１ 画像処理部

Claims (4)

1. 動画像再生時に、動画像再生時間を１つ以上の区間に区切り、
   各動画像再生区間において、フレーム間のグローバル動きベクトルを算出し、
   算出した各フレーム間のグローバル動きベクトルから、各動画像再生区間における画像重心を算出し、
   動画像再生区間の各フレームを、位置合わせ合成して生成される合成画像から、上記画像重心を中心とし、縦横比が動画像と同じで、かつ画角が広くなるように画像を切り出し、
   上記切り出し画像を下地画像として、その上に各フレームの画像を位置合わせして重畳して表示することで、動画像を再生することを特徴とする動画像再生装置、および動画像再生方法。
2. 前記切り出し画像は、前記合成画像内で最大画角となるように切りだすことを特徴とする請求項１に記載の動画像再生装置、および動画像再生方法。
3. 前記合成画像は、動画像再生区間の各フレームを時間的には逆方向にフレームを重畳して行くことで合成することを特徴とする請求項１又は請求項２に記載の動画像再生装置、および動画像再生方法。
4. 前後の動画像再生区間における画像重心の差分が、所定の閾値以上の場合には、処理中の動画像再生区間の時間を短縮し、画像重心の差分が小さくなるように処理することを特徴とする請求項１乃至請求項３の何れか一項に記載の動画像再生装置、および動画像再生方法。