JP2015109497A - 動画再生装置、動画再生方法及びプログラム - Google Patents

Abstract

【課題】画面上で被写体位置が変化しない動画に対して、画面上での被写体のドラッグ操作を可能とし、被写体を破綻させることなく所望のフレーム画を表示させる。
【解決手段】動画を映像モニタの表示画面上に再生するビデオカメラ１００において、動画を構成する複数のフレームの画像から、被写体検出部１１５が被写体を検出し、パン・チルト検出部１１６が背景の動きを検出し、検出した背景の動きに基づいてスティッチ合成部１１８が複数のフレームの画像を合成して、被写体を含まないスティッチ画を生成する。動画再生中に映像モニタに表示された被写体に対する所定の操作に応じて、ＣＰＵ１１０は、動画再生中のフレームに含まれる被写体の被写体像をスティッチ画の対応する位置に重畳表示した画像を映像モニタに表示させる。
【選択図】図３

Description

本発明は、動画の再生制御を行うためのユーザインタフェース技術に関する。具体的には、ユーザが画面上の被写体にタッチし、被写体軌跡に沿ってタッチした被写体をドラッグして被写体を動かすことで、被写体位置を基準とした所望のフレームを指定するユーザインタフェースの使い勝手を改善する技術に関する。

動画再生ユーザインタフェース（以下「動画再生ＵＩ」と記す）として、画面上の被写体にユーザが直接にタッチしてドラッグすることで、直観的な操作を可能にする技術が知られている。このような操作が可能な動画再生ＵＩについて、図９を参照して説明する。

図９（ａ）は、被写体が時間の経過にしたがって画面内を移動する動画の映像例を時系列で示す図である。図９（ｂ）は、前述の動画再生ＵＩによる操作が可能な、図９（ａ）の動画の再生画面の映像例を示す図であり、図９（ｂ）には、被写体軌跡が背景に重畳表示されている。動画が再生表示される表示装置はタッチパネル機能を備えており、図９（ｂ）の画面上の被写体にタッチして被写体軌跡に沿ってドラッグすると、ドラッグ中の位置に被写体が存在するフレームの画像（以下「フレーム画」という）が表示される。このような動画再生ＵＩによれば、これまで一般的に用いられてきているシークバー操作等と比較すると、ユーザは所望のフレーム位置を直観的に指定することができる（例えば、非特許文献１参照）。

しかし、このような動画再生ＵＩは、どのような動画に対しても適用することができるというものではない。これについて、図１０を参照して説明する。図１０（ａ）は、主たる被写体である自動車をパンニングにより追尾して撮影するときの被写体と背景との関係を模式的に示す図である。図１０（ｂ）は、図１０（ａ）の撮影方法によって撮影された動画の再生画面の映像例を示す図である。

図１０（ａ）に示す背景の前を被写体である自動車が通過する動画を撮影する際に、自動車をパンニングにより追尾して撮影すると、図１０（ｂ）に示すように、その再生動画では、基本的に画面内での自動車の位置は変化せずに、背景が流れるように変化する。つまり、時間が経過しても被写体の画面上の位置が変化せず、被写体軌跡は１点に集中してしまう。このような再生動画に対しては、再生画面内の被写体にタッチしてドラッグするという操作は馴染まず、被写体が実際には動いているにもかかわらず、ユーザは所望のフレームを指定することができない。

このように被写体の位置が変化せずに背景が移動する動画に対して、動画再生中に被写体に対するタッチとドラッグを可能にする方法としては、次のような方法が考えられる。即ち、所定の時間範囲内のフレームの背景画像を滑らかに接続して合成する（以下「スティッチ合成」という）ことでより広い領域の画像を作成し、作成した画像上に被写体と被写体軌跡とを重畳表示する。これにより、動画再生中に被写体に対するタッチとドラッグが可能になる。

図１０（ｃ）は、図１０（ａ）の動画のフレーム画をスティッチ合成し、被写体と被写体軌跡を重畳表示した動画の映像例を示す図である。図１０（ｃ）の動画の作成には、例えば、広角の背景画像を合成するパノラマ合成において被写体を高精度に除去する技術や、パノラマ合成時に動く被写体を分断しないように繋ぎ目を決める技術を用いることができる（例えば、特許文献１，２参照）。そして、図１０（ｃ）の動画では、被写体にタッチし、重畳表示された被写体軌跡に沿って被写体をドラッグすることで、所望のフレームを指定して表示させることができる。

しかし、こうしてスティッチ合成された画像に対して、再生画面上の被写体にタッチしてドラッグする前述の動画再生ＵＩの動作を実現させる場合、ドラッグ対象となる被写体の扱いが問題となる。即ち、被写体のドラッグ位置に応じて被写体を適切に表示することが求められる。

特開２００４−８８６７８号公報 特開２０１１−９７２４６号公報

DRAGON：A Direct Manipulation Interface for Frame-Accurate In-Scene Video Navigation、［平成２５年８月３０日検索］、インターネット＜URL：http://hci.rwth-aachen.de/dragon＞

しかし、上記特許文献１，２に記載された技術は、複数の画像からより広角のパノラマ画像を生成することが目的としている。つまり、特許文献１に記載された技術は、風景等を撮影することを目的としており、動いている人は撮影不要であるために消去したい要求に基づいているため、動く被写体を所望の位置に表示することについて考慮されていない。また、特許文献２に記載された技術では、動体である被写体について任意のフレーム画を破綻なく表示させることはできない。

本発明は、画面上で被写体位置が変化しない動画を構成する複数のフレームからスティッチ合成により生成した画像上で被写体をドラッグするＵＩ操作を行ったときに、被写体を破綻させることなく所望のフレーム画を表示させる技術を提供することを目的とする。

本発明に係る動画再生装置は、動画を表示手段の画面上に再生する再生手段と、前記動画を構成する複数のフレームの画像から被写体を検出する被写体検出手段と、前記複数のフレームの画像から背景の動きを検出する背景検出手段と、前記背景検出手段が検出した背景の動きに基づいて前記複数のフレームの画像を合成し、前記被写体検出手段が検出した被写体を含まないスティッチ画を生成する合成手段と、前記動画の再生中に前記表示手段の画面上に表示された被写体に対する所定の操作に応じて、前記動画の再生中のフレームに含まれる前記被写体の被写体像を前記スティッチ画の対応する位置に重畳表示した画像を表示する再生制御手段と、を備えることを特徴とする。

本発明によれば、動画を構成する複数のフレームから被写体と背景をそれぞれ検出し、再生動画の被写体に対する所定の操作に応じて、所定のフレーム範囲でスティッチ画を合成し、合成したスティッチ画に被写体を重畳表示した画像を表示する。これにより、被写体の画面上で被写体位置が変化しない動画であっても、例えば、画面上の被写体をドラッグするＵＩ操作が可能になり、その際に、被写体を破綻させることなく、所望のフレーム画を表示させることができる。

本発明の実施形態に係る動画再生装置の一例であるビデオカメラの概略構造を示すブロック図である。 図１のビデオカメラが有する操作・表示部の映像モニタの表示画面に被写体枠が重畳表示された動画の映像例を示す図である。 図１のビデオカメラにおいて、映像モニタの表示画面にフレーム画をそのまま表示するサーチモードのＵＩ動作、スティッチ画を表示するサーチモードのＵＩ動作、サーチモードに遷移できない場合のＵＩ動作を説明する図である。 図３のサーチモードのＵＩ動作のうちのどのＵＩ動作を実行するかについての軌跡表示判定処理のフローチャートである。 図１のビデオカメラにおける、通常再生モードからサーチモードへの移行処理のフローチャートである。 図１のビデオカメラにおける、サーチモードに移行した後の処理の流れを示すフローチャートである。 図１のビデオカメラにおいて、サーチモードにあるときにスティッチ画とドラッグ中の被写体位置に対応するフレーム画とを同時に表示する例を示す図である。 図１のビデオカメラにおいて、サーチモードにあるときに表示される被写体の大きさを一定値以上とする表示例を模式的に示す図である。 （ａ）は被写体が時間の経過にしたがって画面内を移動する動画の映像例を時系列で示す図であり、（ｂ）は被写体にタッチしてドラッグすることで被写体を動かす動画再生ＵＩによる操作が可能な、（ａ）の動画の再生画面の映像例を示す図である。 （ａ）は被写体を撮影者がパンニングして追いかけながら撮影する場合の被写体と背景の関係を説明する図であり、（ｂ）は（ａ）の撮影方法によって撮影された動画の再生画面の映像例を示す図であり、（ｃ）は（ｂ）の動画のフレーム画をスティッチ合成し、被写体と被写体軌跡を重畳表示した動画の映像例を示す図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る動画再生装置の一例であるビデオカメラ１００の概略構成を示すブロック図である。

ビデオカメラ１００は、撮像部１０１、映像信号処理部１０２、マイク１０３、音声信号処理部１０４、ビデオフレームバッファ１０５及びオーディオバッファ１０６を備える。また、ビデオカメラ１００は、ビデオコーデック（VIDEO CODEC）１０７，オーディオコーデック（AUDIO CODEC）１０８，多重／多重分離（MUX／DEMUX）処理部１０９、ＣＰＵ（中央演算処理装置）１１０及びメモリカードＩ／Ｆ１１１を備える。更に、ビデオカメラ１００は、メモリカード１１２、操作・表示部１１３、ファイル管理部１１４、被写体検出部１１５、パン・チルト検出部１１６、軌跡生成部１１７、スティッチ合成部１１８、描画部１１９及び外部出力Ｉ／Ｆ１２０を備える。

撮像部１０１は、撮像光学系やＣＭＯＳ等の撮像素子を含み、被写体像（光学像）を捉えて電気信号に変換する。映像信号処理部１０２は、撮像部１０１で得られた映像信号に対してＡ／Ｄ変換を行い、更に必要な画像処理を施す。マイク１０３は、外部の音声を取り込む。音声信号処理部１０４は、マイク１０３で得られた音声信号をＡ／Ｄ変換し、更に必要な信号処理を施す。ビデオフレームバッファ１０５は、映像信号処理部１０２で生成されたビデオフレームデータを格納する。オーディオバッファ１０６は、マイク１０３から取り込まれてＡ／Ｄ変換された音声データ（ＰＣＭデータ）を格納する。

ビデオコーデック１０７は、ビデオフレームバッファ１０５に格納されたビデオフレームデータに対して圧縮符号化を施し、ビデオストリームとして出力する。オーディオコーデック１０８は、オーディオバッファ１０６に格納されたＰＣＭデータに対して圧縮符号化処理を施し、オーディオストリームを出力する。多重／多重分離処理部１０９は、撮影時（動画記録時）に、ビデオコーデック１０７が出力するビデオストリームとオーディオコーデック１０８が出力するオーディオストリームを多重化してＡＶストリームとして出力する。また、多重／多重分離処理部１０９は、動画再生時には、多重化されたＡＶストリームをビデオとオーディオのストリームに分離する。

ＣＰＵ１１０は、不図示のＲＯＭ等に記憶されたプログラムを実行することによって、ビデオカメラ１００を構成する各部の動作を制御する。メモリカードＩ／Ｆ１１１は、ビデオカメラ１００に装着されたメモリカード１１２に対して動画像データの読み書きを行うためのインタフェースである。メモリカード１１２は、ビデオカメラ１００に着脱自在であり、ビデオカメラ１００で撮影された動画像データを記憶する。

メモリカード１１２に記憶された動画像データは、操作・表示部１１３が備える液晶表示装置等の映像モニタに再生表示され、本実施形態では、液晶表示装置等の映像モニタはタッチパネル機能を有するものとする。つまり、映像モニタは、再生映像等を表示し、また、ユーザからの操作を受け付けることができる。操作・表示部１１３が受け付けた操作はＣＰＵ１１０へ伝えられ、ＣＰＵ１１０は操作内容に応じた動作や処理を行う。ファイル管理部１１４は、動画の撮影時及び再生時にファイルレベルの読み書きを制御する。

被写体検出部１１５は、動画や静止画から被写体を識別し、検出する。より詳しくは、被写体検出部１１５は、動画を構成するフレーム画（フレームの画像）から人物の顔等の主被写体と推定される領域を検出し、検出した領域の動きベクトルを前後のフレームとの差分から検出することで前景（主被写体）と背景とを分離し、主被写体像を取得する機能を有する。

パン・チルト検出部１１６は、動画を構成する複数のフレームの差分から背景の並進運動を検出する。より詳しくは、パン・チルト検出部１１６は、動画を構成する複数のフレーム間の差分から背景領域の動きベクトルを検出し、撮影時のビデオカメラ１００のパン・チルト動作の有無やその方向、動き量を取得する背景検出機能を有する。

軌跡生成部１１７は、動画を構成する複数のフレームから被写体検出部１１５が検出した被写体位置の時系列データに基づき、被写体軌跡を求める。より詳しくは、軌跡生成部１１７は、被写体検出部１１５が検出した被写体について、動画を構成する複数のフレーム期間の間に動いた軌跡の情報（以下「軌跡情報」という）を生成する。軌跡情報は、フレーム毎の被写体座標からなる。軌跡生成部１１７は、スティッチ合成部１１８がスティッチ合成した画像を基準としたときの軌跡情報を生成する機能を有する。

スティッチ合成部１１８は、動画を構成する複数のフレーム画を滑らかに繋ぐスティッチ合成を行い、より広角な画像（以下「スティッチ画」という）を生成する。描画部１１９は、スティッチ画に被写体像を重畳描画する。また、描画部１１９は、スティッチ画に被写体軌跡を重畳描画する軌跡描画手段としての機能を有する。外部出力Ｉ／Ｆ１２０は、外部表示装置２００に対して再生映像等を出力する。

上記説明の通りに構成されたビデオカメラ１００では、動画再生中に、被写体検出部１１５が検出した被写体に対して、動画再生ＵＩの１つである枠（以下「被写体枠」という）を重畳表示することで、ユーザに被写体検出結果を通知する。被写体枠を描画する枠描画手段としての機能は、被写体検出部１１５又は描画部１１９が担う構成とすることができる。なお、被写体検出部１１５が、同等な２つ以上の被写体を検出する場合が考えられる。この場合には、先ず１つの被写体に被写体枠を重畳表示するが、ユーザが別の被写体にタッチする等することで被写体枠を移動させることができるように、動画再生ＵＩを構成してもよい。また、２つ以上の被写体同士が接近しており、これらを１つの被写体とみなすことができる場合には、これらの被写体を１つの主被写体として検出するようにしてもよい。

図２は、操作・表示部１１３が有する映像モニタの表示画面１１３Ａに被写体枠２０１が重畳表示された動画の映像例を示す図である。ユーザは、表示画面１１３Ａ上で被写体枠２０１（被写体枠２０１内の被写体）をドラッグ操作することによって被写体を動かすことができ、これにより、動画の早送り／巻き戻しを行うことができるサーチモードに移行する。

移行するサーチモードは、フレーム画をそのまま表示するサーチモードと、複数のフレーム画をスティッチ合成して表示するサーチモードと、に分けられるが、条件によってはサーチモードに移行することができない場合もある。これらのサーチモードについて、図３を参照して以下に説明する。

図３（ａ）は、フレーム画をそのまま表示するサーチモードのＵＩ動作を説明する図である。フレーム画をそのまま表示するサーチモードは、再生フレーム近辺でパン・チルト動作を行っていないために背景が固定されており、且つ、被写体位置が画面上で動いている場合の動作モードである。図３（ａ）の左画面３１１で被写体枠２０１にタッチして被写体をドラッグすると、図３（ａ）の右画面３１２へ遷移する。右画面３１２には、被写体軌跡が重畳表示されており、ユーザが被写体（人）を被写体軌跡上でドラッグすると、ドラッグ位置に被写体が存在するフレームが表示され、所望のフレームに移動することができる。右画面３１２には、サーチ終了ボタン３０１が重畳表示されており、サーチ終了ボタン３０１が押下されるとサーチモードは終了し、左画面３１１に復帰する。なお、背景と被写体が同じように動いて両者の相対位置に変化がない場合にも、本サーチモードが適用される。

図３（ｂ）は、複数のフレーム画をスティッチ合成して表示するサーチモードのＵＩ動作を説明する図である。複数のフレーム画をスティッチ合成して表示するサーチモードは、再生フレーム近辺でパン・チルト動作を行っているために背景が動いており、且つ、被写体と背景の相対位置が変化している場合の動作モードである。

背景が動くと共に被写体と背景の相対位置が変化する場合には、フレーム画をそのまま表示するサーチモードのように画面に被写体軌跡を表示して被写体枠２０１をドラッグ可能にしても、フレームが変わると背景も動いてしまう。よって、背景と被写体との位置関係が保たれないため、正しくナビゲーションすることができない。また、背景が動いているが画面上で被写体の位置が変化しない場合も、軌跡が１点に集まるために、ドラッグ操作を行うことができなくなる。

そこで、背景が動くと共に被写体と背景の相対位置が変化する場合には、再生フレーム近辺の複数のフレーム画から撮影画角よりも広角な画像をスティッチ合成して操作・表示部１１３の表示画面１１３Ａに表示し、表示された合成画像に被写体と被写体軌跡とを重畳表示する。被写体を追いかけてパンニングしている映像を示す図３（ｂ）の左画面３２１で被写体枠２０１にタッチして被写体をドラッグすると、図３（ｂ）の右画面３２２に遷移する。右画面３２２では、スティッチ合成した広角画像（スティッチ画）が表示され、この広角画像上に被写体軌跡が重畳表示される。したがって、右画面３２２でユーザが被写体を被写体軌跡上でドラッグすると、ドラッグ位置に被写体が存在するフレームが表示され、所望のフレームに移動することができるようになる。右画面３２２には、サーチ終了ボタン３０１が重畳表示されており、サーチ終了ボタン３０１が押下されるとサーチモードは終了し、左画面３３１に復帰する。このような方法によって、正しくナビゲーションを行うことができる。

図３（ｃ）は、サーチモードに移行することができない場合のＵＩ動作を説明する図である。再生フレーム近辺でパン・チルト動作を行っておらず、且つ、被写体の位置も変わらない場合には、何も動いていない状態であるため、ドラッグによるフレーム指定を行うことはできない。そのため、図３（ｃ）の左画面３３１で被写体枠２０１にタッチして被写体をドラッグしようとすると、ドラッグ禁止マーク３０２が重畳表示された右画面３３２に遷移し、これにより、ユーザにドラッグ操作を行うことができない旨を通知する。なお、右画面３３２でドラッグ操作を終了する（指を画面から離す）と、自動的に左画面３３１へ戻る。

上述したサーチモードのＵＩ動作のうち、どのＵＩ動作を実行するかについての判定（以下「軌跡表示判定」という）について、図４を参照して説明する。図４は、軌跡表示判定処理のフローチャートである。図４のフローチャートに示される各処理は、ＣＰＵ１１０が、不図示のＲＯＭ等に格納された所定のプログラムを不図示のＲＡＭの作業領域に展開、実行して、ビデオカメラ１００の各要素の動作を制御することによって実現される。

先ず、ＣＰＵ１１０は、スティッチ合成部１１８により、再生フレーム近辺の複数のフレームにわたって、被写体の画面（画像）上での動き検出を行う（ステップＳ４０１）。続いて、ＣＰＵ１１０は、パン・チルト検出部１１６により、被写体に対する背景の動きの検出を行う（ステップＳ４０２）。その後、ＣＰＵ１１０は、ステップＳ４０１，Ｓ４０２の結果から、軌跡生成部１１７により、被写体の背景に対する相対位置の変化を検出する（ステップＳ４０３）。

次に、ＣＰＵ１１０は、ステップＳ４０１〜４０３の検出結果に基づき、被写体軌跡を表示するか否か、そして、被写体軌跡を表示する場合にはスティッチ合成を行うか否かを判定する。具体的には、ＣＰＵ１１０は、先ず、背景に動きがあるか否かを判定する（ステップＳ４０４）。ＣＰＵ１１０は、背景に動きがある場合（Ｓ４０４でＹＥＳ）、処理をステップＳ４０５へ進め、背景に動きがない場合（Ｓ４０４でＮＯ）、処理をステップＳ４０７へ進める。

ステップＳ４０５において、ＣＰＵ１１０は、被写体と背景との間に相対的な位置の変化があるか否かを判定する。ＣＰＵ１１０は、相対的な位置変化がある場合（Ｓ４０５でＹＥＳ）、「被写体軌跡表示あり、スティッチ合成あり」との判定を行う（ステップＳ４０６）。一方、ＣＰＵ１１０は、相対的な位置変化がない場合（Ｓ４０５でＮＯ）、「被写体軌跡表示あり、スティッチ合成なし」との判定を行う（ステップＳ４０８）。ステップＳ４０６，Ｓ４０８の後、本処理は終了となる。

ステップＳ４０７において、ＣＰＵ１１０は、被写体に動きがあるか否かを判定する。ＣＰＵ１１０は、被写体に動きがある場合（Ｓ４０７でＹＥＳ）、処理をステップＳ４０８へ進め、前述の通りに「被写体軌跡表示あり、スティッチ合成なし」との判定を行う。ＣＰＵ１１０は、被写体に動きがない場合（Ｓ４０７でＮＯ）、「軌跡表示なし」の判定を行う（ステップＳ４０９）。ステップＳ４０９後、本処理は終了となる。

ステップＳ４０８の判定が行われた場合、図３（ａ）を参照して説明した、フレーム画をそのまま表示するサーチモードでのＵＩ動作が実行されることになる。また、ステップＳ４０５の判定が行われた場合、図３（ｂ）を参照して説明した、複数フレーム画をスティッチ合成して表示するサーチモードのＵＩ動作が行われることになる。ステップＳ４０９の判定が行われた場合、図３（ｃ）を参照して説明した、サーチモードに移行できない場合のＵＩ動作が行われることになる。

次に、通常再生モードからサーチモードへの移行処理について、図５を参照して説明する。図５は、通常再生モードからサーチモードへの移行処理のフローチャートである。図５のフローチャートに示される各処理は、ＣＰＵ１１０が、不図示のＲＯＭ等に格納された所定のプログラムを不図示のＲＡＭの作業領域に展開、実行して、ビデオカメラ１００の各要素の動作を制御することによって実現される。

先ず、ＣＰＵ１１０は、操作・表示部１１３が有するタッチパネル機能を有する映像モニタの画面上で被写体がドラッグされたか否かを判定する（ステップＳ５０１）。ＣＰＵ１１０は、被写体のドラッグ操作を検出した場合（Ｓ５０１でＹＥＳ）、サーチモードへ移行し（ステップＳ５０５）。その後、本処理は終了となる。なお、ステップＳ５０５でサーチモードへ移行した後の処理の詳細は、図６を参照して後述する。

ＣＰＵ１１０は、被写体のドラッグ操作を検出しない場合（Ｓ５０１でＮＯ）、被写体検出部１１５により被写体検出を行う（ステップＳ５０２）。続いて、ＣＰＵ１１０は、描画部１１９により再生中の動画に被写体枠２０１を表示するために、フレーム画の被写体に被写体枠２０１を重畳する（ステップＳ５０３）。そして、ＣＰＵ１１０は、ステップＳ５０３で被写体枠２０１を重畳したフレーム画を動画として操作・表示部１１３の映像モニタへ出力し（ステップＳ５０４）、その後、本処理を抜ける。

上述のステップＳ５０５によってサーチモードに移行した後の処理の流れについて、図６を参照して説明する。図６は、サーチモードに移行した後の処理の流れを示すフローチャートである。図６のフローチャートに示される各処理は、ＣＰＵ１１０が、不図示のＲＯＭ等に格納された所定のプログラムを不図示のＲＡＭの作業領域に展開、実行して、ビデオカメラ１００の各要素の動作を制御することによって実現される。

ＣＰＵ１１０は、操作・表示部１１３が有するタッチパネル機能を有する映像モニタ上で被写体がドラッグ中であるか否かを判定する。ＣＰＵ１１０は、被写体がドラッグ中である場合（Ｓ６０１でＹＥＳ）、処理をステップＳ６０３へ進める。一方、ＣＰＵ１１０は、被写体がドラッグ中でない場合（Ｓ６０１でＮＯ）、サーチモードの終了指示がなされたか否かを判定する（ステップＳ６０２）。終了指示がなされた場合（Ｓ６０２でＹＥＳ）、本処理は終了となる。ＣＰＵ１１０は、終了指示がなされていない場合（Ｓ６０２でＮＯ）、処理をステップＳ６０３へ進める。

ステップＳ６０３において、ＣＰＵ１１０は、上述したサーチモード種別の決定やサーチモードへの移行不可の判断を行うために、上述した図４の軌跡表示判定処理を行う。この軌跡表示判定処理の結果に基づき、ＣＰＵ１１０は、被写体軌跡の表示を実施するか否かを判定する（ステップＳ６０４）。被写体軌跡の表示を実施しない場合（Ｓ６０４でＮＯ）、本処理は終了となる。被写体軌跡の表示を実施する場合（Ｓ６０４でＹＥＳ）、ＣＰＵ１１０は、スティッチ合成を実施するか否かを判定する（ステップＳ６０５）。

ＣＰＵ１１０は、スティッチ合成を実施する場合（Ｓ６０５でＹＥＳ）、スティッチ合成を行うフレーム範囲を決定し（ステップＳ６０６）、続いて、スティッチ合成を行う（ステップＳ６０７）。次いで、ＣＰＵ１１０は、被写体のドラッグ位置を取得し（ステップＳ６０８）、その後、取得したドラッグ位置に応じて被写体の表示位置を更新する（ステップＳ６０９）。そして、ＣＰＵ１１０は、被写体のドラッグが終了したか否かを判定する（ステップＳ６１０）。被写体のドラッグが終了しない場合（Ｓ６１０でＮＯ）、ＣＰＵ１１０は、処理をステップＳ６０８へ戻す。つまり、被写体のドラッグが続く間は、ステップＳ６０８，Ｓ６０９の処理を繰り返し行う。被写体のドラッグが終了した場合（Ｓ６１０でＹＥＳ）、ＣＰＵ１１０は、処理をステップＳ６０１へ戻す。

スティッチ合成を実施しない場合（Ｓ６０５でＮＯ）、ＣＰＵ１１０は、ステップＳ６０６，Ｓ６０７の処理を行うことなく、被写体のドラッグ位置を取得し（ステップＳ６１１）、その後、ドラッグ位置に応じたフレーム画を表示する（ステップＳ６１２）。続いて、ＣＰＵ１１０は、被写体のドラッグが終了したか否かを判定する（ステップＳ６１３）。被写体のドラッグが終了しない場合（Ｓ６１３でＮＯ）、ＣＰＵ１１０は、処理をステップＳ６１１へ戻す。つまり、被写体のドラッグが続く間は、ステップＳ６１１，Ｓ６１２の処理を繰り返し行う。被写体のドラッグが終了した場合（Ｓ６１０でＹＥＳ）、ＣＰＵ１１０は、処理をステップＳ６０１へ戻す。

ところで、サーチモードにおいてスティッチ合成された画像であるスティッチ画を表示する際には、元の再生画角よりも広角になるために、詳細を視認し難くなるおそれがある。この問題は、スティッチ画と被写体のドラッグ中の位置に対応するフレーム画とを同時に表示することで解決することができる。

図７は、スティッチ画とドラッグ中の被写体位置に対応するフレーム画とを同時に表示する例を示す図である。図７（ａ）は、各画像を２画面で表示する例を示しており、上段にフレーム画が、下段にスティッチ画が表示されている。図７（ｂ）は、１画面内に各画像を表示する例を示しており、下側にフレーム画が、上側にスティッチ画が表示されている。

サーチモードにおいてスティッチ画を表示する際には、元の再生画角よりも広角になるために、図７（ａ），（ｂ）に示されるように、被写体が相対的に小さく表示されることになる。このとき、被写体があまりに小さいと視認性が低下するため、スティッチ合成されるフレーム範囲を、表示される被写体の大きさ（ピクセル数）が一定値以上になるように決定する。

図８は、表示される被写体の大きさを一定値以上とする表示例を模式的に示す図である。ここでは、図８（ａ）に示すように、時間の経過にしたがって被写体が遠ざかっていく動画を取り上げることとする。この場合、図８（ｂ）に実線で示す「スティッチ合成範囲：大」で示すフレーム範囲でスティッチ合成を行ってしまうと、フレーム範囲が広すぎるために、遠くにある被写体が非常に小さくなってしまい、ドラッグ操作が行い難くなる。これに対して、図８（ｂ）に破線で示す「スティッチ合成範囲：小」で示すフレーム範囲でスティッチ合成を行うことにより、被写体の視認性とドラッグ操作性とを向上させることができる。

以上に説明したサーチモードでの表示例は、操作・表示部１１３が備える映像モニタの表示画面１１３Ａでの表示を前提としている。一方、図１に示したように、ビデオカメラ１００は、外部出力Ｉ／Ｆ１２０を通じて外部表示装置２００への出力を行うことができ、外部表示装置２００の表示画面がタッチパネル機能を有する場合、サーチモードでの表示を上記と同様に行うことができる。その際、スティッチ合成するフレームの範囲を外部表示装置２００の表示画面の大きさに応じて切り換えるようにするとよい。

例えば、外部表示装置２００の表示画面が、操作・表示部１１３の表示画面１１３Ａよりも大型で高解像度のものである場合には、より広い（長時間にわたる）フレーム範囲でスティッチ合成を行った画像を表示させる。これにより、より広い範囲（背景）を一度に視認することができる。なお、この場合でも、被写体が小さくなり過ぎることのないように、外部表示装置２００の表示画面の大きさに応じて被写体に最小限の大きさを確保することが好ましい。

一方、外部表示装置２００の表示画面が、操作・表示部１１３の表示画面１１３Ａよりも小型である場合には、より狭い（短時間の）フレーム範囲でスティッチ合成を行った画像を表示させるようにすることで、視認性の低下を回避することができる。

なお、サーチモードにおいてスティッチ画を表示する際に、ユーザが指示した位置とスティッチ画の画像端との距離が一定値を下回る、つまり、被写体がスティッチ画の端に寄り過ぎると、被写体の視認性が低下する。そこで、ユーザが指定した被写体位置とスティッチ画の画像端との距離が一定値を下回らないように、つまり、被写体が端に寄りすぎないように、ユーザが指定した位置に応じてフレーム範囲を変えたスティッチ画を合成し、表示するようにする。これにより、被写体の視認性の低下を回避することができる。

上記説明の通り、本実施形態によれば、動画再生時に被写体や背景の動きに応じて、適切な複数のフレーム、つまりフレーム範囲、からスティッチ合成を行う。そして、スティッチ合成されるフレーム範囲の被写体を、スティッチ画の対応する位置に重畳した画像を生成し、表示する。これにより、動画の被写体と背景との関係に応じた適切な再生が可能になり、特に、動画の再生画面上で被写体位置が変化しない場合でも、被写体をドラッグする再生制御を行うことが可能になる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ ビデオカメラ
１１０ ＣＰＵ
１１３ 操作表示部
１１５ 被写体検出部
１１６ パン・チルト検出部
１１７ 軌跡生成部
１１８ スティッチ合成部
１１９ 描画部

Claims (10)

1. 動画を表示手段の画面上に再生する再生手段と、
   前記動画を構成する複数のフレームの画像から被写体を検出する被写体検出手段と、
   前記複数のフレームの画像から背景の動きを検出する背景検出手段と、
   前記背景検出手段が検出した背景の動きに基づいて前記複数のフレームの画像を合成し、前記被写体検出手段が検出した被写体を含まないスティッチ画を生成する合成手段と、
   前記動画の再生中に前記表示手段の画面上に表示された被写体に対する所定の操作に応じて、前記動画の再生中のフレームに含まれる前記被写体の被写体像を前記スティッチ画の対応する位置に重畳表示した画像を表示する再生制御手段と、を備えることを特徴とする動画再生装置。
2. 前記動画を構成する複数のフレームの画像に含まれる被写体に対して枠を描画する枠描画手段を備え、
   前記所定の操作は、前記動画の再生中に前記表示手段の画面上に表示される前記枠にタッチし、ドラッグする操作であることを特徴とする請求項１記載の動画再生装置。
3. 前記スティッチ画を構成する複数のフレームの画像に含まれる被写体の位置を示す軌跡を前記スティッチ画の対応する位置に重畳描画する軌跡描画手段を備え、
   前記再生制御手段は、前記スティッチ画に更に前記軌跡が重畳された画像を前記表示手段の画面上に表示することを特徴とする請求項１又は２に記載の動画再生装置。
4. 前記表示手段の画面上で前記軌跡上の１点を指定する指定手段を備え、
   前記再生制御手段は、前記指定手段によって指定された位置に被写体が存在する前記動画のフレームを前記表示手段の画面上に表示することを特徴とする請求項３記載の動画再生装置。
5. 前記合成手段は、前記指定手段によって指定された位置において前記スティッチ画に重畳される被写体の大きさが一定値以上となるように、前記スティッチ画の合成に用いられるフレーム範囲を決定することを特徴とする請求項４記載の再生装置。
6. 前記合成手段は、前記指定手段によって指定された位置と画像端との距離が一定値を下回ったときに、前記指定された位置と画像端との距離が前記一定値を下回らないように、合成するフレーム範囲を変えて新たなスティッチ画を合成することを特徴とする請求項４記載の動画再生装置。
7. 前記合成手段は、前記表示手段の画面に表示される前記被写体の大きさが一定値を下回らないように、前記画面の大きさに合わせて、前記スティッチ画を生成するためのフレーム範囲を変えることを特徴とする請求項３乃至６のいずれか１項に記載の動画再生装置。
8. 前記表示手段の画面に、前記再生手段による動画の再生表示と、前記再生制御手段による前記スティッチ画の表示が同時に行われることを特徴とする請求項１乃至７のいずれか１項に記載の動画再生装置。
9. 動画再生装置における動画再生方法であって、
   動画を表示手段の画面上に再生する再生ステップと、
   前記動画を構成する複数のフレームの画像から被写体を検出する被写体検出ステップと、
   前記複数のフレームの画像から背景の動きを検出する背景検出ステップと、
   前記背景検出ステップで検出した背景の動きに基づいて、前記複数のフレームの画像を合成し、前記被写体検出ステップで検出した被写体を含まないスティッチ画を生成する合成ステップと、
   前記動画の再生中に前記表示手段の画面上に表示された被写体に対する所定の操作に応じて、前記動画の再生中のフレームに含まれる前記被写体の被写体像を前記スティッチ画の対応する位置に重畳表示した画像を表示する再生制御ステップと、を有することを特徴とする動画再生方法。
10. コンピュータを動画再生装置として機能させるためのプログラムであって、
    前記コンピュータを、
    動画を表示手段の画面上に再生する再生手段と、
    前記動画を構成する複数のフレームの画像から被写体を検出する被写体検出手段と、
    前記複数のフレームの画像から背景の動きを検出する背景検出手段と、
    前記背景検出手段が検出した背景の動きに基づいて前記複数のフレームの画像を合成し、前記被写体検出手段が検出した被写体を含まないスティッチ画を生成する合成手段と、
    前記動画の再生中に前記表示手段の画面上に表示された被写体に対する所定の操作に応じて、前記動画の再生中のフレームに含まれる前記被写体の被写体像を前記スティッチ画の対応する位置に重畳表示した画像を表示する再生制御手段として機能させることを特徴とするプログラム。

Images