JP2007199348A - 動画像変換装置、動画像変換方法、動画像変換プログラム、動画像変換プログラムの記録媒体、動画像記録装置、及び動画像再生装置 - Google Patents

Abstract

【課題】動画像の途中で表示サイズが変わる表現力のある動画像に変換する。
【解決手段】動画像の各フレーム画像について、当該フレーム画像を当該フレーム画像の形又は大きさを変えた表示フレーム画像に変換する動画像変換装置であって、前記動画像から、対象フレーム画像と、当該対象フレーム画像に時系列順で前後する参照フレーム画像とを取得するフレーム画像取得手段と、前記対象フレーム画像と前記参照フレーム画像の間の画像全体の動きを検出する動き検出手段と、前記対象フレーム画像と前記参照フレーム画像とをつなぎ合わせた合成画像から切り出した切出画像又は前記対象フレーム画像から前記表示フレーム画像を生成することにより、前記対象フレーム画像を前記表示フレーム画像に変換する画像変換手段と、を有し、前記画像変換手段は、前記画像全体の動きに基づいて、前記表示フレーム画像の形又は大きさを変える。
【選択図】図１

Description

本発明は、動画像の各フレーム画像の解像度、表示サイズを変換する技術に関する。

従来、動画像の制作者が意図的に指定した、動画像の各フレーム画像の表示位置及び表示サイズに従って、動画像を適切に再生する再生装置が開示されている（例えば、特許文献１）。特許文献１の再生装置は、同じサイズで制作された動画像の各フレーム画像と共に、動画像の制作者により指定された各フレーム画像の表示位置及び表示サイズの情報を読み込み、各フレーム画像を指定された表示位置及び表示サイズのフレーム画像に変換してディスプレイなどの表示装置で再生する。この再生装置を用いることにより、動画像の制作者は、例えば、ディスプレイの１／４のサイズで中央に表示していた映像を急に１／２のサイズまで大きくし表示位置も右上に移動させる等、表現力を高めた迫力のある動画像を制作することができる。また、再生するディスプレイのサイズ等の都合で、動画像の制作者の意図したとおりの表示位置及び表示サイズで映像を再生できない場合でも、特許文献１の再生装置は、ディスプレイのサイズを考慮して適切な表示位置及び表示サイズに動画像を再生する。

特開２００４−２４２１１７号公報

しかしながら、特許文献１の技術では、動画像の途中で表示位置及び表示サイズが変わる表現力のある動画像を制作するためには、制作者がフレームごとに表示位置や表示サイズを指定しなければならず、動画像の制作が煩雑になるという問題がある。

本発明は、このような従来の問題点に着目してなされたもので、その目的は、フレームごとに表示位置や表示サイズが指定されていない動画像を、動画像の途中で表示サイズが変わる表現力のある動画像に変換することができる動画像変換装置、動画像変換方法、動画像変換プログラム、動画像変換プログラムの記録媒体、動画像記録装置、及び動画像再生装置を提供することにある。

本発明に係る動画像変換装置は、上記課題を解決すべく、基本的に、動画像の各フレーム画像について、当該フレーム画像を当該フレーム画像の形又は大きさを変えた表示フレーム画像に変換する動画像変換装置であって、前記動画像から、対象フレーム画像と、当該対象フレーム画像に時系列順で前後する参照フレーム画像とを取得するフレーム画像取得手段と、前記対象フレーム画像と前記参照フレーム画像の間の画像全体の動きを検出する動き検出手段と、前記対象フレーム画像と前記参照フレーム画像とをつなぎ合わせた合成画像から切り出した切出画像又は前記対象フレーム画像から前記表示フレーム画像を生成することにより、前記対象フレーム画像を前記表示フレーム画像に変換する画像変換手段と、を有し、前記画像変換手段は、前記画像全体の動きに基づいて、前記表示フレーム画像の形又は大きさを変えることを要旨とする。

本発明に係る動画像変換装置によれば、前記画像変換手段は、前記動き検出手段が対象フレーム画像と参照フレーム画像から検出した画像全体の動きに基づいて変えた形又は大きさの表示フレーム画像を、合成画像から切り出した切出画像又は対象フレーム画像から生成することで、対象フレーム画像を表示フレーム画像に変換する。

画像全体の動きは、動画像を撮影したと想定されるカメラなど撮影機器のパン、チルト、ズームなどのカメラワークを表わしているので、対象フレーム画像をカメラワークに応じて形又は大きさを変えた表示フレーム画像に変換することができる。そのため、フレームごとに表示位置や表示サイズが指定されていない動画像を、カメラワークに応じて動画像の途中で表示サイズが変わる表現力のある動画像に変換することができる。

また、上記した本発明に係る動画像変換装置では、前記画像変換手段は、前記画像全体の動きの量が所定の量よりも大きい場合に前記表示フレーム画像の形又は大きさを変える。

こうすれば、画像全体の動きの量が所定の量より大きい場合、すなわち、カメラのパン、チルト、ズームのスピードが所定のスピードよりも速いときにだけ、表示フレーム画像の形又は大きさを変えることができる。そのため、必要以上にフレーム画像の大きさを変えることがなくなるので、フレーム画像の大きさを変えたいときのカメラの動きと、通常の大きさで動画像を表示したいときのカメラの動きを明確に区別することができる。

また、上記した本発明に係る動画像変換装置では、前記画像変換手段は、前記画像全体の動きが実質的に一方向への動きである場合に、前記画像全体の動きの方向と実質的に同じ方向の長さが前記対象フレーム画像よりも長い形状の前記切出画像を前記合成画像から切り出し、前記切出画像から前記表示フレーム画像を生成する。

こうすれば、画像全体の動きが一方向への動きを示しているとき、すなわち、カメラがパン又はチルトしている場合は、カメラがパン又はチルトした方向の長さが対象フレーム画像よりも長い切出画像を合成画像から切り出す。そのため、切出画像は、カメラがパン又はチルトした方向に大きな画像となり、切出画像から生成された表示フレーム画像もカメラがパン又はチルトした方向の画像を多く含んだ画像となるので、カメラのパン或いはチルトの効果をより強調した表示フレーム画像に変換することができる。

また、上記した本発明に係る動画像変換装置では、前記画像変換手段は、前記画像全体の動きが前記対象フレーム画像を拡大又は縮小する動きである場合に、前記表示フレーム画像の大きさを、前記対象フレーム画像を拡大又は縮小した大きさとする。

こうすれば、画像全体の動きが対象フレーム画像を拡大する動きを示している場合、すなわち、カメラがズームしているときに、対象フレーム画像を拡大した大きな表示フレーム画像を出力することができる。そのため、カメラのズームの効果をより強調した表示フレーム画像に変換することが可能になる。

また、上記した本発明に係る動画像変換装置では、前記画像変換手段は、前記対象フレーム画像内に表示される文字、又は動画像の音声、又は動画像にメタデータとして付加された文字に基づいて、前記表示フレーム画像の形又は大きさを変える。

こうすれば、動画像に文字や音声を入れることで発揮することができる表現上の効果を、文字や音声に加えて表示フレーム画像の形又は大きさを変えることでより強調できる。また、通常、メタデータの中の文字で動画像の各フレームの場面の説明がされるので、動画像の場面に応じて表示フレーム画像の形又は大きさを変えることが可能になる。

また、上記した本発明に係る動画像変換装置では、前記画像変換手段は、時系列順で前に変換した表示フレーム画像の形及び大きさと、前記画像全体の動きとに基づいて、前記表示フレーム画像の形及び大きさを決定する。

こうすれば、表示フレーム画像の形又は大きさを前のフレームの表示フレーム画像の形又は大きさに基づいて決定することができる。そのため、急激に表示フレーム画像の大きさが変わるなど見づらい動画像となってしまうことを防ぐことができる。

また、上記した本発明の動画像変換装置に対応する動画像変換方法は、動画像の各フレーム画像について、当該フレーム画像を当該フレーム画像の形又は大きさを変えた表示フレーム画像に変換する動画像変換方法であって、前記動画像から、対象フレーム画像と、当該対象フレーム画像に時系列順で前後する参照フレーム画像とを取得するフレーム画像取得工程と、前記対象フレーム画像と前記参照フレーム画像の間の画像全体の動きを検出する動き検出工程と、前記対象フレーム画像と前記参照フレーム画像とをつなぎ合わせた合成画像から切り出した切出画像又は前記対象フレーム画像から前記表示フレーム画像を生成することにより、前記対象フレーム画像を前記表示フレーム画像に変換する画像変換工程と、を有し、前記画像変換工程は、前記画像全体の動きに基づいて、前記表示フレーム画像の形又は大きさを変えることを要旨とする。

また、上記した本発明の動画像変換装置に対応する動画像変換プログラムは、動画像の各フレーム画像について、当該フレーム画像を当該フレーム画像の形又は大きさを変えた表示フレーム画像に変換する処理をコンピュータに実行させる動画像変換プログラムであって、前記動画像から、対象フレーム画像と、当該対象フレーム画像に時系列順で前後する参照フレーム画像とを取得するフレーム画像取得ステップと、前記対象フレーム画像と前記参照フレーム画像の間の画像全体の動きを検出する動き検出ステップと、前記対象フレーム画像と前記参照フレーム画像とをつなぎ合わせた合成画像から切り出した切出画像又は前記対象フレーム画像から前記表示フレーム画像を生成することにより、前記対象フレーム画像を前記表示フレーム画像に変換する画像変換ステップと、を前記コンピュータに実行させ、前記画像変換ステップは、前記画像全体の動きに基づいて、前記表示フレーム画像の形又は大きさを変えることを要旨とする。

また、本発明は、上記した動画像変換プログラムを記録した記録媒体としても捉えることができる。記録媒体としてはフレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＩＣカード、パンチカードなど、コンピュータが読み取り可能な様々な媒体を利用できる。

上記した動画像変換方法、動画像変換プログラム、及び記録媒体によれば、本発明の動画像変換装置と同等の効果が得られる。

また、本発明に係る動画像変換装置は、動画像記録装置としても捉えることができる。動画像の各フレーム画像について、当該フレーム画像と共に、当該フレーム画像から表示フレーム画像を生成するための情報を記録する動画像記録装置であって、動画像から、対象フレーム画像と、当該対象フレーム画像に時系列順で前後する参照フレーム画像とを取得するフレーム画像取得手段と、前記対象フレーム画像と前記参照フレーム画像の間の画像全体の動きを検出する動き検出手段と、前記対象フレーム画像と前記参照フレーム画像とをつなぎ合わせた合成画像から切り出した切出画像、又は前記対象フレーム画像から前記表示フレーム画像を生成するための表示フレーム生成情報を算出する表示フレーム生成情報算出手段と、前記対象フレーム画像と共に、前記表示フレーム生成情報を記録する記録手段と、を有し、表示フレーム生成情報算出手段は、前記画像全体の動きに基づいて、前記表示フレーム画像の形又は大きさが変わる前記表示フレーム生成情報を算出することを要旨とする。

本発明に係る動画像記録装置によれば、表示フレーム生成情報算出手段は、前記動き検出手段が対象フレーム画像と参照フレーム画像から検出した画像全体の動きに基づいて変えた形又は大きさの表示フレーム画像を、合成画像から切り出した切出画像又は対象フレーム画像から生成するための表示フレーム生成情報を算出する。記録手段は、対象フレーム画像と共に、表示フレーム生成情報を記録する。こうすれば、本発明に係る動画像変換装置と同様の効果が得られるばかりでなく、記録手段が記録する対象フレーム画像は変更されないので、形又は大きさが変更された表示フレーム画像を記録する場合よりも、動画像の記録容量を少なくすることができる。

また、本発明に係る動画像再生装置は、上記発明に係る動画像記録装置で記録した前記対象フレーム画像と前記表示フレーム生成情報からなる動画像から、前記対象フレーム画像及び前記表示フレーム生成情報と、前記対象フレーム画像に時系列順で前後する前記参照フレーム画像とを取得する表示フレーム生成情報取得手段と、前記表示フレーム生成情報を用いて、前記表示フレーム画像を前記対象フレーム画像又は前記参照フレーム画像から生成する表示フレーム画像生成手段と、前記表示フレーム画像を表示する表示手段と、を有する。

こうすれば、動画像記録装置により対象フレーム画像と表示フレーム生成情報をセットにして記録された動画像をディスプレイ、プロジェクタなどの映像表示装置で表示可能なフレーム画像に変換することができる。

以下、本発明を具体化した実施例について図面を用いて説明する。

図１は、実施例１の動画像変換装置の構成概略を説明する説明図である。動画像変換装置１００は、フレーム画像取得手段１１０、動き検出手段１２０、画像変換手段１３０を備える。

フレーム画像取得手段１１０は、動画像から時系列順に連続する２つのフレーム画像を対象フレーム画像１５０及び参照フレーム画像１６０として取得する。取得した２つのフレーム画像のうち、時系列順で新しい方のフレーム画像が対象フレーム画像１５０になり、古い方のフレーム画像が参照フレーム画像１６０になる。

動き検出手段１２０は、対象フレーム画像１５０と参照フレーム画像１６０の間の画像全体の動き１７０を検出する。画像全体の動き１７０は、動画像を撮影したカメラのズーム、パン、チルトなどの動きを表わしている。そのため、動き検出手段１２０が画像全体の動き１７０を検出することにより、動画像を撮影したカメラのズーム、パン、チルトの動きが把握できることになる。

画像変換手段１３０は、対象フレーム画像１５０の形、大きさを変更した表示フレーム画像を画像全体の動き１７０に基づいて生成する。対象フレーム画像１５０の形、大きさの変更は、動画像を撮影したカメラの動きを強調するように行う。例えば、動画像を撮影したカメラがズームしているときは、対象フレーム画像１５０を拡大した表示フレーム画像を生成し、カメラがパンしているときは、パンしている方向に画像を広くした表示フレーム画像を生成する。

図２は、動画像変換装置１００で処理した動画像と表示フレーム画像の例である。図２の上部は、動画像を構成するフレーム画像Ｆ（１）〜Ｆ（６）であり、図２の下部は、動画像変換装置１００が生成した表示フレーム画像Ｄ（１）〜Ｄ（６）である。フレーム画像Ｆ（１）〜Ｆ（６）と表示フレーム画像Ｄ（１）〜Ｄ（６）の括弧内の数字はフレームの時系列順を表わしており、それぞれ時系列順に左から右に並べられている。また、図２からあきらかなように、フレーム画像Ｆ（１）〜Ｆ（６）を撮影したカメラは、Ｆ（２）〜Ｆ（６）にかけて、左方向にパンをしている。

最初に、フレーム画像取得手段１１０は、フレーム画像Ｆ（１）を対象フレーム画像１５０として取得する。この時、時系列順で前のフレームがないので、参照フレーム画像１６０、及び動き検出手段１２０が検出する画像全体の動き１７０はない。画像全体の動き１７０がない場合は、画像変換手段１３０は、フレーム画像Ｆ（１）をそのまま表示フレーム画像Ｄ（１）とする。

次に、フレーム画像取得手段１１０は、フレーム画像Ｆ（２）を対象フレーム画像１５０として取得する。同時に、フレーム画像Ｆ（２）の前のフレームのフレーム画像Ｆ（１）を参照フレーム画像１６０として取得する。動き検出手段１２０は、フレーム画像Ｆ（２），Ｆ（１）の間の画像全体の動き１７０を検出する。図２の場合、カメラの左方向へのパンが検出されることになる。画像変換手段１３０は、カメラのパンの方向に画像を広くした表示フレーム画像Ｄ（２）をフレーム画像Ｆ（１），Ｆ（２）から生成する。このようにして、対象フレーム画像１５０、即ち、フレーム画像Ｆ（２）から表示フレーム画像Ｄ（２）が生成される。３フレーム目以降、対象フレーム画像１５０を順次、時系列順にずらしながら処理していくことにより、フレーム画像Ｆ（２）〜Ｆ（６）から表示フレーム画像Ｄ（３）〜Ｄ（６）が生成される。その結果、カメラがパンしている２フレーム目から６フレーム目にかけて、フレーム画像Ｆ（２）〜Ｆ（６）から、パンしている方向に画像を広げた表示フレーム画像Ｄ（２）〜Ｄ（６）が生成される。

以上の構成の動画像変換装置１００は、上記の各部における処理をソフトウェアプログラムで実現し、その処理プログラムである動画像変換プログラムをインストールしたコンピュータにより構成される。このコンピュータ（図示なし）は、ＣＰＵ，ＲＯＭ，ＲＡＭ，ハードディスク、インターフェース等を備え、キーボード、ディスプレイ等と接続された一般的な計算機である。このコンピュータのＲＯＭには動画像変換プログラムが記憶され、ＣＰＵが動画像変換プログラムを実行することにより、動画像変換装置１００として機能する。以下に、このコンピュータでＣＰＵにより実行される上記各部の処理について、図３のフローチャートを用いて説明する。

処理を開始すると、動画像変換装置１００は、ステップＳ１００からステップＳ１４０までのループで動画像を時系列順に１フレームづつ処理して表示フレーム画像を生成する。以下の説明では、ステップＳ１００からステップＳ１４０までのループが処理しているフレームの時系列順を１から始める整数ｎで表わすことにする。まず最初に、時系列順で最初のフレームを示すｎ＝１として、ステップＳ１００からステップＳ１４０までの処理を実行する。次にｎ＝２として、２番目のフレームに対する処理をステップＳ１００からステップＳ１４０で実行する。このようにｎをインクリメントしながらステップＳ１００からステップＳ１４０までのループで動画像の全てのフレームに対して処理を実行する。

まず、ステップＳ１００にて、フレーム画像取得手段１１０は、動画像から対象フレーム画像１５０と参照フレーム画像１６０を取得する。ｎ番目のフレームに対する処理をするときの対象フレーム画像１５０は、ｎ番目のフレーム画像Ｆ（ｎ）であり、参照フレーム画像１６０は対象フレーム画像１５０の一つ前のフレームのフレーム画像Ｆ（ｎ−１）である。

次に、ステップＳ１１０にて、動き検出手段１２０は、フレーム画像Ｆ（ｎ−１）とフレーム画像Ｆ（ｎ）の間の動きベクトルを算出し、動きベクトルを用いてフレーム画像Ｆ（ｎ）の画像全体の動き１７０を検出する。図５を用いて動きベクトルの算出とフレーム画像Ｆ（ｎ）の画像全体の動き１７０の検出方法を説明する。

まず最初に動きベクトルの算出の基本的な考え方について説明する。フレーム画像Ｆ（ｎ−１）の画素を示す参照代表点２２０と、参照代表点２２０と同じ位置にあるフレーム画像Ｆ（ｎ）内の画素である探索代表点２２５を中心として設定された探索ブロック２１０を用意する。そして、参照代表点２２０の画素と探索ブロック２１０内の全ての画素との組合せについて、画素の相関、すなわち、２つの画素の輝度値の差などにより計算される画素データの差を計算する。この差は、探索ブロック２１０と同一形状の計数値テーブル２４０に格納される。次に、参照代表点２２０をフレーム画像Ｆ（ｎ−１）内の別の画素に変えて、同じように画素データの差を計算し、計数値テーブル２４０に加算していく。このように複数の参照代表点２２０について計算が終了したら、計数値テーブル２４０の中で最も小さな値をとるデータを見つける。計数値テーブル２４０の中心から、この最も小さな値を取るデータへ向かうベクトルが複数の参照代表点２２０周辺の画像の動きを示す動きベクトルとなる。

次に、実際にフレーム画像Ｆ（ｎ−１）とフレーム画像Ｆ（ｎ）の間の動きベクトルを算出する方法を説明する。まず、フレーム画像Ｆ（ｎ−１）を複数の区画に分割し、複数の区画の各々について、区画の中に複数の参照代表点２２０を満遍なく配置して動きベクトルを算出する。図５は、フレーム画像Ｆ（ｎ−１）を縦３、横４の１２の区画に分割し、その中の１つの区画に参照代表点２２０を９個配置した状態を示している。これらの９個の参照代表点２２０についてフレーム画像Ｆ（ｎ）との相関を計算し計数値テーブル２４０に格納することによって、この区画の中の画像の動きを示す動きベクトルが算出される。他の区画についても同様に参照代表点２２０を配置して動きベクトルを算出することにより、１２の区画の中の画像のそれぞれの動きを示す１２個の動きベクトルが算出される。

１２個の動きベクトルがほぼ同じ方向を向いている場合は、（ｎ−１）番目のフレームからｎ番目のフレームにかけて画像全体が一方向に動いている、即ち、動画像を撮影したカメラがパン又はチルトしていると判断できる。このときの画像全体が動いている移動量は、１２個の動きベクトルを平均したベクトルの長さとなる。

一方、１２個の動きベクトルがフレーム画像Ｆ（ｎ−１）の中心から放射線状に外側又は内側に向かっている場合は、（ｎ−１）番目のフレームからｎ番目のフレームにかけて画像全体を拡大又は縮小する動き、即ち、カメラがズームしていると判断できる。このときの画像全体を拡大又は縮小する倍率を示すズーム量は、フレーム画像Ｆ（ｎ−１）とフレーム画像Ｆ（ｎ）の両方に撮影されている物体の大きさの比で示される。例えば、フレーム画像Ｆ（ｎ−１）に撮影されていた鳥の大きさが、フレーム画像Ｆ（ｎ）で２倍の大きさになっていれば、ズーム量は２となる。１つの区画の中の画像のズーム量は、フレーム画像Ｆ（ｎ−１）の中心から区画の中心へ向かうベクトルを区画ベクトルとして、区画のズーム量＝（｜区画ベクトル＋動きベクトル｜）／（｜区画ベクトル｜）で算出できる。１２の区画の各々について、区画のズーム量を算出し、１２個の区画のズーム量を平均した値が画像全体のズーム量となる。

このようにして、動きベクトルから、フレーム画像Ｆ（ｎ）の画像全体の動き１７０を検出する。また、画像全体の動き１７０がパン、チルトの場合は、画像全体の動き１７０は、動きの種類（パン又はチルト）、動きの方向（角度）、移動量で示される。画像全体の動き１７０がズームの場合は、画像全体の動き１７０は、動きの種類（ズーム）、ズーム量で示される。

また、図５では、説明のため、区画の数を１２個、区画の中の参照代表点２２０の数を９個と少なくしたが、実際に画像全体の動き１７０を精度よく検出するためには、区画の数を増やすことが望ましい。例えば、区画の大きさを、ＪＰＥＧなどの画像圧縮でよく使われる８画素×８画素、或いは１６画素×１６画素の大きさにすれば、動き検出のための画素の計算が簡単になり画像全体の動き１７０の検出精度も良くすることができる。

なお、画像全体の動き１７０の検出方法は、図５を用いて説明した動きベクトルから画像全体の動き１７０を検出する方法に限らない。例えば、カメラのパン、チルトによる画像の動き１７０は、画像のパターンマッチングや特徴点追跡といった周知の処理技術で検出することもできる。また、オプティカルフロー推定とパターンマッチングの組合せを使えば、ズームも検出することができる。

次に、画像変換手段１３０は、ステップＳ１２０にて、表示フレーム画像Ｄ（ｎ）を生成する。図４のフローチャートを用いて、表示フレーム画像Ｄ（ｎ）を生成する処理の詳細を説明する。

ステップＳ２００にて、ステップＳ１１０で検出したフレーム画像Ｆ（ｎ）の画像全体の動き１７０の動きの種類がズームであるかどうかを調べる。動きの種類がズームである場合は、ステップＳ２１０に進む。一方、動きの種類がズームでない場合は、ステップＳ２３０に進む。

ステップＳ２１０にて、２つの予め定めておいた所定の値Ｚ１，Ｚ２を使って、ズーム量がＺ１より小さいか又はＺ２より大きいかを調べる。ズーム量がＺ１より小さいか又はＺ２より大きい場合は、ステップＳ２２０に進む。一方、ズーム量がＺ１以上かつＺ２以下の場合は、ステップＳ２６０に進む。

ステップＳ２２０にて、対象フレーム画像１５０であるフレーム画像Ｆ（ｎ）をズーム量で示されている倍率で拡大又は縮小して表示フレーム画像Ｄ（ｎ）を生成する。また、Ｚ１，Ｚ２は、ズーム量、即ち、フレーム画像Ｆ（ｎ）とフレーム画像Ｆ（ｎ−１）とに撮影されている物体の大きさの比を示している。例えば、Ｚ１＝０．９，Ｚ２＝１．１とすると、約１０％以上拡大又は縮小された場合に、ステップＳ２２０に進み、表示フレーム画像Ｄ（ｎ）を拡大又は縮小することになる。Ｚ１，Ｚ２の値は、動画像変換装置１００で処理する動画像で使われているズームの数、ズーム量等を考慮して決められる。Ｚ１，Ｚ２を１に近づければ、倍率の小さなズームでも、表示フレーム画像Ｄ（ｎ）の大きさが変わることになり、表示フレーム画像Ｄ（ｎ）の大きさが変わる回数が大きくなる。一方、Ｚ１，Ｚ２を１から遠い値にすれば、動画像の中で大きなズームのときだけ、表示フレーム画像Ｄ（ｎ）の大きさが変わることになる。また、Ｚ１，Ｚ２の値は、動画像変換装置１００を使用するたびに、利用者が指示しても良い。利用者が指示することにより、対象とする動画像のズームの使い方に応じた動画像の変換処理を行うことができる。

図６は、動画像と表示フレーム画像の例である。図６の上部は、動画像を構成するフレーム画像Ｆ（１）〜Ｆ（４）であり、図６の下部は、動画像変換装置１００が生成した表示フレーム画像Ｄ（１）〜Ｄ（４）である。フレーム画像Ｆ（１）〜Ｆ（４）を撮影したカメラは、Ｆ（２）〜Ｆ（４）にかけて、ズームをしている。この場合は、ステップＳ１１０にて、フレーム画像Ｆ（２）〜Ｆ（４）のズームが検出される。図７は、ズーム量をグラフにした図である。このグラフから明らかなように、ズーム量は２フレーム目から４フレーム目にかけて、あらかじめ定めてある値Ｚ２を超えている。そのため、ステップＳ２２０で、フレーム画像Ｆ（２）〜Ｆ（４）を拡大した表示フレーム画像Ｄ（２）〜Ｄ（４）が生成される。

このように、カメラがズームしているときに、フレーム画像Ｆ（ｎ）を拡大又は縮小して表示フレーム画像Ｄ（ｎ）を生成することにより、カメラのズームの効果をより強調することが可能になる。また、予め、決めておいたＺ１，Ｚ２とズーム量により、フレーム画像Ｆ（ｎ）を拡大又は縮小するかどうかを判断するので、必要以上にフレーム画像の大きさを変えることがなくなる。

また、時系列順で前のフレームの表示フレーム画像Ｄ（ｎ−１）の大きさと、ズーム量を用いて、フレーム画像Ｆ（ｎ）から表示フレーム画像Ｄ（ｎ）を生成しても良い。例えば、フレーム画像Ｆ（ｎ）を拡大又は縮小する率であるフレーム画像拡大率Ｚ（ｎ）は、時系列順で一つ前のフレームに対する処理で使用したフレーム画像拡大率Ｚ（ｎ−１）とズーム量から次の式（１）で算出される。
Ｚ（ｎ）＝（Ｚ（ｎ−１）＋フレーム画像Ｆ（ｎ）のズーム量）／２ …（１）

式（１）でフレーム画像拡大率Ｚ（ｎ）を算出することで、フレーム画像Ｆ（ｎ）で急に大きなズームが行われた場合も、表示フレーム画像Ｄ（ｎ）が急に大きくなることを防ぐことができる。そのため、動画像変換装置１００により変換された動画像を観る人にとっては観やすい映像となる。

ステップＳ２３０にて、ステップＳ１１０で検出したフレーム画像Ｆ（ｎ）の画像全体の動き１７０の動きの種類がパン又はチルトであるかどうかを調べる。動きの種類がパン又はチルトである場合は、ステップＳ２４０に進む。一方、動きの種類がパン又はチルトでない場合は、ステップＳ２６０に進む。

ステップＳ２４０にて、予め定めておいた所定の値Ｌを使って、パン又はチルトの移動量がＬより大きいかを調べる。移動量がＬより大きい場合は、ステップＳ２５０に進む。一方、移動量がＬ以下の場合は、ステップＳ２６０に進む。

ステップＳ２５０にて、動きの種類がパン又はチルトであり移動量がＬより大きいフレームの表示フレーム画像Ｄ（ｎ）を生成する。表示フレーム画像Ｄ（ｎ）を生成する方法を図５を用いて、以下に説明する。まず、フレーム画像Ｆ（ｎ−１），Ｆ（ｎ）から上述したように画像全体の動き１７０が検出される。この画像全体の動き１７０の動きの向きと移動量に基づいて、フレーム画像Ｆ（ｎ−１）とＦ（ｎ）とを重ね合わせた合成画像２５０を生成する。この合成画像２５０をトリミングして長方形になるように切り出した切出画像２５５が表示フレーム画像Ｄ（ｎ）になる。

図８は、図２の動画像の場合の移動量とフレームを表わしたグラフである。このグラフからあきらかなように、移動量は２フレーム目から６フレーム目にかけてＬを超えている。そのため、２フレーム目から６フレーム目に対して画像の合成をした表示フレーム画像Ｄ（２）〜Ｄ（６）（図２）が生成される。

このように、カメラがパン又はチルトしているときに、フレーム画像Ｆ（ｎ−１），Ｆ（ｎ）を合成して表示フレーム画像Ｄ（ｎ）を生成するので、パン又はチルトの方向に広い表示フレーム画像Ｄ（ｎ）を生成することができる。そのため、カメラのパン又はチルトの効果をより強調することが可能になる。また、予め、決めておいたＬと移動量により、フレーム画像Ｆ（ｎ−１），Ｆ（ｎ）を合成するどうかを判断するので、必要以上にフレーム画像の大きさを変えることがなくなる。

ステップＳ２６０にて、フレーム画像Ｆ（ｎ）を表示フレーム画像Ｄ（ｎ）として表示フレーム画像生成処理を終了する。表示フレーム画像生成処理が終了すると、ステップＳ１３０（図３）にて、表示フレーム画像Ｄ（ｎ）を記録装置、ディスプレイなどに出力する。

ステップＳ１４０にて、全てのフレームについて表示フレーム画像Ｄ（ｎ）を出力したかどうか調べる。全てのフレームについて表示フレーム画像Ｄ（ｎ）を出力してあるならば、処理を終了する。一方、全てのフレームについて表示フレーム画像Ｄ（ｎ）を出力していない場合は、ステップＳ１００に進み、次のフレームの処理を進める。

このようにして、全てのフレーム画像Ｆ（ｎ）について、ズーム、パン、チルトなどのカメラワークに基づいてフレーム画像Ｆ（ｎ）の大きさを変えた迫力のある表示フレーム画像Ｄ（ｎ）を出力することができる。

以下、実施例１における動画像変換装置に関する変形例を記載する。
（変形例１）
ステップＳ１００にて、対象フレーム画像１５０と共に対象フレーム画像１５０に関連する文字情報を取得する。そして、文字情報が予め定めておいたキーワードと一致する場合に、対象フレーム画像１５０を拡大した表示フレーム画像Ｄ（ｎ）を生成し、ステップＳ１４０に進む。例えば、”ホームラン”というキーワードを定めておけば、野球中継などでホームランという文字情報がある場合、即ち、ホームランが出た場合に表示フレーム画像が拡大でき、迫力のある映像とすることができる。また、対象フレーム画像１５０に関連する文字情報には、次のものがある。
（１）フレーム画像を文字認識して得られる文字
（２）動画像に付属するメタデータに格納された文字
（３）動画像の音声を音声認識して得られる文字

図９は、実施例２の動画像記録装置３２０の構成概略を説明する説明図である。動画像記録装置３２０では、実施例１の動画像変換装置１００の動画像変換手段１３０に代えて、表示フレーム生成情報算出手段３００と記録手段３１０を備える。実施例１の動画像変換装置１００と同様に、フレーム画像取得手段１１０は、動画像から対象フレーム画像１５０と参照フレーム画像１６０を取得する。動き検出手段１２０は、対象フレーム画像１５０と参照フレーム画像１６０から画像全体の動き１７０を検出する。

表示フレーム生成情報算出手段３００は、対象フレーム画像１５０と参照フレーム画像１６０から表示フレーム画像を生成するための情報である表示フレーム生成情報３４０を算出する。記録手段３１０は、対象フレーム画像１５０と共に表示フレーム生成情報３４０を記録する。

図３と図４のフローチャートを用いて、動画像記録装置３２０の処理手順を、実施例１の動画像変換装置１００の処理手順と違う個所を中心に説明する。図３のステップＳ１００、Ｓ１１０にて、対象フレーム画像１５０と参照フレーム画像１６０を取得し、画像全体の動き１７０を検出する。ステップＳ１２０にて、表示フレーム生成情報算出手段３００は、表示フレーム画像Ｄ（ｎ）を生成するための情報である表示フレーム生成情報３４０を算出する。

動画像変換装置１００の画像変換手段１３０は、図４のステップＳ２２０、Ｓ２５０、Ｓ２６０において、表示フレーム画像Ｄ（ｎ）を生成していたが、表示フレーム生成情報算出手段３００では、表示フレーム画像Ｄ（ｎ）を生成するための情報である表示フレーム生成情報３４０を算出する。図１０は、表示フレーム生成情報３４０の例を説明する説明図である。表示フレーム生成情報３４０の内容は、上からフレームの時系列順、動きの種類、表示フレームの生成方法が記述される。図１０の例では、フレーム画像Ｆ（３）の（０，０）から横６４０画素と縦４８０画素の画像の右側に、フレーム画像Ｆ（２）の（５００，０）から横１４０画素と縦４８０画素の画像を配置した合成画像２５０を切出画像２５５とすることが指定されている。ズームの場合は、拡大率が記述されることになる。

次にステップＳ１３０（図３）にて、フレーム画像Ｆ（ｎ）と表示フレーム生成情報３４０を記録媒体に記録する。こうすれば、対象フレーム画像１５０は変更されないので、形又は大きさが変更された表示フレーム画像を記録する場合よりも、動画像の記録容量を少なくすることができる。

図１１は、動画像再生装置４４０の構成概略を説明する説明図である。動画像再生装置４４０は、実施例２の動画像記録装置３２０が記録した対象フレーム画像１５０と表示フレーム生成情報３４０を再生する。表示フレーム生成情報取得手段４００は、動画像記録装置３２０が記録した対象フレーム画像１５０、対象フレーム画像の時系列順で一つ前のフレーム画像である参照フレーム画像１６０、および表示フレーム生成情報３４０を取得する。

表示フレーム画像生成手段４１０は、表示フレーム生成情報３４０に基づいて、対象フレーム画像１５０と参照フレーム画像１６０から表示フレーム画像Ｄ（ｎ）を生成する。表示手段４２０は、表示フレーム画像Ｄ（ｎ）をディスプレイなどの表示装置に出力する。こうすれば、動画像記録装置３２０で記録したカメラワークに応じてサイズの変わる表現力のある映像を再生することができる。

動画像変換装置の構成概略を説明する説明図。 動画像と表示フレーム画像の例を説明する説明図。 動画像変換装置の処理手順を説明するフローチャート。 画像変換手段の処理手順を説明するフローチャート。 画像全体の動きの検出方法を説明する説明図。 ズームの場合の表示フレーム画像の例を説明する説明図。 フレームとズーム量のグラフ。 フレームと移動量のグラフ。 動画像記録装置の構成概略を説明する説明図。 表示フレーム生成情報の例を説明する説明図。 動画像再生装置の構成概略を説明する説明図。

符号の説明

１００…動画像変換装置、１１０…フレーム画像取得手段、１２０…動き検出手段、１３０…画像変換手段、１５０…対象フレーム画像、１６０…参照フレーム画像、１７０…画像全体の動き、Ｆ（ｎ）…フレーム画像、Ｄ（ｎ）…表示フレーム画像、２１０…探索ブロック、２２０…参照代表点、２２５…探索代表点、２４０…計数値テーブル、２５０…合成画像、２５５…切出画像、３００…表示フレーム生成情報算出手段、３１０…記録手段、３４０…表示フレーム生成情報、３２０…動画像記録装置、４００…表示フレーム生成情報取得手段、４１０…表示フレーム画像生成手段、４４０…動画像再生装置。

Claims (11)

1. 動画像の各フレーム画像について、当該フレーム画像を当該フレーム画像の形又は大きさを変えた表示フレーム画像に変換する動画像変換装置であって、
   前記動画像から、対象フレーム画像と、当該対象フレーム画像に時系列順で前後する参照フレーム画像とを取得するフレーム画像取得手段と、
   前記対象フレーム画像と前記参照フレーム画像の間の画像全体の動きを検出する動き検出手段と、
   前記対象フレーム画像と前記参照フレーム画像とをつなぎ合わせた合成画像から切り出した切出画像又は前記対象フレーム画像から前記表示フレーム画像を生成することにより、前記対象フレーム画像を前記表示フレーム画像に変換する画像変換手段と、を有し、
   前記画像変換手段は、前記画像全体の動きに基づいて、前記表示フレーム画像の形又は大きさを変えることを特徴とする動画像変換装置。
2. 請求項１に記載の動画像変換装置であって、
   前記画像変換手段は、前記画像全体の動きの量が所定の量よりも大きい場合に、前記表示フレーム画像の形又は大きさを変えることを特徴とする動画像変換装置。
3. 請求項１に記載の動画像変換装置であって、
   前記画像変換手段は、前記画像全体の動きが実質的に一方向への動きである場合に、前記画像全体の動きの方向と実質的に同じ方向の長さが前記対象フレーム画像よりも長い形状の前記切出画像を前記合成画像から切り出し、前記切出画像から前記表示フレーム画像を生成することを特徴とする動画像変換装置。
4. 請求項１に記載の動画像変換装置であって、
   前記画像変換手段は、前記画像全体の動きが前記対象フレーム画像を拡大又は縮小する動きである場合に、前記表示フレーム画像の大きさを、前記対象フレーム画像を拡大又は縮小した大きさとすることを特徴とする動画像変換装置。
5. 請求項１に記載の動画像変換装置であって、
   前記画像変換手段は、前記対象フレーム画像内に表示される文字、動画像の音声、動画像にメタデータとして付加された文字に基づいて、前記表示フレーム画像の形又は大きさを変えることを特徴とする動画像変換装置。
6. 請求項１に記載の動画像変換装置であって、
   前記画像変換手段は、時系列順で前に変換した前記表示フレーム画像の形又は大きさと、前記画像全体の動きとに基づいて、前記表示フレーム画像の形及び大きさを決定することを特徴とする動画像変換装置。
7. 動画像の各フレーム画像について、当該フレーム画像を当該フレーム画像の形又は大きさを変えた表示フレーム画像に変換する動画像変換方法であって、
   前記動画像から、対象フレーム画像と、当該対象フレーム画像に時系列順で前後する参照フレーム画像とを取得するフレーム画像取得工程と、
   前記対象フレーム画像と前記参照フレーム画像の間の画像全体の動きを検出する動き検出工程と、
   前記対象フレーム画像と前記参照フレーム画像とをつなぎ合わせた合成画像から切り出した切出画像又は前記対象フレーム画像から前記表示フレーム画像を生成することにより、前記対象フレーム画像を前記表示フレーム画像に変換する画像変換工程と、を有し、
   前記画像変換工程は、前記画像全体の動きに基づいて、前記表示フレーム画像の形又は大きさを変えることを特徴とする動画像変換方法。
8. 動画像の各フレーム画像について、当該フレーム画像を当該フレーム画像の形又は大きさを変えた表示フレーム画像に変換する処理をコンピュータに実行させる動画像変換プログラムであって、
   前記動画像から、対象フレーム画像と、当該対象フレーム画像に時系列順で前後する参照フレーム画像とを取得するフレーム画像取得ステップと、
   前記対象フレーム画像と前記参照フレーム画像の間の画像全体の動きを検出する動き検出ステップと、
   前記対象フレーム画像と前記参照フレーム画像とをつなぎ合わせた合成画像から切り出した切出画像又は前記対象フレーム画像から前記表示フレーム画像を生成することにより、前記対象フレーム画像を前記表示フレーム画像に変換する画像変換ステップと、を前記コンピュータに実行させ、
   前記画像変換ステップは、前記画像全体の動きに基づいて、前記表示フレーム画像の形又は大きさを変えることを特徴とする動画像変換プログラム。
9. 請求項８に記載の動画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
10. 動画像の各フレーム画像について、当該フレーム画像と共に、当該フレーム画像から表示フレーム画像を生成するための情報を記録する動画像記録装置であって、
    動画像から、対象フレーム画像と、当該対象フレーム画像に時系列順で前後する参照フレーム画像とを取得するフレーム画像取得手段と、
    前記対象フレーム画像と前記参照フレーム画像の間の画像全体の動きを検出する動き検出手段と、
    前記対象フレーム画像と前記参照フレーム画像とをつなぎ合わせた合成画像から切り出した切出画像、又は前記対象フレーム画像から前記表示フレーム画像を生成するための表示フレーム生成情報を算出する表示フレーム生成情報算出手段と、
    前記対象フレーム画像と共に、前記表示フレーム生成情報を記録する記録手段と、を有し、
    表示フレーム生成情報算出手段は、前記画像全体の動きに基づいて、前記表示フレーム画像の形又は大きさが変わる前記表示フレーム生成情報を算出することを特徴とする動画像記録装置。
11. 請求項１０に記載の動画像記録装置で記録した前記対象フレーム画像と前記表示フレーム生成情報からなる動画像から、前記対象フレーム画像及び前記表示フレーム生成情報と、前記対象フレーム画像に時系列順で前後する前記参照フレーム画像とを取得する表示フレーム生成情報取得手段と、
    前記表示フレーム生成情報を用いて、前記表示フレーム画像を前記対象フレーム画像又は前記参照フレーム画像から生成する表示フレーム画像生成手段と、
    前記表示フレーム画像を表示する表示手段と、を有することを特徴とする動画像再生装置。
    

Images