JP2014200109A - 再生演出プログラムおよび再生演出装置 - Google Patents

Abstract

【課題】再生表示される画像に対して、視聴者の興味を引きつけ、面白いと感じさせ、飽きさせない演出を施す。【解決手段】撮像装置により撮像された画像を解析する画像解析手順と、前記画像解析手順での解析結果に基づいて、前記画像の中から１または複数の被写体の領域を抽出する領域抽出手順と、前記被写体の領域を前記画像上で移動または変形させて複数枚の新しい画像を生成する画像生成手順と、予め選択された楽曲をスピーカーにより再生しながら、前記画像生成手順で生成された前記複数枚の新しい画像を順次ディスプレイに再生表示させる画像再生手順とをコンピューターに実行させ、前記楽曲に合わせて前記被写体が前記画像上で移動または変形する演出を施す。【選択図】図５

Description

本発明は、再生演出プログラムおよび再生演出装置に関する。

撮像された画像に演出を施して視聴者に提示する再生演出装置として、画像を切り換える際に切り換え前後の画像に対してフェード効果、ワイプ効果、オーバーラップ効果などの特殊効果による演出を施すようにしたものが知られている。

特開２００５−１６７６８９号公報

複数の画像を単純に切り換えて提示するのに比べれば、上述した従来の再生演出装置によればある程度の視覚的効果が認められるが、視聴者の興味を引きつけるには今ひとつ物足りない。例えば人が集まる場所の壁に設置されるフォトフレームなどでは、再生表示される画像に視聴者の興味を引きつけ、面白いと感じさせ、飽きさせない演出が求められる。

(１)請求項１の発明は、撮像装置により撮像された画像を解析する画像解析手順と、画像解析手順での解析結果に基づいて、画像の中から１または複数の被写体の領域を抽出する領域抽出手順と、被写体の領域を画像上で移動または変形させて複数枚の新しい画像を生成する画像生成手順と、予め選択された楽曲をスピーカーにより再生しながら、画像生成手順で生成された複数枚の新しい画像を順次ディスプレイに再生表示させる画像再生手順とをコンピューターに実行させ、楽曲に合わせて被写体が画像上で移動または変形する演出を施す再生演出プログラムである。
(２)請求項２の発明は、請求項１に記載の再生演出プログラムにおいて、画像生成手順では、楽曲のリズムに合わせて被写体の領域を画像上で移動または変形させ、複数枚の新しい画像を生成する。
(３)請求項３の発明は、請求項１または請求項２に記載の再生演出プログラムにおいて、画像生成手順では、被写体領域の移動または変形によって生じる画像上の空白領域の画像を、その空白領域の周囲の領域の画像を用いて補間により生成する。
(４)請求項４の発明は、請求項３に記載の再生演出プログラムにおいて、画像生成手順では、被写体領域の移動または変形によって生じる画像上の空白領域が、その空白領域の周囲の領域の画像により補間可能な範囲内において被写体領域の移動または変形を行う。
(５)請求項５の発明は、請求項４に記載の再生演出プログラムにおいて、画像生成手順では、被写体領域の移動量または変形量が所定量以上の被写体を移動または変形の対象とする。
(６)請求項６の発明は、請求項４または請求項５に記載の再生演出プログラムにおいて、画像生成手順では、被写体領域の移動量または変形量が所定量以上の被写体が存在する画像を複数枚の新しい画像を生成する対象とする。
(７)請求項７の発明は、請求項１〜６のいずれか一項に記載の再生演出プログラムにおいて、領域抽出手順では、画像上の被写体領域の下端の位置に基づいて被写体の被写界における奥行き方向の位置を推定し、画像生成手順では、被写体の被写界における奥行き方向の位置に基づいて、被写体が他の被写体の陰に隠れる画像を生成する。
(８)請求項８の発明は、請求項１〜７のいずれか一項に記載の再生演出プログラムにおいて、画像再生手順では、画像が撮像された日に応じた楽曲を選択する。
(９)請求項９の発明は、請求項１〜７のいずれか一項に記載の再生演出プログラムにおいて、画像再生手順では、画像が撮像された場所に応じた楽曲を選択する。
(１０)請求項１０の発明は、請求項１〜７のいずれか一項に記載の再生演出プログラムにおいて、画像再生手順では、画像生成手順で生成された複数枚の新しい画像を再生表示する日に応じた楽曲を選択する。
(１１)請求項１１の発明は、請求項１〜７のいずれか一項に記載の再生演出プログラムにおいて、画像再生手順では、画像生成手順で生成された複数枚の新しい画像を再生表示する場所に応じた楽曲を選択する。
(１２)請求項１２の発明は、請求項１〜７のいずれか一項に記載の再生演出プログラムにおいて、画像解析手順では、画像に映されているイベントを識別し、画像再生手順では、画像解析手順で識別されたイベントに応じた楽曲を選択する。
(１３)請求項１３の発明は、請求項８〜１２のいずれか一項に記載の再生演出プログラムにおいて、画像生成手順では、選択された楽曲に応じて被写体の領域を画像上で移動または変形させ、複数枚の新しい画像を生成する。
(１４)請求項１４の発明は、請求項１３に記載の再生演出プログラムにおいて、画像生成手順では、選択された楽曲に応じて新しい画像の生成枚数を決定する。
(１５)請求項１５の発明は、請求項１〜１４のいずれか一項に記載の再生演出プログラムにおいて、画像解析手順では、画像に写っている被写体の種類を識別し、画像再生手順では、画像解析手順で識別された被写体の種類に応じたアニメーションを画像に重畳させるとともに、アニメーションを時間的に変化させて再生表示する。
(１６)請求項１６の発明は、画像を記憶する記憶装置と、請求項１〜１５のいずれか一項に記載の再生演出プログラムを実行するコンピューターと、演出結果の画像を表示する表示装置とを備えることを特徴とする。

本発明によれば、再生表示される画像に対して、視聴者の興味を引きつけ、面白いと感じさせ、飽きさせない演出を施すことができる。

一実施の形態の構成を示す図 画像を切り換えて再生表示する際の再生演出方法を説明する図 画像を切り換えて再生表示する際の再生演出方法を説明する図 再生演出方法１の動作を示すフローチャート 画像の中の被写体を移動、変形させる再生演出方法を説明する図 画像の中の被写体の移動または変形にともなう隠れの再生演出方法を説明する図 画像の中の被写体を楽曲に合わせて移動し変形する例を示す図 画像の中の被写体を楽曲に合わせて移動し変形する例を示す図 再生演出方法４の動作を示すフローチャート

図１は一実施の形態の再生演出装置１の構成を示すブロック図である。記憶装置２は各種の記録媒体２ａを挿入可能なスロットを備えており、記録媒体２ａから読み出された画像データおよび楽曲データを記憶する一方、演出を施された画像データおよび楽曲データを記録媒体２ａに書き込む。なお、この再生演出装置１による演出対象の画像は、デジタルスチルカメラで撮像された画像もしくは動画像の中のフレーム画像、あるいはビデオカメラで撮像された映像の中のフレーム画像などが含まれる。マイクロフォン（以下、マイクという）３は再生演出装置１の周囲の音声すなわち人の声や車の音、あるいは楽曲の音などを集音する。カメラ４は、再生演出装置１の周囲、特に再生演出装置１の前で再生表示される画像および楽曲を視聴する人々を撮像する。

操作部５は、ユーザーあるいは視聴者が再生演出装置１に対して種々の操作を行うための操作部材を備えている。コンピューター６は図示しないＣＰＵやメモリなどのハードウエアと、ソフトウエア形態により構成された制御部６ａ、解析部６ｂ、処理部６ｃなどを備え、画像に各種演出を施し、演出処理後の画像をＬＣＤなどのディスプレイ７に再生表示するとともに、選択あるいは識別された楽曲（詳細後述）をスピーカー８から再生する。制御部６ａは一連の演出処理を制御する。また、解析部６ｂは演出対象の画像と楽曲を解析し、処理部６ｃは解析結果に基づいて画像に各種の演出処理を施す。

上述した再生演出装置１による一実施の形態の再生演出方法を説明する。

《再生演出方法１》
まず、図２および図３を参照して表示中の画像から別の画像に表示画像を切り換える、すなわちシーンチェンジするときの再生演出方法を説明する。図２(ａ)および図３(ａ)は切り換える前の画像、図２(ｂ)および図３(ｂ)は切り換え後の画像を示す。まず、切り換え前後の画像からそれぞれの特徴を検出し、特徴が類似している領域を抽出する。画像の特徴としては明るさ、色成分、エッジ、テクスチャーなどがあり、切り換え前後の画像の領域において画像の特徴量の差がそれぞれの特徴のしきい値以下であればそれらの領域は類似していると判定する。

図２に示す例では、画像(ａ)の青空の領域Ａと画像(ｂ)の青空の領域Ｂとが、画像の特徴量の差がしきい値以下で互いに類似している。次に、ディスプレイ７に表示されている切り換え前の画像(ａ)において、(ａ)に破線枠で示すように切り出し領域が順次小さくなるようにトリミングしてディスプレイ７に再生表示し、最終的に原画像(ａ)の中の青空の領域Ａに擬似的にズームインする。なお、図２(ａ)では、破線枠で示される切り出し領域が縮小される様子を段階的に示しているが、実際には破線枠で示す切り出し領域はスムーズに縮小する。

ここで、擬似的なズームインとは、撮像装置による撮像時にズームレンズの焦点距離を変えてズームインするカメラワークを行わず、撮像された原画像(ａ)の内の一部の領域を切り出してディスプレイ７に拡大表示しながら、切り出し領域を順次小さくして一部の被写体領域（ここでは青空）の領域Ａをズームアップする手法である。なお、トリミングにより原画像(ａ)の一部の領域を切り出してディスプレイ７の表示画面に表示する際に、切り出し領域が小さくなるにしたがって画素数が少なくなり、これをそのままディスプレイ７に表示させると、表示された切り出し領域の画像が小さくなってしまう。このため、切り出し領域の画像データに対し、ディスプレイ７の表示画面の画素解像度に合わせて解像度変換（画素数変換）を行い、常に一定の画素解像度で切り出し領域の画像をディスプレイ７上に再生表示する。これにより、擬似的なズームインが実現される。

切り出し前の画像(ａ)において青空の領域Ａまで擬似的なズームインを行った後、この青空領域Ａの画像から、切り換え後の画像(ｂ)の青空の領域Ｂをトリミングにより切り出した画像に切り換えてディスプレイ７に再生表示する。その後、切り換え後の画像(ｂ)において、(ｂ)に破線枠で示すように切り出し領域が順次大きくなるようにトリミングしてディスプレイ７に表示し、最終的に原画像(ｂ)の全範囲まで擬似的にズームアウトする。なお、図２(ｂ)では、破線枠で示される切り出し領域が拡大される様子を段階的に示しているが、実際には破線枠で示す切り出し領域はスムーズに拡大する。

ここで、擬似的なズームアウトとは、撮像装置による撮像時にズームレンズの焦点距離を変えてズームアウトするカメラワークを行わず、撮像された原画像(ｂ)の内の一部の領域を切り出してディスプレイ７に拡大表示しながら、切り出し領域を順次大きくして広い範囲の被写体領域までズームダウンする手法である。なお、トリミングにより原画像(ｂ)の一部の領域を切り出してディスプレイ７の表示画面に表示する際に、切り出し領域が大きくなるにしたがって画素数が多くなり、表示された切り出し領域の画像が細かくなるので、ディスプレイ７の表示画面の画素解像度に合わせて切り出し領域の画像に対し解像度変換（画素数変換）を行い、常に一定の画素解像度で切り出し領域の画像をディスプレイ７上に表示する。これにより擬似的なズームアウト（ズームダウン）が実現される。

一方、図３に示す例では、切り換え前の画像(ａ)の黒目の領域Ａと、切り換え後の画像(ｂ)の夜空の領域Ｂとが、画像の特徴量の差がしきい値以下で互いに類似していると判定された。なお、画像(ｂ)の夜空の領域Ｂには花火が上がっているが、花火がないときの暗い夜空の画像特徴量と、画像(ａ)の黒目の画像特徴量とを比較した結果の判定である。次に、ディスプレイ７に表示されている切り換え前の画像(ａ)において、切り出し領域が順次小さくなるようにトリミングしてディスプレイ７に表示し、最終的に原画像(ａ)の中の黒目の領域Ａに擬似的にズームインする。なお、図３(ａ)では、画像切り換え前の最終的な切り出し領域を示す実線枠のみを示し、図２（ａ）に示されるような段階的な切り出し領域を示す枠の図示を省略している。

切り出し前の画像(ａ)において黒目の領域Ａまで擬似的なズームインを行った後、この黒目の領域Ａの画像から、切り換え後の画像(ｂ)の夜空の領域Ｂをトリミングにより切り出した画像に切り換えてディスプレイ７に表示する。その後、切り換え後の画像(ｂ)において、切り出し領域が順次大きくなるようにトリミングしてディスプレイ７に表示し、最終的に原画像(ｂ)の全範囲まで擬似的にズームアウトする。なお、図３(ｂ)では、画像切り換え直後の切り出し領域を示す実線枠のみを示し、図２（ｂ）に示されるような段階的な切り出し領域を示す枠の図示を省略している。また、上述のように、各大きさの切り出し領域内の画像データは、ディスプレイ７に表示される際に、画素数変換がなされるので、図３（ａ）（ｂ）の例にも示されるとおり、切り換え前画像の最終的な切り出し領域の大きさ（画素数）と、切り換え後画像の初期の切り出し領域の大きさ（画素数）は、必ずしも同じである必要はない。

図４は、上述した再生演出方法１において、制御部６ａが行う制御動作を示したフローチャートである。制御部６ａは、ステップＳ００１で、ディスプレイ７に先に表示する第１画像の解析を、解析部６ｂで行わせ、特徴量が同じとみなせる領域毎の特徴量を抽出する。続くステップＳ００２で、制御部６ａは、記憶装置２に記憶される、第１画像以外の画像について、ステップＳ００１と同様の領域毎の特徴量（例えば、主要色やエッジ量、エッジ方向など）の抽出を行う。なお、ステップＳ００２、および後述するステップＳ００３では、第１画像についでディスプレイ７に再生表示する第２画像を選択するため、連写画像など、第１画像と同じ被写体を、第１画像と似たような構図で撮影した画像については、ステップＳ００２、およびステップＳ００３の処理の対象とはしないことが好ましい。第１画像と同じ被写体を、第１画像と似たような構図で撮影したか否かの判断は、例えば、特徴情報として、1999年 David Loweにより提案されたSIFT（Scale Invariant Feature Transform）特徴量などを用いて行うことができる。このSIFT特徴量は、回転・スケールの変化に対して不変な局所情報であるため、複雑な被写体でもロバストな物体認識が可能である。この特徴量に基づいて２つの画像の比較を行うことで、２つの画像で同じ被写体を撮影したか、またその構図が類似しているかについて判断することができる。

ステップＳ００３では、ステップＳ００２で抽出された特徴量のうち、ステップＳ００１で抽出された特徴量に最も類似する領域（第２領域）を有する画像（第２画像）と、その画面内位置についての情報を取得する。ステップＳ００３に続くステップＳ００４で、制御部６ａは、第１画像の全画面をディスプレイ７に表示させる。ステップＳ００５で、ステップＳ００３で抽出された第２画像の第２領域に特徴量の類似する、第１画像中の第１領域に向けて、ディスプレイ７に表示される画像の切り出し領域を徐々に縮小した画像を生成し、これを順次ディスプレイ７に表示させて、擬似的にズームインを行う。続くステップＳ００６で、第２画像の第２領域に、ディスプレイ７の表示画面を切り換える。なお、第１領域、第２領域の画面アスペクト比は、ディスプレイ７のアスペクト比と同じに設定することが望ましい。制御部６ａは、続くステップＳ００７で、第２領域を包含し、かつサイズが徐々に大きくなる切り出し領域を第２画像上で設定した上で、上述の画素数変換により表示画像データを生成し、これを順次ディスプレイ７に表示させて、擬似的ズームアウトを行う。

図２および図３に示すシーンチェンジの再生演出例１では、切り換え前後の画像の中の画像特徴量が類似した領域として青空の領域、および黒目の領域と夜空の領域を例に挙げて説明したが、特徴量が類似した領域の画像を切り換え画像に用いる代わりに、切り換え前後の画像の中の共通の被写体領域の画像を切り換え画像としてもよい。例えば、切り換え前後の画像の中から建物の窓、ドアなどをトリミングにより切り出し、これらの切り出し画像を切り換え前後の画像としてもよい。なお、画像の中から建物の窓やドアなどの領域を切り出すには、画像中のエッジ成分を抽出して建物の外形を検出し、その建物の内側の所定の大きさのエッジ閉曲線を抽出すればよい。

切り換え前の画像の中の窓の領域に擬似的にズームインし、切り換え後の画像の窓の領域から擬似的にズームアウトするシーンチェンジにおいて、切り換え前の画像で窓の領域に擬似的にズームインする過程で画像の明るさを徐々に増し、最終的にズームインした窓の領域の画像を“白飛び”（画像データの明るさを最大レベルに飽和させる）させた後、切り換え後の画像の中の窓の領域の画像を“白飛び”状態で表示させ、切り換え後の画像で窓の領域から擬似的にズームアウトする過程において画像の明るさを徐々に適正な明るさに変えていく演出としてもよい。あるいは、“白飛び”させる代わりに、切り換え前の画像のトンネルや洞窟の領域に擬似的にズームインしてする過程で最終的に“黒つぶれ”（画像データの明るさを最小レベルに減少させる）にし、切り換え後の画像の中のトンネルや洞窟の領域を“黒つぶれ”に表示した後、切り換え後の画像でトンネルや洞窟の領域から擬似的にズームアウトする過程で画像の明るさを徐々に増していく構成としてもよい。

このように、複数の画像の中の一枚の画像を表示した後に次の画像に切り換えるシーンチェンジにおいて、切り換え前後の画像の中から特徴量が類似する領域や同じ種類の被写体の領域を抽出し、切り換え前の画像の抽出領域へ擬似的なズームインを行った後、切り換え後の画像の抽出領域から擬似的なズームアウトを行うようにしたので、複数の画像を切り換えながら再生表示する際に視聴者の興味を引きつけ、面白いと感じさせ、飽きさせない演出を施すことができる。

なお、上述した再生演出方法１では異なる２枚の画像を切り換える際の演出処理を説明したが、１枚の画像の中から特徴量が類似する２つの領域を抽出し、一方の領域に擬似的にズームインし、他方の領域から擬似的なズームアウトを行うように演出してもよい。これにより、１枚の画像を再生表示する場合でも、視聴者の興味を引きつけ、面白いと感じさせ、飽きさせない演出を施すことができる。

《再生演出方法２》
次に、画像の中の一部の被写体を移動または変形する再生演出方法を説明する。図５は、画像の中に写っている道路標識を移動し変形する演出例を示す図である。再生表示対象の画像を解析して色成分、エッジ、テクスチャーなどの特徴に基づいて１または複数の被写体を識別する。さらに、これらの被写体の移動と変形が可能か否かを判別する。つまり、画像上で被写体の移動と変形を行った場合に、移動と変形を行った後に空白領域が発生するが、この空白領域を被写体領域の周囲の画像データを用いて補間する必要がある。移動または変形させる被写体に隣接する画像データを用いて移動または変形にともなう空白領域の補間が可能であれば、その被写体を移動または変形させることができる。

図５(ａ)において、画像の中に写っている交通標識２００を、移動し変形する被写体として注目する。画像からエッジの交点などを抽出して画像の特徴点を検出し、被写体とその領域を識別する。図５(ａ)に示す画像から黒丸(●)印とバツ(×)印の特徴点が検出され、交通標識２００を被写体として識別する。交通標識２００に隣接する画像の領域には、上部の背景に木の葉の画像領域があり、下部の背景に子供と木の幹の画像領域がある。この交通標識２００を画像上で移動または変形する場合に、移動または変形によって生じる空白領域を、背景の木の葉の画像データもしくは子供と木の幹の画像データを用いて補間し、補修しなければならない。

ここで、移動または変形対象の被写体領域に隣接する領域が、（１）その領域の画像の低周波数成分が少なく、高周波数成分が多く、かつその方向性がランダムな領域（例えば木の葉のような画像の領域）か、あるいは、（２）その領域の画像の高周波数成分が少なく、低周波数成分が多く、かつその方向性がランダムな領域（例えば曇り空のような画像の領域）か、あるいは（３）その領域の画像の高周波数成分、低周波数成分ともに低い領域（例えば青空のような画像の領域）か、の何れかであれば、そのような領域の画像を用いて被写体の移動または変形後の空白領域を補間により補修することができる。また、移動または変形対象の被写体領域の周囲に空白領域を補間可能な画像の領域があっても、空白領域とその周囲の補間可能な領域との間の境界部を目立たなくするために“ぼかし”を入れるために、周囲の補間可能な領域の面積が少なくとも空白領域よりも十分に広くなければならない。また、空白領域がその周囲の補間可能な領域に包含されていることが好ましい。

図５(ａ)に示す例では、交通標識２００の上部の周辺（背景）には木の葉の画像領域があり、この木の葉の画像の領域は交通標識２００の上部を移動または変形（ここでは、縮小）したときの空白領域よりも十分に広く、かつ、空白領域の大部分を包含しており、さらに、上記（１）に記載のように、木の葉の画像は空白領域を容易に補間可能な画像であるから、交通標識２００の上部（黒丸の特徴点で囲まれた領域）を移動または変形可能である。一方、交通標識２００の下部の周辺（背景）には子供と木の幹の画像領域があり、この子供と木の幹の画像の領域は交通標識２００の下部を移動または変形（縮小）したときの空白領域よりも十分に広いとは言えず、かつ、空白領域の周囲に複雑に入り組んでおり、また、子供と木の幹の画像は上述したような一様な画像ではないから、空白領域を容易に補間可能な画像ではない。したがって、交通標識２００の下部（バツの特徴点で囲まれた領域）を移動または変形することは困難である。図５(ａ)に示す交通標識２００の上部のみ、図５(ｂ)に示すように移動することができ、かつ図５(ｃ)に示すように変形すなわち縮小することができる。なお、交通標識２００の下部でも拡大変形ならば可能である。ここで、上記の空白領域の境界線は、理想的には、その全てが木の葉の画像領域と接していることが望ましいが、例えば図５（ｂ）に示されるように、必ずしもその全てが木の葉の画像領域と接していなくてもよい。一般的には、境界を表す閉曲線の６０％以上の長さで、補間可能な領域（上記の例では木の葉の画像領域）と接していれば十分であると考えられる。

画像上の被写体の移動または変形処理は、ポリゴンによる手法等、周知の手法により実現することができる。カメラにより撮像された画像を解析して画像の中から１または複数の被写体の領域を抽出し、この被写体領域を画像上で少しずつ移動または変形して複数枚の画像を新たに生成する。そして、生成された複数枚の画像を順次ディスプレイ７に再生表示させ、あたかもその被写体が画像上で時間経過と共に、動的に移動または変形しているかのような動画像を提示する。この際に、被写体の移動量または変形量を小さくして、所定の移動量または変形量に至るまでの間に多くの画像を新たに生成するほど、それらを順次再生表示させたときの被写体の動きが滑らかになる。

このように、画像中の被写体を移動または変形する演出では、被写体に隣接する画像が被写体の移動、変形にともなう空白領域を補間可能な画像であり、かつその領域が空白領域を包含する十分に広い領域であれば、当該被写体の移動または変形が可能である。換言すれば、被写体の移動、変形にともなう空白領域を補間可能な画像の領域が空白領域に隣接し、空白領域がその隣接画像領域の範囲内にある場合には、その被写体の容易な移動または変形が可能である。再生表示する画像の中から上述した移動または変形可能な条件に合う被写体を抽出し、その被写体を移動または変形する演出を施すことによって、画像を再生表示する際に視聴者の興味を引きつけ、面白いと感じさせ、飽きさせなくすることができる。そのため、上述した範囲内における被写体の移動量または変形量が所定量未満の被写体を移動または変形の対象としない。また、被写体の移動量または変形量が所定量以上の被写体が存在しない画像を再生演出対象としない構成とすることができる。

次に、画像中で移動した被写体を他の被写体の背後に隠れさせる演出方法について説明する。一般に、カメラから遠くにある被写体ほど画像の消失点に近い位置に写り込む。例えば地面が写っているような画像では、被写界においてカメラから遠い被写体ほど、被写体と地面との境界が、撮像画面上の消失点に近い位置になる。消失点は、例えば、撮像画像からエッジを検出し、検出したエッジをハフ変換して複数の直線を抽出し、抽出された複数の直線に基づき、これら複数の直線を延長したときの交差する点を抽出することで、撮像画像上の位置を算出することができる。したがって、撮像画像を解析して複数の被写体領域を抽出し、各被写体領域の下端の画像上の位置から、当該撮像画像を撮像した撮像装置の撮像レンズ光軸方向の、複数の被写体の相対的な位置関係を求めることができる。

図６(ａ)において、交通標識３００と地面との境界Ｘは、木２０１と地面との境界Ｙよりも画像上で下側にある。この一実施の形態では、各被写体領域の下端の画像上の上下方向の位置に基づいて各被写体の被写界における奥行き方向の位置を求め、被写体を移動させる際に奥行き方向の位置に基づいて他の被写体の背後に隠れさせる。交通標識３００を移動させる場合に、交通標識３００の地面との境界を図６(ａ)に示すＸの位置から、木２０１と地面との境界Ｙの位置よりも消失点側（Ｘ‘）に移動させ、図６(ｂ)に示すように交通標識３００の一部を木２０１の背後に隠れさせる。このように、被写体の被写界における奥行き方向の位置に基づいて、被写体を移動または変形させたときに他の被写体の背後に隠れさせる演出（オクルージョン）を施すようにしたので、被写体の移動または変形にともなって他の被写体の背後に隠れて見えなくなるはずのものが見えてしまい、視聴者が違和感を感じるのを防止することができる。

なお、図６に示す画像中の被写体の移動、変形および隠れの再生演出例では、交通標識３００のみを移動、変形および隠す例を示したが、上述した移動、変形および隠れの条件に合う被写体であればどのような被写体を移動、変形および隠れの対象にしてもよいし、対象被写体が複数個あってもよい。

《再生演出方法３》
画像を再生表示するときに楽曲を再生しながら画像に演出を施す再生演出方法を説明する。楽曲データは記録媒体２ａから記憶装置２に読み込まれ記憶されており、ディスプレイ７に画像を再生表示するときにスピーカー８により再生する。なお、通信装置(不図示)を介して外部の例えばウエブから楽曲データを取得するようにしてもよい。楽曲データにはメタデータとしてスタンダード・ジャズ、バラード、ロックなどの楽曲のジャンル、３拍子や４拍子などの楽曲のリズムとテンポなどが記憶されており、楽曲データ（メタデータ）をコンピューター６の解析部６ｂにより解析することで、これらの情報を取得することができる。メタデータとしてこれらの情報が記憶されていない場合には、リズムとテンポは例えばバスドラムの音により把握することができる。バスドラムの音は、楽曲データ（音楽データ）の周波数解析を行うことによって抽出することができる。

画像とともに再生する楽曲は、ユーザーあるいは視聴者が手動で選択してもよいし、コンピューター６の制御部６ａにより自動で選択する構成としてもよい。楽曲の自動選択方法には、画像データに関連付けて記録されている撮像日情報（年月日時情報）に応じて選択する方法がある。例えば１２月中旬から下旬に撮像された画像とともに再生するのであれば、クリスマスに関連した楽曲を選択する。あるいは、画像データに関連付けて記録されている撮像地情報に応じた楽曲を選択する方法がある。例えば沖縄で撮像された画像とともに楽曲を再生するのであれば沖縄の民謡を選択する。このような画像の撮像日時や撮像地に基づいて楽曲を選択することによって、旅行写真を鑑賞するときなどに視聴者の画像への興味をいっそう強くさせることができる。さらに、画像を再生する場所に応じて楽曲を選択するようにしてもよい。再生する場所は製品（本再生演出装置１、あるいは同装置に再生演出動作を行わせる再生演出プログラム）の仕向地により特定できる。ユーザーあるいは視聴者が操作部５により再生地を手動で設定してもよい。さらにまた、再生する１または複数の画像の解析結果に基づいて、例えば「運動会」など、画像に映されているイベントを識別し、イベントに適した楽曲を自動選択するようにしてもよい。あるいは、画像再生装置１の周囲に流れている楽曲をマイク３で集音し、コンピューター６の解析部６ｂでジャンルやリズム、テンポなどを解析して楽曲を識別するようにし、解析結果に応じて、画像に演出を施す構成としてもよい。また、上記のメタデータが楽曲データに関連付けて記憶されておらず、楽曲の識別が困難な場合には、楽曲データを解析した結果得られる、リズムやテンポの情報に応じて画像に演出を施すようにしてもよい。

選択または識別された楽曲に応じて画像の中の被写体の移動および変形パターンを生成し、演出を施した画像をディスプレイ７に表示するとともに、選択された楽曲または識別結果の楽曲、あるいは解析結果のリズムやテンポに合った楽曲をスピーカー８から再生する。

例えば、図６(ａ)に示す画像において交通標識３００をコピーして合計３本にし、３本の交通標識を図７、図８に示すように楽曲に合わせて移動、変形させる。なお、図７、及び図８においては３本の交通標識の楽曲に合わせた動きのみを示し、図６(ａ)に示す他の被写体の図示を省略する。図７(ａ)はある楽曲のリズムの一例を示し、図７(ｂ)〜(ｆ)は、図７（ａ）のリズムに合わせて３本の交通標識が移動、変形する、つまり、３本の交通標識が楽曲に合わせて“踊る”様子を示す。図７(ａ)に示すリズム進行に合わせて、図７（ｂ）、(ｃ)、(ｄ)では、３本の交通標識が、１本ずつ交通標識の矢印の向きを変えながら交通標識の支柱を曲げて変形し、図７(ｅ)では交通標識の矢印の向きを固定したままで交通標識の支柱を曲げて変形し、図７(ｆ)では交通標識の支柱を伸縮させることで高さを変えて交通標識（矢印表示部）の位置を移動させている。なお、図７において、（ａ）のリズムは、（ｂ）の移動、変形時と同様に、（ｃ）、（ｄ）の移動、変形時にも繰り返される。また、楽曲のリズムに合わせて交通標識の本数を変える構成としてもよい。図８は、この一例を示しており、(ａ)に示す楽曲のリズム進行に合わせて、(ｂ)に示すように交通標識の本数を徐々に増加させ、最後の音で全ての交通標識を画面上から消去させている。

なお、楽曲のメロディーに合わせて画像中の被写体を移動、変形させたり、楽曲のメロディー、リズムおよびテンポに合わせて被写体を移動、変形させる演出を行ってもよい。あるいは、楽曲の曲調によって演出を変えてもよい。例えばスローなバラード調の楽曲に対しては、昼間の画像から空の色の赤色成分を強くして夕焼け空の画像に徐々に変化させた後、画像全体を暗くして夜景にし、画像解析により認識された画像中の家屋の窓や街路灯を順次点灯させていくような演出がよい。また、選択あるいは識別された楽曲の題名や歌詞に応じて画像の演出を変えてもよいし、場合によっては楽曲が選択あるいは識別された後に楽曲に合う画像を選択し、その画像に楽曲に合った演出処理を施すようにしてもよい。このような曲調の認識は、楽曲のメタデータによらず、楽曲データそのものを解析して認識する構成としてもよい。

記憶装置２には予め被写体の移動、変形あるいは隠れなどを規定した種々の演出テンプレートが記憶されており、コンピューター６の処理部６ｃは、記憶装置２に記憶されている種々の演出テンプレートの中から、選択あるいは識別された楽曲にマッチする演出テンプレートを選択し、画像に演出処理を施す。このとき、ディスプレイ７の画像表示のフレームレートは一定であるので、演出画像の再生速度、つまり演出画像の生成枚数は楽曲のリズムに応じて決定するのが望ましい。

《再生演出方法４》
画像の解析により認識された被写体の種類に応じて、時間的に移動（変化）するアニメーションを画像の被写体領域に関連した領域に重畳して再生表示する再生演出方法を説明する。例えば画像解析により画像の中に湯豆腐などの料理が写っていることが認識された場合には、料理から立ち上る湯気を時間経過とともに変化させる演出処理を施す。この場合、湯気の画像は予め記憶装置２に演出テンプレート画像として記憶されている。また、昼間に撮像された画像に車が写っている場合には、この画像を夜景に変える演出処理を施す際にライトを点灯・点滅させたり、青空が写っている画像の中に予め演出テンプレート画像として記憶されている雲の画像を重畳し、雲を時間経過とともに移動させたり、あるいは街角でスナップ撮影された画像に予め演出テンプレート画像として記憶されている雪の画像を重畳し、雪を降らせてもよい。

図９は、上記の再生演出方法２乃至４において、制御部６ａが行う制御動作を示したフローチャートである。制御部６ａは、ステップＳ１００で、記憶装置２に記憶される画像の中から、ディスプレイ７に再生表示する１フレームの画像を選択する。ステップＳ１０１で、制御部６ａは、ディスプレイ７に再生表示する画像を解析し、色成分、エッジ、テクスチャーなどの特徴に基づいて、１または複数の被写体を識別し、被写体の移動と変形が可能か否かを判断する。なお、この判断において、上述のとおり、所定量以上の移動、変形が可能か否かをもとに判断する構成としてもよい。ステップＳ１０１で、被写体の移動と変形が不可能と判断された場合には、ステップＳ１０２で、ディスプレイ７に再生表示する画像として、まだ選択されていない画像を選択する。一方、ステップＳ１０１で、被写体の移動と変形が可能と判断された場合には、ステップＳ１０３で、移動、変形の可能な被写体領域と、可能な移動量、可能な変形量情報を取得する。さらに、上記移動可能な被写体と地面との境界部と、消失点との間の画面上の離間情報（距離情報）も合わせて取得する。

ステップＳ１０４で、記憶装置２に記憶されており、画像と共に再生しようとする楽曲データにメタデータが記憶されているか否かについて判断し、ステップＳ１０４で肯定判定された場合には、ステップＳ１０６で、メタデータから、リズム（拍子）やテンポ等の情報を取得する。一方、ステップＳ１０４で否定判定された場合には、ステップＳ１０５で、楽曲データの解析により、リズム（拍子）とテンポ等の情報を取得する。続くステップＳ１０７で、制御部６ａは、上記の移動、変形可能な被写体を、選択された楽曲に合わせて、移動、変形させる画像データを生成する。この際に、被写体がもとの位置から、ある位置までの移動を、例えば４拍の拍数の間で行うことを考えた場合に、ディスプレイ７の表示のフレームレートは固定であるので、移動過程の画像の生成フレーム数は、楽曲のテンポによって決定される。制御部６ａは、楽曲データのメタデータ、あるいは楽曲データの解析によりテンポ等の情報を取得し、これをもとに上記被写体の移動、変形パターンと、各移動、変形処理における遷移過程の画像の生成枚数とを決定し、画像生成を行う。また、上記被写体を移動、変形させる際に、他の被写体に隠れるか否かを判断するために、画面内の上記の移動、変形対象被写体以外の被写体の奥行き情報を取得するために、これら被写体の地面との境界部と消失点との間の離間情報を取得し、ステップＳ１０３で取得した離間情報が、ステップＳ１０７で取得した離間情報より小さくなった場合には、移動、変形対象被写体の移動、変形により、当該移動、変形対象被写体に隠れが発生すると判断し、このような画像を生成する。

一方、ステップＳ１０３で取得した離間情報が、ステップＳ１０７で取得した離間情報より大きくなった場合には、移動、変形対象被写体の移動、変形により、当該移動、変形対象被写体に隠れが発生しないと判断し、このような画像を生成する。また、同様にステップＳ１０７で、湯豆腐やおでんなどの特定被写体が写っていることが認識された場合には、当該被写体領域に関連する領域（例えば上部）に、湯気などのアニメーション画像を重畳させた画像を生成する。
制御部６ａは、ステップＳ１０８で、選択された楽曲と、ステップＳ１０７で生成された画像を順次再生する。なお、上述のステップＳ１０４で選択される楽曲は、再生する画像の撮影日時、撮影場所、撮影イベント、再生日時、再生場所などをもとに選択される構成としてもよい。

上述した一実施の形態では、本願発明の再生演出プログラムおよび再生演出装置を画像再生装置に組み込んだ例を示したが、本願発明の再生演出プログラムおよび再生演出装置を撮像装置に組み込んでもよい。また、本願発明の再生演出プログラムを一般のパソコンで実行させる構成としてもよい。

なお、上述した実施の形態の再生演出方法とそれらの変形例において、再生演出方法どうし、または再生演出方法と変形例とのあらゆる組み合わせが可能である。

上述した実施の形態の再生演出方法とその変形例によれば以下のような作用効果を奏することができる。まず、カメラにより撮像された画像を解析して画像の中から画像の特徴が類似する第１および第２の領域を抽出し、画像の中から第１の領域を含む第１の切り出し領域を設定し、第１の切り出し領域を第１の領域まで徐々に縮小しながら、第１の切り出し領域の画像をディスプレイに表示させた後、画像の中から第２の領域を含む第２の切り出し領域を設定し、第２の切り出し領域を第２の領域から徐々に拡大しながら、第２の切り出し領域の画像をディスプレイ７に表示させるようにしたので、再生表示される画像に対して、視聴者の興味を引きつけ、面白いと感じさせ、飽きさせない演出を施すことができる。

また、カメラにより撮像された画像を解析するとともに、この解析結果に基づいて画像の中から１または複数の被写体の領域を抽出し、被写体の領域を画像上で移動または変形させて複数枚の新しい画像を生成し、予め選択された楽曲をスピーカーにより放送しながら複数枚の新しい画像を順次ディスプレイに再生表示させるようにしたので、楽曲に合わせて被写体が画像上で移動または変形する演出を施すことができ、再生表示される画像に対して、視聴者の興味を引きつけ、面白いと感じさせ、飽きさせないようにすることができる。

１；再生演出装置、２；記憶装置、６ａ；制御部、６ｂ；解析部、６ｃ；処理部、７；ディスプレイ、８；スピーカー

Claims (16)

1. 撮像装置により撮像された画像を解析する画像解析手順と、
   前記画像解析手順での解析結果に基づいて、前記画像の中から１または複数の被写体の領域を抽出する領域抽出手順と、
   前記被写体の領域を前記画像上で移動または変形させて複数枚の新しい画像を生成する画像生成手順と、
   予め選択された楽曲をスピーカーにより再生しながら、前記画像生成手順で生成された前記複数枚の新しい画像を順次ディスプレイに再生表示させる画像再生手順とをコンピューターに実行させ、
   前記楽曲に合わせて前記被写体が前記画像上で移動または変形する演出を施すことを特徴とする再生演出プログラム。
2. 請求項１に記載の再生演出プログラムにおいて、
   前記画像生成手順では、前記楽曲のリズムに合わせて前記被写体の領域を前記画像上で移動または変形させ、前記複数枚の新しい画像を生成することを特徴とする再生演出プログラム。
3. 請求項１または請求項２に記載の再生演出プログラムにおいて、
   前記画像生成手順では、前記被写体の領域の移動または変形によって生じる前記画像上の空白領域の画像を、その空白領域の周囲の領域の画像を用いて補間により生成することを特徴とする再生演出プログラム。
4. 請求項３に記載の再生演出プログラムにおいて、
   前記画像生成手順では、前記被写体の領域の移動または変形によって生じる前記画像上の空白領域が、その空白領域の周囲の領域の画像により補間可能な範囲内において前記被写体の領域の移動または変形を行うことを特徴とする再生演出プログラム。
5. 請求項４に記載の再生演出プログラムにおいて、
   前記画像生成手順では、前記被写体の領域の移動量または変形量が所定量以上の前記被写体を移動または変形の対象とすることを特徴とする再生演出プログラム。
6. 請求項４または請求項５に記載の再生演出プログラムにおいて、
   前記画像生成手順では、前記被写体の領域の移動量または変形量が所定量以上の前記被写体が存在する前記画像を前記複数枚の新しい画像を生成する対象とする再生演出プログラム。
7. 請求項１〜６のいずれか一項に記載の再生演出プログラムにおいて、
   前記領域抽出手順では、前記画像上の前記被写体の領域の下端の位置に基づいて前記被写体の被写界における奥行き方向の位置を推定し、
   前記画像生成手順では、前記被写体を移動または変形させるときに、前記被写体の被写界における奥行き方向の位置に基づいて、前記被写体が他の被写体の陰に隠れる画像を生成することを特徴とする再生演出プログラム。
8. 請求項１〜７のいずれか一項に記載の再生演出プログラムにおいて、
   前記画像再生手順では、前記画像が撮像された日に応じた楽曲を選択することを特徴とする再生演出プログラム。
9. 請求項１〜７のいずれか一項に記載の再生演出プログラムにおいて、
   前記画像再生手順では、前記画像が撮像された場所に応じた楽曲を選択することを特徴とする再生演出プログラム。
10. 請求項１〜７のいずれか一項に記載の再生演出プログラムにおいて、
    前記画像再生手順では、前記画像生成手順で生成された前記複数枚の新しい画像を再生表示する日に応じた楽曲を選択することを特徴とする再生演出プログラム。
11. 請求項１〜７のいずれか一項に記載の再生演出プログラムにおいて、
    前記画像再生手順では、前記画像生成手順で生成された前記複数枚の新しい画像を再生表示する場所に応じた楽曲を選択することを特徴とする再生演出プログラム。
12. 請求項１〜７のいずれか一項に記載の再生演出プログラムにおいて、
    前記画像解析手順では、前記画像に映されているイベントを識別し、
    前記画像再生手順では、前記画像解析手順で識別されたイベントに応じた楽曲を選択することを特徴とする再生演出プログラム。
13. 請求項８〜１２のいずれか一項に記載の再生演出プログラムにおいて、
    前記画像生成手順では、前記選択された楽曲に応じて前記被写体の領域を前記画像上で移動または変形させ、前記複数枚の新しい画像を生成することを特徴とする再生演出プログラム。
14. 請求項１３に記載の再生演出プログラムにおいて、
    前記画像生成手順では、前記選択された楽曲に応じて前記新しい画像の生成枚数を決定することを特徴とする再生演出プログラム。
15. 請求項１〜１４のいずれか一項に記載の再生演出プログラムにおいて、
    前記画像解析手順では、前記画像に写っている被写体の種類を識別し、
    前記画像再生手順では、前記画像解析手順で識別された前記被写体の種類に応じたアニメーションを前記画像に重畳させるとともに、前記アニメーションを時間的に変化させて再生表示することを特徴とする再生演出プログラム。
16. 画像を記憶する記憶装置と、
    請求項１〜１５のいずれか一項に記載の再生演出プログラムを実行するコンピューターと、
    演出結果の画像を表示する表示装置とを備えることを特徴とする再生演出装置。

Images