JP2006304090A - フォトムービー作成装置及びフォトムービー作成プログラム - Google Patents

Abstract

【課題】静止画の一部をクローズアップし、スクロールさせるフォトムービーを作成する際に、スクロール方向が急に変化する見づらいフォトムービーとなることを防ぐ。
【解決手段】 静止画の一部を切り出す範囲を定めるトリミング枠を移動させ、トリミング枠が移動するごとに切り出される画像を使用してフォトムービーを作成する。トリミング枠の移動経路が決定される際には、静止画から人物の顔が検出され、人物の数、顔の位置が特定される。静止画に写る人物が複数であるときに、各人物の顔の位置を結ぶ曲線を作成する。作成された曲線の上をトリミング枠の中心が移動するように、トリミング枠の移動経路が決定される。これにより、スクロールの方向が滑らかに変化し、見やすいフォトムービーが作成される。
【選択図】 図１

Description

本発明は、素材となる静止画から、動画として観賞されるフォトムービーを作成するフォトムービー作成装置及びフォトムービー作成プログラムに関する。

デジタルカメラ等により記録された静止画を、動的な視覚効果を付与する特殊な加工編集処理によって動きのあるフォトムービーとして観賞できるようにしたフォトムービー作成ソフトウェアが知られている（非特許文献１ないし３参照）。フォトムービーの映像は、上記ソフトウェアを組み込んだコンピュータ上で再生することができる。また、フォトムービーの映像データを汎用的なデジタル動画フォーマットに変換し、ＤＶＤ等の光ディスクに記録すれば、家庭用ＤＶＤプレイヤー等を用いてフォトムービーを観賞することもできる。

フォトムービーは、例えば１つの静止画から生成される１シーンを構成単位とし、複数の静止画を使用した場合には複数のシーンが集合して構成される場合もある。高品位のフォトムービーを作成するためには、素材となる静止画の画質、静止画の内容と特殊エフェクトの組み合わせ、１シーンの再生時間等の要素から個々のシーンを最適に構築する必要がある。静止画に動きを与えるフォトムービーの特殊エフェクトには、静止画の一部の領域に注目してズームイン／ズームアウトするズーミング効果、静止画の一部の領域をクローズアップしてスクロールするパンニング効果等がある。

非特許文献３に記載のフォトムービー作成ソフトウェアでは、ズーミング効果とパンニング効果を設定するパラメータとして、静止画の一部を切り出す範囲を定めるトリミング枠が用意されている。トリミング枠の始点と終点を定める静止画上の少なくとも２つのポイントがユーザーにより指定されると、トリミング枠の始点と終点が定められ、始点と終点を結ぶ直線の移動経路が設定される。トリミング枠は、この移動経路上を移動することで静止画を切り出す範囲を変更し、複数の画像を切り出す。

１シーンの再生時間が例えば５秒間であれば、トリミング枠により５秒×３０フレーム／秒の計１５０フレーム分の画像が切り出される。切り出された画像は、フォトムービーの動画フレームとして、例えば７２０ピクセル×４８０ピクセルの家庭用テレビでの観賞に適した規定の画像サイズに変換される。したがって、トリミング枠が小さいほど、切り出される画像は静止画を高倍率にしたものとなる。

また、移動経路を設定する際に、静止画上の３つ以上のポイントが指定されれば、最初に指定されたポイントが移動経路の始点、最後に指定されたポイントが移動経路の終点、途中で指定されたポイントは移動経路の中継点となり、始点から中継点、中継点から終点を結ぶ移動経路が設定され、ユーザーの希望する内容のフォトムービーを自在に作成することができる。
株式会社デジタルステージ LIFE* with-Photo-Cinema ［平成１６年１１月１日検索］インターネット＜ＵＲＬ：http://www.digitalstage.net/jp/product/life/index.html＞ エー・アイ・ソフト株式会社 デジカメ de ムービーシアター ［平成１６年１１月１日検索］インターネット＜ＵＲＬ：http://ai2you.com/imaging/products/dcmtheater/dcmt.asp＞ カノープス株式会社 Imaginate2.0 ［平成１６年１１月１日検索］インターネット＜ＵＲＬ：http://www.canopus.co.jp/catalog/imaginate/imaginate20#index.htm＞

しかしながら、フォトムービーの素材となる静止画の数が多い場合には、各静止画についてトリミング枠の移動経路を設定する必要があるため、フォトムービーを作成するために大変な手間がかかる。また、従来では、指定されたポイントを直線で結ぶことによってトリミング枠の移動経路が設定されるために移動経路が屈曲し、画面のスクロールする方向が突然変化するような見づらいフォトムービーが作成されてしまうという問題がある。

本発明は、上記問題点を考慮してなされたもので、多数の静止画を使用したフォトムービーが容易に作成でき、画面のスクロール方向が突然変化することがなく快適に観賞できるフォトムービーを作成することが可能なフォトムービー作成装置及びこのためのフォトムービー作成プログラムを提供することを目的とする。

上記目的を達成するために、本発明は、静止画を部分的に切り出す範囲を定めたトリミング枠を、前記静止画上で設定された移動経路に基づいて移動させ、前記トリミング枠が移動するごとに切り出される複数の画像を使用してフォトムービーを作成するフォトムービー作成装置において、前記静止画から人物の被写体の顔を検出し、その位置を特定する顔位置特定手段と、顔の検出された人数が複数であるときに各人物の顔の位置を経由する曲線を作成し、前記トリミング枠の中心を前記曲線に沿って移動させるための移動経路を算出する移動経路算出手段とを備えたことを特徴とする。

前記トリミング枠は、検出された人物の顔のサイズに基づいてその大きさが決定されることを特徴とする。

前記移動経路算出手段により作成された曲線を前記静止画に重ねて画面上に表示する曲線表示手段を備えたことを特徴とする。

静止画を部分的に切り出す範囲を定めたトリミング枠を、前記静止画上で設定された移動経路に基づいて移動させ、前記トリミング枠が移動するごとに切り出される複数の画像を使用してフォトムービーを作成するためのフォトムービー作成プログラムにおいて、前記静止画から人物の被写体の顔を検出し、その位置を特定する顔位置特定手段と、顔の検出された人数が複数であるときに各人物の顔の位置を含む曲線を作成し、前記トリミング枠の中心を前記曲線に沿って移動させるための移動経路を算出する移動経路算出手段としてコンピュータを機能させることを特徴とする。

本発明によれば、静止画から人物の被写体の顔を検出し、検出された人物の数が複数であった場合に、検出された人物の顔の位置を結ぶ曲線を作成し、トリミング枠の中心が作成された曲線上を移動するように、トリミング枠の移動経路が設定されるから、画面のスクロールする方向が突然変化せず、滑らかにスクロールするフォトムービーを自動的に作成することができる。これにより、軽い空間識の乱れによる不快さやこれに伴う疲れを感じることなく快適に観賞できるフォトムービーが得られ、多数の静止画を使用しても見映えのよい高品位なフォトムービーが手間をかけずに容易に作成できる。

また、検出された人物の顔の大きさに基づいてトリミング枠の大きさを算出するから、クローズアップされる人物の顔とその周囲の余白のバランスが適度に調整された見映えのよいフォトムービーを作成することができる。

さらに、トリミング枠の中心が描く軌跡として作成された曲線を静止画と重ねて表示するから、トリミング枠がどのように移動するかをユーザーに事前に伝え、作成されるフォトムービーをユーザーが容易に予測できるようになる。

図１において、フォトムービー作成装置１０は、写真プリントサービスを提供するＤＰＥ店の店頭又は店内に設置され、フォトムービーの作成を依頼する注文客をユーザーとして各種の入力操作がなされる。フォトムービー作成装置１０は、フォトムービー作成プログラムが記憶された記憶装置１１と、フォトムービー作成プログラムを実行するＣＰＵ１２とを備えている。記憶装置１１は、例えばハードディスク型磁気記憶装置であり、フォトムービー作成プログラムの他に、フォトムービーの素材となる静止画の画像データ、ＣＰＵ１２の演算処理により生じる中間データ等が記憶される。

モニタ１３は、フォトムービーを作成するための編集メニュー及び作成されたフォトムービー等を画面上に表示する。入力操作部１４は、フォトムービーの作成時に必要となるパラメータの入力等を行うための操作がなされ、モニタ１３の画面上に表示された入力キー等に触れることによりユーザーの入力操作を検知するタッチパネルからなる。通信部１５は、デジタルカメラ１６等の外部機器との間で画像データ等のデータ通信を行う。メディア読取り部１７は、注文客により持ち込まれたメモリカード１８に記憶された画像データを読取る。メディア記録部１９は、作成されたフォトムービーをＣＤ、ＤＶＤ等の光ディスク２０に記録する。

ＣＰＵ１２は、記憶装置１１に記憶されたフォトムービー作成プログラムを実行することにより、入力操作部１４を介してなされた入力処理等に基づいて各部の動作を制御する制御部２５と、フォトムービーを作成するフォトムービー作成部２６として機能する。フォトムービー作成部２６は、特殊エフェクトを設定するためのパラメータとして用意されたトリミング枠を設定するトリミング枠設定部２７と、フォトムービーの再生時間を設定する再生時間設定部２８と、フォトムービーの動画データを出力するフォトムービー出力部２９とを有している。

トリミング枠設定部２７は、静止画から人物の被写体の顔を検出する顔検出部３０と、検出された顔の位置を特定する顔位置特定部３１と、検出された人物の顔の位置に基づいてトリミング枠の移動経路を算出する移動経路算出部３２とを有している。

図２において、顔検出部３０は、１つの静止画から人物の被写体の顔画像を検出するために人物の眼の画像を抽出する。顔検出部３０は、静止画を複数の領域に分割した分割領域Ｓ１のそれぞれから、皮膚と推定される肌色の画素を多く含む分割領域Ｓ１を選び出す。さらに、肌色の画素を多く含む領域から眼部の白色画素と白色の画素に包囲された瞳と推定される色の画素を有する領域を選び出すことにより、人物の眼を抽出する。

顔位置特定部３１は、抽出された人物の眼の座標を特定し、その周辺の特徴から一人の人物の両眼を特定する。また、一人の人物の両眼が特定されると、その両眼距離ｄを算出し、両眼の中点座標を顔の位置座標Ｐとして算出する。両眼距離ｄと顔の位置座標Ｐは、静止画中で検出された全ての人物の被写体について求められ、このとき静止画に写る人数も特定される。

図３において、移動経路算出部３２は、静止画に写る全ての人物について求められた顔の位置座標Ｐを結ぶ曲線Ｃ１を作成する。曲線Ｃ１は、各顔の位置座標を通る近似曲線であり、静止画の一部を切り出す範囲を定めるトリミング枠Ｆ１の中心点の軌跡となる曲線である。曲線Ｃ１は、静止画とともにモニタ１３の画面上に表示され、ユーザーにトリミング枠Ｆ１の移動経路が概略的に伝えられる。

図４において、移動経路算出部３２は、検出された各人物の顔のサイズをその両眼距離ｄに基づいて判断し、各人物の顔の位置座標Ｐにおける適切なトリミングＦ１の大きさを規定する枠サイズを算出する。トリミング枠Ｆ１は長方形であり、枠サイズはトリミング枠Ｆ１の対角線の中点となる中心座標と１つの頂点との距離によって定まる。トリミング枠Ｆ１は、そのアスペクト比が一般家庭用テレビの画面アスペクト比と同じ値に固定されている。両眼距離ｄが同じであれば、トリミング枠Ｆ１は同じ大きさ・形状になる。

図５において、各人物の顔の位置におけるトリミング枠Ｆ１の枠サイズが決まると、トリミング枠Ｆ１の移動経路が決まる。トリミング枠Ｆ１の移動経路は、曲線Ｃ１により決まるトリミング枠Ｆ１の時間ごとの中心座標と、各中心座標に対するトリミング枠Ｆ１の時間ごとの枠サイズとによって定められる。

再生時間設定部２８は、１シーンごとの再生時間を設定する。１シーンは、１つの静止画から作成されるフォトムービーの構成単位であり、複数の静止画を使用したフォトムービーは、複数のシーンのフォトムービーを繋ぎ合わせたものとなる。１シーンの再生時間は、曲線Ｃ１の長さに基づいて決まり、曲線Ｃ１が長くなるほど１シーンの再生時間が長く設定される。

フォトムービー出力部２９は、移動経路の設定されたトリミング枠Ｆ１に基づいて画像を切り出し、例えば横７２０ピクセル、縦４８０ピクセルの一定サイズに規格化された画像に変換する。これにより、枠サイズの小さいトリミング枠Ｆ１によって切り出された画像ほど静止画を高倍率にしたものとなる。また、サイズの規格化された画像を１フレームとし、例えば毎秒３０フレームの動画データを生成する。フォトムービー出力部２９は、例えば再生時間が１０秒であれば、トリミング枠Ｆ１の中心が曲線Ｃ１上を移動する間に計３００フレーム分の画像を切り出す。

枠サイズが常に一定とされ、中心座標が曲線Ｃ１上を移動するトリミング枠Ｆ１が設定された場合、倍率を一定にしたまま静止画の一部をスクロールさせるパンニング効果の付与されたフォトムービーが作成される。また、中心座標が変化せず、枠サイズのみが時間ごとに変化するトリミング枠が設定された場合、静止画の倍率が変化するズーミング効果の付与されたフォトムービーが作成される。また、枠サイズが時間ごとに変化し、中心座標が曲線Ｃ１上を移動するトリミング枠Ｆ１が設定された場合には、パンニング効果とズーミング効果とを複合したフォトムービーが作成される。

フォトムービー出力部２９は、生成されたフォトムービーの動画データを、例えば、ＭＰＥＧ２−ＤＶＤ−Ｖｉｄｅｏフォーマットのデジタル動画フォーマットに変換し、変換されたフォトムービーの動画データを記憶装置１１に格納する。記憶装置１１に格納されたフォトムービーの動画データは、メディア記録部１９により光ディスク２０に記録される。

次にフォトムービー作成装置１０の作用について説明する。図６において、静止画の画像データが記憶されたデジタルカメラ１６又はメモリカード１８がユーザーにより持ち込まれる。デジタルカメラ１６は通信部１５に接続され、メモリカード１８はメディア読取り部１７にセットされる。制御部２５は、デジタルカメラ１６又はメモリカード１８から静止画の画像データを読み出し、これを記憶装置１１に格納する。

制御部２５は、読取られた静止画の画像データからサムネイル画像を作成し、読取られた静止画の一覧をモニタ１３に表示する。ユーザーによりフォトムービーに使用する静止画が選択されると、フォトムービー作成部２６によりフォトムービーの自動作成が開始される。

制御部２５は、第１番目のシーンに使用される静止画の画像データを読み出し、これをフォトムービー作成部２６に送る。フォトムービー作成部２６では、顔検出部３０により読み出された静止画から人物の眼が抽出され、顔位置特定部３１により抽出された眼に基づいて一人の人物の両眼が特定され、被写体の人数、両眼距離ｄ、顔の位置座標Ｐが算出される。

移動経路算出部３２は、特定された人物が複数であった場合、各人物の顔の位置座標Ｐを通る曲線Ｃ１を求める。なお、人物が一人であった場合には曲線Ｃ１は求められず、その静止画は、トリミング枠Ｆ１の中心座標が一定のまま枠サイズのみが変化するズーミング効果の付与されたフォトムービーとなる。曲線Ｃ１が求められると、モニタ１３の画面上には静止画とともに曲線Ｃ１が表示される。移動経路算出部３２は、各人物の両眼距離ｄから、各地点におけるトリミング枠Ｆ１の枠サイズを算出し、トリミング枠Ｆ１の時間ごとの頂点座標を決定する。

再生時間設定部２８は、求められた曲線Ｃ１の長さから、１シーンの再生時間を設定する。フォトムービー出力部２９は、トリミング枠Ｆ１の中心が曲線Ｃ１上を移動するようにトリミング枠Ｆ１を移動させ、必要なフレーム数の画像を切り出し、フォトムービーの動画データを生成する。

例えば、４人の人物の顔が高い位置と低い位置とに交互に並んだ図３に示す静止画の場合、求められた波線状の曲線Ｃ１の上をトリミング枠Ｆ１の中心が移動するように移動経路が決定される。静止画の最も左側に位置する人物について設定されたトリミング枠Ｆ１の範囲の画像がフォトムービーの１シーンを第１フレームとして静止画が部分的に切り出され、最も右側に位置する人物について設定されたトリミング枠Ｆ１の範囲の画像が最終フレームとなる。

図７に示すように、この静止画から作成されるフォトムービーは、最も左側に写る野球帽を被った男の子の顔のクローズアップで始まり、この男の子の顔が画面のほぼ左下方向に向かって移動し、野球帽を被った男の子の右上に写る女の子の顔がクローズアップされる。次に、この女の子の顔が左上方向に移動し、その右下に写るおさげの女の子の顔がクローズアップされ、このおさげの女の子の顔が左下方向へ移動し、ニット帽を被った男の子の顔がクローズアップされると、フォトムービーが終了する。中心座標が曲線Ｃ１の上を移動するようにしてトリミング枠Ｆ１が移動することにより、このようにして画面が波線を描くように滑らかにスクロールするフォトムービーが作成される。

その他の静止画についても同様の処理が行われ、全ての静止画についてそれぞれ１シーン分のフォトムービーが作成され、これらが繋ぎ合わされた１つの動画データが生成される。生成された動画データはＭＰＥＧ圧縮処理が施され、ＭＰＥＧ圧縮された動画データは、ＤＶＤ−Ｖｉｄｅｏフォーマットに変換され、記憶装置１１に格納される。

記憶装置１１に格納されたフォトムービーの動画データは、メディア記録部１９において光ディスク２０に書き込まれる。フォトムービーの動画データが書き込まれた光ディスク２０は、料金と引き換えにフォトムービー作成装置１０から外部に排出され、注文客に渡される。以上のようにして、フォトムービーの注文と作成、商品の受渡しが終了する。

なお、本発明は、上記実施形態に限られず適宜の変更が可能である。例えば、曲線Ｃ１が作成される際、１通りの曲線を作成するのではなく、複数通りの曲線を作成し、作成された複数種類の曲線から１つの曲線をユーザーが選択できるようにしてもよい。また、作成された曲線をユーザーの操作により変形できるようにしてもよい。例えば、モニタ１３の画面上に静止画と曲線Ｃ１を表示する時、処理をそのまま続行してよいか否かの判断を要求するダイアログを表示し、ユーザーが曲線の種類を変更する指示を行えるようにし、選択候補となるその他の曲線の例を一覧できるようにすることや、ユーザーが曲線を変形させる部分や変形の程度を指定できるようにすることが好ましい。

また、上述のフォトムービー作成装置１０は、フォトムービーを作成するために静止画の画像データの読み込みからフォトムービーの動画データが記録された光ディスク作成を一括して行う専用装置として構成されているが、他の形態として、静止画の画像データを読み込ませて特殊エフェクト等の指定を行うための注文受付機と、注文受付機から静止画の画像データやユーザーにより指定された各種の情報を受信し、これに基づいてフォトムービーを作成するフォトムービー出力機とから構成されていてもよい。この場合、本発明のフォトムービー作成プログラムをパーソナルコンピュータに組み込み、注文を自宅からインターネット等の通信手段を介して行えるようにしてもよい。本発明をデジタルスチルカメラに適用し、撮影した画像をその場でフォトムービーとして再生できるようにしてもよい。

フォトムービー作成装置の概略構成を示すブロック図である。 両眼距離と顔の位置座標を示す説明図である。 人物の顔の位置に基づいて作成された曲線を示す説明図である。 トリミング枠を示す概念図である。 トリミング枠の軌跡を示す説明図である。 フォトムービー作成装置のフローチャートである。 フォトムービーを示す説明図である。

符号の説明

１０ フォトムービー作成装置
１２ ＣＰＵ
１６ デジタルカメラ
２５ 制御部
２６ フォトムービー作成部
２７ トリミング枠設定部
２８ 再生時間設定部
２９ フォトムービー出力部
３０ 顔検出部
３１ 顔位置特定部
３２ 移動経路算出部
Ｆ１ トリミング枠
Ｃ１ 曲線

Claims (4)

1. 静止画を部分的に切り出す範囲を定めたトリミング枠を、前記静止画上で設定された移動経路に基づいて移動させ、前記トリミング枠が移動するごとに切り出される複数の画像を使用してフォトムービーを作成するフォトムービー作成装置において、
   前記静止画から人物の被写体の顔を検出し、その位置を特定する顔位置特定手段と、
   顔の検出された人数が複数であるときに各人物の顔の位置を経由する曲線を作成し、前記トリミング枠の中心を前記曲線に沿って移動させるための移動経路を算出する移動経路算出手段とを備えたことを特徴とするフォトムービー作成装置。
2. 前記トリミング枠は、検出された人物の顔のサイズに基づいてその大きさが決定されることを特徴とする請求項１記載のフォトムービー作成装置。
3. 前記移動経路算出手段により作成された曲線を前記静止画に重ねて画面上に表示する曲線表示手段を備えたことを特徴とする請求項１又は２記載のフォトムービー作成装置。
4. 静止画を部分的に切り出す範囲を定めたトリミング枠を、前記静止画上で設定された移動経路に基づいて移動させ、前記トリミング枠が移動するごとに切り出される複数の画像を使用してフォトムービーを作成するためのフォトムービー作成プログラムにおいて、
   前記静止画から人物の被写体の顔を検出し、その位置を特定する顔位置特定手段と、
   顔の検出された人数が複数であるときに各人物の顔の位置を含む曲線を作成し、前記トリミング枠の中心を前記曲線に沿って移動させるための移動経路を算出する移動経路算出手段としてコンピュータを機能させることを特徴とするフォトムービー作成プログラム。
   

Images