JP2012070176A - 撮影装置及びフォトムービー作成装置 - Google Patents

Abstract

【課題】撮影しておくべき写真内容を撮影時に提示することにより有効な写真の取得を推進する技術を提供する。
【解決手段】取り込まれた複数の画像に伴っていてそれぞれの前記画像に関連付けされたカットID情報を用いてインデキシング処理を行なう処理手段と、前記インデキシング処理の結果に基づいて複数の前記画像が順次登場する映像を生成する生成手段とを具備するフォトムービー作成装置。また複数の画像を撮影する撮影装置であって、前記複数の画像にカットID情報を関連付ける関連付け手段と、前記関連付けされたカットID情報を、前記複数の画像に伴って出力する出力手段とを具備する撮影装置。
【選択図】 図２

Description

本発明の実施形態は、フォトムービー作成に向けた写真撮影ガイド機能付き撮影装置及びフォトムービー作成装置に関する。

ガイダンス機能付き撮影装置及び編集装置なるものがある（例えば、特許文献１参照。）。この先行技術は、動画像のダイジェスト編集を容易にするために、撮影済みデータ毎に対応付けられたシーンの重要度を付加するものである。が、様々なスタイルのフォトムービーに適した写真の取得を促すことは出来ない。

他方で、フォトムービーを完成させるにあたり撮影しておくべき写真内容を撮影時に提示することにより有効な写真の取得を推進するという要望があるが、かかる要望を実現するための手段は知られていない。

特許第４４５１６２０号公報

本発明は、撮影しておくべき写真内容を撮影時に提示することにより有効な写真の取得を推進する技術を提供することを目的とする。

上記課題を解決するために、実施形態によればフォトムービー作成装置は、取り込まれた複数の画像に伴っていてそれぞれの前記画像に関連付けされたカットID情報を用いてインデキシング処理を行なう処理手段と、前記インデキシング処理の結果に基づいて複数の前記画像が順次登場する映像を生成する生成手段とを具備する。

本実施形態のフォトムービー作成装置であるコンピュータのシステム構成を示す図。 同実施形態の撮影装置を示すブロック構成図。 同実施形態の写真内容DB６を説明するために示す図。 同実施形態の撮影した写真と写真内容を比較する処理のフロー図。 同実施形態に用いられる写真の登録処理のフロー図。 同実施形態のフォトムービーのスタイル選択画面のイメージ図１。 同他の形態のフォトムービーのスタイル選択画面のイメージ図２。 同他の形態のフォトムービーのスタイル選択画面のイメージ図３。 コンピュータによって実行されるムービー作成アプリケーションプログラムの機能構成を示すブロック図。 素材又はオブジェクトを選択可能に提示するグラフィック画面の一実施例を示す図。

以下、本発明の実施形態を説明する。
（第１の実施形態）
本発明による第１の実施形態を図１乃至図１０を参照して説明する。
まずカメラ付き携帯電話等により実現される撮影装置１０Ａについて説明する。図２は、この発明の一実施形態を示すブロック構成図を示している。
即ち撮影装置１０Ａは、写真を撮影する撮影部１と、ユーザ操作を受け付けるユーザインタフェース２と、フォトムービーのスタイルを設定するスタイル設定部３と、撮影した写真を保存する撮影写真保存エリア４と、設定したスタイルを保持する設定スタイル保持エリア５と、スタイル毎に定められた写真内容情報を格納する写真内容DB６と、写真内容提示用の画像を保存する写真内容提示用画像保存エリア７と、写真の特徴を抽出する特徴抽出部８と、特徴同士を比較する特徴比較部９と、表示部１０および写真の登録を制御する写真登録部１１とから構成される撮影装置である。

スタイル設定部３は、フォトムービーの種類を設定し、結果を設定スタイル保持エリア５に提供することを特徴とする。
表示部１０は、設定スタイル保持エリア５に保持されているスタイル情報と、写真内容DB６の写真内容と、写真内容提示用画像保存エリア７の写真内容提示用の画像データとを利用し、設定されたスタイルに対して定められた写真内容を提示することを特徴とする。

撮影部１によって写真が撮影された際、特徴比較部９は、特徴抽出部８によって抽出された当該写真の特徴と、設定スタイル保持エリア５に保持されているスタイル情報と、写真内容DB６に格納された当該スタイルに対して定められた写真内容の特徴と、を利用して撮影された写真と当該スタイルの写真内容を比較することを特徴とする。

表示部１０は、特徴比較部で撮影された写真と当該スタイルの写真内容の比較結果を提示することを特徴とする。
写真登録部１１は、特徴比較部９から出力される撮影された写真と当該スタイルの写真内容の比較結果と、ユーザからの登録承認／否認命令をもとに、写真内容DB６の、写真内容に適した写真の保有数や当該写真のファイルパスを更新することを特徴とする。

上記撮影装置１０Ａは、カットID情報が関連付けられた状態で、撮影した写真群をフォトムービー作成装置に渡す機能を有することを特徴とする。例えばＵＳＢ経由でこの機能を実施する。

＜フォトムービー作成に向けた写真撮影ガイドの背景と概要＞
さて昨今、写真のデジタル化が進み、友人の結婚式や旅行等のイベントの際に、膨大な数の写真を撮影するユーザが増えている。しかし、せっかく撮影した写真をパーソナルコンピュータ等に保存したままただ埋もれさせているケースも多々ある。そんな中、後でフォトムービーにして閲覧して楽しんだり、フォトムービーの形式にして友人等にプレゼントするといったニーズが高まってきている。ところが、いざフォトムービーを作成しようとすると、こんな写真を撮っておけば良かったと後悔するケースも多い。そこで本実施形態では、後にフォトムービーを作成することをあらかじめ想定して、写真撮影時にどんな写真を撮っておくと良いかといったことをガイドする機能を有する撮影装置を実現している。

図２に示した撮影装置の動作を以下に説明する。
まずユーザインタフェース２は、ユーザからの操作を受け付ける。撮影部１は、ユーザインタフェース２を経由して受け取ったユーザからの操作をもとに、写真を撮影する。撮影された写真は、撮影写真保存エリア４で保存される。

スタイル設定部３は、ユーザインタフェース２を経由して受け取ったユーザからの操作をもとに、フォトムービーのスタイルを設定する。フォトムービーのスタイルとしては、結婚式／カジュアルパーティ／フォーマルパーティ／グルメ旅行／観光旅行／癒し旅行等、様々なものが考えられる。設定されたスタイルは、設定スタイル保持エリア５で保持される。

写真内容DB６は、各スタイルのフォトムービーを作成する上で、必要なカットの特徴や必要数等の写真内容情報を保持管理する。写真内容DBの項目の詳細は次に図３に記載する。

写真内容提示用画像保存エリア７は、写真内容をユーザに提示する際に使用する画像を保存する。
特徴抽出部８は、撮影した写真とスタイル毎に定められた写真内容を比較するための特徴を抽出する。
特徴比較部９は、設定スタイル保持エリア５のスタイル情報と、特徴抽出部８から入力される写真の特徴情報と、写真内容DB６の写真内容情報と、から当該写真内容の各カットと当該写真を比較し、その結果を表示部１０と写真登録部１１に提供する。

写真登録部１１は、特徴比較部９から提供される、撮影された写真と当該スタイルの写真内容との比較結果と、ユーザの登録承認／否認操作によって、写真内容DB６を更新する。登録画像を選択する選択手段としては、この比較結果に基づかず、ユーザが任意に登録を行なえる機能を機器に持たせるのも好適である。

表示部１０は、設定スタイル保持エリア５のスタイル情報と、写真内容DB６の写真内容情報から、当該スタイルのフォトムービーを作成する上で必要なカットの特徴や必要数等の写真内容情報をユーザに提示する。また、撮影された写真と写真内容の比較結果とユーザ操作によって、撮影された写真が当該スタイルのカットの一部として登録された場合、その旨をユーザに提示する。

図３は、実施形態の写真内容DB６を説明するために示す図である。写真内容DB６の項目と値の例を示す。写真内容DBの各項目の説明を以下に列記する。
スタイル：フォトムービーのスタイル名（例：Happy Wedding）
カットID：カットを一意に識別するためのID
カット名：カットの名前（例：ケーキ入刀）
特徴：撮影された写真との比較に利用するカットの特徴情報
必要数：撮影しておくべき写真数
保有数：当該カットの写真として登録されている写真（保有写真）の数
保有写真ファイルパス：保有写真のファイルパス群
ガイダンス：ユーザに提示することを目的とした補足ガイド情報
撮影した写真と写真内容を比較する処理のフローを図４に示す。
開始：S４1へ進む。
S４1：写真を撮影し保存してS４2へ進む。
S４2：写真の特徴を抽出してＳ４３へ進む。
Ｓ４３：設定スタイルに該当する写真内容DBのカット群のうち未比較のものがあればS４４へ進む。なければS４８へ進む。
Ｓ４４：未比較のカット群から1つを選択し比較済フラグをONにする。S4５へ進む。
S4５：撮影した写真の特徴と選択したカットの特徴を比較し、Ｓ４６へ進む。
Ｓ４６：この比較結果が合致判定ならＳ４７へ進み、合致判定でないならＳ４３へ進む。
Ｓ４７：写真登録処理（後述）を行い、Ｓ４８へ進む。
Ｓ４８：全カットの比較済フラグをOFFにして一連の処理を終了する。
上記写真登録処理の登録処理のフローを図５に示す。
開始：S５1へ進む。
S５１：写真比較の結果、合致した旨をユーザに提示し、登録するかどうかを確認する。S５２へ進む。
S５２：登録するならS５３へ進む。登録しないなら処理を終了する。
S５３：写真内容DB６の当該カットの保有数と保有写真ファイルパスを更新して、処理を終了する。
図６にフォトムービーのスタイル選択画面のイメージを示す。このように、結婚式／カジュアルパーティ／グルメ旅行等の、フォトムービースタイルを選択すると、図７のように設定したスタイルのフォトムービーを作成する上で撮影しておいた方が良い写真内容が提示される。写真を撮影すると、装置が当該スタイルの写真内容と撮影した写真を比較し、どのカットと合致するか（あるいは合致しないか）を識別し、当該カットの写真として登録するか否かを尋ねる質問を提示し、ユーザが登録することを指示した場合、当該カットの写真として撮影した写真を登録する（図８）。ユーザは、自らが撮影した写真のフォトムービーにおける位置づけを把握することが出来、また、フォトムービーを完成させる上で不足している写真内容を認識することが出来るため、写真撮影を効率化させることが可能となる。

例えば、図６では結婚式（Happy Wedding）にフォーカスされている。これを選択すると、図７のように進展していく。「次はケーキ入刀だな」というメッセージは通常は撮影者の頭の中にあるものだが、機器側（１０Ａ）で判別して出すようにしてもよい。

画面の下のほうには親族集合（１／１）ＳＮ、挙式後２ショット（２／２）２Ｓ、ケーキ入刀（０／３）ＮＹ、乾杯（０／３）ＫＮ、キャンドルサービス（０／５）ＫＹのカットが並んでいる。この並び順は時系列でよいが、次に述べるフォトムービー作成装置で生成される映像とともにユーザが変更できるようにしてもよい。

図７でケーキ入刀（０／３）ＮＹカットの写真を一枚撮影すると図８の状態に移る。詳しくは「ケーキ入刀の写真として登録しますか？」というプロンプトに対してユーザがＹＥＳを選択すると「いただきました」という受諾の通知が現れる。ケーキ入刀（０／３）ＮＹカットはケーキ入刀（１／３）ＮＹカットとなり縮小映像もイラストから例えばそのカットで最後に撮影された写真へと変わる。

さて図１は、本実施形態のフォトムービー作成装置であるコンピュータ１０Ｂのシステム構成を示す図である。
コンピュータ１０Ｂは、ＣＰＵ（central processing unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（ビデオＲＡＭ；random access memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（basic input/output system - read only memory）１０７、ＬＡＮ（local area network）コントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（electrically erasable programmable ROM）１１４等を備える。

ＣＰＵ１０１は、コンピュータ１０Ｂ内の各部の動作を制御するプロセッサである。このＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。またＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）１５１、及び、ムービー作成アプリケーションプログラム１５２のようなアプリケーションプログラムを実行する。

ムービー作成アプリケーションプログラム１５２は、例えばＨＤＤ１０９に格納された画像といったデジタルコンテンツをフォトムービーに作成・再生するソフトウェアである。このムービー作成アプリケーションプログラム１５２は、ムービー生成機能を備えている。ムービー生成機能は、例えばＨＤＤ１０９に格納された写真や動画といった画像（デジタルコンテンツ）を素材として用いた合成動画（動画像）を生成する機能である。またムービー生成機能は、合成動画の生成の前に、この合成動画に用いる素材を予め分析する機能を含む。合成動画は、素材としての複数の画像が順次登場する映像である。このムービー作成アプリケーションプログラム１５２は、素材を用いて生成された動画像を再生し、再生した動画像を画面（ＬＣＤ１７等）に表示させる。

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。またノースブリッジ１０２は、例えば、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。またＧＰＵ１０５は表示信号を生成し、生成した表示信号をＬＣＤ１７に送出する。

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及び、ＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。またサウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８に出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、ＵＳＢコネクタ１９を介して接続される、例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えばＵＳＢコントローラ１１１Ａは、デジタルカメラに格納されている画像データを受信するために使用される。カードコントローラ１１１Ｂは、コンピュータ１０Ｂの本体に設けられたカードスロット２０に挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。

ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン（不図示）への操作に応じて本コンピュータ１０Ｂを電源オン／電源オフする機能を有している。

このような構成により、コンピュータ１０Ｂは、ムービー作成アプリケーションプログラム１５２を実行することで、サウスブリッジ１０４を介して取得する素材を利用した合成動画を生成することができる。生成された合成動画は、ＬＣＤ１７等に表示されるだけでなく、ＨＤＤ１０９やＯＤＤ１１０などを介して記憶媒体に格納されることも可能である。

次に、図９を用いて、コンピュータ１０Ｂ上で動作するムービー作成アプリケーションプログラム１５２の一機能構成を説明する。図９は、コンピュータ１０Ｂによって実行されるムービー作成アプリケーションプログラム１５２の機能構成を示すブロック図である。

ここでは、ムービー作成アプリケーションプログラム１５２が有する機能のうち、本実施形態において特徴的なムービー生成機能を実行するための構成例について詳細に説明する。

ムービー生成機能は、ＨＤＤ１０９に格納された素材を利用して実行される。このムービー生成機能は、ＨＤＤ１０９に格納された素材だけでなく、ＬＡＮコントローラ１０８、ＵＳＢコントローラ１１１Ａ等のインタフェース部２５０を介して外部の素材提供源（サーバ装置、デジタルカメラ、メモリカード等）から取得された素材を利用して実行されてもよい。この素材は、静止画、動画、及び音楽といった情報である。

ムービー作成アプリケーションプログラム１５２は、素材入力部２０１、素材分析部２０２、操作受付部２０３、ムービー生成部２０４、ムービー出力部２０５を備えている。またＨＤＤ１０９は、素材格納部２１１、素材情報データベース２１２、ムービー格納部２１３を備えている。

素材入力部２０１は、インタフェース部２５０を介して素材が入力されると、入力された素材をＨＤＤ１０９に備えられた素材格納部２１１に格納する。また素材入力部２０１は、入力された素材に関する素材情報を素材情報データベース２１２に格納する。素材情報は、素材それぞれを一意的に識別する情報と素材それぞれの格納したファイル情報とを含む情報である。さらに素材入力部２０１は、入力された素材を素材格納部２１１へ格納したことを素材分析部２０２に通知する。素材入力部２０１は、素材格納部２１１ではなく素材分析部２０２に対して、入力された素材を、この素材が入力されたことの通知と併せて出力してもよい。

素材分析部２０２は、素材入力部２０１からの通知に応じて素材格納部２１１に格納された素材を分析し、分析結果を示す情報を素材情報データベース２１２に格納する。この素材分析部２０２は、素材を分析することで素材に含まれる例えば顔画像といったオブジェクトを検出し、検出したオブジェクトの特徴に基づいて、このオブジェクトを認識する。素材分析部２０２は、認識したオブジェクトに関する情報を、対応する素材それぞれの素材情報に追加して格納する。オブジェクトは、顔に限らず、人物（顔を含む全身や体の一部等）、風景（海、山、花等）、動物（犬、猫、魚等）、料理、建造物、又は景色等の画像（情報）であってもよい。すなわち、ひとつの素材から複数のオブジェクトが検出され得る。こうして素材情報は、素材に関する情報と、この情報に関連づけられたオブジェクトに関する情報とを含む情報となる。

素材分析部２０２は、オブジェクトとして顔画像を検出した場合、顔画像に対応する人物を認識してもよく、また、検出した顔画像を人物毎に分類して素材情報データベース２１２に格納してもよい。顔画像の検出は、素材の画像の所定領域の特徴パターンが、顔に適合する特徴パターンであるか否かを判定することで実現できる。また顔画像の検出では、各顔画像の画面上の位置（座標）、サイズ、正面度等が検出されてもよい。なお素材分析部２０２は、素材入力部２０１から直接的に素材を入力されてもよく、この場合、入力された素材に対する分析結果としての素材情報を素材情報データベース２１２に格納すると共に、分析した素材を素材格納部２１１へ格納する。

操作受付部２０３は、素材情報データベース２１２から素材情報を読み出す。操作受付部２０３は、読み出した素材情報に基づいて、後に詳述するムービーの生成における抽出キーとしての素材及びオブジェクトを選択可能に提示するグラフィック画面の生成をＧＰＵ１０５に要求する。また操作受付部２０３は、提示された素材又はオブジェクトの何れかに対する選択指示を受付けると、受け付けた順に、抽出キーに関する情報をムービー生成部２０４へ出力する。

ムービー生成部２０４は、操作受付部２０３から入力された抽出キーに関する情報を、入力された順序と共に管理する。情報の管理には、ＨＤＤ１０９や主メモリ１０３の領域などが記憶部として利用される。ムービー生成部２０４は、入力された抽出キーに基づいて素材情報データベース２１２から素材情報を読み出す。またムービー生成部２０４は、読み出した素材情報に基づいて、管理した順序で、素材格納部２１１から対応する素材を読み出す。このとき、入力された抽出キーに基づいて複数の素材が読み出されることがあることは言うまでもない。さらにムービー生成部２０４は、入力された抽出キーに関する情報に基づいて、読み出した素材を順次利用したムービーを生成する。ムービー生成部２０４は、生成したムービーをムービー出力部２０５へ出力する。

このムービーは、素材が順次切り替わって表示されるフォトムービーであり、素材はエフェクト処理を施されて表示されることがある。抽出キーとしてオブジェクトが選択された場合、素材の中のオブジェクトを含む画像の領域に対して限定的にエフェクト処理が施される。換言すると、このムービーでは、選択されたオブジェクトが特定できるエフェクト処理が施される。また、抽出キーとしてオブジェクトが選択された場合、抽出される素材は、選択されたオブジェクトに対して同一性、類似性、近似性、又は関連性のある素材である。

ムービー出力部２０５は、入力されたムービーをＨＤＤ１０９に備えられたムービー格納部２１３に格納する。またムービー出力部２０５は、ムービー生成部２０４から入力されたムービーをＬＣＤ１７に表示させる。すなわちムービー出力部２０５は、ムービー生成部２０４が生成したムービーを表示又は保存するために、入力されたムービーを対応するブロックへ出力する。

ＨＤＤ１０９に備えられた素材格納部２１１は、素材入力部２０１から入力された素材を格納する。素材格納部２１１は、フォルダを利用する改造構造で素材を格納してもよい。すなわち素材格納部２１１は、ムービーに用いられる素材を格納するデータベースである。

素材情報データベース２１２は、素材情報を格納するデータベースである。前述したようにこの素材情報は、素材それぞれを一意的に識別する情報、素材それぞれの格納したファイル情報、及び、認識したオブジェクトに関する情報を含む情報である。素材情報データベース２１２と素材格納部２１１とは、一つのデータデータベースとしてＨＤＤ１０９に備えられてもよい。

ムービー格納部２１３は、ムービー生成部２０４が生成したムービーを格納するためのデータベースである。ムービー格納部２１３は、ＨＤＤ１０９ではなく、ＯＤＤ１１０によって記録される光ディスク、ＵＳＢコネクタ１９を介して接続されるコンピュータ１０の外部の記憶装置等に設けられてもよい。

このようにして、ムービー作成アプリケーションプログラム１５２は、ムービーに利用される素材やオブジェクトの選択された順序に基づいて、対応する素材が順次表示されるムービーを生成する。またムービー作成アプリケーションプログラム１５２は、選択されたオブジェクトが特定できるエフェクト処理を施したムービーを生成する。従って本実施形態によれば、静止画や動画を素材とし、この素材の登場順序に任意性とランダム性とを併せ持つ動画を生成することが可能となる。

＜撮影装置とフォトムービー作成装置との連携＞
インテリジェントなフォトムービー作成装置では、一般的に、対象の写真群を解析して、どの写真をどの順番でどのように利用するべきかといった情報を抽出する処理を行う（インデキシング処理）。本実施形態では、撮影した写真に、スタイル（どんなフォトムービーに利用するべきか）やカットID（どんなシーンの写真なのか）が付加された状態で、フォトムービー作成装置に渡されるため、インデキシング処理としてすべき処理を削減することが出来る。これにより、高速化や精度向上が期待出来る。

一実施例として、素材情報には、素材それぞれを一意的に識別する情報としての“素材ＩＤ”と、素材それぞれの格納したファイル情報としての“素材ＵＲＬ”とが関連づけられている。また、認識したオブジェクトに関する情報として“検出されたオブジェクト”が、“素材ＩＤ”と“素材ＵＲＬ”とに関連づけられている。例えば素材１は、“Ｃ￥ｐｈｏｔｏ”のフォルダ内に“００１．ｊｐｅｇ”というファイル名で格納されている。また素材１からは、オブジェクトとして顔１が検出されている。また素材６は、“Ｃ￥ｐｈｏｔｏ”のフォルダ内に“００６．ｊｐｅｇ”というファイル名で格納されている。また素材６からは、オブジェクトとして顔１、顔２及び顔３が検出されている。また各素材には、撮影装置から例えばXML（Extensible Markup Language）を用いて渡された上記のスタイルやカットID等が付加されている。図３に示した内容を再現できるように付加されていない内容については、例えばカットIDからカット名が解るようなリンク情報などをＨＤＤ１０９等に備えておくとよい。また図３のＩＭＧ＿００５６．ｊｐｇが０５６．ｊｐｅｇとなるようファイル名の対応を取ってもよい。

このように、素材それぞれに対する素材情報が管理される。素材情報は、これ以外にも、画像内でのオブジェクトの位置情報といった情報を含んでもよい。
次に、図１０を用いて、本実施形態のムービー生成機能で生成されるムービーで利用される素材又はオブジェクトを、ユーザに選択可能に提示するグラフィック画面を説明する。

図１０は、素材又はオブジェクトを選択可能に提示するグラフィック画面の一実施例を示す図である。
このグラフィック画面は、素材が既に選択され、選択された素材から認識されたオブジェクトが選択可能に提示されている状態である。具体的には、このグラフィック画面では、素材としての静止画である写真（ファイル名：００６．ｊｐｅｇ）が既に選択され、選択された写真の中から認識されたオブジェクトである顔１，顔２，顔３の画像が選択可能に提示されている状態である。

このグラフィック画面では、選択された写真から所定範囲で切り出された領域であって、認識された顔が存在する領域それぞれが個別に提示されている。このとき、顔の中心が各々の領域の略中央にあることが好ましい。さらに選択されたオブジェクトは強調表示され、識別可能に提示されている。このグラフィック画面では、例えば顔２の画像のように、提示された領域の縁が強調表示される態様であるが、この態様に限定されることはない。例えば、提示領域内又は近傍に選択されていることを示す選択欄が設けられ、この選択欄にレ点が付される態様や、選択欄を強調表示（内部色の強調や選択欄の枠の強調）される態様であってもよい。

またこのグラフィック画面には、選択された写真に関する情報（図中の画面左下に提示される“写真（００６．ｊｐｅｇ）から認識された顔”という文字列）が提示される。さらに、領域の選択を確定するためのボタン（図中の“ＯＫ”ボタン）や選択を取り消すためのボタン（図中の“キャンセル”ボタン）が提示されていてもよい。

なお、図１０に示したグラフィック画面では、素材としての写真が選択されてから、選択された素材から認識されたオブジェクトである顔の画像が提示される態様であるが、この態様に限定されることはない。例えば、素材及びオブジェクトが選択可能に同一画面内に提示される態様であってもよい。例えば素材が選択された場合、選択された素材と関連する他の素材がムービーに用いられる。またオブジェクトが選択された場合、選択されたオブジェクトを含む複数の素材がムービーに用いられる。

このようにしてコンピュータ１０Ｂの利用者は、このグラフィック画面によって、ムービー生成機能で生成されるムービーで利用される素材又はオブジェクトを選択することが可能になる。

（第２の実施形態）
本発明による第２の実施形態を説明する。実施形態１と共通する部分は説明を省略する。
特徴抽出部８で抽出される特徴とは、即ち素材のデータを言わば次元圧縮して得られるものである。例えば男女がある扮装でほぼ一定の距離を保っているといったことが把握できるとよい。フォトムービー作成装置側でこの機能を持つのもよい。

このように男女といったオブジェクトが共起することの認識には、ＭＴ（Mahalanobis-Taguchi）システムを用いてもよい。通常のＭＴシステムは平板的に並べられた項目間の相関を重視した例えば認識システムであるが、多階法を適切に用いればより有効性が高まることが期待できる。例えば項目として基本的な人物特徴から男、洋装の女、和装の女といったオブジェクトを下位システムで抽出し、上位システムではこれらオブジェクトを項目として上記の共起関係を判定する。

例えば人物の特徴としては顔の部分の肌色を抽出する。デジタルカメラで実用化されているように目や口等も捉えてもよい。付随して頭部や肢体を色、形、大きさ、相互配置、動き方といった特徴で捉える。上記の例では更に服装も特徴にいれてもよい場合がある。

人物を捉えるための具体的なアルゴリズムとして画像等の認識手段を実装する枠組みとしてＭＴシステムはあるがＭＴシステムは、均一な例えば普通のベクトルデータ集団から基準空間（単位空間）を予め作成し、入力データがこの集団に属するか否かを判定する。

ここでは実装例として人物が含まれるとして選ばれたデータから基準空間を作成する。例えば、上記人物の特徴ｋ個の項目の値から成る列ベクトルを数十サンプル以上用いる。なおｋ個の変量ごとに、それらの平均と標準偏差を用いてそれぞれのデータを正規化しておくことは言うまでも無い。

ＭＴシステムのうちで逆行列を利用するポピュラーな方法であるMT法は、Mahalanobis距離MD（二乗距離）を正規化された入力データである列ベクトルYに対し式１のように求める。即ち、基準空間である相関行列Rの逆行列R^−１とYを演算しベクトル項目数ｋで割ったスカラー値となる。

予め装置の製造時等に相関行列Rに対応する例えば数表等と上記演算のプログラムを実装しておけばよい。
ＭＴシステムに関連する技術のうち、MT法の他に余因子行列を利用するMTA法やシュミットの直交展開を利用するTS法等やこれらの多階法を用いてもよい。例えば、人物の特徴としては顔の部分の肌色が有力といったことが予め解っている場合には、TS法を用いるとｋ個のうち有力な項目を優先して演算するように構成しておけば演算精度を向上することができる。近年の手法であるＴ法をまず用いるのも好適である。

人物らしさの抽出後の判定は、例えばMDが１以下なら人物であると、５以上なら人物ではないと判定する。１と５の間の値の場合は人物らしさの程度に応じ信頼度のような数値を付与し後の処理に用いてもよい。

なお、基準空間の画素ブロックサイズも適宜変えてもよい。また注目位置内容、対象の種類毎に基準空間を分けるのも好適である。一入力に対する複数のMDの結果に対して例えば最も高い対象の値を以って判定を行なえばよい。例えばまず人物を対象とする場合でも層別がある。上記の洋装の女、和装の女と分けることが有効な可能性がある。

本実施形態では、通常は正常状態の判定に利用されるＭＴシステムを用いることにより、アルゴリズムが確定し難い処理対象において相応の最適性を確保できる。ＭＴシステムを援用することにより、オブジェクト種別判定の処理の精度を高める可能性が大きくなる。

以下に他の実施例、変形例を列挙する。
（１）写真とフォトムービーの組み合わせに限らず、動画等（あるいは併用）でも良い
（２）素材（写真）の入力部は、カメラに限らず、インターネット上のサーバから必要な素材データ（ユーザが予めＵＰしたものなど）を取得しても良い
（３）フォトムービー等の最終的に出力したいコンテンツの生成は、本装置内で実施する形態でも良いし、他機器で行っても良い
（４）本発明により、登録された写真がどのカットに該当するかが特定されるので、フォトムービー作成時に、その情報を利用することが出来る
（５）撮り忘れた写真をインターネット上のサーバから補填する形態も考えられる（ユーザが予めＵＰしたものや関連イメージのものなど）
（６）各スタイルの写真内容は、機器があらかじめ用意しておく形態だけでなく、ユーザが独自にカスタマイズ出来る形態でも良い
（７）様々なユーザの撮影傾向をインターネット上のサーバ等で解析し、各スタイルの写真内容を自動設定あるいは自動調整する形態も考えられる
（８）撮影した写真の登録方法としては、実施例のように自動で比較して登録する仕組みではなく、ユーザが手動で登録する仕組みとしても良い
実施形態の効果をまとめると以下のようになる。
（１）フォトムービー作成に向けて必要な写真内容が把握出来るため、効率的に写真を撮影出来る
（２）カットID情報が関連付けられた状態で、撮影した写真群をフォトムービー作成装置に渡せるため、フォトムービー作成装置が行うインデキシング処理が高速化する

（３）カットID情報が関連付けられた状態で、撮影した写真群をフォトムービー作成装置に渡せるため、フォトムービー作成装置が行うインデキシング処理の精度が向上する

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１０Ｂ…コンピュータ、１３…キーボード、１６…タッチパッド、１７…ＬＣＤ、１８…スピーカ、１９…ＵＳＢコネクタ、２０…カードスロット、１０１…ＣＰＵ、１０２…ノースブリッジ、１０３…主メモリ、１０４…サウスブリッジ、１０５…ＧＰＵ、１０５Ａ…ＶＲＡＭ、１０６…サウンドコントローラ、１０７…ＢＩＯＳ−ＲＯＭ、１０８…ＬＡＮコントローラ、１０９…ハードディスクドライブ（ＨＤＤ）、１１０…光ディスクドライブ（ＯＤＤ）、１１１Ａ…ＵＳＢコントローラ、１１１Ｂ…カードコントローラ、１１２…無線ＬＡＮコントローラ、１１３…エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）、１１４…ＥＥＰＲＯＭ、１５１…オペレーティングシステム（ＯＳ）、１５２…ムービー作成アプリケーションプログラム、２０１…素材入力部、２０２…素材分析部、２０３…操作受付部、２０４…ムービー生成部、２０５…ムービー出力部、２１１…素材格納部、２１２…素材情報データベース、２１３…ムービー格納部。

Claims (6)

1. 取り込まれた複数の画像に伴っていてそれぞれの前記画像に関連付けされたカットID情報を用いてインデキシング処理を行なう処理手段と、
   前記インデキシング処理の結果に基づいて複数の前記画像が順次登場する映像を生成する生成手段とを
   具備するフォトムービー作成装置。
2. 前記カットID情報はスタイルにより限定されている請求項１に記載のフォトムービー作成装置。
3. 前記生成手段は、前記取り込まれた画像の登場順を選択することをユーザに許可する請求項１乃至２の何れか１項に記載のフォトムービー作成装置。
4. 前記カットID情報はXML（Extensible Markup Language）により構成されている請求項１に記載のフォトムービー作成装置。
5. 複数の画像を撮影する撮影装置であって、
   前記複数の画像にカットID情報を関連付ける関連付け手段と、
   前記関連付けされたカットID情報を、前記複数の画像に伴って出力する出力手段とを
   具備する撮影装置。
6. 更にユーザが登録画像を選択する選択手段を備え、前記関連付け手段はこの選択された登録画像を対象に前記カットID情報を関連付ける請求項５に記載の撮影装置。

Images