JP2013200750A - 画像処理装置、画像処理方法およびコンピュータプログラム - Google Patents

Abstract

【課題】スライドショーの自動作成時に、楽曲と画像の最適な組み合わせを再帰的に決定してスライドショーの品質を向上させることが可能な画像処理装置を提供する。
【解決手段】複数のエフェクト区間を設定するエフェクト区間設定部と、複数のエフェクト区間のそれぞれに対して前記画像データを割り当てる画像割り当て部と、複数のエフェクト区間のそれぞれに対してエフェクトを設定するエフェクト設定部と、エフェクトを実現できる条件を満たしているかどうかを判断し、条件を満たしていないエフェクト区間があれば、エフェクトを再設定させるエフェクト再設定判別部と、エフェクトを再設定すると、エフェクトが再設定されたエフェクト区間と他のエフェクト区間との間の整合性を判断する整合性判断部と、を備える、画像処理装置が提供される。
【選択図】図１

Description

本開示は、画像処理装置、画像処理方法およびコンピュータプログラムに関する。

楽曲を流しながら複数の写真を順次切り替えて表示する、スライドショーと呼ばれるコンテンツを生成するための技術が開示されている。スライドショーを自動的に作成する場合、あらかじめ用意されたテンプレートに画像を当てはめる技術が主流であったが、画像によってはテンプレートで決められた画像表示効果（画像エフェクト）にそぐわなかったり、画像に最適な画像エフェクトを選択できなかったりという問題があった。そのような問題を解決する為の技術が開示されている（特許文献１〜３等参照）。

特許文献１には、楽曲解析に基づいた表示テンプレートを作成し、割り当てられた画像や切り出し領域を最適に選択することによって、より品質の高い音楽同期したスライドショーを自動作成する技術が開示されている。特許文献２には、スライドショーのテンプレートに画像を当てはめる際に、画像内の領域抽出情報を用いることによって、より最適な画像や領域を選択する技術が開示されている。また特許文献３には、画像と画像エフェクトの組み合わせから必要な再生音楽長を決定し、画像エフェクトを音楽に同期させたスライドショーを自動作成する技術が開示されている。

特開２００８−０８４０２１号公報 特開２００７−２４３４１１号公報 特開２００５−２１０３５０号公報

しかし、特許文献１の技術では、使用したい画像エフェクトに合致した画像が存在しない場合には効果を発揮できず、スライドショーとしての完成度が低くなってしまう。特許文献２の技術では、選択された画像や画像エフェクトの前後関係によってはちぐはぐになってしまい、スライドショー全体としての品質が低下してしまう。そして特許文献３の技術では、音楽的に本来画像エフェクトを切り替えたいタイミングとは違うタイミングで画像エフェクトが切り替わってしまい、例えばＢメロからサビに移る瞬間にも同じ画像エフェクトが続いてしまう。

そこで、本開示は、スライドショーの自動作成時に、楽曲と画像の最適な組み合わせを再帰的に決定してスライドショーの品質を向上させることが可能な、新規かつ改良された画像処理装置、画像処理方法およびコンピュータプログラムを提供することにある。

本開示によれば、画像データを連続して表示させる所定の区間の中から複数のエフェクト区間を設定するエフェクト区間設定部と、前記エフェクト区間設定部が設定した前記複数のエフェクト区間のそれぞれに対して前記画像データを割り当てる画像割り当て部と、前記エフェクト区間設定部が設定した前記複数のエフェクト区間のそれぞれに対してエフェクトを設定するエフェクト設定部と、前記エフェクト設定部が前記複数のエフェクト区間のそれぞれに対して設定したエフェクトが、各エフェクトを実現できる条件を満たしているかどうかを、前記画像割り当て部が割り当てた画像データに対応する画像メタデータを用いて判断し、条件を満たしていないエフェクト区間があれば、前記エフェクト設定部に当該エフェクト区間のエフェクトを再設定させるエフェクト再設定判別部と、前記エフェクト再設定判別部により前記エフェクト設定部がエフェクトを再設定すると、エフェクトが再設定されたエフェクト区間と他のエフェクト区間との間の整合性を判断する整合性判断部と、を備える、画像処理装置が提供される。

かかる構成によれば、エフェクト区間設定部は画像データを連続して表示させる所定の区間の中から複数のエフェクト区間を設定し、画像割り当て部はエフェクト区間設定部が設定した複数のエフェクト区間のそれぞれに対して画像データを割り当てる。エフェクト設定部は、エフェクト区間設定部が設定した複数のエフェクト区間のそれぞれに対してエフェクトを設定し、エフェクト再設定判別部は、エフェクト設定部が複数のエフェクト区間のそれぞれに対して設定したエフェクトが、各エフェクトを実現できる条件を満たしているかどうかを、画像割り当て部が割り当てた画像データに対応する画像メタデータを用いて判断し、条件を満たしていないエフェクト区間があれば、エフェクト設定部に当該エフェクト区間のエフェクトを再設定させる。そして整合性判断部は、エフェクト再設定判別部によりエフェクト設定部がエフェクトを再設定すると、エフェクトが再設定されたエフェクト区間と他のエフェクト区間との間の整合性を判断する。その結果、かかる画像処理装置は、スライドショーの自動作成時に、楽曲と画像の最適な組み合わせを再帰的に決定してスライドショーの品質を向上させることが可能となる。

また本開示によれば、画像データを連続して表示させる所定の区間の中から複数のエフェクト区間を設定するエフェクト区間設定ステップと、前記エフェクト区間設定ステップで設定された前記複数のエフェクト区間のそれぞれに対して画像データを割り当てる画像割り当てステップと、前記エフェクト区間設定ステップで設定された前記複数のエフェクト区間のそれぞれに対してエフェクトを設定するエフェクト設定ステップと、前記エフェクト設定ステップで前記複数のエフェクト区間のそれぞれに対して設定されたエフェクトが、各エフェクトを実現できる条件を満たしているかどうかを、前記画像割り当てステップで割り当てられた画像データに対応する画像メタデータを用いて判断し、条件を満たしていないエフェクト区間があれば、当該エフェクト区間のエフェクトを再設定させるエフェクト再設定判別ステップと、前記エフェクト再設定判別ステップにより前記エフェクト設定ステップでエフェクトが再設定されると、エフェクトが再設定されたエフェクト区間と他のエフェクト区間との間の整合性を判断する整合性判断ステップと、を備える、画像処理方法が提供される。

また本開示によれば、コンピュータに、画像データを連続して表示させる所定の区間の中から複数のエフェクト区間を設定するエフェクト区間設定ステップと、前記エフェクト区間設定ステップで設定された前記複数のエフェクト区間のそれぞれに対してエフェクトを設定するエフェクト設定ステップと、前記エフェクト区間設定ステップで設定された前記複数のエフェクト区間のそれぞれに対して画像データを割り当てる画像割り当てステップと、前記エフェクト設定ステップで前記複数のエフェクト区間のそれぞれに対して設定されたエフェクトが、各エフェクトを実現できる条件を満たしているかどうかを、前記画像割り当てステップで割り当てられた画像データに対応する画像メタデータを用いて判断し、条件を満たしていないエフェクト区間があれば、当該エフェクト区間のエフェクトを再設定させるエフェクト再設定判別ステップと、前記エフェクト再設定判別ステップにより前記エフェクト設定ステップでエフェクトが再設定されると、エフェクトが再設定されたエフェクト区間と他のエフェクト区間との間の整合性を判断する整合性判断ステップと、を実行させる、コンピュータプログラム。が提供される。

以上説明したように本開示によれば、スライドショーの自動作成時に、楽曲と画像の最適な組み合わせを再帰的に決定してスライドショーの品質を向上させることが可能な、新規かつ改良された画像処理装置、画像処理方法およびコンピュータプログラムを提供するこができる。

本開示の一実施形態にかかる画像処理装置１００の機能構成を示す説明図である。 １２音解析技術を用いて、音楽特徴量を取得する様子を示す説明図である。 音楽理論とコード進行の関係例を示す説明図である。 スライドショーのテーマの例を示す説明図である。 スライドショーのエフェクト区間を設定した例を示す説明図である。 イベントクラスタリングと類似解析結果によって構成されたツリー構造の例を示す説明図である。 スライドショーの自動作成時に、楽曲と画像の最適な組み合わせを再帰的に決定してスライドショーの品質を向上させることが可能 エフェクト区間への画像の割り当て処理の例を示す説明図である。 エフェクトの再設定の例を示す説明図である。 再設定されたエフェクトの例を示す説明図である。 候補画像の中から画像を選択した例を示す説明図である。 表示範囲切り出し部１２４による表示範囲の切り出し例を示す説明図である。 一枚の画像から複数枚の画像を使用するエフェクトを実現した例を示す説明図である。 パラメータが設定されたアニメーションの例を示す説明図である。 キーフレームのパラメータが設定されたアニメーションの例を示す説明図である。 スライドショーを装飾する情報の設定例を示す説明図である。 本開示の一実施形態にかかる画像処理装置１００の動作を示す流れ図である。 楽曲に合わせたエフェクトを選択する例を示す説明図である。 楽曲に合わせたエフェクトを選択する例を示す説明図である。 曲調とエフェクトとの対応関係の一例を示す説明図である。 部分転調の検出例を示す説明図である。 部分転調の別の検出例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．本開示の一実施形態＞
［画像処理装置の機能構成］

＜１．本開示の一実施形態＞
［画像処理装置の機能構成］
まず、図面を参照しながら本開示の一実施形態にかかる画像処理装置の機能構成について説明する。図１は、本開示の一実施形態にかかる画像処理装置１００の機能構成を示す説明図である。以下、図１を用いて本開示の一実施形態にかかる画像処理装置１００の機能構成について説明する。

図１に示した画像処理装置１００は、画像データおよび楽曲データから、スライドショーを自動的に生成する機能を有する装置である。なお、「スライドショー」とは楽曲を流しながら複数の写真を順次切り替えて表示するコンテンツを指す。

図１に示したように、本開示の一実施形態にかかる画像処理装置１００は、楽曲解析部１０２と、楽曲メタデータ保持部１０４と、再生区間選択部１０６と、エフェクト区間設定部１０８と、画像候補割り当て部１１０と、画像解析部１１２と、画像メタデータ保持部１１４と、エフェクト設定部１１６と、画像選択部１１８と、エフェクト再設定判別部１２０と、スライドショー品質判定部１２２と、表示範囲切り出し部１２４と、タイミング調整部１２６と、スライドショー出力部１２８と、を含んで構成される。

楽曲解析部１０２は、楽曲データを解析し、解析結果をメタデータとして出力する。スライドショーにおいて再生される楽曲データを解析して出力されるメタデータは、後述の再生区間選択部１０６による再生区間の切り出しや、エフェクト区間設定部１０８による、楽曲に合わせた画像エフェクトの設定に用いられる。楽曲解析部１０２は、楽曲データを解析して得られるメタデータを楽曲メタデータ保持部１０４に出力する。楽曲メタデータ保持部１０４は、楽曲解析部１０２による楽曲データの解析で得られる楽曲メタデータを保持する。楽曲メタデータ保持部１０４に保持された楽曲メタデータは、再生区間選択部１０６やエフェクト区間設定部１０８から参照される。

本実施形態では、音楽と同期したスライドショーを作成する為に、曲調解析アルゴリズムの１２音解析技術を利用する。図２は、１２音解析技術を用いて、音楽特徴量を取得する様子を示す説明図である。図２に示したように、１２音解析技術によって、サビやＡメロといった楽曲構成、音程を表すキー、和音を表すコード、拍子や拍の位置、ビートの強さ等の音楽特徴量を取得することが可能である。後にエフェクトの切替りタイミングなどを決定する為に、楽曲解析部１０２はこれらの音楽特徴量を抽出して取得する。

再生区間選択部１０６は、楽曲メタデータ保持部１０４が保持している、スライドショーにおいて再生される楽曲データの楽曲メタデータを用いて、再生される楽曲データにおける再生区間を選択する。再生区間選択部１０６は、選択した再生区間の情報をエフェクト区間設定部１０８に供給する。

音楽と同期したスライドショーでは、１曲に合わせて写真を再生したり、複数の曲にまたがって写真を再生する場合もあるが、逆に写真の枚数が少なかったり、動画として携帯電話などで親や友人に送りたい場合には、１曲の中の一部分で短いスライドショーを作成したい場合もある。このような場合には、再生区間選択部１０６は、１２音解析技術によって得られた音楽特徴量を用いて、楽曲データの一部分、例えばサビ位置の少し前から３０秒間をスライドショーの再生区間として切り出してもよい。図２では、楽曲の一部分をスライドショーの再生区間として設定する場合を示している。

また、楽曲解析部１０２の１２音解析によって得られたコード情報やそのコード進行に、音楽理論的に特徴的なものが存在する場合がある。例えば、音楽理論ではサブドミナントと呼ばれるやや不安定な和音、ドミナントと呼ばれる不安定な和音、トニックと呼ばれる安定した和音が存在する。図３は、音楽理論とコード進行の関係例を示す説明図である。

これらの和音のうち、ドミナントからトニックにコードが遷移するような進行では、聞いている人に不安から安定を感じさせる印象的なパターンとなるので、スライドショーでエフェクトと組み合わせることで表現力を向上させる効果を期待できる。上述のもの以外にも、コードが頻繁に切り替わるエリアや、曲の中で聴取者の気を惹くような個性的な和音、ビートが集中しているエリアなども、スライドショーを自動作成する際に有効に利用できる。従って、再生区間選択部１０６は、それらのエリア情報を保持し、エフェクト区間設定部１０８に供給してもよい。

エフェクト区間設定部１０８は、スライドショーとして画像データを連続して表示させる所定の区間の中から、複数のエフェクト区間を設定する。エフェクト区間設定部１０８は、例えば、楽曲メタデータ保持部１０４が保持している、スライドショーにおいて再生される楽曲データの楽曲メタデータを用いて、再生区間選択部１０６から供給される楽曲データの再生区間における画像エフェクトの区間を設定する。エフェクト区間設定部１０８は、設定したエフェクト区間の情報を画像候補割り当て部１１０へ供給する。

本実施形態では、エフェクト区間設定部１０８は、エフェクト区間を決定する主な要因を、優先度順に以下の４つとする。

（１）テーマ毎に必須なエフェクト区間
エフェクト区間設定部１０８は、エフェクト区間を決定する際に、まず、設定されるテーマ毎に必須なエフェクト区間を優先する。ここでいうテーマとは、スライドショーの世界観的なものをいい、例えばユーザがスライドショーの自動作成を指示するにあたって設定するものである。

図４は、スライドショーのテーマの例を示す説明図である。図４で示されているのは、シンプルなスライドショー、モノクロ画像のスライドショー、フィルムに写真が写し出されるようなスライドショー、人の顔に注目した画像エフェクトがメインのスライドショー、宇宙を写真がふわふわと漂うようなスライドショー、３Ｄを駆使したスライドショーなどが存在し、テーマが異なるとスライドショーの雰囲気も大きく変化する。なお、これらのスライドショーは、単なるテンプレートとは異なり、テーマ自体がエフェクトの切り替えタイミングを持っているわけではない。

テーマによっては、イントロやエンディングといった特定の画像エフェクトを用意しており、それらのエフェクト区間は何よりも優先されて決定される。それらの特定の画像エフェクトは、一定秒数の場合もあれば、最初の１小節等という場合もあり、テーマやエフェクトの種類によって異なる。

（２）楽曲構成が切り替わるタイミング
次に、エフェクト区間設定部１０８は、エフェクト区間を決定する際に、音楽メタデータの中で楽曲構成が切り替わるタイミングを優先する。楽曲構成が切り替わるタイミングの例には、拍子が切り替わる（４／４→３／４）、キーが変化する（Ｃ→Ｇ）、メロディが切り替わる（Ｂメロ→サビ）などが存在する。これらのタイミングでは、音楽的な雰囲気が大きく変わるので、そのタイミングで画像エフェクトを切り替えると効果的である。

エフェクト区間設定部１０８は、楽曲構成が切り替わるタイミングを用いる際には、エフェクト区間そのものは決定せず、後にそのタイミングをまたぐようなエフェクト区間の設定が行われようとした際に、優先してこの楽曲構成が切り替わるタイミングでエフェクトを区切るようにする。

（３）コード進行的に印象的なエリア
上述した音楽メタデータの説明で、印象的なコード進行パターンや、特徴的な和音などを抽出したが、次に、エフェクト区間設定部１０８は、エフェクト区間を決定する際に、それらコード進行パターンや特徴的な和音を有するエリアをエフェクト区間として優先して利用する。エフェクト区間設定部１０８は、コード進行パターンや特徴的な和音の適用に際して、テーマやその時点での楽曲構成（サビ、Ａメロ等）によって異ならせるようにしてもよい。

（４）ベースとなるテーマ毎の切り替えパターン
（１）〜（３）の要因は、テーマや音楽によってはほとんど存在しない可能性もある。そのような場合には、エフェクト区間設定部１０８が一定の間隔（例えば１小節単位など）でエフェクト区間を設定してしまうと、スライドショーとして単調なものになってしまう可能性がある。

そこで、エフェクト区間設定部１０８は、エフェクト区間を決定する際に、ベースとなるエフェクト区間を様々な間隔や、タイミングで設定する。この間隔やタイミングは、スライドショーに設定されたテーマによって異なり、楽曲データの解析によって得られる楽曲のムード特徴量などを参考に設定してもよい。例えばエフェクト区間設定部１０８は、楽曲のサビの部分ではエフェクト区間の間隔を短く設定し、間奏部分ではエフェクト区間を長めに設定する等、楽曲構成に応じてエフェクト区間やエフェクトの切り替えタイミングを変化させてもよい。このように楽曲構成に応じてエフェクト区間やエフェクトの切り替えタイミングを変化させることで、スライドショーを単調にしない効果が現れる。

また音楽は、一般的に４小節、８小節、１６小節といった単位で構成を繰り返したり変化させたりすることが多いので、そのような知識をエフェクト区間設定部１０８によるエフェクト区間の設定に反映するとより効果的である。

図５は、エフェクト区間設定部１０８が、上述の（１）から（４）の優先度でスライドショーのエフェクト区間を設定した例を示す説明図である。図５に示したこれらのエフェクト区間は、後に再設定される可能性もあるが、まずはここで設定されたエフェクト区間を枠組みとして、その後の画像の割り当てやエフェクトの設定を行なっていく。

画像候補割り当て部１１０は、スライドショーで表示するために用意された画像群の中から、エフェクト区間設定部１０８が設定した各エフェクト区間へ画像を割り当てる。画像候補割り当て部１１０による各エフェクト区間への画像の割り当てについては後に詳述する。

画像解析部１１２は、スライドショーを表示するために用意された画像群に対して画像解析処理を実行する。画像解析部１１２は、スライドショーを表示するために用意された画像群に対して、顔や類似、色に関する解析特徴量や一般的なＥｘｉｆ情報などの特徴量を取得し、画像候補割り当て部１１０がスライドショーで使用する画像を各エフェクト区間へ割り当てる際に使いやすいように様々な粒度でグループを生成し保持する。画像解析部１１２は、画像解析処理の結果得られる画像メタデータを画像メタデータ保持部１１４に出力する。画像メタデータ保持部１１４は、画像解析部１１２が出力した画像メタデータを保持する。画像メタデータ保持部１１４が保持した画像メタデータは、エフェクト設定部１１６、画像選択部１１８、表示範囲切り出し部１２４などから参照される。

スライドショーでは撮影日時順に画像を表示するケースが多いので、例えば、特開２００７−９４７６２号公報で示されるイベントクラスタリングや類似解析結果を用いたツリーを構築しておくと後々の処理において画像の使用が容易となる。図６は、画像群に対する、イベントクラスタリングと類似解析結果によって構成されたツリー構造の例を示す説明図である。類似解析には、画像ＵＲＬや画像の大きさ、撮影日時、撮影画像の緯度経度、顔特徴量、類似特徴量、構図特徴量、色特徴量等の情報が用いられても良い。

また撮影日時順ではなく、顔検出や顔識別技術を用いてグループ生成を行ってもよい。例えば、特開２０１１−１３３９８８号公報には、人物のグループ化や人間関係を元にグループ生成を行う技術が開示されている。

エフェクト設定部１１６は、エフェクト区間設定部１０８が設定した各エフェクト区間に対してエフェクトを設定する。エフェクト設定部１１６は、エフェクト区間設定部１０８が設定した各エフェクト区間に対して、まずは期待されるエフェクトを設定する。ここで「期待される」と表現しているのは、指定されたテーマや楽曲の盛り上がりを表現するのに最適なエフェクトではあるが、画像が割り当てられた際にその画像にそぐわないエフェクトだったり、前後のエフェクトが再設定された場合にエフェクト同士のつながりが悪かったりする場合は、後に変更される可能性があるからである。まずは、エフェクト設定部１１６に、スライドショーとして最適と思われるエフェクトを設定させ、変更の必要があればエフェクト設定部１１６にエフェクトを最設定させる。エフェクトの種類を選択する条件は、上記のエフェクト区間の設定方法に準ずる。

（１）テーマ毎に必須なエフェクト区間
テーマ毎に決められたエフェクト区間では無条件に対応するエフェクトを設定する。テーマ毎に決められたエフェクト区間とは、例えばスライドショーのイントロ部分やエンディング部分などである。

（２）楽曲構成が切り替わるタイミング
この楽曲構成が切り替わるタイミングでは、エフェクト区間設定部１０８でエフェクト区間が設定されているわけではないが、楽曲構成が切り替わった直後に割り当てられたエフェクトの種類を設定する役割を持つ。エフェクト設定部１１６は、このタイミングに、例えばＢメロからサビに切り替わった直後に派手なエフェクトを割り当てたり、画面全体をフラッシュさせるエフェクトを割り当てたりして、盛り上がりを目立たせるといった使い方をする。

（３）コード進行的に印象的なエリア
このコード進行的に印象的なエリアには、エフェクト設定部１１６は、音楽理論的に意味のあるエフェクトの割り当てを行う。エフェクト設定部１１６は、例えば、聴取者の気を惹くような特殊な和音には装飾的なエフェクトを、不安定な和音にはその後を期待させるような繋ぎのエフェクトを、安定した和音にはスライドショーにおいて決めとなるような派手なエフェクトを、コードが頻繁に切り替わる区間では動きのあるエフェクトを選択する。このように、コード進行に応じてエフェクトを設定することによって、本実施形態にかかる画像処理装置１００は、音楽的な印象と視覚的な印象を重ね合わせて、より音楽と合った魅力的なスライドショーを実現することが可能である。

（４）ベースとなるテーマ毎の切り替えパターン
このベースとなるパターンでは、エフェクト設定部１１６は、様々なエフェクトが出現し、同じエフェクトが連続しないように、また繋がりの良いエフェクト同士を並べるといったことを考慮してエフェクトを設定する。またエフェクト設定部１１６は、楽曲構成に応じて、例えばサビでは派手なエフェクトを、通常のメロディでは普通のエフェクトを、間奏では大人しめのエフェクトを選択するなどの変化を持たせてエフェクトを設定する。

エフェクト設定部１１６は、これらの期待されるエフェクトを設定する際に、同じ条件であれば必ず同じエフェクトを選択するのではなく、同じ条件であっても複数のエフェクトの中からランダムで選択するといった幅を持たせるようにしてもよい。ユーザがスライドショーを何度も作成した場合に、常に同じスライドショーが作成されるのではなく、毎回異なるスライドショーが作成された方が良い場合も少なくないからである。

図７は、エフェクト設定部１１６が期待されるエフェクトを設定した例を示す説明図である。図７には、エフェクト区間設定部１０８が期待区間、キメ区間、エンディングの３つのエフェクト区間を設定し、エフェクト設定部１１６が、各エフェクト区間に対して、それぞれ顔に向かってズームするエフェクト、３枚の写真をタイミング良く表示するエフェクト、集合写真やコラージュを表示するエフェクトを設定した状態を図示している。

ここで、スライドショーで再生する楽曲の１曲分や、その一部分の３０秒である等のスライドショーの再生時間に対して、画像処理装置１００に入力された全ての画像を表示することは困難な場合がある。そのような場合には入力された画像群から必要な枚数を選択することが求められる。

さらにスライドショーには、多くの場合に、撮影日時順で画像を表示して欲しいというユーザの要求があり、そのような要求に対して先頭から必要な枚数だけを取り出して表示してしまっては、入力された画像群の最後の方の写真は全く出てこなくなってしまう場合がある。

そこで、画像候補割り当て部１１０は、エフェクト区間設定部１０８で設定されたエフェクト区間にどの画像を割り当てるかを決定する処理を実行しても良い。図８は、画像候補割り当て部１１０による、エフェクト区間への画像の割り当て処理の例を示す説明図である。図８は、図６のように構築されたツリーを用いて、エフェクト区間へ画像を割り当てる例を示している。

画像候補割り当て部１１０は、図８に示すように、あらかじめ準備した画像群のツリーをスライドショー全体と対比して、どのエフェクト区間にどこからどこまでの画像を割り当てるかという処理を行う。この割り当てられた画像群を、あるエフェクト区間において「選択可能な画像候補」と呼ぶことにする。

画像候補割り当て部１１０は、画像候補をエフェクト区間へ割り当てる際に、各々のエフェクト区間に対して撮影日時順に均等に割り当ててもよいし、エフェクト区間の秒数の比率で割り当ててもよい。また画像候補割り当て部１１０は、エフェクト区間に設定された期待されるエフェクトに必要な枚数を満たすように割り当ててもよい。ただし、イントロやエンディングなどで撮影日時の時系列に関係なく全体から画像を選択するようなエフェクトの区間に関しては、画像候補割り当て部１１０は、特別に全ての画像を画像候補にすることが望ましい。

また画像候補割り当て部１１０は、様々な方法でエフェクト区間に画像候補を割り当てる際に、ツリー構成の中でなるべく大きなまとまりをエフェクト区間に割り当てることが望ましい。例えば画像候補割り当て部１１０は、類似グループの数がエフェクト区間数よりも大きい場合は類似グループ単位で画像候補を割り当て、さらに大きいグループで割り当てが可能な場合はそのグループで割り当てるというように割り当てを行う。これは、後にスライドショーで実際に表示する画像を決定する際に、あまり関係のない写真が同時に表示することを避けたり、あえて似たような写真を連続して表示したりしたい場合に、そのような画像が選ばれやすくするためである。

逆に、曲の長さに対して入力画像の枚数が少ない場合、同一の画像を複数のエフェクト区間に重複して割り当てることも可能である。しかしこの場合、エフェクトは異なるが同じ写真ばかりが出現してしまい、結果としてスライドショーとしての品質が下がってしまう可能性がある。その場合は、後述のスライドショー品質判定部１２２によって、エフェクト区間設定部１０８にエフェクト区間を設定させて、例えばエフェクト区間を長めに（エフェクト区間数を少なめに）設定し直させたり、または再生区間選択部１０６によって、再生する楽曲の再生区間を短くしたりするといった処理が行われるようにしても良い。

画像選択部１１８は、エフェクト設定部１１６で各エフェクト区間に設定されたエフェクトで表示する画像を、画像候補割り当て部１１０で各エフェクト区間に割り当てられた画像の中から選択する。

エフェクト再設定判別部１２０は、画像選択部１１８が選択した画像によって期待されるエフェクトが実現できるかどうかを判別する。エフェクト再設定判別部１２０は、期待されるエフェクトが実現できるかどうかを、例えば、写真の枚数が足りているかどうか、必要な数の顔が存在するか、必要な枚数の類似画像が存在するか、を満たすかどうかで決定する。

図９は、エフェクトの再設定の例を示す説明図である。ある盛り上がり区間では、顔をズームするエフェクトを期待してエフェクト設定部１１６はそのエフェクトを設定したが、画像候補割り当て部１１０が割り当てた候補画像の中に顔の入った写真が存在しなかったので、エフェクト再設定判別部１２０は、エフェクト設定部１１６に別のエフェクトを再設定させる。また、あるキメの区間では、類似する３枚の画像が必要なエフェクトをエフェクト設定部１１６が設定したが、候補画像の中には２枚の類似画像しか存在しなかったので、エフェクト再設定判別部１２０は、エフェクト設定部１１６に、代替として２枚の類似画像を使用するエフェクトを再設定させる。

後者の例のように、エフェクト再設定判別部１２０が、エフェクト設定部１１６にエフェクトを再設定させる場合には、なるべく元のエフェクトに近いエフェクトを再設定するようにルールを設けてもよい。これは、スライドショー全体としてなるべく最初に期待された雰囲気に近づける為である。

図１０は、再設定されたエフェクトの例を示す説明図である。再設定するエフェクトは、写真の枚数、必要な顔の数、必要な類似画像の枚数を減少する方向に、顔が存在するか、類似画像が存在するかという条件を緩和する方向に決めておくようにする。図１０には、まずは３枚の類似する画像を表示するエフェクトが設定されたが、条件を満たさないので、次に２枚の類似する画像を表示するエフェクトが設定され、さらに条件を満たさないので、シンプルな１枚の画像を表示するエフェクトを設定する例が示されている。

ただし、候補画像が期待されるエフェクトに必要な枚数に満たなかった場合にも、あえてエフェクトの再設定を行わないようにしてもよい。例えば、構図解析技術を用いて、実際にスライドショーで再生する際に、１枚の写真から、あたかも複数枚の写真が存在するかのように表現することも可能だからである。従って、必要な画像枚数に満たなくても、期待されるエフェクトを実現できるかどうかは画像特徴量を参照することによって調べることが可能である。構図解析技術を用いた表示範囲の切り出し方に関しては後述する。

スライドショー品質判定部１２２は、エフェクト設定部１１６で設定されたエフェクトや、画像選択部１１８で選択された画像から、スライドショー全体の品質を判定する。特に、エフェクト再設定判別部１２０でエフェクトが再設定させられると、スライドショー品質判定部１２２は、再設定されたエフェクトや、画像選択部１１８で選択された画像から、スライドショー全体の品質を再度判定する。

エフェクト再設定判別部１２０によって、上述したように個々のエフェクト区間のエフェクトを再設定した結果、前後のエフェクトの繋がりが悪くなったり、スライドショー全体で使用されるエフェクトに偏りが出てしまったり、使用される画像が少なくなりすぎてしまったりする可能性がある。その為、ひとつでもエフェクトの再設定を行った場合は、スライドショー品質判定部１２２は、例えば前後のエフェクトの繋がり、使用されるエフェクトの偏り、使用される画像枚数の母数に対する割合をチェックする。

スライドショー品質判定部１２２によって、前後のエフェクトのつながりが悪くなったと判定された場合は、エフェクトを再設定させることが可能だが、エフェクトを再設定させた場合は、再度同じチェックを行う。その結果、再設定されたエフェクトではスライドショーの品質を保てない（例えば、エフェクトが偏り過ぎている、使用される画像が母数に対して少なすぎる等）とスライドショー品質判定部１２２が判断した場合は、画像候補割り当て部１１０が割り当てた画像の割り当てを変更したり、さらにエフェクト区間設定部１０８にエフェクト区間の設定を変更させたりといった処理に戻させる。このように再帰的にスライドショーの作成を実行することで、画像処理装置１００は楽曲と画像の最適な組み合わせを再帰的に決定してスライドショーの品質を向上させることができる。

画像選択部１１８は、再帰的に設定された、スライドショーにおけるエフェクト区間、適用される画像エフェクト、表示する画像の候補に基づいて、候補画像の中から画像エフェクトに応じて実際に表示される画像を選択する。

画像選択部１１８は、候補画像の中から必要な枚数の画像を選択する際に、エフェクトに応じて以下のような方法を用いても良い。
（１）候補画像内からランダム選択
（２）候補画像内から時系列に選択
（３）顔が存在する画像を優先して選択
（４）類似した画像を選択

（１）候補画像内からランダム選択
この方法は、エフェクト内で複数枚の画像を表示する際に、選択された画像同士に特に関連性を持たせる必要がない場合に使用される。例えば、イントロやエンディングなどで、入力された全画像の中で多くの枚数を表示したい場合などに用いられる。

（２）候補画像内から時系列に選択
この方法は、エフェクト内で複数枚の画像を表示する際に、なるべく撮影日時の離れた画像が選択したい場合に使用される。例えば画像選択部１１８は、候補画像の中から３枚の画像を選択したい場合、まず候補画像を撮影日時によって３分割し、それぞれの分割された画像群から１枚ずつ選択する。これにより、なるべく似たような場面が表示されないような画像を選択することが可能である。なお、画像を選択する際には、最も撮影日時の離れた画像を選択してもよいし、分割された画像群の中からランダムに選択してもよい。

（３）顔が存在する画像を優先して選択
この方法は、顔にフォーカスしたエフェクトなどを利用する場合に用いられる。候補画像の中に必要な枚数の顔の存在する画像があった場合には、画像選択部１１８は、その中から必要な枚数だけ選択し、顔の存在する画像が必要な枚数に満たない場合は、顔の存在する画像に加えて、足りない枚数の画像を残りの画像から選択する。なお、画像選択部１１８は、画像を選択する際に、なるべく大きく顔の映った画像を選択してもよいし、顔の存在する画像の中から必要な枚数をランダムに選択してもよい。

（４）類似グループ内の連続した画像を選択
この方法は、あえて似た画像を表示したい場合に用いられる。例えばパラパラ漫画のように複数枚の画像が次々とめくられていくようなエフェクトがあった場合、カメラの連射機能などで撮影された画像を連続で表示すると効果的である。このようなエフェクトを実現する為に、画像選択部１１８は、画像解析結果により同じ類似グループに指定された画像群から、必要な枚数の撮影日時の連続した画像を選択する。もし必要な枚数以上の類似グループが存在しなかった場合には、画像選択部１１８は、画像候補の中で連続した画像を必要な枚数だけ選択してもよい。なお、どの類似グループを選択するかは、最も枚数の多い類似グループを使用してもよいし、ランダムな類似グループを選択してもよい

図１１は、画像選択部１１８が、上述の選択方法を用いて候補画像の中から画像を選択した例を示す説明図である。図１１には２つの例が図示されている。１つ目の例は、画像選択対象のエフェクト区間で設定されたエフェクトが、画像から顔部分を切り出して表示する顔切り出しエフェクトである場合に、画像選択部１１８が、与えられた画像群から、顔の入った画像を選択し、その中で最も大きい顔をエフェクトで切り出すものである。また２つ目の例は、画像選択対象のエフェクト区間で設定されたエフェクトが、３枚の画像を連続して表示する３枚エフェクトである場合に、画像選択部１１８が、与えられた画像群から、最も似ている３枚の画像を選んで時系列順に表示するものである。

このように画像選択部１１８は、候補画像の中から、画像選択対象のエフェクト区間において設定された画像エフェクトに適した画像を選択する。

上述の、エフェクト設定部１１６による期待されるエフェクトの設定でも述べたが、画像選択部１１８、それぞれの画像選択方法を用いる際に、何らかのランダム要素を入れてもよい。ランダム要素が含まれることで、ユーザが何度もスライドショーを作成した場合に毎回違う写真が出現して、違った印象を与えることが可能になる。

表示範囲切り出し部１２４は、画像選択部１１８が選択した画像の表示範囲を切り出す。上述してきたように、それぞれのエフェクト区間において、表示したい画像と適用する画像エフェクトが決定したが、画像エフェクトの中には画像を一枚そのまま表示するだけでなく、特定のアスペクト比の領域に表示しなければならないケースがある。例えば、オリジナルでは４：３のアスペクト比の画像に対して、スライドショー再生時には１６：９に表示しなければならない、もしくは４：３と３：４のアスペクト比で表示したい、といったような場合に、何らかの方法で元画像から必要な表示範囲を切り出す必要がある。

特定のアスペクト比の領域に画像を表示しなければならない場合には、表示範囲切り出し部１２４は、構図解析技術を用いることによって、様々な条件で任意のアスペクト比の領域を切り出すことが可能である。図１２は、表示範囲切り出し部１２４による表示範囲の切り出し例を示す説明図である。例えば図１２に示すように、横長画像から縦長のアスペクト比の表示領域が必要になった場合、表示範囲切り出し部１２４は、選択された画像に顔が検出されている場合は、顔の位置や向きの情報を利用して最適な領域を切り出し、顔が検出されなかった場合は注目物体情報を利用して、同じく最適な領域を切り出すことができる。

構図解析を利用した表示領域の切り出し方には、顔や注目領域を中心に切り出した日の丸構図、写真として一般的に美しい構図とされる３分割構図、顔や注目領域をなるべく大きく切り取るズームアップ、親子写真をきれいに見せる対角構図などがある。表示範囲切り出し部１２４は、これらの表示領域の切り出し方を用いて、テーマやエフェクトの種類に応じて様々な構図で切り出すことが可能である。

また、上述したエフェクトの再設定において、候補画像の枚数が期待されるエフェクトに必要な枚数に満たない場合でも、あえてエフェクトの再設定を行わない場合があると述べた。この、候補画像の枚数が期待されるエフェクトに必要な枚数に満たない場合には、表示範囲切り出し部１２４が、構図解析技術を用いて画像を切り出すことによって、あたかも複数枚の写真が存在するかのようなエフェクトを実現することもできる。

図１３は、表示範囲切り出し部１２４が、構図解析技術を用いて画像を切り出すことで、一枚の画像から複数枚の画像を使用するエフェクトを実現した例を示す説明図である。図１３には、ある表示したいエフェクトには写真が２枚必要であるが、画像選択部１１８によって選択された画像は１枚だけである場合が例示されている。このような場合では、表示範囲切り出し部１２４は、構図解析技術を用いて１枚の画像から、子供が写っている部分と、両親が写っている部分とを切り出して、エフェクトに当てはめる。これにより、あたかも複数枚の写真が存在するかのようなエフェクトを実現することもできる。

もちろん、特定のアスペクト比の領域に表示する必要が無いエフェクトである場合には、表示範囲切り出し部１２４による切り出し処理はスキップしてもよい。

タイミング調整部１２６は、エフェクトの表示タイミングを調整する。上述の説明で、各々のエフェクト区間において表示する画像と画像エフェクトが決定したので、タイミング調整部１２６は、その決定されたエフェクトの表示タイミングを調整する。各エフェクトは、例えば、特開２０１１−１８１１０３号公報において示されている、“ｓｈｏｗ”、“ｓｔａｒｔ”、“ｅｎｄ”、“ｈｉｄｅ”のパラメータを持っている。それぞれのパラメータの意味は以下の通りである。
・ｓｈｏｗ…エフェクトの生存期間が開始し、初期状態を表示するタイミング
・ｓｔａｒｔ…主にエフェクトがアニメーションを開始するタイミング
・ｅｎｄ…主にエフェクトがアニメーションを終了するタイミング
・ｈｉｄｅ…エフェクトの生存期間が終了し、破棄されるタイミング

例えばタイミング調整部１２６は、ｓｔａｒｔ及びｅｎｄをエフェクト区間の開始と終了に一致させ、ｓｈｏｗをｓｔａｒｔの１拍前、ｈｉｄｅをｅｎｄの１拍後に設定することによって、それぞれのエフェクトが１拍分オーバーラップしながらアニメーションを行うような設定が可能である。

図１４は、タイミング調整部１２６によってパラメータが設定されたアニメーションの例を示す説明図である。図１４に示した台形は、設定されたエフェクトにより画像が表示される様子を表している。つまり、ｓｈｏｗの時点で写真が出現し始め、ｓｔａｒｔの時点で写真がはっきり表示され、ｓｔａｒｔからｅｎｄの間でエフェクトによるアニメーションが行われ、ｅｎｄからｈｉｄｅの間で写真が徐々に消え始め、ｈｉｄｅの時点で写真が完全に消滅することを表している。

また、エフェクトによっては（例えば、一つのエフェクト内で写真が次々とスライドしていくようなエフェクトでは）アニメーションのタイミングを任意に設定したいケースが存在する。タイミング調整部１２６は、このようなエフェクトに、キーフレームと呼ばれるパラメータを設定することができ、エフェクトにおけるアニメーションの細かいタイミング調整を行うことができる。

図１５は、タイミング調整部１２６によってキーフレームのパラメータが設定されたアニメーションの例を示す説明図である。図１５には、“ｋｅｙｆｒａｍｅ１”の時点で写真のスライドを開始し、“ｋｅｙｆｒａｍｅ２”の時点で写真のスライドを終了するよう設定されたエフェクトが示されている。

スライドショー出力部１２８は、タイミング調整部１２６によってエフェクトの表示タイミングが調整されたスライドショーを１つのファイルに出力する。

タイミング調整部１２６までで、スライドショーを実現するための基本的な情報は全て準備が完了したが、画像処理装置１００は、スライドショー出力部１２８でスライドショーを１つのファイルに出力する前に、スライドショーを装飾する情報の設定を行ってもよい。例えば、スライドショーで使用されている写真の主要色を検出することによって、設定されたテーマによっては独特の表現を行うことができる。この色検出はスライドショー出力部１２８で行なっても良い。

図１６は、スライドショーを装飾する情報の設定例を示す説明図である。図１６に示した例は、各エフェクト区間で使用されている写真群の主要色を推定し、その主要色に合わせて光源の色合いを変化させることで、スライドショーの見栄えを向上させることを実現している。例えば、図１６の左側の写真では、主に赤色が多く使われているので、スライドショー出力部１２８は、当該区間においては赤色を代表色として検出し、赤色を光源とするようなエフェクトとする。また例えば、図１６の右側の写真では、主に緑色が多く使われているので、スライドショー出力部１２８は、当該区間においては緑色を代表色として検出し、緑色を光源とするようなエフェクトとする。

以上、本開示の一実施形態にかかる画像処理装置１００の構成について説明した。次に、本開示の一実施形態にかかる画像処理装置１００の動作について説明する。

［画像処理装置の動作］
図１７は、本開示の一実施形態にかかる画像処理装置１００の動作を示す流れ図である。図１７に示した流れ図は、本開示の一実施形態にかかる画像処理装置１００がスライドショーを生成する際の動作を示したものである。以下、図１７を用いて本開示の一実施形態にかかる画像処理装置１００の動作について説明する。

画像処理装置１００がスライドショーを生成する際には、画像処理装置１００は、まず楽曲メタデータ保持部１０４に保存されている楽曲メタデータを用いて、スライドショーの表示の際に再生される楽曲の再生区間の切り出しを行う（ステップＳ１０１）。再生区間の切り出しは再生区間選択部１０６が実行する。

上記ステップＳ１０１で楽曲の再生区間の切り出しを行うと、続いて画像処理装置１００は、楽曲の再生区間からエフェクト区間を設定する（ステップＳ１０２）。エフェクト区間の設定はエフェクト区間設定部１０８が実行する。

上記ステップＳ１０２でエフェクト区間の設定を行うと、続いて画像処理装置１００は、上記ステップＳ１０２で設定したエフェクト区間の数が足りているかどうかを判断する（ステップＳ１０３）。この処理はエフェクト区間設定部１０８が実行し、エフェクト区間の数が足りているかどうかは、エフェクト区間の数が、画像総数に対して一定の割合以上であるかどうかで判断しても良い。

上記ステップＳ１０３の判断の結果、エフェクト区間の数が足りている場合には、続いて画像処理装置１００は、上記ステップＳ１０２で設定したエフェクト区間に対して画像候補を割り当てる（ステップＳ１０４）。画像候補の割り当ては画像候補割り当て部１１０が行い、画像メタデータ保持部１１４に保持されている画像メタデータを用いて、エフェクト区間に対して画像候補を割り当てる。

上記ステップＳ１０４でエフェクト区間に対して画像候補を割り当てると、続いて画像処理装置１００は、設定された個々のエフェクト区間に対して期待されるエフェクト（期待エフェクト）を設定する（ステップＳ１０５）。個々のエフェクト区間への期待エフェクトの設定はエフェクト設定部１１６が実行する。

上記ステップＳ１０５で個々のエフェクト区間へ期待エフェクトを設定すると、続いて画像処理装置１００は、全てのエフェクト区間に対して、設定された期待エフェクトを割り当てられた画像で実現可能かどうかを判断する（ステップＳ１０６）。この実現可能かどうかの判断はエフェクト再設定判別部１２０が実行する。

上記ステップＳ１０６の判断の結果、実現可能でないエフェクトが存在していれば、画像処理装置１００はその実現可能でないエフェクトが設定されたエフェクト区間に対してエフェクトの再設定を行う（ステップＳ１０７）。このエフェクトの再設定はエフェクト設定部１１６が実行する。

全てのエフェクト区間に対して実現可能でないエフェクトが存在しなくなれば、続いて画像処理装置１００は、上記ステップＳ１０７のエフェクトの再設定をしたかどうかを判断する（ステップＳ１０８）。このエフェクトの再設定をしたかどうかの判断はスライドショー品質判定部１２２が実行する。

上記ステップＳ１０８の判断の結果、上記ステップＳ１０７のエフェクトの再設定をしていなければ、続いて画像処理装置１００は、各エフェクト区間で設定されたエフェクトにより表示される画像を選択する（ステップＳ１０９）。この表示画像の選択は画像選択部１１８が実行する。

上記ステップＳ１０９で、各エフェクト区間で設定されたエフェクトにより表示される画像を選択すると、続いて画像処理装置１００は、上記ステップＳ１０９で選択した画像の切り出し領域を設定する（ステップＳ１１０）。選択した画像の切り出し領域の設定は表示範囲切り出し部１２４が実行する。なお、上記ステップＳ１０９で選択した画像の表示範囲を切り出す必要がなければ、ステップＳ１１０の処理はスキップしてもよい。

上記ステップＳ１１０で画像の切り出し領域を設定すると、続いて画像処理装置１００は、設定されたエフェクト区間、各エフェクト区間において設定されたエフェクト、各エフェクトで選択された画像を用いて、スライドショーを生成する（ステップＳ１１１）。スライドショーの生成はスライドショー出力部１２８が実行し、スライドショーとして出力するファイル形式は任意のファイル形式を用いることができる。なお画像処理装置１００は、ステップＳ１１１のスライドショーの生成処理の前に、エフェクトの表示タイミングの調整を行なっても良い。このエフェクトの表示タイミングの調整はタイミング調整部１２６が実行する。

一方、上記ステップＳ１０８の判断の結果、上記ステップＳ１０７のエフェクトの再設定を一度でも実行していれば、続いて画像処理装置１００は、前後関係によるエフェクトの再設定を実行する（ステップＳ１１２）。具体的には、スライドショー品質判定部１２２がスライドショー全体を見て、再生区間選択部１０６、エフェクト区間設定部１０８、画像候補割り当て部１１０，エフェクト設定部１１６に再設定を指示する。

上記ステップＳ１１２で前後関係によるエフェクトの再設定を実行すると、続いて画像処理装置１００は、使用しているエフェクトに偏りがあるかどうかを判断する（ステップＳ１１３）。このエフェクトに偏りがあるかどうかの判断はスライドショー品質判定部１２２が実行し、例えば類似の効果を出すようなエフェクトが連続して使用されているか、顔をクローズアップするようなエフェクトが連続して使用されているか、等の判断基準を用いてエフェクトに偏りがあるかどうかを判断する。

上記ステップＳ１１３の判断の結果、使用しているエフェクトに偏りがないと判断すると、続いて画像処理装置１００は、スライドショーの作成のために画像処理装置１００に入力された画像をある一定の割合以上使用出来ているかどうかを判断する（ステップＳ１１４）。この判断はスライドショー品質判定部１２２が実行する。なお本開示では、このステップＳ１１４の判断処理はスキップしても良い。

上記ステップＳ１１４の判断の結果、画像をある一定の割合以上使用出来ていると判断すると、画像処理装置１００はステップＳ１０９の表示画像選択処理に移行する。一方、上記ステップＳ１１３の判断の結果、使用しているエフェクトに偏りがあると判断した場合、または、上記ステップＳ１１４の判断の結果、画像をある一定の割合以上使用出来ていないと判断した場合は、画像処理装置１００は、画像候補をエフェクト区間に再割り当て済みかどうかを判断する（ステップＳ１１５）。画像候補をエフェクト区間に再割り当て済みでなければ、画像処理装置１００は、ステップＳ１０４の画像候補割り当て処理以降の処理を実行する。一方、画像候補をエフェクト区間に再割り当て済みであれば、画像処理装置１００は、エフェクト区間が再設定済みかどうかを判断する（ステップＳ１１６）。エフェクト区間が再設定済みであれば、画像処理装置１００はステップＳ１０１の再生区間の切り出し処理以降の処理を、再設定済みでなければ、ステップＳ１０２のエフェクト区間の設定処理以降の処理を、それぞれ実行する。

このように、本開示の一実施形態にかかる画像処理装置１００は、スライドショーにあわせて再生する楽曲の再生区間の選択、エフェクト区間の設定、画像候補の割り当て、エフェクトの設定、エフェクトで表示する画像の選択を再帰的に自動実行することで、スライドショーの品質を向上させることが可能になる。

［楽曲解析の結果を用いたエフェクト区間やエフェクトの設定］
ここで、楽曲解析の結果を用いたエフェクト区間やエフェクトの設定処理について、さらに例を挙げて説明する。本実施形態にかかる画像処理装置１００は、上述したように楽曲解析の結果を用いてエフェクト区間の設定やエフェクトの設定を行なっている。

エフェクト区間設定部１０８は、楽曲解析の結果得られる、楽曲のキーとコード進行から、ノンダイアトニックコード、ドミナント終止、コードが頻繁に切り替わる位置を検出し、その時間情報を取得する。またエフェクト区間設定部１０８は、楽曲解析の結果から部分転調位置や転調位置についても取得する。

エフェクト設定部１１６は、楽曲解析の結果から、スライドショーに合わせて再生される楽曲が長調か短調かを判別し、テーマを選択する。エフェクト設定部１１６は、その曲調の判別結果から、複数のエフェクトからなるエフェクト候補を選択する。例えばエフェクト設定部１１６は、長調の楽曲であれば明るいエフェクト群を、短調の楽曲であれば暗いエフェクト群を選択する。なお画像処理装置１００は、各エフェクトに対し、予めどの特徴に似合うものかどうかをパラメータとして付与し、そのパラメータを保持しておく。

そしてエフェクト設定部１１６は、特徴に似合うエフェクトを、エフェクト候補の中から選択し、適切な時間やタイミングでそのエフェクトが実行されるように設定する。

図１８は、本実施形態にかかる画像処理装置１００が、楽曲に合わせたエフェクトを選択する例を示す説明図である。図１８では、スライドショーに合わせて再生される楽曲を解析した結果、キーがＣメジャーコードであり、コードがＦ→Ｇ７→Ｇｓｕｓ４→Ｇ７→Ｃと変化していることが分かった場合について示している。

図１８に示した楽曲例では、珍しいＧｓｕｓ４がノンダイアトニックコードとして使用されており、このコードが使われる小節は印象的なフレーズを持つ小節である。従って画像処理装置１００は、このＧｓｕｓ４が使われているエフェクト区間では、スライドショーを見る人の印象に残りやすいエフェクト選択する。

また図１８に示した楽曲例では、ノンダイアトニックコードの後、Ｇ７（Ｖ）→Ｃ（Ｉ）とコードが４度進行して終止形となるドミナント終止が使われている。ドミナント終止は、終止感を視聴者に与えるコード進行なので、スライドショーでも決めとなるエフェクトを用いると効果的である。従って画像処理装置１００は、Ｇ７が使われているエフェクト区間では３枚の写真を使用するエフェクトを用いて、Ｃが使われているエフェクト区間では１枚の写真をしっかり見せるエフェクトを用いる。

別の例を示す。図１９は、本実施形態にかかる画像処理装置１００が、楽曲に合わせたエフェクトを選択する例を示す説明図である。図１９では、スライドショーに合わせて再生される楽曲を解析した結果、キーがＣメジャーコードであり、コードがＦ→Ｇ７→Ｃ→Ｂｍ７ｂ５→Ｅ７→Ａｍ→Ｃと変化していることが分かった場合について示している。

図１９に示した楽曲例では、Ａｍに部分転調している。Ａｍは切ない印象を与えるコードであるので、画像処理装置１００は、このＢｍ７ｂ５→Ｅ７→Ａｍ→Ｃとコードが進行するエフェクト区間にモノクロームで表示するエフェクトを設定する。これにより、Ａｍに部分転調している部分において、スライドショーに切ないイメージを割り当てることができる。

このように、コード進行に応じて適切なエフェクトを設定することで、本実施形態にかかる画像処理装置１００は、曲調に合ったエフェクトで写真が表示されるスライドショーを作成することができる。なお、上述したように、コード進行に応じて適切なエフェクトを設定するためには、画像処理装置１００は、各エフェクトに対し、予めどの特徴に似合うものかどうかをパラメータとして付与し、そのパラメータを保持しておく。

図２０は、曲調とエフェクトとの対応関係の一例を示す説明図である。このように、楽曲の特徴と、エフェクトとの対応関係をパラメータとして付与し、そのパラメータを保持しておくことで、画像処理装置１００は、曲調に合ったエフェクトで写真が表示されるスライドショーを作成することができる。

例えば、短いタイミングで（小節単位等で）コードが頻繁に切り替わるような部分には、興味を引き付けるエフェクトが用いられるように、パラメータがエフェクトに付与される。また例えば、ドミナント終止となる部分には、動きのあるエフェクト、及び１枚をしっかり見せる決めのエフェクト動きのあるエフェクト、及び１枚をしっかり見せる決めのエフェクトが用いられるように、パラメータがエフェクトに付与される。

次に、部分転調の検出例を説明する。図２１は、画像処理装置１００による部分転調の検出例を示す説明図である。コードは通常、トニック、サブドミナント、ドミナントを循環し、キーがＣメジャーコードであれば、トニックはＣ、Ｅｍ、Ａｍ、サブドミナントはＤｍ、Ｆ、ドミナントはＧ７、Ｂｍ（−５）である。またキーがＡｍ（Ａマイナーコード）であれば、トニックはＡｍ、Ｃ、サブドミナントはＤｍ、Ｂｍ（−５）、Ｆ、Ｇ７、ドミナントはＥｍである。

ここで、Ｆ→Ｇ７→Ｃ→Ｂｍ（−５）→Ｅｍ→Ａｍ→Ｃと変化すると、Ｃ→Ｂｍ（−５）のところでＡｍに部分転調していることが分かる。キーがＣメジャーコードであれば、サブドミナントはＦなのでＦに進行するはずが、キーがＡｍのときのサブドミナントであるＢｍ（−５）に進行しているからである。

図２２は、画像処理装置１００による部分転調の別の検出例を示す説明図である。キーがＡｍ（Ａマイナーコード）で、メロディックマイナースケールの場合では、トニックはＡｍ、Ｃ（＋５）、Ｆ＃ｍ（−５）、サブドミナントはＤｍ、Ｂｍ、ドミナントはＥｍ，Ｇ＃ｍ（−５）である。

ここで、Ｆ→Ｇ７→Ｃ→Ｅ７→Ａｍと変化すると、Ｃ→Ｅ７のところでＡｍに部分転調していることが分かる。そして、図２２に示した例では、画像処理装置１００は切ないイメージとなる部分転調を検出できる。

本実施形態にかかる画像処理装置１００は、自動的に、明るい曲にはポップなエフェクト、暗い曲にはノスタルジックなエフェクトなど、任意の曲の曲調でエフェクトを選択することができる。例えば画像処理装置１００は、曲を聴いていて印象的な旋律となるノンダイアトニックコードを使用したビート間では、印象的なエフェクトを選択することができ、その後はサビの区間になりやすいので、サビの区間になるようであれば、期待感を煽って、サビの区間で終止するような映像演出効果を選択することができる。

本実施形態にかかる画像処理装置１００は、楽曲解析によって終止感のある部分を検出できるので、落ち着く和音の小節では、動きが少なく、写真一枚をじっくりと見せる、決めとなるようなエフェクトを割り当てて引き締めるなど、スライドショーにメリハリを出すことができる。

本実施形態にかかる画像処理装置１００は、楽曲解析によって部分転調や転調といった、感動的に盛り上げている曲の部分が検出できるため、楽曲の盛り上がりに合わせて映像も同時に盛り上げたり、スライドショーの一番の見せ場になったりするエフェクトを選択することができる。

また、本実施形態にかかる画像処理装置１００は、楽曲解析によってビート単位でコードが頻繁に変化する小節も検出できるので、そのような小節では、次々と写真が切り替わるような切り替わりの激しいエフェクトをつけて、曲と映像効果をマッチさせることができる。

＜２．まとめ＞
以上説明したように本開示の一実施形態にかかる画像処理装置１００は、楽曲を解析して得られる楽曲メタデータからエフェクト区間及びそのエフェクト区間に適したエフェクトを設定する。そのエフェクト区間の設定に際しては、画像処理装置１００は、楽曲中の特徴的な箇所を抽出する。そして画像処理装置１００は、それぞれのエフェクト区間に画像データを割り当てると共に、割り当てた画像データがエフェクトの条件を満たしているかどうかを判断し、満たしていればエフェクトで表示する画像を決定し、満たしていなければ、画像データの割り当て、エフェクトの設定、エフェクト区間の設定と再帰的に最設定する。

またエフェクトの設定をやり直すと、画像処理装置１００は、エフェクトを再設定したエフェクト区間と、エフェクトを再設定していない他のエフェクト区間との間で、エフェクトの整合性を判断する。画像処理装置１００は、エフェクトの整合性の判断の結果、整合が取れていないエフェクト区間があれば、整合が取れるようにエフェクトをさらに最設定する。

これにより、本開示の一実施形態にかかる画像処理装置１００は、楽曲を解析して得られる楽曲メタデータと、画像データを解析してられる画像メタデータとからスライドショーを自動生成することが出来ると共に、生成されるスライドショーの品質を向上させることができる。

なお、上述した本開示の一実施形態にかかる画像処理装置１００の動作は、ハードウェアによって行われてもよく、ソフトウェアによって行われてもよい。ソフトウェアによって行われる場合には、例えば画像処理装置１００に設けられるＣＰＵその他の制御装置が、画像処理装置１００の内部に設けられたＲＯＭ等の記録媒体に保存されたコンピュータプログラムを読み出して順次実行することによって行われるようにしても良い。

また、上述した本開示の一実施形態にかかる画像処理装置１００の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、１つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）
画像データを連続して表示させる所定の区間の中から複数のエフェクト区間を設定するエフェクト区間設定部と、
前記エフェクト区間設定部が設定した前記複数のエフェクト区間のそれぞれに対して前記画像データを割り当てる画像割り当て部と、
前記エフェクト区間設定部が設定した前記複数のエフェクト区間のそれぞれに対してエフェクトを設定するエフェクト設定部と、
前記エフェクト設定部が前記複数のエフェクト区間のそれぞれに対して設定したエフェクトが、各エフェクトを実現できる条件を満たしているかどうかを、前記画像割り当て部が割り当てた画像データに対応する画像メタデータを用いて判断し、条件を満たしていないエフェクト区間があれば、前記エフェクト設定部に当該エフェクト区間のエフェクトを再設定させるエフェクト再設定判別部と、
前記エフェクト再設定判別部により前記エフェクト設定部がエフェクトを再設定すると、エフェクトが再設定されたエフェクト区間と他のエフェクト区間との間の整合性を判断する整合性判断部と、
を備える、画像処理装置。
（２）
前記エフェクト区間設定部は、前記画像データの表示の際に再生される楽曲データを解析して得られる楽曲メタデータを用いてエフェクト区間を設定する、前記（１）に記載の画像処理装置。
（３）
前記エフェクト区間設定部は、前記楽曲メタデータから特徴的な区間を抽出し、当該区間をエフェクト区間として設定する、前記（２）に記載の画像処理装置。
（４）
前記エフェクト設定部は、前記画像データの表示の際に再生される楽曲データを解析して得られる楽曲メタデータを用いてエフェクトを設定する、前記（１）から（３）のいずれかに記載の情報処理装置。
（５）
前記エフェクト設定部は、前記エフェクト区間設定部が設定したエフェクト区間で再生される前記楽曲データの特徴に合わせたエフェクトを選択する、前記（４）に記載の画像処理装置。
（６）
前記整合性判断部は、エフェクトが再設定されたエフェクト区間と他の前記エフェクト区間との間の整合性が取れていない場合は、前記エフェクト設定部にエフェクトを再設定させる、前記（１）から（５）に記載の画像処理装置。
（７）
前記整合性判断部は、前記エフェクト設定部にエフェクトを再設定させても全てのエフェクト区間において整合性が取れない場合は、前記画像割り当て部に画像データを割り当て直させる、前記（６）に記載の画像処理装置。
（８）
前記整合性判断部は、前記エフェクト設定部にエフェクトを再設定させても全てのエフェクト区間において整合性が取れない場合は、前記エフェクト区間設定部にエフェクト区間を再設定させる、前記（６）または（７）に記載の画像処理装置。
（９）
前記画像データの表示の際に再生される楽曲データの再生区間を選択する再生区間選択部をさらに備え、
前記整合性判断部は、前記エフェクト設定部にエフェクトを再設定させても全てのエフェクト区間において整合性が取れない場合は、前記画像データの表示の際に再生される楽曲データの再生区間を前記再生区間選択部に変更させる、前記（６）から（８）のいずれかに記載の画像処理装置。
（１０）
前記エフェクト設定部が設定したエフェクトにより当該エフェクト区間に表示させる画像を、前記画像割り当て部が当該エフェクト区間に割り当てた画像の中から選択する画像選択部をさらに備える、前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）
前記画像データを解析して得られる画像メタデータを保持する画像メタデータ保持部をさらに備える、前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）
前記画像データの表示の際に再生される楽曲データを解析して得られる楽曲メタデータを保持する楽曲メタデータ保持部をさらに備える、前記（１）から（１１）のいずれかに記載の画像処理装置。
（１３）
画像データを連続して表示させる所定の区間の中から複数のエフェクト区間を設定するエフェクト区間設定ステップと、
前記エフェクト区間設定ステップで設定された前記複数のエフェクト区間のそれぞれに対して画像データを割り当てる画像割り当てステップと、
前記エフェクト区間設定ステップで設定された前記複数のエフェクト区間のそれぞれに対してエフェクトを設定するエフェクト設定ステップと、
前記エフェクト設定ステップで前記複数のエフェクト区間のそれぞれに対して設定されたエフェクトが、各エフェクトを実現できる条件を満たしているかどうかを、前記画像割り当てステップで割り当てられた画像データに対応する画像メタデータを用いて判断し、条件を満たしていないエフェクト区間があれば、当該エフェクト区間のエフェクトを再設定させるエフェクト再設定判別ステップと、
前記エフェクト再設定判別ステップにより前記エフェクト設定ステップでエフェクトが再設定されると、エフェクトが再設定されたエフェクト区間と他のエフェクト区間との間の整合性を判断する整合性判断ステップと、
を備える、画像処理方法。
（１４）
コンピュータに、
画像データを連続して表示させる所定の区間の中から複数のエフェクト区間を設定するエフェクト区間設定ステップと、
前記エフェクト区間設定ステップで設定された前記複数のエフェクト区間のそれぞれに対してエフェクトを設定するエフェクト設定ステップと、
前記エフェクト区間設定ステップで設定された前記複数のエフェクト区間のそれぞれに対して画像データを割り当てる画像割り当てステップと、
前記エフェクト設定ステップで前記複数のエフェクト区間のそれぞれに対して設定されたエフェクトが、各エフェクトを実現できる条件を満たしているかどうかを、前記画像割り当てステップで割り当てられた画像データに対応する画像メタデータを用いて判断し、条件を満たしていないエフェクト区間があれば、当該エフェクト区間のエフェクトを再設定させるエフェクト再設定判別ステップと、
前記エフェクト再設定判別ステップにより前記エフェクト設定ステップでエフェクトが再設定されると、エフェクトが再設定されたエフェクト区間と他のエフェクト区間との間の整合性を判断する整合性判断ステップと、
を実行させる、コンピュータプログラム。

１００ 画像処理装置
１０２ 楽曲解析部
１０４ 楽曲メタデータ保持部
１０６ 再生区間選択部
１０８ エフェクト区間設定部
１１０ 画像候補割り当て部
１１２ 画像解析部
１１４ 画像メタデータ保持部
１１６ エフェクト設定部
１１８ 画像選択部
１２０ エフェクト再設定判別部
１２２ スライドショー品質判定部
１２４ 表示範囲切り出し部
１２６ タイミング調整部
１２８ スライドショー出力部

Claims (14)

1. 画像データを連続して表示させる所定の区間の中から複数のエフェクト区間を設定するエフェクト区間設定部と、
   前記エフェクト区間設定部が設定した前記複数のエフェクト区間のそれぞれに対して前記画像データを割り当てる画像割り当て部と、
   前記エフェクト区間設定部が設定した前記複数のエフェクト区間のそれぞれに対してエフェクトを設定するエフェクト設定部と、
   前記エフェクト設定部が前記複数のエフェクト区間のそれぞれに対して設定したエフェクトが、各エフェクトを実現できる条件を満たしているかどうかを、前記画像割り当て部が割り当てた画像データに対応する画像メタデータを用いて判断し、条件を満たしていないエフェクト区間があれば、前記エフェクト設定部に当該エフェクト区間のエフェクトを再設定させるエフェクト再設定判別部と、
   前記エフェクト再設定判別部により前記エフェクト設定部がエフェクトを再設定すると、エフェクトが再設定されたエフェクト区間と他のエフェクト区間との間の整合性を判断する整合性判断部と、
   を備える、画像処理装置。
2. 前記エフェクト区間設定部は、前記画像データの表示の際に再生される楽曲データを解析して得られる楽曲メタデータを用いてエフェクト区間を設定する、請求項１に記載の画像処理装置。
3. 前記エフェクト区間設定部は、前記楽曲メタデータから特徴的な区間を抽出し、当該区間をエフェクト区間として設定する、請求項２に記載の画像処理装置。
4. 前記エフェクト設定部は、前記画像データの表示の際に再生される楽曲データを解析して得られる楽曲メタデータを用いてエフェクトを設定する、請求項１に記載の情報処理装置。
5. 前記エフェクト設定部は、前記エフェクト区間設定部が設定したエフェクト区間で再生される前記楽曲データの特徴に合わせたエフェクトを選択する、請求項４に記載の画像処理装置。
6. 前記整合性判断部は、エフェクトが再設定されたエフェクト区間と他の前記エフェクト区間との間の整合性が取れていない場合は、前記エフェクト設定部にエフェクトを再設定させる、請求項１に記載の画像処理装置。
7. 前記整合性判断部は、前記エフェクト設定部にエフェクトを再設定させても全てのエフェクト区間において整合性が取れない場合は、前記画像割り当て部に画像データを割り当て直させる、請求項６に記載の画像処理装置。
8. 前記整合性判断部は、前記エフェクト設定部にエフェクトを再設定させても全てのエフェクト区間において整合性が取れない場合は、前記エフェクト区間設定部にエフェクト区間を再設定させる、請求項６に記載の画像処理装置。
9. 前記画像データの表示の際に再生される楽曲データの再生区間を選択する再生区間選択部をさらに備え、
   前記整合性判断部は、前記エフェクト設定部にエフェクトを再設定させても全てのエフェクト区間において整合性が取れない場合は、前記画像データの表示の際に再生される楽曲データの再生区間を前記再生区間選択部に変更させる、請求項６に記載の画像処理装置。
10. 前記エフェクト設定部が設定したエフェクトにより当該エフェクト区間に表示させる画像を、前記画像割り当て部が当該エフェクト区間に割り当てた画像の中から選択する画像選択部をさらに備える、請求項１に記載の画像処理装置。
11. 前記画像データを解析して得られる画像メタデータを保持する画像メタデータ保持部をさらに備える、請求項１に記載の画像処理装置。
12. 前記画像データの表示の際に再生される楽曲データを解析して得られる楽曲メタデータを保持する楽曲メタデータ保持部をさらに備える、請求項１に記載の画像処理装置。
13. 画像データを連続して表示させる所定の区間の中から複数のエフェクト区間を設定するエフェクト区間設定ステップと、
    前記エフェクト区間設定ステップで設定された前記複数のエフェクト区間のそれぞれに対して画像データを割り当てる画像割り当てステップと、
    前記エフェクト区間設定ステップで設定された前記複数のエフェクト区間のそれぞれに対してエフェクトを設定するエフェクト設定ステップと、
    前記エフェクト設定ステップで前記複数のエフェクト区間のそれぞれに対して設定されたエフェクトが、各エフェクトを実現できる条件を満たしているかどうかを、前記画像割り当てステップで割り当てられた画像データに対応する画像メタデータを用いて判断し、条件を満たしていないエフェクト区間があれば、当該エフェクト区間のエフェクトを再設定させるエフェクト再設定判別ステップと、
    前記エフェクト再設定判別ステップにより前記エフェクト設定ステップでエフェクトが再設定されると、エフェクトが再設定されたエフェクト区間と他のエフェクト区間との間の整合性を判断する整合性判断ステップと、
    を備える、画像処理方法。
14. コンピュータに、
    画像データを連続して表示させる所定の区間の中から複数のエフェクト区間を設定するエフェクト区間設定ステップと、
    前記エフェクト区間設定ステップで設定された前記複数のエフェクト区間のそれぞれに対してエフェクトを設定するエフェクト設定ステップと、
    前記エフェクト区間設定ステップで設定された前記複数のエフェクト区間のそれぞれに対して画像データを割り当てる画像割り当てステップと、
    前記エフェクト設定ステップで前記複数のエフェクト区間のそれぞれに対して設定されたエフェクトが、各エフェクトを実現できる条件を満たしているかどうかを、前記画像割り当てステップで割り当てられた画像データに対応する画像メタデータを用いて判断し、条件を満たしていないエフェクト区間があれば、当該エフェクト区間のエフェクトを再設定させるエフェクト再設定判別ステップと、
    前記エフェクト再設定判別ステップにより前記エフェクト設定ステップでエフェクトが再設定されると、エフェクトが再設定されたエフェクト区間と他のエフェクト区間との間の整合性を判断する整合性判断ステップと、
    を実行させる、コンピュータプログラム。
    

Images