JP2005033554A - 画像再生システム及び画像再生プログラム、並びに画像再生方法 - Google Patents
画像再生システム及び画像再生プログラム、並びに画像再生方法 Download PDFInfo
- Publication number
- JP2005033554A JP2005033554A JP2003196679A JP2003196679A JP2005033554A JP 2005033554 A JP2005033554 A JP 2005033554A JP 2003196679 A JP2003196679 A JP 2003196679A JP 2003196679 A JP2003196679 A JP 2003196679A JP 2005033554 A JP2005033554 A JP 2005033554A
- Authority
- JP
- Japan
- Prior art keywords
- music
- image
- feature
- reproduction
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】利用者に負担をかけることなく簡易に扱え、演出効果を向上するのに好適な画像の再生を自動生成する画像再生システムを提供する。
【解決手段】音楽データに基づいて音楽のなかから音楽特徴点を検出し、画像データに基づいて各画像ごとにその特徴ベクトルを生成し、生成した特徴ベクトルに基づいて各画像の再生順序を示す再生スケジュールを作成する。そして、検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、再生スケジュールに従って複数の画像を音楽の再生に合わせて再生する。
【選択図】 図１
【解決手段】音楽データに基づいて音楽のなかから音楽特徴点を検出し、画像データに基づいて各画像ごとにその特徴ベクトルを生成し、生成した特徴ベクトルに基づいて各画像の再生順序を示す再生スケジュールを作成する。そして、検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、再生スケジュールに従って複数の画像を音楽の再生に合わせて再生する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画像を音楽の再生に合わせて再生するシステムおよびプログラム、並びに方法に係り、特に、利用者に負担をかけることなく簡易に扱え、演出効果を向上するのに好適な画像の再生を自動生成する画像再生システムおよび画像再生プログラム、並びに画像再生方法に関する。
【０００２】
【従来の技術】
デジタルカメラ・デジタルビデオが広く普及し気軽に撮影する機会が増えたことに併せて記憶メディアの大容量化が進んだことで、ユーザは、大量の画像を保持するようになった。大量の画像を閲覧する場合には、スライドショーなどの順次再生するといった方法を利用することができる。
【０００３】
従来、画像を順次再生する技術としては、例えば、特許文献１に開示されている画像データ逐次表示装置、および特許文献２に開示されているデジタルカメラがあった。
特許文献１記載の発明は、画像特徴量抽出部、類似度計算部、スライド条件設定部およびソート画像逐次表示部を有して構成されている。画像特徴量抽出部は、各画像データの画像特徴量を抽出する。類似度計算部は、キー画像データの画像特徴量とキー画像データ以外の各画像データ（検索対象画像データ）の画像特徴量との比較結果に基づき、各画像データのキー画像データに対する類似性の尺度となる類似度を計算する。ソート画像逐次表示部は、スライド条件設定部より得られるスライド条件設定値の類似度変化関数情報に基づき、キー画像データを起点として、類似度別画像ソート部より得られる類似度別ソート結果または類似度変化関数に沿って画像データを逐次表示してスライドショーを実行する。
【０００４】
特許文献２記載の発明は、画像を再生する機能と、音楽を再生する機能とを有するデジタルカメラであって、複数の単位画像を順次再生するときの単位画像枚数、および各単位画像の再生時間に基づいて定められる、複数の単位画像を再生するのに要する画像再生時間と、画像とともに再生する音楽の再生に要する音楽再生時間とが一致した音楽付画像を再生する。
【０００５】
【特許文献１】
特開２０００−６７０５７号公報
【特許文献２】
特開２００１−３３９６８２号公報
【０００６】
【発明が解決しようとする課題】
このように、特許文献１記載の発明にあっては、画像の類似度を考慮してスライドショーを実行する構成となっている。しかしながら、音楽の再生に合わせて画像を再生することで、演出効果の高い再生を実現しようとした場合、画像の再生に合わせて音楽を単にＢＧＭとして流すだけでは、十分な演出効果が得られない。
【０００７】
この点を解決したのが特許文献２記載の発明であり、画像再生時間と音楽再生時間とが一致するように画像を再生する構成となっているため、画像と音楽の再生時間が違和感なく一致し、ある程度の演出効果が期待できる。しかしながら、画像再生時間と音楽再生時間とが一致させるというだけでは、再生中において画像の切換タイミングと音楽の進行とが不一致となる場合があり、演出効果が不十分であるという問題があった。
【０００８】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、利用者に負担をかけることなく簡易に扱え、演出効果を向上するのに好適な画像の再生を自動生成する画像再生システムおよび画像再生プログラム、並びに画像再生方法を提供することを目的としている。
【０００９】
【課題を解決するための手段】
〔発明１〕
上記目的を達成するために、発明１の画像再生システムは、
複数の画像を音楽の再生に合わせて再生するシステムであって、
前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出し、前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成し、生成した特徴ベクトルに基づいて前記各画像の再生順序を決定し、前記検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生するようになっていることを特徴とする。
【００１０】
このような構成であれば、音楽のなかから音楽特徴点が検出される。一方、各画像ごとにその画像の特徴ベクトルが生成され、生成された特徴ベクトルに基づいて各画像の再生順序が決定される。そして、検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定された再生順序に従って、複数の画像が音楽の再生に合わせて再生される。
【００１１】
これにより、音楽のなかの音楽特徴点の出現タイミングと画像の切換タイミングとを一致させて画像を再生することができるとともに、画像の特徴を考慮して画像を再生することができるので、従来に比して、比較的高い演出効果が期待できるという効果が得られる。
ここで、音楽特徴点とは、音楽的な特徴を示す特徴点をいい、これには、例えば、各小節の区切、複数小節単位での区切、音楽のなかでドラム等の特徴音が出現する時点、または音楽のなかで無音となる時点が含まれる。以下、発明２の画像再生システム、発明６の画像再生プログラム、および発明７の画像再生方法において同じである。
【００１２】
また、音楽特徴点の検出は、どのように行ってもよく、例えば、音楽データに基づいて音楽特徴点を検出するようになっていてもよいし、楽譜をスキャナ等で取り込んで得た画像データに基づいて音楽特徴点を検出するようになっていてもよい。
また、特徴ベクトルの生成は、どのように行ってもよく、例えば、画像データに基づいて特徴ベクトルを生成するようになっていてもよいし、画像の特徴を記述した文書データに基づいて特徴ベクトルを生成するようになっていてもよい。
【００１３】
また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。以下、発明２の画像再生システムにおいて同じである。
〔発明２〕
さらに、発明２の画像再生システムは、
複数の画像を音楽の再生に合わせて再生するシステムであって、
前記音楽の音楽データを記憶するための音楽データ記憶手段と、前記各画像ごとに当該画像の画像データを記憶するための画像データ記憶手段と、前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出手段と、前記画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定手段と、前記音楽特徴点検出手段で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定手段で決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生手段とを備えることを特徴とする。
【００１４】
このような構成であれば、音楽特徴点検出手段により、音楽データ記憶手段の音楽データに基づいて音楽のなかから音楽特徴点が検出される。一方、特徴ベクトル生成手段により、画像データ記憶手段の画像データに基づいて各画像ごとにその画像の特徴ベクトルが生成され、再生順序決定手段により、生成された特徴ベクトルに基づいて各画像の再生順序が決定される。そして、画像再生手段により、検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定された再生順序に従って、複数の画像が音楽の再生に合わせて再生される。
【００１５】
これにより、音楽のなかの音楽特徴点の出現タイミングと画像の切換タイミングとを一致させて画像を再生することができるとともに、画像の特徴を考慮して画像を再生することができるので、従来に比して、比較的高い演出効果が期待できるという効果が得られる。
ここで、音楽データ記憶手段は、音楽データをあらゆる手段でかつあらゆる時期に記憶するものであり、音楽データをあらかじめ記憶してあるものであってもよいし、音楽データをあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって音楽データを記憶するようになっていてもよい。このことは、画像データ記憶手段に画像データを記憶する場合についても同じである。
〔発明３〕
さらに、発明３の画像再生システムは、発明２の画像再生システムにおいて、前記再生順序決定手段は、前記特徴ベクトル同士のベクトル間距離に基づいて前記各画像を複数のグループに分類し、異なるグループの画像が順次再生されるように前記再生順序を決定するようになっていることを特徴とする。
【００１６】
このような構成であれば、再生順序決定手段により、特徴ベクトル同士のベクトル間距離に基づいて各画像が複数のグループに分類され、異なるグループの画像が順次再生されるように再生順序が決定される。
これにより、異なるグループの画像が順次再生されるので、利用者に対して視覚的に大きな変化を与えることができる。したがって、さらに高い演出効果が期待できるという効果が得られる。
〔発明４〕
さらに、発明４の画像再生システムは、発明３の画像再生システムにおいて、前記再生順序決定手段は、前記各グループ間のベクトル間距離を算出し、前記音楽特徴点の出現タイミング前後で特徴差に基づいて、画像のベクトル間距離を考慮して画像が順次再生されるように前記再生順序を決定するようになっていることを特徴とする。
【００１７】
このような構成であれば、再生順序決定手段により、各グループ間のベクトル間距離が算出され、音楽特徴点の出現タイミング前後で特徴差に基づいて、画像のベクトル間距離を考慮して画像が順次再生されるように再生順序が決定される。
〔発明５〕
さらに、発明５の画像再生システムは、発明２ないし４のいずれかの画像再生システムにおいて、
前記音楽特徴点検出手段は、前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから特徴音を検出し、検出した特徴音の出現パターンを解析し、その解析結果に基づいて複数小節単位での区切を前記音楽特徴点として検出するようになっていることを特徴とする。
【００１８】
このような構成であれば、音楽特徴点検出手段により、音楽データ記憶手段の音楽データに基づいて音楽のなかから特徴音が検出され、検出された特徴音の出現パターンが解析され、その解析結果に基づいて複数小節単位での区切が音楽特徴点として検出される。
単に特徴音の出現時点を音楽特徴点として検出した場合、例えば、各小節ごとの区切で画像が切り替わってしまう可能性があり、その場合は、画像をゆっくりと閲覧することができない。これに対し、本発明では、複数小節単位での区切が音楽特徴点として検出されるので、画像をゆっくりと閲覧することができるという効果が得られる。
〔発明６〕
一方、上記目的を達成するために、発明６の画像再生プログラムは、
複数の画像を音楽の再生に合わせて再生するプログラムであって、
前記音楽の音楽データを記憶するための音楽データ記憶手段と、前記各画像ごとに当該画像の画像データを記憶するための画像データ記憶手段とを利用可能なコンピュータに対して、
前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出手段、前記画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定手段、および前記音楽特徴点検出手段で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定手段で決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生手段として実現される処理を実行させるためのプログラムであることを特徴とする。
【００１９】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１の画像再生システムと同等の作用および効果が得られる。
〔発明７〕
一方、上記目的を達成するために、発明７の画像再生方法は、
複数の画像を音楽の再生に合わせて再生する方法であって、
音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出ステップと、画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成ステップと、前記特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定ステップと、前記音楽特徴点検出ステップで検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定ステップで決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生ステップとを含むことを特徴とする。
【００２０】
これにより、発明１の画像再生システムと同等の効果が得られる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。図１ないし図８は、本発明に係る画像再生システムおよび画像再生プログラム、並びに画像再生方法の実施の形態を示す図である。
本実施の形態は、本発明に係る画像再生システムおよび画像再生プログラム、並びに画像再生方法を、図１に示すように、音楽の再生に合わせて画像のスライドショーを実行する場合について適用したものである。
【００２２】
次に、本発明に係る画像再生装置１００の構成を図１を参照しながら説明する。
図１は、本発明に係る画像再生装置１００の構成を示す機能ブロック図である。
画像再生装置１００は、図１に示すように、音楽データを登録した音楽データ登録データベース（以下、データベースのことを単にＤＢと略記する。）１０と、複数の画像のそれぞれについてその画像データを登録した画像データ登録ＤＢ１２と、音楽データ登録ＤＢ１０のなかから再生対象となる音楽データを指定する音楽指定部１４と、画像データ登録ＤＢ１２のなかから再生対象となる画像データ群を指定する画像指定部１６とを有して構成されている。さらに、音楽指定部１４で指定された音楽データを解析する音楽解析部１８と、画像指定部１６で指定された画像データを解析する画像解析部２０と、音楽解析部１８および画像解析部２０の解析結果に基づいて再生スケジュールを作成する再生スケジュール作成部２２と、再生スケジュール作成部２２で作成した再生スケジュールに従って複数の画像を音楽の再生に合わせて再生する画像再生部２４とを有して構成されている。
【００２３】
音楽解析部１８は、音楽指定部１４で指定された音楽データに基づいて、音楽のなかから音楽的な特徴を示す音楽特徴点を検出する。
画像解析部２０は、画像指定部１６で指定された画像データに基づいて、各画像ごとにその画像の特徴を示す特徴ベクトルを生成する。
再生スケジュール作成部２２は、画像解析部２０で生成した特徴ベクトルに基づいて、各画像の再生順序を示す再生スケジュールを作成する。
【００２４】
画像再生部２４は、音楽解析部１８で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、再生スケジュール作成部２２で作成した再生スケジュールに従って、複数の画像を音楽の再生に合わせて再生する。
具体的に、画像再生装置１００は、図２に示すように、コンピュータ２００およびこれに実行させるプログラムとして実現することができる。コンピュータ２００の構成を図２を参照しながら説明する。
【００２５】
図２は、コンピュータ２００の構成を示すブロック図である。
コンピュータ２００は、図２に示すように、制御プログラムに基づいて演算およびシステム全体を制御するＣＰＵ５０と、所定領域にあらかじめＣＰＵ５０の制御プログラム等を格納しているＲＯＭ５２と、ＲＯＭ５２等から読み出したデータやＣＰＵ５０の演算過程で必要な演算結果を格納するためのＲＡＭ５４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ５８とで構成されており、これらは、データを転送するための信号線であるバス５９で相互にかつデータ授受可能に接続されている。
【００２６】
Ｉ／Ｆ５８には、外部装置として、音楽データ登録ＤＢ１０と、画像データ登録ＤＢ１２と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置６０と、画像信号に基づいて画面を表示する表示装置６２と、音声信号に基づいて音声や音楽を出力する音声出力装置６４とが接続されている。
【００２７】
ＣＰＵ５０は、マイクロプロセッシングユニット（ＭＰＵ）等からなり、ＲＯＭ５２の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図３のフローチャートに示すスライドショー実行処理を実行するようになっている。
図３は、スライドショー実行処理を示すフローチャートである。
【００２８】
スライドショー実行処理は、入力装置６０から実行要求の入力を受けて実行される処理であって、ＣＰＵ５０において実行されると、図３に示すように、まず、ステップＳ１００に移行するようになっている。
ステップＳ１００では、音楽データ登録ＤＢ１０のなかから再生対象となる音楽データを指定し、ステップＳ１０２に移行して、画像データ登録ＤＢ１２のなかから再生対象となる画像データ群を指定する。これら指定は、入力装置６０からの入力により行う。
【００２９】
次いで、ステップＳ１０４に移行して、ステップＳ１００で指定された音楽データ（以下、指定音楽データという。）を解析する音楽解析処理を実行し、ステップＳ１０６に移行して、ステップＳ１０２で指定された画像データ（以下、指定画像データという。）を解析する画像解析処理を実行し、ステップＳ１０８に移行する。
【００３０】
ステップＳ１０８では、ステップＳ１０４，Ｓ１０６の解析結果に基づいて再生スケジュールを作成する再生スケジュール作成処理を実行し、ステップＳ１１０に移行して、作成した再生スケジュールに従って複数の画像を音楽の再生に合わせて再生し、一連の処理を終了して元の処理に復帰させる。
次に、ステップＳ１０４の音楽解析処理を図４を参照しながら詳細に説明する。
【００３１】
図４は、音楽解析処理を示すフローチャートである。
音楽解析処理は、ステップＳ１０４において実行されると、図４に示すように、まず、ステップＳ２００に移行するようになっている。
ステップＳ２００では、指定音楽データを音楽データ登録ＤＢ１０から読み出し、ステップＳ２０２に移行して、読み出した音楽データに基づいて音楽のなかからドラム等の特徴音を検出し、ステップＳ２０４に移行して、音楽の終端まで解析が完了したか否かを判定し、解析が完了したと判定したとき（Ｙｅｓ）は、ステップＳ２０６に移行する。
【００３２】
ステップＳ２０６では、検出した特徴音の出現パターンを解析し、ステップＳ２０８に移行して、ステップＳ２０６の解析結果に基づいて複数小節単位（例えば、４小節単位）での区切を音楽特徴点として検出し、ステップＳ２１０に移行して、検出した音楽特徴点を示す音楽特徴情報を指定音楽データと対応付けて音楽データ登録ＤＢ１０に登録し、一連の処理を終了して元の処理に復帰させる。
【００３３】
一方、ステップＳ２０４で、音楽の終端まで解析が完了しないと判定したとき（Ｎｏ）は、ステップＳ２０２に移行する。
次に、ステップＳ１０６の画像解析処理を図５を参照しながら詳細に説明する。
図５は、画像解析処理を示すフローチャートである。
【００３４】
画像解析処理は、ステップＳ１０６において実行されると、図５に示すように、まず、ステップＳ３００に移行するようになっている。
ステップＳ３００では、指定画像データ群のうち先頭のものを画像データ登録ＤＢ１２から読み出し、ステップＳ３０２に移行して、読み出した画像データに基づいて画像サイズを所定サイズ（例えば、６４０×４８０）に正規化し、ステップＳ３０４に移行する。
【００３５】
ステップＳ３０４では、正規化した画像から画像特徴量を抽出する。画像特徴量としては、「構図」を考慮した色彩に関する特徴量を用いる。色彩特徴量を抽出する手法としては、例えば、「特徴量を統合し人の感性に近づけた画像検索システム」信学技報ＰＲＭＵ９７−２６１，ｐｐ．７５−８０．１９９８で扱われている手法を利用することができる。これは、基本的な写真・絵画の構図を参考にした構図テンプレートを用いることで最適な構図情報を抽出し、その構図の小領域ごとの色彩情報を算出することで画像の特徴量化を実現している。
【００３６】
次いで、ステップＳ３０６に移行して、抽出した画像特徴量に基づいて特徴ベクトルを生成する。例えば、上記の特徴量抽出手法を用いて表現するならば、特徴ベクトルＩは、下式（１）に示すように、ｊ領域×３構成色からなる３ｊ個の要素のほか、各構図テンプレートの分散値ｖ０〜ｖｌのｌ個の要素を加えた合計で（３ｊ＋ｌ）個の要素から構成されている。
Ｉ＝（ｒ０，ｇ０，ｂ０，ｒ１，ｇ１，ｂ１，…，ｒｊ−１，ｇｊ−１，ｂｊ−１，ｖ０，ｖ１，…，ｖｌ） …（１）
上式（１）において、ｒ０〜ｒｊ−１は各分割領域の平均色のうちＲ成分を示し、ｇ０〜ｇｊ−１は各分割領域の平均色のうちＧ成分を示し、ｂ０〜ｂｊ−１は各分割領域の平均色のうちＢ成分を示し、ｖ０〜ｖｌは各構図テンプレートの分散値を示している。ただし、ｖ０〜ｖｌは、最適テンプレートの分散値のみを使用し、他の値については「０」とする。
【００３７】
次いで、ステップＳ３０８に移行して、生成した特徴ベクトルを示す画像特徴情報を指定画像データと対応付けて画像データ登録ＤＢ１２に登録し、ステップＳ３１０に移行して、すべての指定画像データについてステップＳ３０２〜Ｓ３０８の処理が終了したか否かを判定し、すべての指定画像データについて処理が終了したと判定したとき（Ｙｅｓ）は、一連の処理を終了して元の処理に復帰させる。
【００３８】
一方、ステップＳ３１０で、すべての指定画像データについてステップＳ３０２〜Ｓ３０８の処理が終了していないと判定したとき（Ｎｏ）は、ステップＳ３１２に移行して、指定画像データ群のうち次のものを画像データ登録ＤＢ１２から読み出し、ステップＳ３０２に移行する。
次に、ステップＳ１０８の再生スケジュール作成処理を図６を参照しながら詳細に説明する。
【００３９】
図６は、再生スケジュール作成処理を示すフローチャートである。
再生スケジュール作成処理は、ステップＳ１０８において実行されると、図６に示すように、まず、ステップＳ４００に移行するようになっている。
ステップＳ４００では、指定画像データ群に対応するすべての画像特徴情報を画像データ登録ＤＢ１２から読み出し、ステップＳ４０２に移行する。
【００４０】
ステップＳ４０２では、読み出した画像特徴情報に基づいて、特徴ベクトルＩ同士のベクトル間距離に基づいて各画像を複数のクラスタにクラスタリングする。クラスタリングは、例えば、従来のＫ−平均法に基づいて行うことができる。Ｋ−平均法では、第１の処理として、Ｋ個の特徴ベクトルＩを適当に選択し、選択した特徴ベクトルＩｋ（ｋ＝１〜Ｋ）をそれぞれクラスタｋの中心位置とする。クラスタｋの中心位置をｍｋとする。次いで、第２の処理として、下式（２）により、特徴ベクトルＩｉ（ｉ＝１〜Ｎ、Ｎは画像の総数）とクラスタｋの中心位置ｍｋとのベクトル間距離を算出し、算出したベクトル間距離が最小となるクラスタｋに特徴ベクトルＩｉを属させる。下式（２）は、特徴ベクトルＩＡと特徴ベクトルＩＢとのベクトル間距離を算出している。
Ｓ＝｜ＩＡ−ＩＢ｜ …（２）
次いで、第３の処理として、クラスタｋの中心位置ｍｋをクラスタｋに属している特徴ベクトルＩｉの平均値で置き換える。次いで、第４の処理として、ｉ＜Ｎの場合、ｉに「１」を加算して第２の処理および第３の処理を行う。そして、第５の処理として、第３の処理で変更前後のｍｋに変化があるときは、ｉ＝１として第２の処理および第３の処理を行う。第３の処理で変更前後のｍｋに変化がないとき、または一定回数以上繰り返し処理を行ったときは、処理を終了し、クラスタｋの中心位置ｍｋおよびこれに属する特徴ベクトルＩｉが決定する。
【００４１】
図７は、ｎ個の特徴ベクトルＩを４つのクラスタＡ〜Ｄにクラスタリングした場合を示す図である。
図７の例では、クラスタＡには８個の画像が、クラスタＢには６個の画像が、クラスタＣには４個の画像が、クラスタＤには１１個の画像がそれぞれクラスタリングされている。
【００４２】
次いで、ステップＳ４０４に移行して、指定音楽データに対応する音楽特徴情報を音楽データ登録ＤＢ１０から読み出し、ステップＳ４０６に移行して、読み出した音楽特徴情報およびステップＳ４０２のクラスタリング結果に基づいて再生スケジュールを作成する。
図８は、再生スケジュールを作成する場合を説明するための図である。
【００４３】
再生スケジュールは、図８に示すように、複数小節単位での区切として検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように各画像を再生時間軸上に配置することにより作成する。このとき、音楽特徴点の出現タイミング前後で特徴差に基づいて（例えば音量差）、画像のベクトル間距離を考慮して画像が順次再生されるように各画像を再生時間軸に配置する。
【００４４】
例えば、音楽特徴点の出現タイミングの前後で音量の差が大きい場合などは、再生時間軸上で隣接する画像としてはクラスタ間距離が大きいクラスタの画像を選択する。図７のように、クラスタＡからみてクラスタＤのクラスタ間距離が最も大きいので、クラスタＡの画像の次にクラスタＤの画像が再生されるように再生スケジュールを作成する。これにより、利用者に対して視覚的および聴覚的に大きな変化を与えることができるので、高い演出効果が期待できる。
【００４５】
また、画像の切換効果についても決定する。ベクトル間距離が小さいクラスタの画像や同一のクラスタの画像を連続して再生する場合は、切換前の画像を徐々に暗く（フェードアウト）していきながら切換後の画像を徐々に明るく（フェードイン）して画像の切換を行う。これに対して、ベクトル間距離が大きいクラスタの画像を連続して再生する場合は、フラッシュ（発光）を入れ瞬間的に画像を切り換える。このように演出効果に違いを出すことにより、画像再生にメリハリを与えることができるので、より高い演出効果が期待できる。
【００４６】
次いで、再生スケジュールを作成すると、一連の処理を終了して元の処理に復帰させる。
次に、本実施の形態の動作を説明する。
画像のスライドショーを実行する場合、利用者は、実行要求を入力し、ステップＳ１００，Ｓ１０２を経て、音楽データ登録ＤＢ１０のなかから再生対象となる音楽データを指定し、画像データ登録ＤＢ１２のなかから再生対象となる画像データ群を指定する。
【００４７】
再生対象となる音楽データおよび画像データ群が指定されると、ステップＳ２００，Ｓ２０２を経て、指定音楽データが音楽データ登録ＤＢ１０から読み出され、読み出された音楽データに基づいて、音楽のなかからドラム等の特徴音が検出される。特徴音の検出は、音楽の終端まで繰り返し行われる。次いで、ステップＳ２０６，Ｓ２０８を経て、検出された特徴音の出現パターンが解析され、その解析結果に基づいて複数小節単位での区切が音楽特徴点として検出される。そして、ステップＳ２１０を経て、検出された音楽特徴点を示す音楽特徴情報が指定音楽データと対応付けられて音楽データ登録ＤＢ１０に登録される。
【００４８】
一方、ステップＳ３００〜Ｓ３０４を経て、指定画像データ群のうち先頭のものが画像データ登録ＤＢ１２から読み出され、読み出された画像データに基づいて画像サイズが正規化され、構図テンプレートを用いて、正規化された画像から画像特徴量が抽出される。次いで、ステップＳ３０６，Ｓ３０８を経て、抽出された画像特徴量に基づいて特徴ベクトルが生成され、生成された特徴ベクトルを示す画像特徴情報が指定画像データと対応付けられて画像データ登録ＤＢ１２に登録される。このような処理は、すべての指定画像データについて行われる。
【００４９】
音楽特徴情報および画像特徴情報が登録されると、ステップＳ４００，Ｓ４０２を経て、指定画像データ群に対応するすべての画像特徴情報が画像データ登録ＤＢ１２から読み出され、読み出された画像特徴情報に基づいて、特徴ベクトルＩ同士のベクトル間距離に基づいて各画像が複数のクラスタにクラスタリングされる。そして、ステップＳ４０４，Ｓ４０６を経て、指定音楽データに対応する音楽特徴情報が音楽データ登録ＤＢ１０から読み出され、読み出された音楽特徴情報およびクラスタリング結果に基づいて再生スケジュールが作成される。再生スケジュールは、複数小節単位での区切として検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように各画像が再生時間軸上に配置されることにより作成される。
【００５０】
再生スケジュールが作成されると、ステップＳ１１０を経て、作成された再生スケジュールに従って複数の画像が音楽の再生に合わせて再生される。その結果、複数小節単位での区切として検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように各画像が順次再生される。ここで、画像の再生は表示装置６２で行われ、音楽の再生は音声出力装置６４で行われる。
【００５１】
このようにして、本実施の形態では、音楽データに基づいて音楽のなかから音楽特徴点を検出し、画像データに基づいて各画像ごとにその特徴ベクトルを生成し、生成した特徴ベクトルに基づいて各画像の再生順序を示す再生スケジュールを作成し、検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように再生スケジュールに従って複数の画像を音楽の再生に合わせて再生するようになっている。
【００５２】
これにより、音楽のなかの音楽特徴点の出現タイミングと画像の切換タイミングとを一致させて画像を再生することができるとともに、画像の特徴を考慮して画像を再生することができるので、従来に比して、比較的高い演出効果が期待できる。
さらに、本実施の形態では、特徴ベクトル同士のベクトル間距離に基づいて各画像を複数のグループにクラスタリングし、異なるグループの画像が順次再生されるように再生スケジュールを作成するようになっている。
【００５３】
これにより、異なるグループの画像が順次再生されるので、利用者に対して視覚的に大きな変化を与えることができる。したがって、さらに高い演出効果が期待できる。
さらに、本実施の形態では、音楽データに基づいて音楽のなかから特徴音を検出し、検出した特徴音の出現パターンを解析し、その解析結果に基づいて複数小節単位での区切を音楽特徴点として検出するようになっている。
【００５４】
単に特徴音の出現時点を音楽特徴点として検出した場合、例えば、各小節ごとの区切で画像が切り替わってしまう可能性があり、その場合は、画像をゆっくりと閲覧することができない。これに対し、本実施の形態では、複数小節単位での区切が音楽特徴点として検出されるので、画像をゆっくりと閲覧することができる。
【００５５】
上記実施の形態において、音楽データ登録ＤＢ１０は、発明２、５ないし７の音楽データ記憶手段に対応し、画像データ登録ＤＢ１２は、発明２、６または７の画像データ記憶手段に対応し、音楽解析部１８およびステップＳ１０４は、発明２、５若しくは６の音楽特徴点検出手段、または発明７の音楽特徴点検出ステップに対応している。また、画像解析部２０およびステップＳ１０６は、発明２若しくは６の特徴ベクトル生成手段、または発明７の特徴ベクトル生成ステップに対応し、再生スケジュール作成部２２およびステップＳ１０８は、発明２ないし４若しくは６の再生順序決定手段、または発明７の再生順序決定ステップに対応している。
【００５６】
また、上記実施の形態において、画像再生部２４およびステップＳ１１０は、発明２若しくは６の画像再生手段、または発明７の画像再生ステップに対応している。
なお、上記実施の形態においては、複数の画像を音楽の再生に合わせて再生するように構成したが、これに限らず、複数の音楽を画像の再生に合わせて再生するように構成することもできる。この場合、音楽データと画像データの取り扱いを逆にして上記実施の形態と同様に行うことができる。
【００５７】
音楽のクラスタリング手法としては、例えば、「曲の局所パターン特徴量を用いた類似曲検索・感性語による検索」信学技報ＳＰ９６−１２４，ｐｐ．１７−２４，１９９７で扱われている手法を利用することができる。これは、楽曲の旋律に含まれる音の高さ（以下、音高という。）および音の長さ（以下、音長という。）の局所パターンの相対出現頻度分布を音楽の特徴量ベクトルとして用いる。抽出した音楽特徴量に基づいて複数の音楽をステップＳ４０２の処理と同じ要領で複数のクラスタにクラスタリングすることができる。
【００５８】
また、画像の再生については、単一の画像を固定的に表示しながら複数の音楽を順次再生するように構成してもよいし、上記実施の形態と同様に、複数の画像を順次表示しながら複数の音楽を順次再生するように構成してもよいし、動画像を表示しながら複数の音楽を順次再生するように構成してもよい。複数の画像または動画像を表示する場合は、単一の画像を固定的に表示する場合よりも高い演出効果が期待できる。
【００５９】
より具体的な構成として、複数の画像または動画像を表示する場合は、画像の再生時間軸上において画像的な特徴を示す画像特徴点を検出し、各音楽ごとにその音楽の特徴を示す特徴ベクトルを生成し、生成した特徴ベクトルに基づいて各音楽の再生順序を決定し、検出した画像特徴点の出現タイミングと音楽の切換タイミングとが一致するように、決定した再生順序に従って複数の音楽を画像の再生に合わせて再生する。画像特徴点としては、例えば、切換前後における画像が非類似である点を画像特徴点とすることができる。
【００６０】
また、上記実施の形態において、図３、図４、図５および図６のフローチャートに示す処理を実行するにあたってはいずれも、ＲＯＭ５２にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ５４に読み込んで実行するようにしてもよい。
【００６１】
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【００６２】
また、上記実施の形態においては、本発明に係る画像再生システムおよび画像再生プログラム、並びに画像再生方法を、図１に示すように、音楽の再生に合わせて画像のスライドショーを実行する場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。例えば、画像を分類する場合について適用することができる。例えば、次の応用例を提案することができる。
【００６３】
第１に、デジタルカメラの画像スライドショーや、ＨＤＤを内蔵した高精細液晶ディスプレイの電子写真立ての利用として、部屋のインテリアや装飾品などといった適用ができる。
第２に、時刻を同時に表示することで絵柄付きの置き時計として適用することができる。
【００６４】
第３に、スライドショウ形式のスクリーンセーバとして適用することができる。
【図面の簡単な説明】
【図１】本発明に係る画像再生装置１００の構成を示す機能ブロック図である。
【図２】コンピュータ２００の構成を示すブロック図である。
【図３】スライドショー実行処理を示すフローチャートである。
【図４】音楽解析処理を示すフローチャートである。
【図５】画像解析処理を示すフローチャートである。
【図６】再生スケジュール作成処理を示すフローチャートである。
【図７】ｎ個の特徴ベクトルＩを４つのクラスタＡ〜Ｄにクラスタリングした場合を示す図である。
【図８】再生スケジュールを作成する場合を説明するための図である。
【符号の説明】
１００…画像再生装置，１０…音楽データ登録ＤＢ，１２…画像データ登録ＤＢ，１４…音楽指定部，１６…画像指定部，１８…音楽解析部，２０…画像解析部，２２…再生スケジュール作成部，２４…画像再生部，２００…コンピュータ，５０…ＣＰＵ，５２…ＲＯＭ，５４…ＲＡＭ，５８…Ｉ／Ｆ，６０…入力装置，６２…表示装置，６４…音声出力装置
【発明の属する技術分野】
本発明は、複数の画像を音楽の再生に合わせて再生するシステムおよびプログラム、並びに方法に係り、特に、利用者に負担をかけることなく簡易に扱え、演出効果を向上するのに好適な画像の再生を自動生成する画像再生システムおよび画像再生プログラム、並びに画像再生方法に関する。
【０００２】
【従来の技術】
デジタルカメラ・デジタルビデオが広く普及し気軽に撮影する機会が増えたことに併せて記憶メディアの大容量化が進んだことで、ユーザは、大量の画像を保持するようになった。大量の画像を閲覧する場合には、スライドショーなどの順次再生するといった方法を利用することができる。
【０００３】
従来、画像を順次再生する技術としては、例えば、特許文献１に開示されている画像データ逐次表示装置、および特許文献２に開示されているデジタルカメラがあった。
特許文献１記載の発明は、画像特徴量抽出部、類似度計算部、スライド条件設定部およびソート画像逐次表示部を有して構成されている。画像特徴量抽出部は、各画像データの画像特徴量を抽出する。類似度計算部は、キー画像データの画像特徴量とキー画像データ以外の各画像データ（検索対象画像データ）の画像特徴量との比較結果に基づき、各画像データのキー画像データに対する類似性の尺度となる類似度を計算する。ソート画像逐次表示部は、スライド条件設定部より得られるスライド条件設定値の類似度変化関数情報に基づき、キー画像データを起点として、類似度別画像ソート部より得られる類似度別ソート結果または類似度変化関数に沿って画像データを逐次表示してスライドショーを実行する。
【０００４】
特許文献２記載の発明は、画像を再生する機能と、音楽を再生する機能とを有するデジタルカメラであって、複数の単位画像を順次再生するときの単位画像枚数、および各単位画像の再生時間に基づいて定められる、複数の単位画像を再生するのに要する画像再生時間と、画像とともに再生する音楽の再生に要する音楽再生時間とが一致した音楽付画像を再生する。
【０００５】
【特許文献１】
特開２０００−６７０５７号公報
【特許文献２】
特開２００１−３３９６８２号公報
【０００６】
【発明が解決しようとする課題】
このように、特許文献１記載の発明にあっては、画像の類似度を考慮してスライドショーを実行する構成となっている。しかしながら、音楽の再生に合わせて画像を再生することで、演出効果の高い再生を実現しようとした場合、画像の再生に合わせて音楽を単にＢＧＭとして流すだけでは、十分な演出効果が得られない。
【０００７】
この点を解決したのが特許文献２記載の発明であり、画像再生時間と音楽再生時間とが一致するように画像を再生する構成となっているため、画像と音楽の再生時間が違和感なく一致し、ある程度の演出効果が期待できる。しかしながら、画像再生時間と音楽再生時間とが一致させるというだけでは、再生中において画像の切換タイミングと音楽の進行とが不一致となる場合があり、演出効果が不十分であるという問題があった。
【０００８】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、利用者に負担をかけることなく簡易に扱え、演出効果を向上するのに好適な画像の再生を自動生成する画像再生システムおよび画像再生プログラム、並びに画像再生方法を提供することを目的としている。
【０００９】
【課題を解決するための手段】
〔発明１〕
上記目的を達成するために、発明１の画像再生システムは、
複数の画像を音楽の再生に合わせて再生するシステムであって、
前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出し、前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成し、生成した特徴ベクトルに基づいて前記各画像の再生順序を決定し、前記検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生するようになっていることを特徴とする。
【００１０】
このような構成であれば、音楽のなかから音楽特徴点が検出される。一方、各画像ごとにその画像の特徴ベクトルが生成され、生成された特徴ベクトルに基づいて各画像の再生順序が決定される。そして、検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定された再生順序に従って、複数の画像が音楽の再生に合わせて再生される。
【００１１】
これにより、音楽のなかの音楽特徴点の出現タイミングと画像の切換タイミングとを一致させて画像を再生することができるとともに、画像の特徴を考慮して画像を再生することができるので、従来に比して、比較的高い演出効果が期待できるという効果が得られる。
ここで、音楽特徴点とは、音楽的な特徴を示す特徴点をいい、これには、例えば、各小節の区切、複数小節単位での区切、音楽のなかでドラム等の特徴音が出現する時点、または音楽のなかで無音となる時点が含まれる。以下、発明２の画像再生システム、発明６の画像再生プログラム、および発明７の画像再生方法において同じである。
【００１２】
また、音楽特徴点の検出は、どのように行ってもよく、例えば、音楽データに基づいて音楽特徴点を検出するようになっていてもよいし、楽譜をスキャナ等で取り込んで得た画像データに基づいて音楽特徴点を検出するようになっていてもよい。
また、特徴ベクトルの生成は、どのように行ってもよく、例えば、画像データに基づいて特徴ベクトルを生成するようになっていてもよいし、画像の特徴を記述した文書データに基づいて特徴ベクトルを生成するようになっていてもよい。
【００１３】
また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。以下、発明２の画像再生システムにおいて同じである。
〔発明２〕
さらに、発明２の画像再生システムは、
複数の画像を音楽の再生に合わせて再生するシステムであって、
前記音楽の音楽データを記憶するための音楽データ記憶手段と、前記各画像ごとに当該画像の画像データを記憶するための画像データ記憶手段と、前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出手段と、前記画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定手段と、前記音楽特徴点検出手段で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定手段で決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生手段とを備えることを特徴とする。
【００１４】
このような構成であれば、音楽特徴点検出手段により、音楽データ記憶手段の音楽データに基づいて音楽のなかから音楽特徴点が検出される。一方、特徴ベクトル生成手段により、画像データ記憶手段の画像データに基づいて各画像ごとにその画像の特徴ベクトルが生成され、再生順序決定手段により、生成された特徴ベクトルに基づいて各画像の再生順序が決定される。そして、画像再生手段により、検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定された再生順序に従って、複数の画像が音楽の再生に合わせて再生される。
【００１５】
これにより、音楽のなかの音楽特徴点の出現タイミングと画像の切換タイミングとを一致させて画像を再生することができるとともに、画像の特徴を考慮して画像を再生することができるので、従来に比して、比較的高い演出効果が期待できるという効果が得られる。
ここで、音楽データ記憶手段は、音楽データをあらゆる手段でかつあらゆる時期に記憶するものであり、音楽データをあらかじめ記憶してあるものであってもよいし、音楽データをあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって音楽データを記憶するようになっていてもよい。このことは、画像データ記憶手段に画像データを記憶する場合についても同じである。
〔発明３〕
さらに、発明３の画像再生システムは、発明２の画像再生システムにおいて、前記再生順序決定手段は、前記特徴ベクトル同士のベクトル間距離に基づいて前記各画像を複数のグループに分類し、異なるグループの画像が順次再生されるように前記再生順序を決定するようになっていることを特徴とする。
【００１６】
このような構成であれば、再生順序決定手段により、特徴ベクトル同士のベクトル間距離に基づいて各画像が複数のグループに分類され、異なるグループの画像が順次再生されるように再生順序が決定される。
これにより、異なるグループの画像が順次再生されるので、利用者に対して視覚的に大きな変化を与えることができる。したがって、さらに高い演出効果が期待できるという効果が得られる。
〔発明４〕
さらに、発明４の画像再生システムは、発明３の画像再生システムにおいて、前記再生順序決定手段は、前記各グループ間のベクトル間距離を算出し、前記音楽特徴点の出現タイミング前後で特徴差に基づいて、画像のベクトル間距離を考慮して画像が順次再生されるように前記再生順序を決定するようになっていることを特徴とする。
【００１７】
このような構成であれば、再生順序決定手段により、各グループ間のベクトル間距離が算出され、音楽特徴点の出現タイミング前後で特徴差に基づいて、画像のベクトル間距離を考慮して画像が順次再生されるように再生順序が決定される。
〔発明５〕
さらに、発明５の画像再生システムは、発明２ないし４のいずれかの画像再生システムにおいて、
前記音楽特徴点検出手段は、前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから特徴音を検出し、検出した特徴音の出現パターンを解析し、その解析結果に基づいて複数小節単位での区切を前記音楽特徴点として検出するようになっていることを特徴とする。
【００１８】
このような構成であれば、音楽特徴点検出手段により、音楽データ記憶手段の音楽データに基づいて音楽のなかから特徴音が検出され、検出された特徴音の出現パターンが解析され、その解析結果に基づいて複数小節単位での区切が音楽特徴点として検出される。
単に特徴音の出現時点を音楽特徴点として検出した場合、例えば、各小節ごとの区切で画像が切り替わってしまう可能性があり、その場合は、画像をゆっくりと閲覧することができない。これに対し、本発明では、複数小節単位での区切が音楽特徴点として検出されるので、画像をゆっくりと閲覧することができるという効果が得られる。
〔発明６〕
一方、上記目的を達成するために、発明６の画像再生プログラムは、
複数の画像を音楽の再生に合わせて再生するプログラムであって、
前記音楽の音楽データを記憶するための音楽データ記憶手段と、前記各画像ごとに当該画像の画像データを記憶するための画像データ記憶手段とを利用可能なコンピュータに対して、
前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出手段、前記画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定手段、および前記音楽特徴点検出手段で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定手段で決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生手段として実現される処理を実行させるためのプログラムであることを特徴とする。
【００１９】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１の画像再生システムと同等の作用および効果が得られる。
〔発明７〕
一方、上記目的を達成するために、発明７の画像再生方法は、
複数の画像を音楽の再生に合わせて再生する方法であって、
音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出ステップと、画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成ステップと、前記特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定ステップと、前記音楽特徴点検出ステップで検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定ステップで決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生ステップとを含むことを特徴とする。
【００２０】
これにより、発明１の画像再生システムと同等の効果が得られる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。図１ないし図８は、本発明に係る画像再生システムおよび画像再生プログラム、並びに画像再生方法の実施の形態を示す図である。
本実施の形態は、本発明に係る画像再生システムおよび画像再生プログラム、並びに画像再生方法を、図１に示すように、音楽の再生に合わせて画像のスライドショーを実行する場合について適用したものである。
【００２２】
次に、本発明に係る画像再生装置１００の構成を図１を参照しながら説明する。
図１は、本発明に係る画像再生装置１００の構成を示す機能ブロック図である。
画像再生装置１００は、図１に示すように、音楽データを登録した音楽データ登録データベース（以下、データベースのことを単にＤＢと略記する。）１０と、複数の画像のそれぞれについてその画像データを登録した画像データ登録ＤＢ１２と、音楽データ登録ＤＢ１０のなかから再生対象となる音楽データを指定する音楽指定部１４と、画像データ登録ＤＢ１２のなかから再生対象となる画像データ群を指定する画像指定部１６とを有して構成されている。さらに、音楽指定部１４で指定された音楽データを解析する音楽解析部１８と、画像指定部１６で指定された画像データを解析する画像解析部２０と、音楽解析部１８および画像解析部２０の解析結果に基づいて再生スケジュールを作成する再生スケジュール作成部２２と、再生スケジュール作成部２２で作成した再生スケジュールに従って複数の画像を音楽の再生に合わせて再生する画像再生部２４とを有して構成されている。
【００２３】
音楽解析部１８は、音楽指定部１４で指定された音楽データに基づいて、音楽のなかから音楽的な特徴を示す音楽特徴点を検出する。
画像解析部２０は、画像指定部１６で指定された画像データに基づいて、各画像ごとにその画像の特徴を示す特徴ベクトルを生成する。
再生スケジュール作成部２２は、画像解析部２０で生成した特徴ベクトルに基づいて、各画像の再生順序を示す再生スケジュールを作成する。
【００２４】
画像再生部２４は、音楽解析部１８で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、再生スケジュール作成部２２で作成した再生スケジュールに従って、複数の画像を音楽の再生に合わせて再生する。
具体的に、画像再生装置１００は、図２に示すように、コンピュータ２００およびこれに実行させるプログラムとして実現することができる。コンピュータ２００の構成を図２を参照しながら説明する。
【００２５】
図２は、コンピュータ２００の構成を示すブロック図である。
コンピュータ２００は、図２に示すように、制御プログラムに基づいて演算およびシステム全体を制御するＣＰＵ５０と、所定領域にあらかじめＣＰＵ５０の制御プログラム等を格納しているＲＯＭ５２と、ＲＯＭ５２等から読み出したデータやＣＰＵ５０の演算過程で必要な演算結果を格納するためのＲＡＭ５４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ５８とで構成されており、これらは、データを転送するための信号線であるバス５９で相互にかつデータ授受可能に接続されている。
【００２６】
Ｉ／Ｆ５８には、外部装置として、音楽データ登録ＤＢ１０と、画像データ登録ＤＢ１２と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置６０と、画像信号に基づいて画面を表示する表示装置６２と、音声信号に基づいて音声や音楽を出力する音声出力装置６４とが接続されている。
【００２７】
ＣＰＵ５０は、マイクロプロセッシングユニット（ＭＰＵ）等からなり、ＲＯＭ５２の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図３のフローチャートに示すスライドショー実行処理を実行するようになっている。
図３は、スライドショー実行処理を示すフローチャートである。
【００２８】
スライドショー実行処理は、入力装置６０から実行要求の入力を受けて実行される処理であって、ＣＰＵ５０において実行されると、図３に示すように、まず、ステップＳ１００に移行するようになっている。
ステップＳ１００では、音楽データ登録ＤＢ１０のなかから再生対象となる音楽データを指定し、ステップＳ１０２に移行して、画像データ登録ＤＢ１２のなかから再生対象となる画像データ群を指定する。これら指定は、入力装置６０からの入力により行う。
【００２９】
次いで、ステップＳ１０４に移行して、ステップＳ１００で指定された音楽データ（以下、指定音楽データという。）を解析する音楽解析処理を実行し、ステップＳ１０６に移行して、ステップＳ１０２で指定された画像データ（以下、指定画像データという。）を解析する画像解析処理を実行し、ステップＳ１０８に移行する。
【００３０】
ステップＳ１０８では、ステップＳ１０４，Ｓ１０６の解析結果に基づいて再生スケジュールを作成する再生スケジュール作成処理を実行し、ステップＳ１１０に移行して、作成した再生スケジュールに従って複数の画像を音楽の再生に合わせて再生し、一連の処理を終了して元の処理に復帰させる。
次に、ステップＳ１０４の音楽解析処理を図４を参照しながら詳細に説明する。
【００３１】
図４は、音楽解析処理を示すフローチャートである。
音楽解析処理は、ステップＳ１０４において実行されると、図４に示すように、まず、ステップＳ２００に移行するようになっている。
ステップＳ２００では、指定音楽データを音楽データ登録ＤＢ１０から読み出し、ステップＳ２０２に移行して、読み出した音楽データに基づいて音楽のなかからドラム等の特徴音を検出し、ステップＳ２０４に移行して、音楽の終端まで解析が完了したか否かを判定し、解析が完了したと判定したとき（Ｙｅｓ）は、ステップＳ２０６に移行する。
【００３２】
ステップＳ２０６では、検出した特徴音の出現パターンを解析し、ステップＳ２０８に移行して、ステップＳ２０６の解析結果に基づいて複数小節単位（例えば、４小節単位）での区切を音楽特徴点として検出し、ステップＳ２１０に移行して、検出した音楽特徴点を示す音楽特徴情報を指定音楽データと対応付けて音楽データ登録ＤＢ１０に登録し、一連の処理を終了して元の処理に復帰させる。
【００３３】
一方、ステップＳ２０４で、音楽の終端まで解析が完了しないと判定したとき（Ｎｏ）は、ステップＳ２０２に移行する。
次に、ステップＳ１０６の画像解析処理を図５を参照しながら詳細に説明する。
図５は、画像解析処理を示すフローチャートである。
【００３４】
画像解析処理は、ステップＳ１０６において実行されると、図５に示すように、まず、ステップＳ３００に移行するようになっている。
ステップＳ３００では、指定画像データ群のうち先頭のものを画像データ登録ＤＢ１２から読み出し、ステップＳ３０２に移行して、読み出した画像データに基づいて画像サイズを所定サイズ（例えば、６４０×４８０）に正規化し、ステップＳ３０４に移行する。
【００３５】
ステップＳ３０４では、正規化した画像から画像特徴量を抽出する。画像特徴量としては、「構図」を考慮した色彩に関する特徴量を用いる。色彩特徴量を抽出する手法としては、例えば、「特徴量を統合し人の感性に近づけた画像検索システム」信学技報ＰＲＭＵ９７−２６１，ｐｐ．７５−８０．１９９８で扱われている手法を利用することができる。これは、基本的な写真・絵画の構図を参考にした構図テンプレートを用いることで最適な構図情報を抽出し、その構図の小領域ごとの色彩情報を算出することで画像の特徴量化を実現している。
【００３６】
次いで、ステップＳ３０６に移行して、抽出した画像特徴量に基づいて特徴ベクトルを生成する。例えば、上記の特徴量抽出手法を用いて表現するならば、特徴ベクトルＩは、下式（１）に示すように、ｊ領域×３構成色からなる３ｊ個の要素のほか、各構図テンプレートの分散値ｖ０〜ｖｌのｌ個の要素を加えた合計で（３ｊ＋ｌ）個の要素から構成されている。
Ｉ＝（ｒ０，ｇ０，ｂ０，ｒ１，ｇ１，ｂ１，…，ｒｊ−１，ｇｊ−１，ｂｊ−１，ｖ０，ｖ１，…，ｖｌ） …（１）
上式（１）において、ｒ０〜ｒｊ−１は各分割領域の平均色のうちＲ成分を示し、ｇ０〜ｇｊ−１は各分割領域の平均色のうちＧ成分を示し、ｂ０〜ｂｊ−１は各分割領域の平均色のうちＢ成分を示し、ｖ０〜ｖｌは各構図テンプレートの分散値を示している。ただし、ｖ０〜ｖｌは、最適テンプレートの分散値のみを使用し、他の値については「０」とする。
【００３７】
次いで、ステップＳ３０８に移行して、生成した特徴ベクトルを示す画像特徴情報を指定画像データと対応付けて画像データ登録ＤＢ１２に登録し、ステップＳ３１０に移行して、すべての指定画像データについてステップＳ３０２〜Ｓ３０８の処理が終了したか否かを判定し、すべての指定画像データについて処理が終了したと判定したとき（Ｙｅｓ）は、一連の処理を終了して元の処理に復帰させる。
【００３８】
一方、ステップＳ３１０で、すべての指定画像データについてステップＳ３０２〜Ｓ３０８の処理が終了していないと判定したとき（Ｎｏ）は、ステップＳ３１２に移行して、指定画像データ群のうち次のものを画像データ登録ＤＢ１２から読み出し、ステップＳ３０２に移行する。
次に、ステップＳ１０８の再生スケジュール作成処理を図６を参照しながら詳細に説明する。
【００３９】
図６は、再生スケジュール作成処理を示すフローチャートである。
再生スケジュール作成処理は、ステップＳ１０８において実行されると、図６に示すように、まず、ステップＳ４００に移行するようになっている。
ステップＳ４００では、指定画像データ群に対応するすべての画像特徴情報を画像データ登録ＤＢ１２から読み出し、ステップＳ４０２に移行する。
【００４０】
ステップＳ４０２では、読み出した画像特徴情報に基づいて、特徴ベクトルＩ同士のベクトル間距離に基づいて各画像を複数のクラスタにクラスタリングする。クラスタリングは、例えば、従来のＫ−平均法に基づいて行うことができる。Ｋ−平均法では、第１の処理として、Ｋ個の特徴ベクトルＩを適当に選択し、選択した特徴ベクトルＩｋ（ｋ＝１〜Ｋ）をそれぞれクラスタｋの中心位置とする。クラスタｋの中心位置をｍｋとする。次いで、第２の処理として、下式（２）により、特徴ベクトルＩｉ（ｉ＝１〜Ｎ、Ｎは画像の総数）とクラスタｋの中心位置ｍｋとのベクトル間距離を算出し、算出したベクトル間距離が最小となるクラスタｋに特徴ベクトルＩｉを属させる。下式（２）は、特徴ベクトルＩＡと特徴ベクトルＩＢとのベクトル間距離を算出している。
Ｓ＝｜ＩＡ−ＩＢ｜ …（２）
次いで、第３の処理として、クラスタｋの中心位置ｍｋをクラスタｋに属している特徴ベクトルＩｉの平均値で置き換える。次いで、第４の処理として、ｉ＜Ｎの場合、ｉに「１」を加算して第２の処理および第３の処理を行う。そして、第５の処理として、第３の処理で変更前後のｍｋに変化があるときは、ｉ＝１として第２の処理および第３の処理を行う。第３の処理で変更前後のｍｋに変化がないとき、または一定回数以上繰り返し処理を行ったときは、処理を終了し、クラスタｋの中心位置ｍｋおよびこれに属する特徴ベクトルＩｉが決定する。
【００４１】
図７は、ｎ個の特徴ベクトルＩを４つのクラスタＡ〜Ｄにクラスタリングした場合を示す図である。
図７の例では、クラスタＡには８個の画像が、クラスタＢには６個の画像が、クラスタＣには４個の画像が、クラスタＤには１１個の画像がそれぞれクラスタリングされている。
【００４２】
次いで、ステップＳ４０４に移行して、指定音楽データに対応する音楽特徴情報を音楽データ登録ＤＢ１０から読み出し、ステップＳ４０６に移行して、読み出した音楽特徴情報およびステップＳ４０２のクラスタリング結果に基づいて再生スケジュールを作成する。
図８は、再生スケジュールを作成する場合を説明するための図である。
【００４３】
再生スケジュールは、図８に示すように、複数小節単位での区切として検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように各画像を再生時間軸上に配置することにより作成する。このとき、音楽特徴点の出現タイミング前後で特徴差に基づいて（例えば音量差）、画像のベクトル間距離を考慮して画像が順次再生されるように各画像を再生時間軸に配置する。
【００４４】
例えば、音楽特徴点の出現タイミングの前後で音量の差が大きい場合などは、再生時間軸上で隣接する画像としてはクラスタ間距離が大きいクラスタの画像を選択する。図７のように、クラスタＡからみてクラスタＤのクラスタ間距離が最も大きいので、クラスタＡの画像の次にクラスタＤの画像が再生されるように再生スケジュールを作成する。これにより、利用者に対して視覚的および聴覚的に大きな変化を与えることができるので、高い演出効果が期待できる。
【００４５】
また、画像の切換効果についても決定する。ベクトル間距離が小さいクラスタの画像や同一のクラスタの画像を連続して再生する場合は、切換前の画像を徐々に暗く（フェードアウト）していきながら切換後の画像を徐々に明るく（フェードイン）して画像の切換を行う。これに対して、ベクトル間距離が大きいクラスタの画像を連続して再生する場合は、フラッシュ（発光）を入れ瞬間的に画像を切り換える。このように演出効果に違いを出すことにより、画像再生にメリハリを与えることができるので、より高い演出効果が期待できる。
【００４６】
次いで、再生スケジュールを作成すると、一連の処理を終了して元の処理に復帰させる。
次に、本実施の形態の動作を説明する。
画像のスライドショーを実行する場合、利用者は、実行要求を入力し、ステップＳ１００，Ｓ１０２を経て、音楽データ登録ＤＢ１０のなかから再生対象となる音楽データを指定し、画像データ登録ＤＢ１２のなかから再生対象となる画像データ群を指定する。
【００４７】
再生対象となる音楽データおよび画像データ群が指定されると、ステップＳ２００，Ｓ２０２を経て、指定音楽データが音楽データ登録ＤＢ１０から読み出され、読み出された音楽データに基づいて、音楽のなかからドラム等の特徴音が検出される。特徴音の検出は、音楽の終端まで繰り返し行われる。次いで、ステップＳ２０６，Ｓ２０８を経て、検出された特徴音の出現パターンが解析され、その解析結果に基づいて複数小節単位での区切が音楽特徴点として検出される。そして、ステップＳ２１０を経て、検出された音楽特徴点を示す音楽特徴情報が指定音楽データと対応付けられて音楽データ登録ＤＢ１０に登録される。
【００４８】
一方、ステップＳ３００〜Ｓ３０４を経て、指定画像データ群のうち先頭のものが画像データ登録ＤＢ１２から読み出され、読み出された画像データに基づいて画像サイズが正規化され、構図テンプレートを用いて、正規化された画像から画像特徴量が抽出される。次いで、ステップＳ３０６，Ｓ３０８を経て、抽出された画像特徴量に基づいて特徴ベクトルが生成され、生成された特徴ベクトルを示す画像特徴情報が指定画像データと対応付けられて画像データ登録ＤＢ１２に登録される。このような処理は、すべての指定画像データについて行われる。
【００４９】
音楽特徴情報および画像特徴情報が登録されると、ステップＳ４００，Ｓ４０２を経て、指定画像データ群に対応するすべての画像特徴情報が画像データ登録ＤＢ１２から読み出され、読み出された画像特徴情報に基づいて、特徴ベクトルＩ同士のベクトル間距離に基づいて各画像が複数のクラスタにクラスタリングされる。そして、ステップＳ４０４，Ｓ４０６を経て、指定音楽データに対応する音楽特徴情報が音楽データ登録ＤＢ１０から読み出され、読み出された音楽特徴情報およびクラスタリング結果に基づいて再生スケジュールが作成される。再生スケジュールは、複数小節単位での区切として検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように各画像が再生時間軸上に配置されることにより作成される。
【００５０】
再生スケジュールが作成されると、ステップＳ１１０を経て、作成された再生スケジュールに従って複数の画像が音楽の再生に合わせて再生される。その結果、複数小節単位での区切として検出された音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように各画像が順次再生される。ここで、画像の再生は表示装置６２で行われ、音楽の再生は音声出力装置６４で行われる。
【００５１】
このようにして、本実施の形態では、音楽データに基づいて音楽のなかから音楽特徴点を検出し、画像データに基づいて各画像ごとにその特徴ベクトルを生成し、生成した特徴ベクトルに基づいて各画像の再生順序を示す再生スケジュールを作成し、検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように再生スケジュールに従って複数の画像を音楽の再生に合わせて再生するようになっている。
【００５２】
これにより、音楽のなかの音楽特徴点の出現タイミングと画像の切換タイミングとを一致させて画像を再生することができるとともに、画像の特徴を考慮して画像を再生することができるので、従来に比して、比較的高い演出効果が期待できる。
さらに、本実施の形態では、特徴ベクトル同士のベクトル間距離に基づいて各画像を複数のグループにクラスタリングし、異なるグループの画像が順次再生されるように再生スケジュールを作成するようになっている。
【００５３】
これにより、異なるグループの画像が順次再生されるので、利用者に対して視覚的に大きな変化を与えることができる。したがって、さらに高い演出効果が期待できる。
さらに、本実施の形態では、音楽データに基づいて音楽のなかから特徴音を検出し、検出した特徴音の出現パターンを解析し、その解析結果に基づいて複数小節単位での区切を音楽特徴点として検出するようになっている。
【００５４】
単に特徴音の出現時点を音楽特徴点として検出した場合、例えば、各小節ごとの区切で画像が切り替わってしまう可能性があり、その場合は、画像をゆっくりと閲覧することができない。これに対し、本実施の形態では、複数小節単位での区切が音楽特徴点として検出されるので、画像をゆっくりと閲覧することができる。
【００５５】
上記実施の形態において、音楽データ登録ＤＢ１０は、発明２、５ないし７の音楽データ記憶手段に対応し、画像データ登録ＤＢ１２は、発明２、６または７の画像データ記憶手段に対応し、音楽解析部１８およびステップＳ１０４は、発明２、５若しくは６の音楽特徴点検出手段、または発明７の音楽特徴点検出ステップに対応している。また、画像解析部２０およびステップＳ１０６は、発明２若しくは６の特徴ベクトル生成手段、または発明７の特徴ベクトル生成ステップに対応し、再生スケジュール作成部２２およびステップＳ１０８は、発明２ないし４若しくは６の再生順序決定手段、または発明７の再生順序決定ステップに対応している。
【００５６】
また、上記実施の形態において、画像再生部２４およびステップＳ１１０は、発明２若しくは６の画像再生手段、または発明７の画像再生ステップに対応している。
なお、上記実施の形態においては、複数の画像を音楽の再生に合わせて再生するように構成したが、これに限らず、複数の音楽を画像の再生に合わせて再生するように構成することもできる。この場合、音楽データと画像データの取り扱いを逆にして上記実施の形態と同様に行うことができる。
【００５７】
音楽のクラスタリング手法としては、例えば、「曲の局所パターン特徴量を用いた類似曲検索・感性語による検索」信学技報ＳＰ９６−１２４，ｐｐ．１７−２４，１９９７で扱われている手法を利用することができる。これは、楽曲の旋律に含まれる音の高さ（以下、音高という。）および音の長さ（以下、音長という。）の局所パターンの相対出現頻度分布を音楽の特徴量ベクトルとして用いる。抽出した音楽特徴量に基づいて複数の音楽をステップＳ４０２の処理と同じ要領で複数のクラスタにクラスタリングすることができる。
【００５８】
また、画像の再生については、単一の画像を固定的に表示しながら複数の音楽を順次再生するように構成してもよいし、上記実施の形態と同様に、複数の画像を順次表示しながら複数の音楽を順次再生するように構成してもよいし、動画像を表示しながら複数の音楽を順次再生するように構成してもよい。複数の画像または動画像を表示する場合は、単一の画像を固定的に表示する場合よりも高い演出効果が期待できる。
【００５９】
より具体的な構成として、複数の画像または動画像を表示する場合は、画像の再生時間軸上において画像的な特徴を示す画像特徴点を検出し、各音楽ごとにその音楽の特徴を示す特徴ベクトルを生成し、生成した特徴ベクトルに基づいて各音楽の再生順序を決定し、検出した画像特徴点の出現タイミングと音楽の切換タイミングとが一致するように、決定した再生順序に従って複数の音楽を画像の再生に合わせて再生する。画像特徴点としては、例えば、切換前後における画像が非類似である点を画像特徴点とすることができる。
【００６０】
また、上記実施の形態において、図３、図４、図５および図６のフローチャートに示す処理を実行するにあたってはいずれも、ＲＯＭ５２にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ５４に読み込んで実行するようにしてもよい。
【００６１】
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【００６２】
また、上記実施の形態においては、本発明に係る画像再生システムおよび画像再生プログラム、並びに画像再生方法を、図１に示すように、音楽の再生に合わせて画像のスライドショーを実行する場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。例えば、画像を分類する場合について適用することができる。例えば、次の応用例を提案することができる。
【００６３】
第１に、デジタルカメラの画像スライドショーや、ＨＤＤを内蔵した高精細液晶ディスプレイの電子写真立ての利用として、部屋のインテリアや装飾品などといった適用ができる。
第２に、時刻を同時に表示することで絵柄付きの置き時計として適用することができる。
【００６４】
第３に、スライドショウ形式のスクリーンセーバとして適用することができる。
【図面の簡単な説明】
【図１】本発明に係る画像再生装置１００の構成を示す機能ブロック図である。
【図２】コンピュータ２００の構成を示すブロック図である。
【図３】スライドショー実行処理を示すフローチャートである。
【図４】音楽解析処理を示すフローチャートである。
【図５】画像解析処理を示すフローチャートである。
【図６】再生スケジュール作成処理を示すフローチャートである。
【図７】ｎ個の特徴ベクトルＩを４つのクラスタＡ〜Ｄにクラスタリングした場合を示す図である。
【図８】再生スケジュールを作成する場合を説明するための図である。
【符号の説明】
１００…画像再生装置，１０…音楽データ登録ＤＢ，１２…画像データ登録ＤＢ，１４…音楽指定部，１６…画像指定部，１８…音楽解析部，２０…画像解析部，２２…再生スケジュール作成部，２４…画像再生部，２００…コンピュータ，５０…ＣＰＵ，５２…ＲＯＭ，５４…ＲＡＭ，５８…Ｉ／Ｆ，６０…入力装置，６２…表示装置，６４…音声出力装置
Claims (7)
- 複数の画像を音楽の再生に合わせて再生するシステムであって、
前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出し、前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成し、生成した特徴ベクトルに基づいて前記各画像の再生順序を決定し、前記検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように、決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生するようになっていることを特徴とする画像再生システム。 - 複数の画像を音楽の再生に合わせて再生するシステムであって、
前記音楽の音楽データを記憶するための音楽データ記憶手段と、前記各画像ごとに当該画像の画像データを記憶するための画像データ記憶手段と、前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出手段と、前記画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定手段と、前記音楽特徴点検出手段で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定手段で決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生手段とを備えることを特徴とする画像再生システム。 - 請求項２において、
前記再生順序決定手段は、前記特徴ベクトル同士のベクトル間距離に基づいて前記各画像を複数のグループに分類し、異なるグループの画像が順次再生されるように前記再生順序を決定するようになっていることを特徴とする画像再生システム。 - 請求項３において、
前記再生順序決定手段は、前記各グループ間のベクトル間距離を算出し、前記音楽特徴点の出現タイミング前後で特徴差に基づいて、画像のベクトル間距離を考慮して画像が順次再生されるように前記再生順序を決定するようになっていることを特徴とする画像再生システム。 - 請求項２乃至４のいずれかにおいて、
前記音楽特徴点検出手段は、前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから特徴音を検出し、検出した特徴音の出現パターンを解析し、その解析結果に基づいて複数小節単位での区切を前記音楽特徴点として検出するようになっていることを特徴とする画像再生システム。 - 複数の画像を音楽の再生に合わせて再生するプログラムであって、
前記音楽の音楽データを記憶するための音楽データ記憶手段と、前記各画像ごとに当該画像の画像データを記憶するための画像データ記憶手段とを利用可能なコンピュータに対して、
前記音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出手段、前記画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定手段、及び前記音楽特徴点検出手段で検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定手段で決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生手段として実現される処理を実行させるためのプログラムであることを特徴とする画像再生プログラム。 - 複数の画像を音楽の再生に合わせて再生する方法であって、音楽データ記憶手段の音楽データに基づいて前記音楽のなかから音楽的な特徴を示す音楽特徴点を検出する音楽特徴点検出ステップと、画像データ記憶手段の画像データに基づいて前記各画像ごとに当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成ステップと、前記特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記各画像の再生順序を決定する再生順序決定ステップと、前記音楽特徴点検出ステップで検出した音楽特徴点の出現タイミングと画像の切換タイミングとが一致するように前記再生順序決定ステップで決定した再生順序に従って前記複数の画像を前記音楽の再生に合わせて再生する画像再生ステップとを含むことを特徴とする画像再生方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003196679A JP2005033554A (ja) | 2003-07-14 | 2003-07-14 | 画像再生システム及び画像再生プログラム、並びに画像再生方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003196679A JP2005033554A (ja) | 2003-07-14 | 2003-07-14 | 画像再生システム及び画像再生プログラム、並びに画像再生方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005033554A true JP2005033554A (ja) | 2005-02-03 |
Family
ID=34207092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003196679A Withdrawn JP2005033554A (ja) | 2003-07-14 | 2003-07-14 | 画像再生システム及び画像再生プログラム、並びに画像再生方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005033554A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007005985A (ja) * | 2005-06-22 | 2007-01-11 | Casio Comput Co Ltd | 撮像装置、プログラム、情報端末及び情報通信システム |
| JP2008066956A (ja) * | 2006-09-06 | 2008-03-21 | Fujifilm Corp | 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 |
| JP2009200894A (ja) * | 2008-02-22 | 2009-09-03 | Sony Corp | 情報処理置および方法、並びにプログラム |
| JP2010183159A (ja) * | 2009-02-03 | 2010-08-19 | Olympus Corp | デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 |
| JP2011002676A (ja) * | 2009-06-19 | 2011-01-06 | Casio Computer Co Ltd | 再生装置およびプログラム |
| JP2017098638A (ja) * | 2015-11-18 | 2017-06-01 | カシオ計算機株式会社 | 画像処理装置、画像選択方法及びプログラム |
| US10658006B2 (en) | 2015-11-18 | 2020-05-19 | Casio Computer Co., Ltd. | Image processing apparatus that selects images according to total playback time of image data, image selection method, and computer-readable medium |
| US10741214B2 (en) | 2015-11-18 | 2020-08-11 | Casio Computer Co., Ltd. | Image processing apparatus that selects images, image processing method, and storage medium |
-
2003
- 2003-07-14 JP JP2003196679A patent/JP2005033554A/ja not_active Withdrawn
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007005985A (ja) * | 2005-06-22 | 2007-01-11 | Casio Comput Co Ltd | 撮像装置、プログラム、情報端末及び情報通信システム |
| JP4595704B2 (ja) * | 2005-06-22 | 2010-12-08 | カシオ計算機株式会社 | 画像処理装置、撮像装置、およびプログラム |
| JP2008066956A (ja) * | 2006-09-06 | 2008-03-21 | Fujifilm Corp | 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 |
| JP4660861B2 (ja) * | 2006-09-06 | 2011-03-30 | 富士フイルム株式会社 | 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 |
| JP2009200894A (ja) * | 2008-02-22 | 2009-09-03 | Sony Corp | 情報処理置および方法、並びにプログラム |
| JP4548495B2 (ja) * | 2008-02-22 | 2010-09-22 | ソニー株式会社 | 情報処理置および方法、並びにプログラム |
| JP2010183159A (ja) * | 2009-02-03 | 2010-08-19 | Olympus Corp | デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 |
| JP2011002676A (ja) * | 2009-06-19 | 2011-01-06 | Casio Computer Co Ltd | 再生装置およびプログラム |
| JP2017098638A (ja) * | 2015-11-18 | 2017-06-01 | カシオ計算機株式会社 | 画像処理装置、画像選択方法及びプログラム |
| CN107018348A (zh) * | 2015-11-18 | 2017-08-04 | 卡西欧计算机株式会社 | 图像处理装置以及图像选择方法 |
| US10658006B2 (en) | 2015-11-18 | 2020-05-19 | Casio Computer Co., Ltd. | Image processing apparatus that selects images according to total playback time of image data, image selection method, and computer-readable medium |
| US10741214B2 (en) | 2015-11-18 | 2020-08-11 | Casio Computer Co., Ltd. | Image processing apparatus that selects images, image processing method, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11301113B2 (en) | Information processing apparatus display control method and program | |
| US8548249B2 (en) | Information processing apparatus, information processing method, and program | |
| JP4125140B2 (ja) | 情報処理装置、情報処理方法ならびにプログラム | |
| EP1020843A1 (en) | Automatic musical composition method | |
| US20100094441A1 (en) | Image selection apparatus, image selection method and program | |
| JP4778231B2 (ja) | ビデオシーケンスに対してインデックス付けするシステムおよび方法 | |
| TWI242376B (en) | Method and related system for detecting advertising by integrating results based on different detecting rules | |
| JP4469891B2 (ja) | 情報処理装置及び情報処理プログラム | |
| JP2004110821A (ja) | マルチメディアプレゼンテーションを自動的に生成する方法、及びそのコンピュータプログラム | |
| WO2003073756A1 (fr) | Systeme de generation de donnes d'images animees, procede de generation de donnees d'images animees, programme de generation de donnees d'images animees et support d'enregistrement d'informations | |
| TW200839556A (en) | A photo display system and its operating method | |
| JP2006236218A (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
| JP2000350156A (ja) | 動画像情報の記憶方法及びこれを記録した記録媒体 | |
| JP2009004999A (ja) | 映像データ管理装置 | |
| JP2005033554A (ja) | 画像再生システム及び画像再生プログラム、並びに画像再生方法 | |
| JP2005033276A (ja) | 画像再生システム及び画像再生プログラム、並びに画像再生方法 | |
| JP2006079460A (ja) | 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム | |
| JP2012137560A (ja) | カラオケ装置、カラオケ装置の制御方法及び制御プログラム | |
| JP2009070317A (ja) | 表示制御装置及び表示制御方法等 | |
| JP2004354583A (ja) | 音楽生成装置および音楽生成方法 | |
| WO2022209648A1 (ja) | 情報処理装置、情報処理方法および非一時的なコンピュータ可読記憶媒体 | |
| Schindler et al. | On the unsolved problem of shot boundary detection for music videos | |
| JP2012137559A (ja) | カラオケ装置、カラオケ装置の制御方法及び制御プログラム | |
| JP2006155095A (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
| JP2003308674A (ja) | 情報記録媒体及びその生産方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060214 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070403 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20080108 |