JP2005204021A - 静止画再生装置 - Google Patents

Abstract

【課題】 ユーザがマップ上から１つの情報を選択することで、ユーザの再生時の雰囲気に合った静止画及び音楽の再生を行う静止画再生装置を提供する。
【解決手段】 静止画再生装置１００は、画像データの解析を行って特徴量を抽出する画像特徴抽出部１０２、音楽データから音楽の特徴量を抽出する音楽特徴抽出部１０６、各特徴量を用いて各画像データ及び各音楽データを心理情報と物理情報との２軸を用いた感性マップ上にマッピングするマッピング処理部１０９等を備える。ユーザは、メニュー入力部１１１を介して感性マップ上よりスライドショーを希望する音楽又は画像の事象を選択することにより、スライドショー生成部１１０において自動的に雰囲気に合わせたスライドショーが再生される。
【選択図】図１

Description

本発明は、デジタル写真の記録、再生を行う静止画再生装置に関するものであり、特に、複数のデジタル写真を連続的に表示するスライドショー機能を有する静止画再生装置に関するものである。

従来、静止画を連続的に再生する方法として、一定時間間隔毎に逐次表示していくスライドショーという表示方法があり、例えば、フォトシネマ、ムービーシェーカー等のＰＣソフト、カメラ付携帯電話機等で実現されている。
ここで、スライドショーとは、スライド映写機と同様に一定時間間隔、或いはユーザの指示等のトリガーによって表示するデジタル静止画を切り替えていく、いわゆるデジタルな紙芝居である。また、近年においてはアプリケーションによってはＢＧＭを付加したりデジタル静止画の切り替えの際にフェード、ワイプ、回転等のトランジションを付加し、よりエンターテインメント性を向上させたものもある。

そして、従来のスライドショー装置の一例として、ＣＤ−ＲＯＭを用いて連続再生するものがある（例えば、特許文献１参照）。図１８は、この特許文献１に記載された従来のスライドショー装置１８００の構成図である。
このスライドショー装置１８００においては、ＣＤ−ＲＯＭ１８０６をＣＤ−ＲＯＭ読取り部１８０５にセットして、入力指示部１８０２によりスライドショー実行プログラム１８０６ａの起動指示を行う。演算制御部１８０１がスライドショー実行プログラム１８０６ａを読み込み、スライドショー実行部として機能するようになる。演算制御部１８０１は、スライドショーの実行の際、まず、順序テーブル１８０６ｂを読み込み、順序テーブル１８０６ｂに定義された順番に画像ファイルを、画像ファイル群１８０６ｃから抽出して表示部１８０３に表示させる。尚、ハードディスク１８０４は必要に応じて各種データを保存するものである。
特開２００１-１０３４１５号公報（第３〜５頁、図１）

しかしながら、従来のスライドショー再生装置においては、画像ファイルを順序テーブルに従って再生するだけなので、ユーザから見て面白み、意外性に欠け、或いは画像再生におけるバリエーションが少ないという課題を有している。また、スライドショーと共にＢＧＭに音楽が流れる場合においても同様の課題がある。
さらに、従来のスライドショー再生装置においては、スライドショー装置間の画像を用いたコミュニケーションについては全く考慮されておらず、近年のネットワーク化に対応するようなスライドショーの提供も行われていない。

本発明は、前記従来の課題を解決するもので、ユーザに大きな手間を要することなく、再生時の雰囲気に合った、静止画及び音楽の調和を図ったスライドショーの再生を自動的に行うことのできる静止画再生装置を提供することを目的とする。
また、静止画の表示にとどまらず、静止画を用いたコミュニケーションの実現を可能とする静止画再生装置を提供することをも目的とする。

前記従来の課題を解決するために、本発明に係る静止画再生装置は、［請求項１］、［請求項２］。
従って、静止画再生装置においては、画像データから画像特徴量、音楽データから音楽特徴量を抽出して、同軸系の座標上にマッピングを行う。そして、ユーザがマッピング上より雰囲気に合わせた音楽又は画像の選択を行うことで、自動的に雰囲気に合わせた音楽及び画像のスライドショーの再生が行われることとなる。

また、本発明に係る静止画再生装置は、［請求項３］。
従って、本発明に係る静止画再生装置においては、物理情報及び心理情報を用いて画像データ及び音楽データをマッピングするために、ユーザの再生を行う際の雰囲気に合わせた感性マップを作成することができ、ユーザの好みに合わせたマップとすることが可能となる。

さらに、本発明に係る静止画再生装置は、［請求項９］。
従って、ユーザがスタイルを選択するのみで音楽及び画像が適切に選択されたスライドショーの再生を行うことが可能となる。
尚、前記目的を達成するために、本発明は、前記静止画再生装置の特徴的な構成手段をステップとする静止画再生方法としたり、それらのステップを全て含むプログラムとして実現することもできる。そして、そのプログラムは、静止画再生装置が備えるＲＯＭ等に格納しておくだけでなく、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワークを介して流通させることもできる。

以上のように、本発明に係る静止画再生装置においては、画像の感性情報、被写体の人物の感情情報、音楽の感性情報を特徴量として抽出して、音楽と画像を同軸上にマッピングすることにより、音楽と画像とが調和したスライドショーを再生することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
本実施の形態１に係る静止画再生装置は、感性マップ上より画像及び音楽のどちらかを選択することにより、自動的に音楽及び画像が調和したスライドショーの再生が行われることを特徴としている。

また、実施の形態の説明における音楽データはＡＡＣ、ＭＰ３等のウェーブ形式、ＭＩＤＩ等のデータ形式等どちらでもよく、特に形式は問わない。また、画像データとしては、主にデジタルスチルカメラで撮影したデジタル写真であるが、動画、ＣＧ等でもよい。また画像はデジタルスチルカメラによる撮影で得たものに限る必要はなく、市販コンテンツ、Ｗｅｂからのダウンロード、放送番組等ソースは特に問わず、画像データはＪＰＥＧ、ビットマップ等であるが、特に形式は問わない。

図１は、本実施の形態１における静止画再生装置１００のブロック構成図である。
画像入力部１０１は画像データの入力が行われる処理部である。画像特徴抽出部１０２は、画像データの解析を行って画像から画像特徴量の抽出を行う処理部である。画像パケット生成部１０３は、画像特徴抽出部１０２において抽出された画像特徴量を画像ＩＤ及び画像データからなるデータに付与して画像パケットを生成する。画像蓄積部１０４は、画像パケット生成部において生成された画像パケットを蓄積する。

音楽入力部１０５は音楽データの入力が行われる処理部である。音楽特徴抽出部１０６は、音楽データから音楽の特徴量を抽出する。音楽パケット生成部１０７は、音楽特徴抽出部１０６において抽出された音楽特徴量を音楽ＩＤ及び音楽データからなるデータに付与して音楽パケットを生成する。音楽蓄積部１０８は、生成された音楽パケットを蓄積する。

マッピング処理部１０９は、抽出された画像特徴量及び音楽特徴量を用いて各画像データ及び各音楽データを、心理情報と物理情報との２軸を用いた感性マップ上にマッピングする。スライドショー生成部１１０はメニュー入力部１１１から入力された条件に合わせてスライドショーの作成を行い、表示部１１２はスライドショー生成部において作成されたスライドショーを画面に表示する。メニュー入力部１１１は、ユーザがスライドショー生成のためのメニュー操作を行うためのインタフェースである。

また、図１において、画像パケット、音楽パケットの画像蓄積部１０４及び音楽蓄積部１０８への蓄積は次の様に行われる。
画像データは、画像入力部１０１から入力され、画像特徴抽出部１０２において画像特徴量の抽出が行われる。そして、画像パケット生成部１０３において画像を識別するユニークな番号である画像ＩＤ、前記の抽出結果である画像特徴量、元の画像データを画像パケットの形にして、生成された画像パケットを画像蓄積部１０４に蓄積する。

また、音楽データは音楽入力部１０５から入力され、音楽特徴抽出部１０６で特徴抽出が行われる。そして、音楽パケット生成部１０７において音楽を識別するユニークな番号である音楽ＩＤ、前記の抽出結果である音楽特徴量、元の音楽データを音楽パケットの形にして、生成された音楽パケットを音楽蓄積部１０８に蓄積する。
図２は、本実施の形態１における画像特徴抽出部１０２において抽出されたデータを含む画像パケット２００の構成図である。

この画像パケット２００は、デジタル写真毎に固有の識別番号となる画像ＩＤ２０１、画像特徴抽出部１０２において抽出された画像データから構成される画像特徴量２０２、画像の実体データとなる画像データ２０３より構成される。
続いて、画像特徴量２０２について説明すると、画像特徴量２０２はカメラ情報２０２ａ、人物情報２０２ｂ、及び画像感性情報２０２ｃを含む。

カメラ情報２０２ａは焦点距離、絞り値、ストロボ使用の有無等の物理的な撮影条件である。人物情報２０２ｂは画像中の人物の数、位置、大きさと、人物の表情から抽出した感情情報等で構成される。画像感性情報２０２ｃは画像データから抽出した感性を示すものである。マッピング処理部１０９は、人物の感情、画像の感性は度合いをスコア化（数値化）して、激しさと暖かさの２軸上にマッピングする。図２の画像感性情報２０２ｃでスコアの最大を５０とした場合、激しさ＝４０、暖かさ＝２０は、「かなり動的で、やや暖かいこと」を示している。

図３は、本実施の形態１における音楽特徴抽出部１０６において抽出された抽出情報を含む音楽パケット３００の構成図である。
この音楽パケットは、楽曲毎に固有の識別番号となる音楽ＩＤ３０１、音楽特徴抽出部１０６において抽出される音楽特徴量３０２、音楽の実体データとなる音楽データ３０３を含む。

音楽パケット３００において音楽特徴量３０２はリズム情報３０２ａ、音楽感性情報３０２ｂを含む。リズム情報３０２ａは音楽の早さを示すテンポ、リズム等である。音楽感性情報３０２ｂは音楽データから抽出した感性を示すものである。マッピング処理部１０９は、音楽の感性は度合いをスコア化（数値化）して、激しさと暖かさの２軸上にマッピングする。図３の音楽感性情報３０２ｂでスコアの最大を５０とした場合、激しさ＝-４０、暖かさ＝-４０は、「かなり静的かつ冷たい」ことを示す。

図４は、本実施の形態１に係る静止画再生装置１００におけるユーザ側の処理手順を示すフローチャートである。
最初に、ユーザはスライドショーの開始時における選択を行うために、メニュー入力部１１１を介してメニュー表示画面の選択を行う（Ｓ４０１）。この場合、画像からスライドショーを特定する場合においては、画像フォルダを選択し、音楽からスライドショーを特定する場合においては、音楽フォルダを選択する。ここでは、ユーザが、画像については画像フォルダ又は個別の画像を指定し、又は音楽は曲そのものを指定する。

次に、ユーザはリモコンやマウス等のメニュー入力部１１１を介して感性マップ上より、その時の気分や雰囲気に合わせた位置における音楽又は画像を選択する（Ｓ４０２）。
そして、この位置の選択が終了すると、スライドショー生成部１１０はメニュー入力部１１１からの指示に従って音楽及び画像の同事象のデータを用いたスライドショーを生成し、表示部１１２から出力する（Ｓ４０３）。ここでのスライドショーとは、デジタル写真は画像蓄積部１０４から、音楽は音楽蓄積部１０８からそれぞれ読み出し、音楽に合わせて画像を再生するものである。

また、スライドショーにおいては、単にデジタル写真を順次表示するものではなく、音楽に合わせ、画像に対してパン、ズーム、拡大、縮小、色変化といった視覚効果を与えることで、躍動感を演出する。この視覚効果の選択においては画像、音楽の特徴量を利用する。

図５は、本実施の形態１に係る静止画再生装置１００において表示される感性マップの一例である。
軸の定義を説明すると、音楽データと画像データとが同じマップが使える軸ということで、ここでは激しさと暖かさを使用した。Ｘ軸が「激しさ」の軸であり、右側が「動的」、左側が「静的」である。またＹ軸が「暖かさ」であり、上側が「暖かい」、下側が「冷たい」ことを表す。それぞれの軸は定量化され、数値の絶対値の大きさが程度を示す。
そして、本発明のマッピング処理部１０９においては、ここに画像特徴抽出部１０２や音楽特徴抽出部１０６から抽出した特徴量と対応付けて画動データ及び音楽データを配置した感性マップを作成する。

図６は、本実施の形態１に係る静止画再生装置１００において表示される画像感性マップ及び音楽感性マップの関連を示す図である。
このように、本発明においては、感性マップを画像と音楽で同じ軸を採用する。逆にいえば、同じマップが使えるような軸を検討する。このため、マップ間の対応関係が明確になり、従って、スライドショーの再生においてユーザがメニュー入力部１１１を介して画像又は音楽のいずれかを領域を選択するのみで、選択された対応した領域近辺の音楽データ及び画像データが優先的に再生される。

図７は、本実施の形態１に係る静止画再生装置１００の画像特徴抽出部１０２における人物表情を特定する場合の動作手順を示すフローチャートである。
画像のメインの被写体が人物である場合は、画像特徴抽出部１０２においては、顔の表情から喜怒哀楽を判断する。
最初に、画像特徴抽出部１０２は、顔の特徴点の抽出を行う（Ｓ７０１）。そして、次に顔の表情の分析を行う（Ｓ７０２）。最後に、マッピング処理部１０９は、「喜怒哀楽」の推定を行う（Ｓ７０３）。例えば、目や耳から複数の特徴点を特定し、特徴点データを用いて目、眉が内側から外側に向けて下がり、口がへの字で閉じていると判断した場合においては「哀」であると推定し、目、眉が水平で、目がやや大きく開き、歯が見えたまま口が開いており、口元にしわがあれば「喜」であると推定する。

図８は、本実施の形態１に係る静止画再生装置１００の画像特徴抽出部１０２における物理情報の抽出の処理手順を示す一例である。
最初に、画像特徴抽出部１０２は、画像の各画素の輝度に対して、２次元フーリエ変換をかけて空間周波数情報を取得する（Ｓ８０１）。
次に、マッピング処理部１０９は、高周波成分が多いか否かの判定を行う（Ｓ８０２）。この場合において、高周波成分が多いと判断した場合においては（Ｓ８０２でＹ）、この高周波成分が多いほど画像データが「動的」であると判断し（Ｓ８０３）、一方、高周波成分が多くないと判断された場合においては（Ｓ８０２でＮ）、「静的」と判断（Ｓ８０４）して感性マップ上に配置する。

また、図８（ｂ）においては、画像特徴抽出部１０２において物理情報として輝度情報を用いる場合の処理手順を示すものである。
最初に、画像特徴抽出部１０２は、最初に元の画像を複数の領域に分割して領域間の輝度のばらつきを算出する（Ｓ８０５）。そして、マッピング処理部１０９は、このばらつきが大きいか否かの判定を行う（Ｓ８０６）。ばらつき大きいと判断した場合においては（Ｓ８０６でＹ）「動的」であると判断し（Ｓ８０７）、一方、ばらつきが大きくないと判断した場合においては（Ｓ８０６でＮ）「静的」であると判断（Ｓ８０８）して、感性マップ上に画像データを配置する。尚、画像特徴抽出部１０２で抽出される物理特徴量は、上述の空間周波数や輝度情報等に限定されず、自己相関等の各種のものが考えられる。

図９は、本実施の形態１に係る静止画再生装置１００の画像特徴抽出部１０２におけるＹ軸方向である心理情報の抽出の処理手順を示す一例である。
最初に、画像特徴抽出部１０２は、画素の色情報を抽出する（Ｓ９０１）。表色系には色々なものがあるが、例えばＬａｂ表色系を使う。
そして、マッピング処理部１０９においては、赤等の暖色系が支配的であるか否かの判定を行う（Ｓ９０２）。そして、暖色系が支配的であれば（Ｓ９０２でＹ）、「暖かい」と判断する（Ｓ９０３）。暖色系が支配的でなければ（Ｓ９０２でＮ）、青等の冷色系が支配的か否かの判定を行う（Ｓ９０４）。この際、冷色系が支配的となれば（Ｓ９０４でＹ）、「冷たい」判断する（Ｓ９０５）。一方、冷色系が支配的でないと判断した場合においては（Ｓ９０４でＮ）、中間的であると判断して（Ｓ９０６）感性マップ上に配置する。

尚、図７から図９におけるマッピング処理部１０９は、いずれの場合にも、事前に画像のレイアウト構成を分析し、代表領域を抽出して、ここの特徴をメインに利用した方が輝度は向上する。さらに、代表領域と背景領域の両者の情報から判断しても良い。レイアウト分析は、例えば色、輝度情報の画像領域内の分布から行うことができる。
図１０は、本実施の形態１に係る静止画再生装置１００の音楽特徴抽出部１０６における特徴量の抽出を行う際のフローチャートである。

最初に、音楽特徴抽出部１０６は、音楽データより振幅、周波数、テンポ等の情報を取り出す（Ｓ１００１）。そして、マッピング処理部１０９においては、これらの情報を用いて音楽データの種類を「ポップス」、「ロック」、「唱歌」、「演歌」等のジャンル毎に分別して（Ｓ１００２）、音楽マップ上に配置する。
図１１は、本実施の形態１に係る静止画再生装置１００の画面に表示される感性マップの一例を示す。

図１１（ａ）においては、感情として人物表情を用いて各画像のマッピングを行った際のマッピング画像１１００が示されている。ここでは人物表情として「喜怒哀楽」があり、各象限の例を図１１（ａ）に示している。すなわち、
第一事象：動的、暖かい ＝ 「喜」
第二事象：静的、暖かい ＝ 「楽」
第三事象：静的、冷たい ＝ 「哀」
第四事象：動的、冷たい ＝ 「怒」
に対応する。

そして、ユーザがメニュー入力部１１１を介して、例えば「喜」の第一事象を選択することにより、画像の特徴量が動的で暖かい「喜」であると判断された第一事象の画像データのスライドショーが始まると共に、音楽感性マップの第一事象と判断された音楽の再生も自動的に行われる。例えば、人物写真であれば喜びの表情、風景写真であれば動きのダイナミックなもの、音楽は楽しいポップス系が自動的に選択され再生される。

図１１（ｂ）においては、感性として風景写真を用いる。この風景写真においては物理情報と心理情報とを用いて特徴量を抽出して、マッピング処理部１０９において感性マップ上に配置する。
ここで、画像感性について、各象限の写真例を図１１（ｂ）に示す。例えば、
第一事象：動的、暖かい ＝ 「炎」
第二事象：静的、暖かい ＝ 「パンダ」、「街灯」
第三事象：静的、冷たい ＝ 「雪景色」
第四事象：動的、冷たい ＝ 「滝」、「豹」
である。

また、この決定においては上述したように空間周波数や輝度情報、色情報等を用いてマッピング処理部１０９において判断される。例えば、「炎」、「火事」であれば温度が高いし、「滝」であれば動きが速い。一方、Ｙ軸は主に心理情報に起因するものであり、実際の温度とは関係ない場合がある。例えば、画像感性において「パンダ」は暖かい感じがするし、「豹」は冷たい感じがするが、共に体温を持った哺乳類である。

図１２は、本実施の形態１に係る静止画再生装置１００の画面に表示される音楽特徴量を用いた感性マップの一例を示す。
音楽感性について、各象限のジャンルは、例えば、
第一事象：動的、暖かい ＝「ポップス」
第二事象：静的、暖かい ＝ 「唱歌」
第三事象：静的、冷たい ＝ 「演歌」
第四事象：動的、冷たい ＝ 「ロック」
である。尚、音楽感性マップは、特に、カーナビ等において音楽を選択してからスライドショーを試聴する場合において特に有効となる。

さらに、本発明に係る静止画再生装置１００においては、画像の表示を効果的にするために、以下のような方法が考えられる。
（１）定量化された軸に対応するスコア順に表示し、徐々に盛り上げる。例えば、感性マップで「喝」が選択された場合、スコア情報を用いて人物写真の表示順を、通常の表情から怒りの度合いが高いものに順次変化させる。

（２）スコアに応じて視覚効果を変化させる。例えば、スコアの低い画像は激しく動かし動きを演出する、スコアの高い画像は、ゆっくりズームインすることにより画像そのものをじっくり表示する。
（３）スコアの高低をまぜて、変化をつける。また時々マップ上で離れたものを表示し、意外性をアピールする。

またさらに、本発明の静止画再生装置１００においては、画像の変形をするのも有効である。例えば、感性マップで「哀」が選択された場合においては、スライドショー生成部１１０において、画像中の人物の表情を泣き顔に変える、風景写真の色調を夕焼けっぽく変えるなどを行う。音楽についても同様に、調子をマイナー調に変えることで選択された雰囲気を反映するようにする。

以上の説明より、本発明に係る静止画再生装置１００においては、画像データより物理情報及び心理情報の特徴量の抽出を行う画像特徴抽出部１０２、音楽データより物理情報御及び心理情報の特徴量の抽出を行う音楽特徴抽出部１０６、及び、これらの特徴量のデータを用いて音楽データ及び画像データを同軸系の感性マップ上にマッピング処理を行うマッピング処理部１０９を備える。

従って、ユーザはメニュー入力部１１１を介して感性マップよりスライドショーとしてその時の気分や雰囲気で再生を行いたい画像情報又は音楽情報の一方を選択するのみで、音楽と画像が調和したスライドショーの再生、表示が自動的に実現されるために、ユーザにおける娯楽性を向上させることができる。
また、感性マップの定量化された特徴量であるスコア情報に基づいて、スライドショー生成部１１０において視覚効果や画像変形処理を行うことが可能となるために、より娯楽性を高めたスライドショーの再生を行うことも可能となる。

尚、本実施の形態１において説明した感性マップ以外に、感情、画像感性、音楽感性それぞれの異なる軸を採用して、マップ間で対応付けてもよい。また、感性マップにおける軸は本実施の形態１において示した物理情報と心理情報に起因するものに限る必要もない。また感性マップの説明で使用した「喜」等の用語もこれらに限定されるものではない。
また、本実施の形態１において示したマッピングも一例であり、例えば音楽感性マップにおいて、ポップスの中でも静的かつ暖かい領域に属するものもある。また感じ方には個人差があるので、感性マップ上の音楽データの位置が個人の感覚と整合しない場合がある。従って、マッピング処理部１０９におけるマッピング処理においては、ある程度、個人別のカスタマイズは必要であるが、本発明の本質を損なうものではない。

そして、画像特徴抽出部１０２及び音楽特徴抽出部１０６における特徴抽出は登録時に限る必要はない。例えば、一旦音楽蓄積部１０８及び画像蓄積部１０４にデータを蓄積した後、スライドショー生成部１１０が止まっている間などを利用してバックグランドで行ってもいいし、静止画再生装置１００の処理速度が十分速ければ、選択時に行ってもよい。またさらに、画像データや音楽データのマッピングは、自動抽出に限定されず、ユーザが手動で登録できることは言うまでもない。

そして、画像データ及び音楽データをネットワークを介してダウンロードしても良いし、この場合においては、ダウンロードする音楽データや画像データそのものに特徴量の情報が付与されていても構わない。

（実施の形態２）
次に、本発明に係る静止画再生装置１００の実施の形態２についての説明を行う。
本実施の形態２においては、感性マップに、上述した実施の形態１に係る画像又は音楽の感性マップを用いる以外に、スタイルを定義した感性マップを作成することを特徴とする。尚、本実施の形態２におけるスタイルとは「うきうき」、「ほのぼの」といったスライドショー全体の雰囲気を決めるものである。
また、本実施の形態２に係る静止画再生装置１００の機能ブロックは、図１において上述した実施の形態１の静止画再生装置１００と同様であるために、特にその説明は行わない。

図１３は、本実施の形態２に係る静止画再生装置１００のマッピング処理部１０９において行われるスタイルを用いたマッピング図の一例である。マッピング処理部１０９は、各事象に対応するスタイルを定義する。例えば、
第一事象：動的、暖かい ＝ 「うきうき」
第二事象：静的、暖かい ＝ 「ほのぼの」
第三事象：静的、冷たい ＝ 「さむざむ」
第四事象：動的、冷たい ＝ 「喝」
である。

図１４は、本実施の形態２に係る静止画再生装置１００において表示される感性マップの関連を示す図である。感性マップを画像、音楽、スタイルで同軸系を採用している。このため、マップ間の対応関係が明確になり、スライドショーの再生においてユーザがメニュー入力部１１１を介してスタイルを選択することにより、選択されたスタイルに適した音楽データ及び画像データが優先的に再生可能となる。

図１５は、本実施の形態２に係る静止画再生装置１００の画面表示の１つであるアルバム表示画面の一例である。
ユーザは、スライドショーの開始時においては再生を希望するアルバムを選択することもあり、このアルバム表示画面においては、ユーザが登録しているアルバムの内容が項目毎に分けられて表示される。例えば、アルバムとしては「国内旅行九州」、「海外旅行アメリカ」、「運動会」、「飲み会」等に区別される。

ユーザは、メニュー入力部１１１を介して、このアルバム画面よりスライドショーとして再生を希望するアルバムを選択することのみで、画像と音楽とが自動的に再生される。例えば、「旅行」のアルバムのスライドショーを選択した場合においては、海辺の写真においては海に調和した音楽が自動的に選択され、そのまま旅行中の夕食の飲み会においては飲み会に調和した音楽が自動的に再生される。

また、カーナビ等においては音楽を最初に選択して、当該音楽に合わせたスライドショーを再生することが有効となる。このような場合においては、記録されている音楽一覧を表示して、ユーザがメニュー入力部１１１を介して再生を希望する音楽を選択して、選択された音楽の雰囲気に合わせてスライドショーの再生を行うことも考え得る。
図１６は、実施の形態２に係る静止画再生装置１００におけるユーザの処理手順を示すフローチャートである。

最初に、ユーザはメニュー入力部１１１を介してメニュー画面を選択する（Ｓ１６０１）。このメニュー画面としては、本実施の形態２においてはスタイルを選択することとなる。
次に、ユーザはメニュー入力部１１１を介してスライドショーを開始するスタイルの位置をマップ上より選択する（Ｓ１６０２）。

そして、スライドショー生成部１１０は、メニュー入力部１１１からの指示に従ってスライドショーを生成し、表示部１１２から出力する（Ｓ１６０３）。例えば、選択されたスタイルが「うきうき」であれば第一事象の画像と音楽が優先的に選択され派手な動きを、「ほのぼの」であれば第二事象の画像と音楽が優先的に選択され、ゆるやかな柔らかい動きを主流とすることで、スタイルの雰囲気に合った画像の再生が行われる。

以上のように、本実施の形態２に係る静止画再生装置１００においては、マッピング処理部１０９において画像及び音楽と同軸系の感性マップを用いて、スタイルを定義した感性マップを作成する。
従って、ユーザがメニュー入力部１１１を介して画面より「うきうき」等のスタイルを選択することにより、スライドショー生成部１１０において、スタイルに合わせた画像及び音楽を用いたスライドショーが自動的に再生されるため、雰囲気に合わせたスライドショーの再生を行うことが可能となる。

尚、画像の表示を効果的にするために、上述の実施の形態１と同様に、スコアに合わせて視覚効果を与えることも考え得る。また、スタイルに合った画像を選択するだけでなく、実施の形態１と同様に、画像の変形をするのも有効である。例えば、スタイル＝「さむざむ」の場合、スライドショー生成部１１０において画像中の人物の表情を泣き顔に変える、風景写真の色調を夕焼けっぽく変えるなどを行う。音楽についても同様に、調子をマイナー調に変えることでスタイルを反映することが可能となる。

（実施の形態３）
次に、本発明に係る静止画再生システムの実施の形態３についての説明を行う。尚、本実施の形態３において、静止画再生システムは送信装置及び受信装置から構成され、送信装置は送信部を備え、この送信部から特徴量を含む画像データを受信装置に送信し、受信装置においては、特徴量を読み出すことよりユーザの要求に従って画像を抽象化して表示する。

また、本実施の形態３の静止画再生システムは、一般的にはテレビ電話的なものであり、音声と共に画像を送信するものである。音声については通常の電話と同じなので詳細な説明は省略する。
図１７は、本発明の実施の形態３に係る送信装置１７００及び受信装置１７１０の機能ブロックの構成図である。

送信装置１７００は、少なくともカメラ１７０３、画像特徴抽出部１７０１、送信部１７０２を備える。
カメラ１７０３は通話者の顔の表情等の撮影を行い、画像特徴抽出部１７０１は、例えば１秒ごとの画像を抽出して、この画像より物理情報及び心理情報の特徴量の抽出を行う。送信部１７０２は、電話線等のネットワークを介して画像データと共に画像特徴抽出部１７０１において抽出された特徴量を受信装置１７１０に送信する。

一方、受信装置１７１０は、受信部１７１１、画像蓄積部１７１２、画像生成部１７１３、表示部１７１４、及びメニュー入力部１７１５を備える。
受信部１７１１は、送信装置１７００の送信部１７０２から送信される情報を受信する。画像蓄積部１７１２は、受信部１７１１において受信した画像データを記録するハードディスク等である。画像生成部１７１３は、画像データから特徴量を抽出してユーザの選択に合わせた画像を選択して表示部１７１４において表示するための画像を生成する。表示部１７１４は、画像生成部１７１３において生成された画像の表示を行う。メニュー入力部１７１５は、ユーザからリモコン等を介してメニュー選択を受け付ける。

次に、本実施の形態３に係る静止画再生システムにおける画像送信の手順についての説明を行う。尚、ここでは送信装置１７００から受信装置１７１０への通信について説明するが、送信装置１７００と受信装置１７１０を一体として、全２重通信等の双方向で通信してもよい。
送信装置１７００では、カメラ１７０３で送信者の表情を捕らえ、画像特徴抽出部１７０１で、表情から感情推定を行い、送信部１７０２から感情情報を送出する。

受信装置１７１０は受信部１７１１で感情情報を受け、画像生成部１７１３に伝える。画像生成部１７１３は画像蓄積部１７１２から送信者の画像を選択し、感情に合った写真を選択して表示する、或いは感情に合わせて表情変化させて表示部１７１４に表示する。画像蓄積部１７１２に蓄えるデータは送信者が送り込んでもいいし、受信者が設定してもいい。

また、表示部１７１４において表示する写真は必ずしも送信者でなくて、雰囲気に合わせて関連するものでもいい。例えば、送信者の家族、関係者、好みの芸能人、ＣＧキャラクタ等が考えられる。さらに、人物写真ではなく、風景写真でもいい。怒りの場面では火山噴火、さわやかな場面では小川のせせらぎ等、送信者の感情に合った感性を有する写真を表示する。人物写真同様、写真を変形させて表現してもよい。また、画像を会話中に順次切りかえ、実施の形態１で説明したスライドショー的な再生を行っても良い。

そして、効果を高めるために、以下のような方法が考えられる。
第一の方法としては、通信履歴に応じて表示を変える。例えば、着信間隔が長いと画像生成部１７１３において怒りの表情に変えたり、着信回数が既定値（例えば１００回）に達すると喜びの表情を表示したりする。また、他の方法としては、着信時、通信時で画面を変えることが考え得る。これは、呼び出し中は無表情な送信者の表情を表示し、ダイアルアップ時において喜ぶ表情に変形して表示する等が考え得る。

以上により、本実施の形態３に係る送信装置１７００及び受信装置１７１０においては、従来のテレビ電話のように顔表情を直接的にそのまま送る場合に比べ、受信装置１７１０側において表示される画像表現がユーザの好みに合わせて、例えば画像を会話中に順次切りかえる等、抽象化されるので、プライバシー保護と柔らかな感情のコミュニケーションを実現することが可能となる。

尚、送信装置１７００側での感情推定は顔表情に限らず、声、脈拍、血圧等のバイタルサインからも推定可能であり、各種情報を組み合わせることで精度を向上することが可能となる。

本発明に係る静止画再生装置は、静止画の再生機能を有するデジタルカメラ、携帯電話機、カーナビ、ＤＶＤレコーダ、ＰＤＡ等の装置として用いることができ、また、本発明に係るプログラムはＰＣでのデジタル写真の閲覧ソフトとして有用となる。

実施の形態１における静止画再生装置の構成図である。 実施の形態１における画像特徴抽出部において抽出されたデータを含む画像パケットの構成図である。 実施の形態１における音楽特徴抽出部において抽出された抽出情報を含む音楽パケットの構成図である。 実施の形態１に係る静止画再生装置におけるユーザ側の処理手順を示すフローチャートである。 実施の形態１に係る静止画再生装置において表示される感性マップの一例である。 実施の形態１に係る静止画再生装置において表示される画像感性マップ及び音楽感性マップの関連を示す図である。 実施の形態１に係る静止画再生装置の画像特徴抽出部における人物表情を特定する場合の動作手順を示すフローチャートである。 実施の形態１に係る静止画再生装置の画像特徴抽出部における物理情報の抽出の処理手順を示す一例である。 実施の形態１に係る静止画再生装置の画像特徴抽出部におけるＹ軸方向である心理情報の抽出の処理手順を示す一例である。 実施の形態１に係る静止画再生装置の音楽特徴抽出部における特徴量の抽出を行う際のフローチャートである。 実施の形態１に係る静止画再生装置の画面に表示される感性マップの一例を示す。 実施の形態１に係る静止画再生装置の画面に表示される音楽特徴量を用いた感性マップの一例を示す。 実施の形態２に係る静止画再生装置のマッピング処理部において行われるスタイルを用いたマッピング図の一例である。 実施の形態２に係る静止画再生装置において表示される感性マップの関連を示す図である。 実施の形態２に係る静止画再生装置の画面表示の１つであるアルバム表示画面の一例である。 実施の形態２に係る静止画再生装置におけるユーザの処理手順を示すフローチャートである。 実施の形態３に係る送信装置及び受信装置の機能ブロックの構成図である。 特許文献１に記載された従来のスライドショー装置の構成図である。

符号の説明

１００ 静止画再生装置
１０１ 画像入力部
１０２ 画像特徴抽出部
１０３ 画像パケット生成部
１０４ 画像蓄積部
１０５ 音楽入力部
１０６ 音楽特徴抽出部
１０７ 音楽パケット生成部
１０８ 音楽蓄積部
１０９ マッピング処理部
１１０ スライドショー生成部
１１１ メニュー入力部
１１２ 表示部
２００ 画像パケット
２０１ 画像ＩＤ
２０２ 画像特徴量
２０２ａ カメラ情報
２０２ｂ 人物情報
２０２ｃ 画像感性情報
２０３ 画像データ
３００ 音楽パケット
３０１ 音楽ＩＤ
３０２ 音楽特徴量
３０２ａ リズム情報
３０２ｂ 音楽感性情報
３０３ 音楽データ
１７００ 送信装置
１７０１ 画像特徴抽出部
１７０２ 送信部
１７０３ カメラ
１７１０ 受信装置
１７１１ 受信部
１７１２ 画像蓄積部
１７１３ 画像生成部
１７１４ 表示部
１７１５ メニュー入力部

Claims (21)

1. 画像データ及び音楽データを用いてスライドショーの再生を行う静止画再生装置であって、
   前記音楽データから音楽特徴量を抽出する音楽特徴抽出手段と、
   前記画像データから画像特徴量を抽出する画像特徴抽出手段と、
   前記画像データ及び前記音楽データを前記音楽特徴量及び前記画像特徴量を用いて同軸系上のマップにマッピングするマッピング処理手段と、
   前記マップに配置され、スライドショーの再生を要求する前記音楽データ又は前記画像データの選択をユーザから受け付ける受付手段と、
   前記マッピング処理手段がマッピングした前記音楽データ及び前記画像データの再生を行う再生手段とを備える
   ことを特徴とする静止画再生装置。
2. 前記再生手段は、ユーザによって音楽データが選択された場合には、選択された音楽データと、当該音楽データの前記マップ上と同事象の画像データとを優先的に再生し、
   ユーザによって画像データが選択された場合には、選択された画像データと、当該画像データの前記マップ上と同事象の音楽データとを優先的に再生する
   ことを特徴とする請求項１記載の静止画再生装置。
3. 前記マップは、第一軸方向に物理情報、第二軸方向に心理情報を配置した２軸を用い、
   前記画像特徴量抽出手段及び前記音楽特徴量抽出手段は、前記物理情報及び前記心理情報を含む前記画像特徴量及び前記音楽特徴量の抽出をそれぞれ行う
   ことを特徴とする請求項１記載の静止画再生装置。
4. 前記物理情報は、空間周波数であり、
   前記マッピング処理手段は、前記空間周波数において高周波成分が多い場合においては動的傾向であると判断し、前記高周波成分が少ない場合においては静的傾向であると判断して前記マッピング処理を行う
   ことを特徴とする請求項３記載の静止画再生装置。
5. 前記物理情報は、輝度情報であり、
   前記マッピング処理手段は、前記輝度情報のばらつきが多い場合においては動的傾向であると判断し、前記ばらつきが少ない場合においては静的傾向であると判断して前記マッピング処理を行う
   ことを特徴とする請求項３記載の静止画再生装置。
6. 前記物理情報は、音の波長、振幅、又はリズムであり、
   前記マッピング処理手段は、前記音の波長、振幅、又はリズムの情報を用いて音楽のジャンル傾向を判定して前記マッピング処理を行う
   ことを特徴とする請求項３記載の静止画再生装置。
7. 前記心理情報は、色情報であり、
   前記マッピング処理手段は、前記色情報が暖色系の場合においては暖傾向と判断し、冷色系の場合においては冷傾向と判断して前記マッピング処理を行う
   ことを特徴とする請求項３記載の静止画再生装置。
8. 前記物理情報は、前記画像データの被写体の顔の制御点データであり、
   前記マッピング処理手段は、前記制御点データを用いて顔の喜怒哀楽の表情を判断し、前記マッピング処理を行う
   ことを特徴とする請求項３記載の静止画再生装置。
9. 前記マッピング処理手段は、前記マップ上の各事象に対応した前記スライドショーの雰囲気であるスタイルを定義して配置し、
   前記再生手段は、前記入力手段において選択されるマップ上の前記スタイルと同事象の前記音楽データ及び前記画像データを優先的に再生する
   ことを特徴とする請求項１記載の静止画再生装置。
10. 前記静止画再生装置は、さらに、
    前記画像特徴量を前記画像データに追加した画像パケットの生成を行う画像パケット生成手段と、
    前記音楽特徴量を前記音楽データに追加した音楽パケットを生成を行う音楽パケット生成手段と、
    前記画像パケットを蓄積する画像蓄積手段と、
    前記音楽パケットを蓄積する音楽蓄積手段とを備え、
    前記マッピング処理手段は、前記画像蓄積手段と前記音楽蓄積手段とにおいて記録されている前記画像パケット及び前記音楽パケットから前記画像特徴量及び前記音楽特徴量をそれぞれ取得して前記マッピング処理を行う
    ことを特徴とする請求項１記載の静止画再生装置。
11. 前記静止画再生装置は、さらに、
    前記画像データを用いて、被写体の顔の制御点データを用いて顔の表情を変形する、又は画素の色情報を変更することにより画像の色調を変形する変形手段を備える
    ことを特徴とする請求項１記載の静止画再生装置。
12. 前記静止画再生装置は、さらに、
    前記画像特徴量及び前記音楽特徴量を数値化したスコア情報を判定するスコア判定手段を備え、
    前記再生手段は、前記スコア情報に応じて視覚効果を与えて再生を行う
    ことを特徴とする請求項１記載の静止画再生装置。
13. 前記再生手段は、前記視覚効果として、前記スコア情報を用いて、前記スコア情報が高い画像データに対しては、長い時間、大きく表示、又は遅く動かすようにスライドショーの再生を行う
    ことを特徴とする請求項１２記載の静止画再生装置。
14. 前記再生手段は、前記視覚効果として、前記スコア情報の低いものから高いものに順次に前記画像データ及び前記音楽データを再生、又は前記スコア情報の離れた前記画像データ及び前記音楽データを再生する
    ことを特徴とする請求項１２記載の静止画再生装置。
15. 前記再生手段は、前記入力手段において選択された前記スコア情報に近いスコアを有する画像データ及び音楽データの再生を優先的に行う
    ことを特徴とする請求項１２記載の静止画再生装置。
16. 画像データ及び音楽データを用いてスライドショーの再生を行う静止画再生装置に用いる静止画再生方法であって、
    前記音楽データから音楽特徴量を抽出する音楽特徴抽出ステップと、
    前記画像データから画像特徴量を抽出する画像特徴抽出ステップと、
    前記画像データ及び前記音楽データを前記音楽特徴量及び前記画像特徴量を用いて同軸系上のマップにマッピングするマッピング処理ステップと、
    前記マップに配置され、スライドショーの再生を要求する前記音楽データ又は前記画像データの選択をユーザから受け付ける受付ステップと、
    前記マッピングステップにおいてマッピングした前記音楽データ及び前記画像データの再生を行う再生ステップとを含む
    ことを特徴とする静止画再生方法。
17. 前記再生ステップにおいては、さらに、ユーザによって音楽データが選択された場合には、選択された音楽データと、当該音楽データの前記マップ上と同事象の画像データとを優先的に再生し、
    ユーザによって画像データが選択された場合には、選択された画像データと、当該画像データの前記マップ上と同事象の音楽データとを優先的に再生する
    ことを特徴とする請求項１６記載の静止画再生方法。
18. 前記マップは、第一軸方向に物理情報、第二軸方向に心理情報を配置した２軸を用い、
    前記画像特徴量抽出ステップ及び前記音楽特徴量抽出ステップにおいては、前記物理情報及び前記心理情報を含む前記画像特徴量及び前記音楽特徴量の抽出をそれぞれ行う
    ことを特徴とする請求項１６記載の静止画再生方法。
19. 画像データ及び音楽データを用いてスライドショーの再生を行う静止画再生装置に用いるプログラムであって、
    前記音楽データから音楽特徴量を抽出する音楽特徴抽出ステップと、
    前記画像データから画像特徴量を抽出する画像特徴抽出ステップと、
    前記画像データ及び前記音楽データを前記音楽特徴量及び前記画像特徴量を用いて同軸系上のマップにマッピングするマッピング処理ステップと、
    前記マップに配置され、スライドショーの再生を要求する前記音楽データ又は前記画像データの選択をユーザから受け付ける受付ステップと、
    前記マッピングステップにおいてマッピングした前記音楽データ及び前記画像データの再生を行う再生ステップと
    をコンピュータに実行させることを特徴とするプログラム。
20. 前記再生ステップにおいては、さらに、ユーザによって音楽データが選択された場合には、選択された音楽データと、当該音楽データの前記マップ上と同事象の画像データとを優先的に再生し、
    ユーザによって画像データが選択された場合には、選択された画像データと、当該画像データの前記マップ上と同事象の音楽データとを優先的に再生すること
    をコンピュータに実行させることを特徴とする請求項１９記載のプログラム。
21. 前記マップは、第一軸方向に物理情報、第二軸方向に心理情報を配置した２軸を用い、
    前記画像特徴量抽出ステップ及び前記音楽特徴量抽出ステップにおいては、前記物理情報及び前記心理情報を含む前記画像特徴量及び前記音楽特徴量の抽出をそれぞれ行うこと
    をコンピュータに実行させることを特徴とする請求項１９記載のプログラム。

Images