JP2006154626A - 画像提示装置、画像提示方法およびスライドショー提示装置 - Google Patents

Abstract

【課題】 楽曲の歌詞の内容に合わせて、動きを伴う視覚効果を付加することを可能とする画像提示装置等を提供する。
【解決手段】 歌詞単語抽出部１０１、出現時刻抽出部１０２を含んだ歌詞抽出部１０、視覚効果データベース１１、視覚効果検索部１２、視覚効果付加部１３、演奏特徴抽出部１４を備え、視覚効果付加部１３に視覚効果補正部１３１を設けることにより、複数の単語が短い区間に連続して出現するような場合においても、楽曲の歌詞の内容に合わせて、動きを伴う視覚効果を付加することが可能となる。
【選択図】 図１

Description

本発明は、歌詞を伴う楽曲に合わせて視覚効果を付加する画像提示装置およびその方法に関し、さらに、上記の視覚効果付加機能を備えたスライドショー生成装置に関する。

デジタルカメラやカメラ付き携帯電話が広く普及することに伴い、デジタル画像が数多く撮影・保存されるようになってきている。

従来、デジタル画像を閲覧する方法の一つとして、画像を順番に切り換えて表示するスライドショーという機能がある。

最近になり、単純に画像を切り換えながら表示するだけでなく、ＢＧＭとして音楽を再生しつつ、画像に対してパンやズームといった様々な視覚効果を施して表示する、より娯楽性を高めたタイプのスライドショーが登場している。

一方、対象は異なるが、同じように音楽とともに画像の表示を行うアプリケーションにカラオケ装置がある。この分野の従来技術としては、歌詞などから抽出した雰囲気を表わす情報である雰囲気情報を生成し、生成された雰囲気情報に対応する表示を行うことにより、娯楽性を高めたカラオケ装置が提案されている（特許文献１参照）。

特許文献１に記載されたカラオケ装置４のうち、歌詞などに基づく雰囲気情報の生成と、生成された雰囲気情報に対応する表示に関する部分を抜粋した構成を図１６に示す。本装置４は、歌詞抽出部３０、感性語データベース３１、感性語検索部３２、表示制御部３３、表示部３４からなり、歌詞抽出部３０は、歌詞単語抽出部３０１、出現時刻抽出部３０２を含む。

歌詞抽出部３０は、入力された楽曲情報から、歌詞単語抽出部３０１によって歌詞に出現する単語を抽出し、出現時刻抽出部３０２によってその単語が歌詞中に出現する時刻を抽出する。

感性語データベース３１は、単語とその感性情報との対応関係を保持している。感性語検索部３２は、歌詞単語抽出部３０１によって抽出された単語が感性語データベース３１に存在するか探索し、もし単語が存在した場合には、その単語に対応する感性情報を感性語データベース３１から取得する。

表示制御部３３は、感性語検索部３２で取得された感性情報から雰囲気情報を生成し、生成された雰囲気情報に基づいて、出現時刻抽出部３０２で得られる歌詞の出現時刻における表示を制御する。例えば、背景などの表示色や、画面に表示される人物の顔の表情を制御する。表示部３４は、表示制御部３３の制御に従って画面に表示を行う。

上述した、ＢＧＭとして音楽を再生しつつ、画像に対して視覚効果を施して表示するタイプのスライドショーにおいても、音楽が歌詞のある楽曲の場合、上記特許文献１に記載のカラオケ装置と同様に、歌詞の内容に合わせて視覚効果を施すことが考えられる。
特開平９−２１２４８０号公報

しかしながら、上記特許文献１では、以下のような問題を有している。
上述のスライドショーにおける視覚効果には、パンやズームといった動きを伴う効果が存在する。これらの動きを伴う視覚効果の再生には、ある一定の時間が必要であるが、上記特許文献１では、視覚効果における所要時間が考慮されていない。

ここで、図１７に示すような場合を考える。図１７では、感性語データベース３１に存在する、歌詞中の単語Ａ、Ｂ、Ｃが短い区間に連続して出現している。そして、各単語に対応する視覚効果に必要な時間が、各単語が出現する時間間隔よりも長くなっており、各視覚効果の時間が重なっている。したがって、単語Ａ、Ｂ、Ｃに対応する各視覚効果を、それぞれの出現時刻に対してそのまま順に付加することができない。

すなわち、特許文献１で記載されているような、表示色や表情の制御のように瞬間的な表示の変化の場合は、感性語データベース３１に存在する複数の単語が短い区間に連続して出現しても、各単語が出現した時点時点で表示を変化させればよく、特許文献１に記載の構成でも問題ない。しかし、動きを伴う視覚効果の場合には、一定の時間が必要となるため特許文献１の構成では対応できないということである。したがって、何らかの補正手段が必要となる。

本発明は、上記の課題を解決するものであり、楽曲の歌詞の内容に合わせて、動きを伴う視覚効果を適切に付加することを可能とする画像提示装置等を提供することを目的とする。

上記の目的を達成するために、本発明に係る画像提示装置は、歌詞を伴う楽曲の再生とともに歌詞と画像とを表示する画像提示装置であって、歌詞とその出現時間を含む楽曲データから歌詞を抽出する抽出手段と、抽出された歌詞の出現時間を特定する歌詞時間特定手段と、複数の視覚効果情報と視覚効果の表示に要する所要時間とを対応させて記憶する記憶手段と、抽出された歌詞に基づいて、画像に適用する視覚効果を決定する決定手段と、前記歌詞の出現時間に応じて、決定された視覚効果に対応する所要時間を補正する補正手段と、歌詞に合わせて、補正後の所要時間の間、視覚効果を制御する制御手段とを備えることを特徴とする。

これにより、複数の歌詞が短い区間に連続して出現するような場合においても、楽曲の歌詞の内容に合わせて、動きを伴う視覚効果を付加することが可能となる。

ここで、前記画像提示装置は、さらに、歌詞と視覚効果情報との対応関係を保持する保持手段を備え、前記決定手段は、前記抽出手段で抽出された歌詞が、前記保持手段に含まれているかを検索することによって視覚効果を決定してもよい。

この構成によれば、歌詞が保持手段に含まれていた場合に、視覚効果を当該視覚効果の所要時間情報を付加して決定される。

ここで、前記画像提示装置は、さらに、歌詞と属性とを対応づけて保持する第１保持手段と、属性と視覚効果との対応関係を保持する第２保持手段とを備え、前記決定手段は、前記抽出手段で抽出された歌詞が、前記第１保持手段に含まれているかを検索し、含まれていた場合に対応する属性を読み出し、さらに、前記第２保持手段を参照して、読み出した前記属性に対応する視覚効果検索することによって視覚効果を決定してもよい。

この構成によれば、歌詞が第１保持手段に含まれていた場合に属性を読み出され、読み出された属性に対応する視覚効果が当該視覚効果の所要時間情報を付加して決定される。

ここで、前記制御手段は、補正後の所要時間内に、視覚効果の表示を収めるように視覚効果の処理速度を調整してもよい。

この構成によれば、動作速度が調整され補正がおこなわれる。
ここで、前記制御手段は、補正後の所要時間の終了時刻に前記視覚効果の表示を打ち切ってもよい。

この構成によれば、動作を打ち切られることにより補正がおこなわれる。
ここで、前記制御手段は、補正後の所要時間内に、一つの歌詞に対応する視覚効果を処理速度を調整して表示してもよい。

この構成によれば、何れか１つの歌詞に対する視覚効果が実施され補正がおこなわれる。

ここで、前記制御手段は、補正後の所要時間内に、出現時間が最も長い歌詞に対応する視覚効果を処理速度を調整して表示してもよい。

この構成によれば、出現時間がもっとも長い歌詞に対応する視覚効果が実施され補正がおこなわれる。

ここで、前記制御手段は、補正後の所要時間内に、最初に出現する単語に対応する視覚効果を処理速度を調整して表示してもよい。

この構成によれば、最初に出現する歌詞に対応する視覚効果が実施され補正がおこなわれる。

ここで、前記制御手段は、補正後の所要時間内に、最後に出現する単語に対応する視覚効果を処理速度を調整して表示してもよい。

この構成によれば、最後に出現する歌詞に対応する視覚効果が実施され補正がおこなわれる。

ここで、前記制御手段は、補正後の所要時間内に、最も多く出現する歌詞に対応する視覚効果を処理速度を調整して表示してよい。

この構成によれば、最も多く出現する歌詞に対応する視覚効果が実施され補正がおこなわれる。

ここで、前記制御手段は、補正後の所要時間内に、歌詞が対応する視覚効果として最も多い視覚効果処理速度を調整して表示してよい。

この構成によれば、最も多く出現する歌詞が対応する視覚効果が実施され補正がおこなわれる。

ここで、前記制御手段は、補正後の所要時間内に、歌詞が対応する属性に対応する視覚効果として最も多い視覚効果を処理速度を調整して表示してよい。

この構成によれば、歌詞が対応する属性に対応する視覚効果として最も多い視覚効果が実施され補正がおこなわれる。

ここで、前記画像提示装置は、さらに、楽曲の演奏情報の特徴情報を抽出する演奏特徴抽出手段を備え、前記制御手段は、補正後の所要時間内に、前記歌詞時間取得手段によって特定された歌詞が出現する時間における、前記演奏特徴抽出手段によって抽出された演奏情報の特徴情報に基づいて決定された視覚効果を処理速度を調整して表示してよい。

この構成によれば、演奏特徴抽出手段によって抽出された演奏情報の特徴情報を基準として補正がおこなわれる。

また、本発明に係るスライドショー生成装置は、歌詞を伴う楽曲の再生とともに静止画像に視覚効果を施してスライドショーを提示するスライドショー提示装置であって、楽曲データから歌詞を抽出する抽出手段と、抽出された前記歌詞が出現する時間を特定する文字列時間特定手段と、抽出された前記歌詞に基づいて、付加する視覚効果を決定する視覚効果決定手段と、前記歌詞の出現時間に応じて前記視覚効果の所要時間を補正する所要時間補正手段と、所要時間が補正された前記視覚効果を前記静止画像に配置する視覚効果配置手段と前記視覚効果が配置された静止画像を用いてスライドショーを提示する提示手段とを備える。

これにより、本発明に係る画像提示装置の機能を備え、ＢＧＭとして歌詞のある楽曲を再生しつつ、画像に対して視覚効果を施して表示するタイプのスライドショーにおいて、歌詞の内容に合わせて視覚効果を施すことが可能となる。したがって、従来に増して娯楽性の高いスライドショーを提供することができる。

なお、本視覚効果付加を行う方法、プログラムにおいても同様の手段、効果を有している。

以上のように、本発明の画像提示装置によれば、複数の単語が短い区間に連続して出現するような場合においても、楽曲の歌詞の出現時間を考慮することにより、動きを伴う視覚効果を適切に付加することが可能となる。

また、本発明のスライドショー生成装置によれば、ＢＧＭとして歌詞のある楽曲を再生しつつ、画像に対して視覚効果を施して表示するタイプのスライドショーにおいても、歌詞の出現時間を考慮しているため、視覚効果を適切に施すことが可能となり、従来に増して娯楽性の高いスライドショーを提供することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
本発明の実施の形態１における画像提示装置１の機能構成を図１に示す。本装置１は、歌詞抽出部１０、視覚効果データベース１１、視覚効果検索部１２、視覚効果付加部１３、演奏特徴抽出部１４を備える。さらに、歌詞抽出部１０は、歌詞単語抽出部１０１、出現時刻抽出部１０２を含み、視覚効果付加部１３は、視覚効果補正部１３１を含む。

歌詞抽出部１０は、入力された楽曲（「楽曲情報」ともいう。）５から歌詞単語抽出部１０１によって歌詞中に出現する単語を抽出し、出現時刻抽出部１０２によってその単語が楽曲５の提示中に出現する時刻を抽出する。

視覚効果データベース１１は、単語と視覚効果とを対応づけて保持している。
図２は、視覚効果データベース１１に保持されている、単語と視覚効果との対応関係を示す一例である。図２に示すように、視覚効果データベース１１には、各視覚効果の所要時間についても保持されている。

視覚効果検索部１２は、歌詞単語抽出部１０１によって抽出された歌詞中の単語が視覚効果データベース１１に存在するか探索し、もし単語が存在した場合には、その単語に対応する視覚効果とその視覚効果の所要時間とを視覚効果データベース１１から取得する。

視覚効果付加部１３は、出現時刻抽出部１０２で得られる歌詞の出現時刻に対応する視覚効果として、視覚効果検索部１２で取得された視覚効果を付加する。この際、視覚効果補正部１３１は、複数の単語に対応する視覚効果を付加することによって、提示すべき時間が重なった場合に、付加する視覚効果の提示時間について補正を行う。

視覚効果付加部１３によって付加された視覚効果に関する情報は、例えば表示処理を行うブロックに送られて、視覚効果が施された表示がなされる。

演奏特徴抽出部１４は、入力された楽曲情報から、演奏情報の特徴情報（例えば、演奏テンポなど）を抽出する。抽出された演奏情報の特徴情報は、視覚効果補正部１３１において使用される。

以下、視覚効果補正部１３１における処理について説明する。
図３は、視覚効果の所要時間についての補正（以下「視覚効果補正」という。）の様子の一例である。図３には、歌詞中に視覚効果データベース１１に存在する単語Ａ、Ｂ、Ｃが短い区間に連続して出現する例が示されている。そして、各単語に対応する視覚効果の所要時間が、各単語が出現する時間よりも長くなっており、各視覚効果が重なっている。そこで、この場合の補正として、単語Ａ、Ｂ、Ｃに対応する各視覚効果を、通常よりも速く動作させることにより、各視覚効果の時間を対応する単語の出現時間内に収め、単語Ａ、Ｂ、Ｃのすべてに対してタイミングを合わせて視覚効果を付加している。

図４は、視覚効果補正の他の一例である。補正前の様子は、図３と同じである。この場合の補正においても、各単語の出現時間の終了時刻で対応する視覚効果の動作を打ち切ることにより、単語Ａ、Ｂ、Ｃのすべてに対してタイミングを合わせて対視覚効果を付加している。

上記図３、図４のような補正方法によると、単語Ａ、Ｂ、Ｃのすべてに対して視覚効果がタイミングよく付加されるので、短い区間に単語が連続して出現してもこれに対応する視覚効果を提示することができる。

図５は、視覚効果補正のさらに他の一例である。補正前の様子は、上記図３、図４と同じである。この場合の補正では、単語Ａ、Ｂ、Ｃのうちいずれか一つの単語に対応する視覚効果を全ての単語についても付加する補正を行う。図５は、最初に出現する単語（この場合は単語Ａ）に対応する視覚効果を付加する場合の例である。また、図示はしないが、最初に出現する単語ではなく、最後に出現する単語（この場合は単語Ｃ）やその他の単語（例えば、中間に位置する単語Ｂ）に対応する視覚効果を付加してもよい。また、同じく図示はしないが、出現時間が最も長い単語（この場合は単語Ｃ）に対応する視覚効果を付加してもよい。

なお、図５では、単語Ａに対応する視覚効果の時間を単語Ｃの出現時刻の終わりまで延長しているが、これは単語の区切りと視覚効果の区切りが一致することがより望ましいからである。ただし、必ずしも延長させなくともよい。

図５のように、いずれか一つの単語に対応する視覚効果を付加する補正を行うことにより、本来の提示速度にほぼ一致したタイミングで視覚効果を付加することができる。特に、最も出現時間が長い単語は、区間を最もよく代表していると考えることができる。また、最初に出現する単語に対応する視覚効果を付加する方法は、視覚効果の出だしの動きが歌詞の内容に一致する場合を想定したものであり、最初の単語が勢いよく歌われるような楽曲の場合に適している。また、最後に出現する単語に対応する視覚効果を付加する方法は、視覚効果の終わりの動きが歌詞に一致する場合を想定したものであり、最後の単語が長く伸ばして歌われるような楽曲の場合に適している。

図６は、視覚効果補正の、さらに他の一例である。補正前の状況は、歌詞中に視覚効果データベース１１に存在する単語Ａ、Ｂが短い区間に連続して出現しており、かつ、単語Ａは複数回（図では２回）出現している。この場合の補正では、単語Ａ、Ｂのうち、区間中の出現回数が最も多い単語（この場合は単語Ａ）に対応する視覚効果の付加を行う。

図７は、視覚効果補正の様子の、さらに別の一例である。補正前の状況は、歌詞中に視覚効果データベース１１に存在する単語Ａ、Ｂ、Ｃが短い区間に連続して出現しており、かつ、単語Ａと単語Ｃは同じ視覚効果に対応している。この場合の補正では、区間中で最も多くの単語が対応する視覚効果（この場合は単語Ａ、Ｃが対応する視覚効果）を付加する。

上記図６、図７の場合、区間中に最も多く出現する単語に対応する視覚効果、あるいは、区間中で最も多くの単語が対応する視覚効果は、その区間で最も影響が大きいと考えられる。
すなわち、上記図６、図７の補正方法によると、最も影響が大きい視覚効果を付加することができる。

さらに別の視覚効果補正（図示はしない）も考えられる。演奏特徴抽出部１４で抽出された演奏情報の特徴情報を使用して、視覚効果補正部１３１が付加する視覚効果を決定する方法である。具体的には、歌詞中に単語が出現する時刻において、演奏の音量が最も大きな単語に対応する視覚効果を付加する方法である。なお、演奏情報の特徴情報として、演奏の音量以外を使用しても構わないことは勿論である。

以上、視覚効果補正部１３１における補正方法をいくつか説明したが、視覚効果補正部１３１における補正方法は上記のいずれか一つに限定されるものではない。すなわち、上記のような複数の補正方法の中から、一定の基準に従って補正方法を選択するような構成にすることもできる。

ところで、歌詞抽出部１０における歌詞中の単語およびその出現時刻の抽出方法としては、例えば以下のような方法も考えられる。

まず、楽曲の演奏情報とは別途テキスト形式などで保存された歌詞情報から抽出する方法がある。この構成は、カラオケ装置などに適しており、歌詞情報が用意されているので実施が比較的容易なことが特徴である。

次に、音声中の単語を認識する音声認識部を設け、演奏情報に含まれる歌唱音声情報から音声認識部にて単語を認識する方法がある。この構成は、歌唱情報からの音声認識が必要なので実施が比較的困難であるが、歌詞情報を別途用意する必要がないことが特徴である。なお、以上の二つの方法に限られないのは勿論である。

ここで、本画像提示装置１における処理の流れを示すフローチャートを図８に示す。
最初に、歌詞抽出部１０は、歌詞単語及び出現時間を抽出する（Ｓ８１）。次に、視覚効果検索部１２は、抽出した歌詞単語が視覚効果を必要とする単語であるかどうかを、視覚効果データベース１１を参照して判断する（Ｓ８２）。抽出した歌詞単語が視覚効果に対応付けられている単語である場合（Ｓ８２でＹＥＳ）、視覚効果と所要時間が取得される（Ｓ８３）。

さらに、視覚効果付加部１３は、視覚効果を表示するにあたり、視覚効果の補正を必要とするか否かについて判断する（Ｓ８４）。視覚効果の補正が必要であると判断された場合（Ｓ８４でＹＥＳ）、視覚効果補正部１３１は、楽曲の演奏の特徴を抽出し（Ｓ８５）、これを参照して視覚効果の補正を行う（Ｓ８６）。

最後に、視覚効果が付加されて（Ｓ８７）、楽曲の再生とともに視覚効果が表示される（Ｓ８８）。楽曲が終了した場合（Ｓ８９でＹＥＳ）、本処理を終了する。

なお、視覚効果データベース１１において、一つの単語に対して複数の視覚効果を対応させ、視覚効果検索部１２で、単語に対応する視覚効果のうちの一つを選択して返すようにしてもよい。こうすることで、同じ単語に対して毎回同じ視覚効果が付加されるのを防ぐことができ、多様性を増すことができる。

（実施の形態２）
本発明の実施の形態２における画像提示装置２の機能構成を図９に示す。本装置２は、歌詞抽出部１０、視覚効果属性データベース１５、視覚効果属性検索部１６、視覚効果・属性対応保持部１７、視覚効果取得部１８、視覚効果付加部１９、演奏特徴抽出部１４を備える。さらに、歌詞抽出部１０は、歌詞単語抽出部１０１、出現時刻抽出部１０２を含み、視覚効果付加部１９は、視覚効果補正部１９１を含む。

図９において、上記実施の形態１の図１と同様の機能構成については同じ符号を用い、その説明は省略する。

視覚効果属性データベース１５は、単語と視覚効果の属性とを対応づけて保持している。

図１０は、視覚効果属性データベース１５に保持されている、単語と視覚効果の属性との対応関係を示す一例である。

視覚効果属性検索部１６は、歌詞単語抽出部１０１によって抽出された歌詞中の単語が視覚効果属性データベース１５に存在するか探索し、もし単語が存在した場合には、その単語に対応する視覚効果の属性を視覚効果属性データベース１５から取得する。

視覚効果・属性対応保持部１７は、視覚効果の属性と視覚効果とを対応づけて保持している。

図１1は、視覚効果・属性対応保持部１７に保持されている、視覚効果の属性と視覚効果及び所要時間の対応関係を示す一例である。

視覚効果取得部１８は、視覚効果属性検索部１６で取得された視覚効果の属性に対応する視覚効果を、視覚効果・属性対応保持部１７から取得する。

視覚効果付加部１９は、上記実施の形態１の視覚効果付加部１３とほぼ同じ機能を有している。すなわち、出現時刻抽出部１０２で得られる歌詞の出現時刻の視覚効果として、視覚効果取得部１８で取得された視覚効果を付加する。この際、視覚効果補正部１９１は、複数の単語に対応する視覚効果を付加すべき時刻が重なった場合に、付加する視覚効果の提示時間の補正を行う。

本実施の形態２と上記実施の形態１との相違点は、実施の形態１では歌詞中の単語から直接視覚効果を取得しているのに対して、本実施の形態２では歌詞中の単語をいったん視覚効果の属性に変換し、視覚効果の属性から視覚効果と所要時間を取得している点である。

視覚効果補正部１９１における処理は、実施の形態１の視覚効果補正部１３１と同様である。したがって、実施の形態１で述べた視覚効果の補正方法は、実施の形態２でも適用することができる。詳細な説明は割愛する。

なお、上記では属性情報を「Ｄｙｎａｍｉｃ」や「Ｓｔａｔｉｃ」、「Ｉｎ」や「Ｏｕｔ」といった単語で表す例を示したが、例えば図１２に示すような属性情報空間を定義し、その空間内の座標をもって属性情報としてもよい。この場合、各軸方向の座標値が属性の程度を表す。例えば単語「走り去る」は属性グループＡに含まれる。単語「立ち止まる」は属性グループＢ含まれ、単語「振り返る」は属性グループＡ及びＢ両方に含まれる。この場合、各属性グループに対して視覚効果が対応付けられて、視覚効果・属性対応保持部１７に格納される。

また、以上で述べた例では、歌詞中の単語を元に（いったん視覚効果の属性に変換する場合も含めて）視覚効果そのものを対応づけていたが、視覚効果の動作の速さや動きの大きさなど、視覚効果のパラメータだけを変化させてもよい。例えば、上記のように属性情報空間における座標をもって視覚効果の属性とする場合には、属性情報空間における座標値に応じて視覚効果のパラメータの変化量を決定することもできる。

ここで、本画像提示装置２における処理の流れを示すフローチャートを図１３に示す。
最初に、歌詞抽出部１０は、歌詞単語及び出現時間を抽出する（Ｓ１３１）。

次に、視覚効果属性検索部１６は、抽出した歌詞単語が視覚効果を必要とする単語であるかどうかを、視覚効果属性データベース１５を参照して判断する（Ｓ１３２）。抽出した歌詞単語が視覚効果を必要とする単語であった場合（Ｓ１３２でＹＥＳ）、属性に変換される（Ｓ１３３）。

さらに、視覚効果取得部１８は、視覚効果・属性対応保持部１７を参照して視覚効果と所要時間とを取得する（Ｓ１３４）。視覚効果付加部１９は、視覚効果を表示するにあたり、視覚効果の補正を必要とするか否かについて判断する（Ｓ１３５）。視覚効果の補正が必要であると判断された場合（Ｓ１３５でＹＥＳ）、視覚効果補正部１９１は、楽曲の演奏の特徴を抽出し（Ｓ１３６）、これを参照して視覚効果の補正を行う（Ｓ１３７）。

視覚効果付加部１９において視覚効果が付加された後（Ｓ１３８）、楽曲の再生とともに視覚効果が表示される（Ｓ１３９）。楽曲が終了した場合は（Ｓ１４０でＹＥＳ）、本処理を終了する。

（実施の形態３）
本発明の実施の形態３におけるスライドショー生成装置３の構成を図１４に示す。本装置３は、視覚効果配置部２０、画像割り当て部２１を備える。さらに、視覚効果配置部２０は、上記実施の形態１又は実施の形態２で述べた画像提示装置１又は２が備える視覚効果付加部１３又は１９と同等の視覚効果付加機能部２０１を含む。

視覚効果配置部２０は、スライドショーの時間軸上に視覚効果を配置する。この際、視覚効果付加機能部２０１の機能により、楽曲の歌詞の内容に合わせて視覚効果を配置する。

画像割り当て部２１は、視覚効果配置部２０において時間軸上に配置された各視覚効果に対して、視覚効果を施す対象となる静止画像を割り当てる。

以下、本発明のスライドショー生成装置の動作について、図１５を用いて説明する。
まず、視覚効果配置部２０は、図１５（ａ）に示すように、歌詞中に出現する単語（図では単語Ａ、Ｂ、Ｃ、Ｄ）に合わせて、視覚効果付加機能部２０１の機能によって視覚効果を時間軸上に配置する。この図の場合では、単語Ｃ、Ｄが短い区間に連続して出現しているので、補正されて一つの視覚効果が付加されている。

次に、視覚効果配置部２０は、図１５（ｂ）に示すように、歌詞中の単語に対応した視覚効果が付加されていない時間軸上の区間に対して、視覚効果を配置する。この際、視覚効果をランダムに配置してもよいし、楽曲の演奏情報を何らかの基準で参照して配置してもよい。勿論これら二通りの方法に限定されるわけではない。

最後に、画像割り当て部２１は、図１５（ｃ）に示すように、時間軸上の各視覚効果に対して、視覚効果を施す対象となる静止画像を割り当てる。

以上の手順により、スライドショーの再生シナリオ情報（どの静止画像に対して、どの順番にどのタイミングで視覚効果を施すのかを示す情報）が生成される。生成された再生シナリオ情報は、再生処理を行うブロックに送られてスライドショーの表示、または、後で再生するために保存される。

以上で述べたように、本発明に係る画像提示装置を用いることにより、複数の単語が短い区間に連続して出現するような場合においても、楽曲の歌詞の内容に合わせて、動きを伴う視覚効果を付加することが可能となる。

また、本発明に係るスライドショー生成装置を用いることにより、ＢＧＭとして歌詞のある楽曲を再生しつつ、画像に対して視覚効果を施して表示するタイプのスライドショーにおいて、歌詞の内容に合わせて視覚効果を施すことが可能となり、従来に増して娯楽性の高いスライドショーを提供することができる。

なお、以上の説明において図中などに、いくつかの視覚効果の具体例を挙げたが、本発明の対象となる視覚効果はこれらだけに限られず、視覚効果の動作に一定の時間が必要であれば、本発明の適用対象である。

また、静止画像に対して施すタイプの視覚効果にも限られず、視覚効果の動作に一定の時間が必要であれば、本発明の適用対象である。

なお、本発明において歌詞を伴うとは、音声として歌唱情報が演奏されるだけに限られず、カラオケのように歌詞が文字列として画面表示される場合も含む。

本発明に係る視覚効果生成装置は、歌詞を伴う楽曲に合わせて静止画像に対して視覚効果を付加するスライドショー生成装置として有用である。また、歌詞を伴う楽曲に合わせて画面表示を変化させるようなカラオケ装置にも応用できる。

本発明の実施の形態１における画像提示装置の構成図である。 単語と視覚効果との対応関係の一例を表す図である。 視覚効果補正の様子の一例を表す図である。 視覚効果補正の様子の一例を表す図である。 視覚効果補正の様子の一例を表す図である。 視覚効果補正の様子の一例を表す図である。 視覚効果補正の様子の一例を表す図である。 本発明の実施の形態１のフローを示す図である。 本発明の実施の形態２における画像提示装置の構成図である。 単語と視覚効果の属性との対応関係の一例を表す図である。 視覚効果の属性と視覚効果の対応関係の一例を表す図である。 属性情報空間の一例を表す図である。 本発明の実施の形態２のフローを示す図である。 本発明の実施の形態３におけるスライドショー生成装置の構成図である。 本発明の実施の形態３におけるスライドショー生成装置の動作を表す図である。 従来のカラオケ装置の一部分を抜粋した構成図である。 従来の画像提示装置における、歌詞中の単語と視覚効果の対応の課題を表す図である。

符号の説明

５ 楽曲
１０ 歌詞抽出部
１０１ 歌詞単語抽出部
１０２ 出現時刻抽出部
１１ 視覚効果データベース
１２ 視覚効果検索部
１３ 視覚効果付加部
１３１ 視覚効果補正部
１４ 演奏特徴抽出部
１５ 視覚効果属性データベース
１６ 視覚効果属性検索部
１７ 視覚効果・属性対応保持部
１８ 視覚効果取得部
１９ 視覚効果付加部
１９１ 視覚効果補正部
２０ 視覚効果配置部
２０１ 視覚効果付加機能部
２１ 画像割り当て部
３０ 歌詞抽出部
３０１ 歌詞単語抽出部
３０２ 出現時刻抽出部
３１ 感性語データベース
３２ 感性語検索部
３３ 表示制御部
３４ 表示部

Claims (16)

1. 歌詞を伴う楽曲の再生とともに画像を表示する画像提示装置であって、
   歌詞とその出現時間を含む楽曲データから歌詞を抽出する抽出手段と、
   抽出された歌詞の出現時間を特定する歌詞時間特定手段と、
   複数の視覚効果情報と視覚効果の表示に要する所要時間とを対応させて記憶する記憶手段と、
   抽出された歌詞に基づいて、画像に適用する視覚効果を決定する決定手段と、
   前記歌詞の出現時間に応じて、決定された視覚効果に対応する所要時間を補正する補正手段と、
   歌詞に合わせて、補正後の所要時間の間、視覚効果を制御する制御手段と
   を備えることを特徴とする画像提示装置。
2. 前記画像提示装置は、さらに、
   歌詞と視覚効果情報との対応関係を保持する保持手段を備え、
   前記決定手段は、前記抽出手段で抽出された歌詞が、前記保持手段に含まれているかを検索することによって視覚効果を決定する
   ことを特徴とする請求項1記載の画像提示装置。
3. 前記画像提示装置は、さらに、
   歌詞と属性とを対応づけて保持する第１保持手段と、
   属性と視覚効果との対応関係を保持する第２保持手段とを備え、
   前記決定手段は、
   前記抽出手段で抽出された歌詞が、前記第１保持手段に含まれているかを検索し、含まれていた場合に対応する属性を読み出し、さらに、前記第２保持手段を参照して、読み出した前記属性に対応する視覚効果検索することによって視覚効果を決定する
   ことを特徴とする請求項1記載の画像提示装置。
4. 前記制御手段は、補正後の所要時間内に、視覚効果の表示を収めるように視覚効果の処理速度を調整する
   ことを特徴とする請求項１〜３の何れか１項に記載の画像提示装置。
5. 前記制御手段は、補正後の所要時間の終了時刻に前記視覚効果の表示を打ち切る
   ことを特徴とする請求項１〜３の何れか１項に記載の画像提示装置。
6. 前記制御手段は、補正後の所要時間内に、一つの歌詞に対応する視覚効果を処理速度を調整して表示する
   ことを特徴とする請求項１〜３の何れか１項に記載の画像提示装置。
7. 前記制御手段は、補正後の所要時間内に、出現時間が最も長い歌詞に対応する視覚効果を処理速度を調整して表示する
   ことを特徴とする請求項１〜３の何れか１項に記載の画像提示装置。
8. 前記制御手段は、補正後の所要時間内に、最初に出現する歌詞に対応する視覚効果を処理速度を調整して表示する
   ことを特徴とする請求項１〜３の何れか１項に記載の画像提示装置。
9. 前記制御手段は、補正後の所要時間内に、最後に出現する歌詞に対応する視覚効果を処理速度を調整して表示する
   ことを特徴とする請求項１〜３の何れか１項に記載の画像提示装置。
10. 前記制御手段は、補正後の所要時間内に、最も多く出現する歌詞に対応する視覚効果を処理速度を調整して表示する
    ことを特徴とする請求項１〜３の何れか１項に記載の画像提示装置。
11. 前記制御手段は、補正後の所要時間内に、歌詞が対応する視覚効果として最も多い視覚効果を処理速度を調整して表示する
    ことを特徴とする請求項２に記載の画像提示装置。
12. 前記制御手段は、補正後の所要時間内に、歌詞が対応する属性に対応する視覚効果として最も多い視覚効果を処理速度を調整して表示する
    ことを特徴とする請求項３に記載の画像提示装置。
13. 前記画像提示装置は、さらに、
    楽曲の演奏情報の特徴情報を抽出する演奏特徴抽出手段を備え、
    前記制御手段は、補正後の所要時間内に、前記歌詞時間取得手段によって特定された歌詞が出現する時間における、前記演奏特徴抽出手段によって抽出された演奏情報の特徴情報に基づいて決定された視覚効果を処理速度を調整して表示する
    ことを特徴とする請求項１〜３何れか１項記載の画像提示装置。
14. 歌詞を伴う楽曲の再生とともに静止画像に視覚効果を施してスライドショーを提示するスライドショー提示装置であって、
    楽曲データから歌詞を抽出する抽出手段と、
    抽出された前記歌詞が出現する時間を特定する文字列時間特定手段と、
    抽出された前記歌詞に基づいて、付加する視覚効果を決定する視覚効果決定手段と、
    前記歌詞の出現時間に応じて前記視覚効果の所要時間を補正する所要時間補正手段と、
    所要時間が補正された前記視覚効果を前記静止画像に配置する視覚効果配置手段と
    前記視覚効果が配置された静止画像を用いてスライドショーを提示する提示手段と
    を備えることを特徴とするスライドショー提示装置。
15. 歌詞を伴う楽曲の再生とともに画像を表示する画像提示方法であって、
    歌詞とその出現時間を含む楽曲データから歌詞を抽出する抽出ステップと、
    抽出された歌詞の出現時間を特定する歌詞時間特定ステップと、
    複数の視覚効果情報と視覚効果の表示に要する所要時間とを対応させて記憶する記憶ステップと、
    抽出された歌詞に基づいて、画像に適用する視覚効果を決定する決定ステップと、
    前記歌詞の出現時間に応じて、決定された視覚効果に対応する所要時間を補正する補正ステップと、
    歌詞に合わせて、補正後の所要時間の間、視覚効果を制御する制御ステップと
    を備えることを特徴とする画像提示方法。
16. 歌詞を伴う楽曲の再生とともに画像を表示する画像提示装置のためのプログラムであって、
    歌詞とその出現時間を含む楽曲データから歌詞を抽出する抽出ステップと、
    抽出された歌詞の出現時間を特定する歌詞時間特定ステップと、
    複数の視覚効果情報と視覚効果の表示に要する所要時間とを対応させて記憶する記憶ステップと、
    抽出された歌詞に基づいて、画像に適用する視覚効果を決定する決定ステップと、
    前記歌詞の出現時間に応じて、決定された視覚効果に対応する所要時間を補正する補正ステップと、
    歌詞に合わせて、補正後の所要時間の間、視覚効果を制御する制御ステップと
    をコンピュータに実行させることを特徴とするプログラム。
    
    

Images