JP2006018888A

JP2006018888A - 映像効果付加装置及び映像効果付加方法

Info

Publication number: JP2006018888A
Application number: JP2004193643A
Authority: JP
Inventors: Tadashi Saito; 忠志齊藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-06-30
Filing date: 2004-06-30
Publication date: 2006-01-19

Abstract

【課題】映像効果を付加するためには、あらかじめパラメータを定義しておく必要があった。
【解決手段】再生する音楽データや静止画像データ等の情報から構成されるシナリオを再生するシナリオ再生手段と、音楽データを記憶する音楽データ記憶手段と、静止画像データを記憶する静止画像データ記憶手段と、音楽の特徴データを抽出し記憶する音楽特徴データ抽出記憶手段と、音楽の再生時刻および前記音楽特徴データから得られる区間属性を管理する音楽管理手段と、前記区間属性を取得し、区間属性に応じて静止画像の色合に変化をつけながら圧縮された前記静止画像データをデコードする静止画像データデコード手段と前記デコード済みデータより画像フレームを生成する画像フレーム生成手段を具備する。
【選択図】図１

Description

本発明は、静止画像データを再生する際に、簡単な処理で映像効果を付加することができる装置に関する。

音楽に合わせた映像の変化の例としては、表示された歌詞の色を変化させるカラオケ装置が挙げられる。カラオケ装置では音楽の時間進行に一致させて文字の色を固定色に変化させて利用者をガイドする。

また、静止画像の再生において画像全体に映像効果を付加するものとしては、例えば、特許文献１に示される「楽音再生装置」がある。この装置では楽音再生において、伴奏音を再生すると共に、拡張楽音情報の指令内容により静止映像の変化調整を行いつつ画像表示を行うように装置の作動制御を行いながら再生する。ここで前記拡張楽音情報は、デジタル楽音情報を拡張して割り当てた情報であり、静止画像を各種変化させるための指令信号を含む。前記楽音情報の再生進行に合せて、制御部が各タイミングに組み込まれた前記指令信号に従って表示の際に画像処理することにより、音楽データに完全同期したきめ細かな画像の変化調整を行う。
特開平０４−１６８４９８号公報

音楽に合わせて歌詞の色を変えるカラオケ装置は、利用者のガイドが目的であり、単に時間進行に合わせて映像の一部（文字）を変化させているのみで音楽内容（リズムや雰囲気）に合わせて画像の印象を変える映像効果とは言い難い。

また、静止画像の再生において映像効果を付加する際に、音楽データに画像変化を指示する指令信号を組み込むことは、音楽データに完全同期したきめ細かいタイミングで映像効果の付加を行うことができる反面、予め準備された拡張楽音情報を含む音楽データのみ映像効果を付加した再生が可能となる。拡張楽音情報を含む音楽データは、編集作業が必要となり簡単に作成することはできず、任意の楽曲に対して映像効果を付加した再生を行うことは困難である。加えて、独自フォーマットである拡張楽音情報を含む音楽データを再生処理する仕組みが必要となる。

また、表示の際に映像効果を付加する処理は、ハードウェア的に処理するためには、表示装置との間で制御信号のやりとりを行う仕組みが必要であり、高コストになる。また、メモリ上に展開された画像データに対してソフトウェア的に処理を加える場合は、通常の表示にかかる処理時間以上の時間が必要となるため、フレームレートによっては要求される処理時間が満たせないと言う事態が発生する。

上記の課題を解決するために、本発明にかかる請求項１記載の映像効果付加装置は、再生する音楽データや静止画像データ等の情報から構成されるシナリオを再生するシナリオ再生手段と音楽データを記憶する音楽データ記憶手段と、静止画像データを記憶する静止画像データ記憶手段と、音楽の特徴データを抽出し記憶する音楽特徴データ抽出記憶手段と、音楽の再生時刻および前記音楽特徴データから得られる区間属性を管理する音楽管理手段と、前記区間属性を取得し、区間属性に応じて静止画像の色合に変化をつけながら圧縮された前記静止画像データをデコードする静止画像データデコード手段と、前記デコード済みデータより画像フレームを生成する画像フレーム生成手段という構成される。

これにより、音楽データ記憶手段に音楽データを格納する際に、常に音楽特徴データを抽出し、音楽特徴データ記憶手段に記憶しておき、再生時にその情報（区間属性）を利用して画像の色合を変えることにより、記憶されているどの音楽データに対しても音楽に合ったおおらかな映像効果を付加することが可能であると共に、音楽データが独自フォーマットではないため、再生処理を簡単化することが可能である。

また、画像デコード時に色合を変化させてメモリ上に展開することで、画像フレーム生成時ならびに画像表示時に映像効果を付加する処理を省くことができる。すなわち、従来と変わらないＣＰＵにおける計算量で映像効果を付加することが可能となり、ＣＰＵの処理能力不足によって要求される処理時間が満たせないと言う事態を回避することができる。

請求項２記載の映像効果付加装置は、請求項１記載の映像効果付加装置であって、区間属性に応じた静止画像の色合の変化は輝度の変化であるという構成である。これにより、曲調に合わせて画像の明るさを変えることができる。

請求項３記載の映像効果付加装置は、請求項１記載の映像効果付加装置であって、区間属性に応じた静止画像の色合の変化は色相の変化であるという構成である。これにより、曲調に合わせてモノクロ、セピアなどに変えることができる。

請求項４記載の映像効果付加装置は、請求項１記載の映像効果付加装置であって、音楽特徴データは曲調の変化点情報であるという構成である。これにより、音楽のオープニングやエンディング、クライマックス（さび）等の区分による区間属性を得ることが出来る。

請求項５記載の映像効果付加方法は、再生する音楽データや静止画像データ等の情報から構成されるシナリオを再生するシナリオ再生ステップと、音楽の特徴データを抽出し記憶する音楽特徴データ抽出記憶ステップと、音楽の再生時刻および前記音楽特徴データから得られる区間属性を管理する音楽管理ステップと、前記区間属性を取得し、前記区間属性に応じて静止画像の色合に変化をつけながら圧縮された前記静止画像データをデコードする静止画像データデコードステップと前記デコード済みデータより画像フレームを生成する画像フレーム生成ステップとで構成されることを特徴とする。

本発明によれば、通常と変わらないＣＰＵ処理時間で、音楽の各区間にあわせた映像効果を与えることが可能であり、音楽の曲調に合ったおおらかな静止画像再生が可能となり、見る側に印象深い静止画像再生が可能となる。

また、音楽データ記憶手段に音楽データを記憶する際に、映像効果を付加した再生を行うための音楽特徴データを抽出するため、任意の楽曲に対して映像効果を付加した再生が可能となる。

（実施の形態１）
以下、本発明の実施の形態について図面を用いて説明する。

図１は、本発明の実施の形態における映像効果付加処理装置の構成図である。

映像効果付加装置１００において、シナリオ再生手段１０１は、使用する音楽データと静止画像データ等の情報から構成されるシナリオの再生を行う。

音楽データ記憶手段１０２は音楽データが格納されている。音楽特徴データ抽出記憶手段１０３は、音楽データ記憶手段１０２にデータを記憶する際に、必ず音楽データから音楽特徴データを抽出し、その音楽特徴データを格納する。音楽管理手段１０４は要求のあった音楽を、音楽データ記憶手段１０２から取得し音楽の再生を要求する。また、要求のあった音楽の前記音楽特徴データを音楽特徴データ抽出記憶手段１０３から合わせて取得し、現在の区間属性の管理も行う。

静止画像データ記憶手段１０５は再生可能な静止画像が格納されている。静止画像データデコード手段１０６は、音楽管理手段１０４から現時刻における区間属性を受け取り、その情報に応じて色合に操作を与えながらデコード処理を行う。画像フレーム生成手段１０７は、デコードされた静止画像データから、表示用の画像フレームデータを生成する。

音楽再生手段１０８は、音楽管理手段１０４より要求のあった音楽を再生する。画像表示手段１０９は画像フレーム生成手段１０７により生成した画像データを表示する。

以上のように構成されたシステムについて、図２のフローチャート（ステップＳ２０１〜Ｓ２１２）を用いてその動作を説明する。ここでシナリオは、シナリオ作成ツールによりすでに自動生成されていることを前提とする。シナリオ作成ツールは、ユーザが選択した再生したい音楽、パン・スライド等の動作エフェクト定義（動作種別や座標情報を含む）、閲覧したい画像フォルダの情報をもとに、再生時間６０秒（フレームレート１５ｆｐｓ）のシナリオを生成する。複数のシーンから構成されるシナリオの例を図９に示す。

最初に、シナリオ再生手段１０１により、シナリオの再生を開始する（ステップＳ２０１）。シナリオは、次の情報を含んでいる。１）再生する音楽データ情報。２）シーン毎の使用画像データ。３）各シーンにおけるパン・スライド等の動作エフェクト用パラメータ。

次に、音楽管理手段１０４は、音楽データ記憶手段１０２よりシナリオの情報に従って再生する音楽データを得る（ステップＳ２０２）。前記音楽データはＭＰ３、ＷＡＶＥ、ＭＩＤＩといった再生可能なフォーマット全般とする。

次に、音楽管理手段１０４は、ステップＳ２０２で得られた音楽データの曲調変化点により区分された区間情報からなる音楽特徴データを、音楽特徴データ抽出記憶手段１０３より取得する（ステップＳ２０３）。音楽特徴データの例を図８に示す。図８においてＴｅｍｐｏは１分間のビート（拍子）数を示す。また、属性は曲調（抑揚度）に基づいて決定される曲のフェーズ情報を表し、其々区間の開始時刻と終了時刻情報をあわせもつ。これらの時刻情報は曲の開始・終了時刻または抑揚度の変化点であり、曲の開始時刻からの経過時間（単位ミリ秒）で表される。

次に、音楽管理手段１０４は、ステップＳ２０２で得られた音楽データの再生を要求する（ステップＳ２０４）。同時に、ステップＳ２０３で得られた音楽特徴データより、時間軸に沿って属性の変化を内部データ化し、現在の区間属性の管理を開始する。区間属性は、オープニングやエンディングといった各区間の属性を表す情報である。区間属性の構成例を図３に示す。

次に、音楽再生手段１０８はステップＳ２０４で要求のあった音楽データの再生を行う（ステップＳ２０５）。

次に、静止画像データデコード手段１０６は、シナリオの情報に従って静止画像データ記憶手段１０５より必要な静止画像データを得る（ステップＳ２０６）。静止画像データ記憶手段１０５に記憶されている静止画像データはＪＰＥＧフォーマットとする。

次に静止画像データデコード手段１０６は、音楽管理手段１０４より再生中の音楽データの現時刻での区間属性を得る（ステップＳ２０７）。

次に、静止画像データデコード手段１０６は、ステップＳ２０６で得られた静止画像データを、Ｂｉｔｍａｐ形式のデータへ変換処理をおこなう（ステップＳ２０８）。このとき、ステップＳ２０７で得られた区間属性に応じて、輝度の調節を合わせて行う。輝度の調節には図４に示す輝度調整テーブルを準備しておきそれに従う。図５のような画像に対して、輝度を抑えながらデコードすることで、図６のように暗めの効果を持った画像が生成される。また、図５の画像に対して、輝度を上げながらデコードすることで、図７のように明るめの効果を持った画像を生成できる。

次に、画像フレーム生成手段１０７は、ステップ２０７で得られるＢｉｔｍａｐデータより表示用画像フレームデータの作成を行う（ステップＳ２０９）。ここでは、シナリオの情報に従って、パン・スライド等の動作エフェクトをかける。

次に、画像表示手段１０９により、ステップＳ２０９で生成されたフレームデータを表示装置で表示する（ステップＳ２１０）。

次に、シナリオ再生手段１０１は、再生中のシナリオを終了するかの判定を行う（ステップＳ２１１）。判定の結果、終了の場合はすべての処理を終了する。なお、シナリオの終了は現時刻における次の条件を満たす場合である。１）音楽データが終了する。２）時間軸に並べられた静止画像リストが終了する。

シナリオ再生が継続の場合、次のシーン用に新たな静止画像のデコードが必要かどうかの判定を行う（ステップＳ２１２）。新たな静止画像が必要な場合は、ステップＳ２０６より再び処理を行う。必要ない場合は、ステップＳ２０９より再び処理を行う（１５ｆｐｓの平均フレームレートで実行）。

以上の構成により、音楽の曲調にあった映像効果を付加した静止画像の再生が可能となる。

なお、本実施例では輝度を変化させたが、色相に変化を与えることで映像効果を付加することも可能である。また、本実施例ではパン・スライド等の動作エフェクトと併用したが、画像の色合を変える映像効果のみで用いてもよい。

以上のように、本実施例の映像効果付加装置によれば、特に、音楽データ、静止画像データは特別なものを準備しておく必要はなく、市販のＣＤ等から記憶した音楽データやデジタルカメラ等で撮影した静止画像をそのまま使用することが可能となる。

また、静止画像のデコードの際に、音楽の区間属性に合せて画像の色合を調整するので、音楽の曲調に合ったおおらかな映像効果を、従来の静止画像デコードと同等のＣＰＵ負荷で実現可能である。

さらに、画像の色合を調整する映像効果であるため、パン・スライド等の動作エフェクトと併用することも可能である。

本発明にかかる映像効果付加装置は、極めて簡単な処理で映像効果を付加できるのでモバイル機器等における静止画像のビューワ（スライドショー）機能として有用である。

本発明の実施の形態における映像効果付加装置の構成図本発明の実施の形態における映像効果付加装置の動作を示すフローチャート本発明の実施の形態における区間属性例を示す図本発明の実施の形態における輝度調節テーブル例を示す図本発明の実施の形態における通常の静止画像デコード例を示す図本発明の実施の形態における輝度を下げた静止画像デコード例を示す図本発明の実施の形態における輝度を上げた静止画像デコード例を示す図本発明の実施の形態における音楽特徴データ例を示す図本発明の実施の形態におけるシナリオ例を示す図

符号の説明

１００映像効果付加装置
１０１シナリオ再生手段
１０２音楽データ記憶手段
１０３音楽特徴データ抽出記憶手段
１０４音楽管理手段
１０５静止画像データ記憶手段
１０６静止画像データデコード手段
１０７画像フレーム生成手段
１０８音楽再生手段
１０９画像表示手段

Claims

静止画像において順次再生する際に、映像効果を付加する映像効果付加装置であって、
再生する音楽データや静止画像データ等の情報から構成されるシナリオを再生するシナリオ再生手段と
音楽データを記憶する音楽データ記憶手段と、
静止画像データを記憶する静止画像データ記憶手段と、
音楽の特徴データを抽出し記憶する音楽特徴データ抽出記憶手段と、
音楽の再生時刻および前記音楽の特徴データから得られる区間属性を管理する音楽管理手段と、
前記区間属性を取得し、前記区間属性に応じて前記静止画像の色合に変化をつけながら圧縮された前記静止画像データをデコードする静止画像データデコード手段と
前記デコード済みデータより画像フレームを生成する画像フレーム生成手段
を具備することを特徴とする映像効果付加装置。
前記区間属性に応じた静止画像の色合の変化は、輝度の変化であることを特徴とする請求項１に記載の映像効果付加装置。
前記区間属性に応じた静止画像の色合の変化は、色相の変化であることを特徴とする請求項１に記載の映像効果付加装置。
前記音楽の特徴データは、曲調の変化点情報であることを特徴とする請求項１に記載の映像効果付加装置。
静止画像において順次再生する際に、映像効果を付加する映像効果付加方法であって、
再生する音楽データや静止画像データ等の情報から構成されるシナリオを再生するシナリオ再生ステップと
音楽の特徴データを抽出し記憶する音楽特徴データ抽出記憶ステップと、
音楽の再生時刻および前記音楽の特徴データから得られる区間属性を管理する音楽管理ステップと、
前記区間属性を取得し、前記区間属性に応じて前記静止画像の色合に変化をつけながら圧縮された前記静止画像データをデコードする静止画像データデコードステップと
前記デコード済みデータより画像フレームを生成する画像フレーム生成ステップ
とで構成されることを特徴とする映像効果付加方法。