JP2009017025A - マルチメディア再生装置 - Google Patents

Abstract

【課題】楽曲と画像を関連付けて登録し再生する機能において、その再生の態様をバリエーション豊かにする。
【解決手段】再生部４５は、ユーザ指示に従い編成された画像再生用ファイルの画像ファイルを順次に再生出力しながら、編成された楽曲再生用ファイルの楽曲ファイルを順次に再生して出力する。この動作が終了すると、楽曲再生用ファイルの楽曲ファイルに関連してユーザの外部指示に基づき予め生成された画像ファイルの群を、画像再生用ファイルの画像ファイルに追加して、当該画像再生用ファイルが再編成される。そして、再生部４５による再生が終了したとき、再編成された画像再生用ファイルの画像ファイルを順次に再生出力しながら、楽曲再生用ファイルの楽曲ファイルを順次に再生出力する。
【選択図】図１

Description

この発明はマルチメディア再生装置に関し、特に、音楽コンテンツと画像コンテンツを関連付けて記録し再生する機能を有するマルチメディア再生装置に関する。

音楽の再生中に表示した画像を関連付けておき、再生時には、関連付けられたデータを同時に再生（表示・音出力）するものが、たとえば特許文献１、特許文献２、特許文献３および特許文献４に示されている。

特許文献１においては再生中の音楽と、撮影または表示した画像とを関連付けている。特許文献２においては写真画像に関連付けられた音声ファイルを自動的に再生している。

特許文献３においては画像と音声やテキストを関連付けて記録する構成が示される。特許文献４においては音楽データと同期させて画像を表示する構成が示される。
特開２００６−０２００９０号公報 特開２００５−３５４５０６号公報 特開平０７−１８４１６０号公報 特開２０００−３０５５８８号公報

上述した各特許文献では、音楽データと画像データを関連付けること、また関連付けられた両データを同時に出力（映像再生、音楽再生）する構成は示されているが、その音楽再生または画像再生の態様にバリエーションがなく、ユーザの興味のある表示態様にすることが困難であった。

特に、音楽コンテンツと画像コンテンツを関連付けて登録する場合には、たとえばユーザの過去の良き思い出や記憶を想起させることに寄与する音楽・画像の関連付けがしたいとの要求がある。このような思い出や記憶を想起させるための再生の態様は単に関連付けられている両データを同時に再生するという態様では、ユーザの興味を十分に満たすことは困難であり、システム側がより思い出や記憶を豊かに想起させる機能の提供が求められていた。

それゆえにこの発明の目的は、楽曲と画像を関連付けて登録し再生する機能において、その再生の態様をバリエーション豊かにすることのできるマルチメディア再生装置を提供することである。

この発明のある局面に従うと、マルチメディア再生装置は、楽曲ファイルと画像ファイルとを記憶するファイル記憶部と、音を出力する音出力部と、表示部と、楽曲ファイルを再生して音出力部を介し出力する音再生部と、画像ファイルを再生して表示部を介して出力する画像再生部と、音再生部で出力される楽曲ファイルに、外部からの指示に従い選択したファイル記憶部の画像ファイルを対応付ける１対１対応付部と、外部からの指示に従い複数の画像ファイルからなる画像再生用ファイルを編成する画像再生用ファイル編成部と、画像再生用ファイル編成部により編成された画像再生用ファイルを構成する複数の画像ファイルそれぞれに、１対１対応付部により対応付けされている楽曲ファイルからなる楽曲再生用ファイルを編成する楽曲再生用ファイル編成部と、編成された画像再生用ファイルの画像ファイルを画像再生部により順次に再生して出力しながら、編成された楽曲再生用ファイルの楽曲ファイルを楽曲再生部により順次に再生して出力する再生部と、楽曲再生用ファイルの楽曲ファイルに関連して外部からの指示に基づき予め生成された画像ファイルの群を、画像再生用ファイルの画像ファイルに追加して、当該画像再生用ファイルを再編成する画像再生用ファイル再編部と、を備え、再生部による再生が終了したとき、再編成された画像再生用ファイルの画像ファイルを画像再生部により順次に再生して出力しながら、楽曲再生用ファイルの楽曲ファイルを前記楽曲再生部により順次に再生して出力し、楽曲再生用ファイルの楽曲ファイルに関連して外部からの指示に基づき予め生成された楽曲ファイルの群を用いて、楽曲再生用ファイルを再編成する楽曲再生用ファイル再編部をさらに備え、再生部による再生が終了したとき、画像再生用ファイルの画像ファイルを画像再生部により順次に再生して出力しながら、再編成された楽曲再生用ファイルの楽曲ファイルを楽曲再生部により順次に再生して出力し、外部からの指示に従い選択したファイル記憶部の複数の画像ファイルからなる前記画像ファイルの群を生成し、外部からの指示に従い選択したファイル記憶部の複数の楽曲ファイルからなる楽曲ファイルの群を生成し、画像ファイルは、予め撮影された写真画像を指す。

この発明の他の局面に従うと、楽曲ファイルと画像ファイルとを記憶するファイル記憶部と、音を出力する音出力部と、表示部と、楽曲ファイルを再生して音出力部を介し出力する音再生部と、画像ファイルを再生して表示部を介して出力する画像再生部と、音再生部で出力される楽曲ファイルに、外部からの指示に従い選択したファイル記憶部の画像ファイルを対応付ける１対１対応付部と、外部からの指示に従い複数の画像ファイルからなる画像再生用ファイルを編成する画像再生用ファイル編成部と、画像再生用ファイル編成部により編成された画像再生用ファイルを構成する複数の画像ファイルそれぞれに、１対１対応付部により対応付けされている楽曲ファイルからなる楽曲再生用ファイルを編成する楽曲再生用ファイル編成部と、編成された画像再生用ファイルの画像ファイルを画像再生部により順次に再生して出力しながら、編成された楽曲再生用ファイルの楽曲ファイルを楽曲再生部により順次に再生して出力する再生部と、楽曲再生用ファイルの楽曲ファイルに関連して外部からの指示に基づき予め生成された画像ファイルの群を、画像再生用ファイルの画像ファイルに追加して、当該画像再生用ファイルを再編成する画像再生用ファイル再編部と、を備え、再生部による再生が終了したとき、再編成された画像再生用ファイルの画像ファイルを画像再生部により順次に再生して出力しながら、楽曲再生用ファイルの楽曲ファイルを楽曲再生部により順次に再生して出力する。

好ましくは、楽曲再生用ファイルの楽曲ファイルに関連して外部からの指示に基づき予め生成された楽曲ファイルの群を用いて、楽曲再生用ファイルを再編成する楽曲再生用ファイル再編部を備え、再生部による再生が終了したとき、画像再生用ファイルの画像ファイルを画像再生部により順次に再生して出力しながら、再編成された楽曲再生用ファイルの楽曲ファイルを前記楽曲再生部により順次に再生して出力する。

好ましくは、外部からの指示に従い選択したファイル記憶部の複数の画像ファイルからなる画像ファイルの群を生成する。

好ましくは、外部からの指示に従い選択したファイル記憶部の複数の楽曲ファイルからなる楽曲ファイルの群を生成する。

好ましくは、画像ファイルは、予め撮影された写真画像を指す。

発明によれば、再生部は、ユーザの外部指示に従い編成された画像再生用ファイルの画像ファイルを画像再生部により順次に再生して出力しながら、編成された楽曲再生用ファイルの楽曲ファイルを楽曲再生部により順次に再生して出力する。この動作が終了すると、楽曲再生用ファイルの楽曲ファイルに関連してユーザの外部からの指示に基づき予め生成された画像ファイルの群を、画像再生用ファイルの画像ファイルに追加して、当該画像再生用ファイルが再編成される。そして、再生部による再生が終了したとき、再編成された画像再生用ファイルの画像ファイルを画像再生部により順次に再生して出力しながら、楽曲再生用ファイルの楽曲ファイルを楽曲再生部により順次に再生して出力する動作が継続する。

したがって、ユーザが外部指示によりたとえば、思い出深く関連する楽曲ファイルと画像ファイルを関連付けて画像再生用ファイルおよび楽曲再生用ファイルとして準備しておけば、楽曲再生用ファイルおよび画像再生用ファイル（再編された画像再生用ファイル）に従い再生部が再生出力することにより、ユーザは思い出深い画像と楽曲を並行して再生し、楽しむことができる。

以下、この発明の実施の形態について図面を参照し詳細に説明する。なお、ここに示されるマルチメディア再生装置は、各個人が携帯し、個人ごとの情報を格納（記録）し、再生するものであると想定する。

図１には、本実施の形態に係るマルチメディア再生装置１の機能構成が示され、図２には、ハードウェア構成が示される。図２を参照してマルチメディア再生装置１は、ＣＰＵ（Central Processing Unit）２、各種データおよびプログラムを格納するためのメモリ３、時間を計測し、計測した時間データをＣＰＵ２に与えるタイマ４、外部からユーザにより操作されるキー、スイッチ、ボタンなどからなり、操作された指示信号を入力する操作部５、ハードディスク（ＨＤＤ）６、バッファメモリ７、外部から光ディスクなどのディスク媒体９が着脱自在に装着されて、装着されたディスク媒体９からデータの読み書きを行なうためのディスクドライバ８、再生される音声を出力するための部分（音声デコーダ１０、デジタルアナログ（Ｄ／Ａ）変換器１１、アナログ信号に変換された音声信号を音声として出力するためのスピーカ部１２）、画像を再生するための部分（画像処理部１３、Ｄ／Ａ変換器１４、Ｄ／Ａ変換器１４により出力されたアナログの画像信号をＬＣＤ（Liquid Crystal Display）１６に表示するための表示ドライバ１５）を備える。

さらに、マルチメディア再生装置１は、外部のネットワーク２０（インターネットなど）と通信をするための通信Ｉ／Ｆ（インターフェイスの略）１９、パーソナルコンピュータなどの外部機器と通信をするための外部Ｉ／Ｆ１７および外部コネクタ１８を備える。

ＨＤＤ６には、複数の楽曲ファイル６１、複数の画像ファイル６２および複数のサムネイルデータ６３が格納される。サムネイルデータ６３のそれぞれは、画像ファイル６２のそれぞれと１対１に関連付けられている。

図１を参照して、マルチメディア再生装置１は、装置全体を制御するための制御部３０、操作部５に対応する指示入力部３１、ＨＤＤ６に対応するファイル記憶部３４のファイルの読出および書込を行なうためのファイル読出部３２およびファイル書込部３３、メモリ３に対応の対応付情報記憶部４１を検索するための情報検索部４０、楽曲ファイル６１と画像ファイル６２の対応付を処理するための対応付部３５、音声デコーダ１０に相当する音声出力制御部４３、画像処理部１３に対応の表示制御部４２、サムネイルデータ６３を作成するためのサムネイル作成部４４、および再生部４５を備える。

対応付部３５は、楽曲ファイル６１と画像ファイル６２とを１対１に対応付けるための１対１対応付部３６と、複数対応付部３７を含む。

再生部４５は、楽曲再生用ファイル編成部４６、画像再生用ファイル編成部４７および切替タイミング決定部４８を含む。再生部４５の各部の処理については後述する。

図３には、本実施の形態に係る楽曲ファイル６１の構成例が示される。図３を参照して楽曲ファイル６１はスピーカ部１２から出力される対象となる楽曲データ６１２と、楽曲データ６１２で示される楽曲に関連した情報（属性など）を示す楽曲メタ情報６１１から構成される。楽曲メタ情報６１１は、関連の楽曲を一意に識別する番号のデータ７１、楽曲タイトルのデータ７２、アーティスト名のデータ７３、作曲者、作詞者を示すデータ７４、当該楽曲が発売された年月日を示すデータ７５、当該楽曲が収められているアルバム名を示すデータ７６、および関連の楽曲データを通常再生した場合のトータルの再生時間を示すプレイ時間のデータ７７を含む。さらに、対応画像識別番号のデータ７８を有する。対応画像識別番号のデータ７８は、関連の楽曲データ６１２について、対応付部３５により対応付けられた画像ファイル６２を識別する情報を指す。

図４には、画像ファイル６２の内容が示される。図４を参照し画像ファイル６２は、画像メタ情報６２１と画像データ６２２から構成される。画像メタ情報６２１は、画像データ６２２の関連する情報（属性を示す情報など）を示す。画像メタ情報６２１は、たとえば当該画像データ６２２を一意に識別するための画像識別番号のデータ８１、画像タイトルのデータ８２、当該画像データ６２２の撮影年月日を示すためのデータ８３を画像データ６２２の固有の属性を示すデータとして有する。さらに画像メタ情報６２１は、当該画像データ６２２に対応付けられたサムネイルデータ６３を識別するためのサムネイル番号のデータ８４を含む。

図５には、サムネイルデータ６３の構成例が示される。図５を参照して、サムネイルデータ６３は、当該サムネイルデータを一意に識別するためのサムネイル番号のデータ６３１およびサムネイル画像を示すサムネイル画像データ６３２からなる。

次に、図６を参照して、メモリ３の所定領域（電力の供給が停止しても、その内容が記録され続けるような記憶領域）においては、スライド群とメドレーのデータが登録される。これらのデータは予めユーザが操作部５を操作して、メドレーまたはスライド群の生成を指示したときに、メドレーまたはスライド群が生成されてメモリ３の所定領域に格納される。

図６を参照してメモリ３の所定領域には、複数のスライド／メドレーデータ５１１と、複数の関連スライド群データ５１４と、複数の関連メドレーデータ５１７と、複数の編成用メドレーデータ５２０が格納される。

スライド／メドレーデータ５１１のそれぞれは、当該スライド／メドレーデータ５１１を識別するためのスライド群名データ５１３と、当該スライド群名データ５１３で指示されるスライド群の画像が表示されるときにスピーカ部１２から再生出力される複数の楽曲の楽曲識別番号のデータ７１を含むメドレーデータ５１２とを含む。

関連スライド群データ５１４は、関連スライド群名データ５１５と、スライドデータ５１６を含む。スライドデータ５１６はスライドにより連続して表示される複数の画像ファイル６２の各画像データ６２２を識別するための画像識別番号のデータ８１を含んで構成される。関連スライド群名データ５１５は、スライドデータ５１６を識別するためのデータである。

関連メドレーデータ５１７は、関連メドレー名のデータ５１８と、メドレーデータ５１９を含む。メドレーデータ５１９は、メドレーとして連続して再生される各楽曲データ６１２の楽曲ファイル６１の楽曲識別番号のデータ７１を含んでなる。関連メドレー名データ５１８は、対応するメドレーデータ５１９を識別するためのデータである。

編成用メドレーデータ５２０は、メドレー名のデータ５１２と、メドレーとして再生される各楽曲データ６１２を格納した楽曲ファイル６１の楽曲識別番号のデータ７１を含むメドレーデータ５２２からなる。メドレー名のデータ５２１は、対応のメドレーデータ５２２を識別するためのデータである。

図７には、本実施の形態に係る楽曲ファイルと画像ファイルを対応付するための対応付モードにおける処理フローチャートが示される。図８〜図１０には、図７の処理フローチャートにおいてＬＣＤ１６に表示される画面の一例が示される。

図８には、楽曲を選択するためのメニュー画面の一例が示される。このメニュー画像は、ファイル読出部３２がファイル記憶部３４（ＨＤＤ６）の楽曲ファイル６１のそれぞれから読出した楽曲タイトルのデータ７２からなる。このメニュー画面には、楽曲の再生を指示するボタン７２１と選択するタイトルを検索するためのキー７２２とカーソルＣＲが示される。ユーザは、操作部５を介してカーソルＣＲを移動させて所望のタイトルのデータ７２にカーソルＣＲを移動させて選択し、操作部５の図示のない決定ボタンを押すことにより、その選択したタイトルのデータ７２の楽曲ファイル６１を選択することができる。またこの選択した楽曲ファイル６１の楽曲データ６１２を再生したい場合には、再生ボタン７２１を操作すればよい。

図９には、画像ファイル６２を選択するための画面の一例が示される。画像ファイル６２は、ここでは、予め撮影された写真データからなる画像データ６２２を指示すると想定している。画像ファイル６２のそれぞれに関連付けられたサムネイルデータ６３による画像の一覧が図９のメニューとして表示される。サムネイルデータ６３を構成するサムネイル画像データ６３２に従いサムネイルが表示され、そのサムネイル画像データ６３２に対応のサムネイル番号のデータ６３１がサムネイル画像とともに表示される。これにより、ユーザはその番号を操作部５を操作して指示することにより、指示された番号のサムネイルデータ６３に対応する画像ファイル６２を選択することができる。また図９の画面には、１枚の画面ですべてのサムネイルを表示することができない場合に、画面送りを指示するためのボタン６３３が表示される。

図１０には、対応付モードを選択するためのメニュー画面が示される。対応付モードは、本実施の形態では複数モードと１対１モードの２つの種類がある。複数モードでは、関連する複数の画像と複数の楽曲を関連付けするモードを指し、１対１モードは関連する画像と楽曲を１対１で対応付けするモードを指す。

ユーザは図１０の画面において表示されるカーソルＣＲを操作部５を介して操作しモードを選択し、つづいて決定ボタン（図示せず）を操作することにより、所望のモード（複数モードおよび１対１モードのいずれか）を選択することができる。

図７を参照して対応付モードの処理について説明する。
マルチメディア再生装置１は、操作部５からのユーザの指示に従い、対応付モードに移行すると、対応付部３５は、表示制御部４２を制御して、図１０のモード選択画面をＬＣＤ１６に表示する（ステップＳ３）
ユーザは、ステップＳ３の図１０の画面を介して所望の対応付けモードを選択的に入力するので、対応付部３５は指定モードを判別する（ステップＳ７）。対応付部３５は、ステップＳ７で入力された指定モードは１対１モードであると判定すると、１対１対応付部３６を起動する。その後、処理はステップＳ１１以降の処理に移るが、複数モードが指定されたと判定すると、対応付部３５は複数対応付部３７を起動する。その後、処理はステップＳ２０以降の処理に移行する。

１対１対応付けモードについて説明する。
まず、１対１対応付部３６は、表示制御部４２およびファイル読出部３２により、図８のような楽曲タイトル一覧によるメニュー画面をＬＣＤ１６に表示する（ステップＳ１１）。図８の画面を見たユーザは楽曲タイトルの選択指示を、カーソルＣＲを操作することにより入力する（ステップＳ１３）。この指示を受理した指示入力部３１は、受理した選択指示を、すなわち選択された楽曲タイトルのデータ７２をファイル読出部３２に与える。ファイル読出部３２は、与えられた楽曲タイトルのデータ７２を有する楽曲ファイル６１の楽曲データ６１２をファイル記憶部３４を検索して読出し、音出力制御部４３に与えるので、音出力制御部４３により、選択されたタイトルの楽曲データ６１２に従う楽曲がスピーカ部１２から出力される（ステップＳ１５）。

この楽曲を聞いたユーザは、選択が誤っていないかどうかの確認結果を指示する（ステップＳ１６）。決定キーが操作されず選択が誤っていたことが指示された場合には（ステップＳ１６でＮＯ）、処理はステップＳ１３に戻り、図８の画面において楽曲タイトルの選択のやり直しを行なう。

一方、決定キーが操作されて選択した楽曲が正しいことの指示がされた場合には（ステップＳ１６でＹＥＳ）、この指示は指示入力部３１を介し１対１対応付部３６に与えられる。

１対１対応付部３６は、ファイル読出部３２および表示制御部４２を制御して、図９のようなサムネイル一覧表示の画面をＬＣＤ１６に表示する（ステップＳ１７）。

サムネイル一覧表示画面でユーザが選択指示したサムネイルに対応のサムネイル番号のデータ６３１と、ステップＳ１３で選択指示された楽曲タイトルのデータ７２とを含む１対１対応付けの指示をファイル書込部３３に与える（ステップＳ１８）。

ファイル書込部３３は、与えられた指示に従いサムネイル番号のデータ６３１に基づきファイル記憶部３４を検索して、データ６３１に一致するサムネイル番号のデータ８４を有する画像ファイル６２の画像メタ情報６２１から画像識別番号のデータ８１を読出し、これを、与えられている楽曲タイトルのデータ７２を含む楽曲メタ情報６１１に対応楽曲識別番号のデータ７８として格納する（ステップＳ１９）。以上で、ユーザが選択した楽曲と画像とを１対１に対応付けることができる。

その後、対応付部３５は操作部５を介して対応付終了の指示が入力されたか否かを判定する（ステップＳ２７）。終了指示が入力されたと判定されると（ステップＳ２７でＹＥＳ）、対応付けモードは終了するが、終了指示が入力されないと判定されると（ステップＳ２７でＮＯ）、対応付けモードを継続するために処理はステップＳ１３に移行する。

複数モードが選択されていた場合には、図６のデータが生成されて対応付情報記憶部４１に格納される。まず、スライド／メドレーデータ５１１と関連スライド群データ５１４の生成手順について説明する。

まず、複数対応付部３７は、表示制御部４２およびファイル読出部３２により、図９のサムネイル一覧による画像選択の為のメニュー画面をＬＣＤ１６に表示する（ステップＳ２０）。図９の画面を見たユーザは複数個のサムネイルのサムネイル番号のデータ６３１の選択指示を、カーソルＣＲを操作することにより入力するので、複数対応付部３７は、入力指示に従い対応付処理をする（ステップＳ２１）。たとえば、ユーザは図９の画面から、思い出（幼少時代、少年時代などの年代別の思い出）で関連ある複数の画像のサムネイルの番号のデータ６３１の選択する。

ステップＳ２１では、複数対応付部３７は次のように対応付けする。まず、入力された複数のサムネイルの番号のデータ６３１に一致サムネイル番号のデータ８４を有する画像メタ情報６２１の画像識別番号のデータ８１をファイル読出部３２を介してファイル記憶部３４から読出し、読出した複数個の画像識別番号のデータ８１からなるスライドデータ５１６を有した関連スライド群データ５１４を生成し、情報検索部４０を介して対応付情報記憶部４１に格納する。このとき、複数対応付部３７は生成した関連スライド群データ５１４に一意に識別するためのスライド群名のデータ５１５を生成し格納する。

続いて、複数対応付部３７は、表示制御部４２およびファイル読出部３２により、図８のような楽曲タイトル一覧によるメニュー画面をＬＣＤ１６に表示する（ステップＳ２２）。図８の画面を見たユーザは複数個の楽曲タイトルの選択指示を、カーソルＣＲを操作することにより入力するので、複数対応付部３７は、入力指示に従い対応付処理をする（ステップＳ２３）。

たとえば、ユーザは先のステップＳ２１で選択した画像から想起する思い出の曲（あるアーティストの楽曲、またはある年代に流行していた楽曲など）を図８の画面から複数の楽曲のタイトルとして選択する。

ステップＳ２３では、複数対応付部３７は次のように対応付けする。まず、入力された複数の楽曲のタイトルのデータ７２に対応する楽曲の識別番号のデータ７１をファイル読出部３２を介してファイル記憶部３４から読出し、読出した複数個の楽曲識別番号のデータ７１からなるメドレーデータ５１２を有したスライド／メドレーデータ５１１を生成し、情報検索部４０を介して対応付情報記憶部４１に格納する。このとき、複数対応付部３７は生成したスライド／メドレーデータ５１１に一意に識別するためのメドレー名のデータ５１３を生成し格納する。

ここで生成されるメドレー名のデータ５１３は、先のステップＳ２１で生成されたスライド群名のデータ５１５を指示する。したがって、メドレー名のデータ５１３とスライド群名のデータ５１５によって、関連スライド群データ５１４とスライド／メドレーデータ５１１は関連付けされる。

その後は、前述したステップＳ２７の処理が同様に行なわれる。
本実施の形態では、複数対応付部３７は、操作部５のユーザの操作に従い図６の関連メドレーデータ５１７と編成用メドレーデータ５２０を生成し、対応付情報記憶部４１に格納することができる。このデータ生成も図８の楽曲タイトルの一覧画面を操作して行なうことができる。

たとえば、ユーザは図８の画面から所望する３曲を選択すると、複数対応付部３７はこれをメドレーデータ５２２とした編成用メドレーデータ５２０を生成する。メドレーデータ５２２は、入力された３つの楽曲のタイトルのデータ７２に対応する楽曲の識別番号のデータ７１を指す。このとき、複数対応付部３７は生成した編成用メドレーデータ５２０に、当該データを一意に識別するためのメドレー名のデータ５２１を生成し格納する。

続いて、ユーザは図８の画面から所望する複数曲を選択する。この複数曲は、直前に選択した所望の３曲に関連する（同一ジャンルの曲でありリリースされた年代が同じ、または、同じアーティストの同一アルバム内の曲であるなどの関連性を有する）複数の曲を選択すると、対応付部３７はこれをメドレーデータ５１９とした関連メドレーデータ５１７を生成する。メドレーデータ５１９は、入力された複数楽曲の各タイトルのデータ７２に対応する楽曲の識別番号のデータ７１を指す。このとき、複数対応付部３７は生成した関連メドレーデータ５１７に、当該データを一意に識別するための関連メドレー名のデータ５１８を生成し格納する。

ここで生成される関連メドレー名のデータ５１８は、先に生成されたメドレー名のデータ５２１を指示する。したがって、メドレー名のデータ５２１と関連メドレー名のデータ５１８によって、編成用メドレーデータ５２０と関連メドレーデータ５１７は関連付けされる。

図１１を参照して、再生モードにおける処理手順を説明する。ここでは、図７の対応付けモードの１対１の対応付け、複数の対応付けの処理が行なわれて、ファイル記憶部３４と対応付情報記憶部４１には図３〜図６のような情報が既に格納されていると想定する。

まず操作部５により、ユーザが再生モードの選択を入力する（ステップＳ３０）。再生モードとしては、ここでは画像ファイルを再生するモードと楽曲ファイルを再生するモードの２つがある。画像再生モードが選択された場合には（ステップＳ３３で‘画像再生モード’）、後述するステップＳ３５による画像再生モードの処理手順（図１２参照）に移行する。

一方、楽曲再生モードが選択された場合には（ステップＳ３３で‘楽曲再生モード’）、ステップＳ３７において、ユーザが操作部５を操作して入力した楽曲選択の指示を受付ける。楽曲選択のためのメニュー画面として図８の画面が表示されるので、この画面を介しユーザは所望の楽曲を選択することができる。

ステップＳ３７では、１つ以上の楽曲のタイトルが選択されると想定する。楽曲再生用ファイル編成部４６は、ステップＳ３７で入力された楽曲の識別番号のデータ７１を選択順番に並べた楽曲再生用ファイルを編成する（ステップＳ３９）。

続いて、画像再生用ファイル編成部４７は、ステップＳ３９で編成されたファイルに登録された楽曲のタイトルに基づき楽曲ファイル６１を検索し、一致する楽曲タイトルのデータ７２を有する楽曲メタ情報６１１中に格納された対応画像識別番号のデータ７８を読出し、これを順に並べた画像再生用ファイルを編成する（ステップＳ４１）。

続いて楽曲の再生が行なわれる（ステップＳ４３）。具体的には、ステップＳ３９で編成された楽曲再生用ファイルに登録された楽曲の識別番号のデータ７１に基づき、ファイル読出部３２によりファイル記憶部３４が検索されて、当該データ７１で識別される楽曲ファイル６１の楽曲データ６１２がファイル読出部３２によりファイル記憶部３４から順番に読出されて、音出力制御部４３により再生されて、スピーカ部１２から出力される。

また、このとき、対応画像が表示される（ステップＳ４５）。つまり、ファイル読出部３２は、ステップＳ４１で生成された画像再生用ファイルに登録された画像識別番号のデータ７８に一致する画像識別番号のデータ８１を有する画像ファイル６２の画像データ６２２を順番にファイル記憶部３４から読出し、表示制御部４２に与える。したがって、表示制御部４２は、順番に与えられる画像データ６２２に基づく画像を表示する。

次に、音出力制御部４３により、すべての楽曲の再生が終了したか否かが判定されて、その判定結果が制御部３０に与えられる。制御部３０が判定結果に基づき楽曲の再生が終了はしていないと判定すると、ステップＳ４３の処理に戻り、ファイル編成された楽曲が続けて再生される。ファイル編成された順番に従い楽曲と、対応付けされた画像とが同期して再生される。

一方、楽曲の再生がすべて終了した（音出力制御部４３により楽曲再生用ファイルに登録されたタイトルの楽曲がすべて再生された）と判定されると（ステップＳ４７でＹＥＳ）、制御部３０は全曲終了と判定して（ステップＳ４９でＹＥＳ）、情報検索部４０を起動する。つまり、再生部４５により、対応付情報記憶部４１のスライド／メドレーデータ５１１の検索が行なわれる（ステップＳ５１）。つまり、ステップＳ３９で編成されたファイルに登録された複数の楽曲の識別番号のデータ７１に基づき検索して、当該複数の楽曲の識別番号のデータ７１をメドレーデータ５１２として格納したスライド／メドレーデータ５１１が対応付情報記憶部４１に格納されていた場合には、関連スライド群ありと判定される（ステップＳ５３でＹＥＳ）。

そして、検索したスライド／メドレーデータ５１１のメドレー名データ５１３に基づき検索して、当該データ５１３を指示する関連スライド群名のデータ５１５を有する関連スライド群データ５１４のスライドデータ５１６が読出される。読出されたスライドデータ５１６を用いて画像再生用ファイルが、画像再生用ファイル編成部４７によって再度編成される（ステップＳ５５）。そして、切替タイミング決定部４８によりその編成後の画像再生用ファイルに基づき画像表示のための切替タイミングが決定される（ステップＳ５７）。その後、ステップＳ４３の処理に戻り、再編成後の画像再生用ファイルに基づき画像再生と、楽曲編成ファイルに従う楽曲の再生とが行なわれる。

この画像再生用ファイル再編成の処理について、図１３を参照し説明する。図１３を参照し、たとえばステップＳ４１で編成された画像再生用ファイル１００が、画１→画２→画３→画４→画５の構成をなしてこの順番に再生表示されたいたと想定する。そのとき、ステップＳ５１の検索においては、たとえば再生用ファイル１００の最後から３枚分の画３、画４、画５に着目し、そられの画像に対応付けられた楽曲が曲３→曲４→曲５であった場合には、ステップＳ５５では検索結果得られたスライドデータ５１６からなるファイル１０１が生成される（ＳＴＥＰ１）。

そして、生成されたファイル１０１を、たとえば元の編成ファイル１００の中に、たとえば画１と画２の間に挿入し、これにより、再生される画像の順番を画１→画６→画７→絵８→画２→画３→画４→画５の順番に再編成する（ＳＴＥＰ２）。

この場合、再編成によって再生する画が３枚増えて計８枚になったので、切替タイミング決定部４８は曲１〜曲５の再生時間（プレイ時間のデータ７７のトータル時間）値を、８枚の画が均等に表示されるように各画の表示時間を決め、画像表示の切替タイミングを決定する（ステップＳ５７）。再編成後において、表示制御部４２は、この決定された切替タイミングに従い再編成ファイル内の画像を順次に表示する。

一方、検索結果、該当するスライド／メドレーデータ５１１が得られなかった場合には（ステップＳ５３でＮＯ）、情報検索部４０によって対応付情報記憶部４１のメドレーの検索処理がなされる（ステップＳ６１）。

楽曲再生用ファイル編成部４６は、再生する楽曲再生用ファイルの再編成を行なうために、情報検索部４０に指示して、対応付情報記憶部４１の情報を検索させる（ステップＳ６１）。つまり、ステップＳ３７およびＳ３９で編成された楽曲再生用ファイルを構成している対応楽曲識別番号のデータ７１に基づき、このファイルを構成するデータ７１の並びに従うメドレーデータ５２２を有する編成用メドレーデータ５２０が格納されているか否かを判定する。編成用メドレーデータ５２０を検索することができた場合に（ステップＳ６３でＹＥＳ）、検索された編成用メドレーデータ５２０のメドレー名データ５２１を指示する関連メドレー名のデータ５１８を有する関連メドレーデータ５１７を検索して、検索した関連メドレーデータ５１７のメドレーデータ５１９を読出し、これを用いて楽曲再生用ファイルを再編成して（図１３のＳＴＥＰ３）、ステップＳ４３の処理に移る。

したがって、再編成された楽曲再編成用ファイルに登録された楽曲（メドレーデータ５１９で指示される楽曲）が順次に再生されながら、元の画像編成ファイル１００の画像が再生表示されるから、画像から連想される他の楽曲をＢＧＭにしながら画像を楽しむことができる。

一方、編成用メドレーデータ５２０が検索できない場合には、（ステップＳ６３でＮＯ）、一連の再生処理を終了する。

次に画像再生モード（ステップＳ３５）の処理について説明する。図１２を参照して画像再生モードの処理においては、図９の画像の選択のためのサムネイル一覧が表示されるので、ユーザは操作部５を操作して、所望する画像を１つ以上選択する。次にステップＳ７３において、画像再生用ファイルが編成される。これは、画像選択入力（ステップＳ７０）で選択された複数の画像を、選択された順番に、その画像識別番号のデータ８１を並べて編成されるファイルである。

続いて、楽曲再生用ファイルが編成される（Ｓ７５）。これは、直前に生成された画像再生用ファイルを構成する画像識別番号のデータ８１のそれぞれに基づき、ファイル読出部３２によりファイル記憶部３４の画像ファイル６２を検索し、当該画像識別番号のデータ８１に一致する対応画像識別番号のデータ７８を楽曲メタ情報６１１として登録している楽曲ファイル６１の楽曲識別番号のデータ７１を構成してなる。

続いて、画像再生用ファイルに従い画像表示がなされるとともに、楽曲再生用ファイルの内容に従い楽曲のデータが順次に再生される（ステップＳ７８、Ｓ８１）。１つの楽曲が終了すると（ステップＳ８３でＹＥＳ）、画像再生用ファイルを編成するすべての画像の再生が終了したかが判定される。

すべての画像の再生が終了したと判定されると（ステップＳ８５でＹＥＳ）、情報検索部４０により、スライド検索がなされる（ステップＳ８７）。

つまり、Ｓ７３で編成された画像再生用ファイルを構成する画像の識別番号に基づいて、図１３の前述したＳＴＥＰ１およびＳＴＥＰ２の処理が行なわれて、画像ファイルが再編成される。そして、表示切替のタイミングが前述したのと同様にして決定される（ステップＳ１０１、Ｓ１０３）。

一方、対応するスライドが対応付情報記憶部４１に格納されていない場合には（ステップＳ９１でＮＯ）、ステップＳ９３の処理に移行する。ステップＳ９３においては、先のステップ７５で編成された楽曲再生用ファイルに登録されている楽曲識別番号データの並びを有する編成用メドレーデータ５２０が対応付情報記憶部４１に登録されているかを判定する。登録されていなければ、一連の画像再生モードを終了する。

一方、登録されていれば、検索したスライド／メドレーデータ５１１のメドレーデータ５１２に基づき楽曲再生用ファイルが再編成されて（図１３のＳＴＥＰ３の処理を参照）、再度ステップＳ７８の処理に戻り、画像の再生が繰返されると。メドレー名のデータ５２１に一致する関連メドレー名データ５１８のメドレーデータ５１９を用いて、楽曲再生用ファイルが再編成されて、再編成されたファイルに従い楽曲が再生される。

図１４は、本実施の形態に係るマルチメディア再生装置１の外観を示す図である。マルチメディア再生装置１は、筐体の前面にスピーカ部１２および操作部５を構成する各種のスイッチを設けるとともに、赤外線を受信するための受光部５１を備える。

本実施の形態では、操作部５によりユーザは筐体の前面に設けられた操作パネルを操作して指示を入力するとしたが、遠隔から操作の指示を与えるようにしてもよい。その場合にはリモートコントローラ５２が用いられる。リモートコントローラ５２の筐体の操作面においては、操作部５に設けられた各種キーが設けられる。リモートコントローラ５２の操作パネルにおいて操作されたキーによる指示信号が、赤外線信号に変調されて送信され、受光部５１により受信され、その受信結果に基づく指示信号がＣＰＵ２に与えられる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本実施の形態に係るマルチメディア再生装置の機能構成図である。 本実施の形態に係るマルチメディア再生装置のハードウェア構成図である。 本実施の形態に係る楽曲ファイルの構成を示す図である。 本実施の形態に係る画像ファイルの内容を示す図である。 本実施の形態に係るサムネイルファイルの構成の一例を示す図である。 本実施の形態の対応付情報の一例を示す図である。 本実施の形態に係る対応付モードの処理フローチャートである。 本実施の形態の楽曲選択のためのメニュー画面の一例を示す図である。 本実施の形態の画像選択のためのメニュー画面の一例を示す図である。 本実施の形態の対応付モードを選択するためのメニュー画面の一例を示す図である。 本実施の形態に係る再生モード時の処理フローチャートである。 本実施の形態に係る画像再生モードの処理フローチャートである。 本実施の形態に係るファイルの再編成について模式的に説明する図である。 本実施の形態に係るマルチメディア再生装置の外観を示す図である。

符号の説明

３０ 制御部、３１ 指示入力部、３２ ファイル読出部、３３ ファイル書込部、３４ ファイル記憶部、３５ 対応付部、３６ １対１対応付部、３７ 複数対応付部、４０ 情報検索部、４１ 対応付情報記憶部、４４ サムネイル作成部、４５ 再生部、４６ 楽曲再生用ファイル編成部、４７ 画像再生用ファイル編成部、４８ 切替タイミング決定部。

Claims (6)

1. 楽曲ファイルと画像ファイルとを記憶するファイル記憶部と、
   音を出力する音出力部と、
   表示部と、
   前記楽曲ファイルを再生して前記音出力部を介し出力する音再生部と、
   前記画像ファイルを再生して前記表示部を介して出力する画像再生部と、
   前記音再生部で出力される前記楽曲ファイルに、外部からの指示に従い選択した前記ファイル記憶部の前記画像ファイルを対応付ける１対１対応付部と、
   外部からの指示に従い複数の前記画像ファイルからなる画像再生用ファイルを編成する画像再生用ファイル編成部と、
   前記画像再生用ファイル編成部により編成された前記画像再生用ファイルを構成する前記複数の画像ファイルそれぞれに、前記１対１対応付部により対応付けされている前記楽曲ファイルからなる楽曲再生用ファイルを編成する楽曲再生用ファイル編成部と、
   編成された前記画像再生用ファイルの前記画像ファイルを前記画像再生部により順次に再生して出力しながら、編成された前記楽曲再生用ファイルの前記楽曲ファイルを前記楽曲再生部により順次に再生して出力する再生部と、
   前記楽曲再生用ファイルの前記楽曲ファイルに関連して外部からの指示に基づき予め生成された前記画像ファイルの群を、前記画像再生用ファイルの前記画像ファイルに追加して、当該画像再生用ファイルを再編成する画像再生用ファイル再編部と、を備え、
   前記再生部による再生が終了したとき、再編成された前記画像再生用ファイルの前記画像ファイルを前記画像再生部により順次に再生して出力しながら、前記楽曲再生用ファイルの前記楽曲ファイルを前記楽曲再生部により順次に再生して出力し、
   前記楽曲再生用ファイルの前記楽曲ファイルに関連して外部からの指示に基づき予め生成された前記楽曲ファイルの群を用いて、前記楽曲再生用ファイルを再編成する楽曲再生用ファイル再編部をさらに備え、
   前記再生部による再生が終了したとき、前記画像再生用ファイルの前記画像ファイルを前記画像再生部により順次に再生して出力しながら、再編成された前記楽曲再生用ファイルの前記楽曲ファイルを前記楽曲再生部により順次に再生して出力し、
   外部からの指示に従い選択した前記ファイル記憶部の複数の前記画像ファイルからなる前記画像ファイルの群を生成し、
   外部からの指示に従い選択した前記ファイル記憶部の複数の前記楽曲ファイルからなる前記楽曲ファイルの群を生成し、
   前記画像ファイルは、予め撮影された写真画像を指す、マルチメディア再生装置。
2. 楽曲ファイルと画像ファイルとを記憶するファイル記憶部と、
   音を出力する音出力部と、
   表示部と、
   前記楽曲ファイルを再生して前記音出力部を介し出力する音再生部と、
   前記画像ファイルを再生して前記表示部を介して出力する画像再生部と、
   前記音再生部で出力される前記楽曲ファイルに、外部からの指示に従い選択した前記ファイル記憶部の前記画像ファイルを対応付ける１対１対応付部と、
   外部からの指示に従い複数の前記画像ファイルからなる画像再生用ファイルを編成する画像再生用ファイル編成部と、
   前記画像再生用ファイル編成部により編成された前記画像再生用ファイルを構成する前記複数の画像ファイルそれぞれに、前記１対１対応付部により対応付けされている前記楽曲ファイルからなる楽曲再生用ファイルを編成する楽曲再生用ファイル編成部と、
   編成された前記画像再生用ファイルの前記画像ファイルを前記画像再生部により順次に再生して出力しながら、編成された前記楽曲再生用ファイルの前記楽曲ファイルを前記楽曲再生部により順次に再生して出力する再生部と、
   前記楽曲再生用ファイルの前記楽曲ファイルに関連して外部からの指示に基づき予め生成された前記画像ファイルの群を、前記画像再生用ファイルの前記画像ファイルに追加して、当該画像再生用ファイルを再編成する画像再生用ファイル再編部と、を備え、
   前記再生部による再生が終了したとき、再編成された前記画像再生用ファイルの前記画像ファイルを前記画像再生部により順次に再生して出力しながら、前記楽曲再生用ファイルの前記楽曲ファイルを前記楽曲再生部により順次に再生して出力する、マルチメディア再生装置。
3. 前記楽曲再生用ファイルの前記楽曲ファイルに関連して外部からの指示に基づき予め生成された前記楽曲ファイルの群を用いて、前記楽曲再生用ファイルを再編成する楽曲再生用ファイル再編部を備え、
   前記再生部による再生が終了したとき、前記画像再生用ファイルの前記画像ファイルを前記画像再生部により順次に再生して出力しながら、再編成された前記楽曲再生用ファイルの前記楽曲ファイルを前記楽曲再生部により順次に再生して出力する、請求項２に記載のマルチメディア再生装置。
4. 外部からの指示に従い選択した前記ファイル記憶部の複数の前記画像ファイルからなる前記画像ファイルの群を生成する、請求項２または３に記載のマルチメディア再生装置。
5. 外部からの指示に従い選択した前記ファイル記憶部の複数の前記楽曲ファイルからなる前記楽曲ファイルの群を生成する、請求項３に記載のマルチメディア再生装置。
6. 前記画像ファイルは、予め撮影された写真画像を指す、請求項２から５のいずれか１項に記載のマルチメディア再生装置。

Images