JP2003141859A - 画像音声再生システム、プログラム、及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明の課題は、モニタに表示された画像デ
ータを操作して画像データに対応する音声データを再生
可能なシステムにおいて、音声データを複数の音声トラ
ック単位で記録し、画像データの所定領域と音声トラッ
クとを対応付けることにより、画像データの所定領域を
操作することで、再生する音声トラックを指示可能とす
ることである。 【解決手段】 本発明に係る情報端末装置１０によれ
ば、ＣＰＵ１１は、音声データを構成している各音声ト
ラックと画像領域又はアイコンとを対応付け、画像領
域、或いは画像領域に表示されたアイコンが操作される
と、対応した音声トラックを再生する。また、録音が指
示されると、ＣＰＵ１１は、マイクから入力された音声
を、空きトラック或いは指定されたトラックに記録す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像音声再生シス
テム、プログラム、及び記録媒体に関する。

【０００２】

【従来の技術】従来、モニタ表示された画像データをカ
ーソル等で指示すると、画像データに対応付けられてい
るＭＩＤＩやＷＡＶ、ＭＰ３等にエンコードされた音声
データが再生されるシステムが知られている。このよう
なシステムは、音声データと画像データを同期させてミ
ュージッククリップ等を作成可能とするソフト等を用い
ることによって、手軽に作成できる。

【０００３】このようなシステムに利用されている音声
データは、特に音楽である場合が多い。音楽は、一般に
複数の楽器やボーカルによるアンサンブル形式である
が、通常、音声データはこれらをミキサー等でステレオ
２ｃｈにミックスダウンして録音したり、２本のマイク
でステレオ録音したりすることにより作成されたもので
ある。

【０００４】

【発明が解決しようとする課題】さて、モニタに表示さ
れた画像データを指示して対応する音楽を再生する際
に、ソロ演奏として、特定のパートの音声データのみを
再生したい場合がある。例えば、バンドメンバーの演奏
シーンの画像と、そのバンドの音楽が同期して再生でき
るシステムの場合、メンバーの中で特定の人のソロ演奏
のみを集中して聴きたい場合や、楽器練習のために特定
のパートの演奏のみを練習したい場合等である。また、
同様に、特定の楽器を除いて再生したい場合もある。例
えば、バンドのギターのパートを除いて再生し、再生さ
れた音楽に合わせてギターを演奏して楽器練習したい場
合等である。

【０００５】しかしながら、従来のシステムにおいて
は、音声データはステレオ２ｃｈにミックスダウンされ
たファイルであるので、特定のパートのみを再生した
り、再生対象からはずしたりすることはできなかった。

【０００６】本発明の課題は、上記問題点を解決し、モ
ニタに表示された画像データを操作して画像データに対
応する音声データを再生可能なシステムにおいて、音声
データを複数の音声トラック単位で記録し、画像データ
の所定領域と音声トラックとを対応付けることにより、
画像データの所定領域を操作することで、再生する音声
トラックを指示可能とすることである。

【０００７】

【課題を解決するための手段】上記課題を解決するた
め、請求項１記載の発明は、画像データと、複数の音声
トラックにより構成される音声データとを対応付けて記
憶する記憶手段と、前記画像データを画面に表示する表
示手段と、前記表示手段により表示された画面上の複数
の画像領域と前記各音声トラックとを対応付ける画像・
音声対応付け手段と、前記画像領域の１以上の指定に基
づいて、前記対応付けられた音声トラックの音声データ
を再生する再生手段と、を備えたことを特徴としてい
る。

【０００８】請求項１記載の発明によれば、モニタに表
示された複数の画像領域と、１曲分の音声データを構成
する各音声トラックとを対応付けることにより、ユーザ
により画像領域が指定されると、指定された画像領域に
対応する音声トラックを再生する。従って、１曲の音声
データを構成する音声トラックのうち、ユーザが所望の
音声トラックのデータのみの再生を指定することができ
る。

【０００９】請求項２記載の発明は、請求項１記載の発
明において、前記各画像領域に対応付ける音声トラック
を設定する対応設定手段と、前記対応設定手段による設
定により、前記各画像領域と前記各音声トラックとを対
応付けて記憶する画像音声対応記憶手段と、を更に備え
たことを特徴としている。

【００１０】請求項２記載の発明によれば、ユーザが各
画像領域に対応する音声トラックを任意に設定すること
ができる。従って、ユーザが思い通りに画像領域と音声
トラックとの対応付けを設定することができる。

【００１１】請求項３記載の発明は、請求項１記載の発
明において、前記音声トラックに対応付けられた画像領
域に音声トラックの名称が表示された操作ボタンを表示
する操作ボタン表示手段を更に備えたことを特徴として
いる。

【００１２】請求項３記載の発明によれば、モニタに表
示された画像領域上に、画像領域に対応付けられた音声
トラックの名称が表示された操作ボタンが表示される。
従って、ユーザが所望の音声トラックの再生を指示する
領域を容易に把握することができる。

【００１３】請求項４記載の発明は、画像データと、複
数の音声トラックにより構成される音声データとを対応
付けて記憶する記憶手段と、前記画像データを画面に表
示する表示手段と、前記表示手段により表示された画面
上に、前記各音声トラックと対応付けられた複数のアイ
コンを表示するアイコン表示手段と、前記アイコンの１
以上の指定に基づいて、前記指定されたアイコンに対応
付けられた音声トラックの音声データを再生する再生手
段と、を備えたことを特徴としている。

【００１４】請求項４記載の発明によれば、１曲分の音
声データを構成する各音声トラックに対応したアイコン
を、モニタに表示された画像データ上に自動的に表示
し、ユーザによりアイコンが指定されると、指定された
アイコンに対応する音声トラックのデータを再生する。
従って、１曲の音声データを構成する音声トラックのう
ち、ユーザが所望の音声トラックのデータのみの再生を
容易に指定することができる。また、音声トラックを指
定するための画面を容易に作成することができる。

【００１５】請求項５記載の発明は、請求項１乃至４の
何れかに記載の発明において、前記複数の音声トラック
全ての音声データの再生を指示する全トラック再生指示
手段を備えたことを特徴としている。

【００１６】請求項５記載の発明によれば、操作された
画像領域に対応する音声トラックを再生する機能だけで
なく、１曲分の音声データを構成する全ての音声トラッ
クのデータを再生する機能を有することができる。従っ
て、画像音声再生システムの機能性が向上する。

【００１７】請求項６記載の発明は、請求項１乃至５の
何れかに記載の発明において、音声データを何れかの音
声トラックに録音する録音手段を備えたことを特徴とし
ている。

【００１８】請求項６記載の発明によれば、マイクから
録音された音声を音声トラックに記録する機能を有する
ことができる。従って、画像音声再生システムの機能性
が向上する。

【００１９】請求項７記載の発明は、画像データと、複
数の音声トラックにより構成される音声データとを対応
付けて記憶する記憶手段と、前記画像データを画面に表
示する表示手段と、前記表示手段により表示された画面
上の複数の画像領域と前記各音声トラックとを対応付け
る画像・音声対応付け手段と、前記画像領域の１以上の
指定に基づいて、前記対応付けられた音声トラック以外
の音声トラックの音声データを再生するトラックマイナ
ス再生手段と、を備えたことを特徴としている。

【００２０】請求項７記載の発明によれば、モニタに表
示された複数の画像領域と、１曲分の音声データを構成
する各音声トラックとを対応付けることにより、ユーザ
により画像領域が指定されると、音声データを構成する
全ての音声トラックのうち、指定された画像領域に対応
する音声トラック以外の全音声トラックのデータを再生
する。従って、例えば、ユーザがある楽器を演奏して他
の楽器と合わせたい時に、演奏する楽器の音声トラック
のデータを、全音声トラックの再生から除くことが可能
となる等、１曲の音声データを再生する際の利便性が向
上する。

【００２１】請求項８記載の発明は、画像データと、複
数の音声トラックにより構成される音声データとを対応
付けて記憶する記憶手段と、前記画像データを画面に表
示する表示手段と、前記表示手段により表示された画面
上に、前記各音声トラックと対応付けられた複数のアイ
コンを表示するアイコン表示手段と、前記アイコンの１
以上の指定に基づいて、前記指定されたアイコンに対応
付けられた音声トラック以外の音声トラックの音声デー
タを再生するトラックマイナス再生手段と、を備えたこ
とを特徴としている。

【００２２】請求項８記載の発明によれば、１曲分の音
声データを構成する各音声トラックに対応したアイコン
を、モニタに表示された画像データ上に自動的に表示
し、ユーザによりアイコンが指定されると、音声データ
を構成する全ての音声トラックのうち、指定されたアイ
コンに対応する音声トラック以外の全音声トラックのデ
ータを再生する。従って、例えば、ユーザが自分で演奏
したい楽器の音声トラックのデータを、全音声トラック
の再生から除くことが可能となる等、１曲の音声データ
を再生する際の利便性が向上する。また、そのための画
面を容易に作成することができる。

【００２３】

【発明の実施の形態】以下、図を参照して本発明の実施
の形態を詳細に説明する。まず、構成を説明する。図１
は、本実施の形態における画像音声再生システム１の全
体構成を示す概念図である。図１に示す様に、画像音声
再生システム１は、情報端末装置１０、オーディオＭＩ
ＤＩＩ／Ｆ付モジュール２０、デジタルカメラ３０、ス
ピーカ４０により構成されている。

【００２４】図２は、情報端末装置１０の機能的構成を
示すブロック図である。図２に示すように、情報端末装
置１０は、ＣＰＵ１１、入力部１２、ＲＡＭ１３、ＶＲ
ＡＭ１４、表示部１５、記録媒体１６ａを有する記憶装
置１６、及び通信制御部１７により構成され、記録媒体
１６ａを除く各部は、バス１８により接続されている。

【００２５】ＣＰＵ（Central Processing Unit）１１
は、記憶装置１６に記憶されている各種制御プログラム
を読み出し、該制御プログラムに従って各部の動作を集
中制御する。また、ＣＰＵ１１は、読み出した制御プロ
グラムに従って、後述する画像・音声対応付処理をはじ
めとする各種処理プログラムを実行し、その結果をＲＡ
Ｍ１３に格納すると共に表示部１５に表示させる。そし
て、ＲＡＭ１３に格納した処理結果を、記憶装置１６或
いは記録媒体１６ａの所定の保存先に保存させる。ＣＰ
Ｕ１１は、画像・音声対応付手段、再生手段、全トラッ
ク再生指示手段、録音手段、ならびにトラックマイナス
再生手段としての機能を有する。

【００２６】入力部１２は、文字／英数字入力キー、カ
ーソルキー、及び各種機能キー等を備えたキーボード
と、ポインティングデバイスであるマウス等を備えて構
成され、キーボードで押下操作されたキーの押下信号と
マウスによる操作信号とを入力信号としてＣＰＵ１１へ
出力する。若しくは、入力部１２は、表示部１５の表示
画面を覆う透明なシートパネルに、指又は専用のスタイ
ラスペンで触れることにより入力される位置情報を入力
信号としてＣＰＵ１１へ出力する、タッチパネルにより
構成される。また、リモコン、十字キー、レーザポイン
タ等の操作信号を入力信号としてＣＰＵ１１へ出力する
構成としてもよい。入力部１２は、対応設定手段として
の機能を有する。

【００２７】ＲＡＭ（Random Access Memory）１３は、
ＣＰＵ１１により実行制御される各種処理において、記
憶装置１６から読み出された情報端末装置１０で実行可
能なシステムプログラム、制御プログラム、入力若しく
は出力データ、及びパラメータ等の一時的な格納領域と
なる。

【００２８】ＶＲＡＭ１４は、ＣＰＵ１１の表示指示に
従って、表示部１５に表示するための画像データを一時
的に格納する。表示部１５は、ＬＣＤ（Liquid Crystal
Display）やＣＲＴ（Cathode Ray Tube）等により構成
され、ＣＰＵ１１から入力される表示信号の指示に従っ
て、表示画面上に、画像の表示を行う。表示部１５は、
表示手段、操作ボタン表示手段、ならびにアイコン表示
手段としての機能を有する。

【００２９】記憶装置１６は、ＨＤ（Hard Disc)や不揮
発性の半導体メモリ等により構成され、情報端末装置１
０に対応するシステムプログラム、及び該システムプロ
グラム上で実行可能な各種処理プログラム、及びこれら
のプログラムで処理されたデータ等を記憶する。また、
記憶装置１６は、磁気的または光学的記録媒体、若しく
は半導体等の不揮発性メモリで構成されている。プログ
ラムは、コンピュータが読み取り可能なプログラムコー
ドの形態で格納され、ＣＰＵ１１は、当該プログラムコ
ードに従った動作を逐次実行する。記憶装置１６は、記
憶手段、画像音声対応記憶手段としての機能を有する。

【００３０】本実施の形態において、記録媒体１６ａ
は、図３に示すように、内部に音声画像対応付ファイル
１６１を有して構成される。図３は、音声トラックと画
像データの一領域（画像領域）とを対応付けて記憶する
音声画像対応付ファイル１６１内のデータ格納例を示す
図である。図３に示すように、音声画像対応付けファイ
ル１６１は、画像領域のデータが記録されているトラッ
ク名称を表す文字列（例えば、“メンバーＡ”、“メン
バーＢ”、“メンバーＣ”、・・・）を「画像領域デー
タ」として格納する画像領域データ領域１６１ａと、画
像領域データに対応する音声トラックが記録されている
トラック名称を表す文字列（例えば、“ドラム”、“ベ
ース”、“ピアノ”、・・・）を「音声トラック」として
格納する音声トラック領域１６１ｂと、を有する。な
お、図３に示すように、音声画像対応付ファイル１６１
は、曲ファイルＡ、曲ファイルＢのように１曲分が１フ
ァイルとして構成されており、１ファイルは、１曲分の
音声データを構成する複数の音声トラック領域１６１ｂ
と、音声トラックに対応する画像領域データ領域１６１
ａと、により構成されている。

【００３１】通信制御部１７は、ルータやＴＡ（Termin
al Adapter）等によって構成され、インターネットに接
続された外部通信端末との間でインターネットプロトコ
ルに基づく通信の制御を行う。

【００３２】オーディオＭＩＤＩ Ｉ／Ｆ付サウンドモ
ジュール２０は、Ａ／Ｄ変換器、Ｄ／Ａ変換器、増幅
器、ＭＩＤＩデータの入出力インターフェース等により
構成される、音声の入出力機能を有する拡張カードであ
り、情報端末装置１０に装着することで、音声データの
再生、サンプルの作成、編集、エフェクト追加等を行
う。オーディオＭＩＤＩ Ｉ／Ｆ付サウンドモジュール
２０は、複数の入力端子を備えており、ＭＩＤＩ機器、
マイク、スピーカ、オーディオＣＤ等を接続可能であ
る。

【００３３】デジタルカメラ３０は、光学系によりＣＣ
Ｄ（Charge Coupled Device）に撮像された被写体光を
光電変換して、画像処理を行い、記録媒体に記録する。
デジタルカメラ３０は、入出力インターフェースを介し
て情報端末装置１０に接続されると、記録されている被
写体の画像データを情報端末装置１０へ出力する。

【００３４】スピーカ４０は、オーディオＭＩＤＩ Ｉ
／Ｆ付サウンドモジュール２０によりアナログに変換さ
れ、音声データを外部に出力する。

【００３５】次に、動作を説明する。まず、情報端末装
置１０のＣＰＵ１１により実行される、画像・音声対応
付処理について図４のフローチャートを参照して説明す
る。

【００３６】入力部１２により新規の音声再生画面の作
成の指示が入力されると（ステップＳ１；ＹＥＳ）、Ｃ
ＰＵ１１は、ユーザに録音を指示する画面を表示部１５
に表示させる（ステップＳ２）。ユーザにより録音する
トラックが指定され（ステップＳ３）、録音が開始され
ると（ステップＳ４；ＹＥＳ）、ＣＰＵ１１は、オーデ
ィオＭＩＤＩ Ｉ／Ｆ付サウンドモジュール２０の入力
端子に接続された音楽を、指定した音声トラックに記録
する（ステップＳ５）。音声トラックとは、音声データ
の記録単位であり、複数の音声トラックで音声データ
（１曲分に相当）が構成される。音声データの中の異な
る音声トラックは、互いに同期することができる。

【００３７】音声の録音が終了すると、ＣＰＵ１１は、
ユーザに、画像データの設定を指示する画面を表示部１
５に表示させる（ステップＳ６）。画像データは、既存
のデータを利用しても良いし、新たにデジタルカメラ３
０により撮影した画像データを、デジタルカメラ３０か
ら取り込むようにしてもよい。画像データは、静止画で
も動画でもよい。また、画像データは、音声トラックと
共にトラックに記録してもよいし、音声トラックとは別
々に記録してもよい。

【００３８】画像データの設定が終了すると（ステップ
Ｓ７）、ＣＰＵ１１は、１曲分の音声データを構成する
各音声トラックと画像データの詳細画面を表示部１５に
表示させる（ステップＳ８）。図５は、ステップＳ７に
おいて表示される音声トラック・画像データ詳細画面１
５１の一例である。図５に示すように、音声トラック・
画像データ詳細画面１５１の上段には、音声データ名
（曲名）、音声再生録音機能ボタン、曲のテンポが表示
されている。その下には、トラック番号と、トラック名
称、記録されているファイルの形式、Ｒ，Ｓ，Ｍ（録
音、ソロ、ミュートの機能選択欄）、タイムムーラ（音
声トラックを１小節毎に区切って、データを模式化した
図。画像データについては、動画は、テンポに対応する
コマの画像を順次表示した図。静止画は、ＪＰＥＧ画像
を表示。）等、トラック番号のトラックに記録されてい
るデータの情報（情報データ）が表示されている。

【００３９】ＣＰＵ１１は、音声トラック・画像データ
詳細画面１５１表示後、当該画面上に、音声トラックと
画像領域との対応付けウィンドウ等を表示することによ
り、音声トラックと画像領域との対応付けをオート（自
動）で行うか、若しくはマニュアル（手動）で行うかを
ユーザに画面上で選択させる（ステップＳ９）。そし
て、オートが選択されると（ステップＳ９；ＹＥＳ）、
ＣＰＵ１１は、各音声トラックと１：１に対応付けられ
たアイコンと、指示機能ボタンをステップＳ７で設定さ
れた画像データ上に自動的に作成し（ステップＳ１
０）、作成した画面を表示部１５に表示させ（ステップ
Ｓ１８）、画像・音声対応付処理を終了する。

【００４０】なお、指示機能ボタンとは、例えば、「全
て」或いは「マイナス１」等の表示がされたボタンであ
り、「全て」は、音声データを構成する全ての音声トラ
ックの再生を指示するためのボタンであり、「マイナス
１」は、当該ボタンが操作された後に操作されたアイコ
ンに対応する音声トラックを除いて音声データを再生す
る機能を有するボタンである。

【００４１】一方、マニュアルが選択されると（ステッ
プＳ９；ＮＯ）、ＣＰＵ１１は、音声トラック・画像デ
ータ詳細画面１５１画面上に、ステップＳ７で設定され
た画像データをウィンドウ表示する（ステップＳ１
１）。そして、ユーザがウィンドウ画面上のある領域を
指定すると（ステップＳ１２）、ＣＰＵ１１は、指定さ
れた画像領域のデータをトラックとして記録媒体１６ａ
に記憶し、同時に音声トラック・画像データ詳細画面１
５１画面の情報データ欄に画像領域のデータを追加表示
させる（ステップＳ１３）。ユーザが領域を指定する際
には、ユーザが画像データ上のある要素、例えば、画像
がバンドのメンバーにより構成されている場合、各メン
バーのうちの一人をマウス等で操作すると、ＣＰＵ１１
ａが領域を決定し、決定した領域がエッジ強調または特
定色で強調されるようにして、音声トラックと対応付け
られる領域の把握が容易にできるようにしてもよい。

【００４２】画像領域の指定後、ユーザにより音声トラ
ックのトラック番号が選択されると（ステップＳ１
４）、ＣＰＵ１１は、画面上の指定した領域と音声トラ
ックを対応付けて記録媒体１６ａに音声画像対応付ファ
イル１６１として記憶させる（ステップＳ１５）。対応
付けが終了すると（ステップＳ１６；ＹＥＳ）、ＣＰＵ
１１は、ステップＳ１２により指定されなかった領域
を、「全て」「マイナス１」等の機能に割り当てる（ス
テップＳ１７）。画像領域は、音声トラックの数以上が
必要となり、画像領域の数が不足している場合は、ＣＰ
Ｕ１１は、自動的にボタン等を作成し、領域を確保す
る。画像領域と機能の割り当てが終了すると、ＣＰＵ１
１は、作成した画面を表示部１５に表示させ（ステップ
Ｓ１８）、画像・音声対応付処理を終了する。

【００４３】上記画像・音声対応付処理によれば、ユー
ザはオートとマニュアルの２種類の方法により各音声ト
ラックと画像データとの対応付けを行うことが可能であ
るが、オートとマニュアルでは、それぞれ異なった特長
を有しており、ユーザは所望の方法を選択できるように
なっている。オートは、各音声トラックと１：１に対応
付けられたアイコンを自動的に画面上に作成する。従っ
て、音声再生画面を作成するためのユーザの操作が短縮
されるという利点がある。

【００４４】一方で、マニュアルは、ユーザが画面上の
画像データの領域（画像領域）と対応する音声トラック
とを指定することにより、音声再生画面が作成される。
従って、ユーザが所望の画像領域と音声トラックとを対
応付けることが可能となる。また、画像領域と音声トラ
ックとは、１：１の対応に限定されず、様々なバリエー
ションによる設定が可能となっている。例えば、音声ト
ラックの個数より画像領域を少なく設定する（１つの画
像領域と複数の音声トラックを対応付ける）ことや、逆
に多く設定する（１つの音声再生画面上で１つの音声ト
ラックに対応した画像領域と、複数の音声トラックに対
応した画像領域を組み合わせて存在させる）ことが可能
である。

【００４５】なお、音声トラック・画像データ詳細画面
１５１は、画像・音声対応付処理の終了後においても、
随時表示可能であり、音声データを構成する音声トラッ
クの内容を確認することができる。

【００４６】また、音声トラック・画像データ詳細画面
１５１上から再生動作を行うこともできる。例えば、
Ｒ，Ｓ，Ｍ欄と音声再生録音機能ボタンを操作すること
で、音声を再生することが可能となる。ユーザがトラッ
ク番号１の「Ｒ」を操作することにより、チェック記号
が記入され、音声再生録音機能ボタンの「録音」を操作
すると、他のトラックにデータがあれば、他の音声トラ
ックが再生されるので、他の音声トラックの再生にあわ
せてマイクを介して音声を演奏することで、トラック番
号１には、入力された音声が記録される。また、「Ｓ］
が操作した後、音声再生録音機能ボタンの「再生」を操
作すると、Ｓが操作された音声トラックのみが再生され
る。また、「Ｍ」操作した後、音声再生録音機能ボタン
の「再生」を操作すると、「Ｍ」欄が操作された音声ト
ラック以外の音声トラックが再生される。

【００４７】図６の（１）は、画像・音声対応付処理の
ステップＳ９でオートが選択された場合に作成される音
声再生画面１５２の一例である。図６の（１）に示すよ
うに、音声再生画面１５２には、ユーザにより設定され
た画像データが表示され、画面の左側には、指示機能ボ
タンとアイコンが表示されている。また、画面下部に
は、「一時停止」「再生」「録音」「巻戻し」等の音声
再生録音機能ボタンが表示されている。

【００４８】アイコンが操作されると、ＣＰＵ１１は、
操作されたアイコンに対応する音声トラックを再生す
る。例えば、ギターのアイコンが操作されると、ＣＰＵ
１１は、ギターの音声トラックのみをソロで再生する。
次に、ドラムのアイコンが操作されると、ＣＰＵ１１
は、ギターに対応する音声トラックの再生に同期させ
て、ドラムに対応する音声トラックを再生する。アイコ
ンの操作が追加されるごとに、ＣＰＵ１１は、再生する
音声トラックを追加していく。指示機能ボタンには、例
えば、「全て」或いは「マイナス１」等のボタンがあ
り、「全て」が操作されると、ＣＰＵ１１は、音声デー
タを構成する音声トラックの全てを再生する。一方、
「マイナス１」が操作され、その直後に音声トラックが
選択されると、「マイナス１」が操作された後に操作さ
れた音声トラック以外の音声トラックの再生が行われ
る。この場合、「マイナス１」で指示される音声トラッ
クは１つに限定されず、複数指示可能に構成されること
が望ましい。

【００４９】また、音声再生録音機能ボタンの「録音」
が操作された後、あるアイコンが操作されると、音声デ
ータを構成する、当該音声トラック以外の音声トラック
が再生される。そして、再生されている音声に併せてオ
ーディオＭＩＤＩ Ｉ／Ｆ付サウンドモジュール２０の
マイクを介して音声が入力されると、ＣＰＵ１１は、入
力された音声を音声トラックとして記録する。

【００５０】図６の（２）は、画像・音声対応付処理の
ステップＳ９でマニュアルが選択された場合に作成され
る音声再生画面１５３の一例である。図６の（２）に示
すように、音声再生画面１５３には、ユーザにより設定
された画像データが表示され、画面下部には「一時停
止」「再生」「録音」「巻戻し」等の音声再生録音機能
ボタンが表示されている。

【００５１】ユーザにより音声再生画面１５３上のある
領域、例えば、右側の人物が操作されると、ＣＰＵ１１
は、音声画像対応付けファイル１６１を読み出して、当
該人物に対応する音声トラックを再生する。画像の領域
が選択されるごとに、ＣＰＵ１１は、音声画像対応付け
ファイル１６１を読み出して、画像の領域に対応する音
声トラックの再生を追加していく。また、指示機能ボタ
ンの領域が操作されると、所定の指示機能の動作を行
う。

【００５２】また、音声再生録音機能ボタンの「録音」
が操作された後、ある領域が操作されると、領域に対応
する音声トラックを除いた、音声データを構成する音声
トラックが再生される。そして、再生されている音声に
併せて、オーディオＭＩＤＩＩ／Ｆ付サウンドモジュー
ル２０のマイクを介して音声が入力されると、ＣＰＵ１
１は、入力された音声を音声トラックとして記録する。

【００５３】以上説明した様に、画像音声再生システム
１によれば、ＣＰＵ１１は、ユーザにより音声トラック
と画像データとの対応付けをオートで行う指示がある
と、表示画面上に音声トラックに対応付けられたアイコ
ンを作成する。ユーザにより音声トラックと画像データ
との対応付けをマニュアルで行う指示があると、ＣＰＵ
１１は、ユーザにより指示された音声データを構成して
いる各音声トラックと画像領域とを対応付けて記憶す
る。そして、表示画面上でアイコン、或いは所定の画像
領域が操作されると、当該アイコン或いは画像領域に対
応した音声トラックを再生する。再生方法は、操作する
アイコンや画像領域と、指示機能ボタンによって、全て
再生、操作されたトラックのみの再生、操作されたされ
たトラック以外を再生、という３種類の再生方法があ
る。また、録音が指示されることで、再生されたトラッ
クに合わせてマイクから入力した音声を、空きトラック
或いは指定されたトラックに記録する。

【００５４】従って、１曲を構成する音声トラックのう
ち、ユーザが所望の音声トラックのみの再生を指定する
ことができる。その結果、例えば、ユーザがギターの練
習をするために、ギターのパートのみを再生すること
や、「マイナス１」機能を利用して、バンドにあわせて
ギターを自分で演奏するために、ギターのパート以外を
再生するということが可能となる。また、「録音」機能
を利用することで、自分で演奏したギターのパートを１
つの音声トラックとして記録することも可能となる。

【００５５】なお、上記実施の形態における記述内容
は、本発明に係る画像音声再生システム１好適な一例で
あり、これに限定されるものではない。例えば、画像領
域のデータは、音声トラックと共にトラックとして記憶
しているが、音声トラックとは別に記憶するようにして
もよい。

【００５６】また、上記実施の形態では、画像音声再生
システム１は、オートとマニュアルの双方による音声ト
ラックと画像データとの対応付けが可能なシステムとし
て説明したが、上述した様に、オートとマニュアルはそ
れぞれ固有の特長を有していることから、それぞれ独立
したシステムとしてもよい。全音声トラックの再生か
ら、指定された画像領域或いはアイコンに対応する音声
トラックを除いて再生する機能である「マイナス１」に
ついても、この機能単独で音楽スクール等で活用できる
システムを構成可能であることから、独立したシステム
としてもよい。

【００５７】上記実施の形態の別形態として、画像認識
によりモニタに表示された画像中の楽器若しくは人物の
領域を特定し、特定された領域と音声トラックとをオー
ト又はマニュアルにより対応付けてもよい。この場合、
オートによると、画像認識により特定された領域と音声
トラックとをシステムで自動的に対応付けるので、上記
実施の形態におけるオートによる対応付けの場合とは異
なり、アイコンは表示しなくてもよい。従って、音声再
生画面を作成するためのユーザの操作が更に簡略化され
ると共に、表示された画像データ上にアイコンを表示す
る必要がないので、見栄えの良い音声再生画面を作成す
ることができる。一方、マニュアルの場合、ユーザによ
り、画像認識により特定された領域と音声トラックとの
対応付けを任意に行う。従って、ユーザが所望の画像領
域と音声トラックとを対応付けることが可能となると共
に、システム側で領域を特定するので、領域を指定する
操作が容易になる。

【００５８】また、上記実施の形態では、音声データを
１曲の音楽としているが、これに限定されない。例え
ば、自然の音（小鳥のさえずり、小川のせせらぎ、虫の
声等）を音声データとしてもよい。図７は、音声トラッ
クにＢＧＭ、小鳥のさえずり、小川のせせらぎ、風の音
等の音声を入力した、ＢＧＭ再生画面１５４の一例を示
す図である。図７に示すように、ＢＧＭ再生画面１５４
には、山、小川、小鳥等の画像領域から構成される風景
画像と、画像領域に対応する音声トラックの名称が記載
された操作ボタンが各画像領域上に表示され、操作ボタ
ンが操作されると、対応する音声トラックが再生され
る。この場合についても、画面上の領域を操作すること
で、対応する音声トラックを再生するようにしてもよ
い。例えば、画面上の小鳥を操作することで、対応する
音声トラックである、小鳥のさえずりが再生されるよう
にしてもよい。

【００５９】映画やスポーツ等の映像を、情報端末装置
１０で再生する場合についても、本発明を適用すること
ができる。例えば、情報端末装置１０上で映画を上映す
る場合、音声を日本語、英語、ＢＧＭにわけて音声トラ
ックに記録しておけば、ＢＧＭだけを再生して録音した
り、英語だけを再生してヒアリングの練習をしたりする
ことが可能となる。

【００６０】また、情報端末装置１０がＮＯＳ（Networ
k Operating System）を実装し、所定のＵＲＬ上に本発
明をＨＴＭＬ(Hyper Text Markup Language）形式でプ
ログラム作成して保存することで、インターネットに接
続可能であり、Ｗｅｂブラウザを搭載した他の情報端末
装置から画像音声再生システムを利用して、音声データ
の再生を楽しむことができる。

【００６１】更に、画像・音声対応付処理は、プログラ
ムとして記録媒体に読み込むことによって、様々なソフ
トウェア、ハードウェア上で利用することが可能であ
る。画像・音声対応付処理の機能を他のソフトウェア、
ハードウェアに追加するプラグインとしてもよい。

【００６２】その他、情報端末装置１０の細部構成及び
細部動作に関しても、本発明の趣旨を逸脱することのな
い範囲で適宜変更可能である。

【００６３】

【発明の効果】請求項１記載の発明の画像音声再生シス
テム、請求項９記載のプログラム、及び請求項１０記載
の記録媒体によれば、モニタに表示された複数の画像領
域と、１曲分の音声データを構成する各音声トラックと
を対応付けることにより、ユーザにより画像領域が指定
されると、指定された画像領域に対応する音声トラック
を再生する。従って、１曲の音声データを構成する音声
トラックのうち、ユーザが所望の音声トラックのデータ
のみの再生を指定することができる。

【００６４】請求項２記載の発明によれば、ユーザが各
画像領域に対応する音声トラックを任意に設定すること
ができる。従って、ユーザが思い通りに画像領域と音声
トラックとの対応付けを設定することができる。

【００６５】請求項３記載の発明によれば、モニタに表
示された画像領域上に、画像領域に対応付けられた音声
トラックの名称が表示された操作ボタンが表示される。
従って、ユーザが所望の音声トラックの再生を指示する
領域を容易に把握することができる。

【００６６】請求項４記載の発明の画像音声再生システ
ム、請求項１１記載のプログラム、及び請求項１２記載
の記録媒体によれば、１曲分の音声データを構成する各
音声トラックに対応したアイコンを、モニタに表示され
た画像データ上に自動的に表示し、ユーザによりアイコ
ンが指定されると、指定されたアイコンに対応する音声
トラックのデータを再生する。従って、１曲の音声デー
タを構成する音声トラックのうち、ユーザが所望の音声
トラックのデータのみの再生を容易に指定することがで
きる。また、音声トラックを指定するための画面を容易
に作成することができる。

【００６７】請求項５記載の発明によれば、操作された
画像領域に対応する音声トラックを再生する機能だけで
なく、１曲分の音声データを構成する全ての音声トラッ
クのデータを再生する機能を有することができる。従っ
て、画像音声再生システムの機能性が向上する。

【００６８】請求項６記載の発明によれば、マイクから
録音された音声を音声トラックに記録する機能を有する
ことができる。従って、画像音声再生システムの機能性
が向上する。

【００６９】請求項７記載の発明の画像音声再生システ
ム、請求項１３記載のプログラム、及び請求項１４記載
の記録媒体によれば、モニタに表示された複数の画像領
域と、１曲分の音声データを構成する各音声トラックと
を対応付けることにより、ユーザにより画像領域が指定
されると、音声データを構成する全ての音声トラックの
うち、指定された画像領域に対応する音声トラック以外
の全音声トラックのデータを再生する。従って、例え
ば、ユーザがある楽器を演奏して他の楽器と合わせたい
時に、演奏する楽器の音声トラックのデータを、全音声
トラックの再生から除くことが可能となる等、１曲の音
声データを再生する際の利便性が向上する。

【００７０】請求項８記載の発明の画像音声再生システ
ム、請求項１５記載のプログラム、及び請求項１６記載
の記録媒体によれば、１曲分の音声データを構成する各
音声トラックに対応したアイコンを、モニタに表示され
た画像データ上に自動的に表示し、ユーザによりアイコ
ンが指定されると、音声データを構成する全ての音声ト
ラックのうち、指定されたアイコンに対応する音声トラ
ック以外の全音声トラックのデータを再生する。従っ
て、例えば、ユーザが自分で演奏したい楽器の音声トラ
ックのデータを、全音声トラックの再生から除くことが
可能となる等、１曲の音声データを再生する際の利便性
が向上する。また、そのための画面を容易に作成するこ
とができる。

【図面の簡単な説明】

【図１】本発明に係る画像音声再生システム１の全体構
成を概念的に示す図である。

【図２】図１の情報端末装置１０の機能的構成を示すブ
ロック図である。

【図３】図２の音声画像対応付ファイル１６１のファイ
ル構成を示す図である。

【図４】図２のＣＰＵ１１により実行される画像・音声
対応付処理を示すフローチャートである。

【図５】図４のステップＳ８で表示される音声トラック
・画像データ詳細画面１５１の一例を示す図である。

【図６】図４のステップＳ１８で表示される音声再生画
面１５２及び音声再生画面１５３の一例を示す図であ
る。

【図７】本発明により作成可能なＢＧＭ再生画面１５４
の一例を示す図である。

【符号の説明】

１ 画像音声再生システム １０ 情報端末装置 １１ ＣＰＵ １２ 入力部 １３ ＲＡＭ １４ ＶＲＡＭ １５ 表示部 １６ 記憶装置 １６ａ 記録媒体 １６１ 音声画像対応付ファイル １７ 通信制御部 １８ バス ２０ オーディオＭＩＤＩ Ｉ／Ｆ付サウンドモジュ
ール ３０ デジタルカメラ ４０ スピーカ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5D077 AA17 AA40 BB03 EA06 HA07 HA09 HC26 5D378 MM55 MM56

Claims (16)

【特許請求の範囲】
1. 【請求項１】画像データと、複数の音声トラックにより
   構成される音声データとを対応付けて記憶する記憶手段
   と、 前記画像データを画面に表示する表示手段と、 前記表示手段により表示された画面上の複数の画像領域
   と前記各音声トラックとを対応付ける画像・音声対応付
   け手段と、 前記画像領域の１以上の指定に基づいて、前記対応付け
   られた音声トラックの音声データを再生する再生手段
   と、 を備えたことを特徴とする画像音声再生システム。
2. 【請求項２】前記各画像領域に対応付ける音声トラック
   を設定する対応設定手段と、 前記対応設定手段による設定により、前記各画像領域と
   前記各音声トラックとを対応付けて記憶する画像音声対
   応記憶手段と、 を更に備えたことを特徴とする請求項１記載の画像音声
   再生システム。
3. 【請求項３】前記音声トラックに対応付けられた画像領
   域に音声トラックの名称が表示された操作ボタンを表示
   する操作ボタン表示手段を更に備えたことを特徴とする
   請求項１記載の画像音声再生システム。
4. 【請求項４】画像データと、複数の音声トラックにより
   構成される音声データとを対応付けて記憶する記憶手段
   と、 前記画像データを画面に表示する表示手段と、 前記表示手段により表示された画面上に、前記各音声ト
   ラックと対応付けられた複数のアイコンを表示するアイ
   コン表示手段と、 前記アイコンの１以上の指定に基づいて、前記指定され
   たアイコンに対応付けられた音声トラックの音声データ
   を再生する再生手段と、 を備えたことを特徴とする画像音声再生システム。
5. 【請求項５】前記複数の音声トラック全ての音声データ
   の再生を指示する全トラック再生指示手段を備えたこと
   を特徴とする請求項１乃至４の何れかに記載の画像音声
   再生システム。
6. 【請求項６】音声データを何れかの音声トラックに録音
   する録音手段を備えたことを特徴とする請求項１乃至５
   の何れかに記載の画像音声再生システム。
7. 【請求項７】画像データと、複数の音声トラックにより
   構成される音声データとを対応付けて記憶する記憶手段
   と、 前記画像データを画面に表示する表示手段と、 前記表示手段により表示された画面上の複数の画像領域
   と前記各音声トラックとを対応付ける画像・音声対応付
   け手段と、 前記画像領域の１以上の指定に基づいて、前記対応付け
   られた音声トラック以外の音声トラックの音声データを
   再生するトラックマイナス再生手段と、 を備えたことを特徴とする画像音声再生システム。
8. 【請求項８】画像データと、複数の音声トラックにより
   構成される音声データとを対応付けて記憶する記憶手段
   と、 前記画像データを画面に表示する表示手段と、 前記表示手段により表示された画面上に、前記各音声ト
   ラックと対応付けられた複数のアイコンを表示するアイ
   コン表示手段と、 前記アイコンの１以上の指定に基づいて、前記指定され
   たアイコンに対応付けられた音声トラック以外の音声ト
   ラックの音声データを再生するトラックマイナス再生手
   段と、 を備えたことを特徴とする画像音声再生システム。
9. 【請求項９】コンピュータに、 画像データと、複数の音声トラックにより構成される音
   声データとを対応付けて記憶する機能と、 前記画像データを画面に表示する機能と、 前記表示された画面上の複数の画像領域と前記各音声ト
   ラックとを対応付ける機能と、 前記画像領域の１以上の指定に基づいて、前記対応付け
   られた音声トラックの音声データを再生する機能と、 を実現させるためのプログラム。
10. 【請求項１０】画像データと、複数の音声トラックによ
    り構成される音声データとを対応付けて記憶するための
    コンピュータが実行可能なプログラムコードと、 前記画像データを画面に表示するためのコンピュータが
    実行可能なプログラムコードと、 前記表示された画面上の複数の画像領域と前記各音声ト
    ラックとを対応付けるためのコンピュータが実行可能な
    プログラムコードと、 前記画像領域の１以上の指定に基づいて、前記対応付け
    られた音声トラックの音声データを再生するためのコン
    ピュータが実行可能なプログラムコードと、 を含むプログラムを格納したことを特徴とする記録媒
    体。
11. 【請求項１１】コンピュータに、 画像データと、複数の音声トラックにより構成される音
    声データとを対応付けて記憶する機能と、 前記画像データを画面に表示する機能と、 前記表示された画面上に、前記各音声トラックと対応付
    けられた複数のアイコンを表示する機能と、 前記アイコンの１以上の指定に基づいて、前記指定され
    たアイコンに対応付けられた音声トラックの音声データ
    を再生する機能と、 を実現させるためのプログラム。
12. 【請求項１２】画像データと、複数の音声トラックによ
    り構成される音声データとを対応付けて記憶するための
    コンピュータが実行可能なプログラムコードと、 前記画像データを画面に表示するためのコンピュータが
    実行可能なプログラムコードと、 前記表示された画面上に、前記各音声トラックと対応付
    けられた複数のアイコンを表示するためのコンピュータ
    が実行可能なプログラムコードと、 前記アイコンの１以上の指定に基づいて、前記指定され
    たアイコンに対応付けられた音声トラックの音声データ
    を再生するためのコンピュータが実行可能なプログラム
    コードと、 を含むプログラムを格納したことを特徴とする記録媒
    体。
13. 【請求項１３】コンピュータに、 画像データと、複数の音声トラックにより構成される音
    声データとを対応付けて記憶する機能と、 前記画像データを画面に表示する機能と、 前記表示された画面上の複数の画像領域と前記各音声ト
    ラックとを対応付ける機能と、 前記画像領域の１以上の指定に基づいて、前記対応付け
    られた音声トラック以外の音声トラックの音声データを
    再生する機能と、 を実現させるためのプログラム。
14. 【請求項１４】画像データと、複数の音声トラックによ
    り構成される音声データとを対応付けて記憶するための
    コンピュータが実行可能なプログラムコードと、 前記画像データを画面に表示するためのコンピュータが
    実行可能なプログラムコードと、 前記表示された画面上の複数の画像領域と前記各音声ト
    ラックとを対応付けるためのコンピュータが実行可能な
    プログラムコードと、 前記画像領域の１以上の指定に基づいて、前記対応付け
    られた音声トラック以外の音声トラックの音声データを
    再生するためのコンピュータが実行可能なプログラムコ
    ードと、 を含むプログラムを格納したことを特徴とする記録媒
    体。
15. 【請求項１５】コンピュータに、 画像データと、複数の音声トラックにより構成される音
    声データとを対応付けて記憶する機能と、 前記画像データを画面に表示する機能と、 前記表示された画面上に、前記各音声トラックと対応付
    けられた複数のアイコンを表示する機能と、 前記アイコンの１以上の指定に基づいて、前記指定され
    たアイコンに対応付けられた音声トラック以外の音声ト
    ラックの音声データを再生する機能と、 を実現させるためのプログラム。
16. 【請求項１６】画像データと、複数の音声トラックによ
    り構成される音声データとを対応付けて記憶するための
    コンピュータが実行可能なプログラムコードと、 前記画像データを画面に表示するためのコンピュータが
    実行可能なプログラムコードと、 前記表示された画面上に、前記各音声トラックと対応付
    けられた複数のアイコンを表示するためのコンピュータ
    が実行可能なプログラムコードと、 前記アイコンの１以上の指定に基づいて、前記指定され
    たアイコンに対応付けられた音声トラック以外の音声ト
    ラックの音声データを再生するためのコンピュータが実
    行可能なプログラムコードと、 を含むプログラムを格納したことを特徴とする記録媒
    体。