JP2003030932A - 動画再生装置及び動画再生方法 - Google Patents

Abstract

(57)【要約】 【課題】動画データを再生するための時間軸を可変に制
御することにより、演奏される音楽に合わせて動画を再
生表示する動画再生制御システムの提供。 【解決手段】このシステムの或るモードＭ１では、動画
データ再生中、ＣＰＵ１は、テンポ検出機構ＴＣ，ＴＭ
からの演奏音楽のテンポに応じた時間軸制御信号を時間
軸制御部７１に供給する。動画再生部７３は、時間軸制
御部７１により時間軸制御信号に応じて調整された再生
速度に従って、単位データ当りの読出し時間を伸縮して
動画データをＲＡＭ７０から読み出し、ディスプレイ１
５に出力する。別のモードＭ２では、動画データの特定
フレーム再生タイミングに特定の音楽演奏タイミングを
セットした情報ＴＳに基づき、動画データの再生制御系
１，７１，７３により、各演奏タイミングに一致する再
生タイミングで、特定フレームの動画データをＲＡＭ７
０から読み出し、ディスプレイ１５に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、動画再生のため
の時間軸を制御し音楽に合わせて動画を再生表示するこ
とができる動画再生装置及び動画再生方法に関する。

【０００２】

【従来の技術】従来より、動画を再生する装置とテンポ
に応じて音楽を演奏する装置は、それぞれ存在してい
た。また、動画を再生する際に、単純に２倍に伸ばした
り或いは１／２倍に縮めるというように、簡単な再生速
度の変更を行う装置も、ビデオデッキ等にみられるよう
に、存在はしていた。

【０００３】しかしながら、従来の装置においては、音
楽のテンポと動画の再生タイミングを合わせることがで
きなかった。また、音楽のテンポと動画の再生タイミン
グをスタート時に同期再生させて頭だけを合わすことが
できても、曲の途中でテンポを早くした場合は動画のフ
レームが余り、遅くした場合はフレームが足りなくなる
などの不都合があった。さらに、ループ再生用の動画素
材を、可変するテンポに追随させることも困難であっ
た。

【０００４】

【発明が解決しようとする課題】この発明は、このよう
な従来技術の問題点に鑑み、動画の再生中にも時間軸が
可変に制御され、演奏される音楽に合わせて動画を再生
表示することができる動画再生装置及び動画再生方法を
提供することを目的とする。

【０００５】

【課題を解決するための手段】この発明の特徴は、動画
データメモリ（７０）に記憶されている動画を表わす動
画データを再生して表示装置（１５）に動画を表示する
ための動画再生装置及び動画再生方法において、動画デ
ータの再生中、音楽の演奏テンポに関するテンポ情報を
入力し、入力したテンポ情報に応じた読出し速度で動画
データメモリ（７０）に記憶されている動画データを読
み出して表示装置（１５）に出力するようにしたことに
ある〔請求項１，１１〕。なお、括弧書きの符号は、理
解の便のために、対応する実施例の参照記号又は請求項
の番号を併記したものであり、以下においても同様であ
る。

【０００６】この場合、動画データの再生制御（７１，
７３）は、入力したテンポ情報に応じて動画データの再
生速度を制御するための再生速度制御信号を生成し、か
つ、動画データメモリ（７０）に記憶された動画データ
を、単位データ当たりの読出し時間が生成された再生速
度制御信号によって変化する読出しレートで読み出して
表示装置（１５）に出力するようにされ得る〔請求項
２，１２〕。この再生速度制御信号は、例えば、動画デ
ータの再生における時間軸を制御する時間軸制御情報で
ある。

【０００７】また、テンポ情報としては、音楽の演奏テ
ンポを表わすテンポクロック信号又は音楽データの再生
時間を表わすタイムコード（ＴＣ）を採用することがで
きる〔請求項３，１３；４，１４〕。これらのテンポク
ロック信号及びタイムコードは、ＭＩＤＩ規格によって
定義されたものを利用することができる。また、さらに
ユーザによって操作されて音楽の演奏テンポを指示する
ための操作子（ＴＭ）を備え、操作子の操作位置をテン
ポ情報とするようにしてもよい〔請求項５，１５〕。こ
の場合、操作子（ＴＭ）は、直線、円形など一次元方向
に変位するもので構成し、この操作子の一次元位置を検
出して、この検出位置をテンポ情報とするとよい。この
音楽の演奏テンポを表わすテンポ情報は、例えば、時間
経過に従って配置された楽曲のメロディ、リズム、伴奏
などを自動的に演奏するための演奏データの再生速度を
表わす。

【０００８】これによれば、或る区間（例えば、フレー
ム数で表わされる）の動画の再生時間が、演奏中の音楽
において対応する区間（例えば、小節、拍、チック数な
どで表わされる）の長さに追随するように、動画の再生
時間軸が音楽の演奏テンポに応じて制御される。従っ
て、動画の再生中に演奏される音楽の演奏テンポが変化
しても、その演奏テンポに合わせた動画再生が可能にな
る。

【０００９】また、この発明の他の特徴は、一連の音楽
データ中の少なくとも１箇所の音楽データと、一連の動
画データ中の少なくとも１箇所の動画データとの再生タ
イミングの一致を指定するためのタイミングセット情報
（ＴＳ）を出力し、かつ、出力されたタイミングセット
情報（ＴＳ）に基づいて、少なくとも１箇所の動画デー
タの再生タイミングを少なくとも１箇所の音楽データの
再生タイミングに一致させるように、動画データメモリ
（７０）に記憶されている動画データの読出しタイミン
グを制御して、読み出した動画データを表示装置（１
５）に出力するようにしたことにある〔請求項７，１
７〕。

【００１０】また、一連の音楽データ中の少なくとも２
箇所の音楽データと、一連の動画データ中の少なくとも
２箇所の動画データとの再生タイミングの一致を指定す
るためのタイミングセット情報（ＴＳ）を出力し、か
つ、出力されたタイミングセット情報（ＴＳ）に基づい
て、少なくとも２箇所の動画データの再生タイミングを
少なくとも２箇所の音楽データの再生タイミングに一致
させるように、動画データメモリ（７０）に記憶されて
いる動画データの読出しタイミング及び読出し速度を制
御して、読み出した動画データを表示装置（１５）に出
力するようにしてもよい〔請求項９，１９〕。

【００１１】これらの場合、タイミングセット情報（Ｔ
Ｓ）は、例えば、動画データの特定フレームに対応させ
て、音楽データにおける特定の演奏タイミングを表わす
ものである。見方を逆にすれば、音楽データにおける特
定の演奏タイミングに対応させて、動画データの特定フ
レームを表わすものである。そして、この特定の演奏タ
イミングは、演奏開始後の絶対時間、小節、拍又はチッ
ク数を用いて表わされる。また、音楽データとしては、
時間経過に従って配置された楽曲のメロディ、リズム、
伴奏などを自動的に演奏するための演奏データを用いる
ことができる。

【００１２】これによれば、音楽のテンポ変化に拘わら
ず、所望の動画フレームを所望部分の音楽演奏に同期さ
せて再生することができる。また、動画のつなぎ目部分
を破綻させないようにしながら動画を再生することがで
きるため、ループ再生用の動画素材をも使用することが
できる。従って、例えば、音楽のアクセント部分と動画
の或るフレームとの同期をリアルタイム作業の中で簡単
に行うことができるので、さらに、演奏及び再生現場で
のバリエーションの幅を広げることができる。

【００１３】特に、ＶＪ（VisuaI Jockey ）用に動画を
ループ再生する場合、テンポに合わせて幾つもの動画素
材を用意したりすることなく、お気に入りのループ素材
を使用してどんなテンポにも対応することができるよう
になる。従って、事前の打ち合わせや編集が難しいＤＪ
（Disc Jockey ）＆ＶＪの関係も、演奏及び再生現場に
おいてＶＪ側で臨機応変に対処することができる。

【００１４】また、この発明の更に他の特徴は、再生制
御によって読み出された動画データと、別途入力した動
画データとを合成して表示装置（１５）に出力するよう
にしたことにある〔請求項６，８，１０，１６，１８，
２０〕。この場合、別途入力する動画データとしては、
例えば、映像再生器（１４）からの動画データを利用す
ることができる。これによれば、映像演出効果を更に高
めた動画を出力することができる。

【００１５】〔種々の特徴〕この発明は、別の観点か
ら、以下の（１）〜（３）のように構成することもでき
る。

【００１６】（１）動画情報を記憶する動画記憶手段
と、動画の再生中に可変の時間軸制御信号を入力する制
御入力手段と、時間軸制御信号に応じて動画の再生速度
を制御する動画再生速度制御手段と、再生速度に応じて
情報単位当りの読出し時間を伸縮し動画記憶手段から動
画情報を読み出す動画読出し手段と、読み出された動画
情報を表示装置に出力する動画出力手段とを具備する動
画時間軸制御指示装置。この動画時間軸制御指示装置に
おいては、制御入力手段は、時間軸制御信号としてテン
ポクロックを入力し、動画再生速度制御手段は、テンポ
クロックに応じて動画の再生速度を制御するか、或い
は、制御入力手段は、時間軸制御信号としてタイムコー
ドを入力し、動画再生速度制御手段は、タイムコードに
応じて動画の再生速度を制御するように構成することが
できる。さらに、動画の再生速度の緩急を指示する操作
子と、操作子の操作を検出する検出手段とを備え、制御
入力手段は、検出された操作子の操作に基づく時間軸制
御信号を入力するように構成することができる。また、
この場合、操作子は１次元位置検出形操作子であること
が好ましい。

【００１７】（２）動画情報を記憶する動画記憶手段
と、動画情報の再生タイミングについて、複数の特定再
生タイミングを指定する再生タイミング指定手段と、楽
音情報の演奏タイミングについて、複数の特定演奏タイ
ミングを指定する演奏タイミング指定手段と、指定され
た特定再生タイミング及び特定演奏タイミングに基づい
て、各特定再生タイミングを各演奏タイミングに対応す
るように調整すると共に、各特定再生タイミング間にお
ける複数の中間再生タイミングを演算する再生タイミン
グ調整手段と、調整された特定再生タイミング及び演算
された中間再生タイミングで動画情報を読み出す動画読
出し手段と、読み出された動画情報を表示装置に出力す
る動画出力手段とを具備する動画時間軸制御指示装置。

【００１８】（３）上述した（１）及び（２）の動画時
間軸制御指示装置において、さらに、別に入力される動
画情報と、動画記憶手段から動画読出し手段によって読
み出された動画情報を合成する動画合成手段を具備する
動画時間軸制御指示装置。

【００１９】

【発明の実施の形態】以下、図面を参照しつつ、この発
明の好適な実施例を詳述する。なお、以下の実施例は単
なる一例であって、この発明の精神を逸脱しない範囲で
種々の変更が可能である。

【００２０】〔ハードウエア構成〕図１には、この発明
の一実施例による動画再生制御システム（「動画時間軸
制御指示システム」とも呼ばれる。）のハードウエア構
成のブロック図が示されている。このシステムの例で
は、パーソナルコンピュータ（ＰＣ）を利用して動画時
間軸制御指示を含む各種処理を行わせる構成がとられて
いる。システムは、中央処理装置（ＣＰＵ）１、読出専
用メモリ（ＲＯＭ）２、本体側ランダムアクセスメモリ
（本体ＲＡＭ）３、外部記憶装置４、検出回路５、表示
回路６などの本体ＰＣの要素の外に、動画処理回路７、
ＭＩＤＩインターフェース（ＭＩＤＩＩ／Ｆ）８、通信
インターフェース（通信Ｉ／Ｆ）９などを備え、これら
の装置１〜９は、バス１０を介して互いに接続されてい
る。

【００２１】システム全体を制御するＣＰＵ１は、所定
のソフトウエア・プログラムに従いタイマ１１による時
間計測を利用して種々の制御を行い、特に、後述する動
画時間軸制御指示などの処理を管理する。ＲＯＭ２に
は、このシステムを制御するための所定の制御プログラ
ムが記憶されている。これらの制御プログラムは、基本
的な情報処理と共に、この発明による動画時間軸制御指
示などの処理を管理するためのプログラム、各種テーブ
ル、各種データなどを含む。本体ＲＡＭ３は、各種処理
に際して必要なデータやパラメータを記憶する一時記憶
部として機能する。

【００２２】外部記憶装置４は、ハードディスク（Ｈ
Ｄ）の外に、コンパクトディスク・リード・オンリィ・
メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（Ｆ
Ｄ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディ
スク（ＤＶＤ）、ＺＩＰ、半導体メモリ等の可搬型記憶
媒体を用いた装置から成り、各種制御プログラムや各種
データを記憶することができる。従って、動画時間軸制
御指示などに必要なプログラムや各種データは、ＲＯＭ
２ばかりでなく、必要に応じて、外部記憶装置４からＲ
ＡＭ４内に読み込まれ、また、処理結果が外部記憶装置
４に記録され得る。

【００２３】検出回路５にはパネル操作子装置１２が接
続され、パネル操作子装置１２は、各種のスイッチやキ
ー、その他のタイプの操作子を備える。これらの操作子
は、パネル操作子とも呼ばれ、動画時間軸制御指示など
の処理のために、ユーザが動画の再生モードなどの各種
設定や指示の情報をシステムに入力するために用いられ
る。例えば、モードスイッチ（Ｍ１，Ｍ２）は、動画の
再生モードを切り換えるために設けられ、リボンコント
ローラ（操作指が接触している１次元位置を検出するリ
ニア操作型パッド操作子）は、音楽及び動画の進行速度
をリアルタイムで操作するためのリアルタイム操作子と
して設けられる。

【００２４】表示回路６は、ＬＣＤなどで構成された本
体ディスプレイ１３や、各種インジケータの表示状態を
制御する。本体ディスプレイ１３の表示状態に関連し
て、ユーザがパネル操作子装置１３の操作子を操作する
ことにより、動画時間軸制御指示に関する設定や指示が
行われる。そして、上述したこれらの要素１〜６、１０
〜１３により本体システム（又は本体ＰＣ）が構成され
る。

【００２５】動画処理回路７は専用ＲＡＭを有してい
る。動画処理回路７には、ＶＴＲやビデオディスク再生
器などの映像再生器１４、及び、ＣＲＴやプロジェクタ
のような比較的大きな画面をもつ映像ディスプレイ１５
が接続される。動画処理回路７は、映像再生器１４から
のビデオ信号（動画映像信号）を処理して所定の再生速
度で動画情報を再生し、この動画情報に基づく映像を映
像ディスプレイ１５に表示させる。そして、これらの動
画処理回路７、映像再生器１４及び映像ディスプレイ１
５によって動画再生システムが構成される。

【００２６】なお、動画処理回路７の入力部には、Ａ／
Ｄ変換器が内蔵されており、映像再生器１４から出力さ
れたアナログ形式のビデオ信号は、この入力部にてディ
ジタル形式のビデオ信号（動画情報）に変換される。そ
して、動画処理回路７内においては、変換されたディジ
タル形式の動画情報に対して各種処理が施される。ま
た、動画処理回路７の出力部には、Ｄ／Ａ変換器が内蔵
されており、動画処理回路７にて処理されたディジタル
形式の動画情報がアナログ形式のビデオ信号に変換され
て映像ディスプレイ１５に出力される。

【００２７】ＭＩＤＩインターフェース（Ｉ／Ｆ）８に
は、音楽データ（music data）を発生するシーケンサや
パーソナルコンピュータ（ＰＣ）などで構成されるＭＩ
ＤＩ機器１６が接続される。ＭＩＤＩ機器１６には、音
源回路（tone signal generator）１７が接続される。
音源回路１７は、入力された音楽データに基づいて楽音
信号（tone signal ）を形成して出力する。音源回路１
７には、ディジタル・シグナル・プロセッサ（ＤＳＰ：
Digital Signal Processor）やスピーカを含むサウンド
システム１８が接続される。

【００２８】サウンドシステム１８は、入力された楽音
信号に種々の音楽的効果（musicaleffect）を付与して
この音楽的効果が付与された楽音信号に対応した楽音
（musical sound ）を発生する。ＭＩＤＩ機器１６は、
自身のもつ音楽データ（音楽情報）に加えて、例えば、
ＲＯＭ２や外部記憶装置４に記憶されている音楽データ
（音楽情報）も、音源回路１７に出力することができ
る。従って、ＲＯＭ２や外部記憶装置４に記憶されてい
る音楽データに基づく楽音信号に対応した楽音も、サウ
ンドシステム１８から発生される。

【００２９】ここで、音楽データは、例えば、スタンダ
ードＭＩＤＩファイル（ＳＭＦ）形式の自動演奏データ
（automatic performance data）であり、ＭＩＤＩ機器
１６は該自動演奏データを再生する。音楽データ（自動
演奏データ）の再生に当っては、音楽データに付随する
タイムコードやテンポクロック（ＭＩＤＩクロック）指
令、或いは、リアルタイム操作子（１２）の指示などに
従って、再生のテンポが制御される。そして、これらの
ＭＩＤＩ機器１６、音源１７及びサウンドシステム１８
によって音楽演奏システムが構成される。

【００３０】なお、タイムコードとは、自動演奏データ
の再生開始から絶対的な時間を基準にして定期的に与え
られるタイミング信号であり、このタイムコードは、自
動演奏データの再生開始からの時間を表わす時間情報
（時、分、秒）を含む。また、テンポクロックは、音楽
のテンポに対応した時間間隔で定期的に与えられるタイ
ミング信号であり、例えば、４分音符に対応した時間長
の１／２４の時間長ごとに与えられる。

【００３１】また、通信インターフェイス（Ｉ／Ｆ）９
は、ローカルエリアネットワーク（ＬＡＮ）やインター
ネット、電話回線等の通信ネットワーク１９を介してサ
ーバコンピュータ２０等に交信可能に接続される。従っ
て、サーバコンピュータ１６等から制御プログラムや音
楽データなどの各種データを外部記憶装置４にダウンロ
ードすることもできる。

【００３２】なお、図１は、本体ＰＣを用いるシステム
について説明したが、本体システム及び音楽演奏システ
ムについては、他の同等の処理機能を有する電子楽器や
自動演奏装置などの情報処理装置を用い、これに動画再
生システムを接続して動画再生制御システム（動画時間
軸制御指示システム）を構成してもよい。

【００３３】〔動画再生システム〕図２は、この発明の
一実施例による動画時間軸制御指示システムにおける動
画処理機能部（動画再生システム）のブロック図を示
す。動画処理回路７は、動画処理に専用の専用ＲＡＭ７
０の外に、時間軸制御部７１、動画録画部（ビデオサン
プラー）７２、動画再生部７３及び映像合成部７４を備
える。

【００３４】ここで、図２を用いて、この発明の実施例
による動画再生制御システム（動画時間軸制御指示シス
テム）の概略を簡単に説明しておく。この動画再生制御
システムでは、動画データメモリ（専用ＲＡＭ）７０に
予め記憶された動画データ（動画情報）の読出しに際し
て、動画データを再生するための時間軸が可変に制御さ
れる。或るモードＭ１では、動画データ再生中、ＣＰＵ
１は、テンポ検出機構ＴＣ，ＴＭからの演奏音楽のテン
ポに応じた時間軸制御信号を時間軸制御部７１に供給す
る。時間軸制御部７１は、時間軸制御信号に応じて再生
速度を調整（制御）し、動画再生部７３は、調整された
再生速度に従って単位データ当りの読出し時間を伸縮し
て動画データをデータメモリ７０から読み出し、表示装
置（ディスプレイ）１５に出力する。別のモードＭ２で
は、動画データの特定フレーム再生タイミングに特定の
音楽演奏タイミングをセット（ＴＳ）しておき、ＣＰＵ
１、時間軸制御部７１及び動画再生部７３から成る動画
データの再生制御系により、このタイミングセット情報
ＴＳに基づいて、各演奏タイミングに一致する再生タイ
ミングで特定フレームの動画データをデータメモリ７０
から読み出し、表示装置１５に出力する。

【００３５】以下、図２の動画再生システムを具体的に
説明する。まず、動画録画部７２は、本体システムのＣ
ＰＵ１の指示に従って、予め、ＶＴＲなどの映像再生器
１４からのビデオ信号（動画映像信号）をサンプリング
し、ディジタル動画データのストレージとして機能する
専用ＲＡＭ７０に記録する。すなわち、パネル操作子１
２からの録画開始指示に応じて、その時点で映像再生器
１４から動画処理回路７に入力しているビデオ信号が、
専用ＲＡＭ７０の所定の記憶領域にディジタル動画デー
タとして記億される。この専用ＲＡＭには複数の記憶領
域が設定可能であり、複数のディジタル動画データを記
憶することができる。

【００３６】なお、前述のように、動画処理回路７にて
処理されるビデオ信号（動画映像信号）は、図示しない
入力部にてディジタル信号に変換されるものである。従
って、動画録画部７２は、ディジタル形式のビデオ信号
を専用ＲＡＭ７０にディジタル録画データとして書き込
むことになる。また、このディジタル録画データの書込
みにおいては、専用ＲＡＭ７０に記憶されるデータ量を
少なくするために、動画録画部７２は、ディジタル動画
データを圧縮して専用ＲＡＭ７０に書き込むようにする
とよい。

【００３７】動画再生の際は、種々の態様でＣＰＵ１か
ら動画再生が指示される。例えば、パネル操作子１２に
は、専用ＲＡＭに記憶された複数の動画データに対応し
た複数の動画選択スイッチが設置されている。ＣＰＵ１
は、何れかの動画選択スイッチの操作に応じて、動画処
理回路７に対し、対応する動画データを再生開始するよ
う指示する。

【００３８】或いは、ＭＩＤＩ機器１６で再生される音
楽データにより動画データの再生を指示することもでき
る。ＭＩＤＩ規格には、ディジタル・レコーダやＶＴＲ
を制御するためのＭＩＤＩマシン・コントロール（ＭＭ
Ｃ）規格が定められている。ＭＭＣを用いた場合、ロケ
ート命令に応じて複数動画データの中から１つの動画デ
ータを選択し、デファード（deferred）・プレイ命令に
応じて選択された動画データを再生開始することができ
る。なお、ロケート命令とは、複数動画データ中の再生
される動画データの位置を指令する命令である。また、
デファード・プレイ命令とは、動画データの再生開始の
タイミングを指定する命令である。

【００３９】また、音楽データの再生に同期して、所望
の動画データを再生したい場台、音楽データの所望のタ
イミングに合わせてロケート命令、デファード・プレイ
命令を配置すればよい。ＭＩＤＩ機器１６により該音楽
データが再生されると、その配置したタイミングでロケ
ート命令、デファード・プレイ命令がそれぞれ取り出さ
れ、取り出されたロケート命令、デファード・プレイ命
令は、ＭＩＤＩインターフェース（Ｉ／Ｆ）８を介して
ＣＰＵ１に取り込まれる。ＣＰＵ１は、該ロケート命令
に応じて動画データを選択し、該デファード・プレイ命
令に応じて選択された動画データを再生開始するよう動
画処理回路７を制御する。

【００４０】動画再生の際には、動画再生部７３は、こ
のようなＣＰＵ１の指示に従って、専用ＲＡＭ７０に記
録された複数のサンプリング動画データから所望の動画
データを選択し、選択された動画データが、時間軸制御
部７１による制御の下に、所定の速度で読み出されて順
次再生される。なお、前述のように、圧縮した動画デー
タが専用ＲＡＭに記憶されている場合には、動画再生部
７３は、専用ＲＡＭ７０から読み出した動画データを伸
長する。ここで、時間軸制御部７１は、再生モード（Ｍ
１，Ｍ２）に応じたＣＰＵ１からの制御入力に従い、音
楽のテンポ指示情報ＴＣ或いは特定のタイミングセット
ＴＳに基づいて動画再生部７３を制御し、動画の再生を
コントロールする機能を有する。

【００４１】つまり、時間軸制御部７１は、ＣＰＵ１か
らのテンポ指示情報ＴＣ或いは特定タイミングセットＴ
Ｓに基づいて、現在演奏されている音楽の進行に合う値
となる動画再生速度で動画再生を行うように、動画再生
部７３に指示を与える。そして、動画再生部７３は、指
示された動画再生速度で専用ＲＡＭ７０から動画情報を
順次読み出して動画再生を行うのである。なお、これら
のテンポ指示情報及び特定のタイミングセットＴＳに基
づく動画再生速度の制御については、後で詳述する。

【００４２】また、動画再生部７３による動画再生に
は、ＣＰＵ１からの指示により、専用ＲＡＭ７０中から
選択された動画データの一部又は全部を何回も繰り返し
て再生する「ループ再生」を用いることができ、この実
施例によれば、シームレスに且つ破綻（画像の切落しや
空白画像の発生）なくループ再生することができる。

【００４３】動画再生部７３において再生された動画デ
ータは、映像合成部７４を介して、映像ディスプレイ１
５の画面上に所定の再生速度で表示される。この例で
は、映像合成部７４は、動画再生部７３から、再生速度
が制御された動画データを（例えば、主画像として）受
けると共に、映像再生器１４から、実時間で再生される
（所謂“たれ流し”）ビデオ信号による他の動画データ
を（例えば、背景画像として）受けて、両動画データを
合成する。これによって、映像ディスプレイ１５には、
両動画データを合成した映像が表示される。なお、映像
ディスプレイ１５に供給される信号は、前述したよう
に、図示しない出力部内に設けたアナログ形式の映像信
号である。

【００４４】また、映像合成部７４における映像（カラ
ー画像）の合成手法には、動画再生部７３からの時間軸
可変の再生動画と映像再生器１４からの実時間動画とを
単純に重ね合わせたり、それぞれに関連するクロスフェ
ードなどをかけたり、再生動画と実時間動画の論理和又
は論理積をとったり、両者を別々の画面領域に表示させ
各表示領域を変化させていくなど、必要に応じて、種々
の映像演出効果を採用することができる。

【００４５】〔第０再生モード〕この動画時間軸制御指
示システムでは、動画処理回路７を第０再生モードで動
作させることができる。第０再生モードにおいては、図
２（左上）に示すように、音楽データのテンポクロック
（ＭＩＤＩクロック）やタイムコードなどの指示による
テンポ指示情報ＴＣに基づいて、動画再生速度を変化さ
せる。つまり、音楽データを用いて演奏する場合、ＣＰ
Ｕ１は、タイムコードの差分値（タイムコードの時間間
隔）やテンポクロック（ＭＩＤＩクロック）間の時間間
隔で示されるテンポ指示情報を受けて、演奏される音楽
のテンポに変更があったことを感知し、これを時間軸制
御部７１に伝える。時間軸制御部７１は、ＣＰＵ１から
制御入力として与えられたテンポ指示情報に基づいて、
動画再生部７３における動画再生を制御する。

【００４６】図３は、第０再生モードにおいて動画デー
タに対する読出し速度がテンポ指示に応じて変化する様
子を極く概略的に表わした図である。同図において、○
印は、動画データにおける所定の動画データ単位〔所定
のフレーム数。以下、単に「区間」という。〕及び音楽
データにおける音楽データ単位〔所定の小節（ｂａｒ）
数。拍数又はチック（ＴＩＣＫ）数でもよく、何れの場
合も、整数でなくても（小数込みの値でも）よい。以
下、単に「区間」という。〕を表わし、○印の幅は、各
区間のデータの再生又は演奏密度（情報単位当り時間
量）の変化を視覚的に分かりやすく示すだけのものであ
る。なお、チック数とは、シーケンサにおける時間分解
能を表わす単位時間間隔の数を示す。

【００４７】図３の最上段は、動画再生専用ＲＡＭ７０
に記憶されている動画データを表わす。これに対して、
第２段は、経過時間ｔ（ｓｅｃ）に対して、テンポクロ
ックなどの指示によるテンポ指示情報に基づくテンポ値
が変化する様子を示し、縦軸の“０”は標準テンポ値
（例えば、テンポ値＝１２０）を表わす。

【００４８】音楽演奏システム１６〜１８において音楽
データに従って音楽演奏が開始すると、テンポ指示情報
により指示されるテンポ値に対応する速度で動画再生が
行われる。例えば、音楽データのテンポ情報が“０”に
対応するテンポ指示値（標準テンポ値＝１２０）に設定
されていれば、動画処理回路７においては、専用ＲＡＭ
７０に記憶されている動画データが、ＣＰＵ１からの指
令に基づいて、時間軸制御部７１及び動画再生部７３に
より、通常の動画再生速度、例えば、３０フレーム／秒
で読み出される。

【００４９】また、テンポ指示値が“０”の標準テンポ
値から変化すると、変化したテンポ指示値がＣＰＵ１か
ら指令され、指令されたテンポ指示値に基づいて音楽演
奏及び動画再生が行われる。なお、このテンポ指示値
は、テンポクロックの時間間隔やタイムコードの差分値
（タイムコードの時間間隔）などの情報から得ることが
できる。

【００５０】従って、第０再生モードでは、第２段のよ
うにテンポ値が変化すると、音楽データが、変化したテ
ンポ値に応じて〔指定されたテンポ値から正負（＋，
−）のテンポ値変化分に応じた分だけ変化したテンポ
で〕最下段のように再生されるのに伴って、動画データ
の読出し速度は、通常の動画再生速度から、正負（＋，
−）のテンポ値変化分に応じた分だけが変化し、動画デ
ータは、第３段に示されるように、テンポ値に応じた速
度で再生されるので、動画の再生を音楽の演奏に合わせ
る演出効果を得ることができる。ＳＭＦ等の音楽データ
では、テンポ値を変更したいタイミングにテンポ情報を
配置することができる。その音楽データを再生すると、
そのタイミングでテンポ情報が現われてテンポ値が変更
される。すなわち、音楽データに含まれるテンポ情報に
基づいて、音楽演奏と動画再生を同時に制御することが
できる。

【００５１】〔第１再生モード〕この動画時間軸制御指
示システムでは、操作子装置１２中のモードスイッチＭ
１を操作したとき（図２参照）、動画処理回路７を第１
再生モードで動作させることができる。第１再生モード
においては、音楽の演奏中、ＣＰＵ１は、リアルタイム
操作子の操作に基づくテンポ変更（操作）情報ＴＭを受
けて、演奏されている音楽のテンポの変更操作があった
ことを感知し、これを時間軸制御部７１に伝える。時間
軸制御部７１は、ＣＰＵ１から制御入力として与えられ
たテンポ変更（操作）情報に基づいて、動画再生部７３
における動画再生を制御する。

【００５２】図４は、第１再生モードにおいて動画デー
タに対する読出し速度がテンポの変更操作に応じて変化
する様子を極く概略的に表わした図である。同図におい
ても、○印の意味は前述したところと同じである。パネ
ル操作子装置１２には、既に説明したように、音楽演奏
のテンポをリアルタイムで変更操作するために、リボン
コントローラ（１次元接触位置検出を行うリアルタイム
操作子）が設けられている。図４の最上段は、動画再生
専用ＲＡＭ７０に記憶されている動画データを表わす。
これに対して、第２段は、経過時間ｔ（ｓｅｃ）に対す
るリボンコントローラの操作量の変化を示し、縦軸の
“０”は、リボンコントローラ操作の原点位置である。

【００５３】リボンコントローラの原点位置に操作指を
接触すると、原点位置＝“０”に対応する速度で音楽演
奏及び動画再生が行われる。つまり、音楽演奏システム
１６〜１８においては、例えば、標準テンポ値＝１２０
とすれば、原点位置に対応するテンポ値＝１２０で演奏
される。すなわち、ＣＰＵ１はテンポ値＝１２０のテン
ポクロック信号を発生してＭＩＤＩ機器１６に供給し、
ＭＩＤＩ機器１６では、供給されるテンポクロック信号
に同期して音楽データの再生を行う。また、この場合、
動画処理回路７においては、専用ＲＡＭ７０に記憶され
ている動画データが、ＣＰＵ１からの指令に基づいて、
時間軸制御部７１及び動画再生部７３により、通常の動
画再生速度、例えば、３０フレーム／秒で読み出され
る。

【００５４】また、リボンコントローラの任意の位置に
操作指をタッチすると、タッチした指の位置（原点位置
＝“０”からの変位）に応じた操作量がＣＰＵ１から指
令され、指令された操作量に基づいて音楽演奏及び動画
再生が行われる。従って、第２段のようにリボンコント
ローラを操作すると、音楽データは、ＭＩＤＩ機器１６
において、リボンコントローラの操作量に応じて、指定
されたテンポ値から正負（＋，−）の操作量に応じた分
だけ変化したテンポで、最下段のように再生される。こ
れに対応して、動画データの読出し速度も、通常の動画
再生速度から、正負（＋，−）の操作量に応じた分だけ
が変更され、動画データは、第３段に示されるように、
リボンコントローラの操作量に応じた速度で再生される
ので、動画の再生を音楽の演奏に合わせることができ
る。

【００５５】図４の例では、時点ｔ０で音楽演奏及び動
画再生が開始されると同時に、第２段のように、リボン
コントローラの操作を開始し、一旦正方向に操作してか
ら負方向に操作し原点位置＝“０”を通った後、再び正
方向に操作し、時点ｔ１において、所定の正位置で操作
を停止すると同時に、負の所定位置にジャンプして再度
正方向に操作し時点ｔ２で操作を停止（操作指をリボン
コントローラから離すこと）したままにした場合につい
て示されている。

【００５６】この場合、音楽データについては、図４の
最下段に示されるように、時点ｔ０で最初の区間（小
節、拍又はチック数で規定される）ｎ０の音楽データの
再生が開始され、時点ｔ１で、操作指をコントローラか
ら離すと、再タッチした負の所定位置に対応する速度
で、区間ｎ１の音楽演奏から再開される。そして、区間
ｎ２の音楽演奏がなされた時点ｔ２で操作を停止する
と、時点ｔ２以降は、操作を停止したときの操作量に対
応する速度で音楽演奏が維持される。

【００５７】これに対して、動画データについても、図
４の第３段に示されるように、音楽データと同様に再生
速度が制御される。つまり、時点ｔ０では、正方向の或
る位置のコントローラ操作に応じて、動画データにおけ
る最初の区間（フレーム数で規定される）ｐ０の動画デ
ータが比較的高い速度（“急”）で再生され、コントロ
ーラ操作に応じた“緩”・“急”の速度で動画再生が、
順次、行われる。時点ｔ１で、操作指が負の所定位置に
ジャンプすると、ジャンプ後の位置に対応する“緩”や
かな再生速度で、区間ｐ１の動画データが再生され、コ
ントローラ操作に応じて、順次、再生速度が高められ、
区間ｐ２の動画再生がなされた時点ｔ２での操作停止に
基づいて、時点ｔ２以降は、操作を停止したときの操作
量が維持されるので、この操作量に対応する高い速度
（“急”）のままで動画データが再生されていく。

【００５８】従って、動画データは、音楽演奏の演奏速
度と同様に、コントローラ操作量に応じて再生速度が緩
急に変化し、音楽演奏の進行を合わせて再生することが
できる。なお、図２（左上）に示すように、音楽データ
のテンポクロックの時間間隔やタイムコードの差分値
（タイムコードの時間間隔）などのテンポ指示情報に基
づく動画再生速度の変化に加えて、上述したリボンコン
トローラのリアルタイム操作によるテンポ変更情報に基
づいて、音楽演奏速度及び動画再生速度を同時に変化さ
せるので、音楽演奏及び動画再生の演出効果を高めるこ
とができる。

【００５９】〔第２再生モード〕この動画時間軸制御指
示システムでは、操作子装置１２中のモードスイッチＭ
２を操作したとき（図２参照）、動画処理回路７を第２
再生モードで動作させることができる。第２再生モード
においては、音楽演奏に伴う動画再生に際し、図２の右
上に示すように、ＣＰＵ１は、予め設定された特定音楽
演奏タイミング−特定動画再生タイミングのセットＴＳ
を時間軸制御部７１に送る。

【００６０】時間軸制御部７１は、この特定タイミング
セットＴＳに基づいて、動画データの特定再生タイミン
グが、対応する音楽演奏の演奏タイミングに一致するよ
うに、動画再生部７３に対して指令する動画再生速度を
調整して、この速度で動画再生を行うように動画再生部
７３に指示を与える。そして、動画再生部７３は、指示
された動画再生速度で専用ＲＡＭ７０からサンプリング
動画データを読み出して動画再生を行う。

【００６１】図５〜図９は、第２再生モードでの動画再
生を説明するための時間軸変換例をを極く概略的に表わ
した図である。図５〜図７の最上段及び図８の第２段
は、音楽演奏システム１６〜１８において音楽演奏に利
用される音楽データを表わし、タイムコード或いはテン
ポクロック（ＭＩＤＩクロック）によるテンポ指示を考
慮して演奏時間に換算して示されている。この例では、
音楽データの「区間ｎ０」〜「区間ｎ１の直前」が「区
間ｎ１」〜「区間ｎ２」より速いテンポとしており、こ
れは○印の幅で表示されている。すなわち、音楽データ
の区間ｎ１の開始点には、テンポ情報が配置されてい
る。ＭＩＤＩ機器１６は、音楽データ中に配置されてい
る初期テンポを演奏テンポとして区間ｎ０から音楽演奏
を開始し、区間ｎ１の開始点で、演奏テンポを、そこに
配置されているテンポ情報に従って、より遅いテンポに
変更して音楽演奏を継続する。

【００６２】図５〜図７の第２段及び図８の第３段は、
動画処理回路７の音楽データ専用ＲＡＭに記憶されてい
る動画データを表わし、図５〜図７においては、動画デ
ータの記録位置を便宜的に音楽データの総演奏区間ｎ０
〜ｎ２に一致させている。このようなタイミングの同期
は、前述したデファード・プレイ命令を音楽データに配
置するタイミングを調整することにより制御することが
できる。また、各図における○印の意味は、図３や図４
で既に説明したように、データを構成する各区間（デー
タ単位）を表わし、音楽データについては、所定の小節
数、拍数又はチック（ＴＩＣＫ）数〔整数でなくても
（小数でも）よい〕で規定することができ、動画データ
については、所定のフレーム数で規定することができ
る。

【００６３】さて、図５は、動画データ中の任意位置の
動画情報を音楽データ中の任意位置の演奏情報に対応付
けたセット（ＴＳ）を用いた場合の時間軸変換例を示し
ている。この時間軸変換は、動画及び音楽の進行途中の
１点（複数点でもよい）を互いに一致させる演出効果に
とって好適である。この例では、最上段及び第２段間に
示されるように、動画データにおける或る特定の区間ｐ
１（の開始点）を、音楽データの或る特定の区間ｎ１
（の開始点）に対応するようにセットしておき（“ＳＥ
Ｔ”）、両データの開始及び終了位置ｐ０，ｎ０；ｐ
２，ｎ２については対応付けをしない（“Ｆｒｅ
ｅ”）。

【００６４】この場合、動画データ及び音楽データの各
再生は、それぞれ、任意の時点ｔ０，ｔ０ｍで開始され
る。しかし、動画データは、時点ｔ０から再生が開始さ
れた後、特定区間ｐ１の動画データに対応するようにセ
ットされた特定区間ｎ１の音楽データの再生が開始され
る特定時点ｔ１において、区間ｐ１の動画データの再生
が開始されるように、動画データの再生のための時間軸
が制御される。

【００６５】つまり、動画データ及び音楽データにおけ
る第１区間ｐ０，ｎ０の各再生開始時点ｔ０，ｔ０ｍを
表わす開始時点情報、及び、特定区間ｐ１の動画データ
に対応するようにセットされた区間ｎ１の音楽データの
再生が開始する特定時点ｔ１を表わす特定時点情報が、
ＣＰＵ１から時間軸制御部７１に送られる。時間軸制御
部７１は、これらの時点情報を受けて、時点ｔ０で第１
区間ｐ０の動画データの再生開始を行うと共に、特定時
点ｔ１で特定区間ｐ１の動画データの再生を開始するこ
とができるように、動画再生部７３を制御する。そし
て、動画再生部７３は、時点ｔ０〜ｔ１間における動画
データの読出し速度を演算し、演算された読出し速度
で、時点ｔ０から第１区間ｐ０の動画データの再生を開
始する。

【００６６】また、ＣＰＵ１は、音楽データの再生を開
始すべき時点ｔ０ｍを検出し、ＭＩＤＩ機器１６に対し
て再生開始を指示する。ＭＩＤＩ機器１６は再生開始の
指示に応じて、音楽データの再生を開始するとともに、
テンポクロック信号をＭＩＤＩインターフェース（Ｉ／
Ｆ）８を介してＣＰＵ１に供給する。ＣＰＵ１は、供給
されるテンポクロック信号に基づいて、時間軸制御部７
１における基準時刻を補正する。ここで、「基準時刻」
とは、例えば、時点ｔ０，ｔ１，ｔ２，…のような時点
を検出するための基準となるタイミングを表わすもので
ある。すなわち、「基準時刻」は、時点ｔ０ｍで音楽演
奏が開始されるより前から計測されているが、音楽演奏
が始まったら、それ以降は、音楽演奏と同期して計測さ
れる。

【００６７】これによって、特定時点ｔ１において、特
定区間ｐ１の動画データが、予めこれに対応するように
セットされた特定区間ｎ１の音楽データの再生に同期し
て再生される。つまり、動画データの読出しは、固定さ
れない（Ｆｒｅｅ）再生開始点ｔ０から特定時点ｔ１ま
での間、速度が調整される。また、特定時点ｔ１以降
は、予め定められた動画データ自体の読出し速度に基づ
いて再生が行われ、従って、動画データ再生の終了時点
ｔ２は、図示のように、音楽演奏の終了時点ｔ２ｍとは
必ずしも一致しない。なお、区間ｐ０についても、前記
動画データ自体の読出し速度で再生するようにしてもよ
い。このように、この実施例では、特定位置（ｐ１）の
音楽データが再生される時点ｔ１で、特定位置（ｎ１）
の動画データが再生されるように、動画データの再生タ
イミングを制御している。

【００６８】なお、図５では特定時点ｔ１を１点とした
が、動画及び音楽の進行途中の対応位置を複数セットし
ておき、セットされた各位置の動画データ及び音楽デー
タの各再生が２以上の複数時点で一致するようにしても
よい。この場合は、動画再生の開始から特定時点まで及
び特定時点間における動画再生の時間軸（速度）が制御
される。また、この実施例では、ＣＰＵ１からの再生指
示に応じてＭＩＤＩ機器１６が再生を開始した後、ＭＩ
ＤＩ機器１６自体がテンポクロック信号を発生するもの
として説明を行ったが、ＭＩＤＩ機器１６の代わりにＣ
ＰＵ１がテンポクロック信号を発生し、ＭＩＤＩ機器１
６は、ＣＰＵ１から供給されるテンポクロック信号に基
づいて音楽データを再生するようにしてもよい。その場
合、ＣＰＵ１は、時間軸制御部７における基準時刻と、
ＭＩＤＩ機器で再生される（音楽データに配置された）
テンポ情報とに基づいて、発生するテンポクロック信号
の周期を制御する。

【００６９】図６は、動画データ中の任意位置及び再生
終了位置の動画情報を音楽データ中の任意位置及び演奏
終了位置の演奏情報に対応付けたセット（ＴＳ）を用い
た場合の時間軸変換例を示している。この時間軸変換
は、動画及び音楽の進行途中の１点（複数点でもよい）
及び終了位置を互いに一致させる演出効果にとって好適
である。この例では、最上段及び第２段間に示されるよ
うに、動画データにおける或る特定の区間ｐ１（の開始
点）を、音楽データの或る特定の区間ｎ１（の開始点）
に対応するようにセットしておく（“ＳＥＴ”）と共
に、動画データの再生終了（最終区間ｐ２の終了）位置
を音楽データの再生終了（最終区間ｎ２の終了）位置に
対応するようにセットしておき（“ＳＥＴ”＆“ＦＩ
Ｘ”）、両データの開始位置の区間ｐ０，ｎ０について
は、対応付けをしない（“Ｆｒｅｅ”）。

【００７０】ここで、“ＳＥＴ”とは、動画データ中の
任意位置を音楽データ中の任意位置に対して同期させる
ための設定をいう。また、“ＦＩＸ”は、動画データ中
の任意位置及び音楽データ中の任意位置が、基準時刻ス
ケール上の所定時点にそれぞれ再生されるように制御す
るための設定をいう。従って、“ＦＩＸ”の設定がなさ
れた「任意位置」は、基準時刻スケール上の「所定時
点」に固定される。例えば、動画データの或る区間乃至
或る位置の再生時点が編集されても、“ＦＩＸ”設定さ
れた位置の動画データの再生時刻は、「所定時点」に固
定されたままである（固定されたままとなるように調整
される。）。なお、図６〜図８においては、“ＦＩＸ”
で示される位置は、全て、“ＳＥＴ”の設定もなされて
いる。

【００７１】図６の場合も、動画データ及び音楽データ
は任意の開始時点ｔ０，ｔ０ｍで各再生がそれぞれ開始
されるが、動画データは、開始時点ｔ０から再生が開始
された後、特定区間ｐ１の動画データに対応するように
セットされた特定区間ｎ１の音楽データの再生が開始さ
れる特定時点ｔ１において、区間ｐ１の動画データの再
生が開始されるように、動画再生の時間軸が制御され
る。次いで、特定時点ｔ１以降も、特定区間ｐ１の再生
開始から最終区間ｐ２の再生終了までの動画データは、
区間ｎ１〜ｎ２の音楽演奏に一致するように、再生の時
間軸が制御される。

【００７２】つまり、動画データ及び音楽データにおけ
る第１区間ｐ０，ｎ０の各再生開始時点ｔ０，ｔ０ｍを
表わす開始時点情報、特定区間ｐ１の動画データに対応
するようにセットされた区間ｎ１の音楽データの再生が
開始する特定時点ｔ１を表わす特定時点情報、及び、最
終区間ｎ２の音楽データの再生が終了する終了時点ｔ２
を表わす終了時点情報が、ＣＰＵ１から時間軸制御部７
１に送られる。時間軸制御部７１は、これらの時点情報
を受けて、時点ｔ０で第１区間ｐ０の動画データの再生
開始を行うと共に、特定時点ｔ１で特定区間ｐ１の動画
データの再生を開始し終了時点ｔ２で最終区間ｐ２の動
画データの再生を終了することができるように、動画再
生部７３を制御する。そして、動画再生部７３は、時点
ｔ０〜ｔ１，ｔ１〜ｔ２間における動画データの第１及
び第２読出し速度を演算し、演算された第１読出し速度
で、第１区間ｐ０の動画データを時刻ｔ０から再生して
行き、特定時点ｔ１以降は、演算された第２読出し速度
で特定区間ｐ１から最終区間ｐ２までの動画データを順
次再生していく。

【００７３】これによって、特定時点ｔ１において、特
定区間ｐ１の動画データが、予めこれに対応するように
セットされた特定区間ｎ１の音楽データの再生に同期し
て再生されるだけでなく、特定時点ｔ１以降も、最終区
間ｐ２までの動画データが、対応する音楽データの再生
に同期して再生される。従って、図示のように、同期設
定されない（“Ｆｒｅｅ”）再生開始点ｔ０から特定時
点ｔ１までと、特定時点ｔ１から同期設定された（“Ｓ
ＥＴ”）再生終了点ｔ２までとは、異なる態様で動画デ
ータの再生速度が調整される。

【００７４】なお、図６では特定時点ｔ１を１点とした
が、動画及び音楽の進行途中の対応位置を複数セットし
ておき、セットされた各位置の動画データ及び音楽デー
タの各再生が２以上の複数時点で一致するようにしても
よい。また、図６では終了時点ｔ２を一致させたが、変
形例として、終了時点ｔ２を一致させず（各終了位置を
“ＳＥＴ”せず“Ｆｒｅｅ”とする）、動画データの再
生開始位置ｔ０を音楽データの再生開始時点ｔ０ｍに一
致させる（各開始位置を“ＳＥＴ”）ようにして、共通
の開始時点ｔ０から特定時点ｔ１までについてのみ動画
再生及び音楽演奏を同期させるようにしてもよい。

【００７５】図７は、動画データ中の再生開始位置、途
中の任意位置及び再生終了位置の動画情報を、音楽デー
タ中の任意位置及び演奏終了位置の演奏情報に対応付け
たセット（ＴＳ）を用いた場合の時間軸変換例を示して
いる。この時間軸変換は、動画及び音楽の開始・終了位
置及び進行途中の１点（複数点でもよい）を互いに一致
させる演出効果、特に、動画データをループ再生で音楽
データに合わせて繰り返し再生する演出効果にとって好
適である。この例では、最上段及び第２段間に示される
ように、動画データの再生開始（第１区間ｐ０の開始）
及び再生終了（最終区間ｐ２の終了）位置を、それぞ
れ、音楽データの再生開始（第１区間ｎ０の開始）及び
再生終了（最終区間ｐ２の終了）位置に対応するように
セットしておく（“ＳＥＴ”＆“ＦＩＸ”）と共に、動
画データにおける或る特定の区間ｐ１（の開始点）を音
楽データの或る特定の区間ｎ１（の開始点）に対応する
ようにセットしておく（“ＳＥＴ”）。

【００７６】この場合は、所定の開始時点ｔ０におい
て、互いに対応するようにセットされた第１区間ｐ０，
ｎ０の動画及び音楽データの各再生それぞれが開始さ
れ、特定区間ｐ１の動画データに対応するようにセット
された特定区間ｎ１の音楽データの再生が開始される特
定時点ｔ１において、特定区間ｐ１の動画データの再生
が開始されるように、動画データの再生のための時間軸
が制御される。次いで、特定時点ｔ１以降も、特定区間
ｐ１の再生開始から最終区間ｐ２の再生終了までの動画
データが、区間ｎ１〜ｎ２の音楽演奏に一致するよう
に、動画データの再生のための時間軸が制御される。

【００７７】つまり、動画及び音楽データにおける第１
及び最終区間ｐ０，ｎ０；ｐ２，ｎ２の各再生開始時点
ｔ０，ｔ２を表わす開始・終了時点情報、及び、特定区
間ｐ１の動画データに対応するようにセットされた区間
ｎ１の音楽データの再生が開始する特定時点ｔ１を表わ
す特定時点情報が、ＣＰＵ１から時間軸制御部７１に送
られる。時間軸制御部７１は、これらの時点情報を受け
て、時点ｔ０で第１区間ｐ０の動画データの再生を開始
し、特定時点ｔ１で特定区間ｐ１の動画データの再生を
開始し、終了時点ｔ２で最終区間ｐ２の動画データの再
生を終了することができるように、動画再生部７３を制
御する。そして、動画再生部７３は、時点ｔ０〜ｔ１，
ｔ１〜ｔ２間における動画データの第１及び第２読出し
速度を演算し、演算された第１読出し速度で、第１区間
ｐ０の動画データを時点ｔ０から再生して行き、特定時
点ｔ１以降は、演算された第２読出し速度で特定区間ｐ
１から最終区間ｐ２までの動画データを順次再生してい
く。

【００７８】これによって、開始及び終了時点ｔ０，ｔ
２において、第１及び最終区間ｐ０，ｐ２の動画データ
の再生が、第１及び最終区間ｎ０，ｎ２の音楽演奏の開
始及び終了に一致して開始及び終了される。また、特定
時点ｔ１において、特定区間ｐ１の動画データが、予め
これに対応するようにセットされた特定区間ｎ１の音楽
データの再生に同期して再生される。図示の例では、固
定された（“ＳＥＴ”＆“ＦＩＸ”された）再生開始点
ｔ０から特定時点ｔ１まではテンポ及び再生速度が速く
くなり、特定時点ｔ１以降はテンポ及び再生速度が遅く
なっている。

【００７９】なお、図７では特定時点ｔ１を１点とした
が、動画及び音楽の進行途中の対応位置を複数セットし
ておき、セットされた各位置の動画データ及び音楽デー
タの再生及び演奏が２以上の複数時点で一致するように
してもよい。

【００８０】図８及び図９は、図６の説明で示した変形
例又は図７の例を一般化したものであり、動画データの
再生開始位置及び動画データ途中の任意の複数位置の動
画情報を、それぞれ、音楽データの再生開始位置及び音
楽データ途中の任意の複数位置の演奏情報に対応付けた
セット（ＴＳ）を用いた場合の時間軸変換例を示してい
る。この時間軸変換は、動画及び音楽の開始位置から進
行途中の複数点を互いに一致させる演出効果にとって好
適である。図８の最上段は、単に音楽データを楽譜を用
いて示すものであり、第２段の音楽データと厳密に対応
させたものではない。

【００８１】図８の例では、第２段及び第３段間に示さ
れるように、少なくとも、動画データの再生開始（第１
区間ｐ０の開始）位置を音楽データの再生開始（第１区
間ｎ０の開始）位置に対応するようにセットしておく
（“ＳＥＴ”＆“ＦＩＸ”）と共に、動画データにおけ
る或る特定の複数の区間ｐ１，ｐ２，ｐ３，ｐ４，…
（の開始点）を音楽データの或る特定の区間ｎ１，ｎ
２，ｎ３，ｎ４，…（の開始点）に対応するようにセッ
トしておく（“ＳＥＴ”）。

【００８２】この場合、所定の開始時点ｔ０において、
互いに対応するようにセットされた第１区間ｐ０，ｎ０
の動画及び音楽データの各再生がそれぞれ開始され、特
定区間ｐ１の動画データに対応するようにセットされた
特定区間ｎ１の音楽データの再生が開始される特定時点
ｔ１において、特定区間ｐ１の動画データ情報の再生が
開始されるように、動画データの再生のための時間軸が
制御される。次いで、特定時点ｔ１以降も、特定区間ｐ
１，ｐ２，ｐ３，ｐ４，…の動画データが、特定区間ｎ
１，ｎ２，ｎ３，ｎ４，…の音楽データに一致するよう
に、動画データの再生のための時間軸が制御される。

【００８３】図９には、動画再生時間軸を制御するため
に、時間経過に従って、時間経過に従って専用ＲＡＭ７
０から読み出される動画データの記録位置（フレーム）
を演算する方法が概略的に示されている。動画及び音楽
データにおける第１区間ｐ０，ｎ０の再生及び演奏開始
時点ｔ０を表わす開始時点情報、及び、特定区間ｐ１，
ｐ２，ｐ３，ｐ４，…の動画データに対応するようにセ
ットされた区間ｎ１，ｎ２，ｎ３，ｎ４，…の音楽デー
タの再生が開始する特定時点ｔ１，ｔ２，ｔ３，ｔ４，
…を表わす特定時点情報が、ＣＰＵ１から時間軸制御部
７１に送られる。

【００８４】時間軸制御部７１は、これらの時点情報を
受けて、時点ｔ０で第１区間ｐ０の動画データの再生を
開始し、特定時点ｔ１，ｔ２，ｔ３，ｔ４，…で特定区
間ｐ１，ｐ２，ｐ３，ｐ４，…の動画データの再生を順
次開始することができるように、動画再生部７３を制御
する。動画再生部７３は、時点ｔ０〜ｔ１，ｔ１〜ｔ
２，ｔ２〜ｔ３，ｔ３〜ｔ４，…間における動画データ
の読出し速度を演算する。演算される読出し速度は、図
９において、時点ｔ０〜ｔ１，ｔ１〜ｔ２，ｔ２〜ｔ
３，ｔ３〜ｔ４，…における各線分の勾配で示される。
そして、演算された各読出し速度で、時点ｔ０〜ｔ１，
ｔ１〜ｔ２，ｔ２〜ｔ３，ｔ３〜ｔ４，…間の対応する
動画データを順次再生していく。

【００８５】これによって、開始時点ｔ０において、第
１区間ｐ０の動画データの再生が、第１区間ｎ０の音楽
演奏の開始に一致して開始され、特定時点ｔ１，ｔ２，
ｔ３，ｔ４，…において、特定区間ｐ１，ｐ２，ｐ３，
ｐ４，…の動画データが、予めこれに対応するようにセ
ットされた特定区間ｎ１，ｎ２，ｎ３，ｎ４，…の音楽
データの再生に同期して再生される。

【００８６】つまり、図８の動画時間軸変換例に示され
るように、音楽データに対して、多数のフレームから成
る動画データが専用ＲＡＭ７０に記憶されている。そし
て、ユーザが、データの複数のポイントが同期するよう
に指定すると、各ポイント間の読出し位置は自動的に補
間演算されて、動画データを緩急（“ノーマル”、
“緩”、“急”）を伴って再生する。従って、例えば、
楽譜（図８上段）上の強拍音符がある位置を音楽演奏の
特定位置に選定し、これらの演奏位置に刺激的な特定の
動画フレーム（赤色光、青色光、黄色光などの刺激的な
映像画面）をそれぞれ対応させるように設定すると、特
定の音符に関する音が発生されたときに、特定の動画フ
レームが対応して現れるので、音と動画がリンクしてコ
ンサート会場やクラブイベントなどの聴衆に対して効果
的な演出が得られる。

【００８７】〔第３再生モード〕この動画時間軸制御指
示システムでは、操作子装置１２中のモードスイッチＭ
１，Ｍ２を操作したとき（図２参照）、動画処理回路７
を第３再生モードで動作させることができる。第３再生
モードにおいては、音楽演奏に伴う動画再生に際し、Ｃ
ＰＵ１は、予め設定された特定音楽演奏タイミング−特
定動画再生タイミングのセット（ＴＳ）に加えて、リボ
ンコントローラのようなリアルタイム操作子の操作に応
じたテンポ変更情報（ＴＭ）を時間軸制御部７１に送
る。

【００８８】時間軸制御部７１は、この特定タイミング
セットに基づいて、動画データの特定再生タイミング
が、対応する音楽演奏の演奏タイミングに一致するよう
に、しかも、リボンコントローラのようなリアルタイム
操作子の操作に応じて再生速度が変化するように、動画
再生部７３に対して指令する動画再生速度を調整して、
この速度で動画データの再生を行うように動画再生部７
３に指示を与える。そして、動画再生部７３は、指示さ
れた動画再生速度で専用ＲＡＭ７０からサンプリング動
画データを読み出して動画再生を行う。

【００８９】この第３再生モードでは、第２再生モード
におけるように、特定区間の動画データを特定区間の音
楽データに一致させるだけでなく、リアルタイム操作子
の操作に応じて動画再生及び音楽演奏の速度を可変に制
御するので、多彩な演出効果を得ることができる。

【００９０】〔種々の実施態様〕以上、この発明による
動画時間軸指示処理について具体的な実施例に従って説
明してきたが、実施態様は例示したものに限らない。例
えば、実施例においては、入力する動画はＶＴＲ（ビデ
オテープレコーダ）からとしたが、これに限らず、ＬＤ
プレイヤー、ＤＶＤプレイヤー、ＰＣ（パーソナルコン
ピュータ）からのビデオ出力など、動画を再生可能な装
置であれば、その種類は問わない。

【００９１】実施例では、出力装置を、比較的大きな映
像ディスプレイとしたが、ＣＲＴ、ＬＣＤ等、その種類
やサイズは問わない。また、ユーザ（操作者）の手元で
のモニタ用と聴衆への表示用など、複数の出力装置を接
続できるようにしても良い。

【００９２】実施例では、本体システム及び動画処理シ
ステム自体に内蔵の操作子によって時間軸制御信号を変
化させて動画の再生速度を制御していたが、外部制御装
置からの時間軸制御信号によって動画の再生速度を制御
しても良く、そのための外部制御信号入力手段を持って
いても良い。具体的には、ＰＣ内の動画制御ソフトウェ
ア上で再生速度の緩急を数値指示による折れ線で表わし
たり、マウスやタブレットなどの外部ポインティングデ
バイスを用いた手書き入力曲線などで表わした出力値を
使って、動画の再生速度を変化させるものでも良い。

【００９３】実施例では、動画データの読出しを、固定
（“ＦＩＸ”）した再生開始又は終了点（端）に基づい
て自動補正したが、再生開始又は終了点（端）を“ＦＩ
Ｘ”するか“Ｆｒｅｅ”にするか、または、余分な部分
をカットするか足りない部分を補ったりするかは、必要
に応じて任意に採用することができる。

【００９４】実施例では、動画はフレームとして扱える
ものとして説明したが、それに限らず、ＰＣのＣＧ（Co
mputer Graphics ）ソフトウエアなどによる計算で求ま
る値によって出力される動画でも構わない。

【００９５】実施例では、１つの音楽データの再生に同
期して１つの動画データを再生する例を示しているが、
複数の動画データがそれぞれ個別に選定された時点で同
期再生されるようにしてもよい。

【００９６】実施例では、動画データの再生を制御する
のにＭＭＣのコマンドを用いたが、その代わりに、ＭＩ
ＤＩショー・コントロール（ＭＳＣ）のコマンドを用い
てもよい。その場合、ＭＳＣのゴー（“ＧＯ”）命令に
基づき、当該ゴー命令に含まれるキュー（“ＱＵＥ”）
番号に応じて動画データを選択し再生開始するようにす
ればよい。

【００９７】音楽データの特定再生タイミングは、演奏
時間軸上の時刻で指定してもよいし、テンポクロック数
や、小節数、拍等で指定してもよい。また、動画データ
の特定再生タイミングは、再生時間軸上の時刻で指定し
てもよいし、動画のフレーム番号などで指定してもよ
い。

【００９８】実施例では、テンポ情報の配置された音楽
データに関して、動画データ中の任意位置を対応付け
（ＳＥＴ）するように説明したが、先に対応付け（ＳＥ
Ｔ）を行った後で、音楽データの任意の時点にテンポ情
報を配置するようにしてもよい。このようにすると、音
楽データのテンポを編集しても、動画データはテンポ編
集後の音楽データに同期して再生されるので、ユーザ
は、動画との同期ずれを気にせず、音楽データのテンポ
を自由に編集することができる。

【００９９】図７や図８では、この発明の適用の結果、
動画データと音楽データのテンポが全体を通して同期さ
れるように描かれているが、ここまで完全に同期させる
ことは必ずしも必要ではない。動画データの所望の一部
と音楽データの所望の一部を同期させることができれば
よい。

【０１００】なお、音楽データの処理方法は、設定され
たテンポ指示情報に応じて処理周期を変更する方法、処
理周期は一定で、音楽データ中のタイミングデータの値
を設定されたテンポ指示情報に応じて変更する方法、処
理周期は一定で、１回の処理において音楽データ中のタ
イミングデータの計数の仕方をテンポ指示情報に応じて
変更する方法等、どのようなものであってもよい。

【０１０１】

【発明の効果】以上説明したように、この発明によれ
ば、動画データの再生中、音楽の演奏テンポに関するテ
ンポ情報を入力し、入力したテンポ情報に応じた読出し
速度で動画データメモリに記憶されている動画データを
読み出して表示装置に出力するようにしているので、或
る区間の動画の再生時間が、演奏中の音楽において対応
する区間の長さに追随するように、動画の再生時間軸が
音楽の演奏テンポに応じて制御され、動画再生中に演奏
される音楽の演奏テンポが変化しても、その演奏テンポ
に合わせた動画再生が可能になる。

【０１０２】また、この発明によれば、音楽データ及び
動画データの対応箇所の再生タイミングの一致を指定す
るタイミングセット情報に基づいて、動画データメモリ
に記憶されている動画データの読出しタイミングを制御
し、音楽データ再生タイミングに一致したタイミングで
動画データを再生するようにしているので、音楽のテン
ポ変化に拘わらず、所望の動画フレームを所望部分の音
楽演奏に同期させて再生することができ、例えば、音楽
のアクセント部分と動画の或るフレームとの同期をリア
ルタイム作業の中で簡単に行うことができる。また、動
画のつなぎ目部分を破綻させないようにしながら動画を
再生することができるので、ループ再生用の動画素材を
も使用することができる。従って、演奏及び再生現場で
のバリエーションの幅を広げることができる。

【０１０３】さらに、この発明によれば、再生制御によ
って読み出された動画データと別途入力した動画データ
（例えば、映像再生器からの動画データ）とを合成して
表示装置に出力するようにしているので、映像演出効果
を更に高めた動画を出力することができる。

【図面の簡単な説明】

【図１】図１は、この発明の一実施例による動画再生制
御システム（動画時間軸制御指示システム）のハードウ
エア構成を示すブロック図である。

【図２】図２は、この発明の一実施例による動画時間軸
制御指示システムの動画処理機能部のブロック図であ
る。

【図３】図３は、この発明の一実施例による動画時間軸
制御指示システムの第１実施形態においてテンポ指示情
報により動画再生速度を変化させて動画時間軸制御を行
う場合（第０再生モード）の一例を示す図である。

【図４】図４は、この発明の一実施例による動画時間軸
制御指示システムの第１実施形態においてリボンコント
ローラ操作により動画再生速度を変化させて動画時間軸
制御を行う場合（第１再生モード）の一例を示す図であ
る。

【図５】図５は、この発明の一実施例による動画時間軸
制御指示システムの第２実施形態（第２再生モード）に
おいて１点をセットする場合の動画時間軸制御例〔１〕
を示す図である。

【図６】図６は、この発明の一実施例による動画時間軸
制御指示システムの第２実施形態（第２再生モード）に
おいて終点を含む２点をセットする場合の動画時間軸制
御例〔２〕を示す図である。

【図７】図７は、この発明の一実施例による動画時間軸
制御指示システムの第２実施形態（第２再生モード）に
おいて始終点を含む３点をセットする場合の動画時間軸
制御例〔３〕を示す図である。

【図８】図８は、この発明の一実施例による動画時間軸
制御指示システムの第２実施形態（第２再生モード）の
一般的な動画時間軸制御例〔４〕を示す図である。

【図９】図９は、第２実施形態（第２再生モード）の動
画時間軸制御例〔４〕における動画再生速度の演算を説
明するための図である。

【符号の説明】

ＴＣ 音楽データのテンポ指示を検出するテンポ指示検
出機構、 ＴＭ 音楽テンポの変更操作を検出するテンポ変更検出
機構、 ＴＳ 特定の再生及び演奏タイミングのセット機構、 ｐ０，ｐ１，ｐ２，ｐ３，ｐ４ 動画データにおける区
間（フレーム）番号、 ｔ０，ｔ１，ｔ２，ｔ３，ｔ４ 各区間（フレーム）の
読出しタイミング、 ｔ０ｍ，ｔ２ｍ 音楽データの読出し開始及び終了タイ
ミング、 ｎ０，ｎ１，ｎ２，ｎ３，ｎ４ 音楽データにおける区
間（小節、拍又はチック）番号。

フロントページの続き (72)発明者 首藤 一彦 静岡県浜松市中沢町10番１号 ヤマハ株式 会社内 Ｆターム(参考） 5C053 FA21 FA27 GB11 HA27 HA33 JA01 JA23 KA04 KA24 LA06 LA11 LA14 5D044 AB07 BC08 CC09 DE39 FG09 FG18 GK02 GK12 5D378 MM35 MM94 QQ27 QQ28 QQ33 TT23 TT34

Claims (20)

【特許請求の範囲】
1. 【請求項１】動画データメモリに記憶されている動画を
   表わす動画データを再生して表示装置に動画を表示する
   ための動画再生装置であって、 前記動画データの再生中、音楽の演奏テンポに関するテ
   ンポ情報を入力する入力回路と、 前記入力したテンポ情報に応じた読み出し速度で前記動
   画データメモリに記憶されている動画データを読み出し
   て前記表示装置に出力する再生制御回路とを具備するこ
   とを特徴とする動画再生装置。
2. 【請求項２】前記再生制御回路は、 前記入力したテンポ情報に応じて動画データの再生速度
   を制御するための再生速度制御信号を生成する制御信号
   生成部と、 前記動画データメモリに記憶された動画データを、単位
   データ当たりの読出し時間が前記生成された再生速度制
   御信号によって変化する読出しレートで読み出して前記
   表示装置に出力する動画データ読出し部とを備えること
   を特徴とする請求項１に記載の動画再生装置。
3. 【請求項３】前記テンポ情報は、音楽の演奏テンポを表
   わすテンポクロック信号であることを特徴とする請求項
   １に記載の動画再生装置。
4. 【請求項４】前記テンポ情報は、音楽データの再生時間
   を表わすタイムコードであることを特徴とする請求項１
   に記載の動画再生装置。
5. 【請求項５】さらに、 ユーザによって操作されて音楽の演奏テンポを指示する
   ための操作子を具備し、 前記入力回路は、前記操作子の操作位置をテンポ情報と
   して入力することを特徴とする請求項１に記載の動画再
   生装置。
6. 【請求項６】さらに、 前記再生制御回路によって読み出された動画データと、
   別途入力した動画データとを合成して前記表示装置に出
   力する合成回路を具備することを特徴とする請求項１に
   記載の動画再生装置。
7. 【請求項７】動面データメモリに記憶されている動画を
   表わす一連の動画データを再生して表示装置に動画を表
   示するための動画再生装置であって、 一連の音楽データ中の少なくとも１箇所の音楽データと
   前記一連の動画データ中の少なくとも１箇所の動画デー
   タとの再生タイミングの一致を指定するためのタイミン
   グセット情報を出力するタイミング指定回路と、 前記出力されたタイミングセット情報に基づいて、前記
   少なくとも１箇所の動画データの再生タイミングを前記
   少なくとも１箇所の音楽データの再生タイミングに一致
   させるように、前記動画データメモリに記憶されている
   動画データの読出しタイミングを制御して、同読み出し
   た動画データを前記表示装置に出力する再生制御回路と
   を具備することを特徴とする動画再生装置。
8. 【請求項８】さらに、 前記再生制御回路によって読み出された動画データと、
   別途入力した動画データとを合成して前記表示装置に出
   力する合成回路を具備することを特徴とする請求項７に
   記載の動画再生装置。
9. 【請求項９】動画データメモリに記憶されている動画を
   表わす一連の動画データを再生して表示装置に動画を表
   示するための動画再生装置であって、 一連の音楽データ中の少なくとも２箇所の音楽データと
   前記一連の動画データ中の少なくとも２箇所の動画デー
   タとの再生タイミングの一致を指定するためのタイミン
   グセット情報を出力するタイミング指定回路と、 前記出力されたタイミングセット情報に基づいて、前記
   少なくとも２箇所の動画データの再生タイミングを前記
   少なくとも２箇所の音楽データの再生タイミングに一致
   させるように、前記動画データメモリに記憶されている
   動画データの読出しタイミング及び読出し速度を制御し
   て、同読み出した動画データを前記表示装置に出力する
   再生制御回路とを具備することを特徴とする動画再生装
   置。
10. 【請求項１０】さらに、 前記再生制御回路によって読み出された動画データと、
    別途入力した動画デー５タとを合成して前記表示装置に
    出力する合成回路を具備することを特徴とする請求項９
    に記載の動画再生装置。
11. 【請求項１１】動画データメモリに記憶されている動画
    を表わす動画データを再生して表示装置に動画を表示す
    るための動画再生方法であって、 前記動画データの再生中、音楽の演奏テンポに関するテ
    ンポ情報を入力する入力ステップと、 前記入力したテンポ情報に応じた読出し速度で前記動画
    データメモリに記憶されている動画データを読み出して
    前記表示装置に出力する再生制御ステップとを備えるこ
    とを特徴とする動画再生方法。
12. 【請求項１２】前記再生制御ステップは、 前記入力したテンポ情報に応じて動画データの再生速度
    を制御するための再生速度制御信号を生成する制御信号
    生成ステップと、 前記動画データメモリに記憶された動画データを、単位
    データ当たりの読出し時間が前記生成された再生速度制
    御信号によって変化する読出しレートで読み出して前記
    表示装置に出力する読出しステップとを含むことを特徴
    とする請求項１１に記載の動画再生方法。
13. 【請求項１３】前記テンポ情報は、音楽の演奏テンポを
    表わすテンポクロック信号であることを特徴とする請求
    項１１に記載の動画再生方法。
14. 【請求項１４】前記テンポ情報は、音楽データの再生時
    間を表わすタイムコードであることを特徴とする請求項
    １１に記載の動画再生方法。
15. 【請求項１５】前記入力ステップでは、ユーザによって
    操作されて音楽の演奏テンポを指示するための操作子の
    操作位置をテンポ情報として入力することを特徴とする
    請求項１１に記載の動画再生方法。
16. 【請求項１６】さらに、 前記再生制御ステップにて読み出された動画データと、
    別途入力した動画データとを合成して前記表示装置に出
    力する合成ステップを備えることを特徴とする請求項１
    １に記載の動画再生方法。
17. 【請求項１７】動画データメモリに記憶されている動画
    を表わす一連の動画データを再生して表示装置に動画を
    表示するための動画再生方法であって、 一連の音楽データ中の少なくとも１箇所の音楽データ
    と、前記一連の動画データ中の少なくとも１箇所の動画
    データとの再生タイミングの一致を指定するためのタイ
    ミングセット情報を出力するタイミング指定ステップ
    と、 前記出力されたタイミングセット情報に基づいて、前記
    少なくとも１箇所の動画データの再生タイミングを前記
    少なくとも１箇所の音楽データの再生タイミングに一致
    させるように、前記動画データメモリに記憶されている
    動画データの読出しタイミングを制御して、同読み出し
    た動画データを前記表示装置に出力する再生制御ステッ
    プとを備えることを特徴とする動画再生方法。
18. 【請求項１８】さらに、 前記再生制御ステップにて読み出された動画データと、
    別途入力した動画データとを合成して前記表示装置に出
    力する合成ステップを備えることを特徴とする請求項１
    ７に記載の動画再生方法。
19. 【請求項１９】動画データメモリに記憶されている動画
    を表わす一連の動画データを再生して表示装置に動画を
    表示するための動画再生方法は、以下のステップを含
    む、 一連の音楽データ中の少なくとも２箇所の音楽データ
    と、前記一連の動画データ中の少なくとも２箇所の動画
    データとの再生タイミングの一致を指定するためのタイ
    ミングセット情報を出力するタイミング指定ステップ
    と、 前記出力されたタイミングセット情報に基づいて、前記
    少なくとも２箇所の動画データの再生タイミングを前記
    少なくとも２箇所の音楽データの再生タイミングに一致
    させるように、前記動画データメモリに記憶されている
    動画データの読出しタイミング及び読出し速度を制御し
    て、同読み出した動画データを前記表示装置に出力する
    再生制御ステップとを備えることを特徴とする動画再生
    方法。
20. 【請求項２０】さらに、 前記再生制御ステップにて読み出された動画データと、
    別途入力した動画データとを合成して前記表示装置に出
    力する合成ステップを備えることを特徴とする請求項１
    ９に記載の動画再生方法。