JP3716812B2 - Movie playback apparatus and movie playback method - Google Patents

Movie playback apparatus and movie playback method Download PDF

Info

Publication number
JP3716812B2
JP3716812B2 JP2002131092A JP2002131092A JP3716812B2 JP 3716812 B2 JP3716812 B2 JP 3716812B2 JP 2002131092 A JP2002131092 A JP 2002131092A JP 2002131092 A JP2002131092 A JP 2002131092A JP 3716812 B2 JP3716812 B2 JP 3716812B2
Authority
JP
Japan
Prior art keywords
moving image
timing
reproduction
image data
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002131092A
Other languages
Japanese (ja)
Other versions
JP2003030932A (en
Inventor
朗 飯塚
裕之 岩瀬
一彦 首藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2002131092A priority Critical patent/JP3716812B2/en
Publication of JP2003030932A publication Critical patent/JP2003030932A/en
Application granted granted Critical
Publication of JP3716812B2 publication Critical patent/JP3716812B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
この発明は、動画再生のための時間軸を制御し音楽に合わせて動画を再生表示することができる動画再生装置及び動画再生方法に関する。
【０００２】
【従来の技術】
従来より、動画を再生する装置とテンポに応じて音楽を演奏する装置は、それぞれ存在していた。また、動画を再生する際に、単純に２倍に伸ばしたり或いは１／２倍に縮めるというように、簡単な再生速度の変更を行う装置も、ビデオデッキ等にみられるように、存在はしていた。
【０００３】
しかしながら、従来の装置においては、音楽のテンポと動画の再生タイミングを合わせることができなかった。また、音楽のテンポと動画の再生タイミングをスタート時に同期再生させて頭だけを合わすことができても、曲の途中でテンポを早くした場合は動画のフレームが余り、遅くした場合はフレームが足りなくなるなどの不都合があった。さらに、ループ再生用の動画素材を、可変するテンポに追随させることも困難であった。
【０００４】
【発明が解決しようとする課題】
この発明は、このような従来技術の問題点に鑑み、動画の再生中にも時間軸が可変に制御され、演奏される音楽に合わせて動画を再生表示することができる動画再生装置及び動画再生方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明の第１の特徴によると、動画データメモリ（７０）に記憶されている動画を表わす一連の動画データを再生して表示装置（１５）に動画を表示するための動画再生装置及び動画再生方法において、タイミング指定機能により、一連の音楽データ中の少なくとも２箇所の音楽データと、一連の動画データ中の少なくとも２箇所の動画データとの再生タイミングの一致を指定するためのタイミングセット情報（ＴＳ）を出力し、再生制御機能（７１，７３）により、出力されたタイミングセット情報（ＴＳ）に基づいて、少なくとも２箇所の動画データの再生タイミングを少なくとも２箇所の音楽データの再生タイミングに一致させるように、動画データメモリ（７０）に記憶されている動画データの読出しタイミング及び読出し速度を制御して、読み出した動画データを表示装置（１５）に出力するようにしている〔請求項１，４〕。なお、括弧書きの符号は、理解の便のために、対応する実施例の参照記号又は請求項の番号を併記したものであり、以下においても同様である。
【０００６】
この場合、タイミングセット情報（ＴＳ）は、例えば、動画データの特定フレームに対応させて、音楽データにおける特定の演奏タイミングを表わすものである。見方を逆にすれば、音楽データにおける特定の演奏タイミングに対応させて、動画データの特定フレームを表わすものである。そして、この特定の演奏タイミングは、演奏開始後の絶対時間、小節、拍又はチック数を用いて表わされる。また、音楽データとしては、時間経過に従って配置された楽曲のメロディ、リズム、伴奏などを自動的に演奏するための演奏データを用いることができる。
【０００７】
従って、この発明によれば、音楽のテンポ変化に拘わらず、所望の動画フレームを所望部分の音楽演奏に同期させて再生することができる。また、動画のつなぎ目部分を破綻させないようにしながら動画を再生することができるため、ループ再生用の動画素材をも使用することができる。従って、例えば、音楽のアクセント部分と動画の或るフレームとの同期をリアルタイム作業の中で簡単に行うことができるので、さらに、演奏及び再生現場でのバリエーションの幅を広げることができる。
【０００８】
特に、ＶＪ（VisuaI Jockey ）用に動画をループ再生する場合、テンポに合わせて幾つもの動画素材を用意したりすることなく、お気に入りのループ素材を使用してどんなテンポにも対応することができるようになる。従って、事前の打ち合わせや編集が難しいＤＪ（Disc Jockey ）＆ＶＪの関係も、演奏及び再生現場においてＶＪ側で臨機応変に対処することができる。
【０００９】
この発明においては、さらに、再生制御によって読み出された動画データと、別途入力した動画データとを合成して表示装置（１５）に出力する〔請求項２，４〕ように構成することができ、この場合、別途入力する動画データとしては、例えば、映像再生器（１４）からの動画データを利用することができる。従って、この発明によれば、映像演出効果を更に高めた動画を出力することができる。
【００１０】
また、この発明の第２の特徴によると、動画記憶手段（７０）に予め動画情報を記憶しておき、動画情報の読出しタイミングについて複数の特定再生タイミングを指定し、楽音情報の演奏タイミングについて複数の特定演奏タイミングを指定して、特定再生タイミング及び特定演奏タイミングをセット（ＴＳ）した上、動画の再生を開始すると、再生タイミング調整機能（７１）により、セットされた特定再生タイミング及び特定演奏タイミングに基づいて、各特定再生タイミングを各特定演奏タイミングに対応するように調整すると共に、各特定再生タイミング間における複数の中間再生タイミングを演算し、動画読出し機能（７３）により、調整された特定再生タイミング及び演算された中間再生タイミングで、動画記憶手段（７０）から動画情報を読み出し、動画出力機能（７４）により、読み出された動画情報を表示装置（１５）に出力するようにしている〔請求項３，６〕。
【００１１】
従って、この発明によれば、音楽及び動画の特定ポイント同士のタイミングを合わせて、第１の特徴によるものと同様に、演奏される音楽のテンポ変化に拘わらず、所望の動画フレームを所望部分の音楽演奏に同期させて再生することができ、また、動画のつなぎ目部分を破綻させないようにしながら動画を再生することができるため、ループ再生用の動画素材をも使用することができる。
【００１２】
なお、この発明においても、さらに、別に入力される動画情報と、動画記憶手段から動画読出し手段によって読み出された動画情報を合成する動画合成機能を備えるように構成することができ、この構成により、同様に、映像演出効果を更に高めた動画を出力することができる。
【００１３】
〔種々の特徴〕
また、上述した課題
（目的）に対応してこの明細書に記載された種々の発明の実施に関する別の特徴により次の〔１〕〜〔３〕のように構成することができる。
〔１〕動画データメモリ（７０）に記憶されている動画を表わす動画データを再生して表示装置（１５）に動画を表示するための動画再生装置及び動画再生方法において、入力機能（ＴＣ）により、動画データの再生中、音楽の演奏テンポに関するテンポ情報を入力し、再生制御機能（７１，７３）により、入力したテンポ情報に応じた読出し速度で動画データメモリ（７０）に記憶されている動画データを読み出して表示装置（１５）に出力すること。これによれば、或る区間（例えば、フレーム数で表わされる）の動画の再生時間が、演奏中の音楽において対応する区間（例えば、小節、拍、チック数などで表わされる）の長さに追随するように、動画の再生時間軸が音楽の演奏テンポに応じて制御される。従って、動画の再生中に演奏される音楽の演奏テンポが変化しても、その演奏テンポに合わせた動画再生が可能になる。
【００１４】
なお、〔１〕において、さらに、次のような構成を採ることができる：
（ａ）動画データの再生制御機能（７１，７３）は、入力したテンポ情報に応じて動画データの再生速度を制御するための再生速度制御信号を生成する制御信号生成機能と、動画データメモリ（７０）に記憶された動画データを、単位データ当たりの読出し時間が生成された再生速度制御信号によって変化する読出しレートで読み出して表示装置（１５）に出力する動画データ読出し機能を備えること。この再生速度制御信号は、例えば、動画データの再生における時間軸を制御する時間軸制御情報である。
（ｂ）テンポ情報として、音楽の演奏テンポを表わすテンポクロック信号又は音楽データの再生時間を表わすタイムコード（ＴＣ）を採用すること。これらのテンポクロック信号及びタイムコードは、ＭＩＤＩ規格によって定義されたものを利用することができる。
（ｃ）更に、ユーザによって操作されて音楽の演奏テンポを指示するための操作子（ＴＭ）を備え、操作子の操作位置をテンポ情報とすること。この場合、操作子（ＴＭ）は、直線、円形など一次元方向に変位するもので構成し、この操作子の一次元位置を検出して、この検出位置をテンポ情報とするとよい。この音楽の演奏テンポを表わすテンポ情報は、例えば、時間経過に従って配置された楽曲のメロディ、リズム、伴奏などを自動的に演奏するための演奏データの再生速度を表わす。
【００１５】
〔２〕動画データメモリ（７０）に記憶されている動画を表わす一連の動画データを再生して表示装置（１５）に動画を表示するための動画再生装置及び動画再生方法において、タイミング指定機能（ＴＳ）により、一連の音楽データ中の少なくとも１箇所の音楽データと、一連の動画データ中の少なくとも１箇所の動画データとの再生タイミングの一致を指定するためのタイミングセット情報（ＴＳ）を出力し、再生制御機能（７１，７３）により、出力されたタイミングセット情報（ＴＳ）に基づいて、少なくとも１箇所の動画データの再生タイミングを少なくとも１箇所の音楽データの再生タイミングに一致させるように、動画データメモリ（７０）に記憶されている動画データの読出しタイミングを制御して、読み出した動画データを表示装置（１５）に出力すること。これによれば、音楽のテンポ変化に拘わらず、所望の動画フレームを所望部分の音楽演奏に同期させて再生することができ、例えば、音楽のアクセント部分と動画の或るフレームとの同期をリアルタイム作業の中で簡単に行うことができる。
【００１６】
〔３〕これら〔１〕，〔２〕において、合成機能（７４）により、再生制御機能（７１、７３）によって読み出された動画データと、別途入力した動画データとを合成して表示装置（１５）に出力すること。この場合、別途入力する動画データとしては、例えば、映像再生器（１４）からの動画データを利用することができる。これによれば、映像演出効果を更に高めた動画を出力することができる。
【００１７】
さらに、別の観点から、以下の（１），（２）のように構成することもできる。
（１）動画情報を記憶する動画記憶手段と、動画の再生中に可変の時間軸制御信号を入力する制御入力手段と、時間軸制御信号に応じて動画の再生速度を制御する動画再生速度制御手段と、再生速度に応じて情報単位当りの読出し時間を伸縮し動画記憶手段から動画情報を読み出す動画読出し手段と、読み出された動画情報を表示装置に出力する動画出力手段とを具備する動画時間軸制御指示装置。この動画時間軸制御指示装置においては、制御入力手段は、時間軸制御信号としてテンポクロックを入力し、動画再生速度制御手段は、テンポクロックに応じて動画の再生速度を制御するか、或いは、制御入力手段は、時間軸制御信号としてタイムコードを入力し、動画再生速度制御手段は、タイムコードに応じて動画の再生速度を制御するように構成することができる。さらに、動画の再生速度の緩急を指示する操作子と、操作子の操作を検出する検出手段とを備え、制御入力手段は、検出された操作子の操作に基づく時間軸制御信号を入力するように構成することができる。また、この場合、操作子は１次元位置検出形操作子であることが好ましい。
【００１８】
（２）上述した（１）の動画時間軸制御指示装置において、さらに、別に入力される動画情報と、動画記憶手段から動画読出し手段によって読み出された動画情報を合成する動画合成手段を具備する動画時間軸制御指示装置。
【００１９】
【発明の実施の形態】
以下、図面を参照しつつ、この発明の好適な実施例を詳述する。なお、以下の実施例は単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。
【００２０】
〔ハードウエア構成〕
図１には、この発明の一実施例による動画再生制御システム（「動画時間軸制御指示システム」とも呼ばれる。）のハードウエア構成のブロック図が示されている。このシステムの例では、パーソナルコンピュータ（ＰＣ）を利用して動画時間軸制御指示を含む各種処理を行わせる構成がとられている。システムは、中央処理装置（ＣＰＵ）１、読出専用メモリ（ＲＯＭ）２、本体側ランダムアクセスメモリ（本体ＲＡＭ）３、外部記憶装置４、検出回路５、表示回路６などの本体ＰＣの要素の外に、動画処理回路７、ＭＩＤＩインターフェース（ＭＩＤＩＩ／Ｆ）８、通信インターフェース（通信Ｉ／Ｆ）９などを備え、これらの装置１〜９は、バス１０を介して互いに接続されている。
【００２１】
システム全体を制御するＣＰＵ１は、所定のソフトウエア・プログラムに従いタイマ１１による時間計測を利用して種々の制御を行い、特に、後述する動画時間軸制御指示などの処理を管理する。ＲＯＭ２には、このシステムを制御するための所定の制御プログラムが記憶されている。これらの制御プログラムは、基本的な情報処理と共に、この発明による動画時間軸制御指示などの処理を管理するためのプログラム、各種テーブル、各種データなどを含む。本体ＲＡＭ３は、各種処理に際して必要なデータやパラメータを記憶する一時記憶部として機能する。
【００２２】
外部記憶装置４は、ハードディスク（ＨＤ）の外に、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディスク（ＤＶＤ）、ＺＩＰ、半導体メモリ等の可搬型記憶媒体を用いた装置から成り、各種制御プログラムや各種データを記憶することができる。従って、動画時間軸制御指示などに必要なプログラムや各種データは、ＲＯＭ２ばかりでなく、必要に応じて、外部記憶装置４からＲＡＭ４内に読み込まれ、また、処理結果が外部記憶装置４に記録され得る。
【００２３】
検出回路５にはパネル操作子装置１２が接続され、パネル操作子装置１２は、各種のスイッチやキー、その他のタイプの操作子を備える。これらの操作子は、パネル操作子とも呼ばれ、動画時間軸制御指示などの処理のために、ユーザが動画の再生モードなどの各種設定や指示の情報をシステムに入力するために用いられる。例えば、モードスイッチ（Ｍ１，Ｍ２）は、動画の再生モードを切り換えるために設けられ、リボンコントローラ（操作指が接触している１次元位置を検出するリニア操作型パッド操作子）は、音楽及び動画の進行速度をリアルタイムで操作するためのリアルタイム操作子として設けられる。
【００２４】
表示回路６は、ＬＣＤなどで構成された本体ディスプレイ１３や、各種インジケータの表示状態を制御する。本体ディスプレイ１３の表示状態に関連して、ユーザがパネル操作子装置１３の操作子を操作することにより、動画時間軸制御指示に関する設定や指示が行われる。そして、上述したこれらの要素１〜６、１０〜１３により本体システム（又は本体ＰＣ）が構成される。
【００２５】
動画処理回路７は専用ＲＡＭを有している。動画処理回路７には、ＶＴＲやビデオディスク再生器などの映像再生器１４、及び、ＣＲＴやプロジェクタのような比較的大きな画面をもつ映像ディスプレイ１５が接続される。動画処理回路７は、映像再生器１４からのビデオ信号（動画映像信号）を処理して所定の再生速度で動画情報を再生し、この動画情報に基づく映像を映像ディスプレイ１５に表示させる。そして、これらの動画処理回路７、映像再生器１４及び映像ディスプレイ１５によって動画再生システムが構成される。
【００２６】
なお、動画処理回路７の入力部には、Ａ／Ｄ変換器が内蔵されており、映像再生器１４から出力されたアナログ形式のビデオ信号は、この入力部にてディジタル形式のビデオ信号（動画情報）に変換される。そして、動画処理回路７内においては、変換されたディジタル形式の動画情報に対して各種処理が施される。また、動画処理回路７の出力部には、Ｄ／Ａ変換器が内蔵されており、動画処理回路７にて処理されたディジタル形式の動画情報がアナログ形式のビデオ信号に変換されて映像ディスプレイ１５に出力される。
【００２７】
ＭＩＤＩインターフェース（Ｉ／Ｆ）８には、音楽データ（music data）を発生するシーケンサやパーソナルコンピュータ（ＰＣ）などで構成されるＭＩＤＩ機器１６が接続される。ＭＩＤＩ機器１６には、音源回路（tone signal generator）１７が接続される。音源回路１７は、入力された音楽データに基づいて楽音信号（tone signal ）を形成して出力する。音源回路１７には、ディジタル・シグナル・プロセッサ（ＤＳＰ：Digital Signal Processor）やスピーカを含むサウンドシステム１８が接続される。
【００２８】
サウンドシステム１８は、入力された楽音信号に種々の音楽的効果（musicaleffect）を付与してこの音楽的効果が付与された楽音信号に対応した楽音（musical sound ）を発生する。ＭＩＤＩ機器１６は、自身のもつ音楽データ（音楽情報）に加えて、例えば、ＲＯＭ２や外部記憶装置４に記憶されている音楽データ（音楽情報）も、音源回路１７に出力することができる。従って、ＲＯＭ２や外部記憶装置４に記憶されている音楽データに基づく楽音信号に対応した楽音も、サウンドシステム１８から発生される。
【００２９】
ここで、音楽データは、例えば、スタンダードＭＩＤＩファイル（ＳＭＦ）形式の自動演奏データ（automatic performance data）であり、ＭＩＤＩ機器１６は該自動演奏データを再生する。音楽データ（自動演奏データ）の再生に当っては、音楽データに付随するタイムコードやテンポクロック（ＭＩＤＩクロック）指令、或いは、リアルタイム操作子（１２）の指示などに従って、再生のテンポが制御される。そして、これらのＭＩＤＩ機器１６、音源１７及びサウンドシステム１８によって音楽演奏システムが構成される。
【００３０】
なお、タイムコードとは、自動演奏データの再生開始から絶対的な時間を基準にして定期的に与えられるタイミング信号であり、このタイムコードは、自動演奏データの再生開始からの時間を表わす時間情報（時、分、秒）を含む。また、テンポクロックは、音楽のテンポに対応した時間間隔で定期的に与えられるタイミング信号であり、例えば、４分音符に対応した時間長の１／２４の時間長ごとに与えられる。
【００３１】
また、通信インターフェイス（Ｉ／Ｆ）９は、ローカルエリアネットワーク（ＬＡＮ）やインターネット、電話回線等の通信ネットワーク１９を介してサーバコンピュータ２０等に交信可能に接続される。従って、サーバコンピュータ１６等から制御プログラムや音楽データなどの各種データを外部記憶装置４にダウンロードすることもできる。
【００３２】
なお、図１は、本体ＰＣを用いるシステムについて説明したが、本体システム及び音楽演奏システムについては、他の同等の処理機能を有する電子楽器や自動演奏装置などの情報処理装置を用い、これに動画再生システムを接続して動画再生制御システム（動画時間軸制御指示システム）を構成してもよい。
【００３３】
〔動画再生システム〕
図２は、この発明の一実施例による動画時間軸制御指示システムにおける動画処理機能部（動画再生システム）のブロック図を示す。動画処理回路７は、動画処理に専用の専用ＲＡＭ７０の外に、時間軸制御部７１、動画録画部（ビデオサンプラー）７２、動画再生部７３及び映像合成部７４を備える。
【００３４】
ここで、図２を用いて、この発明の実施例による動画再生制御システム（動画時間軸制御指示システム）の概略を簡単に説明しておく。この動画再生制御システムでは、動画データメモリ（専用ＲＡＭ）７０に予め記憶された動画データ（動画情報）の読出しに際して、動画データを再生するための時間軸が可変に制御される。或るモードＭ１では、動画データ再生中、ＣＰＵ１は、テンポ検出機構ＴＣ，ＴＭからの演奏音楽のテンポに応じた時間軸制御信号を時間軸制御部７１に供給する。時間軸制御部７１は、時間軸制御信号に応じて再生速度を調整（制御）し、動画再生部７３は、調整された再生速度に従って単位データ当りの読出し時間を伸縮して動画データをデータメモリ７０から読み出し、表示装置（ディスプレイ）１５に出力する。別のモードＭ２では、動画データの特定フレーム再生タイミングに特定の音楽演奏タイミングをセット（ＴＳ）しておき、ＣＰＵ１、時間軸制御部７１及び動画再生部７３から成る動画データの再生制御系により、このタイミングセット情報ＴＳに基づいて、各演奏タイミングに一致する再生タイミングで特定フレームの動画データをデータメモリ７０から読み出し、表示装置１５に出力する。
【００３５】
以下、図２の動画再生システムを具体的に説明する。まず、動画録画部７２は、本体システムのＣＰＵ１の指示に従って、予め、ＶＴＲなどの映像再生器１４からのビデオ信号（動画映像信号）をサンプリングし、ディジタル動画データのストレージとして機能する専用ＲＡＭ７０に記録する。すなわち、パネル操作子１２からの録画開始指示に応じて、その時点で映像再生器１４から動画処理回路７に入力しているビデオ信号が、専用ＲＡＭ７０の所定の記憶領域にディジタル動画データとして記億される。この専用ＲＡＭには複数の記憶領域が設定可能であり、複数のディジタル動画データを記憶することができる。
【００３６】
なお、前述のように、動画処理回路７にて処理されるビデオ信号（動画映像信号）は、図示しない入力部にてディジタル信号に変換されるものである。従って、動画録画部７２は、ディジタル形式のビデオ信号を専用ＲＡＭ７０にディジタル録画データとして書き込むことになる。また、このディジタル録画データの書込みにおいては、専用ＲＡＭ７０に記憶されるデータ量を少なくするために、動画録画部７２は、ディジタル動画データを圧縮して専用ＲＡＭ７０に書き込むようにするとよい。
【００３７】
動画再生の際は、種々の態様でＣＰＵ１から動画再生が指示される。例えば、パネル操作子１２には、専用ＲＡＭに記憶された複数の動画データに対応した複数の動画選択スイッチが設置されている。ＣＰＵ１は、何れかの動画選択スイッチの操作に応じて、動画処理回路７に対し、対応する動画データを再生開始するよう指示する。
【００３８】
或いは、ＭＩＤＩ機器１６で再生される音楽データにより動画データの再生を指示することもできる。ＭＩＤＩ規格には、ディジタル・レコーダやＶＴＲを制御するためのＭＩＤＩマシン・コントロール（ＭＭＣ）規格が定められている。ＭＭＣを用いた場合、ロケート命令に応じて複数動画データの中から１つの動画データを選択し、デファード（deferred）・プレイ命令に応じて選択された動画データを再生開始することができる。なお、ロケート命令とは、複数動画データ中の再生される動画データの位置を指令する命令である。また、デファード・プレイ命令とは、動画データの再生開始のタイミングを指定する命令である。
【００３９】
また、音楽データの再生に同期して、所望の動画データを再生したい場台、音楽データの所望のタイミングに合わせてロケート命令、デファード・プレイ命令を配置すればよい。ＭＩＤＩ機器１６により該音楽データが再生されると、その配置したタイミングでロケート命令、デファード・プレイ命令がそれぞれ取り出され、取り出されたロケート命令、デファード・プレイ命令は、ＭＩＤＩインターフェース（Ｉ／Ｆ）８を介してＣＰＵ１に取り込まれる。ＣＰＵ１は、該ロケート命令に応じて動画データを選択し、該デファード・プレイ命令に応じて選択された動画データを再生開始するよう動画処理回路７を制御する。
【００４０】
動画再生の際には、動画再生部７３は、このようなＣＰＵ１の指示に従って、専用ＲＡＭ７０に記録された複数のサンプリング動画データから所望の動画データを選択し、選択された動画データが、時間軸制御部７１による制御の下に、所定の速度で読み出されて順次再生される。なお、前述のように、圧縮した動画データが専用ＲＡＭに記憶されている場合には、動画再生部７３は、専用ＲＡＭ７０から読み出した動画データを伸長する。ここで、時間軸制御部７１は、再生モード（Ｍ１，Ｍ２）に応じたＣＰＵ１からの制御入力に従い、音楽のテンポ指示情報ＴＣ或いは特定のタイミングセットＴＳに基づいて動画再生部７３を制御し、動画の再生をコントロールする機能を有する。
【００４１】
つまり、時間軸制御部７１は、ＣＰＵ１からのテンポ指示情報ＴＣ或いは特定タイミングセットＴＳに基づいて、現在演奏されている音楽の進行に合う値となる動画再生速度で動画再生を行うように、動画再生部７３に指示を与える。そして、動画再生部７３は、指示された動画再生速度で専用ＲＡＭ７０から動画情報を順次読み出して動画再生を行うのである。なお、これらのテンポ指示情報及び特定のタイミングセットＴＳに基づく動画再生速度の制御については、後で詳述する。
【００４２】
また、動画再生部７３による動画再生には、ＣＰＵ１からの指示により、専用ＲＡＭ７０中から選択された動画データの一部又は全部を何回も繰り返して再生する「ループ再生」を用いることができ、この実施例によれば、シームレスに且つ破綻（画像の切落しや空白画像の発生）なくループ再生することができる。
【００４３】
動画再生部７３において再生された動画データは、映像合成部７４を介して、映像ディスプレイ１５の画面上に所定の再生速度で表示される。この例では、映像合成部７４は、動画再生部７３から、再生速度が制御された動画データを（例えば、主画像として）受けると共に、映像再生器１４から、実時間で再生される（所謂“たれ流し”）ビデオ信号による他の動画データを（例えば、背景画像として）受けて、両動画データを合成する。これによって、映像ディスプレイ１５には、両動画データを合成した映像が表示される。なお、映像ディスプレイ１５に供給される信号は、前述したように、図示しない出力部内に設けたアナログ形式の映像信号である。
【００４４】
また、映像合成部７４における映像（カラー画像）の合成手法には、動画再生部７３からの時間軸可変の再生動画と映像再生器１４からの実時間動画とを単純に重ね合わせたり、それぞれに関連するクロスフェードなどをかけたり、再生動画と実時間動画の論理和又は論理積をとったり、両者を別々の画面領域に表示させ各表示領域を変化させていくなど、必要に応じて、種々の映像演出効果を採用することができる。
【００４５】
〔第０再生モード〕
この動画時間軸制御指示システムでは、動画処理回路７を第０再生モードで動作させることができる。第０再生モードにおいては、図２（左上）に示すように、音楽データのテンポクロック（ＭＩＤＩクロック）やタイムコードなどの指示によるテンポ指示情報ＴＣに基づいて、動画再生速度を変化させる。つまり、音楽データを用いて演奏する場合、ＣＰＵ１は、タイムコードの差分値（タイムコードの時間間隔）やテンポクロック（ＭＩＤＩクロック）間の時間間隔で示されるテンポ指示情報を受けて、演奏される音楽のテンポに変更があったことを感知し、これを時間軸制御部７１に伝える。時間軸制御部７１は、ＣＰＵ１から制御入力として与えられたテンポ指示情報に基づいて、動画再生部７３における動画再生を制御する。
【００４６】
図３は、第０再生モードにおいて動画データに対する読出し速度がテンポ指示に応じて変化する様子を極く概略的に表わした図である。同図において、○印は、動画データにおける所定の動画データ単位〔所定のフレーム数。以下、単に「区間」という。〕及び音楽データにおける音楽データ単位〔所定の小節（ｂａｒ）数。拍数又はチック（ＴＩＣＫ）数でもよく、何れの場合も、整数でなくても（小数込みの値でも）よい。以下、単に「区間」という。〕を表わし、○印の幅は、各区間のデータの再生又は演奏密度（情報単位当り時間量）の変化を視覚的に分かりやすく示すだけのものである。なお、チック数とは、シーケンサにおける時間分解能を表わす単位時間間隔の数を示す。
【００４７】
図３の最上段は、動画再生専用ＲＡＭ７０に記憶されている動画データを表わす。これに対して、第２段は、経過時間ｔ（ｓｅｃ）に対して、テンポクロックなどの指示によるテンポ指示情報に基づくテンポ値が変化する様子を示し、縦軸の“０”は標準テンポ値（例えば、テンポ値＝１２０）を表わす。
【００４８】
音楽演奏システム１６〜１８において音楽データに従って音楽演奏が開始すると、テンポ指示情報により指示されるテンポ値に対応する速度で動画再生が行われる。例えば、音楽データのテンポ情報が“０”に対応するテンポ指示値（標準テンポ値＝１２０）に設定されていれば、動画処理回路７においては、専用ＲＡＭ７０に記憶されている動画データが、ＣＰＵ１からの指令に基づいて、時間軸制御部７１及び動画再生部７３により、通常の動画再生速度、例えば、３０フレーム／秒で読み出される。
【００４９】
また、テンポ指示値が“０”の標準テンポ値から変化すると、変化したテンポ指示値がＣＰＵ１から指令され、指令されたテンポ指示値に基づいて音楽演奏及び動画再生が行われる。なお、このテンポ指示値は、テンポクロックの時間間隔やタイムコードの差分値（タイムコードの時間間隔）などの情報から得ることができる。
【００５０】
従って、第０再生モードでは、第２段のようにテンポ値が変化すると、音楽データが、変化したテンポ値に応じて〔指定されたテンポ値から正負（＋，−）のテンポ値変化分に応じた分だけ変化したテンポで〕最下段のように再生されるのに伴って、動画データの読出し速度は、通常の動画再生速度から、正負（＋，−）のテンポ値変化分に応じた分だけが変化し、動画データは、第３段に示されるように、テンポ値に応じた速度で再生されるので、動画の再生を音楽の演奏に合わせる演出効果を得ることができる。ＳＭＦ等の音楽データでは、テンポ値を変更したいタイミングにテンポ情報を配置することができる。その音楽データを再生すると、そのタイミングでテンポ情報が現われてテンポ値が変更される。すなわち、音楽データに含まれるテンポ情報に基づいて、音楽演奏と動画再生を同時に制御することができる。
【００５１】
〔第１再生モード〕
この動画時間軸制御指示システムでは、操作子装置１２中のモードスイッチＭ１を操作したとき（図２参照）、動画処理回路７を第１再生モードで動作させることができる。第１再生モードにおいては、音楽の演奏中、ＣＰＵ１は、リアルタイム操作子の操作に基づくテンポ変更（操作）情報ＴＭを受けて、演奏されている音楽のテンポの変更操作があったことを感知し、これを時間軸制御部７１に伝える。時間軸制御部７１は、ＣＰＵ１から制御入力として与えられたテンポ変更（操作）情報に基づいて、動画再生部７３における動画再生を制御する。
【００５２】
図４は、第１再生モードにおいて動画データに対する読出し速度がテンポの変更操作に応じて変化する様子を極く概略的に表わした図である。同図においても、○印の意味は前述したところと同じである。パネル操作子装置１２には、既に説明したように、音楽演奏のテンポをリアルタイムで変更操作するために、リボンコントローラ（１次元接触位置検出を行うリアルタイム操作子）が設けられている。図４の最上段は、動画再生専用ＲＡＭ７０に記憶されている動画データを表わす。これに対して、第２段は、経過時間ｔ（ｓｅｃ）に対するリボンコントローラの操作量の変化を示し、縦軸の“０”は、リボンコントローラ操作の原点位置である。
【００５３】
リボンコントローラの原点位置に操作指を接触すると、原点位置＝“０”に対応する速度で音楽演奏及び動画再生が行われる。つまり、音楽演奏システム１６〜１８においては、例えば、標準テンポ値＝１２０とすれば、原点位置に対応するテンポ値＝１２０で演奏される。すなわち、ＣＰＵ１はテンポ値＝１２０のテンポクロック信号を発生してＭＩＤＩ機器１６に供給し、ＭＩＤＩ機器１６では、供給されるテンポクロック信号に同期して音楽データの再生を行う。また、この場合、動画処理回路７においては、専用ＲＡＭ７０に記憶されている動画データが、ＣＰＵ１からの指令に基づいて、時間軸制御部７１及び動画再生部７３により、通常の動画再生速度、例えば、３０フレーム／秒で読み出される。
【００５４】
また、リボンコントローラの任意の位置に操作指をタッチすると、タッチした指の位置（原点位置＝“０”からの変位）に応じた操作量がＣＰＵ１から指令され、指令された操作量に基づいて音楽演奏及び動画再生が行われる。従って、第２段のようにリボンコントローラを操作すると、音楽データは、ＭＩＤＩ機器１６において、リボンコントローラの操作量に応じて、指定されたテンポ値から正負（＋，−）の操作量に応じた分だけ変化したテンポで、最下段のように再生される。これに対応して、動画データの読出し速度も、通常の動画再生速度から、正負（＋，−）の操作量に応じた分だけが変更され、動画データは、第３段に示されるように、リボンコントローラの操作量に応じた速度で再生されるので、動画の再生を音楽の演奏に合わせることができる。
【００５５】
図４の例では、時点ｔ０で音楽演奏及び動画再生が開始されると同時に、第２段のように、リボンコントローラの操作を開始し、一旦正方向に操作してから負方向に操作し原点位置＝“０”を通った後、再び正方向に操作し、時点ｔ１において、所定の正位置で操作を停止すると同時に、負の所定位置にジャンプして再度正方向に操作し時点ｔ２で操作を停止（操作指をリボンコントローラから離すこと）したままにした場合について示されている。
【００５６】
この場合、音楽データについては、図４の最下段に示されるように、時点ｔ０で最初の区間（小節、拍又はチック数で規定される）ｎ０の音楽データの再生が開始され、時点ｔ１で、操作指をコントローラから離すと、再タッチした負の所定位置に対応する速度で、区間ｎ１の音楽演奏から再開される。そして、区間ｎ２の音楽演奏がなされた時点ｔ２で操作を停止すると、時点ｔ２以降は、操作を停止したときの操作量に対応する速度で音楽演奏が維持される。
【００５７】
これに対して、動画データについても、図４の第３段に示されるように、音楽データと同様に再生速度が制御される。つまり、時点ｔ０では、正方向の或る位置のコントローラ操作に応じて、動画データにおける最初の区間（フレーム数で規定される）ｐ０の動画データが比較的高い速度（“急”）で再生され、コントローラ操作に応じた“緩”・“急”の速度で動画再生が、順次、行われる。時点ｔ１で、操作指が負の所定位置にジャンプすると、ジャンプ後の位置に対応する“緩”やかな再生速度で、区間ｐ１の動画データが再生され、コントローラ操作に応じて、順次、再生速度が高められ、区間ｐ２の動画再生がなされた時点ｔ２での操作停止に基づいて、時点ｔ２以降は、操作を停止したときの操作量が維持されるので、この操作量に対応する高い速度（“急”）のままで動画データが再生されていく。
【００５８】
従って、動画データは、音楽演奏の演奏速度と同様に、コントローラ操作量に応じて再生速度が緩急に変化し、音楽演奏の進行を合わせて再生することができる。なお、図２（左上）に示すように、音楽データのテンポクロックの時間間隔やタイムコードの差分値（タイムコードの時間間隔）などのテンポ指示情報に基づく動画再生速度の変化に加えて、上述したリボンコントローラのリアルタイム操作によるテンポ変更情報に基づいて、音楽演奏速度及び動画再生速度を同時に変化させるので、音楽演奏及び動画再生の演出効果を高めることができる。
【００５９】
〔第２再生モード〕
この動画時間軸制御指示システムでは、操作子装置１２中のモードスイッチＭ２を操作したとき（図２参照）、動画処理回路７を第２再生モードで動作させることができる。第２再生モードにおいては、音楽演奏に伴う動画再生に際し、図２の右上に示すように、ＣＰＵ１は、予め設定された特定音楽演奏タイミング−特定動画再生タイミングのセットＴＳを時間軸制御部７１に送る。
【００６０】
時間軸制御部７１は、この特定タイミングセットＴＳに基づいて、動画データの特定再生タイミングが、対応する音楽演奏の演奏タイミングに一致するように、動画再生部７３に対して指令する動画再生速度を調整して、この速度で動画再生を行うように動画再生部７３に指示を与える。そして、動画再生部７３は、指示された動画再生速度で専用ＲＡＭ７０からサンプリング動画データを読み出して動画再生を行う。
【００６１】
図５〜図９は、第２再生モードでの動画再生を説明するための時間軸変換例をを極く概略的に表わした図である。図５〜図７の最上段及び図８の第２段は、音楽演奏システム１６〜１８において音楽演奏に利用される音楽データを表わし、タイムコード或いはテンポクロック（ＭＩＤＩクロック）によるテンポ指示を考慮して演奏時間に換算して示されている。この例では、音楽データの「区間ｎ０」〜「区間ｎ１の直前」が「区間ｎ１」〜「区間ｎ２」より速いテンポとしており、これは○印の幅で表示されている。すなわち、音楽データの区間ｎ１の開始点には、テンポ情報が配置されている。ＭＩＤＩ機器１６は、音楽データ中に配置されている初期テンポを演奏テンポとして区間ｎ０から音楽演奏を開始し、区間ｎ１の開始点で、演奏テンポを、そこに配置されているテンポ情報に従って、より遅いテンポに変更して音楽演奏を継続する。
【００６２】
図５〜図７の第２段及び図８の第３段は、動画処理回路７の音楽データ専用ＲＡＭに記憶されている動画データを表わし、図５〜図７においては、動画データの記録位置を便宜的に音楽データの総演奏区間ｎ０〜ｎ２に一致させている。このようなタイミングの同期は、前述したデファード・プレイ命令を音楽データに配置するタイミングを調整することにより制御することができる。また、各図における○印の意味は、図３や図４で既に説明したように、データを構成する各区間（データ単位）を表わし、音楽データについては、所定の小節数、拍数又はチック（ＴＩＣＫ）数〔整数でなくても（小数でも）よい〕で規定することができ、動画データについては、所定のフレーム数で規定することができる。
【００６３】
さて、図５は、動画データ中の任意位置の動画情報を音楽データ中の任意位置の演奏情報に対応付けたセット（ＴＳ）を用いた場合の時間軸変換例を示している。この時間軸変換は、動画及び音楽の進行途中の１点（複数点でもよい）を互いに一致させる演出効果にとって好適である。この例では、最上段及び第２段間に示されるように、動画データにおける或る特定の区間ｐ１（の開始点）を、音楽データの或る特定の区間ｎ１（の開始点）に対応するようにセットしておき（“ＳＥＴ”）、両データの開始及び終了位置ｐ０，ｎ０；ｐ２，ｎ２については対応付けをしない（“Ｆｒｅｅ”）。
【００６４】
この場合、動画データ及び音楽データの各再生は、それぞれ、任意の時点ｔ０，ｔ０ｍで開始される。しかし、動画データは、時点ｔ０から再生が開始された後、特定区間ｐ１の動画データに対応するようにセットされた特定区間ｎ１の音楽データの再生が開始される特定時点ｔ１において、区間ｐ１の動画データの再生が開始されるように、動画データの再生のための時間軸が制御される。
【００６５】
つまり、動画データ及び音楽データにおける第１区間ｐ０，ｎ０の各再生開始時点ｔ０，ｔ０ｍを表わす開始時点情報、及び、特定区間ｐ１の動画データに対応するようにセットされた区間ｎ１の音楽データの再生が開始する特定時点ｔ１を表わす特定時点情報が、ＣＰＵ１から時間軸制御部７１に送られる。時間軸制御部７１は、これらの時点情報を受けて、時点ｔ０で第１区間ｐ０の動画データの再生開始を行うと共に、特定時点ｔ１で特定区間ｐ１の動画データの再生を開始することができるように、動画再生部７３を制御する。そして、動画再生部７３は、時点ｔ０〜ｔ１間における動画データの読出し速度を演算し、演算された読出し速度で、時点ｔ０から第１区間ｐ０の動画データの再生を開始する。
【００６６】
また、ＣＰＵ１は、音楽データの再生を開始すべき時点ｔ０ｍを検出し、ＭＩＤＩ機器１６に対して再生開始を指示する。ＭＩＤＩ機器１６は再生開始の指示に応じて、音楽データの再生を開始するとともに、テンポクロック信号をＭＩＤＩインターフェース（Ｉ／Ｆ）８を介してＣＰＵ１に供給する。ＣＰＵ１は、供給されるテンポクロック信号に基づいて、時間軸制御部７１における基準時刻を補正する。ここで、「基準時刻」とは、例えば、時点ｔ０，ｔ１，ｔ２，…のような時点を検出するための基準となるタイミングを表わすものである。すなわち、「基準時刻」は、時点ｔ０ｍで音楽演奏が開始されるより前から計測されているが、音楽演奏が始まったら、それ以降は、音楽演奏と同期して計測される。
【００６７】
これによって、特定時点ｔ１において、特定区間ｐ１の動画データが、予めこれに対応するようにセットされた特定区間ｎ１の音楽データの再生に同期して再生される。つまり、動画データの読出しは、固定されない（Ｆｒｅｅ）再生開始点ｔ０から特定時点ｔ１までの間、速度が調整される。また、特定時点ｔ１以降は、予め定められた動画データ自体の読出し速度に基づいて再生が行われ、従って、動画データ再生の終了時点ｔ２は、図示のように、音楽演奏の終了時点ｔ２ｍとは必ずしも一致しない。なお、区間ｐ０についても、前記動画データ自体の読出し速度で再生するようにしてもよい。このように、この実施例では、特定位置（ｐ１）の音楽データが再生される時点ｔ１で、特定位置（ｎ１）の動画データが再生されるように、動画データの再生タイミングを制御している。
【００６８】
なお、図５では特定時点ｔ１を１点としたが、動画及び音楽の進行途中の対応位置を複数セットしておき、セットされた各位置の動画データ及び音楽データの各再生が２以上の複数時点で一致するようにしてもよい。この場合は、動画再生の開始から特定時点まで及び特定時点間における動画再生の時間軸（速度）が制御される。また、この実施例では、ＣＰＵ１からの再生指示に応じてＭＩＤＩ機器１６が再生を開始した後、ＭＩＤＩ機器１６自体がテンポクロック信号を発生するものとして説明を行ったが、ＭＩＤＩ機器１６の代わりにＣＰＵ１がテンポクロック信号を発生し、ＭＩＤＩ機器１６は、ＣＰＵ１から供給されるテンポクロック信号に基づいて音楽データを再生するようにしてもよい。その場合、ＣＰＵ１は、時間軸制御部７における基準時刻と、ＭＩＤＩ機器で再生される（音楽データに配置された）テンポ情報とに基づいて、発生するテンポクロック信号の周期を制御する。
【００６９】
図６は、動画データ中の任意位置及び再生終了位置の動画情報を音楽データ中の任意位置及び演奏終了位置の演奏情報に対応付けたセット（ＴＳ）を用いた場合の時間軸変換例を示している。この時間軸変換は、動画及び音楽の進行途中の１点（複数点でもよい）及び終了位置を互いに一致させる演出効果にとって好適である。この例では、最上段及び第２段間に示されるように、動画データにおける或る特定の区間ｐ１（の開始点）を、音楽データの或る特定の区間ｎ１（の開始点）に対応するようにセットしておく（“ＳＥＴ”）と共に、動画データの再生終了（最終区間ｐ２の終了）位置を音楽データの再生終了（最終区間ｎ２の終了）位置に対応するようにセットしておき（“ＳＥＴ”＆“ＦＩＸ”）、両データの開始位置の区間ｐ０，ｎ０については、対応付けをしない（“Ｆｒｅｅ”）。
【００７０】
ここで、“ＳＥＴ”とは、動画データ中の任意位置を音楽データ中の任意位置に対して同期させるための設定をいう。また、“ＦＩＸ”は、動画データ中の任意位置及び音楽データ中の任意位置が、基準時刻スケール上の所定時点にそれぞれ再生されるように制御するための設定をいう。従って、“ＦＩＸ”の設定がなされた「任意位置」は、基準時刻スケール上の「所定時点」に固定される。例えば、動画データの或る区間乃至或る位置の再生時点が編集されても、“ＦＩＸ”設定された位置の動画データの再生時刻は、「所定時点」に固定されたままである（固定されたままとなるように調整される。）。なお、図６〜図８においては、“ＦＩＸ”で示される位置は、全て、“ＳＥＴ”の設定もなされている。
【００７１】
図６の場合も、動画データ及び音楽データは任意の開始時点ｔ０，ｔ０ｍで各再生がそれぞれ開始されるが、動画データは、開始時点ｔ０から再生が開始された後、特定区間ｐ１の動画データに対応するようにセットされた特定区間ｎ１の音楽データの再生が開始される特定時点ｔ１において、区間ｐ１の動画データの再生が開始されるように、動画再生の時間軸が制御される。次いで、特定時点ｔ１以降も、特定区間ｐ１の再生開始から最終区間ｐ２の再生終了までの動画データは、区間ｎ１〜ｎ２の音楽演奏に一致するように、再生の時間軸が制御される。
【００７２】
つまり、動画データ及び音楽データにおける第１区間ｐ０，ｎ０の各再生開始時点ｔ０，ｔ０ｍを表わす開始時点情報、特定区間ｐ１の動画データに対応するようにセットされた区間ｎ１の音楽データの再生が開始する特定時点ｔ１を表わす特定時点情報、及び、最終区間ｎ２の音楽データの再生が終了する終了時点ｔ２を表わす終了時点情報が、ＣＰＵ１から時間軸制御部７１に送られる。時間軸制御部７１は、これらの時点情報を受けて、時点ｔ０で第１区間ｐ０の動画データの再生開始を行うと共に、特定時点ｔ１で特定区間ｐ１の動画データの再生を開始し終了時点ｔ２で最終区間ｐ２の動画データの再生を終了することができるように、動画再生部７３を制御する。そして、動画再生部７３は、時点ｔ０〜ｔ１，ｔ１〜ｔ２間における動画データの第１及び第２読出し速度を演算し、演算された第１読出し速度で、第１区間ｐ０の動画データを時刻ｔ０から再生して行き、特定時点ｔ１以降は、演算された第２読出し速度で特定区間ｐ１から最終区間ｐ２までの動画データを順次再生していく。
【００７３】
これによって、特定時点ｔ１において、特定区間ｐ１の動画データが、予めこれに対応するようにセットされた特定区間ｎ１の音楽データの再生に同期して再生されるだけでなく、特定時点ｔ１以降も、最終区間ｐ２までの動画データが、対応する音楽データの再生に同期して再生される。従って、図示のように、同期設定されない（“Ｆｒｅｅ”）再生開始点ｔ０から特定時点ｔ１までと、特定時点ｔ１から同期設定された（“ＳＥＴ”）再生終了点ｔ２までとは、異なる態様で動画データの再生速度が調整される。
【００７４】
なお、図６では特定時点ｔ１を１点としたが、動画及び音楽の進行途中の対応位置を複数セットしておき、セットされた各位置の動画データ及び音楽データの各再生が２以上の複数時点で一致するようにしてもよい。また、図６では終了時点ｔ２を一致させたが、変形例として、終了時点ｔ２を一致させず（各終了位置を“ＳＥＴ”せず“Ｆｒｅｅ”とする）、動画データの再生開始位置ｔ０を音楽データの再生開始時点ｔ０ｍに一致させる（各開始位置を“ＳＥＴ”）ようにして、共通の開始時点ｔ０から特定時点ｔ１までについてのみ動画再生及び音楽演奏を同期させるようにしてもよい。
【００７５】
図７は、動画データ中の再生開始位置、途中の任意位置及び再生終了位置の動画情報を、音楽データ中の任意位置及び演奏終了位置の演奏情報に対応付けたセット（ＴＳ）を用いた場合の時間軸変換例を示している。この時間軸変換は、動画及び音楽の開始・終了位置及び進行途中の１点（複数点でもよい）を互いに一致させる演出効果、特に、動画データをループ再生で音楽データに合わせて繰り返し再生する演出効果にとって好適である。この例では、最上段及び第２段間に示されるように、動画データの再生開始（第１区間ｐ０の開始）及び再生終了（最終区間ｐ２の終了）位置を、それぞれ、音楽データの再生開始（第１区間ｎ０の開始）及び再生終了（最終区間ｐ２の終了）位置に対応するようにセットしておく（“ＳＥＴ”＆“ＦＩＸ”）と共に、動画データにおける或る特定の区間ｐ１（の開始点）を音楽データの或る特定の区間ｎ１（の開始点）に対応するようにセットしておく（“ＳＥＴ”）。
【００７６】
この場合は、所定の開始時点ｔ０において、互いに対応するようにセットされた第１区間ｐ０，ｎ０の動画及び音楽データの各再生それぞれが開始され、特定区間ｐ１の動画データに対応するようにセットされた特定区間ｎ１の音楽データの再生が開始される特定時点ｔ１において、特定区間ｐ１の動画データの再生が開始されるように、動画データの再生のための時間軸が制御される。次いで、特定時点ｔ１以降も、特定区間ｐ１の再生開始から最終区間ｐ２の再生終了までの動画データが、区間ｎ１〜ｎ２の音楽演奏に一致するように、動画データの再生のための時間軸が制御される。
【００７７】
つまり、動画及び音楽データにおける第１及び最終区間ｐ０，ｎ０；ｐ２，ｎ２の各再生開始時点ｔ０，ｔ２を表わす開始・終了時点情報、及び、特定区間ｐ１の動画データに対応するようにセットされた区間ｎ１の音楽データの再生が開始する特定時点ｔ１を表わす特定時点情報が、ＣＰＵ１から時間軸制御部７１に送られる。時間軸制御部７１は、これらの時点情報を受けて、時点ｔ０で第１区間ｐ０の動画データの再生を開始し、特定時点ｔ１で特定区間ｐ１の動画データの再生を開始し、終了時点ｔ２で最終区間ｐ２の動画データの再生を終了することができるように、動画再生部７３を制御する。そして、動画再生部７３は、時点ｔ０〜ｔ１，ｔ１〜ｔ２間における動画データの第１及び第２読出し速度を演算し、演算された第１読出し速度で、第１区間ｐ０の動画データを時点ｔ０から再生して行き、特定時点ｔ１以降は、演算された第２読出し速度で特定区間ｐ１から最終区間ｐ２までの動画データを順次再生していく。
【００７８】
これによって、開始及び終了時点ｔ０，ｔ２において、第１及び最終区間ｐ０，ｐ２の動画データの再生が、第１及び最終区間ｎ０，ｎ２の音楽演奏の開始及び終了に一致して開始及び終了される。また、特定時点ｔ１において、特定区間ｐ１の動画データが、予めこれに対応するようにセットされた特定区間ｎ１の音楽データの再生に同期して再生される。図示の例では、固定された（“ＳＥＴ”＆“ＦＩＸ”された）再生開始点ｔ０から特定時点ｔ１まではテンポ及び再生速度が速くくなり、特定時点ｔ１以降はテンポ及び再生速度が遅くなっている。
【００７９】
なお、図７では特定時点ｔ１を１点としたが、動画及び音楽の進行途中の対応位置を複数セットしておき、セットされた各位置の動画データ及び音楽データの再生及び演奏が２以上の複数時点で一致するようにしてもよい。
【００８０】
図８及び図９は、図６の説明で示した変形例又は図７の例を一般化したものであり、動画データの再生開始位置及び動画データ途中の任意の複数位置の動画情報を、それぞれ、音楽データの再生開始位置及び音楽データ途中の任意の複数位置の演奏情報に対応付けたセット（ＴＳ）を用いた場合の時間軸変換例を示している。この時間軸変換は、動画及び音楽の開始位置から進行途中の複数点を互いに一致させる演出効果にとって好適である。図８の最上段は、単に音楽データを楽譜を用いて示すものであり、第２段の音楽データと厳密に対応させたものではない。
【００８１】
図８の例では、第２段及び第３段間に示されるように、少なくとも、動画データの再生開始（第１区間ｐ０の開始）位置を音楽データの再生開始（第１区間ｎ０の開始）位置に対応するようにセットしておく（“ＳＥＴ”＆“ＦＩＸ”）と共に、動画データにおける或る特定の複数の区間ｐ１，ｐ２，ｐ３，ｐ４，…（の開始点）を音楽データの或る特定の区間ｎ１，ｎ２，ｎ３，ｎ４，…（の開始点）に対応するようにセットしておく（“ＳＥＴ”）。
【００８２】
この場合、所定の開始時点ｔ０において、互いに対応するようにセットされた第１区間ｐ０，ｎ０の動画及び音楽データの各再生がそれぞれ開始され、特定区間ｐ１の動画データに対応するようにセットされた特定区間ｎ１の音楽データの再生が開始される特定時点ｔ１において、特定区間ｐ１の動画データ情報の再生が開始されるように、動画データの再生のための時間軸が制御される。次いで、特定時点ｔ１以降も、特定区間ｐ１，ｐ２，ｐ３，ｐ４，…の動画データが、特定区間ｎ１，ｎ２，ｎ３，ｎ４，…の音楽データに一致するように、動画データの再生のための時間軸が制御される。
【００８３】
図９には、動画再生時間軸を制御するために、時間経過に従って、時間経過に従って専用ＲＡＭ７０から読み出される動画データの記録位置（フレーム）を演算する方法が概略的に示されている。動画及び音楽データにおける第１区間ｐ０，ｎ０の再生及び演奏開始時点ｔ０を表わす開始時点情報、及び、特定区間ｐ１，ｐ２，ｐ３，ｐ４，…の動画データに対応するようにセットされた区間ｎ１，ｎ２，ｎ３，ｎ４，…の音楽データの再生が開始する特定時点ｔ１，ｔ２，ｔ３，ｔ４，…を表わす特定時点情報が、ＣＰＵ１から時間軸制御部７１に送られる。
【００８４】
時間軸制御部７１は、これらの時点情報を受けて、時点ｔ０で第１区間ｐ０の動画データの再生を開始し、特定時点ｔ１，ｔ２，ｔ３，ｔ４，…で特定区間ｐ１，ｐ２，ｐ３，ｐ４，…の動画データの再生を順次開始することができるように、動画再生部７３を制御する。動画再生部７３は、時点ｔ０〜ｔ１，ｔ１〜ｔ２，ｔ２〜ｔ３，ｔ３〜ｔ４，…間における動画データの読出し速度を演算する。演算される読出し速度は、図９において、時点ｔ０〜ｔ１，ｔ１〜ｔ２，ｔ２〜ｔ３，ｔ３〜ｔ４，…における各線分の勾配で示される。そして、演算された各読出し速度で、時点ｔ０〜ｔ１，ｔ１〜ｔ２，ｔ２〜ｔ３，ｔ３〜ｔ４，…間の対応する動画データを順次再生していく。
【００８５】
これによって、開始時点ｔ０において、第１区間ｐ０の動画データの再生が、第１区間ｎ０の音楽演奏の開始に一致して開始され、特定時点ｔ１，ｔ２，ｔ３，ｔ４，…において、特定区間ｐ１，ｐ２，ｐ３，ｐ４，…の動画データが、予めこれに対応するようにセットされた特定区間ｎ１，ｎ２，ｎ３，ｎ４，…の音楽データの再生に同期して再生される。
【００８６】
つまり、図８の動画時間軸変換例に示されるように、音楽データに対して、多数のフレームから成る動画データが専用ＲＡＭ７０に記憶されている。そして、ユーザが、データの複数のポイントが同期するように指定すると、各ポイント間の読出し位置は自動的に補間演算されて、動画データを緩急（“ノーマル”、“緩”、“急”）を伴って再生する。従って、例えば、楽譜（図８上段）上の強拍音符がある位置を音楽演奏の特定位置に選定し、これらの演奏位置に刺激的な特定の動画フレーム（赤色光、青色光、黄色光などの刺激的な映像画面）をそれぞれ対応させるように設定すると、特定の音符に関する音が発生されたときに、特定の動画フレームが対応して現れるので、音と動画がリンクしてコンサート会場やクラブイベントなどの聴衆に対して効果的な演出が得られる。
【００８７】
〔第３再生モード〕
この動画時間軸制御指示システムでは、操作子装置１２中のモードスイッチＭ１，Ｍ２を操作したとき（図２参照）、動画処理回路７を第３再生モードで動作させることができる。第３再生モードにおいては、音楽演奏に伴う動画再生に際し、ＣＰＵ１は、予め設定された特定音楽演奏タイミング−特定動画再生タイミングのセット（ＴＳ）に加えて、リボンコントローラのようなリアルタイム操作子の操作に応じたテンポ変更情報（ＴＭ）を時間軸制御部７１に送る。
【００８８】
時間軸制御部７１は、この特定タイミングセットに基づいて、動画データの特定再生タイミングが、対応する音楽演奏の演奏タイミングに一致するように、しかも、リボンコントローラのようなリアルタイム操作子の操作に応じて再生速度が変化するように、動画再生部７３に対して指令する動画再生速度を調整して、この速度で動画データの再生を行うように動画再生部７３に指示を与える。そして、動画再生部７３は、指示された動画再生速度で専用ＲＡＭ７０からサンプリング動画データを読み出して動画再生を行う。
【００８９】
この第３再生モードでは、第２再生モードにおけるように、特定区間の動画データを特定区間の音楽データに一致させるだけでなく、リアルタイム操作子の操作に応じて動画再生及び音楽演奏の速度を可変に制御するので、多彩な演出効果を得ることができる。
【００９０】
〔種々の実施態様〕
以上、この発明による動画時間軸指示処理について具体的な実施例に従って説明してきたが、実施態様は例示したものに限らない。例えば、実施例においては、入力する動画はＶＴＲ（ビデオテープレコーダ）からとしたが、これに限らず、ＬＤプレイヤー、ＤＶＤプレイヤー、ＰＣ（パーソナルコンピュータ）からのビデオ出力など、動画を再生可能な装置であれば、その種類は問わない。
【００９１】
実施例では、出力装置を、比較的大きな映像ディスプレイとしたが、ＣＲＴ、ＬＣＤ等、その種類やサイズは問わない。また、ユーザ（操作者）の手元でのモニタ用と聴衆への表示用など、複数の出力装置を接続できるようにしても良い。
【００９２】
実施例では、本体システム及び動画処理システム自体に内蔵の操作子によって時間軸制御信号を変化させて動画の再生速度を制御していたが、外部制御装置からの時間軸制御信号によって動画の再生速度を制御しても良く、そのための外部制御信号入力手段を持っていても良い。具体的には、ＰＣ内の動画制御ソフトウェア上で再生速度の緩急を数値指示による折れ線で表わしたり、マウスやタブレットなどの外部ポインティングデバイスを用いた手書き入力曲線などで表わした出力値を使って、動画の再生速度を変化させるものでも良い。
【００９３】
実施例では、動画データの読出しを、固定（“ＦＩＸ”）した再生開始又は終了点（端）に基づいて自動補正したが、再生開始又は終了点（端）を“ＦＩＸ”するか“Ｆｒｅｅ”にするか、または、余分な部分をカットするか足りない部分を補ったりするかは、必要に応じて任意に採用することができる。
【００９４】
実施例では、動画はフレームとして扱えるものとして説明したが、それに限らず、ＰＣのＣＧ（Computer Graphics ）ソフトウエアなどによる計算で求まる値によって出力される動画でも構わない。
【００９５】
実施例では、１つの音楽データの再生に同期して１つの動画データを再生する例を示しているが、複数の動画データがそれぞれ個別に選定された時点で同期再生されるようにしてもよい。
【００９６】
実施例では、動画データの再生を制御するのにＭＭＣのコマンドを用いたが、その代わりに、ＭＩＤＩショー・コントロール（ＭＳＣ）のコマンドを用いてもよい。その場合、ＭＳＣのゴー（“ＧＯ”）命令に基づき、当該ゴー命令に含まれるキュー（“ＱＵＥ”）番号に応じて動画データを選択し再生開始するようにすればよい。
【００９７】
音楽データの特定再生タイミングは、演奏時間軸上の時刻で指定してもよいし、テンポクロック数や、小節数、拍等で指定してもよい。また、動画データの特定再生タイミングは、再生時間軸上の時刻で指定してもよいし、動画のフレーム番号などで指定してもよい。
【００９８】
実施例では、テンポ情報の配置された音楽データに関して、動画データ中の任意位置を対応付け（ＳＥＴ）するように説明したが、先に対応付け（ＳＥＴ）を行った後で、音楽データの任意の時点にテンポ情報を配置するようにしてもよい。このようにすると、音楽データのテンポを編集しても、動画データはテンポ編集後の音楽データに同期して再生されるので、ユーザは、動画との同期ずれを気にせず、音楽データのテンポを自由に編集することができる。
【００９９】
図７や図８では、この発明の適用の結果、動画データと音楽データのテンポが全体を通して同期されるように描かれているが、ここまで完全に同期させることは必ずしも必要ではない。動画データの所望の一部と音楽データの所望の一部を同期させることができればよい。
【０１００】
なお、音楽データの処理方法は、設定されたテンポ指示情報に応じて処理周期を変更する方法、処理周期は一定で、音楽データ中のタイミングデータの値を設定されたテンポ指示情報に応じて変更する方法、処理周期は一定で、１回の処理において音楽データ中のタイミングデータの計数の仕方をテンポ指示情報に応じて変更する方法等、どのようなものであってもよい。
【０１０１】
【発明の効果】
以上説明したように、この発明によれば、音楽データ及び動画データの対応箇所の再生タイミングの一致を指定するタイミングセット情報に基づいて、動画データメモリに記憶されている動画データの読出しタイミングを制御し、音楽データ再生タイミングに一致したタイミングで動画データを再生するようにしているので、音楽のテンポ変化に拘わらず、所望の動画フレーム部分を所望部分の音楽演奏に同期させて再生することができ、例えば、音楽のアクセント部分と動画の或るフレーム部分との同期をリアルタイム作業の中で簡単に行うことができる。また、動画のつなぎ目部分を破綻させないようにしながら動画を再生することができるので、ループ再生用の動画素材をも使用することができる。従って、演奏及び再生現場でのバリエーションの幅を広げることができる。
【０１０２】
この発明によれば、さらに、再生制御によって読み出された動画データと別途入力した動画データ（例えば、映像再生器からの動画データ）とを合成して表示装置に出力するようにしているので、映像演出効果を更に高めた動画を出力することができる。
【０１０３】
また、この発明によれば、予め、動画情報の読出しタイミングについて複数の特定再生タイミングを指定し、楽音情報の演奏タイミングについて複数の特定演奏タイミングを指定して、特定再生タイミング及び特定演奏タイミングをセットしておき、動画の再生に当っては、セットされた特定再生タイミング及び特定演奏タイミングに基づいて、各特定再生タイミングが各特定演奏タイミングに対応するように調整し、また、各特定再生タイミング間における複数の中間再生タイミングを演算して、これらの調整された特定再生タイミング及び演算された中間再生タイミングで、動画記憶手段から動画情報を読み出し表示装置に出力するようにしているので、上述と同様に、演奏される音楽のテンポ変化に拘わらず、所望の動画フレーム部分を所望部分の音楽演奏に同期させて再生することができ、また、動画のつなぎ目部分を破綻させないようにしながら動画を再生することができるため、ループ再生用の動画素材をも使用することができ、さらに、演奏及び再生現場でのバリエーションの幅を広げることができる。
【図面の簡単な説明】
【図１】図１は、この発明の一実施例による動画再生制御システム（動画時間軸制御指示システム）のハードウエア構成を示すブロック図である。
【図２】図２は、この発明の一実施例による動画時間軸制御指示システムの動画処理機能部のブロック図である。
【図３】図３は、この発明の一実施例による動画時間軸制御指示システムの第１実施形態においてテンポ指示情報により動画再生速度を変化させて動画時間軸制御を行う場合（第０再生モード）の一例を示す図である。
【図４】図４は、この発明の一実施例による動画時間軸制御指示システムの第１実施形態においてリボンコントローラ操作により動画再生速度を変化させて動画時間軸制御を行う場合（第１再生モード）の一例を示す図である。
【図５】図５は、この発明の一実施例による動画時間軸制御指示システムの第２実施形態（第２再生モード）において１点をセットする場合の動画時間軸制御例〔１〕を示す図である。
【図６】図６は、この発明の一実施例による動画時間軸制御指示システムの第２実施形態（第２再生モード）において終点を含む２点をセットする場合の動画時間軸制御例〔２〕を示す図である。
【図７】図７は、この発明の一実施例による動画時間軸制御指示システムの第２実施形態（第２再生モード）において始終点を含む３点をセットする場合の動画時間軸制御例〔３〕を示す図である。
【図８】図８は、この発明の一実施例による動画時間軸制御指示システムの第２実施形態（第２再生モード）の一般的な動画時間軸制御例〔４〕を示す図である。
【図９】図９は、第２実施形態（第２再生モード）の動画時間軸制御例〔４〕における動画再生速度の演算を説明するための図である。
【符号の説明】
ＴＣ 音楽データのテンポ指示を検出するテンポ指示検出機構、
ＴＭ 音楽テンポの変更操作を検出するテンポ変更検出機構、
ＴＳ 特定の再生及び演奏タイミングのセット機構、
ｐ０，ｐ１，ｐ２，ｐ３，ｐ４ 動画データにおける区間（フレーム）番号、
ｔ０，ｔ１，ｔ２，ｔ３，ｔ４ 各区間（フレーム）の読出しタイミング、
ｔ０ｍ，ｔ２ｍ 音楽データの読出し開始及び終了タイミング、
ｎ０，ｎ１，ｎ２，ｎ３，ｎ４ 音楽データにおける区間（小節、拍又はチック）番号。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image reproducing apparatus and a moving image reproducing method capable of reproducing and displaying a moving image in accordance with music by controlling a time axis for reproducing the moving image.
[0002]
[Prior art]
Conventionally, a device for reproducing a moving image and a device for playing music according to the tempo have existed. There are also devices that can easily change the playback speed, such as video decks, that simply double the size or reduce the size by half when playing a video. It was.
[0003]
However, the conventional apparatus cannot match the music tempo with the moving image playback timing. Also, even if you can synchronize the music tempo and video playback timing at the start and match only the head, if you increase the tempo in the middle of the song, the video frame will be extra, and if it is slower, the frame will be sufficient. There was inconvenience such as disappearing. Furthermore, it has been difficult to make a moving image material for loop playback follow a variable tempo.
[0004]
[Problems to be solved by the invention]
In view of the above-described problems of the conventional technology, the present invention provides a moving image playback apparatus and a moving image playback capable of playing back and displaying a moving image in accordance with music to be played, with the time axis being variably controlled even during the playback of the moving image. It aims to provide a method.
[0005]
[Means for Solving the Problems]
According to the first aspect of the present invention, a moving image reproducing device and a moving image reproducing device for reproducing a series of moving image data representing a moving image stored in the moving image data memory (70) and displaying the moving image on the display device (15). In the method, timing set information (TS) for designating coincidence of reproduction timing between at least two music data in a series of music data and at least two video data in the series of video data by a timing designation function. ) And the reproduction control function (71, 73) matches the reproduction timing of at least two moving image data with the reproduction timing of at least two music data based on the output timing set information (TS). As described above, the read timing and read speed of the moving image data stored in the moving image data memory (70) And your, and to output the read video data to the display device (15) [Claim 1,4]. In addition, the code | symbol of a parenthesis is written together with the reference symbol of the corresponding Example, or the number of a claim for the convenience of an understanding, and it is the same also in the following.
[0006]
In this case, the timing set information (TS) represents a specific performance timing in the music data, for example, corresponding to a specific frame of the moving image data. In other words, it represents a specific frame of the moving image data in correspondence with a specific performance timing in the music data. And this specific performance timing is represented using the absolute time after a performance start, a bar, a beat, or the number of ticks. As the music data, performance data for automatically playing the melody, rhythm, accompaniment, etc. of the music arranged over time can be used.
[0007]
Therefore, according to the present invention, it is possible to reproduce a desired moving image frame in synchronization with a music performance of a desired portion, regardless of a change in music tempo. Further, since the moving image can be reproduced while preventing the joint portion of the moving image from failing, the moving image material for loop reproduction can also be used. Therefore, for example, synchronization of a music accent portion and a certain frame of a moving image can be easily performed in real-time work, so that the range of variations in performance and playback can be further expanded.
[0008]
In particular, when a video is played in a loop for VJ (VisuaI Jockey), it is possible to handle any tempo using your favorite loop material without having to prepare several video materials to match the tempo. become. Therefore, the relationship between DJ (Disc Jockey) & VJ, which is difficult to make a prior meeting and editing, can be dealt with flexibly on the VJ side at the performance and playback site.
[0009]
In the present invention, the moving image data read out by the reproduction control and the separately input moving image data can be combined and output to the display device (15). In this case, as moving image data to be input separately, for example, moving image data from the video player (14) can be used. Therefore, according to the present invention, it is possible to output a moving image with a further enhanced video effect.
[0010]
According to the second feature of the present invention, moving picture information is stored in the moving picture storage means (70) in advance, a plurality of specific reproduction timings are specified for the reading timing of the moving picture information, and a plurality of performance timings of the musical sound information are designated. When the specific playback timing and the specific performance timing are set, the specific playback timing and the specific performance timing are set (TS), and the playback of the moving image is started, the playback timing adjustment function (71) sets the specific playback timing and the specific performance timing. The specific reproduction timing is adjusted so as to correspond to each specific performance timing, and a plurality of intermediate reproduction timings between the specific reproduction timings are calculated, and the specific reproduction adjusted by the moving image reading function (73) is calculated. In the timing and the calculated intermediate playback timing, the moving image storage means (70) Reads moving image information, video output function by (74), display a moving image information read (15) and to output the [Claim 3,6].
[0011]
Therefore, according to the present invention, the timing of specific points of music and moving images is matched, and the desired moving image frame is changed to the desired portion regardless of the tempo change of the music to be played, as in the first feature. It can be played back in synchronization with the music performance, and since the moving picture can be played back without breaking the joint portion of the moving picture, the moving picture material for loop playback can also be used.
[0012]
In the present invention, it is possible to further comprise a moving picture composition function for synthesizing separately inputted moving picture information and moving picture information read from the moving picture storage means by the moving picture reading means. Similarly, it is possible to output a moving image that further enhances the video effect.
[0013]
[Various features]
In addition, the problem mentioned above
The following [1] to [3] can be configured according to other features relating to the implementation of various inventions described in this specification corresponding to the (object).
[1] In a moving image reproducing apparatus and moving image reproducing method for reproducing moving image data representing a moving image stored in the moving image data memory (70) and displaying the moving image on the display device (15), an input function (TC) is used. During the reproduction of the moving image data, tempo information relating to the music performance tempo is input, and the moving image stored in the moving image data memory (70) at a reading speed according to the input tempo information by the reproduction control function (71, 73). Reading data and outputting it to the display device (15). According to this, the playback time of a moving image in a certain section (for example, represented by the number of frames) is set to the length of the corresponding section (for example, represented by bars, beats, ticks, etc.) in the music being played. The playback time axis of the moving image is controlled according to the music performance tempo so as to follow. Therefore, even if the performance tempo of the music played during the reproduction of the moving image changes, it becomes possible to reproduce the moving image in accordance with the performance tempo.
[0014]
In [1], the following configuration can be further adopted:
(A) The video data playback control function (71, 73) includes a control signal generation function for generating a playback speed control signal for controlling the playback speed of the video data according to the input tempo information, and a video data memory ( 70) A moving image data reading function for reading the moving image data stored in 70) at a reading rate that is changed by a reproduction speed control signal generated by a reading time per unit data and outputting the same to the display device (15). This reproduction speed control signal is, for example, time axis control information for controlling a time axis in reproducing moving image data.
(B) Employing a tempo clock signal representing the music performance tempo or a time code (TC) representing the reproduction time of the music data as the tempo information. As these tempo clock signals and time codes, those defined by the MIDI standard can be used.
(C) Furthermore, an operation element (TM) for operating the user to indicate the music performance tempo is provided, and the operation position of the operation element is used as tempo information. In this case, the operation element (TM) may be configured by a one-dimensional displacement such as a straight line or a circle, and the one-dimensional position of the operation element may be detected and the detected position may be used as tempo information. The tempo information representing the performance tempo of the music represents, for example, the reproduction speed of performance data for automatically playing the melody, rhythm, accompaniment, etc. of the music arranged over time.
[0015]
[2] In a moving image reproducing apparatus and moving image reproducing method for reproducing a series of moving image data representing a moving image stored in the moving image data memory (70) and displaying the moving image on the display device (15), a timing designation function ( TS) outputs timing set information (TS) for designating the coincidence of reproduction timing between at least one music data in the series of music data and at least one video data in the series of video data. Based on the output timing set information (TS) by the reproduction control function (71, 73), the moving image is set so that the reproduction timing of at least one moving image data coincides with the reproduction timing of at least one music data. The moving image data read out by controlling the reading timing of the moving image data stored in the data memory (70). Outputting to the display device (15). According to this, it is possible to reproduce a desired moving image frame in synchronization with the music performance of the desired portion regardless of a change in the tempo of the music. For example, the real time synchronization between the accent portion of the music and a certain frame of the moving image is possible. Can be done easily in the work.
[0016]
[3] In these [1] and [2], the combining function (74) combines the moving image data read out by the reproduction control function (71, 73) and the separately input moving image data to display the display device ( Output to 15). In this case, as moving image data to be input separately, for example, moving image data from the video player (14) can be used. According to this, it is possible to output a moving image that further enhances the video effect.
[0017]
Furthermore, from another point of view, the following (1) and (2) can also be configured.
(1) Movie storage means for storing movie information, control input means for inputting a variable time axis control signal during playback of the movie, and movie playback speed control for controlling the playback speed of the movie in accordance with the time axis control signal A moving picture reading means for reading and outputting moving picture information from the moving picture storage means by expanding and contracting a reading time per information unit according to a reproduction speed, and a moving picture output means for outputting the read moving picture information to a display device Time axis control instruction device. In this video time axis control instruction device, the control input means inputs a tempo clock as a time axis control signal, and the video playback speed control means controls the video playback speed according to the tempo clock, or the control The input means can input a time code as a time axis control signal, and the moving picture playback speed control means can be configured to control the playback speed of the moving picture according to the time code. Further, an operation element for instructing the speed of reproduction of the moving image and a detection means for detecting the operation of the operation element are provided, and the control input means inputs a time axis control signal based on the detected operation of the operation element. Can be configured. In this case, the operation element is preferably a one-dimensional position detection type operation element.
[0018]
(2) The moving image time axis control instruction device of (1) described above further includes moving image combining means for combining moving image information input separately and moving image information read from the moving image storage means by the moving image reading means. Video time axis control instruction device.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. The following embodiments are merely examples, and various modifications can be made without departing from the spirit of the present invention.
[0020]
[Hardware configuration]
FIG. 1 shows a block diagram of a hardware configuration of a moving image reproduction control system (also referred to as “moving image time axis control instruction system”) according to an embodiment of the present invention. In this system example, a configuration is employed in which various processes including a moving image time axis control instruction are performed using a personal computer (PC). The system includes a central processing unit (CPU) 1, a read-only memory (ROM) 2, a main body side random access memory (main body RAM) 3, an external storage device 4, a detection circuit 5, a display circuit 6, etc. In addition, a moving image processing circuit 7, a MIDI interface (MIDII / F) 8, a communication interface (communication I / F) 9, and the like are provided, and these devices 1 to 9 are connected to each other via a bus 10.
[0021]
The CPU 1 that controls the entire system performs various controls using time measurement by the timer 11 in accordance with a predetermined software program, and particularly manages processing such as a moving image time axis control instruction to be described later. The ROM 2 stores a predetermined control program for controlling this system. These control programs include basic information processing, a program for managing processing such as a moving picture time axis control instruction according to the present invention, various tables, various data, and the like. The main body RAM 3 functions as a temporary storage unit that stores data and parameters necessary for various processes.
[0022]
In addition to the hard disk (HD), the external storage device 4 includes a compact disk read only memory (CD-ROM), a flexible disk (FD), a magneto-optical (MO) disk, a digital multipurpose disk (DVD), ZIP, It consists of a device using a portable storage medium such as a semiconductor memory, and can store various control programs and various data. Therefore, programs and various data necessary for moving image time axis control instructions and the like are read not only in the ROM 2 but also from the external storage device 4 into the RAM 4 as necessary, and the processing results are recorded in the external storage device 4. obtain.
[0023]
A panel operating device 12 is connected to the detection circuit 5, and the panel operating device 12 includes various switches, keys, and other types of operating devices. These operators are also referred to as panel operators, and are used by a user to input various settings such as a moving image playback mode and instruction information to the system for processing such as a moving image time axis control instruction. For example, the mode switches (M1, M2) are provided for switching the playback mode of moving images, and the ribbon controller (linear operation type pad operator for detecting a one-dimensional position where the operation finger is in contact) is used for music and moving images. It is provided as a real-time operator for operating the traveling speed of the camera in real time.
[0024]
The display circuit 6 controls the display state of the main body display 13 constituted by an LCD or the like and various indicators. In relation to the display state of the main body display 13, the user operates the operator of the panel operator device 13, and settings and instructions relating to the moving image time axis control instruction are performed. And the main body system (or main body PC) is comprised by these elements 1-6, 10-13 mentioned above.
[0025]
The moving image processing circuit 7 has a dedicated RAM. Connected to the moving image processing circuit 7 are a video player 14 such as a VTR or a video disk player, and a video display 15 having a relatively large screen such as a CRT or projector. The moving image processing circuit 7 processes the video signal (moving image signal) from the image reproducing device 14 to reproduce moving image information at a predetermined reproduction speed, and displays an image based on the moving image information on the image display 15. These moving image processing circuit 7, video player 14 and video display 15 constitute a moving image playback system.
[0026]
Note that an A / D converter is built in the input portion of the moving image processing circuit 7, and an analog video signal output from the video reproducer 14 is converted into a digital video signal (moving image) at this input portion. Information). In the moving image processing circuit 7, various processes are performed on the converted digital moving image information. In addition, a D / A converter is built in the output unit of the moving image processing circuit 7, and the moving image information in the digital format processed by the moving image processing circuit 7 is converted into a video signal in the analog format to be displayed on the video display 15. Is output.
[0027]
Connected to the MIDI interface (I / F) 8 is a MIDI device 16 including a sequencer for generating music data and a personal computer (PC). A tone signal generator 17 is connected to the MIDI device 16. The sound source circuit 17 forms a tone signal based on the input music data and outputs it. A sound system 18 including a digital signal processor (DSP) and a speaker is connected to the sound source circuit 17.
[0028]
The sound system 18 applies various musical effects to the input musical sound signal and generates musical sounds corresponding to the musical sound signal to which the musical effect is applied. In addition to its own music data (music information), the MIDI device 16 can also output, for example, music data (music information) stored in the ROM 2 or the external storage device 4 to the sound source circuit 17. Therefore, a sound corresponding to a music signal based on music data stored in the ROM 2 or the external storage device 4 is also generated from the sound system 18.
[0029]
Here, the music data is, for example, automatic performance data in a standard MIDI file (SMF) format, and the MIDI device 16 reproduces the automatic performance data. When playing back music data (automatic performance data), the playback tempo is controlled in accordance with a time code accompanying the music data, a tempo clock (MIDI clock) command, or an instruction from the real-time controller (12). . The MIDI device 16, the sound source 17, and the sound system 18 constitute a music performance system.
[0030]
The time code is a timing signal periodically given with reference to the absolute time from the start of reproduction of automatic performance data. This time code is time information indicating the time from the start of reproduction of automatic performance data. (Hours, minutes, seconds). The tempo clock is a timing signal that is periodically given at time intervals corresponding to the tempo of music, and is given, for example, every 1/24 time length corresponding to a quarter note.
[0031]
The communication interface (I / F) 9 is communicably connected to a server computer 20 or the like via a communication network 19 such as a local area network (LAN), the Internet, or a telephone line. Accordingly, various data such as a control program and music data can be downloaded from the server computer 16 or the like to the external storage device 4.
[0032]
1 describes the system using the main body PC, but the main body system and the music performance system use an information processing apparatus such as an electronic musical instrument or an automatic performance apparatus having an equivalent processing function, and a moving image is used for this. A video playback control system (video time axis control instruction system) may be configured by connecting a playback system.
[0033]
[Video playback system]
FIG. 2 shows a block diagram of a moving image processing function unit (moving image reproduction system) in the moving image time axis control instruction system according to one embodiment of the present invention. The moving image processing circuit 7 includes a time axis control unit 71, a moving image recording unit (video sampler) 72, a moving image reproduction unit 73, and a video composition unit 74 in addition to a dedicated RAM 70 dedicated for moving image processing.
[0034]
Here, the outline of the moving image reproduction control system (moving image time axis control instruction system) according to the embodiment of the present invention will be briefly described with reference to FIG. In this moving image reproduction control system, when reading moving image data (moving image information) stored in advance in the moving image data memory (dedicated RAM) 70, the time axis for reproducing the moving image data is variably controlled. In a certain mode M1, during reproduction of moving image data, the CPU 1 supplies a time axis control signal corresponding to the tempo of the performance music from the tempo detection mechanisms TC and TM to the time axis control unit 71. The time axis control unit 71 adjusts (controls) the reproduction speed according to the time axis control signal, and the moving image reproduction unit 73 expands and decreases the read time per unit data according to the adjusted reproduction speed, and stores the moving image data in the data memory. The data is read from 70 and output to a display device (display) 15. In another mode M2, a specific music performance timing is set (TS) at a specific frame playback timing of the video data, and the video data playback control system including the CPU 1, the time axis control unit 71 and the video playback unit 73 Based on the timing set information TS, moving image data of a specific frame is read from the data memory 70 at a reproduction timing that matches each performance timing, and is output to the display device 15.
[0035]
Hereinafter, the moving image reproduction system of FIG. 2 will be described in detail. First, the moving picture recording unit 72 samples a video signal (moving picture signal) from the video player 14 such as a VTR in advance according to an instruction from the CPU 1 of the main system and records it in a dedicated RAM 70 that functions as a storage of digital moving picture data. To do. That is, in response to a recording start instruction from the panel operator 12, the video signal input from the video player 14 to the moving image processing circuit 7 at that time is recorded as digital moving image data in a predetermined storage area of the dedicated RAM 70. Is done. In this dedicated RAM, a plurality of storage areas can be set, and a plurality of digital moving image data can be stored.
[0036]
As described above, the video signal (moving image signal) processed by the moving image processing circuit 7 is converted into a digital signal by an input unit (not shown). Therefore, the moving picture recording unit 72 writes a digital video signal in the dedicated RAM 70 as digital recording data. In writing the digital recording data, the moving picture recording unit 72 may compress the digital moving picture data and write it into the dedicated RAM 70 in order to reduce the amount of data stored in the dedicated RAM 70.
[0037]
At the time of moving image reproduction, the CPU 1 gives an instruction for moving image reproduction in various ways. For example, the panel operator 12 is provided with a plurality of moving image selection switches corresponding to a plurality of moving image data stored in the dedicated RAM. The CPU 1 instructs the moving image processing circuit 7 to start reproducing the corresponding moving image data in response to an operation of any moving image selection switch.
[0038]
Alternatively, reproduction of moving image data can be instructed by music data reproduced by the MIDI device 16. The MIDI standard defines a MIDI machine control (MMC) standard for controlling digital recorders and VTRs. When MMC is used, one moving image data can be selected from a plurality of moving image data according to the locate command, and reproduction of the moving image data selected according to the deferred / play command can be started. The locate command is a command for instructing the position of the moving image data to be reproduced in the plurality of moving image data. The deferred play command is a command for designating the timing for starting the reproduction of moving image data.
[0039]
Further, in synchronism with the reproduction of the music data, a place where it is desired to reproduce the desired moving image data, and a locate instruction and a deferred play instruction may be arranged in accordance with the desired timing of the music data. When the music data is reproduced by the MIDI device 16, a locate command and a deferred play command are respectively fetched at the arranged timing. The fetched locate command and deferred play command are sent to the MIDI interface (I / F) 8. Via CPU 1. The CPU 1 selects the moving image data according to the locate command and controls the moving image processing circuit 7 to start reproducing the moving image data selected according to the deferred play command.
[0040]
At the time of moving image reproduction, the moving image reproduction unit 73 selects desired moving image data from a plurality of sampled moving image data recorded in the dedicated RAM 70 in accordance with such an instruction from the CPU 1, and the selected moving image data is displayed on the time axis. Under the control of the control unit 71, it is read out at a predetermined speed and sequentially reproduced. As described above, when the compressed moving image data is stored in the dedicated RAM, the moving image reproducing unit 73 expands the moving image data read from the dedicated RAM 70. Here, the time axis control unit 71 controls the video playback unit 73 based on the music tempo instruction information TC or a specific timing set TS according to the control input from the CPU 1 according to the playback mode (M1, M2), It has a function to control the playback of moving images.
[0041]
That is, the time axis control unit 71 performs moving image reproduction at a moving image reproduction speed that is a value that matches the progress of the currently played music, based on the tempo instruction information TC or the specific timing set TS from the CPU 1. An instruction is given to the playback unit 73. Then, the moving image reproduction unit 73 sequentially reads the moving image information from the dedicated RAM 70 at the instructed moving image reproduction speed and reproduces the moving image. The control of the moving image playback speed based on the tempo instruction information and the specific timing set TS will be described in detail later.
[0042]
In addition, in the moving image reproduction by the moving image reproducing unit 73, “loop reproduction” in which a part or all of the moving image data selected from the dedicated RAM 70 is repeatedly reproduced by an instruction from the CPU 1 can be used. According to this embodiment, it is possible to perform loop reproduction seamlessly and without failure (the occurrence of image clipping or blank image generation).
[0043]
The moving image data reproduced by the moving image reproduction unit 73 is displayed on the screen of the video display 15 at a predetermined reproduction speed via the video composition unit 74. In this example, the video synthesizing unit 74 receives moving image data whose playback speed is controlled (for example, as a main image) from the moving image reproducing unit 73 and reproduces it from the video reproducing unit 14 in real time (so-called “so-called“ The “flowing”) receives other moving image data (for example, as a background image) from the video signal, and synthesizes both moving image data. As a result, an image obtained by combining both moving image data is displayed on the image display 15. The signal supplied to the video display 15 is an analog video signal provided in an output unit (not shown) as described above.
[0044]
The video composition unit 74 may synthesize a video (color image) by simply superimposing a playback video with a variable time axis from the video playback unit 73 and a real-time video from the video player 14. Apply various crossfades, etc., take the logical sum or logical product of playback video and real-time video, display both in different screen areas and change each display area as necessary, etc. A video effect can be employed.
[0045]
[0th playback mode]
In this moving image time axis control instruction system, the moving image processing circuit 7 can be operated in the 0th reproduction mode. In the 0th reproduction mode, as shown in FIG. 2 (upper left), the moving image reproduction speed is changed based on tempo instruction information TC based on an instruction such as a tempo clock (MIDI clock) or time code of music data. That is, when performing using music data, the CPU 1 is performed upon receiving tempo instruction information indicated by a time code difference value (time code time interval) or a time interval between tempo clocks (MIDI clock). A change in the music tempo is detected and this is transmitted to the time axis control unit 71. The time axis control unit 71 controls the moving image reproduction in the moving image reproduction unit 73 based on the tempo instruction information given as a control input from the CPU 1.
[0046]
FIG. 3 is a diagram schematically showing how the reading speed for moving image data changes in accordance with the tempo instruction in the 0th playback mode. In the figure, a circle indicates a predetermined moving image data unit [a predetermined number of frames in moving image data. Hereinafter, it is simply referred to as “section”. ] And music data units in music data [a predetermined number of bars. The number of beats or the number of ticks (TICK) may be used. In any case, the number may not be an integer (a value including a decimal number). Hereinafter, it is simply referred to as “section”. The width of the circles simply indicates the reproduction of data in each section or the change in performance density (time amount per information unit) in a visually easy-to-understand manner. The number of ticks indicates the number of unit time intervals representing the time resolution in the sequencer.
[0047]
The top row in FIG. 3 represents moving image data stored in the moving image reproduction dedicated RAM 70. On the other hand, the second level shows how the tempo value based on tempo instruction information by an instruction such as a tempo clock changes with respect to the elapsed time t (sec), and “0” on the vertical axis indicates the standard tempo value. (For example, tempo value = 120).
[0048]
When music performance starts in accordance with the music data in the music performance systems 16 to 18, moving image reproduction is performed at a speed corresponding to the tempo value designated by the tempo designation information. For example, if the tempo information of music data is set to a tempo instruction value (standard tempo value = 120) corresponding to “0”, in the moving image processing circuit 7, the moving image data stored in the dedicated RAM 70 is stored in the CPU 1. Is read out at a normal moving image reproduction speed, for example, 30 frames / second by the time axis control unit 71 and the moving image reproduction unit 73.
[0049]
When the tempo instruction value changes from the standard tempo value of “0”, the changed tempo instruction value is instructed from the CPU 1, and music performance and moving image reproduction are performed based on the instructed tempo instruction value. The tempo instruction value can be obtained from information such as a tempo clock time interval and a time code difference value (time code time interval).
[0050]
Accordingly, in the 0th playback mode, when the tempo value changes as in the second stage, the music data is changed according to the changed tempo value [from the specified tempo value to the positive / negative (+,-) tempo value change. With the tempo changed by the corresponding amount), the playback speed of the video data is changed according to the positive / negative (+,-) tempo value change from the normal video playback speed. As shown in the third row, the moving image data is reproduced at a speed corresponding to the tempo value, so that it is possible to obtain an effect that matches the reproduction of the moving image with the music performance. In music data such as SMF, tempo information can be arranged at a timing when the tempo value is desired to be changed. When the music data is reproduced, tempo information appears at that timing and the tempo value is changed. That is, based on the tempo information included in the music data, music performance and moving image playback can be controlled simultaneously.
[0051]
[First playback mode]
In this moving image time axis control instruction system, when the mode switch M1 in the operation device 12 is operated (see FIG. 2), the moving image processing circuit 7 can be operated in the first reproduction mode. In the first playback mode, during the performance of the music, the CPU 1 receives the tempo change (operation) information TM based on the operation of the real-time operator and detects that there has been an operation for changing the tempo of the music being played. This is transmitted to the time axis control unit 71. The time axis control unit 71 controls moving image reproduction in the moving image reproducing unit 73 based on tempo change (operation) information given as a control input from the CPU 1.
[0052]
FIG. 4 is a diagram schematically showing how the reading speed for moving image data changes in accordance with the tempo changing operation in the first playback mode. Also in the figure, the meanings of the circles are the same as described above. As already described, the panel controller 12 is provided with a ribbon controller (a real-time controller for detecting a one-dimensional contact position) in order to change the music performance tempo in real time. 4 represents moving image data stored in the moving image reproduction-dedicated RAM 70. On the other hand, the second stage shows the change in the operation amount of the ribbon controller with respect to the elapsed time t (sec), and “0” on the vertical axis is the origin position of the ribbon controller operation.
[0053]
When the operating finger touches the origin position of the ribbon controller, music performance and moving image reproduction are performed at a speed corresponding to the origin position = “0”. That is, in the music performance systems 16 to 18, for example, if the standard tempo value = 120, the performance is performed at the tempo value = 120 corresponding to the origin position. That is, the CPU 1 generates a tempo clock signal having a tempo value = 120 and supplies it to the MIDI device 16, and the MIDI device 16 reproduces music data in synchronization with the supplied tempo clock signal. In this case, in the moving image processing circuit 7, the moving image data stored in the dedicated RAM 70 is converted to a normal moving image reproduction speed, for example, by the time axis control unit 71 and the moving image reproduction unit 73 based on a command from the CPU 1. , 30 frames / second.
[0054]
Further, when an operation finger is touched at an arbitrary position of the ribbon controller, an operation amount corresponding to the position of the touched finger (origin position = displacement from “0”) is instructed from the CPU 1, and based on the instructed operation amount. Music performance and video playback are performed. Accordingly, when the ribbon controller is operated as in the second stage, the music data in the MIDI device 16 corresponds to the positive / negative (+, −) operation amount from the specified tempo value according to the operation amount of the ribbon controller. The tempo changed by the minute is played as in the bottom row. Correspondingly, the reading speed of the moving image data is changed from the normal moving image reproduction speed by an amount corresponding to the positive / negative (+, −) operation amount, and the moving image data is shown in the third row. Since the playback is performed at a speed corresponding to the operation amount of the ribbon controller, the playback of the moving image can be matched with the performance of music.
[0055]
In the example of FIG. 4, at the time t0, music performance and moving image playback are started, and at the same time, as shown in the second stage, the operation of the ribbon controller is started, and once in the positive direction, the negative direction is operated. After passing through the position = “0”, the operation is performed again in the positive direction. At the time t1, the operation is stopped at the predetermined positive position. At the same time, the operation jumps to the negative predetermined position and operates again in the positive direction. Is shown when the operation is stopped (the operation finger is released from the ribbon controller).
[0056]
In this case, as shown in the lowermost part of FIG. 4, the music data in the first section (defined by measures, beats, or ticks) n0 starts to be played back at time t1, as shown in the bottom row of FIG. When the operating finger is released from the controller, the music performance in the section n1 is resumed at a speed corresponding to the negatively touched predetermined position. When the operation is stopped at the time point t2 when the music performance in the section n2 is performed, the music performance is maintained at a speed corresponding to the operation amount when the operation is stopped after the time point t2.
[0057]
On the other hand, as for the moving image data, as shown in the third row of FIG. 4, the playback speed is controlled in the same manner as the music data. That is, at the time point t0, the moving image data in the first section (defined by the number of frames) p0 of the moving image data is reproduced at a relatively high speed ("steep") according to the controller operation at a certain position in the positive direction. The moving image reproduction is sequentially performed at “slow” and “sudden” speeds according to the controller operation. When the operating finger jumps to a predetermined negative position at time t1, the moving image data of the section p1 is played back at a “slow” playback speed corresponding to the post-jump position, and the playback speed is sequentially increased according to the controller operation. Since the operation amount at the time point t2 after the operation stop is maintained based on the operation stop at the time point t2 when the moving image reproduction of the section p2 is performed, the high speed ( The video data will continue to be played with “Sudden”.
[0058]
Accordingly, the moving image data can be reproduced in accordance with the progress of the music performance, with the reproduction speed changing slowly according to the controller operation amount, similarly to the performance speed of the music performance. As shown in FIG. 2 (upper left), in addition to the change in the moving image reproduction speed based on the tempo instruction information such as the time interval of the tempo clock of the music data and the time code difference value (time code time interval), Since the music performance speed and the moving picture reproduction speed are simultaneously changed based on the tempo change information obtained by the real-time operation of the ribbon controller, the effect of performing the music performance and the moving picture reproduction can be enhanced.
[0059]
[Second playback mode]
In this moving image time axis control instruction system, when the mode switch M2 in the operation device 12 is operated (see FIG. 2), the moving image processing circuit 7 can be operated in the second reproduction mode. In the second playback mode, when playing back a moving image associated with a music performance, the CPU 1 sends a preset TS of specific music performance timing-specific moving image playback timing to the time axis control unit 71 as shown in the upper right of FIG. send.
[0060]
Based on the specific timing set TS, the time axis control unit 71 sets the video playback speed to be instructed to the video playback unit 73 so that the specific playback timing of the video data matches the performance timing of the corresponding music performance. The adjustment is made and an instruction is given to the moving image reproduction unit 73 to reproduce the moving image at this speed. Then, the moving image reproduction unit 73 reads the sampled moving image data from the dedicated RAM 70 at the instructed moving image reproduction speed and reproduces the moving image.
[0061]
FIGS. 5 to 9 are diagrams schematically showing examples of time axis conversion for explaining the moving image reproduction in the second reproduction mode. 5 to 7 and the second stage of FIG. 8 represent music data used for music performance in the music performance systems 16 to 18, taking into account the tempo indication by time code or tempo clock (MIDI clock). And converted into performance time. In this example, music data “section n0” to “immediately before section n1” have a faster tempo than “section n1” to “section n2”, and this is displayed in the width of a circle. That is, tempo information is arranged at the start point of the section n1 of the music data. The MIDI device 16 starts the music performance from the section n0 with the initial tempo arranged in the music data as the performance tempo, and at the start point of the section n1, the performance tempo is further determined according to the tempo information arranged there. Change to a slower tempo and continue playing music.
[0062]
The second stage in FIGS. 5 to 7 and the third stage in FIG. 8 represent the moving picture data stored in the music data dedicated RAM of the moving picture processing circuit 7. In FIGS. Is made coincident with the total performance sections n0 to n2 of the music data for convenience. Such timing synchronization can be controlled by adjusting the timing at which the above-described deferred play command is arranged in the music data. The meanings of the circles in each figure represent each section (data unit) constituting the data, as already described with reference to FIGS. 3 and 4, and the music data has a predetermined number of bars, beats or ticks. It can be defined by (TICK) number [may be not an integer (may be a decimal)], and moving image data can be defined by a predetermined number of frames.
[0063]
FIG. 5 shows an example of time-axis conversion when a set (TS) in which moving image information at an arbitrary position in moving image data is associated with performance information at an arbitrary position in music data is used. This time axis conversion is suitable for a production effect in which one point (may be a plurality of points) in the course of moving images and music is matched. In this example, as shown between the uppermost stage and the second stage, a specific section p1 (start point) in the moving image data corresponds to a specific section n1 (start point) of the music data. In this way (“SET”), the start and end positions p0, n0; p2, n2 of both data are not associated (“Free”).
[0064]
In this case, each reproduction of moving image data and music data is started at arbitrary time points t0 and t0m, respectively. However, the moving image data is reproduced in the section p1 at the specific time point t1 when the reproduction of the music data in the specific section n1 set to correspond to the moving image data in the specific section p1 is started after the reproduction is started from the time point t0. The time axis for reproducing the moving image data is controlled so that the reproduction of the moving image data is started.
[0065]
That is, the start time information indicating the reproduction start times t0 and t0m of the first section p0 and n0 in the moving image data and the music data, and the music data of the section n1 set so as to correspond to the moving image data of the specific section p1. Specific time point information representing the specific time point t1 at which reproduction starts is sent from the CPU 1 to the time axis control unit 71. The time axis control unit 71 can receive the time point information and start the reproduction of the moving image data of the first section p0 at the time point t0 and can start the reproduction of moving image data of the specific section p1 at the specific time point t1. In this manner, the moving image playback unit 73 is controlled. Then, the moving image reproducing unit 73 calculates the reading speed of moving image data between time points t0 and t1, and starts reproducing moving image data of the first section p0 from the time point t0 at the calculated reading speed.
[0066]
In addition, the CPU 1 detects a time point t0m at which music data playback should be started, and instructs the MIDI device 16 to start playback. In response to an instruction to start playback, the MIDI device 16 starts playback of music data and supplies a tempo clock signal to the CPU 1 via the MIDI interface (I / F) 8. The CPU 1 corrects the reference time in the time axis control unit 71 based on the supplied tempo clock signal. Here, the “reference time” represents, for example, a reference timing for detecting time points such as time points t0, t1, t2,. That is, the “reference time” is measured before the music performance is started at the time point t0m. When the music performance is started, it is measured in synchronization with the music performance thereafter.
[0067]
Thereby, at the specific time point t1, the moving image data of the specific section p1 is reproduced in synchronization with the reproduction of the music data of the specific section n1 set in advance so as to correspond thereto. In other words, the reading of moving image data is not fixed (Free), and the speed is adjusted from the reproduction start point t0 to the specific time point t1. Further, after the specific time point t1, the reproduction is performed based on a predetermined reading speed of the moving image data itself. Therefore, the moving image data reproduction end point t2 is, as illustrated, the music performance end point t2m. Does not necessarily match. The section p0 may also be reproduced at the reading speed of the moving image data itself. As described above, in this embodiment, the reproduction timing of the moving image data is controlled so that the moving image data at the specific position (n1) is reproduced at the time t1 when the music data at the specific position (p1) is reproduced. .
[0068]
In FIG. 5, the specific time point t1 is one point. However, a plurality of corresponding positions in the course of moving images and music are set, and two or more reproductions of moving image data and music data at each set position are performed. You may make it correspond at the time. In this case, the time axis (speed) of moving image reproduction from the start of moving image reproduction to a specific time point and between specific time points is controlled. Further, in this embodiment, the description has been made assuming that the MIDI device 16 itself generates a tempo clock signal after the MIDI device 16 starts reproduction in response to a reproduction instruction from the CPU 1, but instead of the MIDI device 16. The CPU 1 may generate a tempo clock signal, and the MIDI device 16 may reproduce music data based on the tempo clock signal supplied from the CPU 1. In that case, the CPU 1 controls the period of the generated tempo clock signal based on the reference time in the time axis control unit 7 and the tempo information (arranged in the music data) reproduced by the MIDI device.
[0069]
FIG. 6 shows an example of time-axis conversion when a set (TS) in which video information at an arbitrary position and playback end position in video data is associated with performance information at an arbitrary position and performance end position in music data is used. ing. This time axis conversion is suitable for a production effect in which one point (may be a plurality of points) in the course of moving images and music and the end position coincide with each other. In this example, as shown between the uppermost stage and the second stage, a specific section p1 (start point) in the moving image data corresponds to a specific section n1 (start point) of the music data. (“SET”) and set the moving image data reproduction end (end of the last section p2) to correspond to the music data reproduction end (end of the last section n2) ( "SET"&"FIX") and the sections p0 and n0 of the start positions of both data are not associated ("Free").
[0070]
Here, “SET” refers to a setting for synchronizing an arbitrary position in the moving image data with an arbitrary position in the music data. “FIX” refers to a setting for controlling an arbitrary position in the moving image data and an arbitrary position in the music data to be reproduced at predetermined points on the reference time scale, respectively. Therefore, the “arbitrary position” for which “FIX” has been set is fixed at a “predetermined time point” on the reference time scale. For example, even if the playback time of a certain section or position of the video data is edited, the playback time of the video data at the position set to “FIX” remains fixed at “predetermined time” (fixed) Adjusted to remain.) In FIGS. 6 to 8, “SET” is set for all positions indicated by “FIX”.
[0071]
In the case of FIG. 6 as well, the moving image data and the music data are started to be reproduced at arbitrary start times t0 and t0m, respectively, but the moving image data is the moving image data of the specific section p1 after the reproduction is started from the start time t0. The time axis of the moving image reproduction is controlled so that the reproduction of the moving image data of the section p1 is started at the specific time point t1 when the reproduction of the music data of the specific section n1 set so as to correspond to is started. Next, after the specific time point t1, the playback time axis is controlled so that the moving image data from the start of playback of the specific section p1 to the end of playback of the final section p2 matches the music performance of the sections n1 to n2.
[0072]
That is, the reproduction of the music data in the section n1 set so as to correspond to the start time information indicating the respective reproduction start times t0 and t0m of the first section p0 and n0 in the moving image data and the music data and the moving image data in the specific section p1. Specific time point information representing the specific time point t1 to be started and end time point information representing the end time point t2 at which the reproduction of the music data in the last section n2 is completed are sent from the CPU 1 to the time axis control unit 71. The time axis control unit 71 receives these pieces of time information, starts to reproduce the moving image data of the first section p0 at the time t0, and starts to reproduce the moving image data of the specific section p1 at the specific time t1 and ends at the time t2. Thus, the moving image reproducing unit 73 is controlled so that the reproduction of the moving image data in the last section p2 can be finished. Then, the moving image reproduction unit 73 calculates the first and second reading speeds of the moving image data between the time points t0 to t1 and t1 to t2, and the moving image data of the first section p0 is timed at the calculated first reading speed. The video data is reproduced from t0, and after the specific time t1, the moving image data from the specific interval p1 to the final interval p2 is sequentially reproduced at the calculated second reading speed.
[0073]
Thereby, at the specific time point t1, the moving image data of the specific time period p1 is not only reproduced in synchronization with the reproduction of the music data of the specific time period n1 set in advance so as to correspond thereto, but also after the specific time point t1. The moving image data up to the last section p2 is reproduced in synchronization with the reproduction of the corresponding music data. Therefore, as shown in the figure, the period from the reproduction start point t0 that is not synchronized (“Free”) to the specific time point t1 and the period from the specific time point t1 (“SET”) to the reproduction end point t2 are different. The playback speed of video data is adjusted.
[0074]
In FIG. 6, the specific time point t1 is one point. However, a plurality of corresponding positions in the course of moving images and music are set, and two or more reproductions of moving image data and music data at each set position are performed. You may make it correspond at the time. In FIG. 6, the end time t2 is matched, but as a modified example, the end time t2 is not matched (each end position is not “SET” but “Free”), and the reproduction start position t0 of the moving image data is set. The reproduction of the moving image and the music performance may be synchronized only from the common start time t0 to the specific time t1 so as to coincide with the music data reproduction start time t0m (each start position is “SET”).
[0075]
FIG. 7 shows a case where a set (TS) in which moving image information at a reproduction start position in the moving image data, an arbitrary position in the middle, and a reproduction end position is associated with performance information at the arbitrary position and performance end position in the music data is used. This shows an example of time axis conversion. This time axis conversion is an effect of matching the start and end positions of the moving image and music and one point (may be a plurality of points) in progress, especially the effect of replaying the moving image data repeatedly according to the music data by loop reproduction. Suitable for effect. In this example, as shown between the uppermost stage and the second stage, the playback start position of music data (start of the first section p0) and the end of playback (end of the last section p2) are respectively started to play back music data. It is set so as to correspond to the position of (start of the first section n0) and playback end (end of the last section p2) ("SET"&"FIX"), and a specific section p1 (of the video data) (Start point) is set so as to correspond to (a start point of) a specific section n1 of music data ("SET").
[0076]
In this case, at the predetermined start time t0, each reproduction of the moving image and music data in the first sections p0 and n0 set so as to correspond to each other is started and set so as to correspond to the moving image data in the specific section p1. The time axis for reproducing the moving image data is controlled so that the reproduction of the moving image data of the specific section p1 is started at the specific time t1 when the reproduction of the music data of the specific section n1 is started. Next, after the specific time point t1, the time axis for reproducing the moving image data is such that the moving image data from the start of reproduction of the specific section p1 to the end of reproduction of the last section p2 matches the music performance of the sections n1 to n2. Be controlled.
[0077]
That is, it is set so as to correspond to the start / end time information indicating the reproduction start time points t0 and t2 of the first and last intervals p0, n0; p2, n2 in the moving image and music data, and the moving image data of the specific interval p1. The specific time point information indicating the specific time point t1 at which the reproduction of the music data in the section n1 starts is sent from the CPU 1 to the time axis control unit 71. The time axis control unit 71 receives these pieces of time information, starts reproducing moving image data of the first section p0 at time t0, starts reproducing moving image data of the specific section p1 at specific time t1, and ends time t2. Thus, the moving image reproducing unit 73 is controlled so that the reproduction of the moving image data in the last section p2 can be finished. Then, the moving image reproduction unit 73 calculates the first and second reading speeds of the moving image data between the time points t0 to t1 and t1 to t2, and the moving image data of the first section p0 is calculated at the time points with the calculated first reading speed. The video data is reproduced from t0, and after the specific time t1, the moving image data from the specific interval p1 to the final interval p2 is sequentially reproduced at the calculated second reading speed.
[0078]
As a result, at the start and end times t0 and t2, the reproduction of the moving image data in the first and last sections p0 and p2 is started and ended in accordance with the start and end of the music performance in the first and last sections n0 and n2. The Further, at the specific time point t1, the moving image data in the specific section p1 is reproduced in synchronization with the reproduction of the music data in the specific section n1 set in advance so as to correspond thereto. In the example shown in the figure, the tempo and playback speed increase from a fixed (“SET” & “FIX”) playback start point t0 to a specific time point t1, and the tempo and playback speed decrease after the specific time point t1. ing.
[0079]
In FIG. 7, the specific time point t1 is one point. However, a plurality of corresponding positions in the course of the moving image and music are set, and the reproduction and performance of the moving image data and music data at each set position is two or more. You may make it correspond in several time points.
[0080]
FIGS. 8 and 9 are generalizations of the modification shown in the description of FIG. 6 or the example of FIG. 7, and the moving image data reproduction start position and moving image information at a plurality of positions in the middle of moving image data are respectively shown in FIGS. 4 shows an example of time axis conversion in the case of using a set (TS) associated with music data reproduction start position and performance information at arbitrary plural positions in the middle of the music data. This time axis conversion is suitable for the effect of rendering a plurality of points in progress from the start position of the moving image and music to each other. The top row in FIG. 8 simply shows the music data using a score, and is not strictly associated with the music data in the second row.
[0081]
In the example of FIG. 8, as shown between the second stage and the third stage, at least the moving image data reproduction start (start of the first section p0) position is set to the music data reproduction start (start of the first section n0). A certain plurality of sections p1, p2, p3, p4,... (Starting point) of the moving image data are set to correspond to the positions (“SET” & “FIX”). Are set so as to correspond to specific sections n1, n2, n3, n4,... (Start point) (“SET”).
[0082]
In this case, at the predetermined start time t0, the reproduction of the moving image and music data in the first sections p0 and n0 set so as to correspond to each other is started, and is set so as to correspond to the moving picture data in the specific section p1. The time axis for reproducing the moving image data is controlled so that the reproduction of the moving image data information of the specific section p1 is started at the specific time t1 when the reproduction of the music data of the specific section n1 is started. Next, after the specific time point t1, the moving image data is reproduced so that the moving image data in the specific sections p1, p2, p3, p4,... Matches the music data in the specific sections n1, n2, n3, n4,. The time axis is controlled.
[0083]
FIG. 9 schematically shows a method of calculating the recording position (frame) of moving image data read from the dedicated RAM 70 with the passage of time in order to control the moving image reproduction time axis. Start time information indicating reproduction and performance start time t0 of the first section p0, n0 in the moving image and music data, and a section n1 set so as to correspond to the moving image data of the specific sections p1, p2, p3, p4,. , N2, n3, n4,..., N2, n3, n4,..., N2, n3, n4,.
[0084]
The time axis control unit 71 receives these pieces of time information, starts to reproduce the moving image data of the first section p0 at the time t0, and the specific sections p1, p2, p3 at the specific time points t1, t2, t3, t4,. , P4,... Is controlled so that the moving image playback unit 73 can be started sequentially. The moving picture reproducing unit 73 calculates the reading speed of moving picture data between time points t0 to t1, t1 to t2, t2 to t3, t3 to t4,. The readout speed to be calculated is indicated by the slope of each line segment at time points t0 to t1, t1 to t2, t2 to t3, t3 to t4,. Then, the corresponding moving image data between time points t0 to t1, t1 to t2, t2 to t3, t3 to t4,.
[0085]
Thereby, the reproduction of the moving image data in the first section p0 is started at the start time t0 in accordance with the start of the music performance in the first section n0, and at the specific time points t1, t2, t3, t4,. The moving image data of p1, p2, p3, p4,... is reproduced in synchronization with the reproduction of the music data of specific sections n1, n2, n3, n4,.
[0086]
That is, as shown in the moving image time axis conversion example of FIG. 8, moving image data including a large number of frames is stored in the dedicated RAM 70 for music data. When the user specifies that a plurality of points in the data are synchronized, the readout position between the points is automatically interpolated, and the moving image data is slowly (“normal”, “slow”, “sudden”). Play with. Therefore, for example, positions where there are strong notes on the musical score (the upper part of FIG. 8) are selected as specific positions for music performance, and specific moving image frames (red light, blue light, yellow light, etc.) that are stimulating to these performance positions. If you set the screens to be compatible with each other, when a sound related to a specific note is generated, a specific video frame appears correspondingly, so the sound and video are linked to a concert venue or club Effective production for audiences such as events.
[0087]
[Third playback mode]
In this moving image time axis control instruction system, when the mode switches M1 and M2 in the operation device 12 are operated (see FIG. 2), the moving image processing circuit 7 can be operated in the third reproduction mode. In the third playback mode, the CPU 1 operates a real-time operator such as a ribbon controller in addition to a preset specific music performance timing-specific video playback timing set (TS) when playing a moving image accompanying a music performance. Tempo change information (TM) corresponding to is sent to the time axis control unit 71.
[0088]
Based on the specific timing set, the time axis control unit 71 makes the specific reproduction timing of the moving image data coincide with the performance timing of the corresponding music performance, and further according to the operation of a real-time operator such as a ribbon controller. Then, the moving image reproducing speed commanded to the moving image reproducing section 73 is adjusted so that the reproducing speed changes, and an instruction is given to the moving image reproducing section 73 to reproduce the moving image data at this speed. Then, the moving image reproduction unit 73 reads the sampled moving image data from the dedicated RAM 70 at the instructed moving image reproduction speed and reproduces the moving image.
[0089]
In the third playback mode, as in the second playback mode, not only the moving image data of the specific section matches the music data of the specific section, but also the speed of moving image playback and music performance can be changed according to the operation of the real-time operator. Therefore, various effects can be obtained.
[0090]
[Various Embodiments]
As described above, the moving image time axis instruction processing according to the present invention has been described according to the specific embodiment, but the embodiment is not limited to the illustrated example. For example, in the embodiment, the input moving image is from a VTR (video tape recorder). However, the present invention is not limited to this, and an apparatus capable of reproducing moving images such as a video output from an LD player, a DVD player, or a PC (personal computer). If so, the type is not limited.
[0091]
In the embodiment, the output device is a relatively large video display, but the type and size of CRT, LCD, etc. are not limited. Further, a plurality of output devices such as a monitor for the user (operator) and a display for the audience may be connected.
[0092]
In the embodiment, the playback speed of the moving image is controlled by changing the time axis control signal by the operation unit built in the main body system and the moving image processing system itself. However, the playback speed of the moving image is controlled by the time axis control signal from the external control device. May be controlled, and an external control signal input means for this purpose may be provided. Specifically, on the video control software in the PC, the speed of playback is represented by a broken line with numerical instructions, or by using an output value represented by a handwritten input curve using an external pointing device such as a mouse or tablet, It may be one that changes the playback speed of the video.
[0093]
In the embodiment, the reading of the moving image data is automatically corrected based on the fixed (“FIX”) reproduction start or end point (end). However, the reproduction start or end point (end) is “FIX” or “Free”. Whether to cut the excess part or to compensate for the missing part can be arbitrarily adopted as necessary.
[0094]
In the embodiment, the moving image is described as being handled as a frame. However, the moving image is not limited thereto, and may be a moving image output by a value obtained by calculation using CG (Computer Graphics) software of a PC.
[0095]
In the embodiment, an example in which one moving image data is reproduced in synchronization with reproduction of one music data is shown, but a plurality of moving image data may be reproduced in synchronization at a time when each is selected individually. .
[0096]
In the embodiment, the MMC command is used to control the reproduction of the moving image data, but a MIDI show control (MSC) command may be used instead. In that case, based on the go (“GO”) command of the MSC, the moving image data may be selected according to the queue (“QUE”) number included in the go command, and playback may be started.
[0097]
The specific reproduction timing of the music data may be specified by time on the performance time axis, or may be specified by the number of tempo clocks, the number of measures, the beat, or the like. Also, the specific playback timing of moving image data may be specified by time on the playback time axis, or may be specified by a frame number of the moving image.
[0098]
In the embodiment, the music data in which the tempo information is arranged has been described as being associated (SET) with an arbitrary position in the moving image data. However, after the association (SET) is first performed, Tempo information may be arranged at this point. In this way, even if the tempo of the music data is edited, the video data is played back in synchronization with the music data after the tempo edit, so the user does not mind the synchronization gap with the video and the user can worry about the tempo of the music data. Can be edited freely.
[0099]
In FIGS. 7 and 8, as a result of the application of the present invention, the tempo of the moving image data and the music data is depicted as being synchronized throughout, but it is not always necessary to completely synchronize so far. It suffices if the desired part of the video data and the desired part of the music data can be synchronized.
[0100]
Note that the music data processing method is a method of changing the processing cycle according to the set tempo instruction information, the processing cycle is constant, and the value of timing data in the music data is changed according to the set tempo instruction information Any method may be used, such as a method of changing the timing data counting method in music data in accordance with the tempo instruction information.
[0101]
【The invention's effect】
As described above, according to the present invention, the read timing of the moving image data stored in the moving image data memory is controlled based on the timing set information that specifies the coincidence of the reproduction timings of the corresponding portions of the music data and the moving image data. Since the video data is played back at a timing that matches the music data playback timing, the desired video frame portion can be played back in synchronization with the music performance of the desired portion, regardless of the tempo change of the music. For example, it is possible to easily synchronize an accent portion of music and a certain frame portion of a moving image in real time work. In addition, since the moving image can be reproduced while preventing the joint portion of the moving image from failing, moving image material for loop reproduction can also be used. Therefore, the range of variations at the performance and reproduction sites can be expanded.
[0102]
According to the present invention, the moving image data read out by the reproduction control and the separately input moving image data (for example, moving image data from the video player) are combined and output to the display device. It is possible to output a video that further enhances the video effect.
[0103]
Further, according to the present invention, a plurality of specific playback timings are designated in advance for moving image information readout timing, a plurality of specific performance timings are designated for performance timing of musical sound information, and a specific playback timing and specific performance timing are set. When reproducing a moving image, each specific playback timing is adjusted so as to correspond to each specific performance timing based on the set specific playback timing and specific performance timing. Since a plurality of intermediate playback timings are calculated and the moving image information is read out from the moving image storage means and output to the display device at the adjusted specific playback timing and the calculated intermediate playback timing, the same as described above. Regardless of the tempo of the music being played, It can be played back in synchronization with the music performance of the desired part, and since the video can be played back without breaking the joint part of the video, the video material for loop playback can also be used, Furthermore, the range of variations at the performance and playback sites can be expanded.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a hardware configuration of a moving image reproduction control system (moving image time axis control instruction system) according to an embodiment of the present invention.
FIG. 2 is a block diagram of a moving image processing function unit of the moving image time axis control instruction system according to one embodiment of the present invention.
FIG. 3 is a diagram showing a case where video time axis control is performed by changing the video playback speed according to tempo instruction information in the first embodiment of the video time axis control instruction system according to one embodiment of the present invention (0th playback mode); It is a figure which shows an example.
FIG. 4 shows a case where moving image time axis control is performed by changing the moving image reproduction speed by operating the ribbon controller in the first embodiment of the moving image time axis control instruction system according to one embodiment of the present invention (first reproduction mode); It is a figure which shows an example.
FIG. 5 shows a moving picture time axis control example [1] when one point is set in the second embodiment (second playback mode) of the moving picture time axis control instruction system according to one embodiment of the present invention; FIG.
FIG. 6 is an example of moving picture time axis control when two points including the end point are set in the second embodiment (second reproduction mode) of the moving picture time axis control instruction system according to the embodiment of the present invention [2] FIG.
FIG. 7 is a moving picture time axis control example in the case where three points including the start and end points are set in the second embodiment (second reproduction mode) of the moving picture time axis control instruction system according to one embodiment of the present invention; 3].
FIG. 8 is a diagram showing a general moving image time axis control example [4] of the second embodiment (second reproduction mode) of the moving image time axis control instruction system according to an embodiment of the present invention;
FIG. 9 is a diagram for explaining calculation of a moving image playback speed in a moving image time axis control example [4] of the second embodiment (second playback mode).
[Explanation of symbols]
A tempo instruction detection mechanism for detecting a tempo instruction of TC music data;
TM Tempo change detection mechanism to detect music tempo change operation,
TS specific playback and performance timing setting mechanism,
p0, p1, p2, p3, p4 Section (frame) number in the video data,
t0, t1, t2, t3, t4 Read timing of each section (frame),
t0m, t2m Music data read start and end timing,
n0, n1, n2, n3, n4 Section (measure, beat or tick) numbers in music data.

Claims (6)

動画データメモリに記憶されている動画を表わす一連の動画データを再生して表示装置に動画を表示するための動画再生装置であって、
一連の音楽データ中の少なくとも２箇所の音楽データと前記一連の動画データ中の少なくとも２箇所の動画データとの再生タイミングの一致を指定するためのタイミングセット情報を出力するタイミング指定回路と、
前記出力されたタイミングセット情報に基づいて、前記少なくとも２箇所の動画データの再生タイミングを前記少なくとも２箇所の音楽データの再生タイミングに一致させるように、前記動画データメモリに記憶されている動画データの読出しタイミング及び読出し速度を制御して、同読み出した動画データを前記表示装置に出力する再生制御回路と
を具備することを特徴とする動画再生装置。A moving image reproducing device for reproducing a series of moving image data representing a moving image stored in a moving image data memory and displaying the moving image on a display device,
A timing designating circuit for outputting timing set information for designating coincidence of reproduction timing between at least two music data in a series of music data and at least two video data in the series of video data;
Based on the output timing set information, the moving image data stored in the moving image data memory is made to match the reproduction timing of the at least two moving image data with the reproduction timing of the at least two music data. A moving image reproducing apparatus comprising: a reproduction control circuit that controls a reading timing and a reading speed and outputs the read moving image data to the display device. さらに、
前記再生制御回路によって読み出された動画データと、別途入力した動画データとを合成して前記表示装置に出力する合成回路
を具備することを特徴とする請求項１に記載の動画再生装置。further,
2. The moving image reproducing apparatus according to claim 1, further comprising a combining circuit that combines the moving image data read by the reproduction control circuit and the separately input moving image data and outputs the combined moving image data to the display device. 動画情報を記憶する動画記憶手段と、
動画情報の再生タイミングについて、複数の特定再生タイミングを指定する再生タイミング指定手段と、
楽音情報の演奏タイミングについて、複数の特定演奏タイミングを指定する演奏タイミング指定手段と、
前記指定された特定再生タイミング及び特定演奏タイミングに基づいて、各特定再生タイミングを各特定演奏タイミングに対応するように調整すると共に、各特定再生タイミング間における複数の中間再生タイミングを演算する再生タイミング調整手段と、
前記調整された特定再生タイミング及び前記演算された中間再生タイミングで前記動画記憶手段から動画情報を読み出す動画読出し手段と、
前記読み出された動画情報を前記表示装置に出力する動画出力手段と
を具備する動画再生装置。Video storage means for storing video information;
Regarding the playback timing of the video information, playback timing specifying means for specifying a plurality of specific playback timings,
Performance timing designation means for designating a plurality of specific performance timings for the performance timing of the musical information,
Based on the specified specific playback timing and specific performance timing, each specific playback timing is adjusted so as to correspond to each specific performance timing, and a plurality of intermediate playback timings between the specific playback timings are calculated. Means,
Moving image reading means for reading moving image information from the moving image storage means at the adjusted specific reproduction timing and the calculated intermediate reproduction timing;
A moving image reproducing apparatus comprising: moving image output means for outputting the read moving image information to the display device. 動画データメモリに記憶されている動画を表わす一連の動画データを再生して表示装置に動画を表示するための動画再生方法であって、
一連の音楽データ中の少なくとも２箇所の音楽データと、前記一連の動画データ中の少なくとも２箇所の動画データとの再生タイミングの一致を指定するためのタイミングセット情報を出力するタイミング指定ステップと、
前記出力されたタイミングセット情報に基づいて、前記少なくとも２箇所の動画データの再生タイミングを前記少なくとも２箇所の音楽データの再生タイミングに一致させるように、前記動画データメモリに記憶されている動画データの読出しタイミング及び読出し速度を制御して、同読み出した動画データを前記表示装置に出力する再生制御ステップと
を備えることを特徴とする動画再生方法。A moving image reproducing method for reproducing a series of moving image data representing a moving image stored in a moving image data memory and displaying the moving image on a display device,
A timing designating step for outputting timing set information for designating coincidence of reproduction timings of at least two music data in a series of music data and at least two video data in the series of video data;
Based on the output timing set information, the moving image data stored in the moving image data memory is made to match the reproduction timing of the at least two moving image data with the reproduction timing of the at least two music data. A moving image reproduction method comprising: a reproduction control step of controlling the reading timing and the reading speed and outputting the read moving image data to the display device. さらに、
前記再生制御ステップにて読み出された動画データと、別途入力した動画データとを合成して前記表示装置に出力する合成ステップ
を備えることを特徴とする請求項４に記載の動画再生方法。further,
5. The moving image playback method according to claim 4, further comprising a combining step of combining the moving image data read out in the playback control step and the separately input moving image data and outputting the combined data to the display device. 動画情報を記憶する動画記憶手段及び表示装置を具備する動画再生装置における動画再生方法であって、
動画情報の再生タイミングについて、複数の特定再生タイミングを指定する再生タイミング指定ステップと、
楽音情報の演奏タイミングについて、複数の特定演奏タイミングを指定する演奏タイミング指定ステップと、
前記指定された特定再生タイミング及び特定演奏タイミングに基づいて、各特定再生タイミングを各特定演奏タイミングに対応するように調整すると共に、各特定再生タイミング間における複数の中間再生タイミングを演算する再生タイミング調整ステップと、
前記調整された特定再生タイミング及び前記演算された中間再生タイミングで前記動画記憶手段から動画情報を読み出す動画読出しステップと、
前記読み出された動画情報を前記表示装置に出力する動画出力ステップと
を備える動画再生方法。A video playback method in a video playback device comprising a video storage means for storing video information and a display device,
Regarding the playback timing of the video information, a playback timing specifying step for specifying a plurality of specific playback timings,
Regarding the performance timing of the musical sound information, a performance timing specifying step for specifying a plurality of specific performance timings,
Based on the specified specific playback timing and specific performance timing, each specific playback timing is adjusted so as to correspond to each specific performance timing, and a plurality of intermediate playback timings between the specific playback timings are calculated. Steps,
A moving image reading step of reading moving image information from the moving image storage means at the adjusted specific reproduction timing and the calculated intermediate reproduction timing;
A moving image reproduction method comprising: a moving image output step of outputting the read moving image information to the display device.
JP2002131092A 2001-05-10 2002-05-07 Movie playback apparatus and movie playback method Expired - Fee Related JP3716812B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002131092A JP3716812B2 (en) 2001-05-10 2002-05-07 Movie playback apparatus and movie playback method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001140674 2001-05-10
JP2001-140674 2001-05-10
JP2002131092A JP3716812B2 (en) 2001-05-10 2002-05-07 Movie playback apparatus and movie playback method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005199179A Division JP4062324B2 (en) 2001-05-10 2005-07-07 Movie playback apparatus and movie playback method

Publications (2)

Publication Number Publication Date
JP2003030932A JP2003030932A (en) 2003-01-31
JP3716812B2 true JP3716812B2 (en) 2005-11-16

Family

ID=26614929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002131092A Expired - Fee Related JP3716812B2 (en) 2001-05-10 2002-05-07 Movie playback apparatus and movie playback method

Country Status (1)

Country Link
JP (1) JP3716812B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4590851B2 (en) * 2003-10-15 2010-12-01 カシオ計算機株式会社 Non-contact control device and program
JP4284620B2 (en) 2004-12-27 2009-06-24 ソニー株式会社 Information processing apparatus and method, and program
JP4513644B2 (en) * 2005-05-13 2010-07-28 ヤマハ株式会社 Content distribution server
WO2007113950A1 (en) * 2006-03-30 2007-10-11 Pioneer Corporation Video processing apparatus and program
JP2007316322A (en) * 2006-05-25 2007-12-06 Kawai Musical Instr Mfg Co Ltd Data editing device and computer program for data editing
JP5071330B2 (en) * 2008-09-29 2012-11-14 ソニー株式会社 Information processing apparatus and method, and program
JP2014056162A (en) * 2012-09-13 2014-03-27 Casio Comput Co Ltd Display control device and program
JP2014064178A (en) * 2012-09-21 2014-04-10 Casio Comput Co Ltd Moving image reproduction apparatus, moving image reproduction method, and program

Also Published As

Publication number Publication date
JP2003030932A (en) 2003-01-31

Similar Documents

Publication Publication Date Title
US7221852B2 (en) Motion picture playback apparatus and motion picture playback method
JP3601350B2 (en) Performance image information creation device and playback device
JP4062324B2 (en) Movie playback apparatus and movie playback method
JP3716812B2 (en) Movie playback apparatus and movie playback method
JP2012253619A (en) Moving image playback apparatus, moving image playback method, and program
JPH1195778A (en) Synchronous video forming method and karaoke machine using the same
JP4329857B2 (en) Movie playback device
JP3846425B2 (en) Performance information reproducing apparatus and program
JP3980750B2 (en) Electronic musical instruments
JPH0934477A (en) Karaoke device
JP3428410B2 (en) Karaoke equipment
JP3363407B2 (en) Lyric subtitle display device
JP4270102B2 (en) Automatic performance device and program
JP3038244B2 (en) Synchronizer for image information processing system
JP3320056B2 (en) Karaoke video playback device
JP3178694B2 (en) Karaoke equipment
JP2950086B2 (en) BGM editing device and BGM music composition recording system
JPH11126066A (en) Av synchronizing device, and av synchronizing method, and recording medium recorded with av synchronizing program
JP3363390B2 (en) Editing device for lyrics subtitle data
JP4422538B2 (en) Sound playback device
KR200214587Y1 (en) Computer music cycle with animation speed control
JP4685226B2 (en) Automatic performance device for waveform playback
JP2007093658A (en) Audio device and karaoke machine
JP2003208169A (en) Multi-media system, reproducing apparatus and reproducing/recording apparatus
JP3867579B2 (en) Multimedia system and playback apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050510

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050822

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090909

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100909

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100909

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110909

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120909

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130909

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees