JP2020109918A - 映像制御システム、及び映像制御方法 - Google Patents

映像制御システム、及び映像制御方法 Download PDF

Info

Publication number
JP2020109918A
JP2020109918A JP2019000686A JP2019000686A JP2020109918A JP 2020109918 A JP2020109918 A JP 2020109918A JP 2019000686 A JP2019000686 A JP 2019000686A JP 2019000686 A JP2019000686 A JP 2019000686A JP 2020109918 A JP2020109918 A JP 2020109918A
Authority
JP
Japan
Prior art keywords
video
information
performance
reproduction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019000686A
Other languages
English (en)
Other versions
JP7226709B2 (ja
Inventor
陽 前澤
Akira Maezawa
陽 前澤
田邑　元一
Genichi Tamura
元一 田邑
藤島　琢哉
Takuya Fujishima
琢哉 藤島
孝司 桐山
Takashi Kiriyama
孝司 桐山
乃梨子 越田
Noriko KOSHIDA
乃梨子 越田
寿行 桑原
Toshiyuki Kuwabara
寿行 桑原
晃代 上平
Teruyo UEHIRA
晃代 上平
涼彌 薄羽
Ryoya USUHA
涼彌 薄羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Tokyo University of the Arts NUC
Original Assignee
Yamaha Corp
Tokyo University of the Arts NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp, Tokyo University of the Arts NUC filed Critical Yamaha Corp
Priority to JP2019000686A priority Critical patent/JP7226709B2/ja
Priority to CN201980087885.4A priority patent/CN113272890B/zh
Priority to PCT/JP2019/051566 priority patent/WO2020145209A1/ja
Publication of JP2020109918A publication Critical patent/JP2020109918A/ja
Priority to US17/367,925 priority patent/US20210335331A1/en
Application granted granted Critical
Publication of JP7226709B2 publication Critical patent/JP7226709B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/056—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Auxiliary Devices For Music (AREA)
  • Television Signal Processing For Recording (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することができる映像制御システムを提供することである。【解決手段】楽曲の演奏を表す音響信号を学習済みモデルに入力することにより、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定部と、ユーザによる操作であって、映像を再生する操作を表す操作情報を取得する取得部と、前記推定部により推定された前記演奏情報に基づいて前記映像の再生を制御する映像制御部と、を備え、前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する。【選択図】図１

Description

本発明は、映像制御システム、及び映像制御方法に関する。
従来、イベント会場などにおいては楽曲に合わせて映像を流すことで効果的な映像演出を実現している。例えば、特許文献１には、映像の再生順などの編集をユーザが直観的に行うことができる技術が開示されている。
特開２０１０−１４１４６１号公報
しかしながら、コンサートなどのイベントの場合、生演奏に合わせて映像を制御しなければならない。生演奏においては演奏者が楽譜通りに演奏することは稀であり、テンポが遅くなったり早くなったりすることがある。このような生演奏に合わせて映像を制御するには特別な訓練や技術が必要である。つまり、技術を有していないユーザにとって生演奏に合わせて映像を制御することは困難であった。
本発明は、このような状況に鑑みてなされたもので、その目的は、特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することができる映像制御システムを提供することである。
上述した課題を解決するために、本発明の一態様は、楽曲の演奏を表す音響信号を学習済みモデルに入力することにより、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定部と、ユーザによる操作であって、映像を再生する操作を表す操作情報を取得する取得部と、前記推定部により推定された前記演奏情報に基づいて前記映像の再生を制御する映像制御部と、を備え、前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する映像制御システムである。
また、本発明の一態様は、推定部が、楽曲の演奏を表す音響信号を学習済みモデルに入力することにより、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定過程と、取得部が、ユーザによる操作であって、映像を再生する操作を表す操作情報を取得する取得過程と、映像制御部が、前記推定部により推定された前記演奏情報に基づいて前記映像の再生を制御する映像制御過程と、を含み、前記映像制御過程において、前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する、映像制御方法である。
本発明によれば、特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することができる。
実施形態の映像制御システム１の構成例を示すブロック図である。 実施形態の演奏解析装置２０の構成例を示すブロック図である。 実施形態の映像制御装置３０の構成例を示すブロック図である。 実施形態の映像メタ情報記憶部３０４に記憶される情報の例を示す図である。 実施形態の表示部３０２における表示の例を示す図である。 実施形態の映像制御装置３０の動作を説明する図である。 実施形態の映像制御システム１の動作の流れを示すシーケンス図である。
以下、本発明の実施形態を、図面を参照して説明する。
図１は、実施形態の映像制御システム１の構成例を示すブロック図である。映像制御システム１は、例えば、収音装置１０と、演奏解析装置２０と、映像制御装置３０と、映像出力装置４０と、入力装置５０とを備える。
収音装置１０は、演奏者による楽器の演奏や歌唱を収音して音響信号Ａを生成する。例えば、収音装置１０は、マイクロホンである。収音装置１０は、演奏解析装置２０と接続しており、演奏解析装置２０に、生成した音響信号Ａを出力する。なお、演奏者が電子楽器にて演奏する場合には、電子楽器から出力される演奏信号を、直接、演奏解析装置２０に出力するように構成されてもよく、この場合、収音装置１０は省略することが可能である。例えば、演奏信号は、ＭＩＤＩ信号である。
なお、以下の説明では、演奏に歌唱等の実演を含むものとする。
演奏解析装置２０は、収音装置１０から取得した音響信号Ａを解析することで音響信号Ａの演奏に関する演奏情報Ｂを推定する。この解析には、例えば、特開２０１５−７９１８３号公報記載の技術が用いられる。演奏情報Ｂは、演奏に関係する情報であればよく、例えば、演奏の位置、又は演奏の速度を示す情報である。演奏解析装置２０は、映像制御装置３０と接続しており、映像制御装置３０に推定した演奏情報Ｂを出力する。
なお、演奏解析装置２０は、電子楽器から取得した演奏信号を解析することで演奏情報Ｂを推定してもよい。
入力装置５０は、映像制御装置３０と接続し、後述する映像制御装置３０の表示部３０２（図５参照）に表示される内容に対して、ユーザにより操作入力される内容を取得する装置である。例えば、入力装置５０は、マウス、キーボード、タッチパネルなどの装置である。入力装置５０は、ユーザにより操作入力された内容を取得し、取得した内容に基づいて操作情報Ｄを生成する。操作情報Ｄは、ユーザによる表示部３０２に表示された内容に対する操作を示す情報であって、例えば、映像制御装置３０が制御する映像の再生位置や再生速度を指定する情報である。入力装置５０は、映像制御装置３０に生成した操作情報Ｄを出力する。
映像制御装置３０は、演奏解析装置２０から取得した演奏情報Ｂ、又は、入力装置５０から取得した操作情報Ｄに基づいて、映像出力装置４０に出力させる映像の再生を制御する映像制御情報Ｃを生成する。映像制御情報Ｃは、映像の再生を制御する情報であって、例えば、映像の再生位置や再生速度を表す情報である。映像制御装置３０は、映像出力装置４０と接続しており、映像出力装置４０に生成した映像制御情報Ｃを出力する。
ここで、映像制御システム１においては、映像制御装置３０は、機械による情報（演奏解析装置２０による演奏情報Ｂ）よりも、ユーザによる操作（入力装置５０からの操作情報Ｄ）を優先させて、映像の再生を制御する。具体的に、映像制御装置３０は、演奏情報Ｂに基づいて映像の再生を制御する際に、操作情報Ｄが入力された場合、操作情報Ｄに基づいて映像の再生を制御する。これにより、ユーザは、例えば、通常の場合は機械により生演奏の演奏速度に映像の再生速度を合わせることができる。一方、ユーザは、楽曲のクライマックスなどの重要なフレーズ（決めの場面）では、ユーザ自らの操作により映像を制御して効果的な映像演出を実現することが可能である。
映像出力装置４０は、映像制御装置３０から取得した映像制御情報Ｃに基づいて、映像データＭを生成し、生成した映像データＭを、図示しないスクリーン等の表示装置に出力する。映像データＭは、表示装置に表示させる映像の情報である。
図２は、実施形態の演奏解析装置２０の構成例を示すブロック図である。演奏解析装置２０は、例えば、音響信号取得部２００と、演奏情報推定部２０１と、演奏情報出力部２０２と、楽曲データ記憶部２０３と、学習済みモデル記憶部２０４と、制御部２０５とを備える。ここで、演奏情報推定部２０１は、「推定部」の一例である。
音響信号取得部２００は、収音装置１０により出力された音響信号Ａを取得する。音響信号取得部２００は、取得した音響信号Ａを演奏情報推定部２０１に出力する。
演奏情報推定部２０１は、音響信号Ａを学習済みモデルに入力することにより、音響信号Ａの楽曲における演奏に関する演奏情報Ｂを推定する。演奏情報推定部２０１は、推定した演奏情報Ｂを演奏情報出力部２０２に出力する。
ここで、学習済みモデルは、学習に用いる演奏データである学習用演奏データと当該学習用演奏データが示す演奏位置との対応関係を、機械学習を実行することにより学習したモデルである。機械学習の技法としては、隠れマルコフモデル（ＨＭＭ）、ディープラーニング、リカレントニューラルネットワーク、畳み込みニューラルネットワーク、サポートベクタマシン（ＳＶＭ）、決定木学習、遺伝的プログラミング、などの一般的に用いられている技法のいずれが用いられてもよい。
例えば、学習済みモデルは、楽曲の音響信号を所定の周期で区分した演奏データ（学習用演奏データ）の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。学習済みモデルは、未学習の音響信号Ａが入力されると、音響信号Ａと学習済みの学習用演奏データとの類似度合いを算出する。類似度合いは、例えば、入力された音響信号Ａの特徴量をベクトル表現により数値化した値と、学習用演奏データの特徴量をベクトル表現により数値化した値との、ベクトル空間における距離として算出される。ベクトル空間における距離は、互いのベクトル表現により数値化した値の相関量に比例し、例えば、ベクトルの内積等により算出される。そして、学習済みモデルは、入力された音響信号Ａとのベクトル空間における距離が所定の閾値未満である、つまり類似している学習用演奏データに対応付けられた演奏位置を、音響信号Ａにおいて推定される演奏位置として出力する。
演奏情報推定部２０１が推定する演奏情報Ｂは、例えば、音響信号Ａが現に演奏している楽曲上の位置に関係する情報である。この場合、演奏情報Ｂは、楽曲に対応する楽譜における、演奏開始からの小節の数、拍目、ティック等を示す情報である。或いは、演奏情報Ｂは、楽譜に示された速度（速度記号や速度用語により示される速度）で演奏が行われた場合における、演奏開始時点から演奏位置に到達するまでの時間を、演奏位置として示した情報であってもよい。この場合、演奏情報推定部２０１は、推定した演奏位置に基づいて、楽曲データ記憶部２０３を参照し、楽曲に対応する楽譜において示された速度を取得する。演奏情報推定部２０１は、取得した楽譜上の速度を用いて、演奏位置を演奏開始時点から演奏位置に到達するまでの時間に換算した演奏情報Ｂを導出する。
また、演奏情報Ｂは、演奏の速度を表す演奏速度であってもよい。この場合、演奏情報推定部２０１は、演奏位置を時間微分することにより演奏速度を導出してもよいし、学習用演奏データに当該学習用演奏データの演奏速度を対応付けたデータを学習データとして学習させた学習済みモデルを用いて演奏速度を推定するようにしてもよい。
演奏情報推定部２０１は、映像制御装置３０から再生情報を取得した場合、再生情報を用いて、演奏情報Ｂを再生情報に対応する内容に設定する。再生情報は、映像制御装置３０が、現在、映像を再生している位置（再生位置）、又は再生速度を示す情報である。これにより、演奏情報推定部２０１により推定した演奏情報Ｂが、実際の演奏位置から外れている場合に、正しい演奏位置に設定し直すことが可能である。
演奏情報出力部２０２は、演奏情報推定部２０１により推定された演奏情報Ｂを映像制御装置３０に出力する。
楽曲データ記憶部２０３は、演奏者が演奏する楽曲の楽譜に相当する楽曲データを記憶する。楽曲データは、楽曲を構成する音符の各々について音高と音量と発音期間とが示された時系列データであり、例えば、ＭＩＤＩ形式のファイル（ＳＭＦ、Standard MIDI File）である。
学習済みモデル記憶部２０４は、学習済みモデルを記憶する。
制御部２０５は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、演奏解析装置２０の各要素を統括的に制御する。
なお、演奏解析装置２０とは別体の記憶装置（例えばクラウドストレージ）を用意し、移動体通信網またはインターネット等の通信網を介して制御部２０５が、楽曲データ記憶部２０３、及び学習済みモデル記憶部２０４に記憶する情報を書込みしたり読み出したりする構成とすることも可能である。この場合、楽曲データ記憶部２０３、及び学習済みモデル記憶部２０４は省略することが可能である。
図３は、実施形態の映像制御装置３０の構成例を示すブロック図である。映像制御装置３０は、例えば、演奏情報取得部３００と、操作情報取得部３０１と、表示部３０２と、映像制御部３０３と、映像メタ情報記憶部３０４と、制御部３０５とを備える。ここで、映像メタ情報記憶部３０４は、「記憶部」の一例である。
演奏情報取得部３００は、演奏解析装置２０から演奏情報Ｂを取得する。操作情報取得部３０１は、取得した演奏情報Ｂを映像制御部３０３に出力する。
操作情報取得部３０１は、入力装置５０から操作情報Ｄを取得する。操作情報取得部３０１は、取得した操作情報Ｄを映像制御部３０３に出力する。
表示部３０２は、例えば、液晶ディスプレイであり、ユーザが映像の再生を操作する際のメニュー画面、操作画面、設定画面などを表示する。
映像制御部３０３は、演奏情報Ｂ、又は操作情報Ｄに基づいて、映像の再生を制御する。映像制御部３０３は、例えば、ユーザにより予め設定された内容に応じて、演奏者が演奏する楽曲の区間ごとに、演奏情報Ｂ、又は操作情報Ｄに基づいて映像の再生を制御する。
映像制御部３０３は、演奏情報Ｂに基づいて映像を制御する区間においては、演奏情報Ｂに対応する、映像位置及び映像速度を指定する映像制御情報Ｃを生成する。
映像制御部３０３は、操作情報Ｄに基づいて映像を制御する区間においては、操作情報Ｄに示される映像位置又は／及び映像速度に対応する映像制御情報Ｃを生成する。
ここで、映像制御部３０３は、演奏情報Ｂに基づいて映像を制御する際に、操作情報取得部３０１から操作情報Ｄを取得した場合、操作情報Ｄに基づく制御に切り替える。つまり、映像制御部３０３は、機械による制御（演奏情報Ｂに基づく制御）を行っている場合であっても、ユーザによる制御（操作情報Ｄに基づく制御）が操作された場合には、ユーザによる制御を優先させる。
映像制御部３０３は、操作情報Ｄに基づいて映像を制御する際に、ユーザにより演奏情報Ｂに基づいて制御する旨を指示する操作がなされた場合、演奏情報Ｂに基づく制御に切り替える。つまり、映像制御部３０３は、ユーザによる指示（演奏情報Ｂ又は操作情報Ｄに基づく制御をする旨の指示）がなされた場合には、ユーザによる指示に従う。
映像制御部３０３は、操作情報Ｄに基づく制御の際に、指示情報が操作情報取得部３０１に取得された場合、演奏解析装置２０の演奏情報推定部２０１に、再生情報を出力する。指示情報は、演奏情報Ｂに基づいて映像の再生を制御する旨の指示を示す情報である。再生情報は、現在、映像を再生している位置（再生位置）、又は再生速度を示す情報である。これにより、機械側の制御に切替わった際に映像の再生位置や再生速度が変化してしまうことがなく滑らかな切替えを行うことが可能である。
映像制御部３０３は、操作情報Ｄに基づく制御の際に、映像メタ情報を用いる。映像メタ情報は、映像メタ情報記憶部３０４に記憶される情報である。
映像メタ情報は、ユーザが操作の対象とする対象映像とその対象映像における再生の内容を示すメタ情報とを対応付けた情報である。
メタ情報は、再生の内容を示す情報であって、例えば、再生の有無、停止の有無、ジャンプカットの有無、ループの有無などである。再生の有無は、対象映像を表示させた後にその映像から再生位置を進める（再生する）か否かを示す情報である。停止の有無は対象映像を表示させた後にその映像を停止させたままとするか否かを示す情報である。ジャンプカットは対象映像を表示させる際に、現在再生している画像から直接対象画像を表示させ、その間の映像を飛ばす（ジャンプカット）するか否かを示す情報である。ループの有無は、対象映像を再生し終えた際に、再度対象映像の再生を繰り返す（ループ）するか否かを示す情報である。
映像メタ情報記憶部３０４は、映像メタ情報を記憶する。
制御部３０５は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、映像制御装置３０の各要素を統括的に制御する。
図４は、実施形態の映像メタ情報記憶部３０４に記憶される映像メタ情報の例を示す図である。映像メタ情報は、例えば、項目、秒数、マーカ情報ＲＧＢ、再生、停止、ジャンプカット、ループ、ＡＩ適用などの各項目を備える。
項目は、映像メタ情報として登録された内容に付された番号である。秒数は、映像の位置を映像開始時点から経過時間［秒］により示す情報である。マーカ情報ＲＧＢは、操作の表示画面（図５参照）に登録した映像のサムネイル（図５の画像Ｇ６〜Ｇ９）の枠に付す色をＲＧＢ値で示す情報である。これにより登録する映像が多くなる場合であっても、操作対象とする所望の映像のサムネイルを、ユーザが見分け易くすることが可能である。
再生は登録した映像を表示させた後に再生するか否かを示す情報である。停止は登録した映像を表示させた後に停止するか否かを示す情報である。ジャンプカットは登録した映像を表示させる際に間の映像をカットするか否かを示す情報である。ループは登録した映像を再生し終えた際に再度の再生を行うか否かを示す情報である。ＡＩ適用は機械（演奏解析装置２０）による映像制御を適用するか否かを示す情報である。
この例では、映像の開始時点（０秒後）、１秒後、６３０．８秒後、１２７４．５０秒後…の映像がそれぞれ登録されている。また、０秒後の映像は再生され、再生の制御にＡＩは適用しないが、０秒後の映像は停止され、再生の制御にＡＩが適用されることが示されている。
図５は、実施形態の表示部３０２における表示の例を示す図である。この図の例に示すように、表示部３０２は、例えば、画像Ｇ１〜Ｇ９を表示する。
画像Ｇ１は、ＡＩの適用、つまり演奏解析装置２０による映像制御を適用するか否かを操作する操作ボタンである。画像Ｇ２は、映像の再生を制御する操作ボタンである。画像Ｇ２には再生、停止、早送り、及び巻き戻しなどの操作ボタンが設けられる。画像Ｇ３は再生速度を変更するスライドバー（ツマミ）である。スライドバーの画像Ｇ３０を上下方向に移動させる操作を行うことにより再生速度が変化する。例えば、画像Ｇ３０を上方向に移動させると再生速度が速くなり、画像Ｇ３０を下方向に移動させると再生速度が遅くなる。
画像Ｇ４は、再生中の画像が表示される再生画面である。画像Ｇ５は、映像メタ情報として登録された映像に切り替える操作を行うための画像である。画像Ｇ６〜Ｇ９は、映像メタ情報として登録された映像の各々の先頭に位置する映像のサムネイル画像である。画像Ｇ６は映像の開始時点から０秒後の映像である。画像Ｇ７は映像の開始時点から１秒後の映像である。画像Ｇ８は映像の開始時点から６３０．８０秒後の映像である。画像Ｇ９は映像の開始時点から１２７４．５０秒後の映像である。
図６は、実施形態の映像制御装置３０の動作を説明する図である。
演奏情報取得部３００により取得された演奏情報Ｂは、映像制御部３０３のセレクタ３０３Ａに入力される。
また、操作情報取得部３０１により取得された、映像の再生速度を変更する操作（スライドバーの画像Ｇ３０を移動させる操作）を示す操作信号は、セレクタ３０３Ａに入力される。また、この操作信号は、ＡＩをＯＦＦする操作示す操作信号に変換され、ＡＩ適用を操作（画像Ｇ１をクリックする操作）に変換される。この変換された操作は、ＡＩをＯＦＦする操作を示す操作信号として、セレクタ３０３Ａに入力される。この操作信号はセレクタ３０３Ａの選択制御を示す信号として、入力される。つまり、ＡＩをＯＦＦする操作を示す操作信号がセレクタ３０３Ａに入力されると、セレクタ３０３Ａからは操作信号が出力される。
セレクタ３０３Ａから出力された操作信号は、映像制御部３０３の機能部３０３Ｂに入力される。機能部３０３Ｂは、再生速度を制御する機能部である。機能部３０３Ｂは、操作信号から映像制御情報Ｃ（再生速度制御情報）を生成して映像出力装置４０に出力する。また、機能部３０３Ｂは、生成した映像制御情報Ｃ（演奏位置指定情報）を演奏解析装置２０に出力（フィードバック）する。この例に示すように、機能部３０３Ｂは、ユーザによる手動の操作に切替えられた際に、周期的に映像制御情報Ｃ（演奏位置指定情報）を演奏解析装置２０にフィードバックしてもよい。
一方、操作情報取得部３０１により取得された、映像の切り替えるシーン切替画面の操作（画像Ｇ６〜Ｇ９をクリックする操作）を示す操作信号は、映像制御部３０３の機能部３０３Ｃに入力される。機能部３０３Ｃは、再生位置を制御する機能部である。機能部３０３Ｃは、入力された操作信号から映像制御情報Ｃ（再生位置制御情報）を生成して映像出力装置４０に出力する。また、機能部３０３Ｃは、生成した映像制御情報Ｃ（演奏位置指定情報）を演奏解析装置２０に出力（フィードバック）する。この例に示すように、機能部３０３Ｃは、ユーザにより映像が切替えられた際に、周期的に映像制御情報Ｃ（演奏位置指定情報）を演奏解析装置２０にフィードバックしてもよい。
図７は、実施形態の映像制御システム１の動作の流れを示すシーケンス図である。
まず、収音装置１０は演奏の音を収音し（ステップＳ１０）、収音した音を用いて音響信号Ａを生成する（ステップＳ１１）。収音装置１０は、生成した音響信号Ａを演奏解析装置２０に出力する。
演奏解析装置２０は、収音装置１０より音響信号Ａを取得し（ステップＳ１２）、取得した音響信号Ａを学習済みモデルに入力する（ステップＳ１３）。演奏解析装置２０は、学習済みモデルからの出力を、音響信号Ａにおいて推定された演奏情報Ｂとする（ステップＳ１４）。演奏解析装置２０は、推定した演奏情報Ｂを映像制御装置３０に出力する。
映像制御装置３０は、演奏解析装置２０より演奏情報Ｂを取得し（ステップＳ１５）、取得した演奏情報Ｂに基づいて映像の再生を制御する（ステップＳ１６）。
一方、入力装置５０には、ユーザの操作による入力を示す入力情報が入力される（ステップＳ１７）。入力装置５０は、入力情報を用いて操作情報Ｄを生成する（ステップＳ１８）。入力装置５０は、生成した操作情報Ｄを映像制御装置３０に出力する。
映像制御装置３０は、入力装置５０から操作情報Ｄを取得すると（ステップＳ１９）、映像の制御を切り替え、操作情報Ｄに基づいて映像の再生の制御を行う（ステップＳ２０）。
以上説明したように、第１の実施形態の映像制御システム１は、楽曲の演奏を表す音響信号Ａを、学習済みモデルに入力することにより、音響信号Ａにおける楽曲における演奏に関する演奏情報Ｂを推定する演奏情報推定部２０１（「推定部」の一例）と、ユーザによる操作であって、映像を再生する操作を表す操作情報Ｄを取得する操作情報取得部３０１（「取得部」の一例）と、演奏情報推定部２０１により推定された演奏情報Ｂ、又は操作情報取得部３０１により取得された操作情報Ｄに基づいて映像の再生を制御する映像制御部３０３と、を備え、映像制御部３０３は、操作情報取得部３０１により操作情報Ｄが取得された場合、操作情報Ｄに基づいて映像の再生を制御する。
これにより、第１の実施形態の映像制御システム１は、演奏情報に応じて映像を制御することができ、特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することが可能である。また、ユーザからの操作情報Ｄが取得された場合には、操作情報Ｄに基づいて映像の再生を制御することができるため、楽曲のクライマックスなどの重要なフレーズ（決めの場面）や収音装置１０が故障して演奏解析装置２０に音響信号Ａが入力されない等の不測の事態において、ユーザの手動により映像を制御することができ、より効果的な映像演出を実現することが可能である。
また、第１の実施形態の映像制御システム１では、学習済みモデルは、学習に用いる演奏データである学習用演奏データと当該学習用演奏データが示す演奏の位置又は速度との対応関係を、機械学習を実行することにより学習したモデルであり、演奏情報推定部２０１は、音響信号Ａにおける楽曲における演奏の位置又は速度に関する演奏情報Ｂを推定する。これにより、第１の実施形態の映像制御システム１は、演奏情報に示される演奏の位置や素度に応じて、映像の再生位置や再生速度を制御することができ、例えば、生演奏の演奏速度（テンポ）が遅くなったり早くなったりする場合であっても、映像の再生速度を生演奏の演奏速度に合わせることができる。
また、第１の実施形態の映像制御システム１では、映像制御部３０３は、操作情報Ｄに基づいて映像の再生を制御する際に、演奏情報に基づいて映像の再生を制御する旨を指示する指示情報が操作情報取得部３０１により取得された場合、演奏情報推定部２０１に映像における再生の速度に関する再生情報を出力し、演奏情報推定部２０１は、映像制御部３０３から取得した再生情報を用いて、演奏情報を再生情報に対応する内容に設定する。
これにより、第１の実施形態の映像制御システム１では、ユーザの手動による映像の制御から、機械（演奏情報推定部２０１）による制御に戻すことができ、機械に制御を戻す際に現在の再生速度や再生位置を機械側に通知することで、機械側の制御に切替わった際に映像の再生位置や再生速度が変化してしまうことがなく滑らかな切替えを行うことが可能である。
また、第１の実施形態の映像制御システム１では、操作の対象である対象映像と対象映像における再生の内容を示すメタ情報とを対応付けた情報を記憶する映像メタ情報記憶部３０４、を更に備え、操作情報Ｄは、対象映像を示す情報であり、映像制御部３０３は、操作情報Ｄとしての対象映像を示す情報が操作情報取得部３０１により取得された場合、対象映像を表示させると共に、映像メタ情報記憶部３０４に記憶された情報に基づいて対象映像を表示させた後の映像の再生を制御する。これにより、第１の実施形態の映像制御システム１では、ユーザが手動により映像を制御する場合に、表示させたい映像（対象映像）に対応付けて、映像を表示させた後の再生の内容（例えば、待機する、所定の映像区間の再生を繰り返す（ループする）など）をメタ情報として記録させる（登録する）ことができるために、ユーザは、予め登録した映像を選択しさえすれば、メタ情報に登録した通りに映像を再生させることができ、映像を停止させたりループさせたりする操作を行う必要がないため再生速度の調整に集中することができる。
また、第１の実施形態の映像制御システム１では、演奏情報推定部２０１を有し、演奏情報を送信する演奏解析装置２０と、操作情報取得部３０１と映像制御部３０３とを有し、演奏情報Ｂを受信する映像制御装置３０と、を備える構成としてもよい。これにより、上述した効果と同様の効果を奏する。
（実施形態の変形例）
次に、実施形態の変形例について説明する。本変形例では、演奏解析装置２０は、学習済みモデル記憶部２０４に複数の学習済みモデルを記憶させる点において、上述した実施形態と相違する。
複数の学習済みモデルの各々は、楽曲の種別ごとに異なる学習データを用いて学習させたモデルである。楽曲の種別は、演奏のスタイルが異なるジャンルであり、例えば、オーケストラ、室内楽、歌唱、ロックなどである。
複数の学習済みモデルのうち、ある学習済みでモデルは、様々なオーケストラによる演奏を所定の周期で区分した演奏データ（学習用演奏データ）の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。また、複数の学習済みモデルのうち、別の学習済みでモデルは、様々な室内楽による演奏を所定の周期で区分した演奏データ（学習用演奏データ）の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。歌唱やロックなどのジャンルについても同様である。
本変形例では、このように楽曲のジャンル（種別）に応じた学習データを用いて学習させた、複数の互いに学習内容の異なる学習済みモデルを用いる。
そして、演奏者が演奏する楽曲のジャンルに応じて、推定に用いる学習済みモデルを切り替える。例えば、演奏者がオーケストラを演奏する場合、オーケストラの演奏を学習した学習済みモデルを用いる。演奏者が室内楽を演奏する場合、室内楽の演奏を学習した学習済みモデルを用いる。歌唱やロックなどのジャンルについても同様である。
以上説明したように、第１の実施形態の変形例の映像制御システム１では、学習済みモデルは、楽曲の種別に応じて複数設けられ、演奏情報推定部２０１は、音響信号Ａに対応する楽曲の種別に応じた学習済みモデルを用いて演奏情報Ｂを推定する。これにより、第１の実施形態の変形例の映像制御システム１では、演奏させる楽曲の種別（ジャンル）に応じた学習済みモデルを用いて演奏情報Ｂを推定することができ、オーケストラや、室内楽、ロック、歌唱などの各々のジャンルに特有の特徴（例えば、演奏中のテンポが変化しやすい、或いは変化し難いなど）を反映させた演奏情報Ｂを推定することができ、映像の再生を、演奏される楽曲によりマッチさせることが可能となる。
上述した実施形態における映像制御システム１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１…映像制御システム、２０…演奏解析装置、２００…音響信号取得部、２０１…演奏情報推定部、２０２…演奏情報出力部、２０３…楽曲データ記憶部、２０４…学習済みモデル記憶部、２０５…制御部、３０…映像制御装置、３００…演奏情報取得部、３０１…操作情報取得部、３０２…表示部、３０３…映像制御部、３０４…映像メタ情報記憶部、３０５…制御部

Claims (7)

  1. 楽曲の演奏を表す音響信号を学習済みモデルに入力することにより、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定部と、
    ユーザによる操作であって、映像を再生する操作を表す操作情報を取得する取得部と、
    前記推定部により推定された前記演奏情報に基づいて前記映像の再生を制御する映像制御部と、
    を備え、
    前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する、
    映像制御システム。
  2. 前記学習済みモデルは、学習に用いる演奏データである学習用演奏データと当該学習用演奏データに示された楽曲における演奏の位置又は速度との対応関係を、機械学習を実行することにより学習したモデルであり、
    前記推定部は、前記音響信号の前記楽曲における演奏の位置又は速度に関する演奏情報を推定する
    請求項１に記載の映像制御システム。
  3. 前記映像制御部は、前記操作情報に基づいて前記映像の再生を制御する際に、前記演奏情報に基づいて前記映像の再生を制御する旨を指示する指示情報が前記取得部に取得された場合、前記推定部に前記映像の再生の位置に関する再生情報を出力し、
    前記推定部は、前記映像制御部から取得した前記再生情報を用いて、前記演奏情報を前記再生情報に対応する内容に設定する、
    請求項１又は請求項２に記載の映像制御システム。
  4. 操作の対象である対象映像と前記対象映像における再生の内容を示すメタ情報とを対応付けた情報を記憶する映像メタ情報記憶部、を更に備え、
    前記操作情報は、前記対象映像を示す情報であり、
    前記映像制御部は、前記操作情報としての前記対象映像を示す情報が前記取得部に取得された場合、前記対象映像を表示させると共に、前記映像メタ情報記憶部に記憶された情報に基づいて前記対象映像を表示させた後の映像の再生を制御する、
    請求項１から請求項３の何れか一項に記載の映像制御システム。
  5. 前記学習済みモデルは、楽曲の種別に応じて複数設けられ、
    前記推定部は、前記音響信号に対応する楽曲の種別に応じた前記学習済みモデルを用いて前記演奏情報を推定する、
    請求項１から請求項４の何れか一項に記載の映像制御システム。
  6. 前記推定部を有し、前記演奏情報を送信する演奏解析装置と、
    前記取得部と前記映像制御部とを有し、前記演奏情報を受信する映像制御装置と、
    を備える請求項１から請求項５の何れか一項に記載の映像制御システム。
  7. 推定部が、楽曲の演奏を表す音響信号を学習済みモデルに入力することにより、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定過程と、
    取得部が、ユーザによる操作であって、映像を再生する操作を表す操作情報を取得する取得過程と、
    映像制御部が、前記推定部により推定された前記演奏情報に基づいて前記映像の再生を制御する映像制御過程と、
    を含み、
    前記映像制御過程において、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する、
    映像制御方法。
JP2019000686A 2019-01-07 2019-01-07 映像制御システム、及び映像制御方法 Active JP7226709B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019000686A JP7226709B2 (ja) 2019-01-07 2019-01-07 映像制御システム、及び映像制御方法
CN201980087885.4A CN113272890B (zh) 2019-01-07 2019-12-27 影像控制系统及影像控制方法
PCT/JP2019/051566 WO2020145209A1 (ja) 2019-01-07 2019-12-27 映像制御システム、及び映像制御方法
US17/367,925 US20210335331A1 (en) 2019-01-07 2021-07-06 Image control system and method for controlling image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019000686A JP7226709B2 (ja) 2019-01-07 2019-01-07 映像制御システム、及び映像制御方法

Publications (2)

Publication Number Publication Date
JP2020109918A true JP2020109918A (ja) 2020-07-16
JP7226709B2 JP7226709B2 (ja) 2023-02-21

Family

ID=71521699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019000686A Active JP7226709B2 (ja) 2019-01-07 2019-01-07 映像制御システム、及び映像制御方法

Country Status (4)

Country Link
US (1) US20210335331A1 (ja)
JP (1) JP7226709B2 (ja)
CN (1) CN113272890B (ja)
WO (1) WO2020145209A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210335331A1 (en) * 2019-01-07 2021-10-28 Yamaha Corporation Image control system and method for controlling image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024040194A1 (en) 2022-08-17 2024-02-22 Capstan Therapeutics, Inc. Conditioning for in vivo immune cell engineering

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233698A (ja) * 2003-01-30 2004-08-19 Ricoh Co Ltd 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム
JP2008097021A (ja) * 2001-05-10 2008-04-24 Yamaha Corp 動画再生装置
JP2008145973A (ja) * 2006-12-13 2008-06-26 Yamaha Corp コンテンツ再生装置
JP2010122630A (ja) * 2008-11-21 2010-06-03 Sony Corp 情報処理装置、音声解析方法、及びプログラム
JP2010521021A (ja) * 2007-02-14 2010-06-17 ミューズアミ， インコーポレイテッド 楽曲ベースの検索エンジン
JP2017044765A (ja) * 2015-08-25 2017-03-02 ヤマハ株式会社 映像提供装置、映像提供システム及びプログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221852B2 (en) * 2001-05-10 2007-05-22 Yamaha Corporation Motion picture playback apparatus and motion picture playback method
JP3663626B2 (ja) * 2001-09-18 2005-06-22 ソニー株式会社 ビデオ信号処理装置および方法、プログラム、情報記録媒体、並びにデータ構造
US7897865B2 (en) * 2002-01-15 2011-03-01 Yamaha Corporation Multimedia platform for recording and/or reproducing music synchronously with visual images
JP3982443B2 (ja) * 2003-03-31 2007-09-26 ソニー株式会社 テンポ解析装置およびテンポ解析方法
JP4940588B2 (ja) * 2005-07-27 2012-05-30 ソニー株式会社 ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法
JP4321518B2 (ja) * 2005-12-27 2009-08-26 三菱電機株式会社 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置
CN1953044B (zh) * 2006-09-26 2011-04-27 中山大学 一种基于midi文件的乐器演奏提示和检测系统及方法
EP3654271A1 (en) * 2008-02-20 2020-05-20 JAMMIT, Inc. System for learning and mixing music
CN201294089Y (zh) * 2008-11-17 2009-08-19 音乐传奇有限公司 互动音乐演奏设备
JP5625235B2 (ja) * 2008-11-21 2014-11-19 ソニー株式会社 情報処理装置、音声解析方法、及びプログラム
JP2010141461A (ja) * 2008-12-10 2010-06-24 Panasonic Corp 映像編集装置
US8629342B2 (en) * 2009-07-02 2014-01-14 The Way Of H, Inc. Music instruction system
JP5382361B2 (ja) * 2010-05-11 2014-01-08 ブラザー工業株式会社 楽曲演奏装置
JP5842383B2 (ja) * 2011-05-16 2016-01-13 ヤマハ株式会社 カラオケシステム及びカラオケ装置
JP2013171070A (ja) * 2012-02-17 2013-09-02 Pioneer Electronic Corp 楽曲情報処理装置及び楽曲情報処理方法
JP2013231951A (ja) * 2012-04-06 2013-11-14 Yamaha Corp 音響データ処理装置および音響データ通信システム
JP6187132B2 (ja) * 2013-10-18 2017-08-30 ヤマハ株式会社 スコアアライメント装置及びスコアアライメントプログラム
US9754503B2 (en) * 2014-03-24 2017-09-05 Educational Testing Service Systems and methods for automated scoring of a user's performance
JP6627325B2 (ja) * 2014-10-17 2020-01-08 ヤマハ株式会社 音響システム及び音響装置
US9721551B2 (en) * 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
EP3489945B1 (en) * 2016-07-22 2021-04-14 Yamaha Corporation Musical performance analysis method, automatic music performance method, and automatic musical performance system
US10629223B2 (en) * 2017-05-31 2020-04-21 International Business Machines Corporation Fast playback in media files with reduced impact to speech quality
CN107464572B (zh) * 2017-08-16 2020-10-16 重庆科技学院 多模式交互音乐感知系统及其控制方法
CN107770596A (zh) * 2017-09-25 2018-03-06 北京达佳互联信息技术有限公司 一种特效同步方法、装置及移动终端
CN108806657A (zh) * 2018-06-05 2018-11-13 平安科技（深圳）有限公司 音乐模型训练、音乐创作方法、装置、终端及存储介质
JP7226709B2 (ja) * 2019-01-07 2023-02-21 ヤマハ株式会社 映像制御システム、及び映像制御方法
CN114402387A (zh) * 2019-09-27 2022-04-26 雅马哈株式会社 音响处理方法及音响处理系统
US11166050B2 (en) * 2019-12-11 2021-11-02 At&T Intellectual Property I, L.P. Methods, systems, and devices for identifying viewed action of a live event and adjusting a group of resources to augment presentation of the action of the live event
US20220036866A1 (en) * 2020-07-31 2022-02-03 Yamaha Corporation Reproduction control method, reproduction control system, and reproduction control apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097021A (ja) * 2001-05-10 2008-04-24 Yamaha Corp 動画再生装置
JP2004233698A (ja) * 2003-01-30 2004-08-19 Ricoh Co Ltd 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム
JP2008145973A (ja) * 2006-12-13 2008-06-26 Yamaha Corp コンテンツ再生装置
JP2010521021A (ja) * 2007-02-14 2010-06-17 ミューズアミ， インコーポレイテッド 楽曲ベースの検索エンジン
JP2010122630A (ja) * 2008-11-21 2010-06-03 Sony Corp 情報処理装置、音声解析方法、及びプログラム
JP2017044765A (ja) * 2015-08-25 2017-03-02 ヤマハ株式会社 映像提供装置、映像提供システム及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210335331A1 (en) * 2019-01-07 2021-10-28 Yamaha Corporation Image control system and method for controlling image

Also Published As

Publication number Publication date
JP7226709B2 (ja) 2023-02-21
WO2020145209A1 (ja) 2020-07-16
US20210335331A1 (en) 2021-10-28
CN113272890B (zh) 2024-06-18
CN113272890A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
JP5842545B2 (ja) 発音制御装置、発音制御システム、プログラム及び発音制御方法
CN1808566B (zh) 重放装置和方法
WO2016121921A1 (ja) コンピュータグラフィックスのデータ構造、情報処理装置、情報処理方法及び情報処理システム
WO2005093529A1 (ja) テンポの変化に対応するメトロノーム
JP2009025406A (ja) 楽曲加工装置およびプログラム
WO2017028686A1 (zh) 一种信息处理方法、终端设备及计算机存储介质
WO2004057571A1 (ja) 楽音再生装置及び楽音再生プログラム
US20210335331A1 (en) Image control system and method for controlling image
JP5110706B2 (ja) 絵本画像再生装置、絵本画像再生方法、絵本画像再生プログラム及び記録媒体
JP5044503B2 (ja) 演出画像再生装置、演出画像再生方法、演出画像再生プログラム及び記録媒体
CN110959172B (zh) 演奏解析方法、演奏解析装置以及存储介质
JP2013024967A (ja) 表示装置、表示装置の制御方法およびプログラム
JP4891135B2 (ja) 評価装置
JP2002175071A (ja) 演奏ガイド方法、演奏ガイド装置および記録媒体
JP6110731B2 (ja) ジェスチャーによるコマンド入力識別システム
JP6065871B2 (ja) 演奏情報表示装置、および演奏情報表示プログラム
JPH10143151A (ja) 指揮装置
KR101790998B1 (ko) 악보전환방법 및 악보전환장치
JP2010008893A (ja) 電子音楽装置
Borchers et al. Engineering a realistic real-time conducting system for the audio/video rendering of a real orchestra
WO2023032137A1 (ja) データ変更方法、データ再生方法、プログラムおよびデータ変更装置
JP5095489B2 (ja) 演出画像作成装置、演出画像作成方法、演出画像作成プログラム及び記録媒体
WO2022249586A1 (ja) 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
KR102524870B1 (ko) 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체
JP5742472B2 (ja) データ検索装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230131

R150 Certificate of patent or registration of utility model

Ref document number: 7226709

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150