JP2015534151A - イベント配信情報を生成するシステム及び方法 - Google Patents

イベント配信情報を生成するシステム及び方法 Download PDF

Info

Publication number
JP2015534151A
JP2015534151A JP2015528859A JP2015528859A JP2015534151A JP 2015534151 A JP2015534151 A JP 2015534151A JP 2015528859 A JP2015528859 A JP 2015528859A JP 2015528859 A JP2015528859 A JP 2015528859A JP 2015534151 A JP2015534151 A JP 2015534151A
Authority
JP
Japan
Prior art keywords
event
time
audio file
computer
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015528859A
Other languages
English (en)
Inventor
サン，ホワンウェン
ウェン，ユニン
Original Assignee
テンセント テクノロジー （シェンジェン） カンパニー リミテッド
テンセント テクノロジー （シェンジェン） カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント テクノロジー （シェンジェン） カンパニー リミテッド, テンセント テクノロジー （シェンジェン） カンパニー リミテッド filed Critical テンセント テクノロジー （シェンジェン） カンパニー リミテッド
Publication of JP2015534151A publication Critical patent/JP2015534151A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/021—Background music, e.g. for video sequences or elevator music
    • G10H2210/026—Background music, e.g. for video sequences or elevator music for games, e.g. videogames
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/051—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or detection of onsets of musical sounds or notes, i.e. note attack timings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056—MIDI or other note-oriented file format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/311—MIDI transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

オーディオファイル及びイベント配信情報基づく複数のユーザ入力に対応する複数の制御イベントを使用してイベント配信情報を生成するためのコンピュータシステム及び方法が提供される。コンピュータ実行方法は、イベント配信情報から所定の数のイベント起動時間を抽出するステップであって、前記イベント配信情報は、前記コンピュータで現在再生されているオーディオファイルと関連づけられ、且つ前記複数のイベント起動時間は順番に並べられる、ステップ；前記オーディオファイルの現在の再生時間を決定するステップ；及び前記現在の再生時間及び前記抽出された複数のイベント起動時間との比較に基づき、前記コンピュータの前記ディスプレイ上のユーザの複数の入力に対応する複数のイベント位置を制御するステップ；を含む。

Description

［関連出願］
本出願は、２０１２年９月３日に出願された「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＥＶＥＮＴ ＤＩＳＴＲＩＢＵＴＩＯＮ ＩＮＦＯＲＭＡＴＩＯＮ ＵＳＩＮＧ ＡＮ ＡＵＤＩＯ ＦＩＬＥ」と題する、中国特許出願第２０１２１０３２１５６１．２号の優先権を主張し、参照することによりその全体がここに含まれる。
本開示は、一般に、オーディオファイルの処理に関連し、特に、イベント配信情報に基づき、ユーザ入力に対応するオーディオファイル及び制御イベントを使用してイベント配信情報を生成するためのシステム及び方法に関連する。
より多くのモバイルアプリケーションが、エンドユーザに種々の機能を提供する場合に、オーディオ機能を持つようになっている。例えば、アプリケーションは、モバイルデバイス（例えば、スマートフォン又はタブレットコンピュータ）上で再生されている音声ファイルのリズムに従って、ユーザ入力を受信するための、グラフィカルユーザインターフェースのための多くの位置を配置している。複数の位置に対するユーザのインタラクション（ｉｎｔｅｒａｃｔｉｏｎｓ）（例えば、指のタッチ）に基づき、アプリケーションは、ユーザフレンドリーな環境を提供する。例えば、音楽を同時に再生するゲームアプリケーションにおいて、ゲームアプリケーションの各画像フレームにおいて、音楽のリズムに基づいて、複数の位置が配置され、これにより配置された複数の位置に対するユーザの複数のインタラクションに基づく複数のユーザ入力が生成される。非常に多くの場合、配置された位置は、再生されている音楽に基づいてグラフィカルユーザインターフェース上を移動する移動オブジェクトに対応する。より具体的には、アプリケーションの特定のフレームと関連付けられている特定の位置は、多くの場合、音楽を生成する音声ファイルの中のデータのセットにマッピングされる。データのセットは、アプリケーションの複数のフレームのテンポ及び当該テンポに対応する複数の位置を特定する。例えば、位置の移動速度は、アプリケーションの複数のフレームをレンダリングする累積時間によって測定及び制御することができる。言い換えると、複数のフレームの累積時間がデータにおいて定義される対応する位置の立下り時間に対応する場合、その場所は、グラフィカルユーザインターフェースにおいてレンダリングされる。しかしながら、アプリケーションの複数のフレームをレンダリングする累積時間は、フレーム毎に計算されるため、この手法は必然的に、それぞれのフレームに関連付けられた誤差を蓄積する。結果として、累積誤差が十分に大きい場合には、再生中の音楽とグラフィカルユーザインターフェース上の複数の位置の対応する動きとの間に、数秒の時間差が生じる可能性がある。
アプリケーションの音楽再生及び映像の再生の同期の従来の手法に関連した上記の欠点及び他の問題は、以下に開示される開示内容により低減又は除去される。いくつかの実施例において、本開示は、１つ以上のプロセッサ、メモリ及び１つ以上のモジュール、複数の機能を実行するためのメモリに記憶されたプログラム又は命令のセットを有するコンピュータシステムにおいて実施される。これらの複数の機能を実行するための複数の命令は、１つ以上のプロセッサによる実行のために構成されるコンピュータプログラム製品に含まれてもよい。
本開示の一態様は、１つ以上のプロセッサ、メモリ及びディスプレイを有するコンピュータにより実行されるコンピュータ実行方法を含む。前記コンピュータ実行方法は：イベント配信情報から所定の数のイベント起動時間を抽出するステップであって、前記イベント配信情報は、前記コンピュータで現在再生されているオーディオファイルと関連づけられ、かつ前記複数のイベント起動時間は順番に並べられる、ステップ；前記オーディオファイルの現在の再生時間を決定するステップ；及び前記現在の再生時間及び前記抽出された複数のイベント起動時間との比較に基づき、前記コンピュータの前記ディスプレイ上のユーザの複数の入力に対応する複数のイベント位置を制御するステップ；を含む。
本開示の他の態様は、コンピュータシステムと関連する。前記コンピュータシステムは、メモリ、１つ以上のプロセッサ、及び前記メモリに記憶され且つ前記１つ以上のプロセッサによる実行のために構成される１つ以上のプログラムを含む。前記１つ以上のプログラムは：イベント配信情報から所定の数のイベント起動時間を抽出するステップであって、前記イベント配信情報は、前記コンピュータで現在再生されているオーディオファイルと関連づけられ、かつ前記複数のイベント起動時間は順番に並べられる、ステップ；前記オーディオファイルの現在の再生時間を決定するステップ；及び前記現在の再生時間及び前記抽出された複数のイベント起動時間との比較に基づき、前記コンピュータの前記ディスプレイ上のユーザの複数の入力に対応する複数のイベント位置を制御するステップ；を含む。
本開示の他の他の態様は、非一時的なコンピュータ可読記憶媒体であって、その中に複数の命令であって、コンピュータシステムにより実行される場合に当該コンピュータシステムに：イベント配信情報から所定の数のイベント起動時間を抽出するステップであって、前記イベント配信情報は、前記コンピュータで現在再生されているオーディオファイルと関連づけられ、かつ前記複数のイベント起動時間は順番に並べられる、ステップ；前記オーディオファイルの現在の再生時間を決定するステップ；及び前記現在の再生時間及び前記抽出された複数のイベント起動時間との比較に基づき、前記コンピュータの前記ディスプレイ上のユーザの複数の入力に対応する複数のイベント位置を制御するステップ；を実行させる、複数の命令、を記憶する、非一時的なコンピュータ可読媒体に関連する。
いくつかの実施例は、クライアント−サーバネットワーク環境におけるクライアント側又はサーバ側のいずれかで実行されてもよい。
図面と併せて考慮する場合、好適な複数の実施例の詳細な説明の結果として、本開示の上述の特徴及び利点及びそれらについての追加的な特徴及び長所がより明確に以下において理解されるであろう。
いくつかの実施例に従うオーディオファイルに基づくアプリケーションのグラフィカルユーザインターフェースにおける複数のイベントの配信を制御する方法を示すフローチャートである。
いくつかの実施例に従う、オーディオファイルからヘッダ及びサウンドトラックデータを抽出し且つそのようなデータを使用してオーディオファイルにおける複数のイベントに対応するイベント配信情報を生成する方法を示すフローチャートである。
いくつかの実施例に従う、オーディオファイルに基づいて、アプリケーションのグラフィカルユーザインターフェースにおいて、複数のイベントの配信を制御するための方法を実行するためのシステムを示すブロック図である。
いくつかの実施例に従う、オーディオファイルからヘッダ及びサウンドトラックデータを抽出し、かつそのようなデータを使用してオーディオファイルの中の複数のイベントに対応するイベント配信情報を生成するための方法を実行するためのシステムを示すブロック図である。
いくつかの実施例に従う、図４に示されるイベント配信情報生成モジュールの複数の構成要素を示すブロック図である。
いくつかの実施例に従うコンピューティングデバイスの複数の構成要素を示すブロック図である。
同様の参照番号は、複数の図面のいくつかの表示を通して対応する複数の部分を示す。
次に、複数の実施例が詳細に参照され、それらの例は、添付の複数の図面に示される。以下の詳細な説明において、本明細書において提供される内容の完全な理解を与えるために、多数の具体的な詳細が記載される。しかしながら、その内容がこれらの具体的な詳細なしで実施されてもよい、ということが当業者には明らかであろう。他の複数の例において、複数の実施例の複数の態様を不要に曖昧にしないために、周知の方法、手順、部品、及び回路は詳細には説明されていない。
図１は、いくつかの実施例に従うオーディオファイルに基づくアプリケーションのグラフィカルユーザインターフェースにおける複数のイベントの配信を制御する方法を示すフローチャートである。
アプリケーションと関連付けられたオーディオの再生と映像の再生との間の同期を実現するために、ステップＳ１１０において、当該アプリケーションは、現在再生されているオーディオファイルと関連付けられているイベント配信情報から、順番に並べられている所定の数のイベント起動時間を抽出する。
いくつかの実施例において、イベント配信情報は、オーディオファイルを前処理し、当該オーディオファイルの中の１つ以上のイベントを識別し、且つ各識別されたイベントに対するイベント起動時間を記録することによって生成される。例えば、事前に定められた音符又は事前に定められた音符の列がオーディオファイルにおいて検出された場合にイベントが識別され、そしてイベント起動時間は、当該音符又は当該音符の列を再生する開示時間に対応する。アプリケーションがオーディオファイルを再生する場合、アプリケーションは、当該音楽ファイルと関連付けられているイベント配信情報から所定の数のイベント起動時間を抽出する。例えば、イベント配信情報の中の複数のイベント起動時間は、初期のものから後のものへの時間的な順序で編成され、そして抽出された複数のイベント起動時間もまた、同じ順序となる。いくつかの実施例において、イベント配信情報から抽出されるイベント起動時間の数は、オーディオファイルのサウンドトラックデータにより決定される。
いくつかの実施例において、複数のイベント起動時間の抽出は、アプリケーションの映像再生と結び付けられている。例えば、イベント配信情報から対応する再生時間間隔内の複数のイベント起動時間を時間的な順序で選択するために、アプリケーションは、映像再生の各フレームについて、その再生時間間隔を決定し、そして次に再生時間間隔とオーディオファイルとを関連付ける。この場合において、アプリケーションによりオーディオファイルが再生される場合、対応するフレームのセットもまた、フレーム毎に、アプリケーションにより同時に再生される。結果として、イベント配信情報から抽出された複数のイベント起動時間は、常に、アプリケーションが実行されているコンピューティングデバイスのディスプレイ上でレンダリングされる（描写される）対応するフレームと同期している。
いくつかの実施例において、オーディオファイルの再生中に、１つの画像フレームが事前に定められた時間間隔の間表示され、そして次に、後続の画像フレームに置き換えられ、各画像フレームは、１つ以上の音符に対応する。音符は、複数のサウンドトラックに対応する複数のイベントを含むため、各画像フレームは、対応する複数のサウンドトラックの１つ以上のイベントにマッピングされ得る。また、各イベント起動時間は、特定のフレームのグラフィカルユーザインターフェースに対応すべきであり、そして従って動画再生のフレーム更新とオーディオ再生の対応するリズムとの間のマッピング又は同期を達成する。
ステップＳ１３０において、アプリケーションは、オーディオファイルの現在の再生時間を決定する。いくつかの実施例において、現在の再生時間は、オーディオファイルの再生の現在の位置を示し、これはオーディオファイルの再生の開始時間から経過した時間の量を示す。
ステップＳ１５０において、アプリケーションは再生時間と複数のイベント起動時間との間の比較に基づき、グラフィカルユーザインターフェース上の複数のユーザ入力に対応する複数のイベントの位置を制御する。いくつかの実施例において、イベントの位置は、オーディオファイルの中において指定されるイベント起動時間に対応するフレームのグラフィカルユーザインターフェースの位置により予め決定される。ユーザがイベント位置において又はその近くにおいて入力を生成すると、イベント起動時間に対応するフレームもまた、それに応じて更新される。例えば、ゲームアプリケーションにおいて、抽出された複数のイベント起動時間のゲームアプリケーションへの適用は、ゲームアプリケーションのグラフィカルユーザインターフェース上の複数のイベント位置の生成を引き起こす。オーディオ再生中に、グラフィカルユーザインターフェースの特定のイベント位置の上をタップすることにより、特定の音符又は複数の音符がアプリケーションにより生成され、ユーザが楽器の異なる複数のキーを押すことにより楽器を演奏しているといったような効果を生じる。
オーディオファイルの再生時間と複数のイベント起動時間との相関により、複数のイベント及びグラフィカルユーザインターフェース上の対応する複数の位置を制御することにより、アプリケーションは、オーディオの再生と映像の再生との間のより良い同期結果を達成することができる。特に、オーディオファイルの再生時間は、オーディオファイルから取得され得る当該オーディオファイルの現在の再生位置に対応するので、異なる複数のフレームと関連付けられた複数の再生時間の蓄積といったような誤りが導入されることはない。複数のイベント起動時間は、オーディオファイルにおいて特定される複数のイベントの複数の再生時間から導出されるので、それらも誤差を含まず、当該２つの相関は、オーディオファイルに基づくグラフィカルユーザインターフェース上の複数のイベントの位置の精度を向上させることができる。いくつかの実施例において、アプリケーションは、イベント起動時間がオーディオファイルの再生時間の前であるか或いは後であるかを決定するために、イベント起動時間とオーディオファイルを再生する時間とを比較する。イベント起動時間が再生時間の後である場合、アプリケーションは、イベントに対応するグラフィカルユーザインターフェース上の位置を特定し、且つその位置における複数のユーザ入力の表示を制御する。そうでなければ、アプリケーションは、このイベント起動時間をスキップしてもよい。
言い換えると、イベント起動時間が再生時間の後（又はそれよりも大きい）であると決定することは、当該イベント起動時間と関連付けられた対応する位置における複数のユーザ入力の表示を制御するための時間遅延がないことを示す。この場合、アプリケーションは、複数のユーザ入力に基づいて、その位置における表示の制御を呼び出す。例えば、ゲームアプリケーションにおいて、イベントの位置は、グラフィカルユーザインターフェース上の移動するオブジェクトのフォーマットにおいて表示されてもよい。この場合において、イベント起動時間がオーディオファイルの再生時間よりも大きい場合には、アプリケーションはグラフィカルユーザインターフェース上のオブジェクトを生成し、そしてまた、その動きの効果を表示する。一方、イベント起動時間が再生時間より前である（又はそれより短い）と決定することは、イベント起動時間と関連付けられたイベントが過ぎた又は失われたことを示し、アプリケーションは、通常、それ以上何もしない。言い換えると、ユーザの入力があるか否かにかかわらず、アプリケーションは、対応する位置においてディスプレイを制御しない。そうすることによって、アプリケーションは、現在表示されているフレームと互換性のない、オーディオファイルからの音符を再生することを避ける。アプリケーションが次のフレームを表示するために移動する場合、その後、次のフレームと関連付けられた複数のイベントの位置の表示を制御するために、次のフレームに対応するイベントをトリガするイベントを抽出し、そして上述したのと同様の動作を実行する。
いくつかの実施例において、抽出するステップＳ１１０の前に、アプリケーションは、オーディオファイルからヘッダデータ及びサウンドトラックデータを抽出し、そして次に当該ヘッダデータ及びサウンドトラックデータに基づき、イベント配信データを生成する。例えば、オーディオファイルは、ヘッダデータ及びサウンドトラックデータの双方を含む、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）の形式であってもよい。特に、ヘッダデータは、オーディオファイルの構造及びオーディオファイルの再生速度を表すＢＰＭ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ）等の複数のパラメータを記録する。いくつかの実施例において、サウンドトラックデータは、特定のイベント、音のピッチ、添付の情報、及びイベントと関連付けられたタイムスライス情報、に対応する複数の音符を再生するための楽器の種別についての情報を含む。シンセサイザへのサウンドトラックデータの入力は、イベントと関連付けられた特定の音符又は複数の音符の再生を生成する。
いくつかの実施例において、オーディオファイルにおける特定のイベントのイベント起動時間は、サウンドトラックデータにおけるヘッダデータ及びタイムスライス情報の中の複数のパラメータに基づいて決定される。そのようなイベント起動時間は、次にイベント配信情報を生成するために使用される。イベント起動時間以外に、イベント配信情報はさらにこのイベントの時間長を示す情報を含み、これは、当該イベントと関連付けられた音符を再生する時間長及びグラフィカルユーザインターフェース上のイベントの位置を表示する時間長を制御するために使用される。いくつかの実施例において、このイベントの時間長は、サウンドトラックデータにより与えられるその終了時間からイベントの開始時間を減算することにより決定される。
図２は、いくつかの実施例に従う、オーディオファイルからヘッダ及びサウンドトラックデータを抽出し、かつそのようなデータを用いてオーディオファイルにおいて対応する複数のイベントのイベント配信情報を生成する方法を示すフローチャートである。
ステップＳ２０１において、アプリケーションはオーディオファイルからヘッダデータ及びサウンドトラックデータを抽出し、それは上述のイベント配信情報を生成するために使用される。ステップＳ２０３において、アプリケーションは、サウンドトラックデータからイベントのタイムスライス情報を抽出し、そしてその後、少なくとも部分的に、ヘッダデータ及びタイムスライス情報に基づいて、当該イベントのイベント起動時間を決定する。いくつかの実施例において、オーディオファイルの中のタイムスライス情報の単位は、ティック数（ｎｕｍｂｅｒ ｏｆ ｔｉｃｋｓ）である。そのため、イベント起動時間は、所定のティック数の後のイベントが生じるべき時を示す。いくつかの実施例において、アプリケーションは、オーディオファイルのヘッダデータの中のＢＰＭなどの複数のパラメータに基づいて、時間のおけるティックの単位（時間目盛りの単位）を決定する。次に、アプリケーションは、サウンドトラックからタイムスライス情報を抽出し、そしてヘッダデータから複数のパラメータを抽出し、そしてオーディオファイルにおいて識別される各イベントに対するイベント起動時間を決定するために、そのような情報を使用する。
ステップＳ２０５において、アプリケーションは、前のステップで決定された複数のイベント起動時間を使用して、イベント配信情報を生成する。いくつかの実施例において、オーディオファイルの中の各イベントに対して、イベント配信情報の中に対応する部分が存在する。次に、イベント配信情報は、上述のように、オーディオファイルの再生中に、複数のイベントの位置を制御するために使用される。いくつかの実施例において、記憶領域を節約するために、バイナリストリーム形式のセットの中の異なる複数のイベントに対応する複数のイベント起動時間を記憶することにより、サウンドトラックイベント配信セットが生成される。より具体的には、オーディオファイルは複数のサウンドトラックを含み得るため、イベント配信情報は、各サウンドトラックに対して１つずつ、複数のサウンドトラックイベント配信セットを結合することにより生成される。
上記の説明は、オーディオファイルに基づいて、グラフィカルユーザインターフェース上の複数のイベント位置の表示を制御する方法に注目している。以下の説明は、具体例、すなわち、音楽ゲームアプリケーションに注目する。オーディオファイルは、音楽ゲームアプリケーションの音楽を生成するために使用される。ユーザが音楽ゲームアプリケーションを再生する場合、グラフィカルユーザインターフェース上の対応する複数のイベント位置の表示を制御し且つ複数のイベント位置を通しての複数のユーザ入力に基づいて対応する複数の音符を生成するために、アプリケーションは自動的にイベント配信情報から複数のイベント起動時間を抽出し且つそれらをオーディオファイルの現在の再生時間と比較する。
図３は、いくつかの実施例に従うオーディオファイルに基づき、アプリケーションのグラフィカルユーザインターフェース上での複数のイベントの配信を制御する方法を実行するシステムを示すブロック図である。この例において、システムは時間抽出モジュール１１０、再生時間決定モジュール１３０、及び制御モジュール１５０を含む。時間抽出モジュール１１０は、現在再生中のオーディオファイルと順番に関連付けられているイベント配信時間から所定の数のイベント起動時間を抽出するように構成される。
いくつかの実施例において、イベント配信情報は、オーディオファイルを前処理し、オーディオファイルの中の１つ以上のイベントを識別し、かつ各特定されたイベントに対するイベント起動時間を記録することにより生成される。例えば、オーディオファイルの中に事前に定められた音符又は事前に定められた音符の列が検出される場合にイベントが識別され、そしてイベント起動時間は、当該音符又は音符の列の再生開始時間に対応する。アプリケーションがオーディオファイルを再生する場合、時間抽出モジュール１１０は、音楽ファイルと関連付けられたイベント配信情報から、事前に定められた数のイベント起動時間を抽出する。例えば、イベント配信情報の中の複数のイベント起動時間は、早いものから後のものへの時間的な順序で編成され、そして抽出された複数のイベント起動時間もまた、同じ順序となる。いくつかの実施例において、イベント配信情報から抽出されるイベント起動時間の数は、オーディオファイルのサウンドトラックデータにより決定される。
いくつかの実施例において、複数のイベント起動時間の抽出は、アプリケーションの映像再生と結び付けられている。例えば、各映像再生のフレームに対して、イベント配信情報から時間順に対応する再生時間間隔内の複数のイベント起動時間を選択するために、時間抽出モジュール１１０は、その再生時間間隔を決定し、そしてその後当該再生時間間隔とオーディオファイルとを対応付ける。この場合において、オーディオファイルがアプリケーションにより再生される場合、対応する複数のフレームのセットがアプリケーションにより同時にフレーム毎に再生される。その結果、イベント配信情報から抽出される複数のイベント起動時間は常に、アプリケーションがその上で動作するコンピューティングデバイスのディスプレイ上でレンダリングされる（描画される）対応するフレームと同期する。
いくつかの実施例において、オーディオファイルの再生中に、１つの画像ファイルが事前に定められた時間間隔において再生され、そしてその後、次の画像ファイルと置き換えられ、各画像ファイルは１つ以上の音符と対応する。音符は、複数のサウンドトラックに対応する複数のイベントを含むため、各画像フレームは、対応する複数のサウンドトラックの１つ以上のイベントに対してマッピングされ得る。さらに、各イベント起動時間は、特定のフレームのグラフィカルユーザインターフェースに対応すべきであり、そして従って映像再生のフレームの更新と音楽再生の対応するリズムとの間のマッピング又は同期を達成する。
再生時間決定モジュール１３０は、オーディオファイルの現在の再生時間を決定するように構成される。いくつかの実施例において、現在の再生時間は、オーディオファイルの再生の現在の位置を示し、それはオーディオファイルの再生の開始時間から経過した時間の量を示す。
制御モジュール１５０は、再生時間と複数のイベント起動時間との比較に基づき、グラフィカルユーザインターフェース上の複数のユーザ入力に対応する複数のイベント位置を制御するように構成される。いくつかの実施例において、イベントの位置は、オーディオファイルにおいて指定されるイベント起動時間に対応するフレームのグラフィカルユーザインターフェース上の位置により事前に定められる。イベント位置において又はその近くでユーザが入力を生成する場合、イベント起動時間に対応するフレームもまたそれに応じて更新される。例えば、ゲームアプリケーションにおいて、制御モジュール１５０は、抽出した複数のイベント起動時間をゲームアプリケーションに適用し、ゲームアプリケーションのグラフィカルユーザインターフェース上の複数のイベント位置を生成させる。オーディオの再生中に、グラフィカルユーザインターフェースの特定のイベント位置をタッピングすることにより、特定の音符又は複数の音符がアプリケーションにより生成され、楽器の異なる複数のキーを押すことによりユーザが楽器を演奏しているかのような効果が生じる。
オーディオファイルの再生時間と複数のイベント起動時間との相関によって、複数のイベント及び対応するグラフィカルユーザインターフェース上の複数の位置を制御することにより、制御モジュール１５０は、オーディオ再生と映像再生との間のより良い同期結果を達成する。特に、オーディオファイルの再生時間は、オーディオファイルから取得できるオーディオファイルの現在の再生位置に対応するため、異なる複数のフレームと関連付けられる複数の再生時間の蓄積のような誤りは導入されない。複数のイベント起動時間は、オーディオファイルにおいて特定される複数のイベントの複数の再生時間から導出されるので、それらはいずれも誤りを含まず、当該２つの相関は、オーディオファイルに基づくグラフィカルユーザインターフェース上の複数のイベントの位置の精度を向上させることができる。いくつかの実施例において、制御モジュール１５０は、イベント起動時間がオーディオファイルの再生時間の前であるか又は後であるかを決定するために、イベント起動時間とオーディオファイルの再生時間とを比較する。イベント起動時間が再生時間の後であった場合、制御モジュール１５０は次にイベントに対応するグラフィカルユーザインターフェースの位置を特定し、そしてその位置における複数のユーザ入力の表示を制御する。そうでなければ、制御モジュールは、このイベント起動時間をスキップしてもよい。
図４は、いくつかの実施例に従う、オーディオファイルからヘッダ及びサウンドトラックデータを抽出し且つそのようなデータを使用してオーディオファイルの中の対応する複数のイベントに対するイベント配信情報を生成する方法を実行するためのシステムを示すブロック図である。図３に関連して上述した複数の実施例と比較して、この実施例はさらにイベント配信情報生成モジュール２１０を含む。
いくつかの実施例において、イベント配信情報生成モジュール２１０は、オーディオファイルからヘッダデータ及びサウンドトラックデータを抽出し、且つ次にヘッダデータ及びサウンドトラックデータに基づきイベント配信情報を生成するように構成される。例えば、音楽ファイルは、ヘッダデータ及びサウンドトラックデータの双方を含むＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）の形式であってもよい。特にヘッダデータは、オーディオファイルの編成及びオーディオファイルの再生速度を表すＢＰＭ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ）等の複数のパラメータを記録する。いくつかの実施例において、サウンドトラックデータは、特定のイベントに対応する複数の音符を再生するための複数の楽器の種別についての情報、音の高低、添付情報及びイベントに関連付けられたタイムスライス情報を含む。シンセサイザへのサウンドトラックデータの入力は、イベントに関連付けられた特定の音符又は複数の音符の再生を生成する。
いくつかの実施例において、イベント配信情報生成モジュール２１０は、ヘッダデータの中の複数のパラメータ及びサウンドトラックデータの中のイベントのタイムスライス情報に基づき、オーディオファイルの中の特定のイベントのイベント起動時間を決定する。そのようなイベント起動時間は、その後、イベント配信情報を生成するために使用される。イベント起動時間以外に、イベント配信情報はさらにこのイベントの時間長を示す情報を含み、これは、イベント及びグラフィカルユーザインターフェース上のイベントの位置を表示する時間長と関連付けられた複数の音符を再生する時間長を制御するために使用される。いくつかの実施例において、このイベントの時間長は、サウンドトラックデータにより提供されるその終了時間からイベントの開始時間を減算することによって定められる。
図５は、いくつかの実施例に従う、図４に示されるイベント配信情報生成モジュールの複数の構成要素を示すブロック図である。この例において、イベント配信情報生成モジュール２１０は、さらにデータ抽出部２１１、計算部２１３、及び情報生成部２１５を含む。
データ抽出部２１１は、オーディオファイルからヘッダデータ及びサウンドトラックデータを抽出するように構成され、それらは上述のようにイベント配信情報を生成するために使用される。計算部２１３は、サウンドトラックデータからイベントのタイムスライス情報を抽出し、且つ次に、少なくとも部分的に、ヘッダデータ及びタイムスライス情報に基づいて、当該イベントのイベント起動時間を決定するように構成される。いくつかの実施例において、オーディオファイルの中のタイムスライス情報の単位は、ティックの数である。このため、イベント起動時間は、事前に定められたティックの数の後のイベントが発生すべき時を示す。いくつかの実施例において、アプリケーションは、オーディオファイルのヘッダデータの中のＢＰＭなどの複数のパラメータに基づいて、時間のおけるティックの単位（時間目盛りの単位）を決定する。次に、アプリケーションは、サウンドトラックからタイムスライス情報を抽出し、そしてヘッダデータから複数のパラメータを抽出し、そしてオーディオファイルにおいて識別される各イベントに対するイベント起動時間を決定するために、そのような情報を使用する。
情報生成部２１５は、前の複数のステップにおいて決定された複数のイベント起動時間を使用してイベント配信情報を生成するように構成される。いくつかの実施例において、オーディオファイルの中の各イベントのイベント配信情報の中の対応する部分が存在する。イベント配信情報は、次に、上述のようにオーディオファイルの再生中の複数のイベントの位置を制御するために使用される。複数の実施例において、記憶領域を節約するために、バイナリストリーム形式のセットの中の異なる複数のイベントに対応する複数のイベント起動時間を記憶することにより、サウンドトラックイベント配信セットが生成される。より具体的には、オーディオファイルは複数のサウンドトラックを含み得るため、イベント配信情報は、各サウンドトラックに対して１つずつ、複数のサウンドトラックイベント配信セットを結合することにより生成される。
図６は、いくつかの実施例に従うコンピューティングデバイス６００の複数の構成要素を示すブロック図である。コンピューティングデバイス６００は、典型的には、１つ以上の処理部（ＣＰＵ）６０２、１つ以上のネットワーク又は他の通信インターフェース６０４、メモリ６１０、及びこれらの構成要素を相互接続するための１つ以上の通信バス６０９を含む。通信バス６０９は、システム構成要素間を相互接続し、且つシステム構成要素間の通信を制御する回路（時々、チップセットと呼ばれる）を含んでもよい。コンピューティングデバイス６００は、例えば、ディスプレイ６０６及びキーボード６０８等の、ユーザ入力装置６０５を含んでもよい。メモリ６１０は、高速ランダムアクセスメモリを含んでもよく、且つ１つ以上の磁気ディスク記憶装置等の不揮発性メモリをさらに含んでもよい。メモリ６１０は、ＣＰＵ６２０から離れて配置される大容量記憶装置を含んでもよい。いくつかの実施例において、メモリ６０２、又は代替的にメモリ６０２内の（複数の）不揮発性メモリ装置は、非一時的なコンピュータ可読記憶媒体を含む。メモリ６０２又はメモリ６０２のコンピュータ可読記憶媒体は、以下の複数の要素又はこれらの複数の要素のサブセットを記憶し、そしてまた、追加的な複数の要素を含んでもよい：
・各種基本システムサービスの処理及びハードウェアに依存する複数のタスクの実行のための複数の手順を含むオペレーティングシステム６１２；
・インターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワーク等の、１つ以上の通信ネットワーク（有線又は無線）経由で、コンピューティングデバイス６００を遠隔サーバ（例えば、オンラインゲームサーバ）又は他の複数のコンピュータに接続するために使用されるネットワーク通信モジュール６１４；
・ユーザインターフェース６０５を介して複数のユーザ入力を受信するように構成されるユーザインターフェースモジュール６１６；及び
・オーディオファイルを再生するためのオーディオプレーヤアプリケーション６１８：いくつかの実施例において、オーディオプレーヤアプリケーション６１８はスタンドアロンのアプリケーションであり；他の複数の実施例において、オーディオプレーヤアプリケーション６１８は、他のアプリケーション（例えば、音楽ゲームアプリケーション）の構成要素である；
・例えば、フレーム毎に、映像ファイルを再生するためのビデオプレーヤアプリケーション６２０：いくつかの実施例において、ビデオプレーヤアプリケーション６２０は、スタンドアロンアプリケーションであり；他の複数の実施例において、ビデオプレーヤアプリケーション６２０は、他のアプリケーション（例えば、音楽アプリケーション）の構成要素である；
・オーディオファイルに従って、グラフィカルユーザインターフェース上の複数のイベントの位置の表示を制御するための同期アプリケーション６２２：いくつかの実施例において、同期アプリケーション６２２はスタンドアロンアプリケーションであり、他のいくつかの実施例において、同期アプリケーション６２２は、他のアプリケーション（例えば、音楽アプリケーション）の構成要素である；同期アプリケーション６２２はさらに以下を含む：
・図１及び３に関連して上述したような時間抽出モジュール；
・図１及び３に関連して上述したようなオーディオ再生時間決定モジュール１３０；
・図１及び３に関連して上述したような制御モジュール１５０；及び
・図４及び５に関連して上述したようなデータ抽出部２１１、計算部２１３、及び情報生成部２１５を含むイベント配信情報生成モジュール２１０；
・図１及び２に関連して上述したようなサウンドトラックデータ６２６及びヘッダデータ６２８をさらに含むオーディオファイル情報６２４；
・図１及び２に関連して上述したように、映像ファイル情報６３０は、映像フレームデータ６３２及びサウンドトラックデータ６３４；及び
・イベント配信情報６３６はさらに、イベント識別子６４０、イベント起動時間６４２、及びサウンドトラックデータ６４４を含む。
尚、上記の方法及びシステムは、オーディオファイル及びオーディオファイルの再生時間から複数のイベント起動時間を取得し、そして複数のイベント起動時間と再生時間とを比較することにより、グラフィカルユーザインターフェース上の複数のイベントの位置の表示を制御する。再生時間は、異なる複数のフレームに関連付けられている複数の時間を蓄積した結果ではなく、オーディオファイルの現在の再生位置に対応するので、再生時間と従来の手法に関連づけられた複数のイベント起動時間との間の時間のギャップを効果的に回避することができる。
特定の複数の実施例が上において説明されたが、本開示をこれらの複数の特定の実施例に限定することは意図されていないと理解されるであろう。逆に、本開示は、添付の複数の特許請求項の精神及び範囲内の代替、変更、及び均等物を含む。ここにおいて提示される内容の完全な理解を与えるために多数の特定の詳細が記載される。しかしながら、これらの特定の詳細なしで、この内容を実施できることは、当業者には明らかであろう。他の複数の例では、周知の方法、手順、構成要素、及び回路は複数の実施例の態様を不必要に曖昧にしないように、詳細には説明されていない。
本明細書の本開示の説明において使用される用語は、複数の特定の実施例を記載する目的に対してのみであり、且つ本開示を限定することは意図されていない。本開示の説明及び添付の複数の特許請求項において使用されるように、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が明らかに他を示さない限り、複数系含むことも意図している。また、本明細書で使用される用語「及び／又は」は、列挙された関連する項目の１つ以上の可能な組合せのいずれか及び全てを言及及び包含する、ということが理解されるであろう。さらに、本明細書で使用される場合、「ｉｎｃｌｕｄｅｓ」、「ｉｎｃｌｕｄｉｎｇ」、「ｃｏｍｐｒｉｓｅｓ」及び／又は「ｃｏｍｐｒｉｓｉｎｇ」という用語は、述べられた特徴、動作、要素、及び／又は構成要素の存在を示し、１つ以上の他の特徴、動作、要素、構成要素、及び／又はこれらのグループの存在又は追加を排除するものではない。
本明細書で使用される場合、「ｉｆ」という用語は、文脈に応じて、記載された先行条件が真であるという「ｗｈｅｎ（場合）」又は「ｕｐｏｎ（に際し）」又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（決定したことに応答して）」又は「ｉｎ ａｃｃｏｒｄａｎｃｅ ｗｉｔｈ ａ ｄｅｔｅｒｍｉｎａｔｉｏｎ（決定に従って）」又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（検出したことに応答して）」を意味すると解釈されてもよい。同様に、「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ ［ｔｈａｔ ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｐｒｅｃｅｄｅｎｔ ｉｓ ｔｒｕｅ］（もし［示された先行条件が真であると］決定されると）」又は「ｉｆ ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｐｒｅｃｅｄｅｎｔ ｉｓ ｔｒｕｅ］（もし［示された先行条件が真である］）」又は「ｗｈｅｎ ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｐｒｅｃｅｄｅｎｔ ｉｓ ｔｒｕｅ］（［示された先行条件が真である］場合）」という表現は、文脈に応じて、示された先行条件が真であると「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ （決定した際）」又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（決定に応答して）」又は「ｉｎ ａｃｃｏｒｄａｎｃｅ ｗｉｔｈ ａ ｄｅｔｅｒｍｉｎａｔｉｏｎ（決定に従って）」又は「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ（検出した際）」又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（検出に応答して）」を意味すると解釈されてもよい。
各種図面のうちのいくつかは、特定の順序でいくつかの論理的な段階を示しているが、順序に依存しない複数の段階が並べかえられてもよく、かつ他の複数の段階が組み合わされてもよく或いは取り出されてもよい。いくつかの並べかえ又は他のグループ化が具体的に述べられたが、他のものは当業者にとって明らかであり、そして従って代替物の包括的なリストは提示されない。また、複数の段階は、ハードウェア、ファームウェア、ソフトウェア、又はそれらの如何なる組合せにより実装されてもよい、ということが認識されるべきである。
前述の記載内容は、説明のために、複数の特定の実施例に関して記載されている。しかしながら、上記の例示的な議論は、包括的であること、又は開示された正確な形態に本開示を限定することは意図されていない。多くの修正及び変形が上記の教示に鑑みて可能である。本開示の原理及びその実際の応用を最適に説明し、それにより考えられる特定の使用に適するような各種変更を伴う本開示及び各種実施例を他の当業者が最適に利用可能とするために、複数の実施例が選択され且つ説明されている。

Claims (18)

  1. コンピュータ実行方法であって；
    １つ以上のプロセッサ及び該１つ以上のプロセッサにより実行されるプログラムを記憶するメモリ及びディスプレイを有するコンピュータにおいて、
    イベント配信情報から所定の数のイベント起動時間を抽出するステップであって、前記イベント配信情報は、前記コンピュータで現在再生されているオーディオファイルと関連づけられ、且つ前記複数のイベント起動時間は順番に並べられる、ステップ；
    前記オーディオファイルの現在の再生時間を決定するステップ；及び
    前記現在の再生時間及び前記抽出された複数のイベント起動時間との比較に基づき、前記コンピュータの前記ディスプレイ上のユーザの複数の入力に対応する複数のイベント位置を制御するステップ；
    を含む、コンピュータ実行方法。
  2. イベント配信情報から前記所定の数のイベント起動時間を抽出するステップは、さらに：
    前記コンピュータで現在再生されている映像ファイルのビデオフレームを決定するステップであって、前記映像ファイルは前記オーディオファイルと関連づけられている、ステップ；
    前記映像フレームに対応するサウンドトラックデータを識別するステップ；及び
    前記イベント配信情報における前記サウンドトラックデータに対応する１つ以上のイベントを識別するステップであって、各イベントはイベント起動時間を有する、ステップ；
    を含む、請求項１に記載のコンピュータ実行方法。
  3. 前記コンピュータの前記ディスプレイ上の前記ユーザの複数の入力に対応する前記複数のイベントを制御するステップは：
    前記現在の再生時間と各イベント起動時間とを比較するステップ；
    前記現在の再生時間が前記各イベント起動時間より前である場合に、前記各イベント起動時間と関連付けられたイベントにより起動されるユーザ入力に対応する視覚インジケータを表示するステップ；及び
    前記現在の再生時間が前記各イベント起動時間より後である場合に、前記各イベント起動時間と関連付けられたイベントにより起動されるユーザ入力に対する視覚インジケータの表示を止めるステップ；
    をさらに含む、請求項１に記載のコンピュータ実行方法。
  4. 前記イベント配信情報から前記所定の数のイベント起動時間を抽出するステップの前に：
    前記オーディオファイルからヘッダデータ及びサウンドトラックデータを抽出するステップ；及び
    前記ヘッダデータ及び前記サウンドトラックデータに基づき、前記イベント配信情報を生成するステップ；
    をさらに含む、請求項１に記載のコンピュータ実行方法。
  5. 前記サウンドトラックデータにおけるイベントの対応するタイムスライス情報を識別するステップ；
    前記ヘッダデータ及び前記タイムスライス情報に基づき、前記イベントのイベント起動時間を決定するステップ；及び
    前記イベントのイベント起動時間に基づき、前記イベント配信情報を生成するステップ；
    をさらに含む、請求項４に記載のコンピュータ実行方法。
  6. 前記イベントのイベント起動時間及び前記対応するサウンドトラックデータをバイナリ形式のサウンドトラックイベント配信セットに追加するステップであって、前記バイナリフォーマットのサウンドトラックイベント配信セットを、前記オーディオファイルに関連付けられる前記イベント配信情報として構成する、ステップ；
    をさらに含む、請求項５に記載のコンピュータ実行方法。
  7. １つ以上のプロセッサ、メモリ、ディスプレイ、及び前記メモリに記憶され且つ前記１つ以上のプロセッサによる実行のために構成される１つ以上のプログラム、を備えるコンピュータシステムであって、前記１つ以上のプログラムは、
    イベント配信情報から所定の数のイベント起動時間を抽出するステップであって、前記イベント配信情報は、前記コンピュータで現在再生されているオーディオファイルと関連づけられ、かつ前記複数のイベント起動時間は順番に並べられる、ステップ；
    前記オーディオファイルの現在の再生時間を決定するステップ；及び
    前記現在の再生時間及び前記抽出された複数のイベント起動時間との比較に基づき、前記コンピュータの前記ディスプレイ上のユーザの複数の入力に対応する複数のイベント位置を制御するステップ；
    に対する命令を含む、コンピュータシステム。
  8. イベント配信情報から前記所定の数のイベント起動時間を抽出するステップに対する前記命令は、さらに、
    前記コンピュータで現在再生されている映像ファイルのビデオフレームを決定するステップであって、前記映像ファイルは前記オーディオファイルと関連づけられている、ステップ；
    前記映像フレームに対応するサウンドトラックデータを識別するステップ；及び
    前記イベント配信情報における前記サウンドトラックデータに対応する１つ以上のイベントを識別するステップであって、各イベントはイベント起動時間を有する、ステップ；
    に対する命令を含む、請求項７に記載のコンピュータシステム。
  9. 前記コンピュータの前記ディスプレイ上のユーザの複数の入力に対応する複数のイベントを制御するステップに対する前記命令は、
    前記現在の再生時間と各イベント起動時間とを比較するステップ；
    前記現在の再生時間が前記各イベント起動時間より前である場合に、前記各イベント起動時間と関連付けられたイベントにより起動されるユーザ入力に対応する視覚インジケータを表示するステップ；及び
    前記現在の再生時間が前記各イベント起動時間より後である場合に、前記各イベント起動時間と関連付けられたイベントにより起動されるユーザ入力に対する視覚インジケータの表示を止めるステップ；
    に対する命令をさらに含む、請求項７に記載のコンピュータシステム。
  10. 前記１つ以上のプログラムは、
    前記イベント配信情報から前記所定の数のイベント起動時間を抽出するステップの前の：
    前記オーディオファイルからヘッダデータ及びサウンドトラックデータを抽出するステップ；及び
    前記ヘッダデータ及び前記サウンドトラックデータに基づき、前記イベント配信情報を生成するステップ；
    に対する命令をさらに含む、請求項７に記載のコンピュータシステム。
  11. 前記１つ以上のプログラムは、
    前記サウンドトラックデータにおけるイベントの対応するタイムスライス情報を識別するステップ；
    前記ヘッダデータ及び前記タイムスライス情報に基づき、前記イベントのイベント起動時間を決定するステップ；及び
    前記イベントのイベント起動時間に基づき、前記イベント配信情報を生成するステップ；
    に対する命令をさらに含む、クレーム１０に記載のコンピュータシステム。
  12. 前記１つ以上のプログラムは、
    前記イベントのイベント起動時間及び前記対応するサウンドトラックデータをバイナリ形式のサウンドトラックイベント配信セットに追加するステップであって、前記バイナリフォーマットのサウンドトラックイベント配信セットを、前記オーディオファイルに関連付けられる前記イベント配信情報として構成する、ステップ；
    に対する命令をさらに含む、請求項１１に記載のコンピュータシステム。
  13. ディスプレイを有するコンピュータの１つ以上のプロセッサによる実行のための１つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
    イベント配信情報から所定の数のイベント起動時間を抽出するステップであって、前記イベント配信情報は、前記コンピュータで現在再生されているオーディオファイルと関連づけられ、かつ前記複数のイベント起動時間は順番に並べられる、ステップ；
    前記オーディオファイルの現在の再生時間を決定するステップ；及び
    前記現在の再生時間及び前記抽出された複数のイベント起動時間との比較に基づき、前記コンピュータの前記ディスプレイ上のユーザの複数の入力に対応する複数のイベント位置を制御するステップ；
    に対する命令を含む、非一時的なコンピュータ可読記憶媒体。
  14. イベント配信情報から前記所定の数のイベント起動時間を抽出するステップに対する前記命令は、さらに、
    前記コンピュータで現在再生されている映像ファイルのビデオフレームを決定するステップであって、前記映像ファイルは前記オーディオファイルと関連づけられている、ステップ；
    前記映像フレームに対応するサウンドトラックデータを識別するステップ；及び
    前記イベント配信情報における前記サウンドトラックデータに対応する１つ以上のイベントを識別するステップであって、各イベントはイベント起動時間を有する、ステップ；
    に対する命令を含む、請求項１３に記載の非一時的なコンピュータ可読記憶媒体。
  15. 前記コンピュータの前記ディスプレイ上のユーザの複数の入力に対応する複数のイベントを制御するステップに対する前記命令は、
    前記現在の再生時間と各イベント起動時間とを比較するステップ；
    前記現在の再生時間が前記各イベント起動時間より前である場合に、前記各イベント起動時間と関連付けられたイベントにより起動されるユーザ入力に対応する視覚インジケータを表示するステップ；及び
    前記現在の再生時間が前記各イベント起動時間より後である場合に、前記各イベント起動時間と関連付けられたイベントにより起動されるユーザ入力に対する視覚インジケータの表示を止めるステップ；
    に対する命令をさらに含む、請求項１３に記載の非一時的なコンピュータ可読記憶媒体。
  16. 前記１つ以上のプログラムは、
    前記イベント配信情報から前記所定の数のイベント起動時間を抽出するステップの前の：
    前記オーディオファイルからヘッダデータ及びサウンドトラックデータを抽出するステップ；及び
    前記ヘッダデータ及び前記サウンドトラックデータに基づき、前記イベント配信情報を生成するステップ；
    に対する命令をさらに含む、請求項１３に記載の非一時的なコンピュータ可読記憶媒体。
  17. 前記１つ以上のプログラムは、
    前記サウンドトラックデータにおけるイベントの対応するタイムスライス情報を識別するステップ；
    前記ヘッダデータ及び前記タイムスライス情報に基づき、前記イベントのイベント起動時間を決定するステップ；及び
    前記イベントのイベント起動時間に基づき、前記イベント配信情報を生成するステップ；
    に対する命令をさらに含む、請求項１６に記載の非一時的なコンピュータ可読記憶媒体。
  18. 前記１つ以上のプログラムは、
    前記イベントのイベント起動時間及び前記対応するサウンドトラックデータをバイナリ形式のサウンドトラックイベント配信セットに追加するステップであって、前記バイナリフォーマットのサウンドトラックイベント配信セットを、前記オーディオファイルに関連付けられる前記イベント配信情報として構成する、ステップ；
    に対する命令をさらに含む、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
JP2015528859A 2012-09-03 2013-08-28 イベント配信情報を生成するシステム及び方法 Pending JP2015534151A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201210321561.2A CN103680562B (zh) 2012-09-03 2012-09-03 音频文件的布点实现方法和装置
CN201210321561.2 2012-09-03
PCT/CN2013/082419 WO2014032580A1 (en) 2012-09-03 2013-08-28 System and method for generating event distribution information

Publications (1)

Publication Number Publication Date
JP2015534151A true JP2015534151A (ja) 2015-11-26

Family

ID=50182514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015528859A Pending JP2015534151A (ja) 2012-09-03 2013-08-28 イベント配信情報を生成するシステム及び方法

Country Status (6)

Country Link
US (1) US9116605B2 (ja)
EP (1) EP2893417A4 (ja)
JP (1) JP2015534151A (ja)
KR (1) KR20150043537A (ja)
CN (1) CN103680562B (ja)
WO (1) WO2014032580A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286383B1 (en) * 2014-08-28 2016-03-15 Sonic Bloom, LLC System and method for synchronization of data and audio
CN105679349A (zh) * 2014-11-20 2016-06-15 乐视移动智能信息技术（北京）有限公司 智能终端的录音标记的控制方法及装置
CN108074552A (zh) * 2016-11-18 2018-05-25 北京酷我科技有限公司 一种钢琴的电子曲谱转换方法及系统
CN107491947B (zh) * 2017-08-24 2020-06-02 维沃移动通信有限公司 一种资源转移方法、相关设备及系统
KR20200104869A (ko) * 2017-12-08 2020-09-04 크론댓 인코포레이티드 전자 연표
CN109343770B (zh) * 2018-09-27 2021-07-20 腾讯科技（深圳）有限公司 交互反馈方法、设备和记录介质
CN109529336A (zh) * 2018-11-20 2019-03-29 网易（杭州）网络有限公司 声音事件播放的控制方法、控制装置、存储介质与处理器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6232988A (ja) * 1985-08-01 1987-02-12 スタンレー電気株式会社 ゲ−ム装置
JP2008200295A (ja) * 2007-02-20 2008-09-04 Namco Bandai Games Inc ゲーム装置、プログラム及び情報記憶媒体
JP2008264297A (ja) * 2007-04-23 2008-11-06 Namco Bandai Games Inc ゲームシステム、プログラム及び情報記憶媒体
JP2009165564A (ja) * 2008-01-11 2009-07-30 Sega Corp ゲーム進行制御方法、ゲーム進行制御プログラムを記憶した情報記憶媒体、及びゲーム装置
US20090278809A1 (en) * 2008-05-12 2009-11-12 Ohsawa Kazuyoshi Storage medium storing information processing program, information processing apparatus and information processing method
WO2011115104A1 (ja) * 2010-03-15 2011-09-22 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲームシステムの制御方法及びゲームシステム装置用プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5990194A (en) * 1993-05-10 1994-12-12 Taligent, Inc. Audio synchronization system
US7239320B1 (en) * 1999-06-30 2007-07-03 Musicnotes, Inc. System and method for transmitting interactive synchronized graphics
CN1471305A (zh) * 2002-07-25 2004-01-28 梁肇新 多媒体音视频与说明文字的同步驱动技术
WO2004027577A2 (en) * 2002-09-19 2004-04-01 Brian Reynolds Systems and methods for creation and playback performance
CN1691043A (zh) * 2004-04-29 2005-11-02 明基电通股份有限公司 依据音乐文件中所选定音轨的事件来进行游戏的方法
WO2008024486A2 (en) * 2006-08-24 2008-02-28 Fliptrack, Inc. Beat and text based editing and composing systems and methods
US7739255B2 (en) * 2006-09-01 2010-06-15 Ma Capital Lllp System for and method of visual representation and review of media files
US8381086B2 (en) * 2007-09-18 2013-02-19 Microsoft Corporation Synchronizing slide show events with audio
WO2010034063A1 (en) * 2008-09-25 2010-04-01 Igruuv Pty Ltd Video and audio content system
US8026436B2 (en) * 2009-04-13 2011-09-27 Smartsound Software, Inc. Method and apparatus for producing audio tracks
US8629342B2 (en) * 2009-07-02 2014-01-14 The Way Of H, Inc. Music instruction system
CN101640058B (zh) * 2009-07-24 2012-05-23 王祐凡 多媒体同步方法、播放器以及多媒体数据制作设备
US8527859B2 (en) * 2009-11-10 2013-09-03 Dulcetta, Inc. Dynamic audio playback of soundtracks for electronic visual works
US20110319160A1 (en) * 2010-06-25 2011-12-29 Idevcor Media, Inc. Systems and Methods for Creating and Delivering Skill-Enhancing Computer Applications

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6232988A (ja) * 1985-08-01 1987-02-12 スタンレー電気株式会社 ゲ−ム装置
JP2008200295A (ja) * 2007-02-20 2008-09-04 Namco Bandai Games Inc ゲーム装置、プログラム及び情報記憶媒体
JP2008264297A (ja) * 2007-04-23 2008-11-06 Namco Bandai Games Inc ゲームシステム、プログラム及び情報記憶媒体
JP2009165564A (ja) * 2008-01-11 2009-07-30 Sega Corp ゲーム進行制御方法、ゲーム進行制御プログラムを記憶した情報記憶媒体、及びゲーム装置
US20090278809A1 (en) * 2008-05-12 2009-11-12 Ohsawa Kazuyoshi Storage medium storing information processing program, information processing apparatus and information processing method
JP2009276829A (ja) * 2008-05-12 2009-11-26 Nintendo Co Ltd 情報処理プログラムおよび情報処理装置
WO2011115104A1 (ja) * 2010-03-15 2011-09-22 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲームシステムの制御方法及びゲームシステム装置用プログラム
CN102811780A (zh) * 2010-03-15 2012-12-05 科乐美数码娱乐株式会社 游戏系统、游戏系统的控制方法以及游戏系统装置用程序
US20130012314A1 (en) * 2010-03-15 2013-01-10 Konami Digital Entertainment Co., Ltd. Game system, game system control method, and computer program for game system

Also Published As

Publication number Publication date
KR20150043537A (ko) 2015-04-22
US20140089797A1 (en) 2014-03-27
US9116605B2 (en) 2015-08-25
CN103680562A (zh) 2014-03-26
EP2893417A4 (en) 2015-09-23
EP2893417A1 (en) 2015-07-15
WO2014032580A1 (en) 2014-03-06
CN103680562B (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
JP2015534151A (ja) イベント配信情報を生成するシステム及び方法
US12026296B2 (en) Multi-track playback of media content during repetitive motion activities
US10860345B2 (en) System for user sentiment tracking
KR102213628B1 (ko) 오디오에 수반되는 비디오 프레젠테이션 생성
US20160163331A1 (en) Electronic device and method for visualizing audio data
US8829322B2 (en) Metrical grid inference for free rhythm musical input
JP2010509852A (ja) メディアコンテンツをレンダリングするタイミングの態様
JP5635859B2 (ja) 編集装置、制御方法及びプログラム
US11163825B2 (en) Selecting songs with a desired tempo
US20120072451A1 (en) Media playback in a virtual environment
JP2010226251A5 (ja)
AU2014287072A1 (en) System and method for audio processing using arbitrary triggers
JP2024523888A (ja) 以前に開発されたゲームアプリケーションのためのゲームコンテンツの拡張
JP2013054335A (ja) 電子機器
EP2808871A1 (en) Reproduction apparatus, reproduction method, and reproduction program
US11351455B2 (en) Real time interconnected game context and data sharing plugin framework
WO2023185387A1 (zh) 音乐信息展示方法、装置、设备、程序产品和存储介质
WO2024202351A1 (ja) 情報処理装置、情報処理方法、プログラム
US11130066B1 (en) System and method for synchronization of messages and events with a variable rate timeline undergoing processing delay in environments with inconsistent framerates
JPH10307931A (ja) アニメーション作成装置、アニメーション再生装置及びプログラム記録媒体
CN113613033A (zh) 一种观众与主播的直播互动方法、装置、电子设备及介质
TWI590077B (zh) 多媒體檔案播放方法與電子裝置
KR20090099927A (ko) 동기 처리장치 및 방법
JP2016067519A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160418

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160705