JP2009063714A - オーディオ再生装置およびオーディオ早送り再生方法 - Google Patents
オーディオ再生装置およびオーディオ早送り再生方法 Download PDFInfo
- Publication number
- JP2009063714A JP2009063714A JP2007230003A JP2007230003A JP2009063714A JP 2009063714 A JP2009063714 A JP 2009063714A JP 2007230003 A JP2007230003 A JP 2007230003A JP 2007230003 A JP2007230003 A JP 2007230003A JP 2009063714 A JP2009063714 A JP 2009063714A
- Authority
- JP
- Japan
- Prior art keywords
- playback
- beat
- audio
- data
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/005—Reproducing at a different information rate from the information rate of recording
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
- G10H2220/081—Beat indicator, e.g. marks or flashing LEDs to indicate tempo or beat positions
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
Abstract
【課題】オーディオ再生装置における早送り再生時の再生音は聴き取りづらい。
【解決手段】再生するオーディオデータにはメタデータとして曲の拍をなすビートのタイミングを表すデータを対応づけておく。早送り再生時には対応するメタデータを読み出し、オーディオデータのうちビートのタイミングを含む部分を再生部分A、ビートの間隔Cのうち残りの部分を非再生部分Bとして決定し、再生部分Aのみを順次再生して出力する。再生部分Aと非再生部分Bの時間割合は、早送り再生時に要求される再生速度によって決定する。
【選択図】図1
【解決手段】再生するオーディオデータにはメタデータとして曲の拍をなすビートのタイミングを表すデータを対応づけておく。早送り再生時には対応するメタデータを読み出し、オーディオデータのうちビートのタイミングを含む部分を再生部分A、ビートの間隔Cのうち残りの部分を非再生部分Bとして決定し、再生部分Aのみを順次再生して出力する。再生部分Aと非再生部分Bの時間割合は、早送り再生時に要求される再生速度によって決定する。
【選択図】図1
Description
本発明はオーディオ再生技術に関し、音響を出力しながら再生速度を上げる早送り再生の機能を備えたオーディオ再生装置および当該装置に適用するオーディオ早送り再生方法に関する。
音声データの符号化技術の発達、記憶装置の大容量化および小型化、ネットワークの拡充などの技術的背景により、人々は大量のオーディオデータを容易に取得し、様々な形態で鑑賞できるようになっている。購入した音楽ソフトや個人で作成した曲などを鑑賞するためのオーディオ再生装置の機能も多様化しており、単にオーディオデータを記録順に再生するばかりでなく、再生順をランダムにしたり、次の曲までスキップしたり、一の曲を繰り返し再生したり、といったことが容易に行えるようになっている。
そのようなオーディオ再生装置の機能のひとつに早送り再生がある。一般にユーザは、再生中の曲の先の部分を早く聴きたい場合などに、早送り再生の機能を利用して再生速度を速め、所望の箇所まで再生が進んだところで通常の速度に戻す。再生箇所を先に送る機能としては、曲や楽章のデータの初頭に記録されたインデックスまで再生をスキップするものがあるが、早送り再生は実際の曲を聴きながら送ることができる、という点で再生をスキップする機能とは大きく異なる。
早送り再生の技術には、サンプル単位で音声信号を間引く手法、ブロック単位で音声信号を間引く手法がある。前者は44.1kHzなどの周波数でサンプリングされたデジタルデータから、要求される再生速度に応じた割合でデータを間引いて再生する。例えば奇数順のサンプルを間引いて偶数順のサンプルのみ再生することにより再生速度を2倍速とする。後者はオーディオデータを、再生するブロック、間引くブロック、再生するブロック、と順に分ける。例えば1秒分再生したら3秒分間引くという処理を繰り返すことにより再生速度を4倍速とする。
前述のとおり早送り再生の大きな特徴のひとつは、早送り再生中も再生された音をユーザが聴ける点にある。ところが上述の如き従来手法では、再生速度を増加させるほど、音程や音色が大きく変化したり、再生部分が単なる音の断片になったりして元の曲とかけ離れたものになり、再生音を聴かせる意味がなくなっていく。そのため、実用化できる再生速度には限界があった。
本発明はこのような課題に鑑みてなされたものであり、その目的は、再生速度を増加させても元の曲からの乖離の少ない再生音を聴くことを可能とする早送り再生技術を提供することにある。
本発明のある態様はオーディオ再生装置に関する。このオーディオ再生装置は、再生中の楽曲の早送り再生の指示入力を受け付ける入力部と、入力部が早送り再生の指示入力を受け付けた際、楽曲に対応するオーディオデータを、再生対象の楽曲の拍をなすビート単位でジャンプさせながら再生する再生部と、を備えたことを特徴とする
ビート単位でジャンプさせながら再生する、とは、あるビートから次のビート、あるいは複数おきのビートまでの時間を1単位とし、その単位時間内で再生と、ジャンプ、すなわち再生せずに送ることを少なくともそれぞれ1回行うことである。
本発明の別の態様もオーディオ再生装置に関する。このオーディオ再生装置は、ユーザが選択した楽曲を再生して音響として出力するオーディオ再生装置であり、ユーザが早送り再生の指示を入力した際、再生対象の楽曲の拍をなすビートのタイミングを表すビートデータ取得するメタデータ取得部と、ビートデータに記録されたビートのうち、少なくとも一部のビートのそれぞれに対応させて、楽曲に対応するオーディオデータの再生部分と非再生部分とを決定する再生制御部と、再生制御部が決定した再生部分のみを再生し非再生部分の再生を省略する再生部と、を備えたことを特徴とする。
本発明のさらに別の態様はオーディオ早送り再生方法に関する。このオーディオ早送り再生方法は、再生対象の楽曲の拍をなすビートのタイミングを表す情報を取得するステップと、各ビートに対応させて楽曲の再生部分および非再生部分を決定するステップと、再生部分と決定された部分のみを音響として出力するステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、早送り再生時にも元の曲を認識しやすい再生音を聴かせることができる。
実施の形態1
はじめに本実施の形態における早送り再生の原理を説明する。図1は本実施の形態における早送り再生時の処理を説明するための図である。本実施の形態では、早送り再生時に、オーディオデータに対応づけて記憶されたメタデータのうち、楽曲の拍をなすビートのタイミング情報を取得し、当該ビートのタイミングを基準として曲の再生部分、非再生部分を決定する。そして非再生部分をジャンプしながら再生部分のみを再生して音響として出力する。
はじめに本実施の形態における早送り再生の原理を説明する。図1は本実施の形態における早送り再生時の処理を説明するための図である。本実施の形態では、早送り再生時に、オーディオデータに対応づけて記憶されたメタデータのうち、楽曲の拍をなすビートのタイミング情報を取得し、当該ビートのタイミングを基準として曲の再生部分、非再生部分を決定する。そして非再生部分をジャンプしながら再生部分のみを再生して音響として出力する。
図1は上から、横軸を時間軸とした場合の、通常波形、ビートのタイミング、および早送り波形を示している。ここで通常波形とは、通常の再生速度で再生した場合に出力されるオーディオ信号の波形、すなわち元々の曲の時間波形である。以後、このような波形の信号を生成する再生を「通常再生」と呼ぶ。
ビートとは曲の時間的基準となる拍のことであり、ビートのタイミングは楽曲固有の情報となる。本実施の形態では、メロディラインに対するビートのタイミングを曲全体に渡り記録した時系列データをメタデータとして曲ごとに用意する。例えば各ビートのタイミングを、曲の開始からの経過時間で記録したデータや、曲の開始からのサンプル数で記録したデータを用意する。以後、このメタデータを「ビートデータ」と呼ぶ。
ビートは曲の基本的なテンポに応じて概ね周期的に出現するが、音楽を表現するうえでのいわゆる「味付け」により、間隔が狭まったり広がったりすることは往々にして起こりうる。ビートデータはこのようなビートの間隔の変化をも正確にトレースしたデータであることが望ましい。このようなビートデータの生成手法の例は後述する。一方、本実施の形態はそれに限らず、基本的なテンポにのった部分におけるビートのタイミングを模した、周期的なタイミングを表すデータなどでもよい。
早送り波形は、早送り再生時に出力するオーディオ信号の波形である。本実施の形態では元の曲の一部を再生部分A、その次の部分を非再生部分B、さらに次の部分を再生部分A・・・と交互に決定し、早送り再生時には再生部分Aのみを再生してユーザに聴かせる。図1では理解を容易にするため早送り波形を通常波形の時間軸に揃えて表しているが、非再生部分Bは再生されずにスキップされるため、その部分の時間は経過しない。そのため同図では、早送り波形の時間軸における当該部分を点線で示している。すなわち実際にユーザが聴く音は、再生部分Aをつなげたものとなる。
再生部分Aおよび非再生部分Bは、ビートデータで表されるビートのタイミングと、早送り再生時に要求される再生速度とによって決定する。具体的には、再生部分Aの開始タイミングをビートのタイミングと同期させる。また再生速度がN倍速であれば、ビートの間隔Cに対する再生部分Aの長さの割合を1/Nとする。図1では2倍速の場合を示しており、再生部分Aの長さはビートの間隔Cの1/2である。結果として再生部分Aの時間と非再生部分Bの時間とが等しくなっている。
以下に説明するように、音楽におけるビートのタイミングを含む微少時間は、その他の期間に比べより多くの情報が含まれている。そのため早送り再生時には当該ビートのタイミングを含む部分を優先的に再生し、その他の部分から信号を間引くようにすることにより、再生音における情報の欠落量を抑制する。これにより、高速の早送り再生においても元の曲からの乖離が少なく、ユーザが曲として認識し易くなる。
図2は歌の場合における発声のタイミングとビートのタイミングの関係を模式的に示している。通常、歌詞はその曲の音符にのせることが多く、ビートのタイミングは音符と重なることが多いため、ビートは発声のタイミングと重なる確率が高い。図2では、「さ(sa)」「く(ku)」「ら(ra)」という3音が2度、ビートのタイミングと合致したタイミングで発声される場合を示している。同図において各音をなす図形のうち、矩形30は子音が発せられる期間、三角形32は母音が発せられる期間を示している。同図に示すように、発声したタイミング、すなわちビートのタイミングから微少時間は、「さ」「く」「ら」のうちそれぞれの子音が発声され(矩形30)、続いて母音が発声される(三角形32)。母音の長さは曲によって様々である。
子音と母音とで構成される発声直後の音と、後に伸びる母音のみの音とでは、前者の方が明らかに音(おん)としての情報が多く含まれる。したがって、同図の例からも明らかなように、全体的にみてビートのタイミングを含む微少時間は、その他の期間より、歌詞を判別するのに必要な多くの情報を含んでいる。さらに発声直後の声と比較すると、その後に伸ばす声は、ビブラートなどの表現によって本来の音符の音程からずれていたりはっきりしなかったりする可能性が高い。そのためビートのタイミングを含む微少時間は、音程を認識するうえでも有利な情報を多く含んでいるといえる。
器楽曲や伴奏における楽器の音の場合、当該楽器を弾いたタイミングから微少時間には、その楽器本来の音色や演奏者のタッチなどを認識できるアタック音が発生し、次に音符の長さ分のリリース音が続く。この場合もビートのタイミングはアタック音が発生するタイミングと重なる確率が高い。したがってビートのタイミングから微少時間は、全体的に本来の音色など楽器による曲の表現を認識するのに必要な多くの情報が、他の期間より多く含まれる。また発声の場合と同様に、ビートのタイミングを含む微少時間は、音程を認識するうえでも有利な情報を多く含んでいる。
このように本実施の形態は、元の曲が有する情報をなるべく欠落させずに早送り再生を行うために、発声した瞬間や楽器を弾いた瞬間を再生部分として捉えることが肝要である。そのため再生部分Aの開始タイミングを、ビートのタイミングから所定の微少時間早めた時点としてもよい。これにより、実際の発声や発音のタイミングがビートデータが表すビートのタイミングより微妙に早まっている場合など、テンポの微妙なゆらぎやずれを担保することができる。
また、図1ではあるビートから次のビートまでの時間を1単位として、時間割合に基づき再生部分Aと再生部分Bを当てはめたが、上述のような情報の確保を保証するためには、各再生部分Aの時間の絶対値にも配慮する。例えば発声において子音と母音との組み合わせを捉えるには10ミリ秒程度の時間が必要となるため、再生部分Aはそれ以上の時間を有することが望ましい。ところが再生速度を上げていくと、ビートの間隔Cに対する再生部分Aの割合が減少していき、いつかは再生部分Aの時間が情報を確保するのに必要な時間を下回る領域へと達することになる。
そこで再生速度を上げて再生部分Aの割合が減少しても各再生部分Aの絶対値を確保するために、所定の再生速度を超える場合は、ビートデータに記録されたビートから一定の個数おきに抽出したビートを基準のビートとしてもよい。例えば1つおきのビートを基準として、そのタイミングを再生部分Aの開始タイミングとし、そこから2つめのビートまでの時間を1単位として再生部分Aと非再生部分Bを当てはめる。すると、各再生部分Aの時間は図1の場合の2倍となる。基準とするビートの数は、要求される再生速度に応じて段階的に減少させるようにあらかじめ設定しておいてもよい。これにより、例えば10倍速程度の高速再生を行っても、ビートのタイミングに含まれる情報を確保することができるため、曲の認識という観点での再生速度の限界を格段に高くできる。
次にビートデータを生成する手法の一例として、本発明者が過去に発明した手法を説明する。なお、より詳細な手法については、本発明者が開示した特許文献(特開2007−33851)に記載されている。また本手法はビートのタイミングを曲全体に渡り精度よく自動で取得できるという点で、本実施の形態に利用することにより一層の効果を得ることができるが、本手法をもって本実施の形態を限定するものではない。上述のとおり曲においてテンポが一定の部分のビートの周期から擬似的なビートのタイミングを求めてもよいし、人手による調整などの処理を含めてもよい。
図3は本実施の形態で用いるビートデータを生成する際に利用できる、ビート抽出の原理を説明するための図である。図の横軸はそれぞれの波形に共通の時間軸である。同図中、上段はあるオーディオ信号の時間波形、中段は同じ時間における当該信号のスペクトログラム、下段は本手法で抽出するビート波形を示している。スペクトログラムは周波数に対するオーディオ信号のスペクトルの時間変化を示したものであり、縦軸は周波数である。
まず時間波形を見ると、そのピークが大きく振れるタイミング52の存在が確認できる。これは例えばドラムなどの打楽器がビートを刻んでいるタイミングであると考えられるが、実際にこの音楽を聴いてみると、時間波形に表れるビートのタイミング52より多くのタイミングでビートが感じられる場合が多い。これは時間波形がその音楽を構成する様々な音波の波形の重ね合わせを表していることなどに起因する。すなわち時間波形は各音波の位相によって振幅が変化するため、ビートのタイミングで波形が打ち消しあったりビート以外のタイミングで増幅したり、といったことが起こりやすい。そのためビート抽出において十分な精度が得られにくい。
一方、スペクトログラムを見ると、広範囲にわたる周波数帯域で瞬時に生じる強いスペクトル62がおよそ周期的に表れているのがわかる。このスペクトル62の発生タイミングは、音楽を実際に受聴した際に人間が感じるビートのタイミングとよく合致している。そこで、スペクトル62が表れるタイミングをビートのタイミングと判断する。具体的にはスペクトルの時間微分を行い、その値、すなわちスペクトルの時間変化量が大きいタイミングをビートのタイミングとする。
具体的な処理は次のように行う。まず処理対象のオーディオ信号に対し、所定周期ごとにFFT(Fast Fourier Transform)演算を行うなど一般的な手法により、各時刻におけるスペクトルを算出する。そしてスペクトルの全周波数帯域における総和の、単位時間あたりの変化を算出することにより、スペクトルの時間微分値を算出する。スペクトルの算出および時間微分値の算出は、実際には所定の時間幅のうちにサンプリングされたオーディオ信号ごとにスペクトルを算出し、当該時間幅を単位時間分ずらした際のスペクトルの差分を時間微分値として取得するオーバラップ処理を行ってもよい。このようにして数ミリ秒から数十ミリ秒の時間分解能でスペクトルが得られる。
以上の処理により、図3の時間波形で表されるようなオーディオ信号から、スペクトログラムで表されるようなスペクトルが算出され、それを時間微分することによりビート波形が得られる。次にビート波形のピーク64の値とあらかじめ設定したしきい値66とをそれぞれ比較する。そしてしきい値66を超えるピークが発生するタイミングをビートのタイミングとし、その時刻あるいはサンプル番号などを記録する。場合によっては、間隔が他より広くビートが抜けていると見なされるタイミングにビートを追加したり、間隔が他より短い部分のビートを削除したり、といった調整をさらに行ってもよい。
次に本実施の形態の構成について説明する。図4は本実施の形態におけるオーディオ再生装置の構成を示している。オーディオ再生装置10は、ユーザが選択した楽曲に対応するオーディオデータを再生し、音響として出力する。オーディオ再生装置10は、再生の選択肢であるオーディオデータおよびそれぞれのビートデータを記憶する記憶部12、ユーザが指示入力を行うインターフェースである入力部16、早送り再生の際、ビートデータを取得するメタデータ取得部14、ユーザの入力に応じて装置全体を制御する再生制御部18、オーディオデータを再生する再生部20、および再生された信号を音響として出力する出力部22を含む。
記憶部12は、オーディオデータなどを記憶するフラッシュメモリやハードディスクなど、オーディオ再生装置10に内蔵された記憶装置でもよいし、オーディオデータなどを記録したCD(Compact Disc)などの記録媒体とその読み取り装置との組み合わせでもよい。あるいは記憶部12を、図示しないネットワークを介して音楽コンテンツを提供するサーバ内の記憶装置としてもよい。記憶部12を複数設けた構成とし、上記の態様を組み合わせてもよい。記憶部12に記憶されるオーディオデータは、オーディオ信号をMP3やPCMなど一般的に用いられるコーデックで符号化したものでよい。
各オーディオデータに対応するビートデータは、オーディオデータを提供する音楽ソフト制作会社、配信会社などが作成してオーディオデータに付与してもよいし、オーディオデータを取得したユーザが自分で作成してもよい。ビートデータは、対応するオーディオデータのヘッダなどに埋め込めこまれていてもよいし、オーディオデータと独立したファイルとしてもよい。後者の場合、オーディオデータとビートデータとの対応関係が識別番号、ファイル名などにより明らかであれば、同一の記憶部12に記憶されていなくてもよい。例えばオーディオ再生装置10に内蔵された記憶部12がオーディオデータを記憶する一方、当該オーディオデータに対応するビートデータはネットワークを介して接続したサーバに設けられた記憶部12から必要に応じてダウンロードするようにしてもよい。
入力部16は、記憶部12に記憶されているオーディオデータからの選択、通常再生指示、早送り再生指示、各再生の停止指示などの入力をユーザがオーディオ再生装置10に対して行う際のインターフェースである。入力部16として、一般的なオーディオ再生装置に備えられている入力装置を採用してもよい。すなわち、ボタン、タッチパネル、マウス、トラックボールなど一般的な入力装置のいずれかまたはその組み合わせでよい。入力部16はオーディオ再生装置10と一体的に設けてもよいし、リモートコントローラの形式でオーディオ再生装置10本体と分離した形態としてもよい。
メタデータ取得部14は、ユーザが入力部16に対し早送り再生の指示入力を行った際、再生対象のオーディオデータに対応するビートデータを記憶部12から読み出し、再生制御部18に与える。
再生制御部18は、ユーザが入力部16に対し早送り再生の指示入力を行った際、メタデータ取得部14を動作させる。そしてメタデータ取得部14が取得したビートデータと、要求される再生速度とに従い、再生部分と非再生部分との切り替えタイミングを決定し、オーディオデータのうち再生部分のみを再生するように再生部20を制御する。
ここで要求される再生速度とは、オーディオ再生装置が有する機能としてあらかじめ定めた固定値でもよいし、入力部16に対する入力内容によって変化するようにしてもよい。例えば入力部16に設けた早送り再生ボタンを長く押し続けるほど、あるいは多くの回数を押すほど、連続的または段階的に再生速度が速くなるようする。再生制御部18は、再生ボタンが押下された時間や回数を、あらかじめ対応づけられた再生速度に変換し、再生部分Aと非再生部分Bとの時間割合を決定する。
再生制御部18はさらに、ユーザが入力部16に対し早送り再生から通常再生への切り替えを指示する入力を行った際は、オーディオデータの全ての部分を再生するように再生部20を制御する。また、一般的なオーディオ再生装置と同様、曲の選択や通常再生の開始、停止などの指示入力に応じて再生部20を制御する。
再生部20は再生制御部18の制御のもと、記憶部12からユーザが選択した曲に対応するオーディオデータを読み出し、再生する。基本的には符号化されたオーディオデータを復号し、ディジタルアナログ変換を施すなど一般的な手法で再生を行い、オーディオ信号を生成する。ただし早送り再生時は、再生制御部18が決定した再生部分Aのみを処理対象とする。具体的には、オーディオデータのデータストリームのうち、ある再生部分Aの開始タイミングから終了タイミングまでを復号してディジタルアナログ変換など必要な処理を行う。そして後続の非再生部分Bをスキップして次の再生部分Aの処理を開始する。
再生制御部18は、ビートデータにおいてビートのタイミングを表現する実時間やサンプル数に基づき、再生部分Aと非再生部分Bとの切り替えタイミングを、復号前のオーディオデータのアクセスユニットの単位で算出しておく。これにより、ある再生部分Aのデータ終了ポイントから次の再生部分Aのデータ開始ポイントへ、再生部20のアクセスを直接シフトさせることができる。
出力部22は、再生されたオーディオ信号を音響としてユーザに聴かせる機能を備えていれば、スピーカ、ヘッドフォン、イヤホンなど一般的な音響出力装置のいずれでよい。
次に、以上述べた構成を有するオーディオ再生装置10の動作について説明する。図5はオーディオ再生装置10が行う処理手順を示すフローチャートである。まずユーザが、選曲を行ったうえで通常再生を開始する指示入力を入力部16に対し行うと(S10)、再生制御部18による制御のもと、再生部20は選択された楽曲に対応するオーディオデータを記憶部12から読み出し再生処理を施し、出力部22が音響として出力する(S12)。ユーザが入力部16に対し通常再生停止の指示入力を行ったり早送り再生を開始する指示入力を行ったりしなければ、この通常再生および出力の処理を続行する(S14のN、S16のN、S12)。
一方、ユーザが入力部16に対し、通常再生を停止する指示入力を行わず早送り再生を開始する指示入力を行った場合(S14のN、S16のY)、再生制御部18は、メタデータ取得部14を介して、再生中のオーディオデータに対応するビートデータを取得する(S18)。そして再生制御部18は、ビートのタイミングあるいはそれより所定時間前のタイミングなど、ビートのタイミングを基準とした所定規則に則り各再生部分Aの開始タイミングを決定し、ユーザが早送り再生の指示入力を行った際の入力部16の操作などに応じて決定した再生速度に基づき、再生部分Aと非再生部分Bの時間割合を決定する(S20)。これはすなわち再生部分Aと非再生部分Bとを切り替えるタイミング、あるいはオーディオデータのうち切り替えを行うアクセスユニットを決定することでもある。
次に再生部20は再生制御部18による制御のもと、再生部分Aのみを順に再生し、出力部22がそれを音響として出力する(S22)。ユーザが入力部16に対し早送り再生を停止する指示入力を行わない限りは、再生部分のみの再生および出力を続行する(S24のN、S22)。一方、ユーザが早送り再生を停止する指示入力を行った場合は(S24のY)、再生部20は再生制御部18による制御のもと、オーディオデータの全ての部分を再生する通常再生へ処理を戻し、その音響を出力部22が出力する(S12)。ユーザが入力部16に対し通常再生を停止する指示入力を行った場合、全ての処理を終了させる(S14のY)。
なお、ビートデータを取得するステップ(S18)と再生部分Aと非再生部分Bとの切り替えタイミングを決定するステップ(S20)は、ユーザが早送り再生を開始する指示入力を行う前、例えば再生対象のオーディオデータが決定した時点などにあらかじめ行っておき、そのデータを図示しないメモリなどに一時保存するようにしてもよい。この場合は、ユーザが早送り再生の指示入力を行った際、再生制御部18が切り替えタイミングを当該メモリから読み出すことにより、S22の再生部分Aのみの再生、出力処理が行われる。
以上述べた本実施の形態によれば、オーディオ再生装置において早送り再生を行う際、再生対象の楽曲が有するビートのタイミングを基準に再生部分と非再生部分とを決定し、再生部分のみを再生する。具体的には、再生部分の開始をビートのタイミングに合致させるか、ビートのタイミングより所定時間前のタイミングとする。再生部分と非再生部分との時間割合は、要求される再生速度によって決定する。これにより、オーディオデータのうち、歌詞、音色、音程など楽曲として重要な情報が多く含まれるビートのタイミング近傍のデータは優先的に再生されるため、高速に早送り再生した場合でも元の曲からの乖離が少なく、ユーザは楽曲を認識しやすくなる。結果として、メロディの探索、所望の箇所への移動など、早送り再生の目的を短期間で達成することができる。
本実施の形態は再生部分、非再生部分を上述のとおり決定できれば、オーディオデータのうち一部分をスキップする処理は従来の早送り再生に用いられた装置構成で実現可能である。すなわち専用のフィルターを用意するなど特別な信号処理が不要であるため、導入障壁が少なく製品化が容易である。また計算コストが少ないため、携帯オーディオ装置や携帯電話など、演算能力が比較的乏しい装置にも実装しやすい。
実施の形態2
実施の形態1では楽曲が有するビートのタイミングを基準として再生部分を決定した。本実施の形態ではビートのタイミングに加え、楽曲の構成を考慮することにより、ユーザに楽曲の内容を認識させつつ、より高速の早送り再生を実現する。本実施の形態の装置構成は、図3で示したオーディオ再生装置10と同様である。以下、主に実施の形態1との相違点について説明し、実施の形態1と重複する内容については適宜説明を省略する。
実施の形態1では楽曲が有するビートのタイミングを基準として再生部分を決定した。本実施の形態ではビートのタイミングに加え、楽曲の構成を考慮することにより、ユーザに楽曲の内容を認識させつつ、より高速の早送り再生を実現する。本実施の形態の装置構成は、図3で示したオーディオ再生装置10と同様である。以下、主に実施の形態1との相違点について説明し、実施の形態1と重複する内容については適宜説明を省略する。
一般に楽曲は、基本となる複数種類のメロディの固まり、すなわちメロディブロックを組み合わせて構成される。同一種類のメロディブロックには概ね同一の旋律が含まれている。図6は一の楽曲が有するメロディブロックの時系列構成の例を示している。横軸は時間であり各矩形がメロディブロックに対応する。同図の例では、メロディブロックの種類として、前奏である「イントロ」、中間部である「メロディA」、「メロディB」、「メロディC」、盛り上がりの部分である「サビ」、後奏である「アウトロ」を含む構成となっている。また「メロディA」、「メロディB」、「メロディC」はそれぞれ2回、「サビ」は3回出現している。
図6に示したものの他にメロディブロックの種類として、間奏である「ブリッジ」やソロ部分、音響効果部分などもある。このような種別は主にポピュラー音楽において用いられるものであるが、歌、器楽曲を問わず、またジャンルを問わず、多くの楽曲においてメロディブロックは存在し、同一種類のメロディブロックが複数回出現することが多い。
本実施の形態では楽曲のそのような特徴を利用して、実施の形態1で説明したビートを基準とした再生部分の決定処理を、選択したメロディブロックについてのみ行い、その他のメロディブロックは再生対象からはずすことにより、さらに早送りの再生速度を向上させる。図6の例では、それぞれ初回に出現する「メロディA」80、「メロディB」82、「サビ」84、および「アウトロ」86のみを処理の対象として選択する。選択されたメロディブロックは、それに含まれるビートのタイミングを基準に実施の形態1と同様に再生部分を決定し、部分的に再生する。
メロディブロックを選択するポリシーは音楽を制作する側、配信する側、鑑賞する側によって種々考えられるが、基本的には複数回出現するメロディブロックは1回のみ選択する、さらに間奏など曲の表現上、比較的重要でないと思われるメロディブロックは非選択とする、などとすると、高速再生しながら曲を認識させる効果がより得られやすい。
実施の形態1のようにビートを基準に再生部分と非再生部分とを決定するのに加えて、メロディブロックごと再生を省略することで、曲を認識させながらも全体的な再生速度が格段に速くなる。例えば各曲のデータの最初にインデックスをつけずに多くの曲を一度に録音した場合やクラシックの長時間にわたる楽章などは、従来のインデックスによる再生スキップが利用できず、長時間にわたって早送り再生をしなければ所望の箇所へ行き着けない。
一方、本実施の形態によればユーザが楽曲を認識しながら高速再生が可能となるため、短時間で所望の曲や箇所へ行き着くことができる。インデックスが細かく記録されている場合でも、インデックスからインデックスへ再生をスキップするのではなく、実際に再生音を聴きながら曲を早送りすることが可能なため、曲の把握が短時間で可能となる。例えば、一のアルバムに収録された曲をダイジェストで聴くことができ、販売促進やザッピングなどに効果的である。
図6に示したような曲の構成や選択されたメロディブロックを示すメロディブロックデータは、あらかじめオーディオデータごとにメタデータとして用意し、記憶部12に記憶させる。当該メタデータは、ビートデータと同様、メロディブロックの切り替えタイミングを曲の開始からの経過時間で記録したデータでもよいし、曲の開始からのサンプル数で記録したデータでもよい。あるいはビートデータに対応づけ、曲の開始からのビート数で記録したり、ビートデータにマーキングをしてもよい。このようなデータを、オーディオデータを提供する音楽ソフト制作会社、配信会社などが作成してオーディオデータに付与してもよいし、オーディオデータを取得したユーザが自分で作成してもよい。当該データは、オーディオデータのヘッダに含まれていてもよいし、オーディオデータとは別ファイルとしてもよい。
曲の構成データは、曲のコード進行においてコードが切り替わるタイミングやコードの繰り返しパターンを従来技術である音響解析技術を用いて自動的に取得することによって求めてもよいし、実際の音楽を聴きながらメロディブロックの切り替わりタイミングにおいて人為的に何らかの入力を行うことにより記録するようにしてもよい。このような技術は従来の音楽作成用ソフトウェアなどを用いて実現することができる。選択するメロディブロックは、上述のポリシーの他、音楽制作者が得に聴かせたいと考えるメロディブロックや、ユーザが早送り再生時に聴きたいと考えるメロディーブロックを、曲の構成データにおいて他のメロディブロックと識別できるようにマーキングすればよい。
本実施の形態におけるオーディオ再生装置10の動作は、実施の形態1で図4を参照して説明したのと概ね同様となる。ただし本実施の形態では、S18においてビートデータを取得する際、記憶部12にメタデータとして記憶されたメロディブロックデータを同時に取得する。そしてS20において再生制御部18が再生部分と非再生部分を決定する際、メロディブロックデータを参照し、選択されたメロディブロックに含まれるビートのタイミングのみを抽出してそれを基準に再生部分、非再生部分を決定する。それ以外のメロディブロックは全て非再生部分とする。こうして決定した再生部分のみを再生して音響として出力する点は、図4のS20で説明したのと同様である。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
例えばビートデータがメタデータとして用意されない環境などにおいても実施の形態1の如き態様を実現するために、メタデータ取得部14にオーディオデータからリアルタイムでビートを抽出する機能を含めてもよい。この場合、再生中のオーディオデータに対応するビートデータが記憶部12に記憶されていなかった場合などに、メタデータ取得部14は記憶部12からオーディオデータを読み出し、上述のとおりスペクトルの算出およびその時間微分を行いビートのタイミングを取得する。
再生制御部18はこのようにして得たビートのタイミングを基準に実施の形態1と同様に再生部分を決定し、再生部20にその部分のみを再生させて出力する。あるいはメタデータ取得部14がビートのタイミングを取得する際再生したデータを図示しないメモリに一時保存しておき、そのうち再生部分のみを抽出して出力するようにしてもよい。これによりビートデータが得られない環境にあっても本実施の形態と同様の効果を得ることができる。
また実施の形態1、2では、再生制御部18が決定した再生部分のみを、再生部20がオーディオデータから再生し出力するとしたが、再生部20は再生部分か非再生部分かに関わらず全ての部分を再生し、出力部22が再生部分のみを出力するようにしてもよい。この場合、再生部分と非再生部分との切り替えを楽曲開始からの経過時間などによって記録すれば、時間に基づいて出力させるかさせないかを決定することができる。このようにしても本実施の形態と同様の効果を得ることができる。
さらに実施の形態2では、同じ旋律を有するメロディブロック単位で選択、非選択を決定し、非選択のメロディブロックごと非再生部分とすることにより、さらなる高速再生を実現したが、曲中のブロックとして何らかの規則に従い区分けが可能な単位のいずれをも、広義のメロディブロックとすることができる。例えば小節単位、歌詞の番数単位などをメロディブロックとして、実施の形態2で説明したのと同様のメタデータを用意することにより、同様の効果を得ることができる。
10 オーディオ再生装置、 12 記憶部、 14 メタデータ取得部、 16 入力部、 18 再生制御部、 20 再生部、 22 出力部。
Claims (11)
- 再生中の楽曲の早送り再生の指示入力を受け付ける入力部と、
前記入力部が早送り再生の指示入力を受け付けた際、前記楽曲に対応するオーディオデータを、再生対象の楽曲の拍をなすビート単位でジャンプさせながら再生する再生部と、
を備えたことを特徴とするオーディオ再生装置。 - ユーザが選択した楽曲を再生して音響として出力するオーディオ再生装置において、
ユーザが早送り再生の指示を入力した際、再生対象の楽曲の拍をなすビートのタイミングを表すビートデータを取得するメタデータ取得部と、
前記ビートデータに記録されたビートのうち、少なくとも一部のビートのそれぞれに対応させて、前記楽曲に対応するオーディオデータの再生部分と非再生部分とを決定する再生制御部と、
前記再生制御部が決定した再生部分のみを再生し非再生部分の再生を省略する再生部と、
を備えたことを特徴とするオーディオ再生装置。 - 前記再生制御部が決定する再生部分は、オーディオデータのうち、対応するビートのタイミングを開始点とする部分であることを特徴とする請求項2に記載のオーディオ再生装置。
- 前記再生制御部が決定する再生部分は、オーディオデータのうち、対応するビートのタイミングから所定時間前のタイミングを開始点とする部分であることを特徴とする請求項2に記載のオーディオ再生装置。
- 前記再生制御部は、前記ビートデータに記録された全ビートのそれぞれに対応させて再生部分と非再生部分とを決定し、
前記再生部分は、要求される早送り再生の速度がN倍速であったとき、対応するビートから次のビートまでの時間間隔の1/Nの時間分のデータであることを特徴とする請求項2から4のいずれかに記載のオーディオ再生装置。 - 前記再生制御部は、前記ビートデータに記録されたビートから所定の個数おきに抽出したビートのそれぞれに対応させて再生部分と非再生部分とを決定し、
前記再生部分は、要求される早送り再生の速度がN倍速であったとき、対応するビートから次に抽出されたビートまでの時間間隔の1/Nの時間分のデータであることを特徴とする請求項2から4のいずれかに記載のオーディオ再生装置。 - 前記メタデータ取得部は、再生対象の楽曲を所定の規則で区分けしてなるメロディブロックの順列に対し、各メロディブロックごとに選択、非選択を規定したメロディブロックデータをさらに取得し、
前記再生制御部は、前記オーディオデータのうち、前記メロディブロックデータに記録された非選択のメロディブロックに対応する部分を非再生部分と決定することを特徴とする請求項2から4のいずれかに記載のオーディオ再生装置。 - 前記メタデータ取得部が取得するメロディブロックデータにおいて、同一の旋律を有する同一種類のメロディブロックは1回のみ選択されることを特徴とする請求項7に記載のオーディオ再生装置。
- 前記メタデータ取得部は、再生対象の楽曲の信号のスペクトルの時間微分に基づいて拍をなすビートのタイミングを抽出し、前記ビートデータを生成するビート抽出部を備えたことを特徴とする請求項2から4のいずれかに記載のオーディオ再生装置。
- 再生対象の楽曲の拍をなすビートのタイミングを表す情報を取得するステップと、
各ビートに対応させて前記楽曲の再生部分および非再生部分を決定するステップと、
再生部分と決定された部分のみを音響として出力するステップと、
を含むことを特徴とするオーディオ早送り再生方法。 - ユーザが選択した楽曲を再生して音響として出力する機能をコンピュータに実現させるコンピュータプログラムであって、
ユーザが早送り再生の指示を入力した際、再生対象の楽曲の拍をなすビートのタイミングを表すビートデータをメモリから読み出す機能と、
前記ビートデータに記録されたビートのうち、少なくとも一部のビートのそれぞれに対応させて、前記楽曲に対応するオーディオデータの再生部分と非再生部分とを決定する機能と、
前記オーディオデータのうち再生部分と決定された部分のみをメモリより読み出し再生する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007230003A JP2009063714A (ja) | 2007-09-05 | 2007-09-05 | オーディオ再生装置およびオーディオ早送り再生方法 |
US12/200,742 US8612031B2 (en) | 2007-09-05 | 2008-08-28 | Audio player and audio fast-forward playback method capable of high-speed fast-forward playback and allowing recognition of music pieces |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007230003A JP2009063714A (ja) | 2007-09-05 | 2007-09-05 | オーディオ再生装置およびオーディオ早送り再生方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009206398A Division JP4537490B2 (ja) | 2009-09-07 | 2009-09-07 | オーディオ再生装置およびオーディオ早送り再生方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009063714A true JP2009063714A (ja) | 2009-03-26 |
Family
ID=40432746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007230003A Pending JP2009063714A (ja) | 2007-09-05 | 2007-09-05 | オーディオ再生装置およびオーディオ早送り再生方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8612031B2 (ja) |
JP (1) | JP2009063714A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4843120B1 (ja) * | 2011-02-02 | 2011-12-21 | パイオニア株式会社 | 楽曲再生方法、楽曲再生装置、再生処理システムおよびプログラム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9336823B2 (en) * | 2011-10-07 | 2016-05-10 | Nxp B.V. | Playing audio in trick-modes |
JP6414164B2 (ja) * | 2016-09-05 | 2018-10-31 | カシオ計算機株式会社 | 自動演奏装置、自動演奏方法、プログラムおよび電子楽器 |
US11895369B2 (en) | 2017-08-28 | 2024-02-06 | Dolby Laboratories Licensing Corporation | Media-aware navigation metadata |
KR20220128672A (ko) * | 2020-02-11 | 2022-09-21 | 에이미 인코퍼레이티드 | 음악 콘텐츠 생성 |
CN116434791B (zh) * | 2023-06-12 | 2023-08-11 | 深圳福德源数码科技有限公司 | 一种用于音频播放器的配置方法及系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5734731A (en) * | 1994-11-29 | 1998-03-31 | Marx; Elliot S. | Real time audio mixer |
US6307141B1 (en) * | 1999-01-25 | 2001-10-23 | Creative Technology Ltd. | Method and apparatus for real-time beat modification of audio and music signals |
JP2002073093A (ja) | 2000-09-05 | 2002-03-12 | Nippon Telegr & Teleph Corp <Ntt> | オーディオ信号符号化方法、復号化方法及びそれらの方法を実行するプログラム記憶媒体 |
EP1415297B1 (de) * | 2001-06-18 | 2008-09-24 | Native Instruments Software Synthesis GmbH | Automatische erzeugung von musikalischen sratch-effekten |
EP1577877B1 (en) * | 2002-10-24 | 2012-05-02 | National Institute of Advanced Industrial Science and Technology | Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data |
US7208672B2 (en) * | 2003-02-19 | 2007-04-24 | Noam Camiel | System and method for structuring and mixing audio tracks |
US7525036B2 (en) * | 2004-10-13 | 2009-04-28 | Sony Corporation | Groove mapping |
JP4940588B2 (ja) | 2005-07-27 | 2012-05-30 | ソニー株式会社 | ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法 |
US20070261537A1 (en) * | 2006-05-12 | 2007-11-15 | Nokia Corporation | Creating and sharing variations of a music file |
-
2007
- 2007-09-05 JP JP2007230003A patent/JP2009063714A/ja active Pending
-
2008
- 2008-08-28 US US12/200,742 patent/US8612031B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4843120B1 (ja) * | 2011-02-02 | 2011-12-21 | パイオニア株式会社 | 楽曲再生方法、楽曲再生装置、再生処理システムおよびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US8612031B2 (en) | 2013-12-17 |
US20090069917A1 (en) | 2009-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101363534B1 (ko) | 비트 추출 장치 및 비트 추출 방법 | |
US8415549B2 (en) | Time compression/expansion of selected audio segments in an audio file | |
Pachet et al. | Reflexive loopers for solo musical improvisation | |
US7952012B2 (en) | Adjusting a variable tempo of an audio file independent of a global tempo using a digital audio workstation | |
US8198525B2 (en) | Collectively adjusting tracks using a digital audio workstation | |
US20110112672A1 (en) | Systems and Methods of Constructing a Library of Audio Segments of a Song and an Interface for Generating a User-Defined Rendition of the Song | |
KR101136974B1 (ko) | 재생장치 및 재생방법 | |
JP2012103603A (ja) | 情報処理装置、楽曲区間抽出方法、及びプログラム | |
US9892758B2 (en) | Audio information processing | |
US20160071429A1 (en) | Method of Presenting a Piece of Music to a User of an Electronic Device | |
JP3886372B2 (ja) | 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム | |
JP2009063714A (ja) | オーディオ再生装置およびオーディオ早送り再生方法 | |
JP2003308067A (ja) | ディジタル楽譜の音符とその楽譜のリアリゼーションとの間のリンクを生成する方法 | |
JP4537490B2 (ja) | オーディオ再生装置およびオーディオ早送り再生方法 | |
JP7367835B2 (ja) | 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器 | |
JP3750533B2 (ja) | 波形データ録音装置および録音波形データ再生装置 | |
KR20090023912A (ko) | 음악 데이터 처리 시스템 | |
Driedger | Time-scale modification algorithms for music audio signals | |
JP5338312B2 (ja) | 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム | |
JPH08227296A (ja) | 音声信号処理装置 | |
US20230343313A1 (en) | Method of performing a piece of music | |
US20230343314A1 (en) | System for selection and playback of song versions from vinyl type control interfaces | |
JP2007233078A (ja) | 評価装置、制御方法及びプログラム | |
WO2023217352A1 (en) | Reactive dj system for the playback and manipulation of music based on energy levels and musical features | |
JP4336362B2 (ja) | 音響再生装置及びその方法、音響再生プログラム及びその記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090728 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091201 |