JP2007163586A - 音楽ジャンル判別装置及びこれを備えたゲーム機 - Google Patents

音楽ジャンル判別装置及びこれを備えたゲーム機 Download PDF

Info

Publication number
JP2007163586A
JP2007163586A JP2005356454A JP2005356454A JP2007163586A JP 2007163586 A JP2007163586 A JP 2007163586A JP 2005356454 A JP2005356454 A JP 2005356454A JP 2005356454 A JP2005356454 A JP 2005356454A JP 2007163586 A JP2007163586 A JP 2007163586A
Authority
JP
Japan
Prior art keywords
music
genre
value
data
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005356454A
Other languages
English (en)
Other versions
JP4001897B2 (ja
Inventor
Matsumi Suzuki
松美 鈴木
Yasushi Yoshida
靖 吉田
So Suzuki
創 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JAPAN ACOUSTIC LABORATORY
Konami Digital Entertainment Co Ltd
Original Assignee
JAPAN ACOUSTIC LABORATORY
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JAPAN ACOUSTIC LABORATORY, Konami Digital Entertainment Co Ltd filed Critical JAPAN ACOUSTIC LABORATORY
Priority to JP2005356454A priority Critical patent/JP4001897B2/ja
Priority to TW095146011A priority patent/TW200803954A/zh
Priority to PCT/JP2006/324529 priority patent/WO2007066754A1/ja
Priority to CN2006800459567A priority patent/CN101325990B/zh
Priority to US12/096,248 priority patent/US8315726B2/en
Publication of JP2007163586A publication Critical patent/JP2007163586A/ja
Application granted granted Critical
Publication of JP4001897B2 publication Critical patent/JP4001897B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/10
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/814Musical performances, e.g. by evaluating the player's ability to follow a notation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6063Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/69Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047Music games
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/135Musical aspects of games or videogames; Musical instrument-shaped game input interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/081Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/025Envelope processing of music signals in, e.g. time domain, transform domain or cepstrum domain
    • G10H2250/031Spectrum envelope processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】比較的簡素な構成で音楽のジャンルを判別することができる音楽ジャンル判別装置を提供する。
【解決手段】音楽再生機器100からライン入力端子4に取り込まれた音楽再生信号の低周波成分及び高周波成分のそれぞれの積分値及び微分値を出力する信号処理部10と、信号処理部10から出力される積分値及び微分値のそれぞれを所定のサンプリング単位時間ずつ取り込んで、サンプリング単位時間内にそれぞれの積分値及び微分値が所定レベルを超えるか否かを判定し、所定レベルを超える値が検出されたと判定された回数を所定のサンプリング周期毎に集計した解析データを生成するデータ生成部30と、解析データの集計値に基づいて音楽再生機器100から出力される音楽のジャンルを判別するデータ解析部31とを音楽ジャンル判別装置に設ける。
【選択図】図2

Description

本発明は、音楽再生機器にて再生される音楽の音楽再生信号を取り込んでその音楽のジャンルを判別する装置等に関する。
携帯型オーディオプレーヤのような音楽再生機のライン出力端子から出力される音楽再生信号はヘッドフォン等の音声出力装置による音声変換を前提として生成されるアナログ信号であり、音楽のジャンルを判別するための情報は音楽再生信号に加えられていない。そのような音楽再生信号を解析して音楽のジャンルを判定する手段として、これまではFFTといった高度な周波数分析処理が利用されており、音楽再生機と組み合わせて一般ユーザが使用できるような音楽ジャンルの判別装置はこれまで提供されていない。なお、ゲーム機の分野においては、マイクから入力された音声信号を解析し、その解析結果をキャラクタの形態に反映させるものが提供されている(例えば特許文献1参照)。
特開2001−29649号公報
そこで、本発明は比較的簡素な構成で音楽のジャンルを判別することができる音楽ジャンル判別装置、及びこれを応用したゲーム機を提供することを目的とする。
本発明の音楽ジャンル判別装置は、音楽再生機器(100)から出力される音楽再生信号を取り込む信号入力部(4)と、前記信号入力部に取り込まれた音楽再生信号の低周波成分及び高周波成分のそれぞれの積分値及び微分値を出力する信号処理部(10)と、前記信号処理部から出力される積分値及び微分値のそれぞれを所定のサンプリング単位時間(Tn)ずつ取り込んで、前記サンプリング単位時間内にそれぞれの積分値及び微分値が所定レベルを超えるか否かを判定し、前記所定レベルを超える値が検出されたと判定された回数を所定のサンプリング周期毎でかつ前記積分値及び前記微分値別に集計した解析データ(D1)を生成するデータ生成部(30)と、前記解析データに記述された集計値(sum01…sum0N、sum11…sum1N、sum21……sum2N、sum31…sum3N)に基づいて前記音楽再生機器から出力される音楽のジャンルを判別するデータ解析部(31)と、を備えることにより、上述した課題を解決する。
本発明者らの検討によれば、音声出力装置に向けて出力される音楽再生信号には、音楽のジャンルに応じた共通の、又は類似の特徴が含まれており、その特徴は、音楽再生信号に含まれる低周波成分及び高周波成分のそれぞれの積分値及び微分値のばらつき具合と相関性を有する。本発明の音楽ジャンル判別装置においては、信号処理部から出力される積分値及び微分値がデータ生成部にサンプリング単位時間ずつ取り込まれ、そのサンプリング単位時間内にそれぞれの積分値及び微分値が所定レベルを超えるか否かが判定され、超えると判定された回数が所定のサンプリング周期毎でかつ積分値及び微分値別に集計された解析データがデータ生成部にて生成される。得られた集計値は、音楽再生信号に含まれている低周波成分及び高周波成分のそれぞれの積分値及び微分値のサンプリング周期毎のばらつきを反映している。従って、それらの集計値に基づいて音楽のジャンルに応じた特徴を見極めることにより、音楽再生信号にて再生される音楽のジャンルを判別することができる。音楽再生信号に対する積分処理及び微分処理は比較的容易に実施でき、かつ、その積分値及び微分値の処理についても、サンプリング単位時間毎に積分値及び微分値と所定レベルとを大小判定し、その判定結果を集計する、といった比較的容易かつ高速で処理が行える程度のものである。従って、本発明の音楽ジャンル判別装置によれば、処理能力が限られた小型のマイクロプロセッシングユニット(MPU)を搭載した一般消費財等でも十分にこれを実現することができる。
本発明の音楽ジャンル判別装置の一形態において、前記データ解析部は、前記集計値のそれぞれの標準偏差(SD0〜SD3)を演算し、該標準偏差の比率に基づいて音楽のジャンルを判別してもよい。標準偏差の比率を利用することにより、音楽のジャンルの特徴をより明確に抽出してジャンルを高精度に判別することができる。
標準偏差を演算する形態において、音楽ジャンル判別装置は、前記標準偏差の比率と音楽のジャンルとを予め対応付けた判別参照データ(D3)をさらに具備し、前記データ解析部は、前記判別参照データに記録された比率のうち、演算された標準偏差の比率の最も近似した比率に対応付けられたジャンルを前記信号入力部から取り込まれた音楽再生信号にて再生されるべき音楽のジャンルとして判別してもよい。この形態によれば、低周波成分及び高周波成分のそれぞれの積分値及び微分値の標準偏差の比率と音楽のジャンルとの相関関係を予め調べて判別参照データに記述しておくことにより、信号入力部から取り込んだ音楽再生信号を解析して得られた標準偏差の比率がどのジャンルの特徴を示すものかを容易に特定することができる。
本発明の音楽ジャンル判別装置の一形態において、前記音楽のジャンルと前記データ解析部にて判別された回数とを対応付けた履歴データ(D2)をさらに具備し、前記データ解析部は前記ジャンルの判別結果に応じて前記履歴データを更新してもよい。この形態によれば、音楽ジャンル判別装置による判別回数をジャンル別に記録しておくことにより、音楽再生機器にてどのようなジャンルの音楽が頻繁に再生されているか、といったユーザの傾向を分析し、さらにはその履歴データを利用してユーザの嗜好に応じた様々な処理、操作、サービス等を提供することができる。
本発明の音楽ジャンル判別装置は様々な形態で使用することができるが、その一形態として、前記音楽ジャンル判別装置は、前記音楽再生機器のライン出力端子(101)と、当該ライン出力端子から出力される音楽再生信号を音声変換する音声出力装置(103)との間に介装され、前記ライン出力端子から出力される音楽再生信号を前記音声出力装置へ通過させるバイパス経路(R1)と、その音楽再生信号を前記信号処理部に取り込む経路(R2)とを備えてもよい。このような形態によれば、特定の音楽再生機器のライン出力端子から出力される音楽再生信号を音声出力装置に通過させて音楽を再生しつつ、その音楽のジャンルを判別することができる。
本発明は、上述した音楽ジャンル判別装置と、前記ジャンルの判別結果をゲーム内容に反映させるゲーム制御部とを備えたゲーム機として構成されてもよい。このようなゲーム機によれば、音楽再生機器から出力される音楽再生信号を取り込み、その音楽再生信号にて再生されるべき音楽のジャンルをゲームに反映させることが可能となり、音楽再生機器による音楽の再生とゲームとを融合させた斬新なツールを提供することができる。
なお、以上の説明では本発明の理解を容易にするために添付図面の参照符号を括弧書きにて付記したが、それにより本発明が図示の形態に限定されるものではない。
以上に説明したように、本発明によれば、音楽再生信号の低周波成分及び高周波成分のそれぞれの積分値及び微分値のばらつき具合を示す集計値を求め、その集計値に基づいて音楽ジャンルを判別することにより、比較的簡素な構成で音楽のジャンルを判別することが可能な音楽ジャンル判別装置、及びこれを応用したゲーム機を実現することができる。
図1は本発明の一形態に係る音楽ジャンル判別装置が組み込まれた携帯型のゲーム機を示している。ゲーム機1は、携帯型音楽プレーヤ100と組み合わせて使用されるものであり、筐体2と、その筐体2の前面に取り付けられた表示装置としてのLCD3とを備えている。筐体2にはライン入力端子4及びフォン端子5が設けられている。ライン入力端子4は携帯型音楽プレーヤ100のライン出力端子101と中継ケーブル102を介して接続される。フォン端子5はイヤフォン103と接続される。つまり、本形態のゲーム機1は、携帯型音楽プレーヤ100とこれに組み合わされるべき音声出力装置との間に介装されて使用される。音楽プレーヤ100と組み合わされる音声出力装置はイヤフォン103に限らない。すなわち、携帯型音楽プレーヤ100は、スピーカ、ヘッドフォン等の各種の音声出力装置に向けて音声変換用の音楽再生信号を出力できるものであればよく、その記録媒体の形式、再生方式といった細部は問わない。更に、音楽プレーヤは携帯型に限らず、家庭用オーディオ、テレビ、市販の携帯電子ゲームにおいて音楽を出力するものであればよい。
ゲーム機1は、音楽プレーヤ100のライン入力端子4から出力される音楽再生信号をイヤフォン103へ通過させる中継器として機能するとともに、音楽プレーヤ100から出力される音楽再生信号を解析し、その解析結果に応じたゲームをユーザに提供するゲーム機としての機能を有している。図2は、ゲーム機1の内部に設けられた制御系のうち、特に音楽再生信号を取り込んで解析する機能に関わる部分の構成を示すブロック図である。ゲーム機1は、信号入力部としてのライン入力端子4からフォン端子5へアナログの音声再生信号を通過させるバイパス経路R1と、ライン入力端子4から分岐経路R2を介して取り込まれる音声再生信号を処理する信号処理部10と、その信号処理部10の出力信号を取り込む制御ユニット11とを有している。なお、経路R1、R2はいずれも右チャンネル、左チャンネル及びアースチャンネルの3本のラインで構成されるが、図では1本で代表して示している。
信号処理部10は、ライン入力端子4から取り込まれた音楽再生信号の低周波成分のみを通過させる一対のローパスフィルタ(LPF)12A、12Bと、その音楽再生信号の高周波成分のみを通過させる一対のハイパスフィルタ(HPF)13A、13Bと、LPF12Aの出力信号を積分する積分回路14と、LPF12Bの出力信号を微分する微分回路15と、HPF13Aの出力信号を積分する積分回路16と、HPF13Bの出力信号を微分する微分回路17と、各回路14〜17の出力信号をデジタル信号に変換して制御ユニット11に出力するA/D変換器18A〜18Dとを備えている。LPF12A、12Bが通過させる周波数域は例えば1000Hz以下に設定され、HPF13A、13Bが通過させる周波数域は例えば1000Hz以上に設定される。なお、周波数域の設定値はこれらの例に限らない。例えば、LPF12A、12Bが通過させる周波数域を500Hz以下に設定し、HPF13A、13Bが通過させる周波数域を1000Hz以上に設定してもよい。さらに、LPF12A、12Bが通過させる周波数域は互いに等しく設定されてもよいし、相違してもよい。両者の通過周波数域が一致する場合には、LPF12A、12Bに代えて単一のLPFを設け、その出力信号を積分回路14及び微分回路15に分岐してもよい。LPF12A、12Bが通過させる周波数域は互いに等しく設定されてもよいし、相違してもよい。HPF13A、13Bに関しても同様である。
制御ユニット11は、マイクロプロセッシングユニット(MPU)と、そのMPUの動作に必要な周辺装置、例えばRAM、ROM等の記憶装置、を組み合わせたコンピュータユニットとして構成されている。制御ユニット11には、上述したLCD3が制御対象として接続されるとともに、ゲームの指示等を与えるための入力装置20、音声、効果音等を発生させるためのスピーカユニット(SP)21が接続される。さらに、スピーカユニット21への接続経路にはフォン端子5も接続される。
制御ユニット11は、LCD3にゲーム画面を表示させる等の処理を実行することにより、ユーザに対して各種のゲーム機能を提供する。そのゲームに付帯した機能として、制御ユニット11は信号処理部10の出力信号を解析して音楽のジャンルを判別する機能をも有している。図3は制御ユニット11の機能ブロック図である。制御ユニット11のMPU(図示せず)が所定の制御プログラムを記憶装置25から読み込んで実行することにより、制御ユニット11の内部には、論理的装置として、データ生成部30、データ解析部31及びゲーム制御部32が生成される。データ生成部30は信号処理部10の出力信号を処理して解析データD1を生成し、これを記憶装置25に記憶する。データ解析部31は、解析データD1を読み出して所定の手法により音楽のジャンルを判別し、その判別結果に応じて履歴データD2を更新する。そのジャンル判別には記憶装置25に記録された判別参照データD3が参照される。ゲーム制御部32は、履歴データD2を参照しつつ所定のゲームプログラム(不図示)に従ってゲームを実行する。
次に、図4〜図8を参照してゲーム機1によるジャンル判別に関する処理を説明する。図4はライン入力端子4から信号処理部10に入力される音楽再生信号の波形の一例である。信号処理部10では、LPF12A、12Bにより音楽再生信号の低周波成分が取り出され、HPF13A、13Bにより高周波成分が取り出される。取り出された低周波成分の積分値が積分回路14から出力され、低周波成分の微分値が微分回路15から出力され、高周波成分の積分値が積分回路16から出力され、高周波成分の微分値が微分回路17から出力される。出力された積分値及び微分値はA/D変換器18A〜18Dでデジタル信号に変換されて制御ユニット11のデータ生成部30に入力される。データ生成部30には、信号処理部10から出力される積分値及び微分値を処理するための基準時間として、図4に示すサンプリング周期Tmと、図5(積分回路14の出力波形の一例を示す図である)に示すサンプリング単位時間Tnの二種類の時間長が設定されている。サンプリング周期Tmはサンプリング単位時間Tnの整数倍である。一例として、サンプリング周期Tmが5秒、サンプリング単位時間Tnが20ミリ秒にそれぞれ設定される。
制御ユニット11のデータ生成部30では、積分値及び微分値をサンプリング単位時間Tnずつ取り込んで、そのサンプリング単位時間Tn内に積分値及び微分値がそれぞれ所定レベルを超えるか否かを判定する。そして、所定レベルを超える値が検出されたと判定された回数をサンプリング周期Tm毎に、かつ積分値及び微分値別に集計して解析データD1を生成する。例えば、図4に設定された一つのサンプリング周期Tmにおける低周波成分の積分値が図5のように変動していた場合、データ生成部30では各サンプリング単位時間Tn内で積分値が所定の閾値THを超えるか否かを監視し、積分値が閾値THを超えた場合に積分値が所定レベルを超えたと判定する。但し、一つのサンプリング単位時間Tn内で積分値が閾値THを超えた回数に関係なく、一度でも超えたならば回数は1としてカウントされる。この判定処理をサンプリング周期Tm内においてサンプリング単位時間Tn毎に繰り返し、サンプリング周期Tmの経過時点で所定レベルを超えたと判定された回数を計数する。サンプリング周期Tmが5秒、サンプリング単位時間Tnが20ミリ秒であれば、一周期Tmにおける回数の最小値は0、最大値は250である。
制御ユニット11のデータ生成部30は上記のような処理を積分値及び微分値のそれぞれについて個別に実行し、計測された回数をサンプリング周期Tm毎に順次集計して図6のように解析データD1を生成する。図6の解析データにおいて、チャンネルch0は積分回路14からの出力に、チャンネルch1は微分回路15からの出力に、チャンネルch2は積分回路16から出力の出力に、チャンネルch3は微分回路17からの出力にそれぞれ対応する。サンプル番号smp1〜smpNは音楽再生信号の開始時点からの周期の番号に対応する。ここでは音楽再生信号が全部でN周期に相当するものと仮定している。そして、サンプル番号smpX(但し、Xは1〜N)におけるチャンネルch0の集計値sum0Xは、処理開始時点からのX番目のサンプリング周期TmXにおいて低周波成分の積分値が所定のレベルTHを超えたと判定された回数を示す。例えば、sum01は最初のサンプリング周期において低周波成分の積分値が閾値THを超えたと判定された回数に相当する。他のチャンネルch1〜ch3についても同様である。
データ解析部31は、解析データに記述されている集計値について、チャンネル毎、つまり積分値及び微分値毎に標準偏差SD0〜SD3(図6参照)を演算する。そして、得られた標準偏差SD0〜SD3の比率(SD0:SD1:SD2:SD3)に基づいて、音楽再生信号にて再生されるべき音楽のジャンルを判別する。このジャンル判別においては判別参照データD3が参照される。図7に例示したように、判定参照データD3には、音楽のジャンルA〜Xと標準偏差の比率とが対応付けて記述されている。ここでいうジャンルとは、例えば、クラッシック、ロック、バラード、JAZZといった音楽の内容を区別するために使用される概念である。データ解析部31では、判定参照データD3と比較して、得られた標準偏差SD0〜SD3の比率に最も近いジャンルをその音楽再生信号に対応するジャンルとして決定する。さらに、ジャンル決定後、データ解析部31は判別結果に応じて履歴データD2を更新する。例えば、図8に示すように、履歴データD2はジャンルA〜Xと、それぞれの入力回数Na〜Nxとが対応付けて記述されており、データ解析部31は判別したジャンルの回数に1を加算することにより履歴データD2を更新する。
次に、図9及び図10を参照して、上述したジャンル判別を実施するための制御ユニット11が実行する処理の手順を説明する。図9は、制御ユニット11(データ生成部30)が解析データを生成するために実行する解析データ生成処理ルーチンを示す。このルーチンは、例えばユーザが入力装置20(図2参照)からジャンル判別を指示した状態で、信号処理部10から積分値及び微分値がそれぞれ出力されたことを条件として実行される。なお、信号処理部10から出力される積分値及び微分値は制御ユニット11の内部バッファに逐次蓄積されて本ルーチンによる処理を受ける。
解析データ生成処理ルーチンでは、最初のステップS1において、制御ユニット11は、データ処理の対象となるチャンネルchの番号を指定する変数nを初期値0にセットし、続くステップS2にて、内部バッファからチャンネルchnのサンプリング単位時間相当の出力信号(積分値又は微分値)を取り込む。次のステップS3において、制御ユニット11は、取り込まれた出力信号が所定レベルを超えているか否かを判定する。所定レベルを超えている場合、制御ユニット11はステップS4に進み、チャンネルchn用の内部カウンタに1を加算し、その後、ステップS5へ進む。一方、ステップS3にて所定レベルを超えていない場合、制御ユニット11はステップS4をスキップしてステップS5へ進む。
ステップS5において、制御ユニット11は変数nに3がセットされているか否か判断し、3でなければステップS6で変数nに1を加算してステップS2へ戻る。一方、ステップS5で変数nが3の場合、制御ユニット11はステップS7へ進む。ステップS2〜S6の処理が繰り返されることにより、4つのチャンネルch0〜ch3、つまり低周波成分に対する積分回路14、微分回路15、高周波成分に対する積分回路16、微分回路17のそれぞれの出力がサンプリング単位時間相当長に亘って検査される。
ステップS7において制御ユニット11はサンプリング周期Tm分の処理が終了したか否かを判定する。例えば、ステップS5が肯定判断された回数がサンプリング周期Tmをサンプリング単位時間Tnで除した値に一致する場合にサンプリング周期Tm分の処理が終了したと判断すればよい。ステップS7が否定判断された場合、制御ユニット11はステップS1へ戻り、内部バッファに蓄えられている次のサンプリング単位時間の信号の処理へと進む。一方、ステップS7が肯定判断された場合、制御ユニット11はステップS8へ進み、内部カウンタに記録されている値を今回のサンプリング周期に対応するサンプル番号smpXの集計値sum0X、sum1X、sum2X、sum3X(図6参照)として記憶装置25の解析データD1に追加する。解析データD1がまだ存在しない場合には解析データD1を新たに作成して集計値を最初のサンプル番号smp1に対応付けて記録する。
続くステップS9において、制御ユニット11は内部カウンタの値を初期値0にリセットし、さらに次のステップS10で解析データの生成処理が終了したか否かを判断する。例えば、全てのチャンネルch0〜ch3の出力が0近傍のいわゆる無音状態が所定秒以上続いた場合に処理が終了したと判断することができる。そして、処理が終了していなければ、制御ユニット11はステップS1へ戻る。処理が終了したと判断した場合、制御ユニット11は解析データ生成処理ルーチンを終える。以上の処理により、図6に示したような解析データが生成される。
図10は、制御ユニット11(データ解析部31)が解析データから音楽のジャンルを判別するために実行するデータ解析処理ルーチンを示す。このルーチンは、図9の解析データ生成処理ルーチンの終了後に続けて実行される。データ解析処理ルーチンにおいて、制御ユニット11は、最初のステップS21で、データ処理の対象となるチャンネルchの番号を指定する変数nを初期値0にセットし、続くステップS22にて、記憶装置25に記録された解析データD1から変数nに対応するチャンネル番号chnの集計値を読み込み、それらの標準偏差を演算する。次のステップS23において、制御ユニット11は変数nに3がセットされているか否か判断し、3でなければステップS24で変数nに1を加算してステップS22へ戻る。一方、ステップS23で変数nが3の場合、制御ユニット11はステップS25へ進む。ステップS22〜S24の処理が繰り返されることにより、4つのチャンネルch0〜ch3のそれぞれの標準偏差SD0〜SD3(図6参照)が演算される。
ステップS25において、制御ユニット11は標準偏差SD0〜SD3の相互の比率を演算する。次のステップS26において、制御ユニット11は、記憶装置25の判別参照データD3と、得られた標準偏差SD0〜SD3の比率とを対比して、標準偏差SD0〜SD3の比率に最も近似した比率を有するジャンルを選択することにより、音楽のジャンルを判別する。さらに、制御ユニット11は、次のステップS27において、判別されたジャンルの回数に1が加算されるように履歴データD2を更新し、この後、データ解析処理ルーチンを終える。
本形態のゲーム機1においては、履歴データD2にジャンル別の判別回数が記録されているので、履歴データD2を参照することにより、ゲーム機1を経由してユーザが聴取した音楽のジャンル毎の頻度、ユーザのジャンルの好み等を分析し、ゲーム制御部32にて実行されるゲームの内容にジャンルの判別結果を反映させることが可能となる。例えば、ゲーム制御部32がキャラクタを育成するゲームを実行する場合には、履歴データD2に記述されているジャンル毎の判別回数の分布に応じてキャラクタの態様、性格等の特性を変化させる、といった操作をゲーム制御部32にて行うことができる。
本発明は以上の形態に限定されることなく、種々の形態で実施することができる。例えば、信号処理部は低周波成分及び高周波成分のそれぞれに対して一対の積分回路及び微分回路を備えるものに限定されず、低周波成分に対して二対以上の積分回路及び微分回路を設けてそれぞれの通過周波数域に相違を与えてもよい。高周波成分に対しても同様である。信号処理部はIC、LSIといった回路素子を組み合わせたハードウエア装置として構成してもよいし、MPUとソフトウエアとを組み合わせた論理的装置として構成されてもよい。データ生成部及びデータ解析部のそれぞれについても、ハードウエア装置として構成されてもよい。信号入力部はライン入力端子に限らない。例えば音楽再生機器からFM電波等の無線を利用して送信される再生信号を受信して音楽再生信号に変換する装置を信号入力部として利用してもよい。
上記の形態では低周波成分及び高周波成分のそれぞれの積分値及び微分値がサンプリング単位時間内に所定レベルを超えた回数を集計し、その集計値の標準偏差を演算してばらつき具合を判別するようにしたが、本発明は標準偏差を利用するものに限らない。例えば、集計値の分散、合計、平均といった各種の統計値を利用して音楽ジャンルを判別してもよい。
上記の形態では、ライン入力端子4、信号処理部10及び制御ユニット11の組み合わせによって音楽ジャンル判別装置が構成される。但し、本発明の音楽ジャンル判別装置は、ゲーム機に実装されるものに限定されない。本発明の音楽ジャンル判別装置は、音楽再生機器からイヤフォン、ヘッドフォンあるいはスピーカといった音声出力装置に向けて出力される音楽再生信号から音楽のジャンルを判別するための各種の装置に適用可能である。
本発明の一形態に係る音楽ジャンル判別装置が組み込まれた携帯型ゲーム機を携帯型音楽プレーヤとイヤフォンとの間に配置した状態を示す図。 図1のゲーム機の制御系における音楽ジャンル判別に関わる部分のブロック図。 図2の制御ユニットの機能ブロック図。 音楽再生信号とサンプリング周期との関係を示す図。 サンプリング周期内における積分値の波形とサンプリング単位時間との関係の一例を示す図。 解析データの内容を示す図。 判別参照データの内容を示す図。 履歴データの内容を示す図。 制御ユニットにて実行される解析データ生成処理ルーチンを示すフローチャート。 制御ユニットにて実行されるデータ解析処理ルーチンを示すフローチャート。
符号の説明
1 ゲーム機
2 筐体
4 ライン入力端子(信号入力部)
10 信号処理部
11 制御ユニット
30 データ生成部
31 データ解析部
31 データ解析部
32 ゲーム制御部
100 携帯型音楽プレーヤ(音楽再生機器)

Claims (6)

  1. 音楽再生機器から出力される音楽再生信号を取り込む信号入力部と、
    前記信号入力部に取り込まれた音楽再生信号の低周波成分及び高周波成分のそれぞれの積分値及び微分値を出力する信号処理部と、
    前記信号処理部から出力される積分値及び微分値のそれぞれを所定のサンプリング単位時間ずつ取り込んで、前記サンプリング単位時間内にそれぞれの積分値及び微分値が所定レベルを超えるか否かを判定し、前記所定レベルを超える値が検出されたと判定された回数を所定のサンプリング周期毎でかつ前記積分値及び前記微分値別に集計した解析データを生成するデータ生成部と、
    前記解析データに記述された集計値に基づいて前記音楽再生機器から出力される音楽のジャンルを判別するデータ解析部と、
    を備えたことを特徴とする音楽ジャンル判別装置。
  2. 前記データ解析部は、前記集計値のそれぞれの標準偏差を演算し、該標準偏差の比率に基づいて音楽のジャンルを判別することを特徴とする請求項1に記載の音楽ジャンル判別装置。
  3. 前記標準偏差の比率と音楽のジャンルとを予め対応付けた判別参照データをさらに具備し、前記データ解析部は、前記判別参照データに記録された比率のうち、演算された標準偏差の比率の最も近似した比率に対応付けられたジャンルを前記信号入力部から取り込まれた音楽再生信号にて再生されるべき音楽のジャンルとして判別する、ことを特徴とする請求項2に記載の音楽ジャンル判別装置。
  4. 前記音楽のジャンルと前記データ解析部にて判別された回数とを対応付けた履歴データをさらに具備し、前記データ解析部は前記ジャンルの判別結果に応じて前記履歴データを更新することを特徴とする請求項1〜3のいずれか一項に記載の音楽ジャンル判別装置。
  5. 前記音楽ジャンル判別装置は、前記音楽再生機器のライン出力端子と、当該ライン出力端子から出力される音楽再生信号を音声変換する音声出力装置との間に介装され、前記ライン出力端子から出力される音楽再生信号を前記音声出力装置へ通過させるバイパス経路と、その音楽再生信号を前記信号処理部に取り込む経路とを備えていることを特徴とする請求項1〜4のいずれか一項に記載の音楽ジャンル判別装置。
  6. 請求項1〜5のいずれか一項に記載の音楽ジャンル判別装置と、前記ジャンルの判別結果をゲーム内容に反映させるゲーム制御部とを備えたゲーム機。
JP2005356454A 2005-12-09 2005-12-09 音楽ジャンル判別装置及びこれを備えたゲーム機 Active JP4001897B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005356454A JP4001897B2 (ja) 2005-12-09 2005-12-09 音楽ジャンル判別装置及びこれを備えたゲーム機
TW095146011A TW200803954A (en) 2005-12-09 2006-12-08 Music genre determination apparatus and game machine provided with it
PCT/JP2006/324529 WO2007066754A1 (ja) 2005-12-09 2006-12-08 音楽ジャンル判別装置及びこれを備えたゲーム機
CN2006800459567A CN101325990B (zh) 2005-12-09 2006-12-08 音乐种类判别装置和装备它的游戏机
US12/096,248 US8315726B2 (en) 2005-12-09 2006-12-08 Music genre judging device and game machine having the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005356454A JP4001897B2 (ja) 2005-12-09 2005-12-09 音楽ジャンル判別装置及びこれを備えたゲーム機

Publications (2)

Publication Number Publication Date
JP2007163586A true JP2007163586A (ja) 2007-06-28
JP4001897B2 JP4001897B2 (ja) 2007-10-31

Family

ID=38122899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005356454A Active JP4001897B2 (ja) 2005-12-09 2005-12-09 音楽ジャンル判別装置及びこれを備えたゲーム機

Country Status (5)

Country Link
US (1) US8315726B2 (ja)
JP (1) JP4001897B2 (ja)
CN (1) CN101325990B (ja)
TW (1) TW200803954A (ja)
WO (1) WO2007066754A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026236A1 (ja) * 2017-08-03 2019-02-07 Pioneer DJ株式会社 楽曲解析装置および楽曲解析プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271129B (zh) * 2018-09-04 2020-11-27 Oppo广东移动通信有限公司 音效调整方法、装置、电子设备以及存储介质
CN114402389A (zh) * 2019-09-27 2022-04-26 雅马哈株式会社 音响解析方法、音响解析装置及程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5727298A (en) * 1980-07-25 1982-02-13 Tokyo Shibaura Electric Co Voice recognizing device
JP3551631B2 (ja) 1996-07-16 2004-08-11 ソニー株式会社 カラオケ装置
JPH11231880A (ja) * 1998-02-16 1999-08-27 Sony Corp 情報配信システム、情報配信装置、及び情報端末装置
JP2001029649A (ja) 1999-07-21 2001-02-06 Taito Corp 音声認識により音声視覚表示を行うゲーム機
JP2001308979A (ja) * 2000-04-25 2001-11-02 Niigata Seimitsu Kk 携帯端末装置用のアダプタおよび携帯端末装置
JP2002140076A (ja) * 2000-11-03 2002-05-17 Junichi Kakumoto 音響信号の臨場感伝達方式
US6673995B2 (en) * 2000-11-06 2004-01-06 Matsushita Electric Industrial Co., Ltd. Musical signal processing apparatus
JP2002341888A (ja) * 2001-05-18 2002-11-29 Pioneer Electronic Corp ビート密度検出装置と情報再生装置
JP4228581B2 (ja) 2002-04-09 2009-02-25 ソニー株式会社 オーディオ機器、オーディオデータの管理方法及びそのためのプログラム
US20030205124A1 (en) * 2002-05-01 2003-11-06 Foote Jonathan T. Method and system for retrieving and sequencing music by rhythmic similarity
KR100836574B1 (ko) * 2002-10-24 2008-06-10 도꾸리쯔교세이호진 상교기쥬쯔 소고겡뀨죠 악곡재생방법, 장치 및 음악음향데이터 중의 대표 모티프구간 검출방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026236A1 (ja) * 2017-08-03 2019-02-07 Pioneer DJ株式会社 楽曲解析装置および楽曲解析プログラム
JPWO2019026236A1 (ja) * 2017-08-03 2020-07-16 AlphaTheta株式会社 楽曲解析装置および楽曲解析プログラム

Also Published As

Publication number Publication date
WO2007066754A1 (ja) 2007-06-14
CN101325990A (zh) 2008-12-17
TW200803954A (en) 2008-01-16
TWI331049B (ja) 2010-10-01
US8315726B2 (en) 2012-11-20
JP4001897B2 (ja) 2007-10-31
US20100216554A1 (en) 2010-08-26
CN101325990B (zh) 2011-12-28

Similar Documents

Publication Publication Date Title
EP2202729B1 (en) Audio signal interpolation device and audio signal interpolation method
JP2002215195A (ja) 音楽信号処理装置
JP4001897B2 (ja) 音楽ジャンル判別装置及びこれを備えたゲーム機
JP2007271977A (ja) 評価基準判定装置、制御方法及びプログラム
JP2008058470A (ja) 音声信号処理装置、音声信号再生システム
JP2014035436A (ja) 音声処理装置
JP2008006218A (ja) 音楽ゲーム機
JP2005037845A (ja) 音楽再生装置
JP2011197533A (ja) カラオケ装置
JP4399440B2 (ja) 音楽ジャンル判別装置及びこれを備えたゲーム機
JP2007236826A (ja) 音楽テンポ判別機能を備えたゲーム機
JPH1026994A (ja) カラオケ採点装置
JP4078375B2 (ja) 音楽ゲーム機
JP5696828B2 (ja) 信号処理装置
Hoffmann et al. Towards audio signal equalization based on spectral characteristics of a listening room and music content reproduced
WO2024034118A1 (ja) 音声信号処理装置、音声信号処理方法およびプログラム
JP2007160065A (ja) ゲーム機
JP2007163599A (ja) 音楽テンポ判別機能を備えたゲーム機
JP2925759B2 (ja) カラオケ装置
KR100789588B1 (ko) 음악 파일의 믹싱 방법 및 이를 이용한 단말기
JP2010169878A (ja) 音響信号分析装置および音響信号分析方法
JP2005234494A (ja) 楽曲対応表示装置
KR100406248B1 (ko) 새로운 음 연주 판별 방법 및 그 장치
JPH10222179A (ja) 情報処理装置
JP5899865B2 (ja) 音響信号加工装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070815

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4001897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130824

Year of fee payment: 6

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250