JP2008234453A - コンテンツ検索装置、コンテンツ検索方法及びコンテンツ検索プログラム - Google Patents

コンテンツ検索装置、コンテンツ検索方法及びコンテンツ検索プログラム Download PDF

Info

Publication number
JP2008234453A
JP2008234453A JP2007075150A JP2007075150A JP2008234453A JP 2008234453 A JP2008234453 A JP 2008234453A JP 2007075150 A JP2007075150 A JP 2007075150A JP 2007075150 A JP2007075150 A JP 2007075150A JP 2008234453 A JP2008234453 A JP 2008234453A
Authority
JP
Japan
Prior art keywords
input
unit
music
rhythm pattern
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007075150A
Other languages
English (en)
Other versions
JP5023752B2 (ja
Inventor
Kumiko Tokuhara
くみ子 徳原
Toru Sasaki
徹 佐々木
Akira Tange
明 丹下
Masashi Matsuda
將史 松田
Ryushin Tei
龍震 鄭
Kentaro Nakamura
健太郎 仲村
Masaki Kasahara
正樹 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007075150A priority Critical patent/JP5023752B2/ja
Publication of JP2008234453A publication Critical patent/JP2008234453A/ja
Application granted granted Critical
Publication of JP5023752B2 publication Critical patent/JP5023752B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

【課題】音楽データを容易に検索する。
【解決手段】本発明は、携帯型音楽再生装置は、装置本体が振られたときの加速度値を検出することにより、装置本体が振られることによって動かされた運動方向の変化のパターンを検出し、検出した、運動方向の変化のパターンを入力リズムパターンとして入力して、入力された入力リズムパターンと記憶部に記憶されている登録リズムパターンとをDPマッチング法により比較し、当該比較の結果に基づき、入力リズムパターンに該当する音楽データを記憶部から検索するようにしたことにより、所望の音楽データを検索して再生するためにユーザにリズムパターンを入力させるとき、装置本体を持たせた状態で、かかる装置本体を振るようにしてリズムを取らせるという直感的な動作をさせるだけで、リズムパターンを入力することができ、かくして、所望の音楽データを容易に検索し得る。
【選択図】図10

Description

本発明はコンテンツ検索装置、コンテンツ検索方法及びコンテンツ検索プログラムに関し、例えば音楽データを検索する音楽検索装置に適用して好適なものである。
従来、この種の音楽検索装置として、複数の音楽データを記憶すると共に、この音楽データに基づく音楽のうちメロディに対応するリズムのパターン(以下、これをリズムパターンと呼ぶ)を音楽データの検索用に記憶する音楽検索装置がある。この種の音楽検索装置では、リズムパターンの入力用に押圧ボタンが設けられており、押圧ボタンが押圧操作されることでリズムパターンが入力されると、入力されたリズムパターンと予め記憶しているリズムパターンとを比較することで、入力されたリズムパターンに対応する音楽データを検索するようになされている(例えば特許文献1参照)。
WO2002/047066
ところで、ユーザに対して音楽のメロディに合わせてリズムをとらせる場合、ユーザは、手を振ったり、全身を揺らしたり、両手を叩いたりする等の、直感的な体の動きに合わせてリズムをとることが多い。
ところが、従来の音楽検索装置は、所望の音楽データを検索するためにユーザにリズムパターンを入力させるとき、あたかも文章やプログラムを入力させるかのように、押圧ボタンをリズムパターンに応じたリズムで押させる必要があり、このためリズムパターンを入力し難く、結果として音楽データを容易に検索できるとは言い難かった。
本発明は以上の点を考慮してなされたもので、所望のコンテンツを容易に検索し得るコンテンツ検索装置、コンテンツ検索方法及びコンテンツ検索プログラムを実現する。
かかる課題を解決するため本発明においては、装置本体が動かされたときの運動方向の変化のパターンを検出し、検出した、装置本体が動かされたときの運動方向の変化のパターンを入力リズムパターンとして入力して、入力した入力リズムパターンと、記憶部に記憶されているコンテンツ及び当該コンテンツに対応する対応リズムパターンのうちの当該対応リズムパターンとを比較し、当該比較の結果に基づき、入力リズムパターンに該当するコンテンツを記憶部から検索するようにした。
これにより本発明では、所望のコンテンツを検索するためにユーザにリズムパターンを入力させるとき、装置本体を持たせた状態で、かかる装置本体を振るようにしてリズムを取らせるという直感的な動作をさせるだけで入力リズムパターンを入力することができる。
本発明によれば、装置本体が動かされたときの運動方向の変化のパターンを検出し、検出した、装置本体が動かされたときの運動方向の変化のパターンを入力リズムパターンとして入力して、入力した入力リズムパターンと、記憶部に記憶されているコンテンツ及び当該コンテンツに対応する対応リズムパターンのうちの当該対応リズムパターンとを比較し、当該比較の結果に基づき、入力リズムパターンに該当するコンテンツを記憶部から検索するようにしたことにより、所望のコンテンツを検索するためにユーザにリズムパターンを入力させるとき、装置本体を持たせた状態で、かかる装置本体を振るようにしてリズムを取らせるという直感的な動作をさせるだけで入力リズムパターンを入力することができ、かくして、所望のコンテンツを容易に検索し得るコンテンツ検索装置、コンテンツ検索方法及びコンテンツ検索プログラムを実現できる。
以下図面について、本発明の一実施の形態を詳述する。
(1)本実施の形態
(1−1)本実施の形態の概要
図1において、1は全体として本実施の形態によるコンテンツ検索装置の構成の概要を示す。コンテンツ検索装置1は、コンテンツと、当該コンテンツに対応する対応リズムパターンとを記憶する記憶部2を有する。またコンテンツ検索装置1には、装置本体が動かされたときの運動方向の変化のパターンを検出する検出部3が設けられている。さらにコンテンツ検索装置1には、検出部3により検出された、装置本体が動かされたときの運動方向の変化のパターンを入力リズムパターンとして入力する入力部4が設けられている。さらにコンテンツ検索装置1には、入力部4により入力された入力リズムパターンと記憶部2に記憶されている対応リズムパターンとを比較し、当該比較の結果に基づき、記憶部2から入力リズムパターンに該当するコンテンツを検索する制御部5が設けられている。かかる構成により再生装置1は、所望のコンテンツを検索するためにユーザにリズムパターンを入力させるとき、装置本体を持たせた状態で、かかる装置本体を振るようにしてリズムを取らせるという直感的な動作をさせるだけでリズムパターンを入力することができ、かくして、所望のコンテンツを容易に検索し得る。
(1−2)第1の実施の形態における携帯型音楽再生装置の外観構成
図2において、10は全体として第1の実施の形態による携帯型音楽再生装置を示す。この携帯型音楽再生装置10は、上述したコンテンツ検索装置1の具体例であり、角部がまるみを帯びた縦長で扁平な略直方体形状の装置本体11を有し、全体として手の平に収まる程度の大きさであるとする。
装置本体11には、その正面11Aの中央に縦長の表示部14が設けられていると共に、この表示部14の上方に、表示部14の表示内容を切り換えるためのボタンや、音楽の再生、停止、早送り及び早戻しをするための各種操作ボタンやスイッチといった、操作部15が設けられ、さらにその上方に、LED(Light Emitting Diode)等でなる発光部16が設けられている。また、装置本体11の上端には、イヤホン端子17が設けられ、このイヤホン端子17を介して、イヤホンEPが接続されるようになされている。さらに装置本体11には、その右側面11Bに外部機器と通信するケーブルKを接続するためのコネクタ18が設けられている。
このような構成により携帯型音楽再生装置10は、ユーザにより持たれた状態で、音楽の再生、停止、早送り及び早戻し等の各種操作を行えるようになされている。
(1−3)第1の実施の形態における携帯型音楽再生装置の機能構成
つづいて、上述した外観構成をなす携帯型音楽再生装置10の機能構成について、図3を用いて説明する。携帯型音楽再生装置10は、制御部20が全体を統括的に制御すると共に各種処理を実行する。
制御部20は、接続部22を介して外部機器と接続されると、外部機器から供給される電力によって図示しないバッテリの充電を開始すると共に、この外部機器から音楽データが転送されてくるのを待ち受ける転送モードとなる。制御部20は、転送モードにおいて、接続部22を介して外部機器から音楽データが転送されてくると、この音楽データを記憶部21に送出して記憶する。
このようにして、携帯型音楽再生装置10は、転送モードにおいて、外部機器から転送される音楽データを記憶部21に記憶するようになされている。
制御部20は、外部機器との接続が外されたことを接続部22により認識すると、転送モードから、音楽データの再生を行う再生モードに移行する。制御部20は、再生モードにおいて、操作部15を介して、音楽データを再生する操作(以下、これを再生操作とも呼ぶ)が行われたことを認識すると、これに応じて記憶部21から音楽データを読み出し、これを再生部23に入力する。
再生部23は、音楽データに対して復号処理及び増幅処理などの所定の再生処理を施すことで音楽信号を得、この音楽信号を出力部24に送出することで、この出力部24から音楽信号に基づく音楽が放音される。
このようにして、携帯型音楽再生装置10は、再生モードにおいて、記憶部21に記憶されている音楽データを再生するようになされている。
また、このような再生モード時、携帯型音楽再生装置10の制御部20は、音楽データに関連する情報(以下、これを関連情報と呼び、後述する)や、現在の音量を示す情報、図示しないバッテリの残容量を示す情報などの各種情報を、表示部14に表示するようにもなされている。ちなみに、この表示部14は、例えば、その表示領域が横一行十数文字程度の情報を表示し得る大きさであり、一度に表示できない情報については、制御部20の制御により、スクロールさせて表示したり、切り換えて表示したりするようになされている。
ところで上述した転送モードにおいて、携帯型音楽再生装置10には、接続部22を介して外部機器から、音楽データと共に、この音楽データに関連する関連情報も転送される。この音楽データの関連情報としては、音楽データのタイトル、音楽データのアーティストの名称(以下、これをアーティスト名と呼ぶ)、音楽データのボーカルの性別やグループであるか否かの情報、音楽データが収録されているアルバムの名称(以下、これをアルバム名と呼ぶ)、音楽データが割り当てられているジャンル、音楽データに基づく音楽のメロディのリズムを示すために予め登録されたリズムパターン(以下、これを登録リズムパターンと呼ぶ)、音楽データに基づく音楽が流される速さを示すために予め登録されたテンポ(以下、これを登録テンポと呼ぶ)、代表曲であるか否かを示すフラグ(以下、これを代表曲フラグと呼ぶ)、音楽データに基づく音楽のうちのサビの区間(以下、これをサビ区間と呼ぶ)を示す情報(以下、これをサビ区間情報と呼ぶ)、及び記憶部21の記憶領域において音楽データが記憶されているアドレス(以下、これを記憶アドレスと呼ぶ)がある。
ここで関連情報のうち、登録リズムパターン、登録テンポ、代表曲フラグ及びサビ区間情報について説明する。
登録リズムパターンRPは、図4に示すように、音楽データに基づく音楽の中で、メロディに相当する音の成分が出現する時間軸XA上の複数の時刻(以下、これを登録リズム時刻と呼ぶ)Tx(Tx1、Tx2、Tx3、Tx4、Tx5、Tx6、Tx7、Tx8・・・)が複数連なることで1つのリズムパターンを形成するようになされている。実際上、この登録リズムパターンRPは、ユーザによって想起され易いように、例えば音楽のメロディうちのサビに相当する区間(以下、これをサビ区間と呼ぶ)に対応する複数の登録リズム時刻Txから形成されるようになされている。この登録リズム時刻Txは、例えば、ユーザが音楽を想起した結果としてサビ区間に対応するメロディのリズムをとるときに「トーン トン トト トーン トン トト」のように、音(あるいは声)が発せられるタイミングを示すものである。
登録テンポTPは、音楽データに基づく音楽の中で、音楽が流される速さに相当する成分を、時間軸XA上で拍が出現する周期的な時刻として示すデータであり、具体的には、例えば「四分音符=60」のようにして、拍(この場合、四分音符)が1分間に幾つ(この場合、60回)刻まれるかといった形でテンポを示すようになされている。さらにこの登録テンポTPには、音楽データに基づく音楽の拍子(例えば、3拍子や4拍子のことであり、音楽データに基づく音楽を小節単位で区切ったときに1つの小節の中で刻まれる拍の数)の情報も含まれている。
代表曲フラグは、アーティストを代表するような音楽(例えば、アーティストの音楽のうちで一番売れた音楽)の音楽データには「1」が割り当てられ、それ以外の音楽データには「0」が割り当てられるようになされている。
サビ区間情報は、音楽データに基づく音楽の中のサビ区間を、その区間の開始時刻と終了時刻とで示すようになされている。
このような関連情報が音楽データとともに転送されてくると、制御部20は、音楽データに対して関連情報を対応付けるようにデータベース(以下、これを音楽データベースと呼ぶ)化して記憶部21に記憶する。
音楽データベースMDBは、図5に示すように、音楽データの関連情報に対応するように、タイトル100、アーティスト名101、ボーカル102、アルバム名103、ジャンル104、登録リズムパターン105、登録テンポ106、代表曲フラグ107、サビ区間情報108及び記憶アドレス109の項目で構成されている。そして関連情報は、それぞれの音楽データに対応付けて項目毎に登録される。
この音楽データベースMDBでは、関連情報のうちのタイトル及びアーティスト名を音楽データの識別情報(以下、これらを音楽識別情報と呼ぶ)MSとして管理している。従って音楽データベースMDBでは、タイトル及びアーティスト名(すなわち音楽識別情報MS)が与えられれば、音楽データベースMDBの各項目から、与えられた音楽識別情報MSに対応する関連情報(この場合、ボーカル、アルバム名、ジャンル、登録リズムパターンRP、登録テンポTP、代表曲フラグ、サビ区間情報及び記憶アドレス)を特定できるようになされており、さらに特定した記憶アドレスにより対応する音楽データを記憶部21の中から特定できるようになされている。
このようにして、携帯型音楽再生装置10は、転送モードにおいて、音楽データの関連情報をデータベース化して記憶するようになされている。
また上述した再生モードにおいて、携帯型音楽再生装置10は、ユーザにより音楽のリズムパターンが入力されると、入力されたリズムパターン(以下、これを入力リズムパターンと呼ぶ)と音楽データベースMDBに登録されている登録リズムパターンRPとを比較することで音楽データを検索し、検索の結果得られる音楽データを再生するようになされている。
実際上、制御部20は、再生モード時、ユーザにより操作部15を介して、音楽データを検索する要求(以下、これを音楽検索要求と呼ぶ)が入力されたことを認識すると、再生モードから、音楽データの検索用にリズムを入力するときの指標となるテンポの入力を受け付けるテンポ入力モードに移行する。制御部20は、テンポ入力モードにおいて、発光部16を発光させることで、テンポの入力を待ち受けていることをユーザに通知する。
ここで、携帯型音楽再生装置10には、装置本体11がどの方向に動かされているかを(すなわち、ユーザによって装置本体11がどの方向に振られたかを)検出するための加速度検出部25が設けられている。
この加速度検出部25は、装置本体11の中で加速度検出部25が設けられている位置を原点として直交する図示しない3軸(例えば、X軸、Y軸及びZ軸)に対する加速度値(正負の値でなる)を、それぞれX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値として検出するようになされている。そして加速度検出部25は、これらX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値を、ユーザが装置本体11を振ったときの方向の変化を十分に検出できる程度の微小な時間(以下、これを微小時間と呼ぶ)毎に検出するようになされている。
実際上、加速度検出部25は、図6に示すように、ユーザにより装置本体11をつかまれた状態で携帯型音楽再生装置10の全体が振られると、振られたことにより携帯型音楽再生装置10の直交する3軸(X軸、Y軸及びZ軸)方向に対して印加されるX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値を微小時間毎に検出すると共に、これらX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値を検出した時刻(以下、これを検出時刻と呼ぶ)を検出する。
そして加速度検出部25は、これらX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値と検出時刻とを格納するようにして、微小時間毎の加速度値に関するデータ(以下、これを単位加速度データと呼ぶ)を生成し、この単位加速度データを入力部26に順次送出する。
入力部26は、加速度検出部25から単位加速度データが与えられると、この単位加速度データに格納されているX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値を、例えば三平方の定理を用いてベクトル合成することにより、装置本体11が実際に振られた方向(以下、これを振動方向と呼ぶ)と、この振動方向を軸とした加速度値(すなわち、振動方向の加速度値であり、以下これを振動加速度値と呼ぶ)とを算出する(以下、このようにして検出した振動方向と振動加速度値とをまとめて振動ベクトルと呼ぶ)。
そして入力部26は、単位加速度データに格納されている検出時刻に応じて、振動ベクトルを時間軸上に順次並べるようにして、振動ベクトルの変化を微小時間毎に示すデータ(以下、これを振動データと呼ぶ)を生成する。この振動データは、ユーザにより操作部15を介して、テンポの入力を終了する要求(以下、これをテンポ入力終了要求と呼ぶ)が入力されるまで、入力部26により順次更新される。
ところで、ユーザが携帯型音楽再生装置10を振って音楽のテンポを入力する際、例えば、図7に示すように、携帯型音楽再生装置10を上下または左右に周期的に振ることでテンポを入力することが多い。従って、以下では、一例としてユーザが携帯型音楽再生装置10を上下に振ることで音楽のテンポを入力する場合について説明する。
入力部26は、ユーザにより携帯型音楽再生装置10が上下に振られた後に、このユーザから、操作部15を介してテンポ入力終了要求が入力されると、振動データが示す、時間軸上で微小時間毎に並ぶ振動ベクトルのうち、例えば、1つ前の時刻の振動ベクトルの振動方向に対して所定の閾角度以上ずれた振動方向を有する振動ベクトルで、且つ、所定の閾値(以下、これを入力閾値と呼ぶ)以上の振動加速度値を有する振動ベクトルの時刻を検出する。
ここで入力閾値は、例えば、ユーザが携帯型音楽再生装置10を上下に振る場合に、この携帯型音楽再生装置10が上下に振られているときの方向が上から下に大きく変化したときや、下から上に大きく変化したときの振動加速度値のみを検出するような値に予め設定されている。
これにより入力部26は、ユーザがテンポを入力することに応じて携帯型音楽再生装置10の全体を所定の周期で上下に振ったときに、携帯型音楽再生装置10が振られる毎に(テンポが入力される毎に)、下から上に振動方向が大きく変化した時刻と上から下に振動方向が大きく変化した時刻とのように、振動方向が大きく変化した時刻を2回検出することができる。そして入力部26は、検出した一連の時刻のうち、偶数番目の時刻(すなわち、下から上に振動方向が大きく変化した時刻)あるいは奇数番目の時刻(すなわち上から下に振動方向が大きく変化した時刻)を、ユーザにより携帯型音楽再生装置10が振られることでテンポが入力された時刻(以下、これをテンポ入力時刻と呼ぶ)Ta(Ta1、Ta2、Ta3・・・TaN)として特定する(ここでは一例として、偶数番目の時刻をテンポ入力時刻として特定した場合について述べる)。
ところで、ユーザが携帯型音楽再生装置10を振って入力するテンポにはばらつきがある。従って入力部26は、テンポ入力時刻Ta(Ta1、Ta2、Ta3・・・TaN)のうち、時間軸上で時系列的に隣り合う全ての時刻同士の差分時間(すなわち、「Ta1、Ta2」「Ta2、Ta3」「Ta3、Ta4」・・・「TaN−1、TaN」それぞれの時刻同士の差分時間)を算出して平均化し、この平均化した差分時間が1分間に幾つ入るかを算出することで、例えば「四分音符=60」のような、ユーザにより入力されたテンポ(以下、これを入力テンポと呼ぶ)を示すデータ(以下、これを入力テンポデータと呼ぶ)を生成する。そして入力部26は、生成した入力テンポデータを制御部20に送出(入力)する。
このようにして携帯型音楽再生装置10は、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置10を振るという、音楽のテンポを取るのに都合の良い直感的な動きをさせるだけで、音楽データの検索用にリズムを入力するときの指標となるテンポを入力させることができる。
入力部26から入力テンポデータが与えられると、制御部20は、テンポ入力モードから、音楽データの検索用にリズムパターンの入力を受け付けるリズム入力モードに移行する。
リズム入力モードにおいて制御部20は、入力テンポデータが示す入力テンポ(この場合、1分間に拍を60回打つテンポ)で発光部16を点滅発光させることで、リズムの入力を待ち受けていることをユーザに通知する。
また制御部20は、入力テンポで発光部16を点滅発光させることで、ユーザに対し、検索を所望する音楽データのリズムパターンを入力させるときに、あたかもメトロノームに合わせるかのように、この発光部16の点滅発光に合わせてリズムパターンを入力させることができ、その結果、リズムパターンを入力させ易くすることができる。
次いで加速度検出部25は、ユーザにより装置本体11をつかまれた状態で携帯型音楽再生装置10の全体が振られると(図6)、上述したテンポ入力モード時と同様に、振られたことにより携帯型音楽再生装置10の直交する3軸(X軸、Y軸及びZ軸)方向に対して印加されるX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値を微小時間毎に検出すると共に、これらX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値を検出した時刻(すなわち検出時刻)を検出する。そして加速度検出部25は、これらX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値と検出時刻とを格納するようにして、微小時間毎の加速度値に関する単位加速度データを生成し、この単位加速度データを入力部26に順次送出する。
入力部26は、加速度検出部25から単位加速度データが与えられると、上述したテンポ入力モード時と同様に、この単位加速度データに格納されているX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値を、例えば三平方の定理を用いてベクトル合成することにより振動ベクトル(すなわち、振動方向及び振動加速度値)を算出する。そして入力部26は、単位加速度データに格納されている検出時刻に応じて、振動ベクトルを時間軸上に順次並べるようにして、振動ベクトルの変化を微小時間毎に示す振動データを生成する。この振動データは、ユーザにより操作部15を介して、リズムパターンの入力を終了する要求(以下、これをリズム入力終了要求と呼ぶ)が入力されるまで、入力部26により順次更新される。
ところで、ユーザが携帯型音楽再生装置10を振って音楽のリズムパターンを入力する際、例えば、図8に示すように、携帯型音楽再生装置10を音楽のメロディに合わせて上下または左右に振ることでリズムパターンを入力することが多い。従って、以下では、一例としてユーザが携帯型音楽再生装置10を上下に振ることで音楽のリズムパターンを入力する場合について説明する。
入力部26は、ユーザにより携帯型音楽再生装置10が上下に振られた後に、このユーザから、操作部15を介してリズム入力終了要求が入力されると、振動データが示す、時間軸上で微小時間毎に並ぶ振動ベクトルのうち、例えば、1つ前の時刻の振動ベクトルの振動方向に対して所定の閾角度以上ずれた振動方向を有する振動ベクトルで、且つ、入力閾値以上の振動加速度値を有する振動ベクトルの時刻を検出する。
すなわち入力部26は、ユーザがリズムパターンを入力することに応じて携帯型音楽再生装置10の全体を上下に振ったときに、携帯型音楽再生装置10が振られる毎に(リズムパターンが入力される毎に)、下から上に振動方向が大きく変化した時刻と上から下に振動方向が大きく変化した時刻とのように、振動方向が変化した時刻を2回検出することができる。
そして入力部26は、検出した一連の時刻のうち、偶数番目の時刻(すなわち、下から上に振動方向が大きく変化した時刻)あるいは奇数番目の時刻(すなわち、上から下に振動方向が大きく変化した時刻)を、ユーザにより携帯型音楽再生装置10が振られることでリズムパターンが入力された時刻(以下、これをリズム入力時刻と呼ぶ)Tb(Tb1、Tb2、Tb3・・・TbN)として特定し(ここでは一例として、偶数番目の時刻を入力リズム時刻として特定した場合について述べる)、これら特定したリズム入力時刻Tb(Tb1、Tb2、Tb3・・・TbN)を時間軸XB上に並べることにより、ユーザにより入力されたリズムパターン(以下、これを入力リズムパターンと呼ぶ)を示すデータ(以下、これを入力リズムデータと呼ぶ)を生成する(図8)。そして入力部26は、生成した入力リズムデータを制御部20に送出(入力)する。
このようにして携帯型音楽再生装置10は、ユーザに対し、所望する音楽データのリズムパターンを入力させることができる。
入力部26から入力リズムデータが与えられると、制御部20は、動的計画法(Dynamic Programming)によるマッチング手法(以下、これをDPマッチング法と呼ぶ)により、入力リズムデータが示す入力リズムパターンと、記憶部21に記憶されている音楽データベースMDB(図5)の登録リズムパターン105の項目に登録されている複数の登録リズムパターンRPのそれぞれとを比較するようになされている。
このDPマッチング法は、比較対象(この場合、リズムパターン)同士の要素数(この場合、リズムパターンに含まれる時刻の数)が一致しない場合であっても比較可能なアルゴリズムであり、入力リズムパターンの各リズム入力時刻と登録リズムパターンRPの各登録リズム時刻との距離の総和のうちの最小の総和を算出することで、入力リズムパターンと登録リズムパターンRPとの違いの度合いを数値化して示す相違度を得る手法である。この相違度は、比較対象同士が似ていないほど大きい数値になる(すなわち、比較対象同士が似ているほど小さい数値になる)。
ちなみに、入力リズムパターンの各リズム入力時刻と登録リズムパターンRPの各登録リズム時刻との距離とは、例えば、DPマッチング法を適用するに際し、各リズム入力時刻と各登録リズム時刻とを直交する2つの時間軸のそれぞれに割り当てたときの、直交する2つの時間軸によって形成される平面上において、各リズム入力時刻に応じた直線と各登録リズム時刻に応じた直線とが交わるそれぞれの交点同士の間の距離である。
具体的には、入力部26から入力リズムデータが与えられると、制御部20は、入力リズムデータが示す入力リズムパターンに含まれるリズム入力時刻Tb(Tb1、Tb2、Tb3・・・TbN)のうち、先頭のリズム入力時刻Tb(すなわちリズム入力時刻Tb1)と後尾のリズム入力時刻Tb(すなわちリズム入力時刻TbN)との間の時間(すなわち、ユーザが入力リズムパターンを入力し始めてから終了するまでの間に経過した時間であり、以下、これを総入力時間と呼ぶ)を求める。また制御部20は、記憶部21に記憶されている音楽データベースMDB(図5)に登録されている複数の登録リズムパターンRPのうち、1つの登録リズムパターンRPを読み出す。そして制御部20は、総入力時間を用いて入力リズムパターンと登録リズムパターンRPとをそれぞれ正規化し、正規化した入力リズムパターンと正規化した登録リズムパターンRPとをDPマッチング法により比較して相違度を算出する。
このようにして携帯型音楽再生装置10は、入力リズムパターンと登録リズムパターンRPとをDPマッチング法により比較して相違度を算出することができる。
次いで制御部20は、このようなDPマッチング法による相違度の算出を、音楽データベースMDB(図5)の登録リズムパターン105の項目に登録されている全ての登録リズムパターンRPに対して行って、それぞれの登録リズムパターンRPに対する相違度を算出する。そして制御部20は、最も小さい相違度が得られた登録リズムパターンRPを、入力リズムパターンに最も似ている登録リズムパターンRPであると特定する。
このようにして携帯型音楽再生装置10は、入力リズムパターンに最も似ている登録リズムパターンRPを特定するようになされている。
さらに制御部20は、記憶部21に記憶している音楽データベースMDBを参照することにより、入力リズムパターンに最も似ている登録リズムパターンRPに対応する音楽データ(すなわち、入力リズムパターンに該当する音楽データ)を検索すると共に、検索した結果特定した音楽データの代表曲フラグ(すなわち、ユーザが再生を所望している音楽データに対応する代表曲フラグ)に対し、「1」と「0」とのいずれが割り当てられているかを判別する。
このとき制御部20は、特定した音楽データに対応する代表曲フラグに「0」が割り当てられている場合には、音楽データに対応する記憶アドレスを音楽データベースMDBから取得する。そして制御部20は、取得した記憶アドレスに応じて音楽データを記憶部21から読み出して再生部23に入力する。すなわち制御部20は、ユーザが所望する音楽データを検索して特定し、再生部23に入力する。
再生部23は、制御部20から音楽データが与えられると、この音楽データに対して再生処理を施して音楽信号を得て出力部24に送出することで、この出力部24から音楽信号に基づく音楽が放音される。
このようにして携帯型音楽再生装置10は、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置10を振るという、音楽のリズムを取るのに都合の良い直感的な動きでリズムをとらせるだけで、入力パターンを入力させることができ、その結果、ユーザが再生を所望している音楽データを容易に検索することができる。
さらに携帯型音楽再生装置10は、所望の音楽データを検索するためにユーザにリズムパターンを入力させるとき、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置10を振るという、音楽のリズムを取るのに都合の良い直感的な動きでリズムをとらせるだけで、ユーザが所望する音楽データを検索してその結果得られた音楽データを再生することができ、かくして、所望の音楽データを容易に再生し得る。
ところで、上述したリズム入力モードにおいて、制御部20は、音楽データベースMDBを参照することにより特定した音楽データに対する代表曲フラグに「1」と「0」とのいずれが割り当てられているかを判別した結果、特定した音楽データに対応する代表曲フラグに「1」が割り当てられている場合には、音楽データに対応する関連情報のうち、タイトル及びアーティスト名(すなわち音楽識別情報MS)を音楽データベースMDBから取得してリスト生成部27に送出する。
リスト生成部27は、制御部20から音楽識別情報MSが与えられると、音楽データベースMDB(図5)から、この音楽識別情報MSのアーティスト名と同じアーティスト名で登録されている他の関連情報を特定し、特定した関連情報のうちの音楽識別情報MSを取得する。そしてリスト生成部27は、制御部20から与えられた音楽識別情報MS(すなわち、ユーザが再生を所望している音楽データの音楽識別情報MS)と、音楽データベースMDBから取得した音楽識別情報MS(すなわち、ユーザが再生を所望している音楽データに対応するアーティストの他の音楽データの音楽識別情報MS)とから再生リストを生成し、これを制御部20に送信する。
ここで再生リストSLは、図9に示すように、そのリストの先頭に、ユーザが再生を所望している音楽データの音楽識別情報MSが記載され、その後に、ユーザが再生を所望している音楽データに対応するアーティストの他の音楽データ(以下、これを関連音楽データと呼ぶ)の音楽識別情報MSがランダムに記載されることで形成されている。
この再生リストSLは、記載されている音楽識別情報MSに対応する記憶アドレスを音楽データベースMDBを参照して取得することにより、それぞれの音楽識別情報MSに対応する音楽データや関連音楽データを記憶部21から読み出せるようになされている。
これにより制御部20は、リスト生成部27から再生リストSLが与えられると、再生リストSLに記載されている音楽識別情報MSの順番に応じて、記憶部21から、音楽データや関連音楽データを順に読み出して再生部23に入力する。
そして再生部23は、制御部20から音楽データや関連音楽データが与えられる毎に、この音楽データや関連音楽データに対して再生処理を施すことで音楽信号を得、この音楽信号を出力部24に送出することで、この出力部24から音楽信号に基づく音楽が放音される。
このようにして携帯型音楽再生装置10は、検索の結果得られた音楽データが代表曲である場合には、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置10を振るという、音楽のリズムを取るのに都合の良い直感的な動きでリズムをとらせるだけで、ユーザが再生を所望している音楽データとこの音楽データに関連する関連音楽データとを再生可能な再生リストSLを生成することができ、その結果、容易な入力で再生リストSLを生成できる。
ところで、実際上、携帯型音楽再生装置10は、リズム入力モードにおいて、DPマッチング法により、入力リズムパターンと各登録リズムパターンRPとの間の相違度をそれぞれ算出したとき、最も小さい相違度の(すなわち、入力リズムパターンに最も似ている)登録リズムパターンRPを複数特定する場合(すなわち、ユーザが再生を所望している音楽データの候補(以下、これを候補音楽データと呼ぶ)が複数存在する場合)がある。このとき制御部20は、リズム入力モードから、ユーザに対し、複数の候補音楽データの中から所望の音楽データを選択させる音楽選択モードに移行する。
この音楽選択モードにおいて制御部20は、検出した複数の登録リズムパターンRPのうち、一の登録リズムパターンRPに対応する記憶アドレスを音楽データベースMDB(図5)から取得し、この記憶アドレスにより記憶部21から候補音楽データを読み出す。すなわち制御部20は、ユーザが再生を所望している音楽データの候補である候補音楽データの1つを記憶部21から読み出す。また制御部20は、記憶部21に記憶されている音楽データベースMDB(図5)から、一の登録リズムパターンRPに対応するサビ区間情報HKを取得する。そして制御部20は、読み出した候補音楽データとサビ区間情報HKとを再生部23に入力する。
再生部23は、制御部20から候補音楽データとサビ区間情報HKとが与えられると、この候補音楽データの中でサビ区間情報HKに相当する区間に再生処理を施すことで、候補音楽データに基づく音楽のうちのサビ区間の音楽信号(以下、これをサビ音楽信号と呼ぶ)を得て、このサビ音楽信号を出力部24に送出することで、この出力部24から音楽信号に基づく音楽のうちのサビ区間が放音される。
次に制御部20は、再生部23による候補音楽データのサビ区間の再生が終了すると、残りの登録リズムパターンRPのうち、一の登録リズムパターンRPに対応する記憶アドレスを音楽データベースMDB(図5)から取得し、この記憶アドレスにより記憶部21から候補音楽データを読み出す。また制御部20は、記憶部21に記憶されている音楽データベースMDBから、一の登録リズムパターンRPに対応するサビ区間情報HKを取得する。そして制御部20は、読み出した候補音楽データとサビ区間情報HKとを再生部23に入力する。このように制御部20は、再生部23における候補音楽データのサビ区間の再生が終了する毎に、検出した複数の登録リズムパターンRPのそれぞれに対応する候補音楽データとサビ区間情報HKとを、順に再生部23に送出する。
そして再生部23は、制御部20から候補音楽データとサビ区間情報HKとが与えられる毎に、候補音楽データの中でサビ区間情報HKに相当する区間に再生処理を施し、その結果得られたサビ音楽信号を出力部24に送出することで、音楽信号に基づく音楽のうちのサビ区間が順次放音される。
このようにして携帯型音楽再生装置10は、ユーザが再生を所望している音楽データの候補である候補音楽データのサビ区間を順次再生してユーザに聴かせることができる。
さらに、この音楽選択モードにおいて制御部20は、候補音楽データのサビ区間を順次再生しているときに、操作部15を介して、ユーザから音楽データを選択する命令(以下、これを音楽選択命令と呼ぶ)が入力されると、その時点で再生部23により再生されている候補音楽データが、ユーザが再生を所望している音楽データであると特定する。
このようにして携帯型音楽再生装置10は、ユーザが再生を所望している音楽データの候補である候補音楽データが複数存在する場合に、候補音楽データに基づく音楽のうち、ユーザにとって音楽を判別し易いサビ区間のみを順に聴かせることで、短い時間で音楽を判別させることができ、その結果、ユーザが再生を所望している音楽データを短い時間で容易に判別させることができる。
そして制御部20は、ユーザにより、再生を所望する音楽データが選択されると、特定された音楽データ(すなわち、ユーザが再生を所望している音楽データ)に対する代表曲フラグに「1」と「0」とのいずれが割り当てられているかを記憶部21に記憶している音楽データベースMDBを参照することで判別し、その判別結果に応じて上述と同様の処理を行う。
このようにして携帯型音楽再生装置10は、複数の候補音楽データから、ユーザにより再生を所望している音楽データを選択された後には、上述と同様の処理を行うようになされている。
(1−4)第1の実施の形態における音楽検索処理手順
ここで、携帯型音楽再生装置10による、音楽データを検索する一連の処理の手順(以下、これを音楽検索処理手順と呼ぶ)について説明する。携帯型音楽再生装置10の制御部20は、ユーザにより操作部15を介して、音楽検索要求が入力されると、図10に示すような音楽検索処理手順RT1を開始する。
携帯型音楽再生装置10の加速度検出部25は、音楽検索処理手順RT1を開始すると、ステップSP1において、携帯型音楽再生装置10がユーザにより振られることを待ち受け、携帯型音楽再生装置10がユーザにより振られると、これに応じて微小時間毎に単位加速度データを生成し、これらを入力部26に順に送出して次のステップSP2に移る。
ステップSP2において入力部26は、単位加速度データから振動データを生成し、この振動データに応じて、ユーザが携帯型音楽再生装置10を振ったテンポを特定する。そして入力部26は、特定したテンポを入力テンポとして制御部20に入力し、次のステップSP3に移る。
ステップSP3において制御部20は、発光部16を入力テンポで点滅発光させ、次のステップSP4に移る。
ステップSP4において加速度検出部25は、携帯型音楽再生装置10がユーザにより振られることを待ち受け、携帯型音楽再生装置10がユーザにより振られると、これに応じて微小時間毎に単位加速度データを生成し、これらを入力部26に順に送出して次のステップSP5に移る。
ステップSP5において入力部26は、単位加速度データから振動データを生成し、この振動データに応じて、ユーザが携帯型音楽再生装置10を振ったリズムパターンを特定する。そして入力部26は、特定したリズムパターンを入力リズムパターンとして制御部20に入力し、次のステップSP6に移る。
ステップSP6において制御部20は、入力リズムパターンと、記憶部21に記憶されている音楽データベースMDBに登録されている複数の登録リズムパターンRPのそれぞれとをDPマッチング法により比較することで、入力リズムパターンと各登録リズムパターンRPとのそれぞれの相違度を算出する。そして制御部20は、最も小さい相違度の登録リズムパターンRPに対応する音楽データを検索し、次のステップSP7に移る。
ステップSP7において制御部20は、検索の結果特定した音楽データが1つであるか否かを判別する。このステップSP7において肯定結果が得られると、このことは、特定した音楽データが、ユーザが再生を所望している音楽データであることを示している。従って制御部20は、このときステップSP8に移る。
これに対し、ステップSP7において否定結果が得られると、このことは、ユーザが再生を所望する音楽データの候補が複数存在することを示している。従って制御部20は、このときステップSP9に移る。
ステップSP9において制御部20は、ユーザが再生を所望する音楽データの候補である候補音楽データに基づく音楽のサビ区間を順に再生し、次のステップSP10に移る。
ステップSP10において制御部20は、操作部15を介して、ユーザから音楽データを選択する音楽選択命令が入力されたか否かを判別する。このステップSP10において肯定結果が得られると、このことは、ユーザにより、複数の候補音楽データの中から、再生を所望している音楽データが選択されたことを示している。従って制御部20は、このときステップSP8に移る。
これに対しステップSP10において否定結果が得られると、このことは、ユーザにより、音楽データが未だ選択されていないことを示している。従って制御部20は、このときステップSP9に戻り、ステップSP10において肯定結果が得られるまで、上述したステップSP9及びステップSP10の処理を繰り返す。
ステップSP8において制御部20は、音楽データベースMDBを参照することにより、特定した音楽データに対応する代表曲フラグDFに「1」が割り当てられているか否かを判別する。このステップSP8において否定結果が得られると、このことは、音楽データが、この音楽データのアーティストの代表曲ではないことを示している。従って制御部20は、このときステップSP11に移る。
ステップSP11において制御部20は、特定した音楽データを読み出して再生し、ステップSP14に移る。
これに対しステップSP8において肯定結果が得られると、このことは、音楽データが、この音楽データのアーティストの代表曲であることを示している。従って制御部20は、このときステップSP12に移る。
ステップSP12において制御部20は、音楽データに応じて再生リストSLを生成し、次のステップSP13に移る。
ステップSP13において制御部20は、再生リストSLに応じ、音楽データとこの音楽データと同じアーティストの関連音楽データを順次再生し、ステップSP14に移り、かかる音楽検索処理手順RT1を終了する。
このような音楽検索処理手順RT1により、携帯通信端末20は、ユーザに携帯型音楽再生装置10が振られることで音楽データを検索するようになされている。
(1−5)第1の実施の形態における動作及び効果
以上の構成において、携帯型音楽再生装置10は、リズム入力モードにおいて、ユーザにより装置本体11をつかまれた状態で振られると、加速度値を検出することで振動方向の変化を検出し、これを入力リズムパターンとして入力すると共に、入力リズムパターンと音楽データベースMDBに登録されている登録リズムパターンRPとを比較することで、ユーザが再生を所望している音楽データを検索するようにした。
従って携帯型音楽再生装置10は、所望の音楽データを検索するためにユーザにリズムパターンを入力させるとき、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置10を振るという、音楽のリズムを取るのに都合の良い直感的な動きでリズムをとらせるだけで、入力パターンを入力することができ、その結果、所望の音楽データを容易に検索し得る。
さらに音楽再生装置10は、検索した結果得られた音楽データを再生するようにした。
従って携帯型音楽再生装置10は、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置10を振るという、音楽のリズムを取るのに都合の良い直感的な動きでリズムをとらせるだけでユーザが所望する音楽データを検索し、検索した結果得られた音楽データを再生することができ、その結果、所望の音楽データを容易に再生し得る。
さらに携帯型音楽再生装置10は、テンポ入力モードにおいて、ユーザにより装置本体11をつかまれた状態で振られると、加速度値を検出することで振動方向の変化を検出し、これを入力テンポとして入力して、入力テンポデータが示す入力テンポで点滅発光するようにした。
従って携帯型音楽再生装置10は、所望の音楽データを検索するためにユーザにリズムパターンを入力させるとき、ユーザに対し、あたかもメトロノームに合わせるかのように、点滅発光に合わせてリズムパターンを入力させることができ、かくして、リズムパターンを容易に入力させることができる。
さらに携帯型音楽再生装置10は、ユーザが再生を所望している音楽データを検索して特定した結果、この特定した音楽データが、対応するアーティストの代表曲であるある場合には、ユーザが再生を所望している音楽データとこの音楽データに関連する関連音楽データとを再生可能な再生リストSLを生成するようにした。
従って携帯型音楽再生装置10は、ユーザが再生を所望している音楽データが代表曲である場合には、装置本体11を掴ませて携帯型音楽再生装置10を振るという、音楽のリズムを取るのに都合の良い直感的な動きでリズムをとらせるだけで、ユーザが再生を所望している音楽データとこの音楽データに関連する関連音楽データとを再生可能な再生リストSLを生成することができ、その結果、容易な入力で再生リストを生成できる。
さらに携帯型音楽再生装置10は、ユーザが再生を所望している音楽データを検索した結果、ユーザが再生を所望している音楽データの候補が複数存在する場合には、この音楽データのサビ区間を順次再生してユーザに聴かせるようにした。
従って携帯型音楽再生装置10は、ユーザが再生を所望している音楽データの候補が複数存在する場合に、音楽データに基づく音楽のうち、ユーザにとって音楽を判別し易いサビ区間のみを順に聴かせることで、短い時間で音楽を判別させることができ、その結果、ユーザが再生を所望している音楽データを短い時間で容易に判別させることができる。
以上の構成によれば、携帯型音楽再生装置10は、装置本体11が振られたときの加速度値を検出することにより、装置本体11が振られることによって動かされた運動方向の変化のパターンを検出し、検出した、運動方向の変化のパターンを入力リズムパターンとして入力して、入力された入力リズムパターンと、記憶部21に記憶されている音楽データ及び当該音楽データに対応する登録リズムパターンのうちの当該登録リズムパターンとをDPマッチング法により比較し、当該比較の結果に基づき、入力リズムパターンに該当する音楽データを記憶部21から検索するようにしたことにより、所望の音楽データを検索して再生するためにユーザにリズムパターンを入力させるとき、装置本体11を持たせた状態で、かかる装置本体11を振るようにしてリズムを取らせるという直感的な動作をさせるだけで、リズムパターンを入力することができ、かくして、所望の音楽データを容易に検索し得る。
(1−6)第1の実施の形態における他の実施の形態。
なお上述した第1の実施の形態においては、加速度検出部25により、装置本体11の中で加速度検出部25が設けられている位置を原点として直交する図示しない3軸(例えば、X軸、Y軸及びZ軸)に対する加速度値(正負の値でなる)を、それぞれX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値として検出するようにした場合について述べたが、本発明はこれに限らず、加速度検出部25により検出する加速度の方向は、1軸や2軸であっても良いし、2軸や3軸であった場合に、軸同士が必ずしも直交していなくても良い。
また上述した第1の実施の形態においては、入力リズムパターンと音楽データベースMDBの複数の登録リズムパターンRPとのそれぞれをDPマッチング法により比較して相違度を算出したとき、最も小さい相違度が得られた登録リズムパターンRPに対応する音楽データを検索するようにした場合について述べたが、本発明はこれに限らず、所定の値以下の相違度の登録リズムパターンRPに対応する音楽データを検索するようにしても良いし、最も小さい相違度からN番目に小さい相違度までのそれぞれの登録リズムパターンRPに対応する音楽データを検索するようにしても良く、最終的に音楽データを検索するに際し、閾値としての相違度の設定はユーザによって適宜選定できるものとする。その場合、複数の音楽データが検索される場合もあるが、上述した音楽選択モードのようにして、音楽データに基づく音楽のサビ区間を順に再生してユーザに選択させるようにすれば良い。
さらに上述した第1の実施の形態においては、入力リズムパターンと登録リズムパターンRPとをDPマッチング法により比較するようにした場合について述べたが、本発明はこれに限らず、入力リズムパターンと登録リズムパターンRPとを比較するのに、隠れマルコフモデル(HMM:Hidden Markov Model)等の種々の手法を用いるようにしても良い。ちなみに、このマルコフモデルとは、一般に、ある事象の確率がその直前のN個の事象だけに依存するとき、これをN重マルコフ過程といい、隠れマルコフモデルは、「システムがパラメータ未知のマルコフ過程である」と仮定し、観測可能な情報からその未知のパラメータを推定する確率モデルの1つである。
さらに上述した第1の実施の形態においては、ユーザが再生を所望している音楽データの候補が複数存在する場合に、この複数の音楽データのそれぞれのサビ区間を順に再生してユーザに聴かせるようにした場合について述べたが、本発明はこれに限らず、順に再生するのは音楽データに基づく音楽のイントロ(導入部)の部分であっても良いし、他のメロディの一部であっても良い。
さらに上述した第1の実施の形態においては、入力リズムパターンと記憶部21に記憶している登録リズムパターンRPとを比較することに応じて、記憶部21から音楽データを検索して取得するようにした場合について述べたが、本発明はこれに限らず、登録リズムパターンRPと音楽データとを外部装置に記憶させるようにして、入力リズムパターンと外部装置に記憶されている登録リズムパターンRPとを比較することに応じて、外部装置から音楽データを検索して取得するようにしても良いし、登録リズムパターンRPと音楽データとを外部装置に記憶させるようにして、入力リズムパターンと外部装置に記憶されている登録リズムパターンRPとを比較することに応じて、外部装置から音楽データに基づく音楽を再生させるようにしても良い。さらには、音楽データのみを外部装置に記憶させるようにして、入力リズムパターンと記憶部21に記憶している登録リズムパターンRPとを比較することに応じて、外部装置から音楽データを検索して取得するようにしても良いし、音楽データのみを外部装置に記憶させるようにして、入力リズムパターンと記憶部21に記憶している登録リズムパターンRPとを比較することに応じて、外部装置から音楽データに基づく音楽を再生させるようにしても良く、音楽データの検索及びその取得のシステムは何でも良いものとする。
さらに上述した第1の実施の形態においては、検出した一連の時刻から入力テンポを特定するときに、検出した一連の時刻のうち、偶数番目あるいは奇数番目の時刻をテンポ入力時刻として特定するようにした場合について述べたが、本発明はこれに限らず、隣り合う偶数番目の時刻と奇数番目の時刻との中間の時刻をテンポ入力時刻として特定するようにしても良い。
さらに上述した第1の実施の形態においては、検出した一連の時刻から入力リズムパターンを特定するときに、検出した一連の時刻のうち、偶数番目あるいは奇数番目の時刻をリズム入力時刻と特定するようにした場合について述べたが、本発明はこれに限らず、隣り合う偶数番目の時刻と奇数番目の時刻との中間の時刻をリズム入力時刻として特定するようにしても良い。
さらに上述した第1の実施の形態においては、入力リズムパターンを入力する前に、まず入力テンポを入力してこの入力テンポに応じて発光部16を点滅発光させて、この発光部16の点滅発光に合わせるように入力リズムパターンを入力させるようにした場合について述べたが、本発明はこれに限らず、予め設定された所定のテンポで発光部16を点滅発光させるようにして、その発光に合わせるようにして入力リズムパターンを入力させるようにしても良い。また、予め複数のテンポを設定可能なように用意しておいて、これら複数のテンポから1つのテンポを選択してそのテンポで発光部16を点滅発光させるようにし、その発光に合わせるようにして入力リズムパターンを入力させるようにしても良い。そうすることで、入力テンポを入力させなくて済む分だけ、音楽データを検索する時間を短縮できる。
さらに上述した第1の実施の形態においては、入力テンポに応じて発光部16を点滅発光させるようにした場合について述べたが、本発明はこれに限らず、入力テンポと、記憶部21に記憶されている音楽データベースMDB(図5)に登録されている複数の登録テンポTPとを比較して、対応する登録テンポTPを検出するようにしても良い。具体的には、入力された入力テンポに対して例えば±20%のように所定の許容幅(以下、これをテンポ許容幅と呼ぶ)を設定し、記憶部21に記憶されている音楽データベースMDB(図5)に登録されている複数の登録テンポTPのうち、入力テンポのテンポ許容幅に対応する(すなわち、テンポ許容幅の範囲に含まれる)登録テンポTPを検出するようにしても良い。そうすることで、次のリズム入力モードにおいて、入力リズムパターンと比較するのは、音楽データベースMDB(図5)に登録されている複数の登録リズムパターンRPのうち、検出した登録テンポTPに対応する登録リズムパターンRPだけで済み、音楽データベースMDB(図5)に登録されている複数の登録リズムパターンRPの全てと比較しないで済む分だけ、音楽データの検索にかかる時間を短縮することができる。
さらに上述した第1の実施の形態においては、テンポ入力モードにおいて、入力部26は、装置本体11が振られた結果、加速度検出部25から得られた単位加速度データに応じ、入力テンポとして音楽の速さを入力するようにした場合について述べたが、本発明はこれに限らず、入力テンポとして音楽の拍子(例えば3拍子や4拍子)を入力するようにしても良い。具体的な手法について以下に示す。
入力部26は、加速度検出部25から単位加速度データが与えられると、この単位加速度データに格納されているX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値を、例えば三平方の定理を用いてベクトル合成することにより、振動ベクトル(すなわち、振動方向及び振動加速度値)を算出する。そして入力部26は、単位加速度データに格納されている検出時刻に応じて、振動ベクトルを時間軸上に順次並べるようにして、振動ベクトルの変化を微小時間毎に示す振動データを生成する。この振動データは、操作部15を介して、ユーザによりテンポの入力が終了したことを示す信号(以下、これをテンポ入力終了信号と呼ぶ)が入力されるまで、入力部26により順次更新される。
ところで、ユーザが携帯型音楽再生装置10を振って音楽の拍子を入力する際、図11及び図12に示すように、あたかも指揮棒を振りかざすかのように3拍子や4拍子で携帯型音楽再生装置10が振られる。
入力部26は、上述した方法でユーザにより音楽の拍子が入力された結果、このユーザから、操作部15を介して拍子入力終了要求が入力されると、振動データが示す、時間軸上で微小時間毎に並ぶ振動ベクトルのうち、例えば、1つ前の時刻の振動ベクトルの振動方向に対して所定の閾角度以上ずれた振動方向を有する振動ベクトルで、且つ、所定の入力閾値以上の振動加速度値を有する振動ベクトルの時刻を検出する。そして入力部26は、携帯型音楽再生装置10の振動方向とその周期を検出することで、例えば、3拍子であれば3つの振動方向を周期的に検出し、4拍子であれば4つの振動方向を周期的に検出するといったように、異なる拍子を区別して検出することができる。
このようにして入力部26は、携帯型音楽再生装置10が振られた拍子(すなわち入力拍子であり、以下、これを単に入力テンポとも呼ぶ)を検出して、この入力テンポ(入力拍子)を制御部20に入力することができる。その結果、制御部20は、例えば、入力テンポ(入力拍子)が3拍子であれば、発光部16を、3拍子のうち1拍子目を強く発光させ2拍子目及び3拍子目を弱く発光させるようにして、ユーザに対し、検索を所望する音楽データのリズムパターンを入力させるときに、あたかも拍子毎にテンポを刻めるタイプのメトロノームに合わせるかのように、この発光部16の点滅発光に合わせてリズムパターンを入力させることができ、その結果、リズムパターンをさらに入力させ易くすることができる。
さらにこの場合、入力された入力テンポ(入力拍子)により、記憶部21に記憶されている音楽データベースMDB(図5)に登録されている複数の登録テンポTPのうち入力テンポ(入力拍子)と一致する拍子を有する登録テンポTPを検出するようにしても良い。そうすることで、次のリズム入力モードにおいて、入力リズムパターンと比較するのは、音楽データベースMDB(図5)に登録されている複数の登録リズムパターンRPのうち、検出した登録テンポTPに対応する登録リズムパターンRPだけで済み、音楽データベースMDB(図5)に登録されている複数の登録リズムパターンRPの全てと比較しないで済む分だけ、音楽データの検索にかかる時間を短縮することができる。
さらに上述した第1の実施の形態においては、音楽データが代表曲である場合に再生リストSLを生成するようにした場合について述べたが、本発明はこれに限らず、再生リストSLの生成用に音楽データベースMDBの関連情報を予め設定しておき、音楽データが検出された後に、この音楽データの関連情報に応じて再生リストSLを生成するようにしても良い。具体的な手法について、再生リストSLの生成用の関連情報としてアーティスト名が予め設定されていた場合を例にして以下に示す。
制御部20は、リズム入力モードにおいて、DPマッチング法によりユーザが再生を所望する音楽データの登録リズムパターンRPを検索して特定すると、登録リズムパターンRPに対応する関連情報のうち、音楽識別情報MSを音楽データベースMDBから取得してリスト生成部27に送出する。
リスト生成部27は、制御部20から音楽識別情報MSが与えられると、再生リストSLの生成用の関連情報としてアーティスト名が予め設定されていることに応じて、音楽データベースMDBのアーティスト名101の項目(図5)から、このアーティスト名と同じアーティスト名で登録されている他の関連情報を特定し、特定した関連情報のうち音楽識別情報MSを取得する。そしてリスト生成部27は、制御部20から与えられた音楽識別情報MS(すなわち、ユーザが再生を所望している音楽データの音楽識別情報MS)と、音楽データベースMDBから取得した音楽識別情報MS(すなわち、ユーザが再生を所望している音楽データに対応するアーティストの他の音楽データの音楽識別情報MS)とから、上述した再生リストSL(図9)を生成する。
こうすることにより携帯型音楽再生装置10は、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置10を振るという、音楽のリズムを取るのに都合の良い直感的な動きをさせるだけで、ユーザが再生を所望する音楽データとこの音楽データに関連する関連音楽データとを再生可能な再生リストSLを生成することができ、その結果、容易な入力で、再生リストSLを生成できる。
またこの場合、再生リストSLを生成するために予め設定するのは、関連情報のうちアーティスト名だけでなく、ボーカルや、アルバム名、ジャンルであっても良く、またそれぞれを単独で設定したり、任意に複数組み合わせて設定する等して再生リストSLを生成しても良く、再生リストSLを生成する方法についてはユーザが適宜選択できるものとする。
さらに上述した第1の実施の形態においては、ユーザに装置本体11を掴ませた状態で携帯型音楽再生装置10を振ってその振動方向を変化させることで、入力テンポ及び入力リズムパターンを入力するようにした場合について述べたが、本発明はこれに限らず、入力部26が入力テンポ及び入力リズムパターンを生成するときの入力閾値を、ユーザが携帯型音楽再生装置10を物体(例えば、机上面や机の角、床面等)に打ち付けたときの振動加速度値を検出できるような値に予め設定しておき、ユーザに装置本体11を掴ませた状態で携帯型音楽再生装置10を物体に打ち付けさせることで入力テンポ及び入力リズムパターンを入力するようにしても良い。そうすることで、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置10を振って物体に打ち付けるという、あたかも携帯型音楽再生装置10で太鼓を叩くような動きをさせることで、入力テンポ及び入力リズムパターンを入力させることができ、携帯型音楽再生装置10を空中で振らせることで入力テンポ及び入力リズムパターンを入力させる場合に比して、入力テンポ及び入力リズムパターンを入力するタイミングをユーザに把握させ易くすることができ、その結果、入力テンポ及び入力リズムパターンを入力させ易くすることができる。
さらに上述した第1の実施の形態においては、入力テンポに応じたテンポで発光部16を点滅発光させることで、この発光部16の点滅発光に合わせるようにして入力リズムパターンを入力させるようにした場合について述べたが、本発明はこれに限らず、再生部23に対し、入力テンポに応じたテンポの音を出力部24から放音させるようにしても良い。そうすることで、ユーザに対し、検索を所望する音楽データのリズムパターンを入力させるときに、あたかもメトロノームの音に合わせるかのように、この出力部24から放音される音に合わせてリズムパターンを入力させることができ、その結果、リズムパターンを入力させ易くすることができる。
さらに上述した実施の形態においては、音楽データベースMDBに対し、タイトル100、アーティスト名101、ボーカル102、アルバム名103、ジャンル104、登録リズムパターン105、登録テンポ106、代表曲フラグ107、サビ区間情報108及び記憶アドレス109の項目を設けて、関連情報を、それぞれの音楽データに対応付けて項目毎に登録するようにした場合について述べたが、本発明はこれに限らず、音楽データベースMDBに設ける項目としては、少なくともタイトル100、アーティスト名101、登録リズムパターン105及び記憶アドレス109の項目があれば良く、他の項目(すなわちボーカル102、アルバム名103、ジャンル104、登録テンポ106、代表曲フラグ107及びサビ区間情報108)は、装置の構成や設定によって適宜選択することができるものとする。
(2)第2の実施の形態
(2−1)第2の実施の形態における携帯型音楽再生装置の外観構成
図13において、30は全体として第2の実施の形態による携帯型音楽再生装置を示す。この第2の実施の形態による携帯型音楽再生装置30は、その装置本体11の下部側に、かかる携帯型音楽再生装置30を物体(例えば、机上面や机の角、床面等)に打ち付けたときに、この物体と接触したことにより携帯型音楽再生装置30の動きの方向が変化したことを検出するための接触検出部40が設けられていること以外は、上述した第1の実施の形態の携帯型音楽再生装置10とほぼ同様形態である。従って、携帯型音楽再生装置30のうち接触検出部40以外の同様形態である部分の外観構成については、上述した第1の実施の形態を参照とする。
(2−2)第2の実施の形態における携帯型音楽再生装置の機能構成
つづいて、上述した外観構成をなす携帯型音楽再生装置30の機能構成について、図14を用いて説明する。この第2の実施の形態による携帯型音楽再生装置30は、加速度検出部25の代わりに接触検出部40が設けられていること以外は、上述した第1の実施の形態の携帯型音楽再生装置10の機能構成とほぼ同様形態である。従って、携帯型音楽再生装置30のうち接触検出部40以外の同様形態である部分の機能構成については、上述した第1の実施の形態を参照とする。
この接触検出部40は、例えば、静電容量の変化により、机上面、机の角及び床面等といった物体や、ユーザの手や指が接触したことを検出するようになされている。
以下では、携帯型音楽再生装置10がユーザにより動かされるときの振動方向の変化を、接触検出部40で検出する場合について説明する。
第2の実施の形態において、制御部20は、再生モード時、ユーザにより操作部15を介して、音楽検索要求が入力されたことを認識すると、再生モードから、音楽データの検索用にリズムを入力するときの指標となるテンポの入力を受け付けるテンポ入力モードに移行する。制御部20は、テンポ入力モードにおいて、発光部16を発光させることで、テンポの入力を待ち受けていることをユーザに通知する。
テンポ入力モードにおいて接触検出部40は、図15に示すように、ユーザにより装置本体11をつかまれた状態で、携帯型音楽再生装置30の全体が振られて物体(ここでは一例として机面上Fとする)に打ち付けられると、机面上Fと接触したことを検出する(すなわち、携帯型音楽再生装置30の振動方向が変化したことを検出する)と共に、机面上Fと接触したことを検出した検出時刻(すなわち携帯型音楽再生装置30が机面上Fに打ち付けられた時刻)を検出する。そして接触検出部40は、携帯型音楽再生装置30が机面上Fに打ち付けられる毎に検出時刻を検出し、これをデータ入力部26に順次送出する。
テンポ入力モードにおいて入力部26は、加速度検出部25から検出時刻が与えられると、図16に示すように、この検出時刻を時間軸XB上に並べることで、ユーザによってテンポが入力されたテンポ入力時刻Ta(Ta1、Ta2、Ta3・・・TaN)を特定する。そして入力部26は、テンポ入力時刻Ta(Ta1、Ta2、Ta3・・・TaN)のうち、時間軸上で時系列的に隣り合う全ての時刻同士の差分時間(すなわち、「Ta1、Ta2」「Ta2、Ta3」「Ta3、Ta4」・・・「TaN−1、TaN」それぞれの時刻同士の差分時間)を算出して平均化し、この平均化した差分時間が1分間に幾つ入るかを算出することで、例えば「四分音符=60」のような、ユーザにより入力された入力テンポを示す入力テンポデータを生成する。そして入力部26は、生成した入力テンポデータを制御部20に送出(入力)する。
このようにして携帯型音楽再生装置30は、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置30を振って机面上Fに打ち付けるという、あたかも携帯型音楽再生装置30で太鼓を叩くような動きをさせるだけで、ユーザが所望する音楽データのテンポを入力させることができる。
次に制御部20は、テンポ入力モードにおいて、入力部26から入力テンポデータが与えられると、テンポ入力モードから、検索を所望する音楽データのリズムパターンの入力を受け付けるリズム入力モードに移行する。
リズム入力モードにおいて制御部20は、入力テンポデータが示す入力テンポ(この場合、四分音符=60)で発光部16を点滅発光させることで、リズムの入力を待ち受けていることをユーザに通知する。
また制御部20は、入力テンポで発光部16を点滅発光させることで、ユーザに対し、検索を所望する音楽データのリズムパターンを入力させるときに、あたかもメトロノームに合わせるかのように、この発光部16の点滅発光に合わせてリズムパターンを入力させることができ、その結果、リズムパターンを入力させ易くすることができる。
接触検出部40は、ユーザにより装置本体11をつかまれた状態で、携帯型音楽再生装置30の全体が振られることで物体(ここでは一例として机面上Fとする)に打ち付けられると、机面上Fと接触したことを検出する(すなわち、携帯型音楽再生装置30の振動方向が変化したことを検出する)と共に、机面上Fと接触したことを検出した検出時刻(すなわち携帯型音楽再生装置30が机面上Fに打ち付けられた時刻)を検出する。そして接触検出部40は、携帯型音楽再生装置30が机面上Fに打ち付けられる毎に検出時刻を検出し、これをデータ入力部26に順次送出する。
入力部26は、加速度検出部25から検出時刻が与えられると、図17に示すように、この検出時刻を時間軸XB上に並べることで、ユーザによってリズムが入力されたリズム入力時刻Tb(Tb1、Tb2、Tb3・・・TbN)を特定し、これら特定したリズム入力時刻Tb(Tb1、Tb2、Tb3・・・TbN)により、ユーザにより入力された入力リズムパターンを示す入力リズムデータを生成する。そして入力部26は、生成した入力リズムデータを制御部20に送出(入力)する。
このようにして携帯型音楽再生装置30は、所望の音楽データを検索するためにユーザにリズムパターンを入力させるとき、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置30を振って打ち付けさせるという、あたかも携帯型音楽再生装置30で太鼓を叩くような動きをさせるだけで、入力パターンを入力させることができ、その結果、リズムパターンを容易に入力し得る。
また携帯型音楽再生装置30は、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置30を振って物体に打ち付けるという、あたかも携帯型音楽再生装置30で太鼓を叩くような動きをさせることで入力リズムパターンを入力させることができ、携帯型音楽再生装置30を空中で振らせることで入力リズムパターンを入力させる場合に比して、入力リズムパターンを入力するタイミングをユーザに把握させ易くすることができ、その結果、入力リズムパターンを入力させ易くすることができる。
以下、上述した第1の実施の形態の処理と同様であるので、上述した第1の実施の形態の対応する部分を参照とする。
(2−3)第2の実施の形態における音楽検索処理手順
ここで、携帯型音楽再生装置30による、音楽データを検索して再生する一連の処理の手順(以下、これを音楽検索処理手順と呼ぶ)について説明する。携帯型音楽再生装置30の制御部20は、ユーザにより操作部15を介して、音楽検索要求が入力されると、図18に示すような音楽検索処理手順RT2を開始する。
携帯型音楽再生装置30の接触検出部40は、音楽検索処理手順RT2を開始すると、ステップSP21において、携帯型音楽再生装置30がユーザにより振られて机面上Fに打ち付けられることを待ち受け、携帯型音楽再生装置30がユーザにより振られて机面上Fに打ち付けられると、打ち付けられた検出時刻を検出して入力部26に順に送出して次のステップSP22に移る。
ステップSP22において入力部26は、検出時刻を時系列的に並べて検出時刻同士の差分時間を平均化することにより、ユーザが携帯型音楽再生装置30を机面上Fに打ち付けたテンポを特定する。そして入力部26は、特定したテンポを入力テンポとして制御部20に入力し、次のステップSP23に移る。
ステップSP23において制御部20は、発光部16を入力テンポで点滅発光させ、次のステップSP24に移る。
ステップSP24において接触検出部40は、携帯型音楽再生装置30がユーザにより振られて机面上Fに打ち付けられることを待ち受け、携帯型音楽再生装置30がユーザにより振られて机面上Fに打ち付けられると、打ち付けられた検出時刻を検出して入力部26に順に送出して次のステップSP25に移る。
ステップSP25において入力部26は、検出時刻を時系列的に並べることでユーザが携帯型音楽再生装置30を机面上Fに打ち付けたリズムパターンを特定する。そして入力部26は、特定したリズムパターンを入力リズムパターンとして制御部20に入力し、次のステップSP26に移る。
ステップSP26において制御部20は、入力リズムパターンと、記憶部21に記憶されている音楽データベースMDBに登録されている複数の登録リズムパターンRPのそれぞれとをDPマッチング法により比較することで、入力リズムパターンと各登録リズムパターンRPとのそれぞれの相違度を算出する。そして制御部20は、最も小さい相違度の登録リズムパターンRPに対応する音楽データを検索し、次のステップSP27に移る。
ステップSP27において制御部20は、検索の結果特定した音楽データが1つであるか否かを判別する。このステップSP27において肯定結果が得られると、このことは、特定した音楽データが、ユーザが再生を所望している音楽データであることを示している。従って制御部20は、このときステップSP28に移る。
これに対し、ステップSP27において否定結果が得られると、このことは、ユーザが再生を所望する音楽データの候補が複数存在することを示している。従って制御部20は、このときステップSP29に移る。
ステップSP29において制御部20は、ユーザが再生を所望する音楽データの候補である候補音楽データに基づく音楽のサビ区間を順に再生し、次のステップSP30に移る。
ステップSP30において制御部20は、操作部15を介して、ユーザから音楽データを選択する音楽選択命令が入力されたか否かを判別する。このステップSP30において肯定結果が得られると、このことは、ユーザにより、複数の候補音楽データの中から、再生を所望している音楽データが選択されたことを示している。従って制御部20は、このときステップSP28に移る。
これに対しステップSP30において否定結果が得られると、このことは、ユーザにより、音楽データが未だ選択されていないことを示している。従って制御部20は、このときステップSP29に戻り、ステップSP30において肯定結果が得られるまで、上述したステップSP29及びステップSP30の処理を繰り返す。
ステップSP28において制御部20は、音楽データベースMDBを参照することにより、特定した音楽データに対する代表曲フラグDFに「1」が割り当てられているか否かを判別する。このステップSP28において否定結果が得られると、このことは、音楽データが、この音楽データのアーティストの代表曲ではないことを示している。従って制御部20は、このときステップSP31に移る。
ステップSP31において制御部20は、特定した音楽データを読み出して再生し、ステップSP34に移る。
これに対しステップSP28において肯定結果が得られると、このことは、音楽データが、この音楽データのアーティストの代表曲であることを示している。従って制御部20は、このときステップSP32に移る。
ステップSP32において制御部20は、音楽データに応じて再生リストSLを生成し、次のステップSP33に移る。
ステップSP33において制御部20は、再生リストSLに応じ、音楽データとこの音楽データと同じアーティストの関連音楽データを順次再生し、ステップSP34に移り、かかる音楽検索処理手順RT2を終了する。
このような音楽検索処理手順RT2により、携帯通信端末20は、ユーザに携帯型音楽再生装置30が振られて机面上Fに打ち付けられることで音楽データを検索するようになされている。
(2−4)第2の実施の形態における動作及び効果
以上の構成において、携帯型音楽再生装置30の接触検出部40は、リズム入力モードにおいて、ユーザにより装置本体11を掴まれた状態で振られて机面上Fに打ち付けられると、打ち付けられた検出時刻を検出してこれを入力部26に送出する。入力部26は、リズム入力モードにおいて、検出時刻を時間軸XB上に並べることでユーザにより入力された入力リズムパターンを示す入力リズムデータを生成して制御部20に入力するようにした。
従って携帯型音楽再生装置30は、所望の音楽データを検索して再生するためにユーザにリズムパターンを入力させるとき、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置30を振るという、あたかも携帯型音楽再生装置30で太鼓を叩くような動きをさせるだけで、入力パターンを入力することができ、その結果、リズムパターンを容易に入力し得る。
またこの場合、携帯型音楽再生装置30は、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置30を振って物体に打ち付けるという、あたかも携帯型音楽再生装置30で太鼓を叩くような動きをさせることで入力リズムパターンを入力させることができ、携帯型音楽再生装置30を空中で振らせることで入力リズムパターンを入力させる場合に比して、入力リズムパターンを入力するタイミングをユーザに把握させ易くすることができ、その結果、入力リズムパターンを入力させ易くすることができる。
以上の構成によれば、携帯型音楽再生装置30は、装置本体11が振られて机面上Fに打ち付けられたときの検出時刻を検出することにより、装置本体11が振られることにより動かされた運動方向の変化のパターンを検出し、検出した、運動方向の変化のパターンを入力リズムパターンとして入力するようにしたことにより、ユーザに対し、装置本体11を掴ませて携帯型音楽再生装置30を振って物体に打ち付けるという、あたかも携帯型音楽再生装置30で太鼓を叩くような動きをさせることで入力リズムパターンを入力させることができ、携帯型音楽再生装置30を空中で振らせることで入力リズムパターンを入力させる場合に比して、入力リズムパターンを入力するタイミングをユーザに把握させ易くすることができ、かくして、入力リズムパターンを入力させ易くすることができる。
(2−5)第2の実施の形態における他の実施の形態
なお上述した第2の実施の形態においては、携帯型音楽再生装置30の装置本体11の下側部に接触検出部40を設けるようにした場合について述べたが、本発明はこれに限らず、携帯型音楽再生装置30を振って打ち付けたときの振動方向の変化を検出することができるのであれば、接触検出部40を設ける位置は装置本体11のどこであっても良い。
また上述した第2の実施の形態においては、静電容量の変化により、机上面、机の角及び床面等といった物体や、ユーザの手や指が接触したことを検出する接触検出部40を設けるようにした場合について述べたが、本発明はこれに限らず、接触検出部としては、机上面、机の角及び床面等といった物体や、ユーザの手や指が接触したときの圧力の変化を検出するようにしても良い。
(3)第3の実施の形態
(3−1)第3実施の形態の概要
次に、図19を用いて第3の実施の形態による携帯型音楽再生装置200のハードウェア回路ブロックによるハードウェア回路構成を示す。かかる携帯型音楽再生装置200は、中央処理ユニット(CPU:Central Processing Unit )50と各ハードウェアとがバス51を介して接続され、当該中央処理ユニット50がROM(Read Only Memory)52又はハードディスクドライブ53から読み出した各種プログラムをRAM(Random Access Memory)54で展開して実行することにより全体を統括制御すると共に、音楽再生処理等の各種処理を実行するようになされている。
これにより中央処理ユニット50は、USB(Universal Serial Bus)コネクタ59を介して外部機器と接続されると、外部機器から転送される音楽データと関連情報とをハードディスク53に送出して記録する。このとき中央処理ユニット50は、関連情報を音楽データに対応付けてデータベース化してハードディスク53に記録する。このようにして中央処理ユニット50は、外部機器から転送される音楽データと関連情報とをハードディスク53に記憶することができる。
さらに、中央処理ユニット50は、操作キー55を介して音楽データの再生が要求されると、ハードディスクドライブ53から再生の要求された音楽データを読み出し、これをデータ処理部57に送出する。データ処理部57は、中央処理ユニット50から与えられた音楽データに対し所定の再生処理を施した後、この再生処理した音楽データに対しデジタルアナログ変換処理及び増幅処理等のアナログ処理を施す。これによりデータ処理部57は、かかるアナログ処理に応じて音楽信号を得て、これをスピーカ58に送出することで当該スピーカ58から音楽信号に基づく音楽を出力させてユーザに聴取させることができる。このようにして中央処理ユニット50は、ハードディスクドライブ53に録音した音楽を聴かせることができる。
さらに、中央処理ユニット50は、音楽データに関連する関連情報や、現在の音量を示す情報、図示しないバッテリの残容量を示す情報などの各種情報を、液晶パネル又は有機EL(Electro Luminescence)パネル等でなるディスプレイ61に表示することができる。このようにして中央処理ユニット50は、各種情報をユーザに見せることができる。
さらに中央処理ユニット50の加速度センサ部62は、携帯型音楽再生装置200の中で加速度センサ部62が設けられている位置を原点として直交する図示しない3軸(例えば、X軸、Y軸及びZ軸)に対する加速度値(正負の値でなる)を、それぞれX軸検出加速度値、Y軸検出加速度値及びZ軸検出加速度値として検出する。そして中央処理ユニット50は、加速度センサ部62の検出結果に応じて、携帯型音楽再生装置200がユーザに振られたときのテンポやリズムパターンを特定することができる。
さらに中央処理ユニット50の接触検知センサ部63は、例えば、静電容量の変化や圧力の変化により、机上面、机の角及び床面等といった物体や、ユーザの手や指が接触したことを検出する。そして中央処理ユニット50は、接触検知センサ部63の検出結果に応じて、携帯型音楽再生装置200がユーザに振られて物体に打ち付けられたたときのテンポやリズムパターンを特定することができる。
さらに中央処理ユニット40のLED(Light Emitting Diode)64は、点灯発光や点滅発光することで、かかる携帯型音楽再生装置200の状態等をユーザに知らせることができる。
ところで携帯型音楽再生装置200は、上述したように中央処理ユニット50がROM52又はハードディスクドライブ53に記憶された各種プログラムに従って音楽再生処理プログラム等の各種処理を実行すると共に各ハードウェアを制御している。このため携帯型音楽再生装置200では、図3及び図14について上述した機能回路ブロックによるハードウェア構成の携帯型音楽再生装置10や携帯型音楽再生装置30の機能に応じて、ROM52又はハードディスクドライブ53に記憶させる各種プログラムを適宜選定することにより、中央処理ユニット50及びデータ処理部57を、上述の再生部23(図3及び図14)と同様に機能させることができる。
また携帯型音楽再生装置200では、操作キー55を、上述の操作部15(図3及び図14)と同様に機能させることができると共に、中央処理ユニット50及びハードディスクドライブ53を、上述の記憶部21(図3及び図14)と同様に機能させることができる。さらに携帯型音楽再生装置200では、USBコネクタ59を、上述した接続部22(図3及び図14)と同様に機能させることができると共に、中央処理ユニット50及びディスプレイ61を、上述の表示部14(図3及び図14)と同様に機能させることができる。
さらに携帯型音楽再生装置200では、中央処理ユニット50を、上述の制御部20(図3及び図14)、入力部16(図3及び図14)、リスト生成部27(図3及び図14)のそれぞれと同様に機能させることができる。さらに携帯型音楽再生装置200では、中央処理ユニット50及び加速度センサ部62を、上述した加速度検出部25(図3)と同様に機能させることができる。さらに携帯型音楽再生装置200では、中央処理ユニット50及び接触検知センサ部63を、上述した接触検出部40(図14)と同様に機能させることができる。
そしてLED64は、上述の発光部16(図3及び図14)に対応する。またスピーカ58は、上述の出力部24(図3及び図14)に対応する。
従って携帯型音楽再生装置200は、携帯型音楽再生装置10及び携帯型音楽再生装置30の機能に応じて、ROM52又はハードディスクドライブ53に記憶させる各種プログラムを適宜選定することにより、携帯型音楽再生装置10及び携帯型音楽再生装置30と同様の上述した処理を実行することができ、かくして上述した第1及び第2の実施の形態と同様の効果を得ることができる。
因みに携帯型音楽再生装置200については、ROM52に対し予め各種プログラムを記憶していても良いし、各種プログラムが格納されたプログラム格納媒体をインストールするようにしても良い。そして各種プログラムを携帯型音楽再生装置200にインストールして実行可能な状態にするためのプログラム格納媒体としては、例えばフレキシブルディスク、CD(Compact Disk)−ROM、DVD等のパッケージメディアのみならず、各種プログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク等で実現しても良い。また、これらプログラム格納媒体に復号プログラムを格納させる手段としては、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用しても良く、ルータやモデム等の各種通信インタフェースを介して格納させるようにしても良い。
(4)他の実施の形態
なお上述した第1乃至第3の実施の形態においては、本発明によるコンテンツ検索装置を、図1乃至図19について上述した携帯型音楽再生装置10、携帯型音楽再生装置30及び携帯型音楽再生装置200に適用するようにした場合について述べたが、本発明はこれに限らず、携帯型動画再生装置やオーディオ機能付携帯電話、携帯型ゲーム機、PDA(Personal Digital Assistant)、ノート型パーソナルコンピュータ、各種装置のコントローラ、据置型パーソナルコンピュータ、据置型オーディオプレイヤ、HDD(Hard Disk Drive)ビデオレコーダ、光ディスクレコーダ、半導体メモリタイプのレコーダ等のように、この他種々のコンテンツ検索装置に広く適用することができる。
また上述した第1乃至第3の実施の形態においては、コンテンツ検索装置が再生するコンテンツとして、図1乃至図19について上述した音楽データを適用するようにした場合について述べたが、本発明はこれに限らず、コンテンツ検索装置が再生するコンテンツとしては、動画データや画像データ、テレビ番組データ、ラジオ番組データ、外部装置から配信される各種ストリームデータ、テレビ放送波、ラジオ放送波等のように、この他種々のコンテンツに広く適用することができる。
さらに上述した第1乃至第3の実施の形態においては、コンテンツと、当該コンテンツに対応する対応リズムパターンとを記憶する記憶部として、図1乃至図19について上述した記憶部21やハードディスクドライブ53を適用した場合について述べたが、本発明はこれに限らず、記憶媒体としての光ディスクに記憶する光ディスクドライブや、半導体型メモリ、外付型のハードディスクドライブ等のように、この他種々の記憶部を広く適用することができる。
さらに上述した第1乃至第3の実施の形態においては、装置本体が動かされたときの運動方向の変化のパターンを検出する検出部として、図1乃至図19について上述した加速度検出部25や接触検出部40、加速度センサ部62、接触検知センサ部63を適用した場合について述べたが、本発明はこれに限らず、装置本体が動かされたときの運動方向の変化のパターンを検出することができるのであれば、圧力センサ部や気体流動検出部等のように、この他種々の検出部を広く適用することができる。
さらに上述した第1乃至第3の実施の形態においては、検出部により検出された、装置本体が動かされたときの運動方向の変化のパターンを入力リズムパターンとして入力する入力部として、図1乃至図19について上述した入力部16及び中央処理ユニット50を適用するようにした場合について述べたが、本発明はこれに限らず、検出部により検出された、装置本体が動かされたときの運動方向の変化のパターンを入力リズムパターンとして入力する入力回路等のように、この他種々の入力部を広く適用することができる。
さらに上述した第1乃至第3の実施の形態においては、入力部により入力された入力リズムパターンと記憶部に記憶されている対応リズムパターンとを比較することに応じて、記憶部に記憶されているコンテンツを検索する制御部として、図1乃至図19について上述した制御部20及び中央処理ユニット50を適用するようにした場合について述べたが、本発明はこれに限らず、力部により入力された入力リズムパターンと記憶部に記憶されている対応リズムパターンとを比較することに応じて、記憶部に記憶されているコンテンツを検索する制御回路等のように、この他種々の制御部を広く適用することができる。
さらに上述した第1乃至第3の実施の形態においては、リストを生成するリスト生成部として、図1乃至図19について上述した中央処理ユニット50を適用するようにした場合について述べたが、本発明はこれに限らず、リストを生成するリスト生成回路等のように、この他種々のリスト生成部を広く適用することができる。
本発明は、音楽データを検索する音楽検索装置に利用することができる。
本実施の形態によるコンテンツ検索装置の概要を示すブロック図である。 第1の実施の形態における携帯型音楽再生装置の外観構成を示す略線的斜視図である。 第1の実施の形態における携帯型音楽再生装置の機能構成を示すブロック図である。 リズムパターン及びテンポの様子の説明に供する略線図である。 音楽データベースの構成を示す略線図である。 携帯型音楽再生装置の振られる様子の説明に供する略線図である。 第1の実施の形態におけるテンポ入力の様子の説明に供する略線図である。 第1の実施の形態におけるリズムパターン入力の様子の説明に供する略線図である。 再生リストの構成を示す略線図である。 第1の実施の形態における音楽検索処理手順を示すフローチャートである。 3拍子で振られる様子の説明に供する略線図である。 4拍子で振られる様子の説明に供する略線図である。 第2の実施の形態における携帯型音楽再生装置の外観構成を示す略線的斜視図である。 第2の実施の形態における携帯型音楽再生装置の機能構成を示すブロック図である。 携帯型音楽再生装置が打ち付けられる様子の説明に供する略線図である。 第2の実施の形態におけるテンポ入力の様子の説明に供する略線図である。 第2の実施の形態におけるリズムパターン入力の様子の説明に供する略線図である。 第2の実施の形態における音楽検索処理手順を示すフローチャートである。 第3の実施の形態における携帯型音楽再生装置の回路構成を示すブロック図である。
符号の説明
1……コンテンツ検索装置、2、21……記憶部、3……検出部、4、26……入力部、5、20……制御部、10、200……携帯型音楽再生装置、16……発光部、23…再生部、25……加速度検出部、27……リスト生成部、40……接触検出部、MDB……音楽データベース、TP……登録テンポ、RP……登録リズムパターン、SL……再生リスト、RT1、RT2……音楽検索処理手順。

Claims (9)

  1. コンテンツと、当該コンテンツに対応する対応リズムパターンとを記憶する記憶部と、
    装置本体が動かされたときの運動方向の変化のパターンを検出する検出部と、
    上記検出部により検出された、上記装置本体が動かされたときの上記運動方向の変化のパターンを入力リズムパターンとして入力する入力部と、
    上記入力部により入力された上記入力リズムパターンと上記記憶部に記憶されている上記対応リズムパターンとを比較し、当該比較の結果に基づき、上記入力リズムパターンに該当する上記コンテンツを上記記憶部から検索する制御部と
    を具えることを特徴とするコンテンツ検索装置。
  2. 上記検出部は、
    上記装置本体が動かされて物体に接触したときの上記運動方向の変化のパターンを検出し、
    上記入力部は、
    上記検出部により検出された、上記装置本体が動かされて上記物体に接触したときの上記運動方向の変化のパターンを上記入力リズムパターンとして入力する
    ことを特徴とする請求項1に記載のコンテンツ検索装置。
  3. 発光部を具え、
    上記制御部は、
    所定の周期で上記発光部を発光させ、
    上記検出部は、
    上記発光部の発光に応じて上記装置本体が動かされたときの運動方向の変化のパターンを検出する
    ことを特徴とする請求項1に記載のコンテンツ検索装置。
  4. 上記記憶部は、
    上記コンテンツに対応する対応テンポを予め記憶し、
    上記入力部は、
    上記検出部により検出された、上記装置本体が動かされたときの上記運動方向の変化を入力テンポとして入力し、
    上記制御部は、
    上記入力部により入力された上記入力テンポと上記記憶部に記憶されている上記対応テンポとを比較し、当該比較の結果に基づき、上記入力テンポに該当する上記コンテンツを上記記憶部から検索すると共に、上記入力部により入力された上記入力リズムパターンと上記記憶部に記憶されている上記対応リズムパターンとを比較し、当該比較の結果に基づき、上記入力リズムパターンに該当する上記コンテンツを上記記憶部から検索する
    ことを特徴とする請求項1に記載のコンテンツ検索装置。
  5. 発光部を具え、
    上記入力部は、
    上記検出部により検出された、上記装置本体に対する上記運動方向の変化のパターンをテンポとして入力し、
    上記制御部は、
    上記入力部により入力された上記テンポに応じて上記発光部を発光させ、
    上記検出部は、
    上記発光部の発光に応じて上記装置本体が動かされたときの上記運動方向の変化のパターンを検出し、
    上記入力部は、
    上記検出部により検出された、上記発光部の発光に応じて上記装置本体が動かされたときの上記運動方向の変化のパターンを上記入力リズムパターンとして入力する
    ことを特徴とする請求項1に記載のコンテンツ検索装置。
  6. 上記制御部により検索された上記コンテンツが複数ある場合に、複数の上記コンテンツのそれぞれの一部を順次再生する再生部を具える
    ことを特徴とする請求項1に記載のコンテンツ検索装置。
  7. 上記制御部により検索された上記コンテンツが、予め設定された代表的なコンテンツである場合には、上記コンテンツと当該コンテンツに関連する関連コンテンツとのリストを生成するリスト生成部を具える
    ことを特徴とする請求項1に記載のコンテンツ検索装置。
  8. 装置本体が動かされたときの運動方向の変化のパターンを検出する検出ステップと、
    検出した、上記装置本体が動かされたときの上記運動方向の変化のパターンを、入力リズムパターンとして入力する入力ステップと、
    入力された上記入力リズムパターンと、記憶部に記憶されているコンテンツ及び当該コンテンツに対応する対応リズムパターンのうちの当該対応リズムパターンとを比較し、当該比較の結果に基づき、上記入力リズムパターンに該当する上記コンテンツを上記記憶部から検索する検索ステップと
    を具えることを特徴とするコンテンツ検索方法。
  9. コンピュータに対し、
    装置本体が動かされたときの運動方向の変化のパターンを検出する検出ステップと、
    検出した、上記装置本体が動かされたときの上記運動方向の変化のパターンを、入力リズムパターンとして入力する入力ステップと、
    入力された上記入力リズムパターンと、記憶部に記憶されているコンテンツ及び当該コンテンツに対応する対応リズムパターンのうちの当該対応リズムパターンとを比較し、当該比較の結果に基づき、上記入力リズムパターンに該当する上記コンテンツを上記記憶部から検索する検索ステップと
    を実行させることを特徴とするコンテンツ検索プログラム。
JP2007075150A 2007-03-22 2007-03-22 コンテンツ検索装置、コンテンツ検索方法及びコンテンツ検索プログラム Expired - Fee Related JP5023752B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007075150A JP5023752B2 (ja) 2007-03-22 2007-03-22 コンテンツ検索装置、コンテンツ検索方法及びコンテンツ検索プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007075150A JP5023752B2 (ja) 2007-03-22 2007-03-22 コンテンツ検索装置、コンテンツ検索方法及びコンテンツ検索プログラム

Publications (2)

Publication Number Publication Date
JP2008234453A true JP2008234453A (ja) 2008-10-02
JP5023752B2 JP5023752B2 (ja) 2012-09-12

Family

ID=39907134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007075150A Expired - Fee Related JP5023752B2 (ja) 2007-03-22 2007-03-22 コンテンツ検索装置、コンテンツ検索方法及びコンテンツ検索プログラム

Country Status (1)

Country Link
JP (1) JP5023752B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010084590A1 (ja) * 2009-01-22 2010-07-29 パイオニア株式会社 楽曲出力装置、楽曲再生装置、楽曲出力方法、楽曲送信方法、楽曲出力プログラム、楽曲送信プログラムおよび記録媒体
JP2012234167A (ja) * 2011-04-21 2012-11-29 Yamaha Corp 楽音発生パターンを示すクエリーを用いて演奏データの検索を行う装置、方法および記憶媒体
JP2014044386A (ja) * 2011-12-09 2014-03-13 Yamaha Corp 音データ処理装置及びプログラム
US9412113B2 (en) 2011-04-21 2016-08-09 Yamaha Corporation Performance data search using a query indicative of a tone generation pattern
EP3629198A4 (en) * 2017-12-29 2020-05-27 Guangzhou Kugou Computer Technology Co., Ltd. SOUND SEARCHING METHOD AND DEVICE
CN113160848A (zh) * 2021-05-07 2021-07-23 网易(杭州)网络有限公司 舞蹈动画生成方法、模型练方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04186297A (ja) * 1990-11-20 1992-07-03 Yamaha Corp テンポコントローラ
JP2001195067A (ja) * 1999-10-26 2001-07-19 Denso Corp 携帯電話装置
JP2001333156A (ja) * 2000-05-19 2001-11-30 Yamaha Corp 携帯電話機、自動演奏装置、自動演奏制御装置および自動演奏システム
WO2002047066A1 (fr) * 2000-12-07 2002-06-13 Sony Corporation Procede et dispositif de recherche de contenu, et procede et systeme de communication
JP2003108128A (ja) * 2001-09-27 2003-04-11 Yamaha Corp 携帯電話装置、音楽ゲーム装置、音楽ゲームプログラムおよび携帯電話装置用プログラム
JP2003131674A (ja) * 2001-10-22 2003-05-09 Megafusion Corp 楽曲検索システム
JP2005017537A (ja) * 2003-06-24 2005-01-20 Yamaha Corp 自動演奏装置およびプログラム
JP2006318182A (ja) * 2005-05-12 2006-11-24 Sharp Corp 音声検索装置、音声検索方法、音声再生方法および携帯再生装置、並びに、楽曲検索装置、楽曲検索方法、楽曲再生方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04186297A (ja) * 1990-11-20 1992-07-03 Yamaha Corp テンポコントローラ
JP2001195067A (ja) * 1999-10-26 2001-07-19 Denso Corp 携帯電話装置
JP2001333156A (ja) * 2000-05-19 2001-11-30 Yamaha Corp 携帯電話機、自動演奏装置、自動演奏制御装置および自動演奏システム
WO2002047066A1 (fr) * 2000-12-07 2002-06-13 Sony Corporation Procede et dispositif de recherche de contenu, et procede et systeme de communication
JP2003108128A (ja) * 2001-09-27 2003-04-11 Yamaha Corp 携帯電話装置、音楽ゲーム装置、音楽ゲームプログラムおよび携帯電話装置用プログラム
JP2003131674A (ja) * 2001-10-22 2003-05-09 Megafusion Corp 楽曲検索システム
JP2005017537A (ja) * 2003-06-24 2005-01-20 Yamaha Corp 自動演奏装置およびプログラム
JP2006318182A (ja) * 2005-05-12 2006-11-24 Sharp Corp 音声検索装置、音声検索方法、音声再生方法および携帯再生装置、並びに、楽曲検索装置、楽曲検索方法、楽曲再生方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010084590A1 (ja) * 2009-01-22 2010-07-29 パイオニア株式会社 楽曲出力装置、楽曲再生装置、楽曲出力方法、楽曲送信方法、楽曲出力プログラム、楽曲送信プログラムおよび記録媒体
JP2012234167A (ja) * 2011-04-21 2012-11-29 Yamaha Corp 楽音発生パターンを示すクエリーを用いて演奏データの検索を行う装置、方法および記憶媒体
US9412113B2 (en) 2011-04-21 2016-08-09 Yamaha Corporation Performance data search using a query indicative of a tone generation pattern
US9449083B2 (en) 2011-04-21 2016-09-20 Yamaha Corporation Performance data search using a query indicative of a tone generation pattern
JP2014044386A (ja) * 2011-12-09 2014-03-13 Yamaha Corp 音データ処理装置及びプログラム
US9563701B2 (en) 2011-12-09 2017-02-07 Yamaha Corporation Sound data processing device and method
EP3629198A4 (en) * 2017-12-29 2020-05-27 Guangzhou Kugou Computer Technology Co., Ltd. SOUND SEARCHING METHOD AND DEVICE
US11574009B2 (en) 2017-12-29 2023-02-07 Guangzhou Kugou Computer Technology Co., Ltd. Method, apparatus and computer device for searching audio, and storage medium
CN113160848A (zh) * 2021-05-07 2021-07-23 网易(杭州)网络有限公司 舞蹈动画生成方法、模型练方法、装置、设备及存储介质
CN113160848B (zh) * 2021-05-07 2024-06-04 网易(杭州)网络有限公司 舞蹈动画生成方法、模型训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP5023752B2 (ja) 2012-09-12

Similar Documents

Publication Publication Date Title
JP5023752B2 (ja) コンテンツ検索装置、コンテンツ検索方法及びコンテンツ検索プログラム
JP4328828B2 (ja) 携帯型和音出力装置、コンピュータプログラムおよび記録媒体
KR20060120476A (ko) 재생 장치, 프로그램 및 재생 제어방법
JP2008532200A (ja) 再生リストを作成するためのスキャンシャッフル
WO2017028686A1 (zh) 一种信息处理方法、终端设备及计算机存储介质
JP2011182841A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
WO2020059245A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN109891496B (zh) 改进的合成打击乐踏板和配接站
JP2012088378A (ja) 情報処理端末および発音システム
JP2005516285A (ja) 検索された曲目をいっしょに演奏する音楽検索システム
JP5375868B2 (ja) 再生方法切替装置、再生方法切替方法及びプログラム
JP3972619B2 (ja) 音発生装置
CN110335578A (zh) 音乐输入装置及方法
JP5842383B2 (ja) カラオケシステム及びカラオケ装置
JP5486941B2 (ja) 聴衆に唱和をうながす気分を楽しむカラオケ装置
JP2012058877A (ja) プレイリスト作成装置
KR101212019B1 (ko) 무선 전자 퍼커션의 동작으로부터 음악 신호를 동적으로 생성할 수 있는 노래방 시스템
KR100841047B1 (ko) 곡 데이터 편집 기능 및 mp3기능이 내장된 휴대용 플레이어
Duffell Making Music with Samples: Tips, Techniques & 600+ Ready-to-use Samples
JP4534926B2 (ja) 画像表示装置及びプログラム
TW202101421A (zh) 電子琴空拍插音輔助裝置及音色切換信號產生方法
JP5561853B2 (ja) 楽曲再生装置
JP2008158048A (ja) カラオケシステム及びデジタル再生装置
JP5459522B2 (ja) カラオケ装置及びカラオケプログラム
CN102481488B (zh) 音乐游戏系统以及效果音数据的生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120604

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees