JP2005219631A - 再生制御装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体 - Google Patents

再生制御装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP2005219631A
JP2005219631A JP2004029620A JP2004029620A JP2005219631A JP 2005219631 A JP2005219631 A JP 2005219631A JP 2004029620 A JP2004029620 A JP 2004029620A JP 2004029620 A JP2004029620 A JP 2004029620A JP 2005219631 A JP2005219631 A JP 2005219631A
Authority
JP
Japan
Prior art keywords
rhythm
music
information
external
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004029620A
Other languages
English (en)
Other versions
JP4568506B2 (ja
Inventor
Kentaro Yamamoto
健太郎 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2004029620A priority Critical patent/JP4568506B2/ja
Priority to US11/048,908 priority patent/US7317158B2/en
Priority to EP05250592A priority patent/EP1562176A1/en
Publication of JP2005219631A publication Critical patent/JP2005219631A/ja
Application granted granted Critical
Publication of JP4568506B2 publication Critical patent/JP4568506B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm

Abstract


【課題】外部状況に応じて楽曲を良好に再生する音響再生装置を提供する。
【解決手段】音響再生装置100は、外部入力リズム検出部110にて、例えば走行音などの外部状況を認識すると、この認識した走行音に関する外部リズム情報を生成して出力する。処理部170のリズム設定手段173は、外部リズム情報を取得すると、この外部リズム情報に基づいて、楽曲のリズムを走行音に応じたリズムに設定するための設定リズム情報を生成する。このため、音響再生装置100は、例えば車両の走行状況が変化した場合でも、設定リズム情報に基づいて、楽曲のリズムを走行状況に応じたリズムに適宜設定して再生できる。したがって、音響再生装置100は、外部状況に応じて楽曲をより良好に再生できる。
【選択図】 図1

Description

本発明は、楽曲の再生を制御する再生制御装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体に関する。
従来、移動体としての例えば車両の多くには、例えばフロントガラスに付着した雨などを除去することにより運転手の視界を確保するワイパー装置が備えられている。このワイパー装置のワイパーの駆動を制御する構成が知られている(例えば、非特許文献1参照)。この非特許文献1に記載のものは、雨滴センサにて雨の強さを検知して、この検知した雨の強さに応じた速度でワイパーを駆動する。
ボッシュ株式会社 ニュースリリース(http://www.bosch.co.jp/jp/press/rbjp_011024_3.html、2004年1月20日掲載)
ところで、移動体としての例えば車両には、例えばCD(Compact Disc)やMD(Mini Disc)などの記録媒体に記録された楽曲などを再生する音響再生装置が備えられているものがある。従来の音響再生装置は、楽曲のリズムやテンポに関するデータに基づいて楽曲を再生することにより、運転環境を向上している。しかしながら、従来の音響再生装置では、走行状況に関わらず楽曲の持つリズムやテンポで再生されることから、運転の状態に応じたより快適な運転環境の演出が望まれている。
本発明は、このような実情に鑑みて、外部状況に応じて良好な処理を実施する再生制御装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体を提供することを1つの目的とする。
請求項1に記載の発明は、楽曲の再生を制御する再生制御装置であって、前記再生制御装置外部の状況を認識し、この認識した外部状況に関する情報から外部リズム情報を生成して出力する状況情報生成手段と、前記外部リズム情報に基づいて、再生される前記楽曲の再生リズムを前記外部状況に応じたリズムに設定するリズム設定手段と、を具備したことを特徴とする再生制御装置である。
請求項8に記載の発明は、楽曲の再生を制御する再生制御装置であって、外部状況を認識し、この認識した外部状況に関する外部情報を生成して出力する状況情報生成手段と、前記外部情報に基づいて、再生される前記楽曲の曲調が異なる特定の部分の再生を開始させる状態に設定するリズム設定手段と、を具備したことを特徴とする再生制御装置である。
請求項12に記載の発明は、楽曲の再生を制御する再生制御方法であって、外部状況を認識し、この認識した外部状況に関する情報から外部リズム情報を生成して出力し、前記外部リズム情報に基づいて、再生される前記楽曲の再生リズムを前記外部状況に応じたリズムに設定することを特徴とする再生制御方法である。
請求項13に記載の発明は、楽曲の再生を制御する再生制御方法であって、外部状況を認識し、この認識した外部状況に関する外部情報を生成して出力し、前記外部情報に基づいて、再生される前記楽曲の曲調が異なる特定の部分の再生を開始させる状態に設定することを特徴とする再生制御方法である。
請求項14に記載の発明は、演算手段を、請求項1ないし請求項11のいずれかに記載の再生制御装置として機能させることを特徴とする再生制御プログラムである。
請求項15に記載の発明は、請求項12または請求項13に記載の再生制御方法を演算手段に実行させることを特徴とする再生制御プログラムである。
請求項16に記載の発明は、請求項14または請求項15に記載の再生制御プログラムが演算手段にて読み取り可能に記憶されたことを特徴とする再生制御プログラムを記録した記録媒体である。
以下に、本発明の一実施の形態を図面に基づいて説明する。本実施の形態では、本発明の再生制御装置を備えた音響再生装置を例示して説明するが、これに限られず楽曲の再生を実施させるいずれの構成でも適用できる。図1は、音響再生装置の概略構成を示すブロック図である。図2は、外部入力リズム検出部の概略構成を示す模式図である。図3は、走行音の波形の一例を示すタイミングチャートである。図4は、走行映像画面の一例を示す模式図であり、(A)は白線を認識した際の走行映像画面を示す模式図であり、(B)は他の白線を認識した際の走行映像画面を示す模式図である。図5は、車両の位置および移動経路の一例を示す模式図であり、(A)はシーンが変わる前の車両の位置を示す模式図であり、(B)はシーンが変わる際の車両の位置を示す模式図である。図6は、再生用音楽情報におけるデータのテーブル構造を模式的に示す概念図である。
〔音響再生装置の構成〕
図1において、100は車載用の音響再生装置(以下、カーオーディオと称す)である。このカーオーディオ100は、移動体である例えば車両に搭載され、MIDI(Musical Instrument Digital Interface)形式やWAVE形式で記憶された楽曲や、CD(Compact Disc)やMD(Mini Disc)などに記録された楽曲などを再生する装置である。なお、移動体としては、車両に限らず、飛行機や船舶などいずれの移動体が対象となる。そして、カーオーディオ100は、状況情報生成手段としての外部入力リズム検出部110と、楽曲データ記憶部120と、メモリ130と、入力部140と、音声出力部150と、表示部160と、処理部170と、などを備えている。
外部入力リズム検出部110は、外部状況を認識して、この認識した外部状況に関する外部情報としても機能する外部リズム情報を生成する。そして、この外部リズム情報を処理部170へ出力する。この外部状況としては、例えば車両の走行に伴う走行音、車軸や車輪の回転、景色の移り変わりなどの各種状況が例示できるがこれに限られない。また、外部としては、少なくともカーオーディオ100の図示しないケース体の外部である。この外部入力リズム検出部110には、センサ200と、図示しない、走行映像カメラと、ナビゲーション装置と、が接続されている。センサ200は、外部の状態を検出し、この検出した状態に関する情報が記載されたセンサ信号Sseを生成する。そして、このセンサ信号Sseを外部入力リズム検出部110へ出力する。このセンサ200は、図示しない、走行センサと、速度センサと、などを備えている。走行センサは、車両の走行に伴い生じる任意の音としての走行音を検出する。ここで、走行音としては、走行時の車両の振動、他の車両とすれ違った際などの気圧の変化から生じる音などが例示できるがこれに限られない。なお、ここでは、車両の走行に伴う走行音を検出する構成について例示したが、これに限られず例えば停車時において他の車両が通過した際の気圧の変化から生じる音などを検出する構成などとしてもよい。そして、走行センサは、走行音に関する走行音情報が記載されたセンサ信号Sseを外部入力リズム検出部110へ出力する。速度センサは、例えば車軸や車輪の回転により出力される車速パルスを検出する。そして、この車速パルスに関する車速パルス情報が記載されたセンサ信号Sseを外部入力リズム検出部110へ出力する。走行映像カメラは、走行映像を撮影する。そして、この走行映像に関する走行映像情報が記載された映像信号を外部入力リズム検出部110へ出力する。ナビゲーション装置は、移動経路の探索を適宜実施する。そして、この移動経路や車両の位置に関する移動関連情報が記載された経路信号を外部入力リズム検出部110へ出力する。そして、外部入力リズム検出部110は、図2に示すように、走行音リズム検出部111と、車速パルスリズム検出部112と、走行映像リズム検出部113と、GPS(Global Positioning System)リズム検出部114と、などを備えている。
走行音リズム検出部111は、センサ200の走行音センサから走行音情報が記載されたセンサ信号Sseを適宜取得する。そして、このセンサ信号Sseの走行音情報に基づいて、走行音の例えばBPM(Beats Per Minute)や拍子、小節、拍などのリズムに関する外部リズム情報を生成する。具体的には、走行音リズム検出部111は、センサ200からの走行音情報に基づいて、任意の走行音を認識不可能な状態から認識可能な状態への変化の状況を示す、例えば図3に示すような走行音の波形を認識する。そして、この走行音の波形のピーク間隔が例えば0.5secであることを認識する。次に、このピーク間隔から走行音の例えばBPMが120であることを認識する。そして、この走行音のBPMなどが記載された外部リズム情報を生成する。この後、走行音リズム検出部111は、この外部リズム情報を外部リズム信号Sgaに変換して処理部170へ出力する。
車速パルスリズム検出部112は、センサ200の速度センサから車速パルス情報が記載されたセンサ信号Sseを適宜取得する。なお、ここでは、センサ200から車速パルス情報が記載されたセンサ信号Sseを取得する構成について例示するが、これに限らず例えばナビゲーション装置の図示しないセンサ部からセンサ信号Sseを取得する構成などとしてもよい。そして、車速パルスリズム検出部112は、センサ信号Sseの車速パルス情報に基づいて、車速パルスの例えばBPMや拍子、小節、拍などのリズムに関する外部リズム情報を生成する。具体的には、車速パルスリズム検出部112は、センサ200からの車速パルス情報に基づいて、例えば車速パルスの波形を認識する。そして、この車速パルスの波形のピーク間隔を認識する。次に、このピーク間隔から車速パルスのBPMを認識する。そして、この車速パルスのBPMなどが記載された外部リズム情報を生成する。この後、車速パルスリズム検出部112は、この外部リズム情報を外部リズム信号Sgaに変換して処理部170へ出力する。
走行映像リズム検出部113は、走行映像カメラから走行映像情報が記載された映像信号を適宜取得する。そして、この映像信号の走行映像情報に基づいて、事象としての例えば物体を認識するリズムに関する外部リズム情報を生成する。具体的には、走行映像リズム検出部113は、映像信号の走行映像情報に基づいて、任意の物体を認識不可能な状態から認識可能な状態へ変化したか否か、すなわち、物体を認識できたか否かを判断する。例えば、走行映像リズム検出部113は、走行映像情報に基づいて、例えば図4(A),(B)に示すような走行映像画面G1,G2を認識する。そして、この走行映像画面G1,G2の物体認識範囲Hに例えば物体としての白線A,Bなどが位置しているか否かを判断する。ここで、物体としては、白線A,B,Cなどの道路の白線の他、例えば街路樹や建物などが例示できるがこれに限られない。この後、例えば白線Aを認識できたと判断すると、図示しない計時手段を参照して、この白線Aを認識した時刻を基準時刻として認識する。そして、走行映像リズム検出部113は、計時手段を参照して、任意数である例えば3つの白線A,B,Cを認識した際の基準時刻からの経過時間(以下、物体認識時間と称す)を認識する。また、白線A,B,Cを認識可能な状態から認識不可能な状態へ変化した、すなわち、白線A,B,Cが走行映像画面G1,G2から消えた(以下、フレームアウトと称す)際の基準時刻からの経過時間(以下、フレームアウト時間と称す)を認識する。この後、白線A,B,Cの物体認識時間やフレームアウト時間の間隔を認識する。次に、この認識した間隔から、物体を認識するリズムである例えばBPMを認識する。そして、この例えばBPMなどが記載された外部リズム情報を生成する。この後、走行映像リズム検出部113は、この外部リズム情報を外部リズム信号Sgaに変換して処理部170へ出力する。
GPSリズム検出部114は、ナビゲーション装置から移動関連情報が記載された経路信号を適宜取得する。そして、この経路信号の移動関連情報に基づいて、例えば右折や左折、高速道路やトンネルあるいは橋などを走行するなどの事象としての例えばシーンの変化のリズムに関する外部リズム情報を生成する。具体的には、GPSリズム検出部114は、経路信号の移動関連情報に基づいて、シーンが変わるポイントがあるか否かを判断する。例えば、GPSリズム検出部114は、移動関連情報に基づいて、例えば図5(A)に示すような移動経路Rや車両の位置P1を認識する。そして、例えば移動経路Rに左に曲がるポイント、すなわち、シーンが変わるポイントがあると判断すると、シーンの変化のリズムである、車両が例えば図5(B)に示すような位置P2まで移動するまでの時間を認識する。この時間を認識する方法としては、移動関連情報に基づいて、位置P1から位置P2までの移動距離を認識する。また、例えばセンサ200の速度センサやナビゲーション装置のセンサ部からの速度パルス情報に基づいて、車両の移動速度を認識する。そして、これら認識した移動距離および移動速度から位置P2に移動するまでの時間を演算する方法が例示できるがこれに限られない。なお、ナビゲーション装置に交通情報を取得する図示しないVICS(Vehicle Information Communication System:道路交通情報通信システム)受信部が設けられている場合には、このVICS受信部にて取得した交通情報を加味してシーンが変わるまでの時間を演算する構成などとしてもよい。そして、GPSリズム検出部114は、シーンの変化のリズムである、例えば車両がシーンが変わる位置P2に移動するまでの時間などが記載された外部リズム情報を生成する。この後、GPSリズム検出部114は、この外部リズム情報を外部リズム信号Sgaに変換して処理部170へ出力する。
ここで、各リズム検出部111,112,113,114において認識する走行音のリズム、車速パルスのリズム、物体を認識するリズム、シーンの変化のリズムなどを外部リズムと適宜称して説明する。
楽曲データ記憶部120は、図6に示すような再生用音楽情報50を適宜読み出し可能に記憶する。この楽曲データ記憶部120としては、HD(Hard Disk)などの磁気ディスク、CDやMDあるいはDVD(Digital Versatile Disc)などの光ディスク、光磁気ディスク、メモリカードなどの各種記録媒体から各種情報を読み出し可能に記憶するドライブやドライバなどを備えた構成などが例示できる。
再生用音楽情報50は、再生される楽曲に関する情報である。この再生用音楽情報50は、複数の楽曲データ60m(mは自然数)が1つのデータ構造として構成されたテーブル構造の情報である。
楽曲データ60mは、1つの楽曲に関する情報である。この楽曲データ60mは、再生用データ61と、楽曲情報62と、などが1つのデータ構造として構成されたテーブル構造である。なお、楽曲データ60mは、楽曲情報62などが格納されずに再生用データ61のみが格納された構成となる場合もある。
再生用データ61は、楽曲の再生の際に用いられるデータである。この再生用データ61は、例えばMIDI形式やWAVE形式などの楽曲を再生可能な形式により記録されたデータである。なお、この再生用データ61にて再生される楽曲は、例えばモノラル形式やステレオ形式などいずれの形式であってもよい。
楽曲情報62は、再生用データ61により再生される楽曲に関する情報である。この楽曲情報62は、楽曲名情報63と、演奏者情報64と、楽曲リズム情報65と、などが1つのデータ構造として構成されたテーブル構造である。なお、楽曲情報62は、各情報63,64,65などのうちの少なくともいずれか1つが格納された構成となる場合もある。
楽曲名情報63は、楽曲の名前を示す情報をデータ化したものである。演奏者情報64は、楽曲の演奏者を示す情報をデータ化したものである。楽曲リズム情報65は、例えばピーク間隔情報としてのBPMや拍子などの楽曲のリズムなどを示す情報をデータ化したものである。
メモリ130は、カーオーディオ100全体を動作制御するOS(Operating System)上に展開される各種プログラムなどを記憶している。このメモリ130としては、例えば停電などにより突然電源が落ちた際にも記憶が保持される構成のメモリ、例えばCMOS(Complementary Metal-Oxide Semiconductor)メモリなどを用いることが望ましい。なお、メモリ130としては、HD、DVD、光ディスク、メモリカードなどの記録媒体に読み出し可能に記憶するドライブやドライバなどを備えた構成としてもよい。
入力部140は、入力操作される図示しない各種操作ボタンや操作つまみなどを有している。この操作ボタンや操作つまみの入力操作の内容としては、例えばカーオーディオ100の動作内容の設定などの設定事項である。具体的には、楽曲の再生や停止などの設定、音量の調整、各リズム検出部111,112,113,114のうちのいずれか1つを動作させる設定などが例示できる。なお、以下において、走行音リズム検出部111のみを動作させる状態を走行音検出モードと、車速パルスリズム検出部112のみを動作させる状態を車速検出モードと、走行映像リズム検出部113のみを動作させる状態を映像検出モードと、GPSリズム検出部114のみを動作させる状態をGPS検出モードと、それぞれ適宜称して説明する。そして、入力部140は、設定事項の入力操作により、所定の信号Sinを処理部170へ適宜出力して設定させる。なお、この入力部140としては、操作ボタンや操作つまみなどの入力操作に限らず、例えば表示部160に設けられたタッチパネルによる入力操作や、音声による入力操作など、各種設定事項を設定入力可能ないずれの構成が適用できる。
音声出力部150は、例えば車両のインストルメントパネル部、ドア部、リアダッシュボード部などに配設された図示しないスピーカを有している。この音声出力部150は、処理部170にて制御され、処理部170からの再生用データ61などの音声信号Sadをスピーカから音声により出力する。
表示部160は、処理部170にて制御され、処理部170からの画像データの画像信号Sdpを画面表示させる。画像データとしては、例えば再生している楽曲の名前、演奏者、演奏時間、音量の大きさなどの画像データなどが例示できる。この表示部160としては、例えば液晶パネルや有機EL(Electro Luminescence)パネル、PDP(Plasma Display Panel)、CRT(Cathode-Ray Tube)、FED(Field Emission Display)、電気泳動ディスプレイパネルなどが例示できる。
処理部170は、図示しない各入出力ポート、例えば外部入力リズム検出部110が接続されるリズム検出ポート、楽曲データ記憶部120が接続される記憶ポート、メモリ130が接続されるメモリポート、入力部140が接続される入力ポート、音声出力部150が接続される音声ポート、表示部160が接続される表示ポートなどを有している。そして、処理部170は、各種プログラムとして、図1に示すように、楽曲再生制御手段171と、音楽リズム検出手段172と、リズム設定手段173と、などを備えている。なお、外部入力リズム検出部110、および、リズム設定手段173にて、本発明の再生制御装置が構成されている。
楽曲再生制御手段171は、楽曲データ記憶部120に記憶された楽曲データ60mに基づいて楽曲を再生する。具体的には、楽曲再生制御手段171は、利用者による入力部140の入力操作により楽曲を再生する旨の設定入力を認識する。そして、この設定入力に基づいて、楽曲データ記憶部120に記憶された楽曲データ60mを取得する。この後、この楽曲データ60mに楽曲リズム情報65が格納されている場合には、再生用データ61を楽曲リズム情報65に記載されたリズムに基づいた速度で音声信号Sadに変換する。そして、この音声信号Sadを音声出力部150へ出力する。また、楽曲データ60mに楽曲リズム情報65が格納されていない場合には、再生用データ61を予め設定された速度で音声信号Sadに変換する。そして、この音声信号Sadを音声出力部150へ出力する。さらに、楽曲再生制御手段171は、楽曲名情報63に記載された楽曲の名前、演奏者情報64に記載された演奏者、楽曲の演奏時間などの再生されている楽曲に関する各種情報を表示させるための画像信号Sdpを生成する。そして、この画像信号Sdpを表示部160へ出力する。
また、楽曲再生制御手段171は、リズム設定手段173にて生成される後述する設定リズム情報を取得する。そして、この設定リズム情報に基づいて、再生用データ61を出力する速度、すなわち楽曲を再生する速度を設定し、楽曲の例えばBPMや拍子などのリズムを適宜変更する。この後、楽曲再生制御手段171は、リズムを変更した楽曲を外部リズムに同期させて適宜再生する。
さらに、楽曲再生制御手段171は、曲調が異なる特定の部分としての「Aメロ」、「Bメロ」、「サビ」などから構成される楽曲(例えば、図14(b)参照)における、最も盛り上がる区間である「サビ」の位置を適宜認識する。ここで、楽曲の「サビ」を認識する方法としては、例えば文献「リアルタイム音楽情景記述システム:「サビ」区間検出手法」(情報処理学会 音楽情報科学研究会 研究報告 Vol.2002,No.100,P27-P34)に開示された方法、すなわち、楽曲の中で多く繰り返される区間を「サビ」として認識する方法などが例示できるがこれに限られない。そして、楽曲再生制御手段171は、設定リズム情報に基づいて、楽曲を再生する速度を設定し、楽曲のリズムを適宜変更する。この後、このリズムを変更した楽曲を、「サビ」の再生開始と例えばシーンの変化とを同期させるように再生する。なお、ここでは、「サビ」の再生開始とシーンの変化とを同期させる構成について例示するが、これに限らず例えば「Aメロ」や「Bメロ」とシーンの変化とを同期させる構成などとしてもよい。
ここで、楽曲のリズムを変更する処理、および、楽曲を外部リズムに同期させる処理などをまとめて説明する際には、これらを楽曲のリズム同期処理と適宜称して説明する。また、この楽曲再生制御手段171における楽曲のリズム同期処理の詳細については後述する。
音楽リズム検出手段172は、楽曲情報62や楽曲リズム情報65が格納されていない楽曲データ60mの再生用データ61により再生されている、楽曲の例えばBPMや拍子などのリズムを検出する。そして、この検出したリズムに関する情報が記載された再生音リズム情報を生成する。具体的には、音楽リズム検出手段172は、再生用データ61の音声信号Sadを取得する。そして、この音声信号Sadに基づいて、楽曲の例えば波形を認識する。この後、楽曲の出力が相対的に大きくなる部分、すなわち、楽曲の波形のピークの間隔を認識し、このピーク間隔から楽曲の例えばBPMや拍子などを認識する。そして、この楽曲のリズムなどが記載された再生音リズム情報を生成する。
リズム設定手段173は、再生音リズム情報または楽曲リズム情報65と、外部リズム情報と、に基づいて、楽曲のリズムを外部リズムに応じたリズム、すなわち、同期させるために設定する楽曲のリズムなどに関する設定リズム情報を生成する。具体的には、リズム設定手段173は、音楽リズム検出手段172にて生成された再生音リズム情報、または、楽曲データ記憶部120に記憶された楽曲リズム情報65を取得する。そして、この取得した再生音リズム情報または楽曲リズム情報65に基づいて、再生されている楽曲の例えばBPMや拍子などを認識する。また、リズム設定手段173は、外部入力リズム検出部110から外部リズム信号Sgaを取得する。次に、この外部リズム信号Sgaに基づいて、外部リズム情報を認識する。この後、この外部リズム情報に基づいて、例えば走行音のBPMやシーンの変化のリズムなどの外部リズムを認識する。そして、リズム設定手段173は、楽曲のリズムと外部リズムとを合わせるために、再生されている楽曲の例えばBPMを例えば走行音のBPMやシーンの変化のリズムに合わせた値に設定する旨を認識する。さらに、楽曲のリズムと外部リズムとを同期させるために、再生されている楽曲の例えばBPMを変更するタイミングを認識する。そして、例えば走行音のBPMやシーンの変化のリズムに合わせた値に関する情報と、楽曲のBPMを変更するタイミングに関する情報と、などが記載された設定リズム情報を生成する。
〔音響再生装置の動作〕
次に、カーオーディオ100の動作を図面を参照して説明する。
(走行音リズム検出部における外部リズム情報の生成処理)
まず、カーオーディオ100の動作として、走行音リズム検出部111における外部リズム情報の生成処理について、図7に基づいて説明する。図7は、走行音リズム検出部における外部リズム情報の生成処理を示すフローチャートである。
まず、カーオーディオ100の外部入力リズム検出部110は、走行音検出モードに設定されていることを認識する。そして、図7に示すように、走行音リズム検出部111にて、センサ200の走行音センサにおいて走行音を検出したか否かを判断する(ステップS101)。具体的には、走行音リズム検出部111は、走行音センサから走行音情報を取得できたか否かを判断する。このステップS101において、走行音リズム検出部111は、走行音を検出していないと判断した場合、外部リズム情報の生成処理を終了する。
一方で、ステップS101において、走行音リズム検出部111は、走行音を検出したと判断した場合、ステップS101において取得した走行音情報から走行音の例えば波形を認識する。そして、この波形からピークの間隔を認識する(ステップS102)。例えば、走行音リズム検出部111は、ステップS101において取得した走行音情報から、例えば図3に示すような走行音の波形を認識する。そして、この波形のピーク間隔が0.5secであることを認識する。
そして、走行音リズム検出部111は、走行音のリズムに関する外部リズム情報を生成して(ステップS103)、ステップS101に戻る。例えば、走行音リズム検出部111は、ステップS102において認識した走行音の波形のピーク間隔が0.5secの場合、BPMが120であることを認識する。そして、このBPMが記載された外部リズム情報を生成して、ステップS101の処理に戻る。
(車速パルスリズム検出部における外部リズム情報の生成処理)
次に、カーオーディオ100の動作として、車速パルスリズム検出部112における外部リズム情報の生成処理について、図8に基づいて説明する。図8は、車速パルスリズム検出部における外部リズム情報の生成処理を示すフローチャートである。
まず、カーオーディオ100の外部入力リズム検出部110は、車速検出モードに設定されていることを認識する。そして、図8に示すように、車速パルスリズム検出部112にて、センサ200の速度センサにおいて車速パルスを検出したか否かを判断する(ステップS201)。具体的には、車速パルスリズム検出部112は、速度センサから車速パルス情報を取得できたか否かを判断する。このステップS201において、車速パルスリズム検出部112は、車速パルスを検出していないと判断した場合、外部リズム情報の生成処理を終了する。
一方で、ステップS201において、車速パルスリズム検出部112は、車速パルスを検出したと判断した場合、ステップS201において取得した車速パルス情報から車速パルスの例えば波形を認識する。そして、この波形のピークの間隔を認識する(ステップS202)。
この後、車速パルスリズム検出部112は、車速パルスのリズムに関する外部リズム情報を生成して(ステップS203)、ステップS201に戻る。具体的には、車速パルスリズム検出部112は、ステップS202において認識した車速パルスの波形のピーク間隔に基づいて例えばBPMを認識する。そして、このBPMが記載された外部リズム情報を生成して、ステップS201の処理に戻る。
(走行映像リズム検出部における外部リズム情報の生成処理)
次に、カーオーディオ100の動作として、走行映像リズム検出部113における外部リズム情報の生成処理について、図9および図10に基づいて説明する。図9は、走行映像リズム検出部における外部リズム情報の生成処理を示すフローチャートである。図10は、白線の認識開始時間およびフレームアウト時間の一例を示す図である。
まず、カーオーディオ100の外部入力リズム検出部110は、映像検出モードに設定されていることを認識する。そして、図9に示すように、走行映像リズム検出部113にて、物体を認識したか否かを認識する(ステップS301)。例えば、走行映像リズム検出部113は、走行映像カメラから例えば図4(A)に示すような走行映像画面G1に関する走行映像情報を取得する。そして、この走行映像情報に基づいて、走行映像画面G1の物体認識範囲Hに白線Aが位置しているか否かを判断する。このステップS301において、走行映像リズム検出部113は、物体を認識していないと判断した場合、外部リズム情報の生成処理を終了する。
一方で、ステップS301において、走行映像リズム検出部113は、物体を認識したと判断した場合、この物体を認識した際の時刻を基準時刻として認識する。例えば、走行映像リズム検出部113は、図4(A)に示すような走行映像画面G1を認識した際の時刻を基準時刻として認識する。そして、走行映像リズム検出部113は、任意数である例えば3つの物体に関する物体認識時間およびフレームアウト時間を認識する(ステップS302)。例えば、走行映像リズム検出部113は、基準時刻から0.2sec後に図4(B)に示すような走行映像画面G2を認識すると、物体認識範囲Hに位置している白線Bの物体認識時間を0.2secと認識する。また、例えば、基準時刻から0.5sec後に白線Aがフレームアウトしたことを認識すると、フレームアウト時間を0.5secと認識する。そして、走行映像リズム検出部113は、例えば図10に示すような白線A,B,Cに関する物体認識時間およびフレームアウト時間を認識する。
この後、走行映像リズム検出部113は、各物体の例えばフレームアウト時間の間隔を認識する(ステップS303)。例えば、走行映像リズム検出部113は、ステップS302において、図10に示すような白線A,B,Cに関するフレームアウト時間の間隔を約0.5secであることを認識する。なお、ここでは、フレームアウト時間の間隔を認識する構成について例示するが、これに限らず例えば認識開始時間の間隔を認識する構成などとしてもよい。
そして、走行映像リズム検出部113は、物体を認識するリズムに関する外部リズム情報を生成して(ステップS304)、ステップS301に戻る。例えば、走行映像リズム検出部113は、ステップS303において認識したフレームアウト時間の間隔が約0.5secの場合、BPMが120であることを認識する。そして、このBPMが記載された外部リズム情報を生成して、ステップS301の処理に戻る。
(GPSリズム検出部における外部リズム情報の生成処理)
次に、カーオーディオ100の動作として、GPSリズム検出部114における外部リズム情報の生成処理について、図11に基づいて説明する。図11は、GPSリズム検出部における外部リズム情報の生成処理を示すフローチャートである。
まず、カーオーディオ100の外部入力リズム検出部110は、GPS検出モードに設定されていることを認識する。そして、図11に示すように、GPSリズム検出部114にて、シーンが変わるポイントがあるか否かを判断する(ステップS401)。具体的には、GPSリズム検出部114は、ナビゲーション装置から、例えば図5(A)に示すような移動経路Rおよび車両の位置P1を示す移動関連情報を取得する。そして、この移動経路Rに左折や高速道路を走行するなどのシーンが変わるポイントがあるか否かを判断する。このステップS401において、GPSリズム検出部114は、シーンが変わるポイントがないと判断した場合、外部リズム情報の生成処理を終了する。
一方で、ステップS401において、GPSリズム検出部114は、シーンが変わるポイントがあると判断した場合、シーンが変わるまでの時間を認識する(ステップS402)。例えば、GPSリズム検出部114は、図5(A)に示すような移動経路Rを認識した場合、移動経路Rが左に曲がっているのでシーンが変わるポイントがあると判断する。そして、車両が現在の位置P1からシーンが変わる位置P2に移動するまでの時間を認識する。
この後、GPSリズム検出部114は、シーンの変化のリズムに関する外部リズム情報を生成して(ステップS403)、ステップS401の処理に戻る。具体的には、GPSリズム検出部114は、ステップS402において認識したシーンが変わる位置P2に移動するまでの時間が記載された外部リズム情報を生成して、ステップS401の処理に戻る。
(走行音検出モード、車速検出モード、および、映像検出モードにおける楽曲のリズム同期処理)
次に、カーオーディオ100の動作として、走行音検出モード、車速検出モード、および、映像検出モードにおける楽曲のリズム同期処理について、図12および図13に基づいて説明する。図12は、楽曲のリズム同期処理を示すフローチャートである。図13は、走行音検出モード、車速検出モード、および、映像検出モードにおける楽曲の再生状態の一例を示すタイミングチャートであり、(a)は走行音の波形、(b)はリズム変更処理、(c)は同期処理を表す。なお、ここでは、楽曲の波形のピークを外部リズムの波形のピークに同期させるリズム同期処理を例示して説明するが、これに限らず、例えば楽曲の拍や小節の先頭を外部リズムの波形のピークに同期させるなどとしてもよい。
まず、カーオーディオ100は、楽曲が再生されている状態において、利用者による入力部140の入力操作により走行音検出モード、車速検出モード、および、映像検出モードのうちのいずれか1つの検出モードに設定されたことを認識する。そして、図12に示すように、カーオーディオ100の処理部170は、リズム設定手段173にて、再生されている楽曲の再生用データ61が組み込まれた楽曲データ60mに楽曲情報62が組み込まれているか否かを判断する(ステップS501)。具体的には、リズム設定手段173は、楽曲を再生するために楽曲再生制御手段171にて取得された楽曲データ60mを認識する。そして、この楽曲データ60mに楽曲情報62が組み込まれているか否かを判断する。
このステップS501において、リズム設定手段173は、楽曲データ60mに楽曲情報62が組み込まれていないと判断した場合、音楽リズム検出手段172に再生されている楽曲のリズムを認識させる。そして、音楽リズム検出手段172に、楽曲のリズムに関する再生音リズム情報を生成させる(ステップS502)。
この後、リズム設定手段173は、外部入力リズム検出部110においてセンサ200からの走行音情報や車速パルス情報、走行映像カメラからの走行映像情報などの、現在設定されている各検出モードに応じた外部入力を認識したか否かを判断する(ステップS503)。このステップS503において、リズム設定手段173は、外部入力リズム検出部110において外部入力を認識していないと判断した場合、楽曲のリズム同期処理を終了する。
一方で、ステップS503において、リズム設定手段173は、外部入力リズム検出部110において外部入力を認識していると判断した場合、外部入力リズム検出部110に上述した処理を実施させて、外部リズムに関する外部リズム情報を生成させる。そして、リズム設定手段173は、外部入力リズム検出部110から外部リズム情報を取得する(ステップS504)。例えば、走行音検出モードに設定されている場合、リズム設定手段173は、走行音リズム検出部111にて検出された、例えば図13(a)に示すような走行音の波形のピーク間隔から、BPMが120である旨が記載された外部リズム情報を生成させる。そして、リズム設定手段173は、この外部リズム情報を取得する。また、車速検出モードや映像検出モードに設定されている場合も同様に、リズム設定手段173は、車速パルスリズム検出部112や走行映像リズム検出部113に、車速パルスの波形のピーク間隔やフレームアウト時間の間隔から求められるBPMの値が記載された外部リズム情報を生成させる。そして、リズム設定手段173は、この外部リズム情報を取得する。
リズム設定手段173は、ステップS501において、楽曲データ60mに楽曲情報62が組み込まれていると判断した場合、この楽曲情報62を認識する(ステップS505)。そして、この楽曲情報62に、楽曲リズム情報65が組み込まれているか否かを判断する(ステップS506)。このステップS506において、リズム設定手段173は、楽曲情報62に楽曲リズム情報65が組み込まれていないと判断した場合、音楽リズム検出手段172にステップS502の処理を実施させて、再生音リズム情報を生成させる。
一方で、ステップS506において、リズム設定手段173は、楽曲情報62に楽曲リズム情報65が組み込まれていると判断した場合、この楽曲リズム情報65を認識する(ステップS507)。そして、リズム設定手段173は、ステップS503の処理を実施する。
リズム設定手段173は、ステップS504において外部リズム情報を取得すると、設定リズム情報を生成する(ステップS508)。例えば、走行音検出モードに設定されている場合、リズム設定手段173は、例えばステップS507において認識した楽曲リズム情報65に基づいて、再生されている楽曲のBPMを認識する。また、例えば図13(a)に示すような波形の走行音に関する外部リズム情報に基づいて、走行音のBPMが120であることを認識する。この後、例えば図13(c)に示すように、1sec経過した後に楽曲の波形のピークと走行音の波形のピークとを同期させるために、楽曲のBPMを変更するタイミングを認識する。そして、走行音のBPMの値と、楽曲のBPMを変更するタイミングに関する情報と、が記載された設定リズム情報を生成する。また、車速検出モードに設定されている場合も同様に、任意の時間が経過した後に楽曲の波形のピークと車速パルスの波形のピークとを同期させるために、楽曲のBPMを変更するタイミングを認識する。そして、車速パルスのBPMの値と、楽曲のBPMを変更するタイミングに関する情報と、が記載された設定リズム情報を生成する。さらに、映像検出モードに設定されている場合も同様に、任意の時間が経過した後に楽曲の波形のピークと例えばフレームアウトの瞬間とを同期させるために、楽曲のBPMを変更するタイミングを認識する。そして、フレームアウトの間隔と、楽曲のBPMを変更するタイミングに関する情報と、が記載された設定リズム情報を生成する。
この後、処理部170は、楽曲再生制御手段171にて、設定リズム情報に基づいて、再生されている楽曲のリズムを外部リズムに合わせるように変更する(ステップS509)。例えば、走行音検出モードに設定されている場合、楽曲再生制御手段171は、設定リズム情報を取得する。そして、この設定リズム情報に基づいて、走行音のBPMが120であることを認識する。この後、再生している楽曲のBPMが走行音のBPMである120に設定されるように、楽曲の再生速度を設定する。すなわち、図13(b)に示すように、例えば1sec以上経過した後に現れる楽曲の波形のピーク間隔が、図13(a)に示すような走行音の波形のピーク間隔と略同一となるように、楽曲の再生速度を設定する。また、車速検出モードに設定されている場合も同様に、設定リズム情報に基づいて、車速パルスのBPMの値を認識する。そして、再生している楽曲のBPMが車速パルスのBPMに設定されるように、楽曲の再生速度を設定する。さらに、映像検出モードに設定されている場合も同様に、設定リズム情報に基づいて、フレームアウトの間隔を認識する。そして、再生している楽曲の波形のピーク間隔がフレームアウトの間隔と略同一になるように、楽曲の再生速度を設定する。
そして、楽曲再生制御手段171は、ステップS509においてリズムの変更処理を実施した楽曲を外部リズムに同期させて再生する(ステップS510)。例えば、走行音検出モードに設定されている場合、楽曲再生制御手段171は、設定リズム情報に基づいて、楽曲のBPMを変更するタイミングを認識する。そして、図13(b)に示すような例えば1sec以上経過した後に現れる楽曲の波形のピークが、図13(c)に示すように、走行音の波形のピークと同じ1sec後に現れるように楽曲の再生速度を変更する。また、車速検出モードに設定されている場合も同様に、楽曲の波形のピークが車速パルスの波形のピークと同じ時刻に現れるように楽曲の再生速度を変更する。さらに、映像検出モードに設定されている場合も同様に、楽曲の波形のピークがフレームアウトの瞬間に現れるように楽曲の再生速度を変更する。そして、処理部170は、リズム同期処理を終了する。
(GPS検出モードにおける楽曲のリズム同期処理)
次に、カーオーディオ100の動作として、GPS検出モードにおける楽曲のリズム同期処理について、図12および図14に基づいて説明する。図14は、GPS検出モードにおける楽曲の再生状態の一例を示すタイミングチャートであり、(a)は車両位置、(b)はリズム同期処理を実施しない場合の楽曲構成、(c)はリズム同期処理を実施した場合の楽曲構成を表す。なお、GPS検出モードにおけるリズム同期処理は、上述した走行音検出モード、車速検出モード、および、映像検出モードにおけるリズム同期処理と同様なので説明を簡略化する。また、ここでは、車両がシーンが変わる位置に到達した際に、楽曲の「サビ」の再生を開始させるリズム同期処理を例示して説明するが、これに限られない。
まず、カーオーディオ100は、楽曲が再生されている状態において、利用者による入力部140の入力操作によりGPS検出モードに設定されたことを認識する。そして、図12に示すように、カーオーディオ100の処理部170は、リズム設定手段173にて、ステップS501の処理を実施する。このステップS501において、リズム設定手段173は、楽曲データ60mに楽曲情報62が組み込まれていないと判断した場合、ステップS502の処理を実施する。
この後、リズム設定手段173は、ステップS503の処理を実施する。具体的には、リズム設定手段173は、GPSリズム検出部114において、ナビゲーション装置からの移動関連情報などのGPS検出モードに応じた外部入力を認識したか否かを判断する。ステップS503において、リズム設定手段173は、GPSリズム検出部114において外部入力を認識していないと判断した場合、楽曲のリズム同期処理を終了する。
一方で、ステップS503において、リズム設定手段173は、外部入力リズム検出部110において外部入力を認識していると判断した場合、ステップS504の処理を実施する。具体的には、リズム設定手段173は、GPSリズム検出部114に上述した処理を実施させて、例えば図14(a)に示すように車両が位置P2に移動するまでの時間が60secである旨が記載された外部リズム情報を生成させる。そして、リズム設定手段173は、この外部リズム情報を取得する。
リズム設定手段173は、ステップS501において、楽曲データ60mに楽曲情報62が組み込まれていると判断した場合、ステップS505ないしステップS507の処理を実施した後に、ステップS503の処理を実施する。そして、リズム設定手段173は、ステップS504において外部リズム情報を取得すると、ステップS508の処理を実施する。例えば、リズム設定手段173は、外部リズム情報から車両が位置P2に移動するまでの時間が60secであることを認識する。そして、ステップS502において生成された再生音リズム情報、または、ステップS507において認識した楽曲リズム情報65に基づいて、例えば図14(b)に示すような構成の楽曲の例えばBPMを認識する。この後、例えば図14(c)に示すように、60sec後に楽曲の「Bメロ」の再生を完了して「サビ」の再生を開始するために設定する楽曲のBPMを演算する。さらに、60sec後に楽曲の「サビ」の再生を開始するために、楽曲のBPMを変更するタイミングを認識する。そして、設定する楽曲のBPMの値と、楽曲のBPMを変更するタイミングに関する情報と、が記載された設定リズム情報を生成する。
この後、処理部170は、楽曲再生制御手段171にて、ステップS509の処理を実施する。ここでは、楽曲再生制御手段171は、設定リズム情報を取得する。そして、この設定リズム情報に基づいて、設定する楽曲のBPMの値を認識する。この後、再生されている楽曲のBPMが設定リズム情報から認識したBPMの値に設定されるように、楽曲の再生速度を設定する。
この後、楽曲再生制御手段171は、ステップS510の処理を実施する。例えば、楽曲再生制御手段171は、設定リズム情報に基づいて、楽曲のBPMを変更するタイミングを認識する。そして、楽曲の「サビ」の再生が、図14(c)に示すように、車両がシーンが変わる位置P2に到達した際に開始されるように楽曲の再生速度を変更する。そして、処理部170は、リズム同期処理を終了する。
上述したように、上記実施の形態では、カーオーディオ100は、外部入力リズム検出部110の例えば走行音リズム検出部111にて、センサ200からの走行音情報に基づいて走行音を認識する。そして、この認識した走行音に関する外部リズム情報を生成して出力する。この後、処理部170のリズム設定手段173は、外部リズム情報を取得すると、この外部リズム情報に基づいて、楽曲のリズムを走行音に応じたリズムに設定するための設定リズム情報を生成する。そして、楽曲再生制御手段171は、設定リズム情報に基づいて、再生速度を変更して楽曲のリズムを走行音に応じたリズムに設定して再生する。
このため、カーオーディオ100は、例えば車両の走行状況が変化した場合でも、楽曲のリズムを走行状況に応じたリズムに適宜設定して再生できる。したがって、カーオーディオ100は、外部状況に応じて楽曲をより良好に再生できる。また、利用者は、外部状況に応じたリズムの楽曲を聴取でき、快適に楽曲を聴取できる。
リズム設定手段173は、楽曲のリズムを、車両の移動に伴い変化する例えば走行音や走行映像に応じたリズムに設定するための設定リズム情報を生成する。このため、カーオーディオ100は、楽曲のリズムを車両の走行状況に応じたリズムに適宜設定して再生できる。したがって、カーオーディオ100は、走行状況に応じたリズムの楽曲を再生することができ、運転の状態に応じたより快適な運転環境を演出できる。
例えばGPSリズム検出部114は、車両がシーンが変わる位置P2に到達するまでの時間に関する外部リズム情報を生成して出力する。そして、リズム設定手段173は、この外部リズム情報に基づいて、楽曲のリズムを車両がシーンが変わる位置P2に到達するまでの時間に応じたリズムに設定するための設定リズム情報を生成する。このため、カーオーディオ100は、走行中にシーンが変化した場合でも、楽曲のリズムをシーンの変化に応じたリズムに適宜設定して再生できる。したがって、利用者は、シーンの変化に応じたリズムの楽曲を聴取でき、より快適に楽曲を聴取できる。
リズム設定手段173は、楽曲のリズムを、例えば任意の走行音などを認識不可能な状態から認識可能な状態への変化に応じたリズムに設定するための設定リズム情報を生成する。このため、カーオーディオ100は、楽曲のリズムを利用者が聴覚的に認識する外部状況の変化に応じたリズムに適宜設定して再生できる。したがって、利用者は、聴覚的に認識する外部状況の変化に応じたリズムの楽曲を聴取でき、さらに快適に楽曲を聴取できる。
リズム設定手段173は、楽曲のリズムを、例えば白線A,B,Cなどを認識可能な状態から認識不可能な状態への変化に応じたリズムに設定するための設定リズム情報を生成する。このため、カーオーディオ100は、楽曲のリズムを利用者が視覚的に認識する外部状況の変化に応じたリズムに適宜設定して再生できる。したがって、利用者は、視覚的に認識する外部状況の変化に応じたリズムの楽曲を聴取でき、さらに快適に楽曲を聴取できる。
リズム設定手段173は、楽曲の例えばBPMを、例えば走行音の波形のピーク間隔から求められるBPMに設定するための設定リズム情報を生成する。このため、カーオーディオ100は、楽曲のリズムを、利用者が走行音を認識する間隔に合わせたリズムに適宜設定して再生できる。したがって、利用者は、出力ピークの間隔が走行音を認識する間隔と略一致する楽曲を聴取でき、より快適に楽曲を聴取できる。
リズム設定手段173は、楽曲のリズムと例えば走行音のリズムとを同期させるために、再生されている楽曲の例えばBPMを変更するタイミングに関する設定リズム情報を生成する。このため、カーオーディオ100は、楽曲のリズムを例えば走行音のリズムに適宜同期させて再生できる。したがって、利用者は、出力ピークが走行音を認識するタイミングと略一致する楽曲を聴取でき、さらに快適に楽曲を聴取できる。
リズム設定手段173は、車両がシーンが変わる例えば位置P2に到達した際に楽曲の例えば「サビ」の再生を開始するために設定する楽曲の例えばBPMが記載された設定リズム情報を生成する。このため、カーオーディオ100は、車両がシーンが変わる位置P2に到達した際に楽曲の「Bメロ」の再生を完了して「サビ」の再生を開始できる。したがって、カーオーディオ100は、外部状況に応じて楽曲をより良好に再生できる。また、利用者は、シーンの変化と同時に「Bメロ」とは曲調が異なる「サビ」の最初の部分を聴取でき、楽曲の聴取を楽しむことができる。
カーオーディオ100は、シーンが変化した際に楽曲の「サビ」の再生を開始する。このため、利用者は、シーンの変化と同時に楽曲の最も盛り上がる部分を聴取でき、楽曲の聴取をより楽しむことができる。
楽曲再生制御手段171は、再生速度を変更することにより楽曲のリズムを変更する。このため、楽曲再生制御手段171は、再生速度を変更するだけの簡単な方法で楽曲のリズムを変更でき、楽曲のリズム同期処理を迅速にできる。
楽曲再生制御手段171にて楽曲を再生する際に利用する楽曲データ60mに、BPMや拍子などの楽曲のリズムなどを示す楽曲リズム情報65を組み込んでいる。このため、リズム設定手段173は、楽曲リズム情報65を参照するだけの簡単な方法で楽曲のリズムを認識できる。したがって、設定リズム情報を生成する処理をより迅速にでき、楽曲のリズム同期処理をより迅速にできる。
外部入力リズム検出部110に、互いに異なる外部状況を検出する各リズム検出部111,112,113,114を設けている。このため、カーオーディオ100は、例えば走行音リズム検出部111による走行音のリズムの検出が困難な場合でも、例えば車速パルスリズム検出部112にて車速パルスのリズムを検出することにより、走行に応じたリズムの楽曲を再生できる。また、カーオーディオ100は、様々な外部状況の変化に応じたリズムの楽曲を再生できる。したがって、カーオーディオ100の利便性をより高めることができる。
入力部140にて、外部リズムを検出する各検出モードを適宜設定変更可能な構成としている。このため、利用者は、所望の外部リズムに応じたリズムの楽曲を適宜聴取できる。したがって、カーオーディオ100の利便性をさらに高めることができる。
[実施の形態の変形]
なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。
すなわち、楽曲再生制御手段171にて、再生速度を変更することにより楽曲のリズムを変更する構成について例示したが、これに限らず例えば以下のような構成などとしてもよい。すなわち、例えばBPMを小さくする際に再生用データ61を構成するデータの一部を削除して再生したり、BPMを大きくする際に再生用データ61を構成するデータに例えば所定間隔毎に無音データを挿入して再生するなどして、楽曲のリズムを変更する構成などとしてもよい。このような構成にすれば、再生速度を変更することにより生じる楽曲の音程などの変化を最小限に抑えることができる。したがって、利用者は、より快適に楽曲を聴取できる。
楽曲再生制御手段171にて、楽曲のリズムを例えば走行音のリズムに同期させて再生する構成について例示したが、これに限らず同期させなくてもよい。このような構成にすれば、ステップS510の処理を省略できる。したがって、楽曲のリズムを外部リズムに合わせて再生する処理をより迅速にできる。
例えば、走行音の波形の例えばピーク、物体のフレームアウトの瞬間、シーンが変化した際などに次の楽曲の再生を開始するように、再生している楽曲のリズムを設定する構成などとしてもよい。このような構成にすれば、外部状況の変化と楽曲の再生の開始とを同期させることができる。したがって、利用者は、楽曲の聴取をより楽しむことができる。
例えば、例えば走行音の波形のピークや物体のフレームアウトの瞬間などに、楽曲の「サビ」の再生を開始するように、再生している楽曲のリズムを設定する構成などとしてもよい。このような構成にすれば、利用者は、走行音を認識する瞬間や物体のフレームアウトの瞬間に、「Bメロ」とは曲調が異なる「サビ」の最初の部分を聴取でき、楽曲の聴取をより楽しむことができる。
入力部140にて、外部リズムを検出する各検出モードを適宜設定変更可能な構成について例示したが、これに限らず例えば以下のような構成などとしてもよい。すなわち、各リズム検出部111,112,113,114にて外部リズムを適宜検出し、例えば再生している楽曲のリズムに最も類似した、あるいは、最も類似していない外部リズムに合わせて楽曲のリズムを変更する構成などとしてもよい。このような構成にすれば、利用者は、各検出モードに設定する入力操作を実施することなく、外部リズムに応じたリズムの楽曲を聴取できる。したがって、利用者は、容易に楽曲の聴取を楽しむことができる。
外部入力リズム検出部110に、各リズム検出部111,112,113,114を設けた構成について例示したが、これに限らず各リズム検出部111,112,113,114のうちの少なくともいずれか1つを設けた構成などとしてもよい。このような構成にすれば、外部入力リズム検出部110の構成を簡略化できる。
再生用データ61がマルチトラックで構成されている場合、外部リズムに応じて例えば少なくとも1つのトラックをミュート状態とする構成などとしてもよい。このような構成にすれば、利用者は、外部リズムに応じて音調や展開が変わる楽曲を聴取できる。したがって、利用者は、楽曲の聴取をさらに楽しむことができる。
例えば、本発明の再生制御装置を例えば設置式の音響再生装置に設ける。そして、自転車や電車の走行音、洗濯機の動作音、携帯式や設置式のパーソナルコンピュータ(以下、パソコンと称す)のキーボートを叩く音などの変化に応じたリズムの楽曲を再生する構成などとしてもよい。このような構成にすれば、利用者は、例えば家庭において外部状況に応じたリズムの楽曲を聴取でき、より快適に楽曲を聴取できる。したがって、設置型の音響再生装置の利便性をより高めることができる。
例えば、本発明の再生制御装置を例えば携帯型の音響再生装置に設ける。そして、例えば車両や電車の走行音、ジョギング時やエアロバイク使用時などの心拍や呼吸のリズムに応じたリズムの楽曲を再生する構成などとしてもよい。このような構成にすれば、利用者は、例えば移動時や運動時において外部状況の変化に応じたリズムの楽曲を聴取でき、より快適に楽曲を聴取できる。したがって、携帯型の音響再生装置の利便性をより高めることができる。
例えば、本発明の再生制御装置を例えば携帯式や設置式の電話機に設ける。そして、例えば車両や電車の走行音、音響再生装置により再生されている楽曲などのリズムに応じたリズムで着信音を出力させる構成などとしてもよい。このような構成にすれば、利用者は、移動中や家庭において外部状況の変化に応じたリズムの着信音を聴取でき、より快適に着信音を聴取できる。したがって、携帯式や設置式の電話機の利便性をより高めることができる。
また、本発明の再生制御装置を、楽曲の再生を制御するいずれの構成に適用してもよい。
上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは1つのIC(Integrated Circuit)などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、取扱が容易で、利用の拡大が容易に図れる。
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
[実施形態の作用効果]
上述したように、上記実施の形態では、カーオーディオ100は、外部入力リズム検出部110にて、例えば走行音などの外部状況を認識すると、この認識した走行音に関する外部リズム情報を生成して出力する。そして、処理部170のリズム設定手段173は、外部リズム情報を取得すると、この外部リズム情報に基づいて、楽曲のリズムを走行音に応じたリズムに設定するための設定リズム情報を生成する。このため、カーオーディオ100は、例えば車両の走行状況が変化した場合でも、設定リズム情報に基づいて、楽曲のリズムを走行状況に応じたリズムに適宜設定して再生できる。したがって、カーオーディオ100は、外部状況に応じて楽曲をより良好に再生できる。
本発明の一実施の形態に係る音響再生装置の概略構成を示すブロック図である。 前記一実施の形態における外部入力リズム検出部の概略構成を示すブロック図である。 前記一実施の形態における走行音の波形の一例を示すタイミングチャートである。 前記一実施の形態における走行映像画面の一例を示す模式図である。(A)は白線を認識した際の走行映像画面を示す模式図であり、(B)は他の白線を認識した際の走行映像画面を示す模式図である。 前記一実施の形態における車両の位置および移動経路の一例を示す模式図である。(A)はシーンが変わる前の車両の位置を示す模式図であり、(B)はシーンが変わる際の車両の位置を示す模式図である。 前記一実施の形態における再生用音楽情報におけるデータのテーブル構造を模式的に示す概念図である。 前記一実施の形態における走行音リズム検出部における外部リズム情報の生成処理を示すフローチャートである。 前記一実施の形態における車速パルスリズム検出部における外部リズム情報の生成処理を示すフローチャートである。 前記一実施の形態における走行映像リズム検出部における外部リズム情報の生成処理を示すフローチャートである。 前記一実施の形態における白線の認識開始時間およびフレームアウト時間の一例を示す図である。 前記一実施の形態におけるGPSリズム検出部における外部リズム情報の生成処理を示すフローチャートである。 前記一実施の形態における楽曲のリズム同期処理を示すフローチャートである。 前記一実施の形態における走行音検出モード、車速検出モード、および、映像検出モードにおける楽曲の再生状態の一例を示すタイミングチャートである。(a)は走行音の波形、(b)はリズム変更処理、(c)は同期処理を表す。 前記一実施の形態におけるGPS検出モードにおける楽曲の再生状態の一例を示すタイミングチャートである。(a)は車両位置、(b)はリズム同期処理を実施しない場合の楽曲構成、(c)はリズム同期処理を実施した場合の楽曲構成を表す。
符号の説明
61 再生用データ
65 楽曲リズム情報
110 再生制御装置を構成する状況情報生成手段としての外部入力リズム検出部
173 再生制御装置を構成するリズム設定手段
A,B,C 物体としての白線

Claims (16)

  1. 楽曲の再生を制御する再生制御装置であって、
    外部状況を認識し、この認識した外部状況に関する情報から外部リズム情報を生成して出力する状況情報生成手段と、
    前記外部リズム情報に基づいて、再生される前記楽曲の再生リズムを前記外部状況に応じたリズムに設定するリズム設定手段と、
    を具備したことを特徴とする再生制御装置。
  2. 請求項1に記載の再生制御装置であって、
    前記状況情報生成手段は、前記外部状況の変化を認識し、この認識した外部状況の変化に関する情報から外部リズム情報を生成して出力し、
    前記リズム設定手段は、前記外部リズム情報に基づいて、再生される前記楽曲の再生リズムを前記外部状況の変化に応じたリズムに設定する
    ことを特徴とする再生制御装置。
  3. 請求項2に記載の再生制御装置であって、
    前記外部状況の変化は、外部から発生される任意の音を認識できる状態と前記任意の音を認識できない状態との移り変わりである
    ことを特徴とする再生制御装置。
  4. 請求項2または請求項3に記載の再生制御装置であって、
    前記外部状況の変化は、外部に存在する任意の物体を認識できる状態と前記任意の物体を認識できない状態との移り変わりである
    ことを特徴とする再生制御装置。
  5. 請求項2ないし請求項4のいずれかに記載の再生制御装置であって、
    前記外部状況の変化は、移動体の移動に伴う前記移動体外部の状況の変化である
    ことを特徴とする再生制御装置。
  6. 請求項1ないし請求項5のいずれかに記載の再生制御装置であって、
    前記状況情報生成手段は、前記外部状況を認識することで得られる略同一間隔で発生する略同一事象から前記外部リズム情報を生成して出力し、
    前記リズム設定手段は、前記外部リズム情報に基づいて、再生される前記楽曲の再生リズムを前記略同一間隔に応じたリズムに設定する
    ことを特徴とする再生制御装置。
  7. 請求項6に記載の再生制御装置であって、
    前記リズム設定手段は、再生される前記楽曲の再生リズムを前記略同一間隔に同期させる
    ことを特徴とする再生制御装置。
  8. 楽曲の再生を制御する再生制御装置であって、
    外部状況を認識し、この認識した外部状況に関する外部情報を生成して出力する状況情報生成手段と、
    前記外部情報に基づいて、再生される前記楽曲の曲調が異なる特定の部分の再生を開始させる状態に設定するリズム設定手段と、
    を具備したことを特徴とする再生制御装置。
  9. 請求項8に記載の再生制御装置であって、
    前記リズム設定手段は、前記外部情報に基づいて、現在再生されている楽曲から他の楽曲の再生を開始させる状態に設定する
    ことを特徴とする再生制御装置。
  10. 請求項1ないし請求項7のいずれかに記載の再生制御装置であって、
    前記楽曲を再生するための再生用データは、前記楽曲の再生リズムに関する楽曲リズム情報に関連付けられ、
    前記リズム設定手段は、前記楽曲リズム情報に基づいて前記楽曲の再生リズムを認識し、この認識した前記楽曲の再生リズムを前記外部状況に応じたリズムに設定する
    ことを特徴とする再生制御装置。
  11. 請求項10に記載の再生制御装置であって、
    前記楽曲リズム情報は、楽曲の出力が相対的に大きくなる部分の間隔に関するピーク間隔情報を有し、
    前記リズム設定手段は、前記ピーク間隔情報に基づいて前記楽曲の出力が相対的に大きくなる部分の間隔を認識し、この認識した前記間隔を前記外部状況に応じたリズムに設定する
    ことを特徴とする再生制御装置。
  12. 楽曲の再生を制御する再生制御方法であって、
    外部状況を認識し、この認識した外部状況に関する情報から外部リズム情報を生成して出力し、
    前記外部リズム情報に基づいて、再生される前記楽曲の再生リズムを前記外部状況に応じたリズムに設定する
    ことを特徴とする再生制御方法。
  13. 楽曲の再生を制御する再生制御方法であって、
    外部状況を認識し、この認識した外部状況に関する外部情報を生成して出力し、
    前記外部情報に基づいて、再生される前記楽曲の曲調が異なる特定の部分の再生を開始させる状態に設定する
    ことを特徴とする再生制御方法。
  14. 演算手段を、請求項1ないし請求項11のいずれかに記載の再生制御装置として機能させる
    ことを特徴とする再生制御プログラム。
  15. 請求項12または請求項13に記載の再生制御方法を演算手段に実行させる
    ことを特徴とする再生制御プログラム。
  16. 請求項14または請求項15に記載の再生制御プログラムが演算手段にて読み取り可能に記憶された
    ことを特徴とする再生制御プログラムを記録した記録媒体。
JP2004029620A 2004-02-05 2004-02-05 再生制御装置 Expired - Fee Related JP4568506B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004029620A JP4568506B2 (ja) 2004-02-05 2004-02-05 再生制御装置
US11/048,908 US7317158B2 (en) 2004-02-05 2005-02-03 Reproduction controller, reproduction control method, program for the same, and recording medium with the program recorded therein
EP05250592A EP1562176A1 (en) 2004-02-05 2005-02-03 Reproducing rhythm controller, reproduction rhythm control method, program for the same and recording medium with program recorded therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004029620A JP4568506B2 (ja) 2004-02-05 2004-02-05 再生制御装置

Publications (2)

Publication Number Publication Date
JP2005219631A true JP2005219631A (ja) 2005-08-18
JP4568506B2 JP4568506B2 (ja) 2010-10-27

Family

ID=34675535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004029620A Expired - Fee Related JP4568506B2 (ja) 2004-02-05 2004-02-05 再生制御装置

Country Status (3)

Country Link
US (1) US7317158B2 (ja)
EP (1) EP1562176A1 (ja)
JP (1) JP4568506B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007145226A (ja) * 2005-11-29 2007-06-14 Denso Corp 自動車用ユーザーもてなしシステム
JP2007257162A (ja) * 2006-03-22 2007-10-04 Clarion Co Ltd 楽曲検索装置、楽曲検索方法及び車載音響機器
JP2008143218A (ja) * 2006-12-06 2008-06-26 Yamaha Corp 車両用楽音発生装置及びプログラム
JP2008145759A (ja) * 2006-12-11 2008-06-26 Yamaha Corp 楽音再生装置、楽音再生方法、及びプログラム
JP2016167771A (ja) * 2015-03-10 2016-09-15 株式会社デンソー ダイジェスト映像生成装置
JP2022008251A (ja) * 2020-06-25 2022-01-13 ソニー・インタラクティブエンタテインメント エルエルシー 遅延なくニアライブでライブインターネット音楽を演奏及び録音するための方法及びシステム
US11563504B2 (en) 2020-06-25 2023-01-24 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music using audio waveform samples

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004361845A (ja) * 2003-06-06 2004-12-24 Mitsubishi Electric Corp 移動体における自動選曲システム
JP2006030443A (ja) * 2004-07-14 2006-02-02 Sony Corp 記録媒体、記録装置及び方法、データ処理装置及び方法、データ出力装置及び方法
JP2006107693A (ja) * 2004-09-10 2006-04-20 Sony Corp 記録媒体、記録装置、記録方法、データ出力装置、データ出力方法およびデータ配布・流通システム
US8069177B2 (en) * 2005-02-18 2011-11-29 Pioneer Corporation Information selecting method, information selecting device and so on
DE102006015332A1 (de) * 2005-04-04 2006-11-16 Denso Corp., Kariya Gastservice-System für Fahrzeugnutzer
JP2007280485A (ja) * 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
JP2007280486A (ja) * 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
EP1930875A3 (en) * 2006-12-06 2008-07-02 Yamaha Corporation Musical sound generating vehicular apparatus, musical sound generating method and program
EP1930877B1 (en) * 2006-12-06 2015-11-11 Yamaha Corporation Onboard music reproduction apparatus and music information distribution system
KR100921584B1 (ko) * 2006-12-06 2009-10-14 야마하 가부시키가이샤 탑재식 음악 재생 장치 및 음악 정보 분배 시스템
KR20100043658A (ko) * 2008-10-20 2010-04-29 엘지전자 주식회사 내비게이션 장치 및 그 방법
US9141187B2 (en) * 2013-01-30 2015-09-22 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Interactive vehicle synthesizer
DE102019123913A1 (de) * 2019-09-05 2021-03-11 Volkswagen Aktiengesellschaft Verfahren und Fahrzeugassistenzsystem zum Ausgeben von Sollwerten für zumindest einen Betriebsparameter eines Fahrzeugs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6491188A (en) * 1987-10-02 1989-04-10 Yamaha Corp Performance tempo controller
JPH0313993A (ja) * 1989-06-13 1991-01-22 Ii P R Japan:Kk カーミュージックシンセサイザー
JPH04317835A (ja) * 1991-04-15 1992-11-09 Alpine Electron Inc カ−オ−ディオ装置
JP2003085888A (ja) * 2001-09-07 2003-03-20 Sony Corp 音楽再生装置、音楽再生装置の制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3865001A (en) * 1971-08-24 1975-02-11 Robert L Hershey Tempo enhancement device
US5159140A (en) * 1987-09-11 1992-10-27 Yamaha Corporation Acoustic control apparatus for controlling musical tones based upon visual images
WO1993022762A1 (en) 1992-04-24 1993-11-11 The Walt Disney Company Apparatus and method for tracking movement to generate a control signal
US5869783A (en) * 1997-06-25 1999-02-09 Industrial Technology Research Institute Method and apparatus for interactive music accompaniment
US6177775B1 (en) * 2000-05-16 2001-01-23 Mary C. Bruington Vehicle wiper control system and method
JP3310272B1 (ja) * 2001-07-04 2002-08-05 株式会社ヘリオス ワイパー駆動信号発生装置、ワイパー駆動信号発生方法および車両
EP1378912A3 (en) * 2002-07-02 2005-10-05 Matsushita Electric Industrial Co., Ltd. Music search system
JP4290021B2 (ja) * 2004-01-23 2009-07-01 ヤマハ株式会社 移動装置および移動装置システム
JP4290020B2 (ja) * 2004-01-23 2009-07-01 ヤマハ株式会社 移動装置および移動装置システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6491188A (en) * 1987-10-02 1989-04-10 Yamaha Corp Performance tempo controller
JPH0313993A (ja) * 1989-06-13 1991-01-22 Ii P R Japan:Kk カーミュージックシンセサイザー
JPH04317835A (ja) * 1991-04-15 1992-11-09 Alpine Electron Inc カ−オ−ディオ装置
JP2003085888A (ja) * 2001-09-07 2003-03-20 Sony Corp 音楽再生装置、音楽再生装置の制御方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007145226A (ja) * 2005-11-29 2007-06-14 Denso Corp 自動車用ユーザーもてなしシステム
JP4525926B2 (ja) * 2005-11-29 2010-08-18 株式会社デンソー 自動車用ユーザーもてなしシステム
JP2007257162A (ja) * 2006-03-22 2007-10-04 Clarion Co Ltd 楽曲検索装置、楽曲検索方法及び車載音響機器
JP2008143218A (ja) * 2006-12-06 2008-06-26 Yamaha Corp 車両用楽音発生装置及びプログラム
JP2008145759A (ja) * 2006-12-11 2008-06-26 Yamaha Corp 楽音再生装置、楽音再生方法、及びプログラム
JP2016167771A (ja) * 2015-03-10 2016-09-15 株式会社デンソー ダイジェスト映像生成装置
JP2022008251A (ja) * 2020-06-25 2022-01-13 ソニー・インタラクティブエンタテインメント エルエルシー 遅延なくニアライブでライブインターネット音楽を演奏及び録音するための方法及びシステム
US11563504B2 (en) 2020-06-25 2023-01-24 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music using audio waveform samples
JP7242764B2 (ja) 2020-06-25 2023-03-20 ソニー・インタラクティブエンタテインメント エルエルシー 遅延なくニアライブでライブインターネット音楽を演奏及び録音するための方法及びシステム
US11616589B2 (en) 2020-06-25 2023-03-28 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music near live with no latency

Also Published As

Publication number Publication date
EP1562176A1 (en) 2005-08-10
US7317158B2 (en) 2008-01-08
US20050172788A1 (en) 2005-08-11
JP4568506B2 (ja) 2010-10-27

Similar Documents

Publication Publication Date Title
JP4568506B2 (ja) 再生制御装置
US9171531B2 (en) Device and method for interpreting musical gestures
JP2006195385A (ja) 音楽再生装置および音楽再生プログラム
JP4174940B2 (ja) カラオケ装置
JP2006330533A (ja) 電子楽器
JP4533696B2 (ja) 報知制御装置、報知制御システム、それらの方法、それらのプログラム、および、それらのプログラムを記録した記録媒体
US11817070B2 (en) Arbitrary signal insertion method and arbitrary signal insertion system
JP7367835B2 (ja) 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器
JP4203750B2 (ja) 電子音楽装置および同装置に適用されるコンピュータプログラム
JP2008242285A (ja) 演奏装置およびその制御方法を実現するプログラム
JP2008071058A (ja) 音声再生装置、音声再生方法、プログラム
JP5486941B2 (ja) 聴衆に唱和をうながす気分を楽しむカラオケ装置
JP4244338B2 (ja) 音出力制御装置、楽曲再生装置、音出力制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP2005135518A (ja) 音楽再生装置
JP4670277B2 (ja) 音声再生装置
JP2005196918A (ja) 記録装置、車載装置、及びプログラム
JP4236533B2 (ja) 楽音発生装置及びそのプログラム
JP2002244677A (ja) オーディオ再生装置
JP2010225235A (ja) 車載音響再生装置および音響再生方法
JP2009043353A (ja) タイトル付与装置、タイトル付与方法、タイトル付与プログラム、および記録媒体
JP2005107285A (ja) 楽曲再生装置
JP2005250880A (ja) 報知制御装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
KR100233645B1 (ko) 영상반주기의 노래연습기능 제어방법
JPH08179788A (ja) カラオケシステムのオンスクリーン・ディスプレイ制御装置および方法
JP2006213118A (ja) 車載情報端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070111

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070705

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100809

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees