JP2009092977A - In-vehicle device and music piece retrieval system - Google Patents

In-vehicle device and music piece retrieval system Download PDF

Info

Publication number
JP2009092977A
JP2009092977A JP2007264133A JP2007264133A JP2009092977A JP 2009092977 A JP2009092977 A JP 2009092977A JP 2007264133 A JP2007264133 A JP 2007264133A JP 2007264133 A JP2007264133 A JP 2007264133A JP 2009092977 A JP2009092977 A JP 2009092977A
Authority
JP
Japan
Prior art keywords
music
data
lyrics
word
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007264133A
Other languages
Japanese (ja)
Inventor
Hideaki Hirano
英明 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Xanavi Informatics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xanavi Informatics Corp filed Critical Xanavi Informatics Corp
Priority to JP2007264133A priority Critical patent/JP2009092977A/en
Publication of JP2009092977A publication Critical patent/JP2009092977A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a music piece retrieval system 10 capable of performing retrieval and playback of a music piece including lyrics which is hummed by a user. <P>SOLUTION: The music piece retrieval system 10 stores a lyrics data for indicating the lyrics of the music piece for each music piece beforehand, recognizes a word string from voice of the music piece which is hummed by the user, and extracts and play back the music piece data which is related to the lyrics data including the word string. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、車両等の移動体に搭載され、楽曲データから楽曲を再生する機能を備える車載装置に関する。   The present invention relates to an in-vehicle device that is mounted on a moving body such as a vehicle and has a function of reproducing music from music data.

特許文献1には、音声により入力されたアーティスト名、アルバム名、および曲名に基づいて、ハードディスクドライブ等に格納された楽曲データを検索して再生する再生装置が開示されている。   Patent Document 1 discloses a playback device that searches and plays back music data stored in a hard disk drive or the like based on an artist name, an album name, and a song name input by voice.

特開2005−78705号公報JP 2005-78705 A

ところで、ハードディスクドライブ等に格納される楽曲数が多くなると、楽曲毎にアーティスト名、アルバム名、および曲名を覚えておくことが難しくなる場合がある。そのため、特許文献1の技術では、ユーザは、歌詞は覚えているものの、アーティスト名、アルバム名、および曲名を忘れてしまった楽曲を再生させることができない場合がある。   By the way, when the number of songs stored in a hard disk drive or the like increases, it may be difficult to remember the artist name, album name, and song name for each song. For this reason, in the technique disclosed in Patent Document 1, the user may not be able to reproduce a song for which the artist name, album name, and song name are forgotten, although the lyrics are remembered.

本発明は上記事情を鑑みてなされたものであり、本発明の目的は、ユーザが口ずさんだ歌詞を含む楽曲を検索して再生することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to search for and reproduce music containing lyrics that the user uttered.

上記課題を解決するために、本発明の車載装置は、楽曲データ毎に、当該楽曲の歌詞を示す歌詞データを予め格納し、ユーザが口ずさんだ楽曲の音声から単語列を認識し、当該単語列を含む歌詞データに対応する楽曲データを抽出して再生する。   In order to solve the above-described problem, the in-vehicle device of the present invention stores, for each piece of music data, lyric data indicating the lyrics of the music in advance, recognizes a word string from the voice of the music spoken by the user, and the word string The music data corresponding to the lyrics data including is extracted and reproduced.

例えば、本発明の第一の態様は、車両に搭載される車載装置であって、楽曲データ毎に、当該楽曲の歌詞を示す歌詞データを格納する楽曲情報格納手段と、楽曲データを格納する記録媒体から楽曲データを取得して楽曲情報格納手段に格納する楽曲データ取得手段と、楽曲データ取得手段によって取得された楽曲データに対応する歌詞データを、外部から取得して楽曲情報格納手段に格納する歌詞データ取得手段と、ユーザが口ずさんだ音声から当該音声が示す単語列を特定する音声認識手段と、楽曲情報格納手段を参照して、音声認識手段によって特定された単語列と同一の単語列を含む歌詞データを特定し、特定した歌詞データに対応付けられている楽曲データを抽出する楽曲データ抽出手段と、楽曲データ抽出手段によって抽出された楽曲データを再生する再生手段とを備えることを特徴とする車載装置を提供する。   For example, the first aspect of the present invention is an in-vehicle device mounted on a vehicle, and for each piece of music data, music information storage means for storing lyrics data indicating the lyrics of the music, and a record for storing music data Music data acquisition means for acquiring music data from the medium and storing it in the music information storage means, and lyrics data corresponding to the music data acquired by the music data acquisition means are acquired from outside and stored in the music information storage means The lyric data acquisition means, the speech recognition means for specifying the word string indicated by the voice from the voice uttered by the user, and the music information storage means, the same word string as the word string specified by the voice recognition means Music data extraction means for identifying lyrics data to be included and extracting music data associated with the identified lyrics data, and extracted by the music data extraction means Providing a vehicle device, characterized in that it comprises a reproducing device for reproducing the music data.

また、本発明の第二の態様は、車両に搭載される車載装置と、車載装置の外部に設けられ、楽曲毎の歌詞データを格納する歌詞データ格納サーバとを備える楽曲検索システムであって、車載装置は、楽曲データ毎に、当該楽曲の歌詞を示す歌詞データを格納する楽曲情報格納手段と、楽曲データを格納する記録媒体から楽曲データを取得して楽曲情報格納手段に格納する楽曲データ取得手段と、楽曲データ取得手段によって取得された楽曲データに対応する歌詞データを、歌詞データ格納サーバから取得して楽曲情報格納手段に格納する歌詞データ取得手段と、ユーザが口ずさんだ音声から当該音声が示す単語列を特定する音声認識手段と、楽曲情報格納手段を参照して、音声認識手段によって特定された単語列と同一の単語列を含む歌詞データを特定し、特定した歌詞データに対応付けられている楽曲データを抽出する楽曲データ抽出手段と、楽曲データ抽出手段によって抽出された楽曲データを再生する再生手段とを備えることを特徴とする楽曲検索システム   The second aspect of the present invention is a music search system including an in-vehicle device mounted on a vehicle, and a lyrics data storage server that is provided outside the in-vehicle device and stores lyrics data for each song, The in-vehicle device acquires, for each piece of music data, music information storage means for storing lyrics data indicating the lyrics of the music, and music data acquisition for acquiring music data from a recording medium for storing the music data and storing it in the music information storage means Means, lyric data acquisition means for acquiring lyric data corresponding to the music data acquired by the music data acquisition means from the lyrics data storage server and storing it in the music information storage means, and the voice from the voice spoken by the user A speech recognition unit that identifies a word string to be shown, and a song data storage unit, and a lyric data that includes the same word string as the word string identified by the speech recognition unit A music data extraction means for extracting music data associated with the specified lyrics data, and a playback means for playing back the music data extracted by the music data extraction means Search system

本発明の車載装置によれば、ユーザが口ずさんだ歌詞を含む楽曲を検索して再生することができる。   According to the in-vehicle device of the present invention, it is possible to search for and reproduce music containing lyrics sung by the user.

以下、本発明の実施の形態について、図面を参照しながら説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明の一実施形態にかかる楽曲検索システム10の構成を示すシステム構成図である。楽曲検索システム10は、歌詞データ格納サーバ20、音声データ格納サーバ30、および車載装置40を備える。歌詞データ格納サーバ20および音声データ格納サーバ30は、インターネット等の通信回線11に接続されている。車載装置40は、車両13に搭載され、通信回線11に接続されている基地局12と無線通信することにより、通信回線11を介して、歌詞データ格納サーバ20および音声データ格納サーバ30と通信する。   FIG. 1 is a system configuration diagram showing the configuration of a music search system 10 according to an embodiment of the present invention. The music search system 10 includes a lyrics data storage server 20, an audio data storage server 30, and an in-vehicle device 40. The lyrics data storage server 20 and the voice data storage server 30 are connected to a communication line 11 such as the Internet. The in-vehicle device 40 is mounted on the vehicle 13 and communicates with the lyrics data storage server 20 and the voice data storage server 30 via the communication line 11 by wirelessly communicating with the base station 12 connected to the communication line 11. .

歌詞データ格納サーバ20は、図2に示すように、歌詞データ格納部21および歌詞データ送信部22を備える。歌詞データ格納部21には、例えば図3に示すように、曲名210、当該曲名210に対応する楽曲を歌っている歌手の歌手名211、および当該曲名210に対応する楽曲が収録されているアルバムのアルバム名212に対応付けて、当該曲名210に対応する楽曲の歌詞を示す歌詞データ213が格納されている。   As shown in FIG. 2, the lyrics data storage server 20 includes a lyrics data storage unit 21 and a lyrics data transmission unit 22. For example, as shown in FIG. 3, the lyrics data storage unit 21 includes a song title 210, a singer name 211 singing a song corresponding to the song title 210, and an album in which the song corresponding to the song title 210 is recorded. The lyrics data 213 indicating the lyrics of the music corresponding to the song name 210 is stored in association with the album name 212.

歌詞データ送信部22は、通信回線11を介して、曲名、歌手名、およびアルバム名を含む歌詞データ取得要求を車載装置40から受信した場合に、当該歌詞データ取得要求に含まれている曲名、歌手名、およびアルバム名に対応する歌詞データを歌詞データ格納部21から抽出する。そして、歌詞データ送信部22は、抽出した歌詞データを含む歌詞データ取得応答を、歌詞データ取得要求の送信元へ返信する。   When the lyric data transmission unit 22 receives a lyric data acquisition request including the song name, singer name, and album name from the in-vehicle device 40 via the communication line 11, the lyric data transmission unit 22 Lyric data corresponding to the singer name and album name is extracted from the lyrics data storage unit 21. Then, the lyrics data transmitting unit 22 returns a lyrics data acquisition response including the extracted lyrics data to the transmission source of the lyrics data acquisition request.

音声データ格納サーバ30は、図4に示すように、特徴データ格納部31および特徴データ送信部32を備える。特徴データ格納部31には、例えば図5に示すように、単語310毎に、当該単語310を発声した場合の音声の特徴量311を示す情報が格納されている。特徴データ送信部32は、通信回線11を介して、単語を示す情報を含む特徴量取得要求を車載装置40から受信した場合に、当該特徴量取得要求に含まれている単語に対応する特徴量を特徴データ格納部31から抽出し、抽出した特徴量を示す情報を含む特徴量取得応答を、特徴量取得要求の送信元へ返信する。   As shown in FIG. 4, the audio data storage server 30 includes a feature data storage unit 31 and a feature data transmission unit 32. For example, as shown in FIG. 5, the feature data storage unit 31 stores information indicating the feature amount 311 of the speech when the word 310 is uttered. When the feature data transmission unit 32 receives a feature value acquisition request including information indicating a word from the in-vehicle device 40 via the communication line 11, the feature data transmission unit 32 corresponds to the word included in the feature value acquisition request. Is extracted from the feature data storage unit 31, and a feature amount acquisition response including information indicating the extracted feature amount is returned to the transmission source of the feature amount acquisition request.

車載装置40は、例えば図6に示すように、尤度算出部41、単語列特定部42、楽曲データ抽出部43、再生部44、特徴量取得部45、辞書データ格納部46、歌詞データ取得部47、楽曲情報格納部48、および楽曲データ取得部49を備える。   For example, as shown in FIG. 6, the in-vehicle device 40 includes a likelihood calculating unit 41, a word string specifying unit 42, a music data extracting unit 43, a reproducing unit 44, a feature amount acquiring unit 45, a dictionary data storage unit 46, and lyrics data acquisition. Unit 47, music information storage unit 48, and music data acquisition unit 49.

辞書データ格納部46には、例えば図7に示すように、単語460毎に、当該単語460を発声した場合の音声の特徴量461を示す情報が格納される。楽曲情報格納部48には、例えば図8に示すように、曲名480、当該曲名480に対応する楽曲を歌っている歌手の歌手名481、および当該曲名480に対応する楽曲が収録されているアルバムのアルバム名482に対応付けて、当該曲名480に対応する楽曲の楽曲データ483および当該曲名480に対応する楽曲の歌詞を示す歌詞データ484が格納される。   For example, as illustrated in FIG. 7, the dictionary data storage unit 46 stores information indicating a voice feature amount 461 when the word 460 is uttered for each word 460. For example, as shown in FIG. 8, the song information storage unit 48 includes a song name 480, a singer name 481 singing a song corresponding to the song name 480, and an album containing songs corresponding to the song name 480. In association with the album name 482, song data 483 of the song corresponding to the song name 480 and lyrics data 484 indicating the lyrics of the song corresponding to the song name 480 are stored.

楽曲データ取得部49は、タッチパネル等の入力装置15を介して、楽曲の取得をユーザから指示された場合に、CD(Compact Disc)等の記録媒体19から楽曲データを取得する。そして、楽曲データ取得部49は、ユーザから入力された情報または予めCDDB(Compact Disc DataBase)等から取得した情報から、当該楽曲データに対応する楽曲の曲名、歌手名、およびアルバム名を取得し、記録媒体19から取得した楽曲データを、取得した曲名、歌手名、およびアルバム名に対応付けて楽曲情報格納部48に格納する。そして、楽曲データ取得部49は、新たに楽曲が登録された旨を歌詞データ取得部47に通知する。   The music data acquisition unit 49 acquires music data from a recording medium 19 such as a CD (Compact Disc) when the user gives an instruction to acquire music via the input device 15 such as a touch panel. And the music data acquisition part 49 acquires the music name, singer name, and album name of the music corresponding to the said music data from the information input from the user or the information previously acquired from CDDB (Compact Disc DataBase) etc., The music data acquired from the recording medium 19 is stored in the music information storage unit 48 in association with the acquired music name, singer name, and album name. Then, the music data acquisition unit 49 notifies the lyrics data acquisition unit 47 that a new music has been registered.

歌詞データ取得部47は、新たに楽曲が登録された旨を楽曲データ取得部49から通知された場合に、歌詞データの取得の可否をユーザに問い合わせるための画面を、LCD(Liquid Crystal Display)等の表示装置18に表示する。   The lyric data acquisition unit 47 displays a screen for inquiring the user as to whether or not the lyric data can be acquired, such as an LCD (Liquid Crystal Display), when the music data acquisition unit 49 is notified that a new music has been registered. Is displayed on the display device 18.

そして、入力装置15を介して、歌詞データの取得を許可する旨を示す入力をユーザから受けた場合、歌詞データ取得部47は、楽曲情報格納部48を参照して、歌詞データの取得を実行していない楽曲データを特定し、当該楽曲データに対応する曲名、歌手名、およびアルバム名を含む歌詞データ取得要求を生成し、生成した歌詞データ取得要求をアンテナ17を介して歌詞データ格納サーバ20へ送信する。   When the input indicating that the acquisition of the lyrics data is permitted is received from the user via the input device 15, the lyrics data acquisition unit 47 refers to the music information storage unit 48 and acquires the lyrics data. Music data that has not been specified is specified, a lyric data acquisition request including a tune name, a singer name, and an album name corresponding to the tune data is generated, and the generated lyric data acquisition request is transmitted via the antenna 17 to the lyric data storage server 20. Send to.

そして、アンテナ17を介して、歌詞データを含む歌詞データ取得応答を受信した場合、歌詞データ取得部47は、当該歌詞データ取得応答に含まれている歌詞データを、対応する楽曲データに対応付けて楽曲情報格納部48に格納する。   When the lyrics data acquisition response including the lyrics data is received via the antenna 17, the lyrics data acquisition unit 47 associates the lyrics data included in the lyrics data acquisition response with the corresponding music data. It is stored in the music information storage unit 48.

そして、歌詞データ取得部47は、辞書データ格納部46を参照して、歌詞データ取得応答に含まれている歌詞データ内の全ての単語が辞書データ格納部46内に格納されているか否かを判定する。歌詞データ取得応答に含まれている歌詞データ内に、辞書データ格納部46内に格納されていない単語がある場合、歌詞データ取得部47は、当該単語を示す情報を特徴量取得部45へ送る。   Then, the lyrics data acquisition unit 47 refers to the dictionary data storage unit 46 to determine whether or not all the words in the lyrics data included in the lyrics data acquisition response are stored in the dictionary data storage unit 46. judge. If there is a word that is not stored in the dictionary data storage unit 46 in the lyrics data included in the lyrics data acquisition response, the lyrics data acquisition unit 47 sends information indicating the word to the feature amount acquisition unit 45. .

特徴量取得部45は、歌詞データ取得部47から単語を示す情報を受け取った場合に、当該単語を含む特徴量取得要求を生成し、生成した特徴量取得要求をアンテナ17を介して音声データ格納サーバ30へ送信する。そして、アンテナ17を介して、特徴量を示す情報を含む特徴量取得応答を受信した場合、特徴量取得部45は、当該特徴量取得応答に含まれている特徴量を示す情報を、対応する単語と共に辞書データ格納部46に格納する。   When the feature amount acquisition unit 45 receives information indicating a word from the lyrics data acquisition unit 47, the feature amount acquisition unit 45 generates a feature amount acquisition request including the word, and stores the generated feature amount acquisition request via the antenna 17 as voice data. Send to server 30. When the feature amount acquisition response including information indicating the feature amount is received via the antenna 17, the feature amount acquisition unit 45 corresponds to the information indicating the feature amount included in the feature amount acquisition response. It is stored in the dictionary data storage unit 46 together with the word.

尤度算出部41は、入力装置15を介してユーザから音声による楽曲検索の開始を指示された場合に、マイク14を介して音声信号を取り込み、取り込んだ音声信号から音節毎の特徴量を抽出する。そして、尤度算出部41は、辞書データ格納部46を参照して、抽出した特徴量と、辞書データ格納部46内のそれぞれの単語の特徴量とを比較して、特徴量が類似している割合が高いほど高い値を示す尤度を、それぞれの単語について算出する。   When the user is instructed to start a music search by voice via the input device 15, the likelihood calculation unit 41 takes in a voice signal through the microphone 14 and extracts a feature value for each syllable from the fetched voice signal. To do. Then, the likelihood calculating unit 41 refers to the dictionary data storage unit 46, compares the extracted feature amount with the feature amount of each word in the dictionary data storage unit 46, and the feature amount is similar. The likelihood that shows a higher value as the percentage of the number of words that are present is calculated for each word.

そして、尤度算出部41は、算出した尤度を、対応する単語を示す情報と共に単語列特定部42へ出力する。なお、尤度算出部41は、それぞれの音節毎に、尤度の高い順に、所定個数(例えば10個以内)の単語を、対応する尤度と共に単語列特定部42へ出力するようにしてもよい。   Then, the likelihood calculating unit 41 outputs the calculated likelihood to the word string specifying unit 42 together with information indicating the corresponding word. Note that the likelihood calculating unit 41 outputs a predetermined number (for example, within 10) of words to the word string specifying unit 42 in the descending order of likelihood for each syllable together with the corresponding likelihood. Good.

単語列特定部42は、尤度算出部41から出力された尤度に基づいて、例えば尤度が最も高い単語を音声に対応する単語として特定する。そして、単語列特定部42は、特定した複数の単語列を、楽曲データ抽出部43へ出力する。なお、単語列特定部42は、直前に尤度算出部41から出力された尤度の高い単語や、その後に尤度算出部41から出力された尤度の高い単語との前後関係も加味して音声に対応する単語を特定するようにしてもよい。   Based on the likelihood output from the likelihood calculating unit 41, the word string specifying unit 42 specifies, for example, the word having the highest likelihood as the word corresponding to the speech. Then, the word string specifying unit 42 outputs the plurality of specified word strings to the music data extracting unit 43. Note that the word string specifying unit 42 also considers the context of the high likelihood word output from the likelihood calculation unit 41 immediately before and the high likelihood word output from the likelihood calculation unit 41 thereafter. The word corresponding to the voice may be specified.

楽曲データ抽出部43は、単語列特定部42から単語列を受け取った場合に、楽曲情報格納部48を参照して、当該単語列が含まれる歌詞データに対応付けられている楽曲データを抽出し、抽出した楽曲データを再生部44へ送る。再生部44は、楽曲データ抽出部43から受け取った楽曲データをスピーカ16を介して再生する。   When the music data extraction unit 43 receives a word string from the word string identification unit 42, the music data extraction unit 43 refers to the music information storage unit 48 and extracts music data associated with the lyric data including the word string. The extracted music data is sent to the playback unit 44. The playback unit 44 plays back the music data received from the music data extraction unit 43 via the speaker 16.

なお、単語列特定部42から出力された単語列を含む歌詞データが楽曲情報格納部48内に複数存在する場合、楽曲データ抽出部43は、当該複数の楽曲の曲名、歌手名、およびアルバム名を表示装置18に表示し、再生部44は、入力装置15を介してユーザから指定された楽曲を再生する。   When a plurality of lyrics data including the word string output from the word string specifying unit 42 exists in the music information storage unit 48, the music data extracting unit 43 selects the song name, singer name, and album name of the plurality of songs. Is displayed on the display device 18, and the playback unit 44 plays back the music specified by the user via the input device 15.

また、単語列特定部42から出力された単語列を含む歌詞データが楽曲情報格納部48内に存在しない場合、楽曲データ抽出部43は、当該単語列の一部が含まれている歌詞データに対応付けられている楽曲データの曲名、歌手名、およびアルバム名を表示装置18に表示し、再生部44は、入力装置15を介してユーザから再生が指定された場合に、当該楽曲データを再生するようにしてもよい。   When the lyrics data including the word string output from the word string specifying unit 42 does not exist in the music information storage unit 48, the music data extraction unit 43 adds the lyrics data including a part of the word string to the lyrics data. The song name, singer name, and album name of the associated song data are displayed on the display device 18, and the playback unit 44 plays back the song data when playback is designated by the user via the input device 15. You may make it do.

このとき、楽曲データ抽出部43は、単語列特定部42から出力された単語列に含まれる単語を含む歌詞データに対応付けられている楽曲データの曲名、歌手名、およびアルバム名を、当該単語列に含まれている単語の数が多い順に数曲分(例えば5曲分)表示装置18に表示するようにしてもよい。   At this time, the music data extraction unit 43 uses the song name, singer name, and album name of the music data associated with the lyrics data including the word included in the word string output from the word string specifying unit 42 as the word. You may make it display on the display apparatus 18 for several music (for example, 5 music) in order with many words contained in the row | line | column.

図9は、楽曲データ取得時における楽曲検索システム10の動作の一例を示すフローチャートである。入力装置15を介してユーザから楽曲データの取得を指示された場合に、楽曲検索システム10は、本フローチャートに示す動作を開始する。   FIG. 9 is a flowchart showing an example of the operation of the music search system 10 at the time of music data acquisition. When an instruction to acquire music data is given from the user via the input device 15, the music search system 10 starts the operation shown in this flowchart.

まず、楽曲データ取得部49は、楽曲データが格納されている記録媒体19から楽曲データを取得し、取得した楽曲データを、当該楽曲データに対応する曲名、歌手名、およびアルバム名と共に楽曲情報格納部48に格納する(S100)。そして、楽曲データ取得部49は、新たに楽曲が登録された旨を歌詞データ取得部47に通知する。   First, the music data acquisition unit 49 acquires music data from the recording medium 19 in which music data is stored, and stores the acquired music data together with the music name, singer name, and album name corresponding to the music data. The data is stored in the unit 48 (S100). Then, the music data acquisition unit 49 notifies the lyrics data acquisition unit 47 that a new music has been registered.

次に、歌詞データ取得部47は、歌詞データの取得の可否をユーザに問い合わせるための画面を表示装置18に表示し、入力装置15を介して、歌詞データの取得を許可する旨を示す入力をユーザから受け付けたか否かを判定する(S101)。歌詞データの取得を許可する旨を示す入力をユーザから受け付けなかった場合(S101:No)、楽曲検索システム10は、本フローチャートに示す動作を終了する。   Next, the lyric data acquisition unit 47 displays a screen for inquiring the user whether or not the lyric data can be acquired on the display device 18, and receives an input indicating that the acquisition of the lyric data is permitted via the input device 15. It is determined whether it has been received from the user (S101). When the input indicating that the acquisition of the lyrics data is permitted is not received from the user (S101: No), the music search system 10 ends the operation shown in the flowchart.

歌詞データの取得を許可する旨を示す入力をユーザから受け付けた場合(S101:Yes)、歌詞データ取得部47は、楽曲情報格納部48を参照して、歌詞データの取得を実行していない楽曲データを特定し、当該楽曲データに対応する曲名、歌手名、およびアルバム名を含む歌詞データ取得要求を生成し、生成した歌詞データ取得要求をアンテナ17を介して歌詞データ格納サーバ20へ送信する。   When the input indicating that the acquisition of the lyrics data is permitted is received from the user (S101: Yes), the lyrics data acquisition unit 47 refers to the music information storage unit 48 and does not execute the acquisition of the lyrics data. The data is specified, a lyrics data acquisition request including the song name, singer name, and album name corresponding to the music data is generated, and the generated lyrics data acquisition request is transmitted to the lyrics data storage server 20 via the antenna 17.

そして、アンテナ17を介して、歌詞データを含む歌詞データ取得応答を受信した場合、歌詞データ取得部47は、当該歌詞データ取得応答に含まれている歌詞データを、対応する楽曲データに対応付けて楽曲情報格納部48に格納する(S102)。   When the lyrics data acquisition response including the lyrics data is received via the antenna 17, the lyrics data acquisition unit 47 associates the lyrics data included in the lyrics data acquisition response with the corresponding music data. It is stored in the music information storage unit 48 (S102).

次に、歌詞データ取得部47は、辞書データ格納部46を参照して、歌詞データ取得応答に含まれている歌詞データ内の全ての単語が辞書データ格納部46内に格納されているか否かを判定する(S103)。歌詞データ取得応答に含まれている歌詞データ内の全ての単語が辞書データ格納部46内に格納されている場合(S103:Yes)、楽曲検索システム10は、本フローチャートに示す動作を終了する。   Next, the lyric data acquisition unit 47 refers to the dictionary data storage unit 46 and determines whether or not all words in the lyric data included in the lyric data acquisition response are stored in the dictionary data storage unit 46. Is determined (S103). When all the words in the lyrics data included in the lyrics data acquisition response are stored in the dictionary data storage unit 46 (S103: Yes), the music search system 10 ends the operation shown in this flowchart.

歌詞データ取得応答に含まれている歌詞データ内に、辞書データ格納部46内に格納されていない単語がある場合(S103:No)、歌詞データ取得部47は、当該単語を示す情報を特徴量取得部45へ送る。そして、特徴量取得部45は、歌詞データ取得部47から受け取った単語を含む特徴量取得要求を生成し、生成した特徴量取得要求をアンテナ17を介して音声データ格納サーバ30へ送信する。   When there is a word that is not stored in the dictionary data storage unit 46 in the lyrics data included in the lyrics data acquisition response (S103: No), the lyrics data acquisition unit 47 displays information indicating the word as a feature amount. The data is sent to the acquisition unit 45. Then, the feature amount acquisition unit 45 generates a feature amount acquisition request including the word received from the lyrics data acquisition unit 47 and transmits the generated feature amount acquisition request to the audio data storage server 30 via the antenna 17.

そして、特徴量取得部45は、アンテナ17を介して、特徴量を示す情報を含む特徴量取得応答を受信することにより、単語の特徴量を取得する(S104)。そして、特徴量取得部45は、当該特徴量取得応答に含まれている特徴量を示す情報を、対応する単語と共に辞書データ格納部46に格納し(S105)、楽曲検索システム10は、本フローチャートに示す動作を終了する。   And the feature-value acquisition part 45 acquires the feature-value of a word by receiving the feature-value acquisition response containing the information which shows a feature-value via the antenna 17 (S104). Then, the feature amount acquisition unit 45 stores the information indicating the feature amount included in the feature amount acquisition response in the dictionary data storage unit 46 together with the corresponding word (S105), and the music search system 10 performs this flowchart. The operation shown in FIG.

図10は、楽曲データ再生時における楽曲検索システム10の動作の一例を示すフローチャートである。入力装置15を介してユーザから音声による楽曲検索の開始を指示された場合に、楽曲検索システム10は、本フローチャートに示す動作を開始する。   FIG. 10 is a flowchart showing an example of the operation of the music search system 10 when reproducing music data. When the start of music search by voice is instructed by the user via the input device 15, the music search system 10 starts the operation shown in this flowchart.

まず、尤度算出部41は、マイク14を介して音声信号を取り込み、取り込んだ音声信号から音節毎の特徴量を抽出する。そして、尤度算出部41は、辞書データ格納部46を参照して、抽出した特徴量と、辞書データ格納部46内のそれぞれの単語の特徴量とを比較することにより、単語毎の尤度を算出し(S200)、算出した尤度を、対応する単語を示す情報と共に単語列特定部42へ出力する。   First, the likelihood calculating unit 41 captures an audio signal via the microphone 14 and extracts a feature amount for each syllable from the acquired audio signal. Then, the likelihood calculating unit 41 refers to the dictionary data storage unit 46 and compares the extracted feature amount with the feature amount of each word in the dictionary data storage unit 46 to thereby determine the likelihood for each word. (S200), and the calculated likelihood is output to the word string specifying unit 42 together with information indicating the corresponding word.

次に、単語列特定部42は、尤度算出部41から出力された尤度に基づいて、音節毎に単語を特定する(S201)。そして、単語列特定部42は、特定した複数の単語を単語列として楽曲データ抽出部43へ出力する。   Next, the word string specifying unit 42 specifies a word for each syllable based on the likelihood output from the likelihood calculating unit 41 (S201). Then, the word string specifying unit 42 outputs the specified plurality of words to the music data extracting unit 43 as word strings.

次に、楽曲データ抽出部43は、単語列特定部42から受け取った単語列が含まれる歌詞データに対応付けられている楽曲データを楽曲情報格納部48から抽出し(S202)、抽出した楽曲データを再生部44へ送る。そして、再生部44は、楽曲データ抽出部43から受け取った楽曲データをスピーカ16を介して再生し(S203)、楽曲検索システム10は、本フローチャートに示す動作を終了する。   Next, the music data extraction unit 43 extracts music data associated with the lyrics data including the word string received from the word string specifying unit 42 from the music information storage unit 48 (S202), and the extracted music data Is sent to the playback unit 44. Then, the playback unit 44 plays back the song data received from the song data extraction unit 43 via the speaker 16 (S203), and the song search system 10 ends the operation shown in this flowchart.

図11は、歌詞データ格納サーバ20、音声データ格納サーバ30、または車載装置40の機能を実現するコンピュータ60のハードウェア構成の一例を示すハードウェア構成図である。コンピュータ60は、CPU(Central Processing Unit)61、RAM(Random Access Memory)62、ROM(Read Only Memory)63、HDD(Hard Disk Drive)64、通信装置65、入出力インターフェイス(I/F)66、およびメディアインターフェイス(I/F)67を備える。   FIG. 11 is a hardware configuration diagram illustrating an example of a hardware configuration of a computer 60 that realizes the functions of the lyrics data storage server 20, the voice data storage server 30, or the in-vehicle device 40. The computer 60 includes a CPU (Central Processing Unit) 61, a RAM (Random Access Memory) 62, a ROM (Read Only Memory) 63, an HDD (Hard Disk Drive) 64, a communication device 65, an input / output interface (I / F) 66, And a media interface (I / F) 67.

CPU61は、ROM63またはHDD64に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM63は、コンピュータ60の起動時にCPU61が実行するブートプログラムや、コンピュータ60のハードウェアに依存するプログラム等を格納する。HDD64は、CPU61によって実行されるプログラムを格納する。   The CPU 61 operates based on a program stored in the ROM 63 or the HDD 64 and controls each unit. The ROM 63 stores a boot program executed by the CPU 61 when the computer 60 is started up, a program depending on the hardware of the computer 60, and the like. The HDD 64 stores a program executed by the CPU 61.

通信装置65は、通信回線を介して他の機器からデータを受信してCPU61へ送ると共に、CPU61によって生成されたデータを、通信回線を介して他の機器へ送信する。入出力インターフェイス66は、入出力装置からの信号を受信してCPU61へ送ると共に、CPU61から取得したデータを、入出力装置へ出力する。CPU61は、入出力インターフェイス66を介して入出力装置を制御し、入出力インターフェイス66を介して入出力装置から信号を取得すると共に、生成したデータを、入出力インターフェイス66を介して入出力装置へ出力する。   The communication device 65 receives data from other devices via the communication line and sends the data to the CPU 61, and transmits the data generated by the CPU 61 to other devices via the communication line. The input / output interface 66 receives a signal from the input / output device and sends it to the CPU 61, and outputs data acquired from the CPU 61 to the input / output device. The CPU 61 controls the input / output device via the input / output interface 66, acquires a signal from the input / output device via the input / output interface 66, and sends the generated data to the input / output device via the input / output interface 66. Output.

メディアインターフェイス67は、記録媒体68に格納されたプログラムまたはデータを読み取り、RAM62に提供する。RAM62を介してCPU61に提供されるプログラムは、記録媒体68に格納されている。当該プログラムは、記録媒体68から読み出されて、RAM62を介してコンピュータ60にインストールされ、CPU61によって実行される。記録媒体68は、例えばDVD(Digital Versatile Disk)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。   The media interface 67 reads a program or data stored in the recording medium 68 and provides it to the RAM 62. A program provided to the CPU 61 via the RAM 62 is stored in the recording medium 68. The program is read from the recording medium 68, installed in the computer 60 via the RAM 62, and executed by the CPU 61. The recording medium 68 is, for example, an optical recording medium such as a DVD (Digital Versatile Disk) or PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. Etc.

コンピュータ60が歌詞データ格納サーバ20として機能する場合、コンピュータ60にインストールされて実行されるプログラムは、コンピュータ60を、歌詞データ格納部21および歌詞データ送信部22として機能させる。   When the computer 60 functions as the lyrics data storage server 20, a program installed and executed on the computer 60 causes the computer 60 to function as the lyrics data storage unit 21 and the lyrics data transmission unit 22.

また、コンピュータ60が音声データ格納サーバ30として機能する場合、コンピュータ60にインストールされて実行されるプログラムは、コンピュータ60を、特徴データ格納部31および特徴データ送信部32として機能させる。   When the computer 60 functions as the audio data storage server 30, a program installed and executed on the computer 60 causes the computer 60 to function as the feature data storage unit 31 and the feature data transmission unit 32.

また、コンピュータ60が車載装置40として機能する場合、コンピュータ60にインストールされて実行されるプログラムは、コンピュータ60を、尤度算出部41、単語列特定部42、楽曲データ抽出部43、再生部44、特徴量取得部45、辞書データ格納部46、歌詞データ取得部47、楽曲情報格納部48、および楽曲データ取得部49として機能させる。   Further, when the computer 60 functions as the in-vehicle device 40, the program installed in the computer 60 and executed is the likelihood calculating unit 41, the word string specifying unit 42, the music data extracting unit 43, and the reproducing unit 44. , Function amount acquisition unit 45, dictionary data storage unit 46, lyrics data acquisition unit 47, music information storage unit 48, and music data acquisition unit 49.

コンピュータ60は、これらのプログラムを、記録媒体68から読み取って実行するが、他の例として、コンピュータ60は、通信装置65により、通信回線を介してこれらのプログラムを取得してもよい。   The computer 60 reads these programs from the recording medium 68 and executes them. As another example, the computer 60 may acquire these programs by the communication device 65 via a communication line.

以上、本発明の実施の形態について説明した。   The embodiment of the present invention has been described above.

上記説明から明らかなように、本実施形態の楽曲検索システム10によれば、ユーザが口ずさんだ歌詞を含む楽曲を検索して再生することができる。また、楽曲検索システム10は、ユーザが口ずさんだメロディーではなく、ユーザが口ずさんだ歌詞に基づいて楽曲を検索するため、音痴のユーザや、リズム感がないユーザであっても、所望の楽曲の歌詞を覚えていれば、曲名等を指定することなく楽曲を検索して再生させることができる。   As is clear from the above description, according to the music search system 10 of the present embodiment, it is possible to search for and play music containing lyrics that the user uttered. In addition, since the music search system 10 searches for music based on the lyrics that the user does not squeeze instead of the melody that the user screams, the lyric of the desired music can be obtained even if the user is a timid user or a user who does not have a sense of rhythm. Can be searched and played back without specifying a song name or the like.

なお、本発明は、上記した実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。   In addition, this invention is not limited to above-described embodiment, Many deformation | transformation are possible within the range of the summary.

例えば、車載装置40を、図12に示すように構成してもよい。図12に示す例において、車載装置40は、尤度算出部41、単語列特定部42、楽曲データ抽出部43、再生部44、特徴量取得部45、歌詞データ取得部47、楽曲情報格納部48、楽曲データ取得部49、第二の辞書データ50、第一の辞書データ51、およびコマンド実行部52を備える。なお、以下に説明する点を除き、図12において、図6と同じ符号を付した構成は、図6における構成と同一または同様の機能を有するため説明を省略する。   For example, the in-vehicle device 40 may be configured as shown in FIG. In the example illustrated in FIG. 12, the in-vehicle device 40 includes a likelihood calculating unit 41, a word string specifying unit 42, a music data extracting unit 43, a reproducing unit 44, a feature amount acquiring unit 45, a lyrics data acquiring unit 47, and a music information storage unit. 48, a music data acquisition unit 49, a second dictionary data 50, a first dictionary data 51, and a command execution unit 52. Except for the points described below, in FIG. 12, the components denoted by the same reference numerals as those in FIG. 6 have the same or similar functions as those in FIG.

第一の辞書データ51には、音声による楽曲検索時のみ使用される単語毎に、当該単語の特徴量が格納されている。コマンド実行部52には、楽曲検索時以外の音声認識時に使用される単語毎に、当該単語の特徴量が格納されている。   The first dictionary data 51 stores the feature amount of each word used only when searching for music by voice. The command execution unit 52 stores the feature amount of each word used for speech recognition other than music search.

歌詞データ取得部47は、歌詞データ取得応答に含まれている歌詞データを、対応する楽曲データに対応付けて楽曲情報格納部48に格納した後、第一の辞書データ51を参照して、当該歌詞データ取得応答に含まれている歌詞データ内の全ての単語が第一の辞書データ51内に格納されているか否かを判定する。歌詞データ取得応答に含まれている歌詞データ内に、第一の辞書データ51内に格納されていない単語がある場合、歌詞データ取得部47は、当該単語を示す情報を特徴量取得部45へ送る。   The lyrics data acquisition unit 47 stores the lyrics data included in the lyrics data acquisition response in the music information storage unit 48 in association with the corresponding music data, and then refers to the first dictionary data 51 to It is determined whether or not all words in the lyrics data included in the lyrics data acquisition response are stored in the first dictionary data 51. When there is a word that is not stored in the first dictionary data 51 in the lyrics data included in the lyrics data acquisition response, the lyrics data acquisition unit 47 sends information indicating the word to the feature amount acquisition unit 45. send.

特徴量取得部45は、アンテナ17を介して、特徴量取得応答を受信した場合に、当該特徴量取得応答に含まれている特徴量を示す情報を、対応する単語と共に第一の辞書データ51に格納する。   When the feature amount acquisition unit 45 receives a feature amount acquisition response via the antenna 17, the feature amount acquisition unit 45 displays the information indicating the feature amount included in the feature amount acquisition response together with the corresponding word in the first dictionary data 51. To store.

尤度算出部41は、入力装置15を介してユーザから通常の音声認識を指示された場合に、マイク14を介して音声信号を取り込み、取り込んだ音声信号から音節毎の特徴量を抽出し、第二の辞書データ50を参照して、抽出した特徴量と、第二の辞書データ50内のそれぞれの単語の特徴量とを比較して、それぞれの単語の尤度を算出する。そして、尤度算出部41は、算出した尤度を、対応する単語を示す情報および通常の音声認識である旨を示す情報と共に単語列特定部42へ出力する。   The likelihood calculating unit 41 receives a voice signal via the microphone 14 when normal voice recognition is instructed by the user via the input device 15, and extracts a feature amount for each syllable from the acquired voice signal, With reference to the second dictionary data 50, the extracted feature value is compared with the feature value of each word in the second dictionary data 50, and the likelihood of each word is calculated. Then, the likelihood calculating unit 41 outputs the calculated likelihood to the word string specifying unit 42 together with information indicating the corresponding word and information indicating normal speech recognition.

一方、入力装置15を介してユーザから音声による楽曲検索の開始を指示された場合、尤度算出部41は、マイク14を介して取り込んだ音声信号から音節毎の特徴量を抽出し、第一の辞書データ51を参照して、抽出した特徴量と、第一の辞書データ51内のそれぞれの単語の特徴量とを比較して、それぞれの単語の尤度を算出する。そして、尤度算出部41は、算出した尤度を、対応する単語を示す情報および楽曲検索である旨を示す情報と共に単語列特定部42へ出力する。   On the other hand, when the user instructs the start of music search by voice via the input device 15, the likelihood calculating unit 41 extracts a feature quantity for each syllable from the voice signal captured via the microphone 14, and the first The extracted feature value is compared with the feature value of each word in the first dictionary data 51, and the likelihood of each word is calculated. Then, the likelihood calculating unit 41 outputs the calculated likelihood to the word string specifying unit 42 together with information indicating the corresponding word and information indicating that it is a music search.

単語列特定部42は、通常の音声認識である旨を示す情報と共に、単語および尤度を尤度算出部41から受け取った場合に、例えば尤度が最も高い単語を音声に対応する単語として特定し、特定した単語をコマンド実行部52へ出力する。コマンド実行部52は、単語列特定部42から出力された単語に対応するコマンドを実行する。   When the word string specifying unit 42 receives the word and likelihood from the likelihood calculating unit 41 together with information indicating that it is normal speech recognition, for example, the word string specifying unit 42 specifies the word with the highest likelihood as the word corresponding to the speech. The specified word is output to the command execution unit 52. The command execution unit 52 executes a command corresponding to the word output from the word string specifying unit 42.

一方、楽曲検索である旨を示す情報と共に、単語および尤度を尤度算出部41から受け取った場合、単語列特定部42は、例えば尤度が最も高い単語を音声に対応する単語として特定し、特定した複数の単語を単語列として楽曲データ抽出部43へ出力する。   On the other hand, when a word and likelihood are received from the likelihood calculating unit 41 together with information indicating that the music search is performed, the word string specifying unit 42 specifies, for example, the word having the highest likelihood as the word corresponding to the voice. The plurality of identified words are output to the music data extraction unit 43 as a word string.

なお、上記した実施形態において、コンピュータ60は、歌詞データを、通信回線11を介して歌詞データ格納サーバ20から取得するが、他の形態として、コンピュータ60は、入力装置15を介してユーザから入力されえたテキストデータや、メモリカード等の記録媒体を介して入力されたテキストデータ等を歌詞データとして、ユーザから指定された楽曲データに対応付けて楽曲情報格納部48に格納してもよい。   In the above-described embodiment, the computer 60 acquires the lyrics data from the lyrics data storage server 20 via the communication line 11. However, as another form, the computer 60 inputs from the user via the input device 15. The text data or text data input via a recording medium such as a memory card may be stored in the music information storage unit 48 in association with music data designated by the user as lyrics data.

また、上記した実施形態において、コンピュータ60は、楽曲データを取得した場合に、対応する歌詞データおよび単語の特徴量を外部のサーバから取得するが、他の形態として、コンピュータ60は、歌詞データおよび単語の特徴量を、地図データの更新時等、他のデータの送受信の際に併せて取得するようにしてもよい。   In the embodiment described above, when the music data is acquired, the computer 60 acquires the corresponding lyrics data and the feature amount of the word from an external server. You may make it acquire the feature-value of a word in the case of transmission / reception of other data, such as at the time of update of map data.

本発明の一実施形態にかかる楽曲検索システム10の構成を示すシステム構成図である。1 is a system configuration diagram showing a configuration of a music search system 10 according to an embodiment of the present invention. 歌詞データ格納サーバ20の機能構成の一例を示すブロック図である。3 is a block diagram illustrating an example of a functional configuration of a lyrics data storage server 20. FIG. 歌詞データ格納部21に格納されるデータの構造の一例を示す図である。It is a figure which shows an example of the structure of the data stored in the lyric data storage part. 音声データ格納サーバ30の機能構成の一例を示すブロック図である。3 is a block diagram illustrating an example of a functional configuration of an audio data storage server 30. FIG. 特徴データ格納部31に格納されるデータの構造の一例を示す図である。4 is a diagram illustrating an example of a structure of data stored in a feature data storage unit 31. FIG. 車載装置40の機能構成の一例を示すブロック図である。3 is a block diagram illustrating an example of a functional configuration of an in-vehicle device 40. FIG. 辞書データ格納部46に格納されるデータの構造の一例を示す図である。4 is a diagram illustrating an example of a structure of data stored in a dictionary data storage unit 46. FIG. 楽曲情報格納部48に格納されるデータの構造の一例を示す図である。It is a figure which shows an example of the structure of the data stored in the music information storage part. 楽曲データ取得時における楽曲検索システム10の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the music search system 10 at the time of music data acquisition. 楽曲データ再生時における楽曲検索システム10の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the music search system 10 at the time of music data reproduction | regeneration. 歌詞データ格納サーバ20、音声データ格納サーバ30、または車載装置40の機能を実現するコンピュータ60の一例を示すハードウェア構成図である。It is a hardware block diagram which shows an example of the computer 60 which implement | achieves the function of the lyrics data storage server 20, the audio | voice data storage server 30, or the vehicle equipment 40. 車載装置40の機能構成の他の例を示すブロック図である。It is a block diagram which shows the other example of a function structure of the vehicle equipment.

符号の説明Explanation of symbols

10・・・楽曲検索システム、11・・・通信回線、12・・・基地局、13・・・車両、14・・・マイク、15・・・入力装置、16・・・スピーカ、17・・・アンテナ、18・・・表示装置、19・・・記録媒体、20・・・歌詞データ格納サーバ、21・・・歌詞データ格納部、210・・・曲名、211・・・歌手名、212・・・アルバム名、213・・・歌詞データ、22・・・歌詞データ送信部、30・・・音声データ格納サーバ、31・・・特徴データ格納部、310・・・単語、311・・・特徴量、32・・・特徴データ送信部、40・・・車載装置、41・・・尤度算出部、42・・・単語列特定部、43・・・楽曲データ抽出部、44・・・再生部、45・・・特徴量取得部、46・・・辞書データ格納部、460・・・単語、461・・・特徴量、47・・・歌詞データ取得部、48・・・楽曲情報格納部、480・・・曲名、481・・・歌手名、482・・・アルバム名、483・・・楽曲データ、484・・・歌詞データ、49・・・楽曲データ取得部、50・・・第二の辞書データ、51・・・第一の辞書データ、52・・・コマンド実行部、60・・・コンピュータ、61・・・CPU、62・・・RAM、63・・・ROM、64・・・HDD、65・・・通信装置、66・・・入出力インターフェイス、67・・・メディアインターフェイス、68・・・記録媒体 DESCRIPTION OF SYMBOLS 10 ... Music search system, 11 ... Communication line, 12 ... Base station, 13 ... Vehicle, 14 ... Microphone, 15 ... Input device, 16 ... Speaker, 17 ... Antenna 18 Display device 19 Recording medium 20 Lyric data storage server 21 Lyric data storage unit 210 Song name 211 211 Singer name 212 .. Album name, 213... Lyric data, 22... Lyric data transmission unit, 30... Voice data storage server, 31... Feature data storage unit, 310. 32, feature data transmission unit, 40 ... in-vehicle device, 41 ... likelihood calculation unit, 42 ... word string identification unit, 43 ... music data extraction unit, 44 ... reproduction , 45... Feature quantity acquisition unit, 46... Dictionary data storage unit, 4 0 ... word, 461 ... feature, 47 ... lyric data acquisition unit, 48 ... music information storage unit, 480 ... song name, 481 ... singer name, 482 ... album name , 483 ... music data, 484 ... lyrics data, 49 ... music data acquisition unit, 50 ... second dictionary data, 51 ... first dictionary data, 52 ... command execution , 60 ... computer, 61 ... CPU, 62 ... RAM, 63 ... ROM, 64 ... HDD, 65 ... communication device, 66 ... input / output interface, 67 ... .Media interface, 68... Recording medium

Claims (7)

車両に搭載される車載装置であって、
楽曲データ毎に、当該楽曲の歌詞を示す歌詞データを格納する楽曲情報格納手段と、
楽曲データを格納する記録媒体から楽曲データを取得して前記楽曲情報格納手段に格納する楽曲データ取得手段と、
前記楽曲データ取得手段によって取得された楽曲データに対応する歌詞データを、外部から取得して前記楽曲情報格納手段に格納する歌詞データ取得手段と、
ユーザが口ずさんだ音声から当該音声が示す単語列を特定する音声認識手段と、
前記楽曲情報格納手段を参照して、前記音声認識手段によって特定された単語列と同一の単語列を含む歌詞データを特定し、特定した歌詞データに対応付けられている楽曲データを抽出する楽曲データ抽出手段と、
前記楽曲データ抽出手段によって抽出された楽曲データを再生する再生手段と
を備えることを特徴とする車載装置。
An in-vehicle device mounted on a vehicle,
For each piece of music data, music information storage means for storing lyrics data indicating the lyrics of the music,
Music data acquisition means for acquiring music data from a recording medium for storing music data and storing it in the music information storage means;
Lyrics data acquisition means for acquiring lyric data corresponding to the music data acquired by the music data acquisition means from outside and storing it in the music information storage means;
Voice recognition means for identifying a word string indicated by the voice from the voice spoken by the user;
Music data that refers to the music information storage means, identifies lyrics data that includes the same word string as the word string specified by the voice recognition means, and extracts music data associated with the specified lyrics data Extraction means;
A vehicle-mounted apparatus comprising: reproduction means for reproducing the music data extracted by the music data extraction means.
請求項1に記載の車載装置であって、
前記歌詞データ取得手段は、
前記車載装置の外部に設けられ、楽曲毎の歌詞データを格納する歌詞データ格納サーバから、通信回線を介して歌詞データを取得することを特徴とする車載装置。
The in-vehicle device according to claim 1,
The lyrics data acquisition means includes
An in-vehicle device, which is provided outside the in-vehicle device and acquires lyrics data via a communication line from a lyrics data storage server that stores lyrics data for each music piece.
請求項2に記載の車載装置であって、
前記歌詞データ取得手段は、
前記楽曲データ取得手段が新たに楽曲を取得して前記楽曲情報格納手段に格納した場合に、当該楽曲に対応する歌詞データを、前記歌詞データ格納サーバから取得して、当該楽曲データに対応付けて前記楽曲情報格納手段に格納することを特徴とする車載装置。
The in-vehicle device according to claim 2,
The lyrics data acquisition means includes
When the music data acquisition means acquires a new music and stores it in the music information storage means, the lyrics data corresponding to the music is acquired from the lyrics data storage server and associated with the music data. An in-vehicle device that is stored in the music information storage means.
請求項2に記載の車載装置であって、
前記歌詞データ取得手段は、
前記楽曲データ取得手段が新たに楽曲を取得して前記楽曲情報格納手段に格納した場合に、当該楽曲に対応する歌詞データの取得の可否をユーザに問い合わせ、ユーザから当該歌詞データの取得を許可された場合に、前記歌詞データ格納サーバから取得することを特徴とする車載装置。
The in-vehicle device according to claim 2,
The lyrics data acquisition means includes
When the song data acquisition unit newly acquires a song and stores it in the song information storage unit, the user is inquired about whether or not the lyrics data corresponding to the song can be acquired, and the user is permitted to acquire the lyrics data. The vehicle-mounted device is obtained from the lyrics data storage server.
請求項1から4のいずれか一項に記載の車載装置であって、
単語毎に、当該単語を発声した場合の特徴量を示す情報を格納する音声データ格納サーバから、指定された単語の特徴量を取得する特徴量取得手段をさらに備え、
前記音声認識手段は、
複数の単語のそれぞれを、対応する特徴量を示す情報と共に格納する辞書データ格納手段と、
ユーザが口ずさんだ音声をマイクを介して受信し、受信した音声の特徴量を算出し、算出した特徴量に基づいて、前記辞書データ格納手段に格納されている単語の中で、類似している割合が高いほど高い値を示す尤度を算出する尤度算出手段と、
前記尤度算出手段によって算出された尤度に基づいて、マイクを介して受信した音声に対応する単語列を特定する単語列特定手段と
を有し、
前記歌詞データ取得手段は、
歌詞データを外部から新たに取得した場合に、当該歌詞データ内の単語が、前記辞書データ格納手段内に格納されていないならば、前記特徴量取得手段に指示して、当該単語の特徴量を示す情報を前記音声データ格納サーバから取得させ、前記特徴量取得手段によって取得された特徴量を示す情報を、対応する単語と共に前記辞書データ格納手段に格納することを特徴とする車載装置。
The in-vehicle device according to any one of claims 1 to 4,
For each word, it further comprises a feature amount acquisition means for acquiring a feature amount of the designated word from an audio data storage server that stores information indicating the feature amount when the word is uttered,
The voice recognition means
Dictionary data storage means for storing each of a plurality of words together with information indicating a corresponding feature amount;
The voice received by the user is received through the microphone, the feature amount of the received voice is calculated, and the words stored in the dictionary data storage means are similar based on the calculated feature amount. Likelihood calculating means for calculating a likelihood indicating a higher value as the ratio is higher;
Word string specifying means for specifying a word string corresponding to speech received via a microphone based on the likelihood calculated by the likelihood calculating means;
The lyrics data acquisition means includes
When the lyrics data is newly acquired from the outside, if the word in the lyrics data is not stored in the dictionary data storage means, the feature quantity acquisition means is instructed to determine the feature quantity of the word. The in-vehicle apparatus characterized in that the information indicating the feature quantity acquired by the voice data storage server is stored in the dictionary data storage means together with the corresponding word.
請求項1から4のいずれか一項に記載の車載装置であって、
単語毎に、当該単語を発声した場合の特徴量を示す情報を格納する音声データ格納サーバから、指定された単語の特徴量を取得する特徴量取得手段をさらに備え、
前記音声認識手段は、
複数の単語のそれぞれを、対応する特徴量を示す情報と共に格納する、楽曲検索時の音声認識において使用される第一の辞書データ格納手段と、
複数の単語のそれぞれを、対応する特徴量を示す情報と共に格納する、楽曲検索時以外の通常の音声認識において使用される第二の辞書データ格納手段と、
ユーザが発した音声をマイクを介して受信し、受信した音声の特徴量を算出し、算出した特徴量に基づいて、楽曲検索時の音声認識では、前記第一の辞書データ格納手段に格納されている単語の中で、類似している割合が高いほど高い値を示す尤度を算出し、楽曲検索時以外の音声認識では、前記第二の辞書データ格納手段に格納されている単語の中で尤度を算出する尤度算出手段と、
前記尤度算出手段によって算出された尤度に基づいて、マイクを介して受信した音声に対応する単語列を特定する単語列特定手段と
を有し、
前記歌詞データ取得手段は、
歌詞データを外部から新たに取得した場合に、当該歌詞データ内の単語が、前記第一の辞書データ格納手段内に格納されていないならば、前記特徴量取得手段に指示して、当該単語の特徴量を示す情報を前記音声データ格納サーバから取得させ、前記特徴量取得手段によって取得された特徴量を示す情報を、対応する単語と共に前記第一の辞書データ格納手段に格納することを特徴とする車載装置。
The in-vehicle device according to any one of claims 1 to 4,
For each word, it further comprises a feature amount acquisition means for acquiring a feature amount of the designated word from an audio data storage server that stores information indicating the feature amount when the word is uttered,
The voice recognition means
First dictionary data storage means used in speech recognition at the time of music search, storing each of a plurality of words together with information indicating a corresponding feature amount;
Second dictionary data storage means used in normal speech recognition other than music search, storing each of a plurality of words together with information indicating a corresponding feature amount;
The voice uttered by the user is received through the microphone, the feature quantity of the received voice is calculated, and the voice recognition at the time of music search is stored in the first dictionary data storage means based on the calculated feature quantity. Among words stored in the second dictionary data storage means in speech recognition other than the time of music search. A likelihood calculating means for calculating the likelihood at
Word string specifying means for specifying a word string corresponding to speech received via a microphone based on the likelihood calculated by the likelihood calculating means;
The lyrics data acquisition means includes
When lyric data is newly acquired from the outside, if the word in the lyric data is not stored in the first dictionary data storage means, the feature quantity acquisition means is instructed to The information indicating the feature amount is acquired from the voice data storage server, and the information indicating the feature amount acquired by the feature amount acquisition unit is stored in the first dictionary data storage unit together with the corresponding word. In-vehicle device.
車両に搭載される車載装置と、
前記車載装置の外部に設けられ、楽曲毎の歌詞データを格納する歌詞データ格納サーバと
を備える楽曲検索システムであって、
前記車載装置は、
楽曲データ毎に、当該楽曲の歌詞を示す歌詞データを格納する楽曲情報格納手段と、
楽曲データを格納する記録媒体から楽曲データを取得して前記楽曲情報格納手段に格納する楽曲データ取得手段と、
前記楽曲データ取得手段によって取得された楽曲データに対応する歌詞データを、前記歌詞データ格納サーバから取得して前記楽曲情報格納手段に格納する歌詞データ取得手段と、
ユーザが口ずさんだ音声から当該音声が示す単語列を特定する音声認識手段と、
前記楽曲情報格納手段を参照して、前記音声認識手段によって特定された単語列と同一の単語列を含む歌詞データを特定し、特定した歌詞データに対応付けられている楽曲データを抽出する楽曲データ抽出手段と、
前記楽曲データ抽出手段によって抽出された楽曲データを再生する再生手段と
を備えることを特徴とする楽曲検索システム。
An in-vehicle device mounted on the vehicle;
A music search system that is provided outside the in-vehicle device and includes a lyrics data storage server that stores lyrics data for each song,
The in-vehicle device is
For each piece of music data, music information storage means for storing lyrics data indicating the lyrics of the music,
Music data acquisition means for acquiring music data from a recording medium for storing music data and storing it in the music information storage means;
Lyrics data acquisition means for acquiring lyrics data corresponding to the music data acquired by the music data acquisition means from the lyrics data storage server and storing it in the music information storage means;
Voice recognition means for identifying a word string indicated by the voice from the voice spoken by the user;
Music data that refers to the music information storage means, identifies lyrics data that includes the same word string as the word string identified by the voice recognition means, and extracts music data associated with the identified lyrics data Extraction means;
A music retrieval system comprising: reproduction means for reproducing the music data extracted by the music data extraction means.
JP2007264133A 2007-10-10 2007-10-10 In-vehicle device and music piece retrieval system Pending JP2009092977A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007264133A JP2009092977A (en) 2007-10-10 2007-10-10 In-vehicle device and music piece retrieval system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007264133A JP2009092977A (en) 2007-10-10 2007-10-10 In-vehicle device and music piece retrieval system

Publications (1)

Publication Number Publication Date
JP2009092977A true JP2009092977A (en) 2009-04-30

Family

ID=40665013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007264133A Pending JP2009092977A (en) 2007-10-10 2007-10-10 In-vehicle device and music piece retrieval system

Country Status (1)

Country Link
JP (1) JP2009092977A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843431A (en) * 2012-08-29 2012-12-26 广东好帮手电子科技股份有限公司 Vehicle-mounted online music system and control method thereof
CN111492424A (en) * 2018-10-19 2020-08-04 索尼公司 Information processing apparatus, information processing method, and information processing program
CN113392262A (en) * 2020-11-26 2021-09-14 腾讯科技(北京)有限公司 Music identification method, recommendation method, device, equipment and storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843431A (en) * 2012-08-29 2012-12-26 广东好帮手电子科技股份有限公司 Vehicle-mounted online music system and control method thereof
CN111492424A (en) * 2018-10-19 2020-08-04 索尼公司 Information processing apparatus, information processing method, and information processing program
CN113392262A (en) * 2020-11-26 2021-09-14 腾讯科技(北京)有限公司 Music identification method, recommendation method, device, equipment and storage medium

Similar Documents

Publication Publication Date Title
EP1693829B1 (en) Voice-controlled data system
KR101459136B1 (en) Audio system and method for creating playing list
JP2005266198A (en) Sound information reproducing apparatus and keyword creation method for music data
KR20080043358A (en) Method and system to control operation of a playback device
JP3835679B2 (en) Information processing system, information processing method, information processing apparatus, information processing method, recording medium, and program
JP2005284574A (en) On-vehicle information equipment, control method of on-vehicle information equipment, control program, and recording medium
JP3993751B2 (en) Text information read-out device, and music audio playback device, medium, and program incorporating the same
KR20040039885A (en) Method for recording and reproducing compression data
JP2003532164A (en) How to control the processing of content information
WO2006109488A1 (en) Information similarity discrimination device, and information similarity discrimination method
JP2008077746A (en) On-board audio system and recording medium
JP2009092977A (en) In-vehicle device and music piece retrieval system
JP2007080304A (en) Audio equipment and musical piece reproducing method
JP2007226880A (en) Reproduction device, search method, and computer program
JP2008186512A (en) Content reproducing device
JP2006338315A (en) Data selection system
JP3793738B2 (en) REPRODUCTION DEVICE, ITS METHOD, ITS PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
JP2006313467A (en) Content retrieving apparatus and content retrieving method
JP2009204872A (en) Creation system of dictionary for speech recognition
US20060004723A1 (en) Device, method, and computer product for reading tag data included in compressed data file
JP2005285274A (en) Title display information generator
JP2002041527A (en) Method and device for music information management
JP2005196833A (en) Data reproducing apparatus and management method of reproduced data in data reproducing apparatus
JP2008052843A (en) Lyrics display system in car-audio
KR101576683B1 (en) Method and apparatus for playing audio file comprising history storage

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100215