JP2005274992A - Music identification information retrieving system, music purchasing system, music identification information obtaining method, music purchasing method, audio signal processor and server device - Google Patents

Music identification information retrieving system, music purchasing system, music identification information obtaining method, music purchasing method, audio signal processor and server device Download PDF

Info

Publication number
JP2005274992A
JP2005274992A JP2004088324A JP2004088324A JP2005274992A JP 2005274992 A JP2005274992 A JP 2005274992A JP 2004088324 A JP2004088324 A JP 2004088324A JP 2004088324 A JP2004088324 A JP 2004088324A JP 2005274992 A JP2005274992 A JP 2005274992A
Authority
JP
Japan
Prior art keywords
music
audio signal
identification information
signal processing
server device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004088324A
Other languages
Japanese (ja)
Inventor
Taka Murakoshi
象 村越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004088324A priority Critical patent/JP2005274992A/en
Publication of JP2005274992A publication Critical patent/JP2005274992A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily obtain music identification information and to purchase the music even though the music identification information that is used to identity the music is not readily available. <P>SOLUTION: The followings are provided, i.e., a server device and an audio signal processor which is connected to the server device through a communication network. The audio signal processor transmits a music identification information retrieving request that includes the featured values of music to the server device. The server device specifies music from the featured values of the music, obtains its music identification information and transmits the information to the audio signal processor. The audio signal processor generates a music purchasing request using the received music identification information and transmits the music purchasing request to the contents distribution server. The server device specifies the music from the music identification information and downloads audio data of the music to the audio signal processor. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、例えば放送された楽曲の曲名や楽曲ID(楽曲識別情報)などの楽曲識別用情報を取得したり、前記放送された楽曲を高品位で購入したりする場合に適用して好適な楽曲識別用情報検索システム、楽曲購入システム、楽曲識別用情報取得方法、楽曲購入方法、オーディオ信号処理装置およびサーバ装置に関する。   The present invention is suitable for application to, for example, acquiring music identification information such as a song name or song ID (music identification information) of a broadcasted song or purchasing the broadcasted song with high quality. The present invention relates to a music identification information search system, a music purchase system, a music identification information acquisition method, a music purchase method, an audio signal processing device, and a server device.

例えばラジオ放送などを通じて得られるアナログ形式の楽曲のオーディオ信号は、伝送路の制約などから一般的に低品質なものにとどまっている。   For example, audio signals of music in an analog format obtained through radio broadcasting or the like generally have low quality due to transmission path restrictions.

そこで、ラジオ放送などを通じて聴取した楽曲を、高品質のオーディオ信号からなるものとして取得(購入)しようとする場合には、聴取者は楽曲を識別するための曲名やアーティスト名、アルバム名などを頼りに、CD(Compact Disc)として購入したり、インターネットを通じてサーバ装置から楽曲のオーディオデータをダウンロードしたりして、購入するようにしている(例えば特許文献1(特開2000−90039公報)など参照)。   Therefore, when trying to acquire (purchase) a song that has been listened to through radio broadcasting or the like as a high-quality audio signal, the listener relies on the song name, artist name, album name, etc. to identify the song. In addition, it is purchased as a CD (Compact Disc) or downloaded by downloading audio data of music from a server device via the Internet (see, for example, Patent Document 1 (Japanese Patent Laid-Open No. 2000-90039)). .

上記の特許文献は、次の通りである。
特開2000−90039号公報
The above-mentioned patent documents are as follows.
JP 2000-90039 A

しかしながら、上記の楽曲の購入方法においては、ユーザは、放送された楽曲を特定する曲名やアーティスト名、アルバム名などを聞き漏らしたり、失念したりした場合には、もはや機能する楽曲を購入することができなくなるという問題があった。   However, in the above method for purchasing music, if a user misses or forgets a song name, artist name, album name, etc. that identifies a broadcasted song, the user can purchase a song that no longer functions. There was a problem that it was impossible.

インターネットを通じた楽曲の配信方法においては、試聴用の楽曲をダウンロードしてそれを再生して、所望の楽曲かどうかを確認することができるものもあるが、その場合には、所望の楽曲を見つけ出すまでに時間や手間を要し、ユーザが、楽曲を特定する曲名やアーティスト名、アルバム名などを失念している場合の検索方法としては、実用にはならない。   Some music distribution methods via the Internet allow you to download a preview song and play it back to check if it is the desired song. In that case, find the desired song. This is not practical as a search method when time and effort are required until the user has forgotten the song name, artist name, album name, etc. for specifying the song.

この発明は、以上の点にかんがみ、楽曲を識別するための楽曲識別用情報が不明な場合においても、容易に楽曲識別用情報を取得することができ、ひいては、当該楽曲の購入を可能にすることができるシステムおよび方法を提供することを目的とする。   In view of the above points, the present invention can easily acquire music identification information even when the music identification information for identifying the music is unknown, and thus enables the purchase of the music. It is an object to provide a system and method that can do this.

上記の課題を解決するために、請求項1の楽曲識別用情報検索システムは、
サーバ装置と、前記サーバ装置に対して通信ネットワークを通じて接続されるオーディオ信号処理装置とからなり、
前記オーディオ信号処理装置は、
オーディオ信号を音響変換再生出力するために音響変換手段に出力する手段と、
前記音響変換手段を通じて音声を聴取しているユーザの操作入力を受け付ける操作入力受付手段と、
前記操作入力受付手段で前記操作入力を受け付けたときに前記音響変換再生出力している対象オーディオ信号から楽曲部分を切り出す切り出し手段と、
前記切り出し手段により切り出された楽曲部分から、当該楽曲の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された前記楽曲の特徴量を含む情報検索要求を前記サーバ装置に送る情報検索要求手段と、
前記情報検索要求に応じて前記サーバ装置から前記通信ネットワークを通じて送られてくる前記楽曲を識別するための楽曲識別用情報を受信して、利用者に提示する手段と、
を備え、
前記サーバ装置は、
前記楽曲の特徴量と、前記楽曲識別用楽曲識別用情報とを対応付けて記憶する楽曲識別用情報記憶部と、
前記情報検索要求を受信し、当該情報検索要求に含まれる前記楽曲の特徴量に基づいて前記楽曲識別用情報記憶部を参照して、対応する前記楽曲識別用情報を検出する検出手段と、
前記検出手段で検出した前記楽曲識別用情報を、前記情報検索要求してきた前記オーディオ信号処理装置に、前記通信ネットワークを通じて送信する送信手段と、
を備える
ことを特徴とする。
In order to solve the above-described problem, the music identification information retrieval system according to claim 1 includes:
A server device and an audio signal processing device connected to the server device through a communication network;
The audio signal processing device includes:
Means for outputting audio signals to sound conversion means for sound conversion reproduction output;
Operation input receiving means for receiving an operation input of a user who is listening to sound through the acoustic conversion means;
A cutting-out unit that cuts out a musical piece from the target audio signal that is being output for acoustic conversion when the operation input is received by the operation input receiving unit;
Feature amount extraction means for extracting the feature amount of the music piece from the music piece cut out by the cutout means;
Information search request means for sending an information search request including the feature quantity of the music extracted by the feature quantity extraction means to the server device;
Means for receiving music identification information for identifying the music sent from the server device through the communication network in response to the information search request, and presenting it to the user;
With
The server device
A music identification information storage unit that stores the characteristic amount of the music and the music identification music identification information in association with each other;
Detecting means for receiving the information search request and detecting the corresponding music identification information by referring to the music identification information storage unit based on the feature amount of the music included in the information search request;
Transmitting means for transmitting the music identification information detected by the detecting means to the audio signal processing apparatus that has requested the information search through the communication network;
It is characterized by providing.

例えば請求項2の発明のように、検索の対象オーディオ信号が放送信号受信部で受信されたオーディオ信号である場合を例にとると、当該放送番組を聴取していたユーザが、そのときに聴取していた楽曲の高品位のものを購入したいと希望したい場合には、ユーザは、オーディオ信号処理装置において、そのための操作入力をする。   For example, as in the second aspect of the present invention, when the search target audio signal is an audio signal received by the broadcast signal receiving unit, the user who has listened to the broadcast program listens at that time. When the user wants to purchase a high-quality piece of music that has been played, the user inputs an operation for that purpose in the audio signal processing apparatus.

すると、オーディオ信号処理装置では、操作入力受付手段で当該操作入力を受け付け、切り出し手段により聴取していた放送信号から、楽曲部分を切り出す。次に、特徴量抽出手段により、切り出された楽曲部分から、当該楽曲の特徴量を抽出する。そして、オーディオ信号処理装置は、抽出した楽曲の特徴量を含む情報検索要求を、サーバ装置に送る。   Then, in the audio signal processing device, the operation input is accepted by the operation input accepting unit, and the music portion is cut out from the broadcast signal listened to by the cutout unit. Next, the feature amount extraction unit extracts the feature amount of the music piece from the cut out music piece portion. Then, the audio signal processing apparatus sends an information search request including the extracted music feature amount to the server apparatus.

サーバ装置は、この情報検索要求を受信すると、検出手段において、当該情報検索要求に含まれる楽曲の特徴量に基づいて楽曲識別用情報記憶部を参照して、前記楽曲の特徴量に対応する楽曲識別用情報を検出する。そして、検出した楽曲識別用情報を情報検索要求してきたオーディオ信号処理装置に返送する。   When receiving the information search request, the server device refers to the music identification information storage unit based on the feature quantity of the music included in the information search request, and the music corresponding to the feature quantity of the music is detected. Detect identification information. Then, the detected music identification information is returned to the audio signal processing apparatus that has requested information retrieval.

これにより、オーディオ信号処理装置のユーザは、放送された楽曲の曲名やアーティスト名、コンテンツ識別情報などの楽曲識別用情報を、その再生音を聴取しながら、指示操作するだけで、容易に取得することができる。したがって、オーディオ信号処理装置から、取得した楽曲識別用情報を用いて、高品質の楽曲の配信サーバにアクセスして、配信要求することにより、検索して楽曲識別用情報を取得した楽曲についての高品質のオーディオデータを取得することが可能になる。   As a result, the user of the audio signal processing apparatus can easily acquire the music identification information such as the music title, artist name, and content identification information of the broadcasted music simply by performing an instruction operation while listening to the reproduced sound. be able to. Therefore, by using the acquired music identification information from the audio signal processing apparatus, the high-quality music distribution server is accessed and a distribution request is made, so that the high-quality information about the music that has been searched and acquired the music identification information is obtained. Quality audio data can be acquired.

この発明によれば、楽曲を識別するための楽曲識別用情報が不明な場合において、その再生音を聴取しながら、指示操作するだけで、前記楽曲識別用情報を容易に取得することができる。   According to the present invention, when the music identification information for identifying the music is unknown, the music identification information can be easily acquired simply by performing an instruction operation while listening to the reproduced sound.

また、楽曲を識別するための楽曲識別用情報が不明な場合において、その再生音を聴取しながら、指示操作するだけで、高品質の楽曲の配信を受けることが可能になる。   Further, when music identification information for identifying music is unknown, it is possible to receive distribution of high quality music simply by performing an instruction operation while listening to the reproduced sound.

以下、この発明による楽曲識別用情報検索システムおよび楽曲購入システムの実施形態を、図を参照しながら説明する。   Embodiments of a music identification information search system and a music purchase system according to the present invention will be described below with reference to the drawings.

[第1の実施形態によるシステムの概要]
図1は、実施形態のシステム構成の概要を示すもので、この実施形態では、オーディオ信号処理装置1と、楽曲識別用情報検索サーバ装置2と、コンテンツ配信サーバ装置3とかなる。オーディオ信号処理装置1と、楽曲識別用情報検索サーバ装置2およびコンテンツ配信サーバ装置3とは、インターネットなどの通信ネットワーク4を通じて接続されている。
[Outline of System According to First Embodiment]
FIG. 1 shows an outline of the system configuration of the embodiment. In this embodiment, the audio signal processing device 1, the music identification information search server device 2, and the content distribution server device 3 are used. The audio signal processing device 1, the music identification information search server device 2, and the content distribution server device 3 are connected through a communication network 4 such as the Internet.

この実施形態のオーディオ信号処理装置1は、後で詳述するように、楽曲識別用情報の検索要求機能、楽曲購入要求機能の他、ラジオ放送信号を受信してスピーカを通じて音響変換再生出力する機能と、外部入力のオーディオ信号を音響変換再生出力する機能と、ラジオ放送信号から得た楽曲のオーディオ信号や、外部入力オーディオ信号を記録し、また、記録したオーディオ信号を再生して、スピーカを通じて音響変換再生出力する機能を備える。   As will be described in detail later, the audio signal processing apparatus 1 according to this embodiment has a function for receiving a radio broadcast signal and performing acoustic conversion reproduction output through a speaker in addition to a music identification information search request function and a music purchase request function. And audio conversion playback output of externally input audio signals, recording of audio signals of music obtained from radio broadcast signals and external input audio signals, and playback of recorded audio signals and sound through speakers A function for converting and outputting is provided.

なお、オーディオ信号処理装置1は、スピーカを備えるのではなく、イヤホンジャックやヘッドホンジャックなどのオーディオ信号の出力端子を備え、ユーザは、イヤホンやヘッドホンで、再生音を聴取するようにするものであっても良い。   The audio signal processing apparatus 1 does not include a speaker, but includes an audio signal output terminal such as an earphone jack or a headphone jack so that the user can listen to the reproduced sound with the earphone or the headphone. May be.

そして、オーディオ信号処理装置1は、聴取ユーザが操作する操作部11を備える。そして、スピーカから楽曲の音声が放音されているときに、それを聴取していたユーザが、前記操作部11で、楽曲の識別用情報の検索要求を意味する特定の入力操作をすると、オーディオ信号処理装置1は、当該特定の入力操作がなされていた時点の前後の所定の区間からなる所定区間のオーディオ信号から楽曲部分を切り出し、切り出した楽曲部分から当該楽曲の特徴量を算出し、その算出した特徴量を含む楽曲識別用情報の検索要求を楽曲識別用情報検索サーバ装置2に送る。   The audio signal processing apparatus 1 includes an operation unit 11 that is operated by a listening user. When a user who has listened to the sound of the music from the speaker performs a specific input operation that means a search request for information for identifying the music on the operation unit 11, the audio The signal processing device 1 cuts out a music part from an audio signal of a predetermined section including a predetermined section before and after the specific input operation is performed, calculates a feature amount of the music from the cut out music part, A search request for music identification information including the calculated feature amount is sent to the music identification information search server apparatus 2.

楽曲識別用情報検索サーバ装置2は、この実施形態では、各楽曲の特徴量と、当該楽曲の楽曲識別用情報とを対応付けて記憶する記憶装置21を備える。そして、楽曲識別用情報検索サーバ装置2では、オーディオ信号処理装置1から、前記楽曲識別用情報の検索要求を受信すると、受信した検索要求に含まれる楽曲の特徴量と、前記記憶装置21に格納されている楽曲の特徴量とを比較して、両特徴量が一致する楽曲を記憶装置21から検索する。   In this embodiment, the music identification information search server device 2 includes a storage device 21 that stores the feature amount of each music and the music identification information of the music in association with each other. When the music identification information search server device 2 receives a search request for the music identification information from the audio signal processing device 1, the music feature amount included in the received search request is stored in the storage device 21. Compared with the feature amount of the music that has been performed, the music device 21 searches the storage device 21 for the music with the same feature amount.

そして、特徴量が一致する楽曲を、記憶装置21に記憶されている楽曲の特徴量の中から見つけ出すと、サーバ装置2は、当該見つけ出された楽曲の特徴量に対応して記憶装置21に記憶されている楽曲識別用情報を読み出し、当該楽曲識別用情報を、検索結果として、検索要求してきたオーディオ信号処理装置1に返信する。   When the music having the same feature value is found from the feature values of the music stored in the storage device 21, the server device 2 stores the music in the storage device 21 corresponding to the feature value of the found music. The stored music identification information is read out, and the music identification information is returned as a search result to the audio signal processing apparatus 1 that has requested the search.

なお、楽曲識別用情報検索サーバ装置2では、当該楽曲識別用情報検索サービスについての課金処理も行なうようにする。   Note that the music identification information search server device 2 also performs billing processing for the music identification information search service.

当該楽曲識別用情報の検索サービスが会員登録制でない場合には、楽曲識別用情報検索サーバ装置2では、当該オーディオ信号処理装置1からの検索要求に対して、課金のための情報(例えば、住所、氏名、クレジット番号や銀行口座番号等の情報)の送信を要求して、当該課金のための情報を取得して、課金処理を実行するようにする。   When the music identification information search service is not a member registration system, the music identification information search server device 2 responds to a search request from the audio signal processing device 1 with information for billing (for example, an address). , Information such as name, credit number, bank account number, etc.) is requested, information for the accounting is acquired, and accounting processing is executed.

また、当該楽曲識別用情報の検索サービスが会員登録制であって、会員の住所、氏名、クレジット番号や銀行口座番号等の情報が、会員番号やオーディオ信号処理装置1の装置ID(IDは、識別情報)などと対応して、楽曲識別用検索サーバ装置2に登録されていて、会員管理メモリに記憶されて管理されている場合には、楽曲識別用情報検索サーバ装置2は、課金のための情報として、会員番号や装置IDを取得し、それらの情報と、会員管理メモリの記憶情報とから課金処理を実行するようにする。   In addition, the music identification information search service is a member registration system, and information such as a member's address, name, credit number, and bank account number is a member number or a device ID of the audio signal processing device 1 (ID is: If the information is registered in the music identification search server device 2 and stored and managed in the member management memory, the music identification information search server device 2 is charged for charging. As the information, the member number and the device ID are acquired, and the charging process is executed from the information and the stored information in the member management memory.

検索要求の結果として楽曲識別用情報を受信したオーディオ信号処理装置1は、この実施形態では、受信した楽曲識別用情報をディスプレイに表示する。また、オーディオ信号処理装置1は、受信した楽曲識別用情報のディスプレイ表示に伴って、ユーザに当該楽曲のコンテンツの購入をするか否かの問い合わせを行なう。   In this embodiment, the audio signal processing apparatus 1 that has received the music identification information as a result of the search request displays the received music identification information on the display. Also, the audio signal processing apparatus 1 inquires of the user whether or not to purchase the content of the music piece with the display of the received music identification information.

この場合に、ディスプレイには、検索の結果として、楽曲の曲名、アーティスト名などが表示されるので、ユーザは、それを見て、当該楽曲を購入するかどうかを決めることができる。   In this case, as a result of the search, the song name, artist name, and the like are displayed on the display, and the user can determine whether or not to purchase the song by looking at it.

前記ディスプレイに表示された問い合わせに対して、ユーザが購入の意思表示を操作部11を通じて操作入力したときにのみ、この実施形態のオーディオ信号処理装置1は、受信した楽曲識別用情報を含む当該楽曲の購入要求を、通信ネットワーク4を通じてコンテンツ配信サーバ装置3に送るようにする。   In response to the inquiry displayed on the display, the audio signal processing apparatus 1 according to this embodiment only receives the music identification information including the received music identification information when the user inputs a purchase intention display through the operation unit 11. Is sent to the content distribution server device 3 through the communication network 4.

ここで、この購入要求の発行は、検索要求の結果として楽曲識別用情報を受信したことにより、オーディオ信号処理装置1が自動的に行なうようにしてもよい。   Here, the issue of the purchase request may be automatically performed by the audio signal processing apparatus 1 when the music identification information is received as a result of the search request.

なお、購入要求に含める楽曲識別用情報は、曲名やアーティスト名などは送らずに、楽曲IDのみを送るようにしてもよい。   Note that the music identification information included in the purchase request may be sent only with the music ID without sending the music title or artist name.

オーディオ信号処理装置1からの購入要求を受信したコンテンツ配信サーバ装置3は、当該購入要求に含まれる楽曲識別用情報から、対応する楽曲コンテンツを検出する。そして、コンテンツ配信サーバ装置3は、検出した楽曲コンテンツの高品質のオーディオデータを、通信ネットワークを通じてオーディオ信号処理装置1に配信する。   The content distribution server device 3 that has received the purchase request from the audio signal processing device 1 detects the corresponding music content from the music identification information included in the purchase request. Then, the content distribution server device 3 distributes the high-quality audio data of the detected music content to the audio signal processing device 1 through the communication network.

なお、コンテンツ配信サーバ装置3では、当該楽曲コンテンツデータの配信サービスについての課金処理も行なうようにする。   Note that the content distribution server device 3 also performs billing processing for the music content data distribution service.

当該楽曲コンテンツデータの配信サービスが会員登録制でない場合には、コンテンツ配信サーバ装置3では、オーディオ信号処理装置1からの購入要求に対して、課金のための情報(例えば、住所、氏名、クレジット番号や銀行口座番号等の情報)の送信を要求して、当該課金のための情報を取得して、課金処理を実行するようにする。   When the distribution service of the music content data is not a membership registration system, the content distribution server device 3 responds to a purchase request from the audio signal processing device 1 with information for accounting (for example, address, name, credit number). And information such as a bank account number) is requested, information for the accounting is acquired, and accounting processing is executed.

また、当該楽曲コンテンツデータの配信サービスが会員登録制であって、会員の住所、氏名、クレジット番号や銀行口座番号等の情報が、会員番号やオーディオ信号処理装置1の装置ID(IDは、識別情報)などと対応して、コンテンツ配信サーバ装置3に登録されていて、会員管理メモリに記憶されて管理されている場合には、コンテンツ配信サーバ装置3は、課金のための情報として、会員番号や装置IDを取得し、それらの情報と、会員管理メモリの記憶情報とから課金処理を実行するようにする。   In addition, the music content data distribution service is a member registration system, and information such as a member's address, name, credit number, and bank account number is a member number and a device ID of the audio signal processing device 1 (ID is an identification). Information), the content distribution server device 3 stores the member number as information for billing when it is registered in the content distribution server device 3 and stored and managed in the member management memory. And the device ID are acquired, and the charging process is executed from the information and the information stored in the member management memory.

なお、コンテンツ配信サーバ装置3は、検出した楽曲コンテンツの高品質のオーディオデータを、通信ネットワークを通じてオーディオ信号処理装置1にダウンロードすることにより配信するのではなく、当該高品質のオーディオデータを記録した光ディスクなどの記録媒体を、購入要求したオーディオ信号処理装置1のユーザに郵送などにより配信するようにしてもよい。   The content distribution server device 3 does not distribute high-quality audio data of the detected music content by downloading it to the audio signal processing device 1 through a communication network, but an optical disc on which the high-quality audio data is recorded. Such a recording medium may be distributed by mail or the like to the user of the audio signal processing apparatus 1 who requested the purchase.

その場合の課金処理は、上述のような通信ネットワーク4を通じた情報のやり取りに基づいて行なう場合の他、記録媒体を代金引換により、購入ユーザに引き渡す方法を用いることができる。   The charging process in that case can be performed based on the exchange of information through the communication network 4 as described above, or a method of delivering the recording medium to the purchase user by price exchange.

[オーディオ信号処理装置1のハードウエア構成例]
図2は、オーディオ信号処理装置1のハードウエア構成例を示すブロック図である。この実施形態のオーディオ信号処理装置1は、システムバス100に対して、CPU(Central Processing Unit)101と、プログラムROM(Read Only Memory)102と、ワークエリア用RAM(Random Access Memory)103とが接続されて成るマイクロコンピュータにより、処理動作が制御される構成とされている。
[Hardware Configuration Example of Audio Signal Processing Apparatus 1]
FIG. 2 is a block diagram illustrating a hardware configuration example of the audio signal processing apparatus 1. In the audio signal processing apparatus 1 of this embodiment, a CPU (Central Processing Unit) 101, a program ROM (Read Only Memory) 102, and a work area RAM (Random Access Memory) 103 are connected to a system bus 100. The processing operation is controlled by the microcomputer.

そして、前述したように、この実施形態のオーディオ信号処理装置1は、ラジオ放送の受信再生機能と、ラジオ放送番組を記録する機能と、外部入力されたオーディオ信号を音響再生出力する機能と、外部入力されたオーディオ信号を記録する機能と、記録されたオーディオ信号を再生し、音響再生出力する機能と、楽曲識別用情報の検索要求機能と、楽曲購入要求機能とを備え、これらの機能を実現するための構成部分を備えている。   As described above, the audio signal processing apparatus 1 of this embodiment includes a radio broadcast reception / playback function, a function of recording a radio broadcast program, a function of sound reproduction of an externally input audio signal, and an external A function that records the input audio signal, a function that plays back the recorded audio signal, plays and outputs sound, a search request function for music identification information, and a music purchase request function. The component part for doing is provided.

すなわち、システムバス100には、操作部11が操作部インターフェース104を通じて接続されている。操作部11は、前述したような検索要求指示のための操作キー、購入要求指示のための操作キー、後述するラジオ放送受信のための選局用のキーや、ラジオ放送受信モードと、記憶データの再生モードと、外部入力モードなどを切り替えるためのモード切り替えキーなどを含む。   That is, the operation unit 11 is connected to the system bus 100 through the operation unit interface 104. The operation unit 11 includes an operation key for a search request instruction as described above, an operation key for a purchase request instruction, a tuning key for radio broadcast reception described later, a radio broadcast reception mode, and stored data. Mode switching keys for switching between the playback mode and the external input mode.

なお、操作部11の代わりに、リモコン送信機(リモートコマンダ)と、リモコン受信部を設け、リモートコマンダに上述した操作部11と同様のキーを設けるようにしてもよい。   Instead of the operation unit 11, a remote control transmitter (remote commander) and a remote control reception unit may be provided, and the remote commander may be provided with the same keys as the operation unit 11 described above.

また、検索要求指示のための操作キー、購入要求指示のための操作キーの代わりに、ディスプレイ119に表示されたアイコンボタンと、操作部11に設けられた当該アイコンボタンを操作するようにする手段とからなるソフトウエアキーであってもよい。   Further, instead of the operation key for search request instruction and the operation key for purchase request instruction, means for operating the icon button displayed on the display 119 and the icon button provided on the operation unit 11 is provided. Software key consisting of

また、オーディオ信号処理装置1は、外部入力端子として、ライン入力端子12と、マイクロホン端子13とを備える。これら外部入力端子12,13は、外部入力インターフェース105を通じてシステムバス100に接続されている。   The audio signal processing device 1 also includes a line input terminal 12 and a microphone terminal 13 as external input terminals. These external input terminals 12 and 13 are connected to the system bus 100 through the external input interface 105.

ライン入力端子12からは、他のオーディオ機器から送出される楽曲のオーディオ信号が入力される。マイクロホン端子13からは、ユーザなどの人が歌唱したときに、マイクロホンで収音された音声のオーディオ信号が入力される。例えばユーザ等がうろ覚えの楽曲のコンテンツの楽曲識別用情報や、当該楽曲コンテンツを購入したい場合に、マイクロホン端子13から入力されるオーディオ信号が、後述する対象オーディオ信号となって、楽曲特徴量の抽出対象として用いられることになる。   From the line input terminal 12, an audio signal of a music sent from another audio device is input. When a person such as a user sings, an audio signal of sound collected by the microphone is input from the microphone terminal 13. For example, the music identification information of the content of the music that the user or the like remembers, or the audio signal input from the microphone terminal 13 when the user wants to purchase the music content becomes the target audio signal described later, and extracts the music feature amount It will be used as a target.

また、この実施形態のオーディオ信号処理装置1は、ラジオ放送再生機能およびオーディオ信号の音響再生出力機能を実現するために、ラジオ放送受信部15と、復調部16と、D/A(Digital−to−Analog)変換器17と、オーディオ出力アンプ18と、スピーカ19とを備える。   In addition, the audio signal processing apparatus 1 of this embodiment includes a radio broadcast receiving unit 15, a demodulating unit 16, and a D / A (Digital-to) to realize a radio broadcast reproduction function and an audio signal sound reproduction output function. -Analog) converter 17, audio output amplifier 18, and speaker 19.

ラジオ放送受信部15には、I/Oポート106を通じて、操作部11を通じたユーザの選局入力に応じた番組選局制御信号が供給される。このラジオ放送受信部15では、アンテナ14にて受信された放送信号から、前記番組選局制御信号に基づいて、ユーザが操作部11を通じて指定した放送チャンネルの番組の信号が選択される。   The radio broadcast receiving unit 15 is supplied with a program channel selection control signal corresponding to a user channel selection input through the operation unit 11 through the I / O port 106. In the radio broadcast receiving unit 15, the program signal of the broadcast channel designated by the user through the operation unit 11 is selected from the broadcast signal received by the antenna 14 based on the program tuning control signal.

ラジオ放送受信部15からの信号は復調部16に供給されて復調され、オーディオ信号インターフェース107においてデジタル信号とされて、システムバス100に供給される。そして、ラジオ放送受信モードのときには、システムバス100に入力されたデジタルオーディオ信号は、リングバッファ108に一時記憶されると共に、I/Oポート109を通じてD/A変換器17に供給されてアナログオーディオ信号に戻される。そして、D/A変換器17からのオーディオ信号がアンプ18を通じてスピーカ19に供給され、音響再生される。   The signal from the radio broadcast receiver 15 is supplied to the demodulator 16 and demodulated, converted into a digital signal at the audio signal interface 107 and supplied to the system bus 100. In the radio broadcast reception mode, the digital audio signal input to the system bus 100 is temporarily stored in the ring buffer 108 and supplied to the D / A converter 17 through the I / O port 109 to be an analog audio signal. Returned to Then, the audio signal from the D / A converter 17 is supplied to the speaker 19 through the amplifier 18 and is reproduced.

I/Oポート109、D/A変換器17、アンプ18およびスピーカ19の部分は、音響再生出力するための機能部分であり、ラジオ放送番組のみではなく、外部入力インターフェース105を通じて入力されたオーディオ信号も、この機能部分が用いられて音響再生される。さらに、後述するように、記録されたオーディオ信号を再生して、音響再生する場合にも、この音響再生出力するための機能部分が用いられる。   The I / O port 109, the D / A converter 17, the amplifier 18 and the speaker 19 are functional parts for sound reproduction and output, and are not only radio broadcast programs but also audio signals input through the external input interface 105. Also, this function part is used to reproduce sound. Further, as will be described later, when reproducing the recorded audio signal and reproducing the sound, a functional portion for outputting and outputting the sound is used.

なお、ラジオ放送番組の音響再生出力のための構成としては、復調部16からのオーディオ信号を、アンプ18を通じてスピーカ19に供給するようにしてもよい。その場合には、オーディオ信号処理装置1には、モード切り替えキーの操作に応じて発生するモード切り替え信号により、ラジオ放送受信モードのときには、復調部16からのオーディオ信号を選択し、その他のモードのときには、D/A変換器17からのオーディオ信号を選択するように制御される選択回路を設けるようにされる。   Note that, as a configuration for sound reproduction output of a radio broadcast program, an audio signal from the demodulator 16 may be supplied to the speaker 19 through the amplifier 18. In that case, the audio signal processing apparatus 1 selects the audio signal from the demodulator 16 in the radio broadcast reception mode by the mode switching signal generated in response to the operation of the mode switching key, and selects other modes. In some cases, a selection circuit that is controlled to select an audio signal from the D / A converter 17 is provided.

また、オーディオ信号の記録および再生機能のために、オーディオ信号処理装置1においては、例えばハードディスク装置からなるデータ格納装置110がシステムバス100に接続されると共に、記録エンコード/再生デコード部111がシステムバス100に接続される。   For the audio signal recording and reproduction function, in the audio signal processing apparatus 1, a data storage device 110 made of, for example, a hard disk device is connected to the system bus 100, and a recording encoding / reproducing decoding unit 111 is connected to the system bus. 100.

そして、ラジオ放送信号の記録時には、オーディオ信号インターフェース107を通じて入力されたオーディオ信号が、記録エンコード/再生デコード部111で、データ格納装置110に格納するための形式の信号に変換されて、データ格納装置110に格納される。また、外部入力信号の記録時には、外部入力インターフェース105を通じて入力されたオーディオ信号が、記録エンコード/再生デコード部111で、データ格納装置110に格納するための形式の信号に変換されて、データ格納装置110に格納される。この場合に、記録エンコード処理として、オーディオ信号をデータ圧縮して、データ格納装置110に格納するようにしても良い。   At the time of recording a radio broadcast signal, the audio signal input through the audio signal interface 107 is converted into a signal in a format for storage in the data storage device 110 by the recording encoding / playback decoding unit 111, and the data storage device 110. When recording an external input signal, an audio signal input through the external input interface 105 is converted into a signal in a format for storage in the data storage device 110 by the recording encoding / playback decoding unit 111, and the data storage device 110. In this case, as a recording encoding process, the audio signal may be compressed and stored in the data storage device 110.

なお、この実施形態では、オーディオ信号処理装置1は、リングバッファ108を備え、常時、当該リングバッファメモリ108の記憶容量に応じた時間分だけ、現在時点よりも前からのオーディオデータをリングバッファ108に保持することができる。   In this embodiment, the audio signal processing apparatus 1 includes the ring buffer 108, and always transmits audio data from before the current point in time according to the storage capacity of the ring buffer memory 108 to the ring buffer 108. Can be held in.

一般に、ラジオ放送信号や外部入力信号の再生音を聴取しながら、現在放送中の楽曲を録音したいとして、操作部11の録音ボタンにより録音オン操作したときには、当該録音したい楽曲が既に再生開始されてしまっているため、録音ボタン操作前の楽曲部分がかけてしまう。しかしながら、この実施形態では、上述のように、リングバッファ108に、録音ボタン操作前のオーディオ信号が保持されているので、当該リングバッファ108に保持されているオーディオ信号から、データ格納装置110へのデータ格納を行なうようにすることにより、楽曲の先頭からデータ格納装置110にデータを格納することが可能になる。   In general, when listening to the playback sound of a radio broadcast signal or an external input signal and recording the currently broadcasted music, when the recording is turned on by the recording button of the operation unit 11, the music to be recorded is already started to be played back. As a result, the music part before the recording button operation is applied. However, in this embodiment, as described above, since the audio signal before the recording button operation is held in the ring buffer 108, the audio signal held in the ring buffer 108 is transferred to the data storage device 110. By storing data, data can be stored in the data storage device 110 from the beginning of the music.

次に、この実施形態のオーディオ信号処理装置1では、データ格納装置110に格納されているオーディオデータの再生時には、データ格納装置110に格納されている楽曲のオーディオデータの中から、操作部11を通じてユーザにより選択指示された楽曲の記録オーディオデータを読み出し、記録エンコード/再生デコード部111で、再生デコードし、I/Oポート109を通じてD/A変換器17に送出するようにする。これにより、データ格納装置110に記憶されていた楽曲のオーディオ信号が、スピーカ19を通じて音響再生出力される。   Next, in the audio signal processing device 1 of this embodiment, when reproducing the audio data stored in the data storage device 110, the audio data of the music stored in the data storage device 110 is passed through the operation unit 11. The recorded audio data of the music selected by the user is read out, reproduced and decoded by the recording encoding / reproduction decoding unit 111, and sent to the D / A converter 17 through the I / O port 109. Thereby, the audio signal of the music stored in the data storage device 110 is reproduced and output through the speaker 19.

また、この実施形態のオーディオ信号処理装置1では、楽曲識別用情報検索要求機能および楽曲購入要求を実現するために、楽曲切り出し部112と、楽曲特徴量算出部113と、送信データ生成部114と、受信データ処理部115と、通信インターフェース116とが、システムバス100に接続されている。送信データ生成部114には、要求用情報記憶部117が接続されている。   Further, in the audio signal processing device 1 of this embodiment, in order to realize the music identification information search request function and the music purchase request, the music cutout unit 112, the music feature amount calculation unit 113, and the transmission data generation unit 114 The received data processing unit 115 and the communication interface 116 are connected to the system bus 100. A request information storage unit 117 is connected to the transmission data generation unit 114.

さらに、例えばLCD(Liquid Crystal Display)からなるディスプレイ119が、ディスプレイインターフェース118を通じてシステムバス100に接続されている。   Further, a display 119 made of, for example, an LCD (Liquid Crystal Display) is connected to the system bus 100 through a display interface 118.

楽曲切り出し部112と、楽曲特徴量算出部113と、送信データ生成部114と、受信データ処理部115と、通信インターフェース116とのそれぞれは、それぞれにおける処理を行なうためにバッファメモリを用いる。当該バッファメモリは、ワークエリア用のRAM103のメモリ領域を利用することもできるし、別個に設けるようにしてもよい。   Each of the music cutout unit 112, the music feature amount calculation unit 113, the transmission data generation unit 114, the reception data processing unit 115, and the communication interface 116 uses a buffer memory to perform processing in each. The buffer memory can use the memory area of the RAM 103 for the work area, or may be provided separately.

また、楽曲切り出し部112の機能と、楽曲特徴量算出部113の機能とは、CPU101が、プログラムROM102のプログラムにしたがって、ワークエリア用RAM103を用いて行なうソフトウエア処理によって実現することもできる。   Further, the function of the music cutout unit 112 and the function of the music feature amount calculation unit 113 can be realized by software processing performed by the CPU 101 using the work area RAM 103 in accordance with the program of the program ROM 102.

この実施形態のオーディオ信号処理装置1では、スピーカ19を通じて音響再生出力がなされているときに、当該スピーカ19から放音されている音声を聴取しているユーザが、その聴取している楽曲の識別用情報の検索要求の操作指示をすると、楽曲識別用情報の検索要求をサーバ装置2に送出するように構成されている。   In the audio signal processing device 1 of this embodiment, when sound reproduction is being output through the speaker 19, the user listening to the sound emitted from the speaker 19 identifies the music being listened to. When the operation information search request is instructed, the music identification information search request is sent to the server device 2.

すなわち、ラジオ放送番組を聴取しているときに、または外部入力されたオーディオ信号の再生音を聴取しているとき、あるいはデータ格納装置110から読み出された再生オーディオ信号の再生音を聴取しているときにおいて、ユーザが検索要求の操作指示をすると、オーディオ信号処理装置1では、当該検索要求の操作指示時点の前後に亘る所定の時間区間分を対象オーディオ信号区間とし、この対象オーディオ信号区間の信号を処理用バッファメモリ、例えばRAM112に書き込む。そして、楽曲切り出し部112で、当該対象オーディオ信号区間の信号について、楽曲部分の切り出し処理を行なうようにCPU101により制御される。   That is, when listening to a radio broadcast program, listening to a playback sound of an externally input audio signal, or listening to a playback sound of a playback audio signal read from the data storage device 110 When the user issues a search request operation instruction, the audio signal processing apparatus 1 uses a predetermined time interval before and after the search request operation instruction time as the target audio signal period, The signal is written into a processing buffer memory such as the RAM 112. Then, the music cutout unit 112 is controlled by the CPU 101 so as to perform the music piece cutout process for the signal in the target audio signal section.

ここで、楽曲切り出し部112で行なう楽曲部分の切り出し処理は、アナウンサーや解説者などの音声信号部分と、楽曲部分とを分離して、楽曲部分のみを抽出する処理である。この処理は、例えばオーディオ信号をスペクトル分析し、人声信号の周波数成分や周波数分布の特徴と、楽曲の周波数成分や周波数分布の特徴との違い検出することにより行なうことができる。   Here, the music piece cutout process performed by the music cutout unit 112 is a process of separating only the music part by separating the audio signal part such as an announcer or commentator from the music part. This processing can be performed, for example, by analyzing the spectrum of the audio signal and detecting the difference between the frequency component and frequency distribution characteristics of the human voice signal and the frequency component and frequency distribution characteristics of the music.

ラジオ放送番組を聴取しているとき(ラジオ放送受信モードのとき)に、検索要求の操作指示がなされたときには、リングバッファ108に記憶されている、当該操作指示時点よりも先行している時間区間のオーディオ信号と、検索要求の操作指示時点以降の所定時間分のオーディオ信号を、対象オーディオ信号区間の信号として処理用バッファメモリに書き込む。   When a search request operation instruction is given while listening to a radio broadcast program (in radio broadcast reception mode), a time interval that precedes the operation instruction time point stored in the ring buffer 108 And an audio signal for a predetermined time after the operation instruction point of the search request is written in the processing buffer memory as a signal of the target audio signal section.

また、外部入力インターフェース105を通じて入力されたオーディオ信号の音響再生出力を聴取しているとき(外部入力モードのとき)に、検索要求の操作指示がなされたときにも同様にして、リングバッファ108に記憶されている、当該操作指示時点よりも先行している時間区間のオーディオ信号と、検索要求の操作指示時点以降の所定時間分のオーディオ信号を、対象オーディオ信号区間の信号として処理用バッファメモリに書き込む。   Similarly, when listening to the sound reproduction output of the audio signal input through the external input interface 105 (in the external input mode), when a search request operation instruction is issued, the ring buffer 108 is also used. The stored audio signal in the time interval preceding the operation instruction time point and the audio signal for a predetermined time after the operation instruction time point of the search request are stored in the processing buffer memory as a signal of the target audio signal interval. Write.

データ格納装置110から読み出されたオーディオ信号の音響再生出力を聴取しているとき(再生モードのとき)に、検索要求の操作指示がなされたときにも、同様に、リングバッファ108にもオーディオ信号を一時記憶するようにして、上述の各モードの時と同様にして対象オーディオ信号区間の信号を定めることもできる。しかし、この実施形態では、この再生モードのときには、データ格納装置110にオーディオデータが格納されていて、読み出しが可能であるので、例えば再生中に検索要求指示された楽曲の先頭から全曲の区間、または、先頭から所定時間までの区間、もしくは、前記楽曲の途中の所定時間の区間を、対象オーディオ信号区間として、処理用バッファメモリに書き込むようにすることができる。   Similarly, when a search request operation instruction is given while listening to the sound reproduction output of the audio signal read from the data storage device 110 (in the reproduction mode), the ring buffer 108 also receives audio. By temporarily storing the signal, it is also possible to determine the signal of the target audio signal section in the same manner as in each mode described above. However, in this embodiment, in this playback mode, since the audio data is stored in the data storage device 110 and can be read out, for example, the section of all songs from the beginning of the song requested to be searched during playback, Alternatively, a section from the beginning to a predetermined time or a section of a predetermined time in the middle of the music can be written in the processing buffer memory as a target audio signal section.

次に、検索要求の操作指示に応じて、楽曲切り出し部112で切り出された楽曲部分のオーディオデータは、処理用バッファメモリに書き込まれ、楽曲特徴量算出部113で当該処理用バッファメモリの楽曲部分のオーディオデータから、楽曲特徴量の抽出を行なうように、CPU101により制御される。   Next, the audio data of the music portion cut out by the music cutout unit 112 in response to the operation instruction of the search request is written into the processing buffer memory, and the music feature amount calculation unit 113 uses the music portion of the processing buffer memory. Is controlled by the CPU 101 so as to extract the music feature amount from the audio data.

楽曲特徴量算出部113は、この実施形態では、MFCC(Mel−Frequency Cepstrum Coefficient;メル周波数ケプストラム係数)を用いて、楽曲の特徴量を求める。ここで、Mel−Frequency(メル周波数)は、「人間が音を聴く感度」に合わせて作られた値であり、その音がどれくらい人間の耳によく聴こえるのかを表わすときに使われる。   In this embodiment, the music feature quantity calculation unit 113 obtains the music feature quantity using MFCC (Mel-Frequency Cepstrum Coefficient). Here, Mel-Frequency (mel frequency) is a value created in accordance with “sensitivity of human beings to listen to sound”, and is used to indicate how well the sound can be heard by human ears.

また、Cepstrum(ケプストラム)とは、原波形のパワースペクトルの対数を波形と見なして行なわれる逆フーリエ変換の結果である。   Further, Cepstrum (cepstrum) is a result of inverse Fourier transform performed by regarding the logarithm of the power spectrum of the original waveform as a waveform.

・音声波形のデータの「一定時間毎の振幅」をとり、
・ハミング窓を利用して必要な部分のみを切り出し、
・離散フーリエ変換を行なう
・その離散フーリエ変換の結果を対数表現に変換し、
・その対数表現に変換したものを逆離散フーリエ変換する
・逆フーリエ変換でできた波形を一定時間毎に取り出す
という処理を行ない、取り出したデータの順番を1次元、2次元、3次元・・・と数えてゆくものがMFCCである。
-Take the "amplitude at fixed intervals" of the voice waveform data,
・ Cut out only the necessary part using the Hamming window,
・ Perform discrete Fourier transform ・ Convert the result of discrete Fourier transform to logarithmic representation,
・ Inverse discrete Fourier transform of the logarithmic representation. ・ Processing to extract the waveform generated by the inverse Fourier transform at regular intervals. The order of the extracted data is 1D, 2D, 3D ... MFCC is what counts.

そして、この実施形態では、時間軸上で音楽信号から抽出される特徴量としてのMFCCは、時間軸に沿って変化するため、長時間の信号では膨大な特徴量が発生するので、楽曲特徴量算出部113は、混合正規分布モデル(GSM(Gaussian Mixture Modelling)で、MFCCを用いる特徴量を時間軸方向に圧縮したものを、楽曲特徴量として出力するようにしている。そして、楽曲特徴量算出部113は、算出した楽曲特徴量を送信データ生成部114に送る。   In this embodiment, since the MFCC as the feature quantity extracted from the music signal on the time axis changes along the time axis, an enormous feature quantity is generated in a long-time signal. The calculation unit 113 outputs, as a music feature value, a mixed normal distribution model (GSM (Gaussian Mixture Modeling)) obtained by compressing a feature value using MFCC in the time axis direction. The unit 113 sends the calculated music feature amount to the transmission data generation unit 114.

送信データ生成部114に接続される要求用情報記憶部117には、楽曲識別用情報検索サーバ装置2の通信ネットワーク4上のアドレスと、コンテンツ配信サーバ装置3の通信ネットワーク4上のアドレスと、自装置の通信ネットワーク4上のアドレスと、自装置のユーザの氏名、住所、クレジット番号等の課金用情報などが記憶されている。   The request information storage unit 117 connected to the transmission data generation unit 114 includes an address on the communication network 4 of the music identification information search server device 2, an address on the communication network 4 of the content distribution server device 3, An address on the communication network 4 of the apparatus and accounting information such as the name, address, and credit number of the user of the own apparatus are stored.

送信データ生成部114は、ユーザが、操作部11を通じて楽曲識別用情報の検索要求の操作をしたときには、要求用情報記憶部117から取得した楽曲識別用情報検索サーバ装置2のアドレスを相手先アドレスとすると共に、要求用情報記憶部117から取得した自装置の通信ネットワーク上のアドレスを送信元アドレスとし、さらに、自装置のユーザの氏名、住所、クレジット番号等の課金用情報を含めた楽曲識別用情報の検索要求を生成し、生成した検索要求を通信インターフェース116および通信ネットワーク4を通じてサーバ装置2に送信する。   When the user performs a search request for music identification information through the operation unit 11, the transmission data generation unit 114 uses the address of the music identification information search server device 2 acquired from the request information storage unit 117 as the destination address. In addition, the address on the communication network of the own device acquired from the request information storage unit 117 is used as a transmission source address, and music identification including charging information such as the name, address, and credit number of the user of the own device An information search request is generated, and the generated search request is transmitted to the server device 2 through the communication interface 116 and the communication network 4.

送信データ生成部114は、また、ユーザが、操作部11を通じて楽曲の購入要求の操作をしたときには、要求用情報記憶部117から取得したコンテンツ配信サーバ装置2のアドレスを相手先アドレスとすると共に、要求用情報記憶部117から取得した自装置の通信ネットワーク上のアドレスを送信元アドレスとし、さらに、自装置のユーザの氏名、住所、クレジット番号等の課金用情報を含めた楽曲の購入要求を生成し、生成した購入要求を通信インターフェース116および通信ネットワーク4を通じてサーバ装置3に送信する。   The transmission data generation unit 114 also uses the address of the content distribution server device 2 acquired from the request information storage unit 117 as the destination address when the user performs a music purchase request operation through the operation unit 11. Generates a purchase request for a song including the address on the communication network of the own device acquired from the request information storage unit 117 as a transmission source address and further includes charging information such as the name, address, and credit number of the user of the own device Then, the generated purchase request is transmitted to the server device 3 through the communication interface 116 and the communication network 4.

ディスプレイ119には、楽曲識別用情報の検索要求がサーバ装置2に送出されたときに、前記サーバ装置2から前記検索要求に対する検索結果として返送されてくる楽曲識別用情報のうちの、楽曲名や、アーティスト名、当該楽曲が含まれるアルバム名などが表示される。また、ラジオ放送受信モードの時には、ユーザにより選択された放送局名などが表示される。   On the display 119, when a search request for music identification information is sent to the server device 2, the song name or the like of the music identification information returned as a search result for the search request from the server device 2 is displayed. , Artist name, album name including the music, and the like are displayed. In the radio broadcast reception mode, the broadcast station name selected by the user is displayed.

[楽曲識別情報検索サーバ装置2のハードウエア構成例]
図3は、この実施形態における楽曲識別用情報検索サーバ装置2のハードウエア構成例を示すブロック図である。
[Hardware Configuration Example of Music Identification Information Search Server Device 2]
FIG. 3 is a block diagram showing a hardware configuration example of the music identification information search server device 2 in this embodiment.

この実施形態の楽曲識別用情報検索サーバ装置2は、システムバス200に対して、CPU201と、プログラムROM202と、ワークエリア用RAM203とが接続されて成るコンピュータにより、処理動作が制御される構成とされている。   The music identification information retrieval server device 2 of this embodiment is configured such that the processing operation is controlled by a computer in which a CPU 201, a program ROM 202, and a work area RAM 203 are connected to a system bus 200. ing.

そして、システムバス200に対して、特徴量→楽曲識別用情報変換データベース204と、通信インターフェース205と、受信データ処理部206と、送信データ生成部207と、検索実行部208と、課金処理部209とが、さらに接続されている。検索実行部208は、CPU201が、プログラムROM202のプログラムにしたがって、ワークエリア用RAM203を用いて行なうソフトウエア処理によって実現することもできる。   Then, with respect to the system bus 200, the feature quantity → music identification information conversion database 204, the communication interface 205, the reception data processing unit 206, the transmission data generation unit 207, the search execution unit 208, and the billing processing unit 209. And more connected. The search execution unit 208 can also be realized by software processing performed by the CPU 201 using the work area RAM 203 in accordance with the program in the program ROM 202.

特徴量→楽曲識別用情報変換データベース204には、予め、大量の楽曲のオーディオデータについて、MFCCを求め、それを混合正規分布モデルで、時間軸方向に圧縮したものとして楽曲特徴量を算出して、その算出した楽曲特徴量と、その楽曲の楽曲名、アーティスト名、楽曲ID(楽曲コンテンツID)などからなる楽曲識別用情報とを、対応付けて記憶するようにする。   In the feature amount-> music identification information conversion database 204, the MFCC is obtained in advance for a large amount of music audio data, and the music feature amount is calculated by compressing it in the time axis direction using a mixed normal distribution model. The calculated music feature amount is stored in association with the music identification information including the music name, artist name, music ID (music content ID), and the like of the music.

なお、この実施形態においては、コンテンツ配信サーバ装置3では、後述するように、楽曲IDを検索子として楽曲コンテンツのデータを見つけ出すようにするので、上述の楽曲識別用情報のうち、楽曲IDは、楽曲識別用情報に含める情報として必須のものとしている。   In this embodiment, since the content distribution server device 3 uses the music ID as a searcher to find data of the music content as described later, the music ID of the music identification information described above is: This information is essential as information included in the music identification information.

通信インターフェース205は、サーバ装置2を通信ネットワーク4に接続するためのものである。   The communication interface 205 is for connecting the server device 2 to the communication network 4.

受信データ処理部206は、通信ネットワーク4を通じてオーディオ信号処理装置1からの検索要求を受信し、受信した検索要求に含まれる楽曲特徴量や課金用情報などをシステムバス200に送出する。   The reception data processing unit 206 receives a search request from the audio signal processing device 1 through the communication network 4 and sends a music feature amount and billing information included in the received search request to the system bus 200.

検索実行部208は、システムバス200を通じて受信する楽曲特徴量を、検索子として、特徴量→楽曲識別用情報変換データベース204を検索する。すなわち、検索実行部208は、検索要求に含まれる楽曲特徴量と一致あるいは近似する特徴量をデータベース204において探索し、特徴量が一致するあるいは近似するものが検出できたら、当該検出した特徴量に対応付けられて記憶されている楽曲識別用情報を、データベース204から読み出す。そして、検索実行部208は、読み出した楽曲識別用情報を送信データ生成部207に供給する。   The search execution unit 208 searches the feature quantity → music identification information conversion database 204 using the music feature quantity received through the system bus 200 as a search element. That is, the search execution unit 208 searches the database 204 for a feature quantity that matches or approximates the music feature quantity included in the search request, and if a feature quantity that matches or approximates the feature quantity can be detected, the search execution section 208 uses the detected feature quantity. The music identification information stored in association with each other is read from the database 204. Then, the search execution unit 208 supplies the read music identification information to the transmission data generation unit 207.

送信データ生成部207は、受け取った楽曲識別用情報を、検索要求に対する返信データとして、検索要求してきたオーディオ信号処理装置1に対して、通信インターフェース205および通信ネットワーク4を通じて送信するようにする。   The transmission data generation unit 207 transmits the received music identification information as reply data to the search request to the audio signal processing apparatus 1 that has requested the search through the communication interface 205 and the communication network 4.

課金処理部209は、この実施形態では、検索要求の情報に含まれる検索要求してきたオーディオ信号処理装置1のユーザの課金用情報を用いて、前述したような課金処理を実行する。   In this embodiment, the billing processing unit 209 performs the billing process as described above using the billing information of the user of the audio signal processing apparatus 1 that has requested the search included in the search request information.

[コンテンツ配信サーバ装置3のハードウエア構成例]
図4は、この実施形態におけるコンテンツ配信サーバ装置3のハードウエア構成例を示すブロック図である。
[Hardware Configuration Example of Content Distribution Server Device 3]
FIG. 4 is a block diagram showing a hardware configuration example of the content distribution server device 3 in this embodiment.

この実施形態のコンテンツ配信サーバ装置3は、システムバス300に対して、CPU301と、プログラムROM302と、ワークエリア用RAM303とが接続されて成るコンピュータにより、処理動作が制御される構成とされている。   The content distribution server device 3 of this embodiment is configured such that processing operations are controlled by a computer in which a CPU 301, a program ROM 302, and a work area RAM 303 are connected to a system bus 300.

そして、システムバス300に対して、コンテンツデータ格納部304と、通信インターフェース305と、受信データ処理部306と、送信データ生成部307と、配信コンテンツ検出部308と、課金処理部309とが、さらに接続されている。配信コンテンツ検出部308は、CPU301が、プログラムROM302のプログラムにしたがって、ワークエリア用RAM303を用いて行なうソフトウエア処理によって実現することもできる。   A content data storage unit 304, a communication interface 305, a reception data processing unit 306, a transmission data generation unit 307, a distribution content detection unit 308, and a billing processing unit 309 are further provided for the system bus 300. It is connected. The distribution content detection unit 308 can also be realized by software processing performed by the CPU 301 using the work area RAM 303 according to the program in the program ROM 302.

コンテンツデータ格納部304には、予め、大量の楽曲コンテンツのオーディオデータが、その楽曲IDと対応付けられて記憶されている。   The content data storage unit 304 stores in advance a large amount of music content audio data in association with the music ID.

通信インターフェース305は、サーバ装置3を通信ネットワーク4に接続するためのものである。   The communication interface 305 is for connecting the server device 3 to the communication network 4.

受信データ処理部306は、通信ネットワーク4を通じてオーディオ信号処理装置1からの購入要求を受信し、受信した購入要求に含まれる楽曲IDや課金用情報などをシステムバス300に送出する。   The reception data processing unit 306 receives a purchase request from the audio signal processing apparatus 1 through the communication network 4 and sends a music ID, billing information, and the like included in the received purchase request to the system bus 300.

配信コンテンツ検出部308は、購入要求の情報に含まれる楽曲IDを検索子として、コンテンツデータ格納部304を検索する。すなわち、配信コンテンツ検出部308は、コンテンツデータ格納部304から、楽曲IDに対応付けられて格納されている楽曲コンテンツのオーディオデータを読み出す。そして、配信コンテンツ検出部308は、読み出した楽曲コンテンツのオーディオデータを送信データ生成部307に供給する。   The distribution content detection unit 308 searches the content data storage unit 304 using the music ID included in the purchase request information as a search element. That is, the distribution content detection unit 308 reads the audio data of the music content stored in association with the music ID from the content data storage unit 304. Then, the distribution content detection unit 308 supplies the read audio data of the music content to the transmission data generation unit 307.

送信データ生成部307は、配信コンテンツ検出部308から受け取った楽曲コンテンツのオーディオデータを、購入要求に対する返信データとして、購入要求してきたオーディオ信号処理装置1に対して、通信インターフェース205および通信ネットワーク4を通じて送信するようにする。   The transmission data generation unit 307 sends the audio data of the music content received from the distribution content detection unit 308 as reply data to the purchase request to the audio signal processing apparatus 1 that has requested the purchase through the communication interface 205 and the communication network 4. To send.

課金処理部309は、この実施形態では、購入要求の情報に含まれる購入要求してきたオーディオ信号処理装置1のユーザの課金用情報を用いて、前述したような課金処理を実行する。   In this embodiment, the billing processing unit 309 performs billing processing as described above using the billing information of the user of the audio signal processing apparatus 1 that has requested purchase included in the purchase request information.

[オーディオ信号処理装置1における検索要求および購入要求の処理動作]
図5〜図7および図8は、オーディオ信号処理装置1における検索要求および購入要求の処理動作を説明するためのフローチャートである。
[Processing of Search Request and Purchase Request in Audio Signal Processing Device 1]
5 to 7 and 8 are flowcharts for explaining search request and purchase request processing operations in the audio signal processing apparatus 1.

以下に説明する例においては、オーディオ信号処理装置1では、電源投入時には、ラジオ放送受信モードとなるようにされているものとする。すなわち、オーディオ信号処理装置1に電源が投入すると、図5のスタートから処理が開始する。なお、以下の説明において、各ステップは、CPU101が、ROM102のプログラムにしたがって、RAM103をワークエリアとして使用することにより実行されるものである。   In the example described below, it is assumed that the audio signal processing apparatus 1 is set to the radio broadcast reception mode when the power is turned on. That is, when the audio signal processing apparatus 1 is powered on, the processing starts from the start of FIG. In the following description, each step is executed by the CPU 101 using the RAM 103 as a work area according to the program of the ROM 102.

電源が投入されると、CPU101は、オーディオ信号処理装置1をラジオ放送受信モードとすると共に、ラストチャンネルメモリ(図2では省略)に記憶されている前回の電源オンのときに最後に選局していた放送チャンネルを選択するように、ラジオ放送受信部15を制御し、当該放送チャンネルの放送信号を受信再生する状態とする(ステップS1)。   When the power is turned on, the CPU 101 sets the audio signal processing apparatus 1 to the radio broadcast reception mode and selects the channel at the last power-on time stored in the last channel memory (not shown in FIG. 2). The radio broadcast receiver 15 is controlled so as to select the broadcast channel that has been received, and the broadcast signal of the broadcast channel is received and reproduced (step S1).

そして、受信中の放送チャンネルのオーディオ信号について、現時点よりもリングバッファ108の容量分だけ、過去の時間までのオーディオ信号を、当該リングバッファ108に常に一時記憶するようにする(ステップS2)。   Then, with respect to the audio signal of the broadcast channel being received, the audio signal up to the past time by the capacity of the ring buffer 108 from the current time is always temporarily stored in the ring buffer 108 (step S2).

そして、CPU101は、操作部11を通じた他の放送チャンネルへの変更入力を受け付けたか否か判別し(ステップS3)、チャンネル変更入力を受け付けたと判別したときには、チャンネル変更入力により指定された放送チャンネルを受信するようにラジオ放送受信部15を制御するようにする(ステップS4)。そして、ステップS2に戻る。   Then, the CPU 101 determines whether or not a change input to another broadcast channel has been received through the operation unit 11 (step S3). When it is determined that the channel change input has been received, the CPU 101 selects the broadcast channel designated by the channel change input. The radio broadcast receiving unit 15 is controlled so as to receive (step S4). Then, the process returns to step S2.

ステップS3で、チャンネル変更入力を受け付けてはいないと判別したときには、CPU101は、操作部11を通じた楽曲識別用情報の検索要求の操作入力を受け付けたか否か判別し(ステップS5)、検索要求の操作入力を受け付けていないと判別したときには、操作部11を通じた記録ボタンのオン操作(記録開始操作)を受け付けたか否か判別する(ステップS6)。   If it is determined in step S3 that no channel change input has been received, the CPU 101 determines whether an operation input for a music identification information search request through the operation unit 11 has been received (step S5). When it is determined that no operation input has been received, it is determined whether or not a recording button ON operation (recording start operation) through the operation unit 11 has been received (step S6).

ステップS6で、記録ボタンのオン操作がなされたと判別したときには、CPU101は、受信中のオーディオ信号をデータ格納装置110に格納する(ステップS7)。このとき、ラジオ放送番組を聴取しながらの記録ボタンの操作であるので、希望する楽曲の先頭から若干遅れることがある。そのことを考慮して、この実施形態では、リングバッファ108に記憶されている前記記録ボタン操作前のオーディオ信号も含めてデータ格納装置110に書き込むようにする。   When it is determined in step S6 that the record button is turned on, the CPU 101 stores the audio signal being received in the data storage device 110 (step S7). At this time, since the operation of the record button is performed while listening to the radio broadcast program, there may be a slight delay from the beginning of the desired music. Considering this, in this embodiment, the audio signal stored in the ring buffer 108 before the recording button operation is also written in the data storage device 110.

データ格納装置110に記録される記録ボタン操作前のオーディオ信号の時間区間は、例えば、予め想定される遅れ時間を考慮した、記録ボタン操作前から一定時間の区間とされる。   The time interval of the audio signal before the recording button operation recorded in the data storage device 110 is, for example, a predetermined time interval from before the recording button operation in consideration of a delay time assumed in advance.

次に、CPU101は、操作部11のストップボタンの操作入力を受け付けたか否か判別し(ステップS8)、ストップボタンの操作入力を受け付けたと判別したときには、ラジオ放送番組のオーディオ信号のデータ格納装置110への書き込みを停止する(ステップS9)。そして、ステップS2に戻る。   Next, the CPU 101 determines whether or not an operation input of the stop button of the operation unit 11 has been received (step S8). When it is determined that an operation input of the stop button has been received, the data storage device 110 for the audio signal of the radio broadcast program is received. The writing to is stopped (step S9). Then, the process returns to step S2.

ステップS5で、検索要求の操作入力を受け付けたと判別したときには、CPU101は、リングバッファ108に、当該操作入力時点よりも以前のオーディオ信号を記憶保持するようにさせると共に、このリングバッファ108に記憶されている時間区間と、検索要求の操作入力時点よりも後の所定の時間区間とを対象オーディオ信号区間として特定し、その対象オーディオ信号区間のデータを、RAM103に格納する(ステップS10)。   When it is determined in step S5 that an operation input for a search request has been received, the CPU 101 causes the ring buffer 108 to store and hold an audio signal before the operation input time, and is stored in the ring buffer 108. The specified time interval and the predetermined time interval after the operation input time of the search request are specified as the target audio signal interval, and the data of the target audio signal interval is stored in the RAM 103 (step S10).

そして、後述する検索要求の処理およびそれに続く購入要求の処理を実行するサブルーチンに移行し(ステップS11)、その後、ステップS2に戻る。   Then, the process proceeds to a subroutine for executing a search request process and a purchase request process to be described later (step S11), and then returns to step S2.

ステップS6で、記録ボタンのオン操作を受け付けてはいないと判別したときには、CPU101は、記憶コンテンツの再生モードへの変更操作を受け付けたか否か判別し(図6のステップS21)、再生モードへの変更操作を受け付けたと判別したときには、前回の記憶コンテンツの再生モードにおける再生の続きの所から、データ格納装置110に格納されている楽曲コンテンツのオーディオデータを読み出して、再生を開始する(ステップS22)。これにより、ユーザは、データ格納装置110から読み出された楽曲のオーディオ信号の音響再生出力音を聴取する。   When it is determined in step S6 that the recording button ON operation has not been accepted, the CPU 101 determines whether or not an operation for changing the stored content to the reproduction mode has been accepted (step S21 in FIG. 6), and enters the reproduction mode. When it is determined that the change operation has been accepted, the audio data of the music content stored in the data storage device 110 is read from the continuation of the playback in the playback mode of the previous stored content, and playback is started (step S22). . Thereby, the user listens to the sound reproduction output sound of the audio signal of the music read from the data storage device 110.

そして、CPU101は、再生コンテンツの変更操作入力を受け付けたか否か判別し(ステップS23)、再生する楽曲コンテンツの変更操作入力を受け付けたと判別したときには、変更指定された楽曲コンテンツをデータ格納装置110から読み出して再生する(ステップS24)。そして、ステップS23に戻る。   Then, the CPU 101 determines whether or not a reproduction content change operation input has been received (step S23). When it is determined that a music content change operation input to be reproduced has been received, the CPU 101 determines the change-specified music content from the data storage device 110. Read and play (step S24). Then, the process returns to step S23.

また、ステップS23で再生する楽曲コンテンツの変更入力を受け付けてはいないと判別したときには、CPU101は、外部入力モードへの変更操作入力を受け付けたか否か判別する(ステップS25)。ステップS25で、外部入力モードへの変更操作入力を受け付けてはいないと判別したときには、CPU101は、ラジオ放送受信モードへの変更操作入力を受け付けたか否か判別する(ステップS26)。   If it is determined in step S23 that the change input of the music content to be reproduced has not been received, the CPU 101 determines whether a change operation input to the external input mode has been received (step S25). If it is determined in step S25 that a change operation input to the external input mode has not been received, the CPU 101 determines whether a change operation input to the radio broadcast reception mode has been received (step S26).

ステップS26で、ラジオ放送受信モードへの変更操作入力を受け付けたと判別したときには、図5のステップS1に戻る。また、ステップS26で、ラジオ放送受信モードへの変更操作入力を受け付けてはいないと判別したときには、CPU101は、楽曲識別用情報の検索要求の操作入力を受け付けたか否か判別し(ステップS27)、検索要求の操作入力を受け付けてはいないと判別したときには、記憶コンテンツの再生モードを継続し(ステップS28)、ステップS23に戻る。   If it is determined in step S26 that an input for changing to the radio broadcast reception mode has been received, the process returns to step S1 in FIG. If it is determined in step S26 that the change operation input to the radio broadcast reception mode has not been accepted, the CPU 101 determines whether or not an operation input for a search request for music identification information has been accepted (step S27). When it is determined that the search request operation input is not accepted, the stored content reproduction mode is continued (step S28), and the process returns to step S23.

また、ステップS27で、検索要求の操作入力を受け付けたと判別したときには、CPU101は、再生中に検索要求指示された楽曲の先頭から全曲の区間、または、先頭から所定時間までの区間、もしくは、前記楽曲の途中の所定時間の区間を、対象オーディオ信号区間として特定し、処理用バッファメモリに書き込む(ステップS29)。   If it is determined in step S27 that an operation input for a search request has been received, the CPU 101 determines a section from the beginning of the music for which a search request is instructed during playback, a section from the beginning to a predetermined time, A section of a predetermined time in the middle of the music is specified as a target audio signal section and written in the processing buffer memory (step S29).

そして、後述する検索要求の処理およびそれに続く購入要求の処理を実行するサブルーチンに移行し(ステップS30)、その後、ステップS23に戻る。   Then, the process proceeds to a subroutine for executing a search request process and a purchase request process to be described later (step S30), and then returns to step S23.

また、ステップS21で記憶コンテンツの再生モードへの変更操作入力を受け付けてはいないと判別したときには、CPU101は、外部入力モードへの変更操作入力を受け付けたか否か判別し(ステップS31)、外部入力モードへの変更操作入力を受け付けてはいないと判別したときには、図5のステップS2に戻る。   If it is determined in step S21 that the change operation input to the playback mode of the stored content has not been accepted, the CPU 101 determines whether or not the change operation input to the external input mode has been accepted (step S31). If it is determined that the mode change operation input has not been accepted, the process returns to step S2 in FIG.

ステップS31で、あるいはステップS25で、外部入力モードへの変更操作入力を受け付けたと判別したときには、CPU101は、外部入力インターフェース105を通じて外部入力されたオーディオ信号を取り込み、当該取り込んだオーディオ信号をI/Oポート109を通じてD/A変換器17に送り、スピーカ19を通じて音響再生する(図7のステップS41)。これにより、ユーザは、外部入力されたオーディオ信号の再生音をスピーカ19を通じて聴取する状態となる。   When it is determined in step S31 or step S25 that an input operation for changing to the external input mode has been accepted, the CPU 101 captures an audio signal input externally through the external input interface 105, and converts the captured audio signal into an I / O. The signal is sent to the D / A converter 17 through the port 109 and reproduced through the speaker 19 (step S41 in FIG. 7). As a result, the user enters a state of listening to the reproduction sound of the externally input audio signal through the speaker 19.

CPU101は、このとき、外部入力インターフェース105を通じて入力された外部入力のオーディオ信号をリングバッファ108にも送って、一時記憶させるようにする(ステップS42)。   At this time, the CPU 101 also sends the externally input audio signal input through the external input interface 105 to the ring buffer 108 for temporary storage (step S42).

そして、CPU101は、ラジオ放送受信モードへの変更操作入力を受け付けたか否か判別する(ステップS43)。ステップS43で、ラジオ放送受信モードへの変更操作入力を受け付けたと判別したときには、図5のステップS1に移行する。また、ステップS43で、ラジオ放送受信モードへの変更操作入力を受け付けてはいないと判別したときには、CPU101は、記憶コンテンツの再生モードへの変更操作を受け付けたか否か判別し(ステップS44)、再生モードへの変更操作を受け付けたと判別したときには、図6のステップS22に移行する。   And CPU101 discriminate | determines whether the change operation input to radio broadcast reception mode was received (step S43). If it is determined in step S43 that an input for changing to the radio broadcast reception mode has been received, the process proceeds to step S1 in FIG. If it is determined in step S43 that the change operation input to the radio broadcast reception mode has not been accepted, the CPU 101 determines whether or not the change operation to the reproduction mode of the stored content has been accepted (step S44). When it is determined that the mode change operation has been received, the process proceeds to step S22 in FIG.

ステップS44で再生する楽曲コンテンツの変更入力を受け付けてはいないと判別したときには、CPU101は、楽曲識別用情報の検索要求の操作入力を受け付けたか否か判別し(ステップS27)、検索要求の操作入力を受け付けてはいないと判別したときには、操作部11を通じた記録ボタンのオン操作(記録開始操作)を受け付けたか否か判別する(ステップS46)。   If it is determined in step S44 that change input of the music content to be played back has not been received, the CPU 101 determines whether or not an operation input for a search request for music identification information has been received (step S27). Is determined not to be received, it is determined whether or not the recording button ON operation (recording start operation) through the operation unit 11 has been received (step S46).

ステップS46で、記録ボタンのオン操作を受け付けてはいないと判別したときには、CPU101は、ステップS41に戻る。   If it is determined in step S46 that the recording button ON operation has not been accepted, the CPU 101 returns to step S41.

ステップS46で、記録ボタンのオン操作がなされたと判別したときには、CPU101は、外部入力されたオーディオ信号をデータ格納装置110に格納する(ステップS47)。このとき、外部入力されたオーディオ信号の再生音を聴取しながらの記録ボタンの操作であるので、希望する楽曲の先頭から若干遅れることがある。そのことを考慮して、この実施形態では、リングバッファ108に記憶されている前記記録ボタン操作前のオーディオ信号も含めてデータ格納装置110に書き込むようにする。   If it is determined in step S46 that the record button is turned on, the CPU 101 stores the externally input audio signal in the data storage device 110 (step S47). At this time, since the operation of the recording button is performed while listening to the reproduction sound of the externally input audio signal, there may be a slight delay from the head of the desired music. Considering this, in this embodiment, the audio signal stored in the ring buffer 108 before the recording button operation is also written in the data storage device 110.

データ格納装置110に記録される記録ボタン操作前のオーディオ信号の時間区間は、例えば、予め想定される遅れ時間を考慮した、記録ボタン操作前から一定時間の区間とされる。   The time interval of the audio signal before the recording button operation recorded in the data storage device 110 is, for example, a predetermined time interval from before the recording button operation in consideration of a delay time assumed in advance.

次に、CPU101は、操作部11のストップボタンの操作入力を受け付けたか否か判別し(ステップS48)、ストップボタンの操作入力を受け付けたと判別したときには、外部入力のオーディオ信号のデータ格納装置110への書き込みを停止する(ステップS49)。そして、ステップS41に戻る。   Next, the CPU 101 determines whether or not an operation input of the stop button of the operation unit 11 has been received (step S48). Is stopped (step S49). Then, the process returns to step S41.

ステップS45で、検索要求の操作入力を受け付けたと判別したときには、CPU101は、リングバッファ108に、当該操作入力時点よりも以前の外部入力のオーディオ信号を記憶保持するようにさせると共に、このリングバッファ108に記憶されている時間区間と、検索要求の操作入力時点よりも後の所定の時間区間とを対象オーディオ信号区間として特定し、その対象オーディオ信号区間の外部入力のオーディオデータを、RAM103に格納する(ステップS50)。   When it is determined in step S45 that an operation input for a search request has been received, the CPU 101 causes the ring buffer 108 to store and hold an externally input audio signal before the operation input time, and also to use the ring buffer 108. And a predetermined time interval after the operation input time of the search request is specified as the target audio signal interval, and externally input audio data of the target audio signal interval is stored in the RAM 103. (Step S50).

そして、後述する検索要求の処理およびそれに続く購入要求の処理を実行するサブルーチンに移行し(ステップS51)、その後、ステップS41に戻る。   Then, the process proceeds to a subroutine for executing a search request process and a subsequent purchase request process (step S51), and then returns to step S41.

次に、検索要求の処理およびそれに続く購入要求の処理を実行するサブルーチンを、図8のフローチャートを参照して説明する。   Next, a subroutine for executing search request processing and subsequent purchase request processing will be described with reference to the flowchart of FIG.

すなわち、先ず、CPU101は、楽曲切り出し部112を起動させてRAM103に一時記憶されている対象オーディオ信号区間のオーディオ信号から、楽曲部分を前述のようにして切り出す(ステップS51)。次に、CPU101は、楽曲特徴量算出部113を起動させて、RAM103に一時記憶されている楽曲部分について、前述したようにして、MFCCを用いた楽曲特徴量を抽出するようにする(ステップS52)。   That is, first, the CPU 101 activates the music cutout unit 112 and cuts out a music part from the audio signal in the target audio signal section temporarily stored in the RAM 103 as described above (step S51). Next, the CPU 101 activates the music feature quantity calculation unit 113 to extract the music feature quantity using the MFCC as described above for the music part temporarily stored in the RAM 103 (step S52). ).

次に、CPU101は、送信データ生成部114を制御して、抽出された楽曲特徴量と、検索サービスに対する課金用情報とを含めた楽曲識別用情報の検索要求を、楽曲識別用情報検索サーバ装置2に送る(ステップS53)。   Next, the CPU 101 controls the transmission data generation unit 114 to send a search request for music identification information including the extracted music feature amount and charging information for the search service to the music identification information search server device. 2 (step S53).

次に、CPU101は、サーバ装置2からの検索要求に対する検索結果情報としての楽曲識別用情報を受信し(ステップS54)、受信した楽曲識別用情報に含まれる楽曲名、アーティスト名などを、ディスプレイ119に表示すると共に、当該楽曲を購入するかどうかの問い合わせを表示する(ステップS55)。この問い合わせの画面には、「購入要求する」および「購入要求しない」の入力のためのアイコンボタンが表示されており、ユーザは、操作部11を通じた入力操作で、いずれかのアイコンボタンを操作するようにする。   Next, the CPU 101 receives music identification information as search result information in response to a search request from the server apparatus 2 (step S54), and displays the music name, artist name, etc. included in the received music identification information on the display 119. And an inquiry as to whether or not to purchase the music is displayed (step S55). On this inquiry screen, icon buttons for inputting “request purchase” and “do not request purchase” are displayed, and the user operates one of the icon buttons through the operation unit 11. To do.

CPU101は、操作部11を通じたユーザの操作入力を待って、購入要求するかどうかを判別し(ステップS56)、購入要求しないと判別したときには、そのままこの処理ルーチンを終了する。   The CPU 101 waits for the user's operation input through the operation unit 11 and determines whether or not a purchase request is made (step S56). When it is determined that no purchase request is made, this processing routine is ended as it is.

また、ステップS56で購入要求すると判別したときには、CPU101は、送信データ生成部114を起動し、楽曲識別用情報の、この例では、楽曲IDを含む楽曲コンテンツの購入要求を、コンテンツ配信サーバ装置3に送信するように制御する(ステップS57)。   When it is determined that a purchase request is made in step S56, the CPU 101 activates the transmission data generation unit 114, and sends a purchase request for music content including the music ID in this example of the music identification information to the content distribution server device 3. (Step S57).

そして、この購入要求に対する応答としてサーバ装置3から送られてくる楽曲コンテンツのオーディオデータを受信して、データ格納装置110に格納する。このとき、楽曲IDを含む楽曲識別用情報を、オーディオデータに対応付けて格納するようにする(ステップS58)。以上で、この処理ルーチンを終了する。   Then, the audio data of the music content sent from the server device 3 as a response to the purchase request is received and stored in the data storage device 110. At this time, the music identification information including the music ID is stored in association with the audio data (step S58). Thus, this processing routine is finished.

[楽曲識別用情報検索サーバ装置2の処理動作]
図9に、楽曲識別用情報検索サーバ装置2の処理動作を説明するためのフローチャートを示す。
[Processing Operation of Music Identification Information Retrieval Server Device 2]
FIG. 9 shows a flowchart for explaining the processing operation of the music identification information search server device 2.

すなわち、サーバ装置2のCPU201は、オーディオ信号処理装置1からの検索要求の到来を監視し(ステップS61)、検索要求の受信を確認すると、受信データを受信データ処理部206に送る。   That is, the CPU 201 of the server device 2 monitors the arrival of the search request from the audio signal processing device 1 (step S61), and when receiving the search request is confirmed, sends the received data to the received data processing unit 206.

そして、CPU201は、検索実行部208を動作させ、受信した検索要求に含まれる楽曲特徴量に対応する楽曲識別用情報を検索するようにする(ステップS62)。すなわち、検索実行部208は、受信した楽曲特徴量に基づいて、特徴量→楽曲識別用情報変換データベース204を検索し、特徴量が一致するあるいは近似するものが検出できたら、当該検出した特徴量に対応付けられて記憶されている楽曲識別用情報を、データベース204から読み出す。   Then, the CPU 201 operates the search execution unit 208 to search for music identification information corresponding to the music feature amount included in the received search request (step S62). That is, the search execution unit 208 searches the feature quantity → music identification information conversion database 204 based on the received music feature quantity, and if a feature quantity that matches or approximates is detected, the detected feature quantity is detected. The music identification information stored in association with is read from the database 204.

次に、CPU201は、送信データ生成部207を動作させ、検索結果の楽曲識別用情報を、検索要求してきたオーディオ信号処理装置1に送信する(ステップS63)。そして、CPU201は、オーディオ信号処理装置1からの受信完了の通知の受信により受信完了を確認する(ステップS64)。   Next, the CPU 201 operates the transmission data generation unit 207 to transmit the music identification information as a search result to the audio signal processing apparatus 1 that has requested the search (step S63). Then, the CPU 201 confirms the reception completion by receiving the reception completion notification from the audio signal processing device 1 (step S64).

その後、CPU201は、課金処理部209を動作させ、検索要求に含まれるクレジット番号などの課金用情報を用いて、実行した検索サービスについての課金処理を行なう(ステップS65)。以上で、この検索サーバ装置2の処理は終了である。   Thereafter, the CPU 201 operates the charging processing unit 209 to perform charging processing for the executed search service using charging information such as a credit number included in the search request (step S65). Above, the process of this search server apparatus 2 is complete | finished.

[コンテンツ配信サーバ装置3の処理動作]
図10に、コンテンツ配信サーバ装置3の処理動作を説明するためのフローチャートを示す。
[Processing Operation of Content Distribution Server Device 3]
FIG. 10 shows a flowchart for explaining the processing operation of the content distribution server device 3.

すなわち、サーバ装置3のCPU301は、オーディオ信号処理装置1からの購入要求の到来を監視し(ステップS71)、購入要求の受信を確認すると、受信データを受信データ処理部306に送る。   That is, the CPU 301 of the server device 3 monitors the arrival of a purchase request from the audio signal processing device 1 (step S71), and when receiving the purchase request is confirmed, sends the received data to the received data processing unit 306.

そして、CPU301は、配信コンテンツ検出部308を動作させ、受信した購入要求に含まれる楽曲IDに対応する楽曲のオーディオデータのコンテンツデータ格納部304における格納アドレスを検索するようにする(ステップS72)。   Then, the CPU 301 operates the distribution content detection unit 308 to search for the storage address in the content data storage unit 304 of the audio data of the music corresponding to the music ID included in the received purchase request (step S72).

次に、CPU301は、送信データ生成部207を動作させ、検索結果のコンテンツデータ格納部304における格納アドレスから楽曲のオーディオデータを読み出し、購入要求してきたオーディオ信号処理装置1にダウンロードする(ステップS73)。そして、CPU301は、オーディオ信号処理装置1からのダウンロード完了の通知の受信によりダウンロード完了を確認する(ステップS74)。   Next, the CPU 301 operates the transmission data generation unit 207 to read the audio data of the music from the storage address in the content data storage unit 304 of the search result and download it to the audio signal processing apparatus 1 that has requested the purchase (step S73). . Then, the CPU 301 confirms the download completion by receiving the download completion notification from the audio signal processing apparatus 1 (step S74).

その後、CPU301は、課金処理部309を動作させ、購入要求に含まれるクレジット番号などの課金用情報を用いて、実行したダウンロード配信サービスについての課金処理を行なう(ステップS75)。以上で、このコンテンツ配信サーバ装置3の処理は終了である。   Thereafter, the CPU 301 operates the charging processing unit 309 to perform charging processing for the executed download distribution service using charging information such as a credit number included in the purchase request (step S75). Above, the process of this content delivery server apparatus 3 is complete | finished.

[第2の実施形態]
上述の第1の実施形態では、サーバ装置は、楽曲識別用情報検索サーバ装置2と、コンテンツ配信サーバ装置3とに分けられていたが、サーバ装置2およびサーバ装置3の機能は、一つのサーバ装置で実現することも可能である。
[Second Embodiment]
In the first embodiment described above, the server device is divided into the music identification information search server device 2 and the content distribution server device 3, but the functions of the server device 2 and the server device 3 are one server. It can also be realized by an apparatus.

この第2の実施形態は、その場合の例である。この第2の実施形態の場合のシステム構成図を図11に示す。   This second embodiment is an example in that case. FIG. 11 shows a system configuration diagram in the case of the second embodiment.

すなわち、この第2の実施形態においては、通信ネットワーク4を介してサーバ装置5と、オーディオ信号処理装置1とが接続される構成である。サーバ装置5は、コンピュータを備えた構成とされると共に、前述した楽曲識別用情報検索サーバ装置2の特徴量→楽曲識別用情報変換データベース204や検索実行部208を備える楽曲識別用情報検索部51と、前述したコンテンツ配信サーバ装置3のコンテンツデータ格納部304や配信コンテンツ検出部308を備えるコンテンツ配信部52とを備える。   In other words, in the second embodiment, the server apparatus 5 and the audio signal processing apparatus 1 are connected via the communication network 4. The server device 5 is configured to include a computer, and the music identification information search unit 51 includes the feature amount → music identification information conversion database 204 and the search execution unit 208 of the music identification information search server device 2 described above. And the content distribution unit 52 including the content data storage unit 304 and the distribution content detection unit 308 of the content distribution server device 3 described above.

サーバ装置5は、また、通信ネットワーク4に接続するための通信インターフェースや、受信データ処理部、送信データ処理部、課金処理部なども備える。   The server device 5 also includes a communication interface for connecting to the communication network 4, a reception data processing unit, a transmission data processing unit, a charging processing unit, and the like.

この第2の実施形態においても、上述の第1の実施形態と全く同様にした手順で、オーディオ信号処理装置1からサーバ装置5に対して楽曲識別用情報の検索要求を先ず行ない、その後、サーバ装置5から送られてくる楽曲識別用情報をオーディオ信号処理装置1で受信して、当該楽曲識別用情報をユーザに表示するなどして報知し、その後、サーバ装置5のオーディオ信号処理装置1から楽曲購入要求を送るようにすることもできる。   Also in the second embodiment, the audio signal processing device 1 first makes a search request for music identification information to the server device 5 in the same procedure as in the first embodiment, and then the server The music identification information sent from the device 5 is received by the audio signal processing device 1, and the music identification information is notified to the user by displaying it or the like, and then from the audio signal processing device 1 of the server device 5. It is also possible to send a music purchase request.

しかしながら、この第2の実施形態では、図11に示すように、オーディオ信号処理装置1からは、楽曲識別用情報の検索要求は送らずに、楽曲の購入要求のみを送るようにする。   However, in the second embodiment, as shown in FIG. 11, the audio signal processing apparatus 1 does not send a search request for music identification information, but sends only a music purchase request.

サーバ装置5では、楽曲の購入要求に基づいて、楽曲識別用情報を検出し、その検出結果を用いて、購入要求された配信コンテンツを検出して、購入要求してきたオーディオ信号処理装置にダウンロードするように構成する。   The server device 5 detects the music identification information based on the music purchase request, detects the distribution content requested for purchase using the detection result, and downloads it to the audio signal processing device that has requested the purchase. Configure as follows.

ただし、この第2の実施形態では、配信コンテンツのダウンロードを開始する前に、オーディオ信号処理装置1のユーザに購入確認の問い合わせを行ない、その問い合わせに対して配信コンテンツの購入の確認が取れたときに、ダウンロードを実行するようにしている。購入確認の問い合わせにおいては、楽曲識別用情報に基づく楽曲名やアーティスト名などをユーザに報知して、コンテンツ内容の確認ができるようにしている。   However, in the second embodiment, before the download of the distribution content is started, the user of the audio signal processing apparatus 1 is inquired about the purchase confirmation, and the purchase of the distribution content is confirmed in response to the inquiry. The download is executed. In the inquiry for purchase confirmation, the user is notified of the music name, artist name, etc. based on the music identification information, so that the contents can be confirmed.

オーディオ信号処理装置1の処理動作のうち、ラジオ放送受信モード、記憶コンテンツの再生モード、外部入力モードなどの動作は、第1の実施形態とほぼ同様であるが、第2の実施形態においては、操作部11には、楽曲識別用情報の検索要求の指示操作手段は存在せず、楽曲購入要求の指示操作手段が存在するだけである。指示操作手段は、楽曲購入要求キーであっても良いし、ディスプレイ119に表示された楽曲購入要求のアイコンボタンと、操作部11に設けられた当該アイコンボタンを操作するようにする手段とからなるソフトウエアキーであってもよい。   Among the processing operations of the audio signal processing device 1, operations such as a radio broadcast reception mode, a stored content playback mode, and an external input mode are substantially the same as those in the first embodiment, but in the second embodiment, The operation unit 11 has no instruction operation means for searching for music identification information but only an instruction operation means for requesting music purchase. The instruction operation means may be a music purchase request key, and is composed of a music purchase request icon button displayed on the display 119 and a means for operating the icon button provided on the operation unit 11. It may be a software key.

そして、この第2の実施形態では、第1の実施形態のステップS11、ステップS30およびステップS51における検索要求および購入要求のサブルーチンは、楽曲購入要求のサブルーチンとされる。   In the second embodiment, the search request and purchase request subroutines in step S11, step S30 and step S51 of the first embodiment are the music purchase request subroutine.

[第2の実施形態におけるオーディオ信号処理装置1の処理動作の要部]
図12は、この第2の実施形態の場合におけるオーディオ信号処理装置1が実行する楽曲購入要求のサブルーチンを説明するためのフローチャートである。
[Parts of Processing Operation of Audio Signal Processing Device 1 in Second Embodiment]
FIG. 12 is a flowchart for explaining a music purchase request subroutine executed by the audio signal processing apparatus 1 in the case of the second embodiment.

すなわち、CPU101は、楽曲切り出し部112を起動させてRAM103に一時記憶されている対象オーディオ信号区間のオーディオ信号から、楽曲部分を前述のようにして切り出す(ステップS81)。次に、CPU101は、楽曲特徴量算出部113を起動させて、RAM103に一時記憶されている楽曲部分について、前述したようにして、MFCCを用いた楽曲特徴量を抽出するようにする(ステップS82)。   That is, the CPU 101 activates the music cutout unit 112 and cuts out the music part from the audio signal in the target audio signal section temporarily stored in the RAM 103 as described above (step S81). Next, the CPU 101 activates the music feature quantity calculation unit 113 to extract the music feature quantity using the MFCC as described above for the music part temporarily stored in the RAM 103 (step S82). ).

次に、CPU101は、送信データ生成部114を制御して、抽出された楽曲特徴量と、配信サービスに対する課金用情報とを含めた楽曲購入要求を、サーバ装置5に送る(ステップS83)。   Next, the CPU 101 controls the transmission data generation unit 114 to send a music purchase request including the extracted music feature amount and charging information for the distribution service to the server device 5 (step S83).

次に、CPU101は、サーバ装置5からの楽曲識別用情報を受信し(ステップS84)、受信した楽曲識別用情報に含まれる楽曲名、アーティスト名などを、ディスプレイ119に表示すると共に、当該楽曲の購入を実行するかどうかの確認の問い合わせを表示する(ステップS85)。この問い合わせの画面には、「購入確認」のアイコンボタンと「購入要求キャンセル」のアイコンボタンとが表示されており、ユーザは、操作部11を通じた入力操作で、いずれかのアイコンボタンを操作するようにする。   Next, the CPU 101 receives the music identification information from the server device 5 (step S84), displays the music name, artist name, etc. included in the received music identification information on the display 119, and also displays the music information. An inquiry for confirming whether or not to execute the purchase is displayed (step S85). On this inquiry screen, an icon button of “purchase confirmation” and an icon button of “cancel purchase request” are displayed, and the user operates one of the icon buttons by an input operation through the operation unit 11. Like that.

CPU101は、操作部11を通じたユーザの操作入力を待って、購入要求による購入を確認したかどうかを判別し(ステップS86)、「購入要求キャンセル」が選択されたと判別したときには、そのままこの処理ルーチンを終了する。   The CPU 101 waits for the user's operation input through the operation unit 11 to determine whether or not the purchase according to the purchase request has been confirmed (step S86). When it is determined that “cancel purchase request” has been selected, Exit.

また、ステップS86で「購入確認」が選択されたと判別したときには、CPU101は、送信データ生成部114を起動し、その「購入確認」の情報を、サーバ装置5に送信するように制御する(ステップS87)。   If it is determined in step S86 that “purchase confirmation” has been selected, the CPU 101 activates the transmission data generation unit 114 and controls to transmit the information on “purchase confirmation” to the server device 5 (step S86). S87).

そして、この購入確認の結果としてサーバ装置5から送られてくる楽曲コンテンツのオーディオデータを受信して、データ格納装置110に格納する。このとき、楽曲IDを含む楽曲識別用情報を、オーディオデータに対応付けて格納するようにする(ステップS88)。以上で、この処理ルーチンを終了する。   Then, the audio data of the music content sent from the server device 5 as a result of the purchase confirmation is received and stored in the data storage device 110. At this time, the music identification information including the music ID is stored in association with the audio data (step S88). Thus, this processing routine is finished.

[第2の実施形態におけるサーバ装置5の処理動作]
図13は、この第2の実施形態の場合におけるサーバ装置5の処理ルーチンを説明するためのフローチャートである。
[Processing Operation of Server Device 5 in Second Embodiment]
FIG. 13 is a flowchart for explaining the processing routine of the server device 5 in the case of the second embodiment.

すなわち、サーバ装置5のCPUは、オーディオ信号処理装置1からの購入要求の到来を監視し(ステップS91)、購入要求の受信を確認すると、受信データを受信データ処理部に送る。   That is, the CPU of the server device 5 monitors the arrival of a purchase request from the audio signal processing device 1 (step S91), and when receiving the purchase request is confirmed, sends the received data to the received data processing unit.

そして、サーバ装置5のCPUは、検索実行部を動作させ、受信した検索要求に含まれる楽曲特徴量に対応する楽曲識別用情報を検索するようにする(ステップS92)。すなわち、検索実行部は、受信した楽曲特徴量に基づいて、特徴量→楽曲識別用情報変換データベースを検索し、特徴量が一致するあるいは近似するものが検出できたら、当該検出した特徴量に対応付けられて記憶されている楽曲識別用情報を、特徴量→楽曲識別用情報変換データベースから読み出す。   Then, the CPU of the server device 5 operates the search execution unit to search for music identification information corresponding to the music feature amount included in the received search request (step S92). That is, the search execution unit searches the information conversion database for feature quantity → music identification based on the received music feature quantity, and if a feature quantity that matches or approximates can be detected, it corresponds to the detected feature quantity. The music identification information attached and stored is read from the feature quantity → music identification information conversion database.

次に、サーバ装置5のCPUは、送信データ生成部を動作させ、検索結果の楽曲識別用情報を、購入確認の問い合わせのために、購入要求してきたオーディオ信号処理装置1に送信する(ステップS93)。そして、サーバ装置5のCPUは、オーディオ信号処理装置1から購入確認の通知を受信したかどうかを判別する(ステップS94)。   Next, the CPU of the server device 5 operates the transmission data generation unit, and transmits the music identification information as a search result to the audio signal processing device 1 that has requested the purchase for a purchase confirmation inquiry (step S93). ). Then, the CPU of the server device 5 determines whether or not a purchase confirmation notification has been received from the audio signal processing device 1 (step S94).

ステップS94で、購入確認通知ではなく、購入キャンセルの通知を受信したときには、サーバ装置5のCPUは、この処理ルーチンをそのまま終了する。   When not a purchase confirmation notification but a purchase cancellation notification is received in step S94, the CPU of the server device 5 ends this processing routine as it is.

また、ステップS94で、購入確認の通知を受信したときには、サーバ装置5のCPUは、検索して得た楽曲識別用情報のうちの、楽曲IDに対応する楽曲のオーディオデータのコンテンツデータ格納部における格納アドレスを検索するようにする(ステップS95)。   When the purchase confirmation notification is received in step S94, the CPU of the server device 5 in the content data storage unit of the audio data of the music corresponding to the music ID among the music identification information obtained by the search. The storage address is searched (step S95).

次に、サーバ装置5のCPUは、送信データ生成部を動作させ、検索結果のコンテンツデータ格納部における格納アドレスから楽曲のオーディオデータを読み出し、購入要求してきたオーディオ信号処理装置1にダウンロードする(ステップS96)。そして、サーバ装置5のCPUは、オーディオ信号処理装置1からのダウンロード完了の通知の受信によりダウンロード完了を確認する(ステップS97)。   Next, the CPU of the server device 5 operates the transmission data generation unit, reads the audio data of the music from the storage address in the content data storage unit of the search result, and downloads it to the audio signal processing device 1 that has requested purchase (step). S96). Then, the CPU of the server device 5 confirms the download completion by receiving the download completion notification from the audio signal processing device 1 (step S97).

その後、CPU301は、課金処理部を動作させ、購入要求に含まれるクレジット番号などの課金用情報を用いて、実行したダウンロード配信サービスについての課金処理を行なう(ステップS98)。以上で、このサーバ装置5の処理は終了である。   Thereafter, the CPU 301 operates the billing processing unit and performs billing processing for the executed download distribution service using billing information such as a credit number included in the purchase request (step S98). Above, the process of this server apparatus 5 is complete | finished.

なお、第2の実施形態においては、楽曲識別用情報をオーディオ信号処理装置1のユーザに送り、当該楽曲識別用情報に含まれる楽曲名やアーティスト名を表示させると共に、購入確認の問い合わせをするようにしたが、これらの楽曲識別用情報のオーディオ信号処理装置1への送信および購入確認の処理を省略するようにしても良い。   In the second embodiment, the music identification information is sent to the user of the audio signal processing apparatus 1 to display the music name and artist name included in the music identification information and to make a purchase confirmation inquiry. However, the process of transmitting the music identification information to the audio signal processing apparatus 1 and the purchase confirmation may be omitted.

この場合には、楽曲識別用情報としては、楽曲名やアーティスト名などは、ユーザに放置する必要がないので、少なくとも楽曲IDが含まれていればよい。そして、この場合には、ダウンロードデータに、楽曲IDが付加されるようにされて、その楽曲IDがデータ格納装置110に、オーディオデータに対応付けられて書き込まれる。   In this case, as the music identification information, the music name, artist name, etc. need not be left to the user, so at least the music ID should be included. In this case, the music ID is added to the download data, and the music ID is written in the data storage device 110 in association with the audio data.

[その他の変形例]
上述の説明は、楽曲購入システムの場合の例であるが、この発明は、楽曲識別用情報の検索システムの部分のみであってもよい。
[Other variations]
The above description is an example in the case of a music purchase system, but the present invention may be only a part of a search system for music identification information.

また、放送は、ラジオ放送の場合であったが、テレビ放送の音声部分を対象とすることもできる。   Moreover, although the broadcast was the case of the radio broadcast, the audio part of the television broadcast can also be targeted.

楽曲特徴量としては、上述のMFCCに限られるものではなく、各楽曲を特定することができるような特徴量であれば、どのようなものであってもよい。   The music feature amount is not limited to the MFCC described above, and any feature amount may be used as long as each music piece can be specified.

なお、第2の実施形態の場合には、楽曲IDを用いるのではなく、楽曲特徴量と、楽曲コンテンツのオーディオデータとを対応付けたデータベースを用意して、楽曲特徴量から直接に配信する楽曲コンテンツのオーディオデータを検索するようにすることもできる。   In the case of the second embodiment, instead of using a song ID, a database in which a music feature quantity and a music content audio data are associated with each other is prepared and directly delivered from the music feature quantity. It is also possible to search audio data of content.

この発明による楽曲購入システムの第1の実施形態のシステム構成例を示すブロック図である。It is a block diagram which shows the system configuration example of 1st Embodiment of the music purchasing system by this invention. 第1の実施形態のオーディオ信号処理装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the audio signal processing apparatus of 1st Embodiment. 第1の実施形態の楽曲識別用情報検索サーバ装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the information search server apparatus for music identification of 1st Embodiment. 第1の実施形態のコンテンツ配信サーバ装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the content delivery server apparatus of 1st Embodiment. 第1の実施形態のオーディオ信号処理装置の処理動作を説明するためのフローチャートの一部を示す図である。It is a figure which shows a part of flowchart for demonstrating the processing operation of the audio signal processing apparatus of 1st Embodiment. 第1の実施形態のオーディオ信号処理装置の処理動作を説明するためのフローチャートの一部を示す図である。It is a figure which shows a part of flowchart for demonstrating the processing operation of the audio signal processing apparatus of 1st Embodiment. 第1の実施形態のオーディオ信号処理装置の処理動作を説明するためのフローチャートの一部を示す図である。It is a figure which shows a part of flowchart for demonstrating the processing operation of the audio signal processing apparatus of 1st Embodiment. 第1の実施形態のオーディオ信号処理装置の処理動作を説明するためのフローチャートの一部を示す図である。It is a figure which shows a part of flowchart for demonstrating the processing operation of the audio signal processing apparatus of 1st Embodiment. 第1の実施形態の楽曲識別用情報検索サーバ装置の処理動作を説明するためのフローチャートを示す図である。It is a figure which shows the flowchart for demonstrating the processing operation of the information search server apparatus for music identification of 1st Embodiment. 第1の実施形態のコンテンツ配信サーバ装置の処理動作を説明するためのフローチャートを示す図である。It is a figure which shows the flowchart for demonstrating the processing operation of the content delivery server apparatus of 1st Embodiment. この発明による楽曲購入システムの第2の実施形態のシステム構成例を示すブロック図である。It is a block diagram which shows the system configuration example of 2nd Embodiment of the music purchasing system by this invention. 第2の実施形態のオーディオ信号処理装置における要部の処理動作を説明するためのフローチャートである。It is a flowchart for demonstrating the processing operation | movement of the principal part in the audio signal processing apparatus of 2nd Embodiment. 第2の実施形態のサーバ装置における処理動作を説明するためのフローチャートである。It is a flowchart for demonstrating the processing operation in the server apparatus of 2nd Embodiment.

符号の説明Explanation of symbols

1…オーディオ信号処理装置、2…楽曲識別用情報検索サーバ装置、3…コンテンツ配信サーバ装置、4…通信ネットワーク、5…サーバ装置、11…操作部、15…ラジオ放送受信部、19…スピーカ、104…操作部インターフェース、105…外部入力インターフェース、110…データ格納装置、112…楽曲切り出し部、113…楽曲特徴量算出部   DESCRIPTION OF SYMBOLS 1 ... Audio signal processing apparatus, 2 ... Music identification information search server apparatus, 3 ... Content delivery server apparatus, 4 ... Communication network, 5 ... Server apparatus, 11 ... Operation part, 15 ... Radio broadcast receiving part, 19 ... Speaker, DESCRIPTION OF SYMBOLS 104 ... Operation part interface, 105 ... External input interface, 110 ... Data storage apparatus, 112 ... Music clip part, 113 ... Music feature-value calculation part

Claims (28)

サーバ装置と、前記サーバ装置に対して通信ネットワークを通じて接続されるオーディオ信号処理装置とからなり、
前記オーディオ信号処理装置は、
オーディオ信号を音響変換再生出力するために音響変換手段に出力する手段と、
前記音響変換手段を通じて音声を聴取しているユーザの操作入力を受け付ける操作入力受付手段と、
前記操作入力受付手段で前記操作入力を受け付けたときに前記音響変換再生出力している対象オーディオ信号から楽曲部分を切り出す切り出し手段と、
前記切り出し手段により切り出された楽曲部分から、当該楽曲の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された前記楽曲の特徴量を含む情報検索要求を前記サーバ装置に送る情報検索要求手段と、
前記情報検索要求に応じて前記サーバ装置から前記通信ネットワークを通じて送られてくる前記楽曲を識別するための楽曲識別用情報を受信して、利用者に提示する手段と、
を備え、
前記サーバ装置は、
前記楽曲の特徴量と、前記楽曲識別用情報とを対応付けて記憶する楽曲識別用情報記憶部と、
前記情報検索要求を受信し、当該情報検索要求に含まれる前記楽曲の特徴量に基づいて前記楽曲識別用情報記憶部を参照して、対応する前記楽曲識別用情報を検出する検出手段と、
前記検出手段で検出した前記楽曲識別用情報を、前記情報検索要求してきた前記オーディオ信号処理装置に、前記通信ネットワークを通じて送信する送信手段と、
を備える
ことを特徴とする楽曲識別用情報検索システム。
A server device and an audio signal processing device connected to the server device through a communication network;
The audio signal processing device includes:
Means for outputting audio signals to sound conversion means for sound conversion reproduction output;
Operation input receiving means for receiving an operation input of a user who is listening to sound through the acoustic conversion means;
A cutting-out unit that cuts out a musical piece from the target audio signal that is being output for acoustic conversion when the operation input is received by the operation input receiving unit;
Feature amount extraction means for extracting the feature amount of the music piece from the music piece cut out by the cutout means;
Information search request means for sending an information search request including the feature quantity of the music extracted by the feature quantity extraction means to the server device;
Means for receiving music identification information for identifying the music sent from the server device through the communication network in response to the information search request and presenting it to the user;
With
The server device
A music identification information storage unit for storing the feature amount of the music and the music identification information in association with each other;
Detecting means for receiving the information search request, referring to the music identification information storage unit based on a feature amount of the music included in the information search request, and detecting the corresponding music identification information;
Transmitting means for transmitting the music identification information detected by the detecting means to the audio signal processing apparatus that has requested the information search through the communication network;
An information retrieval system for identifying music, comprising:
請求項1に記載の楽曲識別用情報検索システムにおいて、
前記オーディオ信号処理装置は、放送信号受信部を備え、
前記対象オーディオ信号は、前記オーディオ信号処理装置において、前記放送信号受信部で前記放送信号の受信中になされた特定のユーザ操作に基づいて定められた、少なくとも前記ユーザ操作がなされた時点を含む所定区間の前記放送信号の受信信号である
ことを特徴とする楽曲識別用情報検索システム。
The music identification information retrieval system according to claim 1,
The audio signal processing device includes a broadcast signal receiving unit,
The target audio signal is determined based on a specific user operation performed during reception of the broadcast signal by the broadcast signal receiving unit in the audio signal processing device, and includes at least a point in time when the user operation is performed. An information retrieval system for identifying music, which is a reception signal of the broadcast signal in a section.
請求項1に記載の楽曲識別用情報検索システムにおいて、
前記オーディオ信号処理装置は、楽曲のオーディオ信号を記憶する記憶部を備え、
前記対象オーディオ信号は、前記記憶部から読み出されて再生されている時になされた特定のユーザ操作に基づいて定められた、少なくとも前記ユーザ操作がなされた時点を含む所定区間の前記記憶部から読み出されたオーディオ信号である
ことを特徴とする楽曲識別用情報検索システム。
The music identification information retrieval system according to claim 1,
The audio signal processing device includes a storage unit that stores an audio signal of music,
The target audio signal is read from the storage unit in a predetermined section including at least a time point when the user operation is performed, which is determined based on a specific user operation performed when the target audio signal is read from the storage unit and reproduced. An information retrieval system for identifying music, characterized by being an audio signal output.
請求項1に記載の楽曲識別用情報検索システムにおいて、
前記オーディオ信号処理装置は、オーディオ信号の外部入力端子を備え、
前記対象オーディオ信号は、前記外部入力端子を通じて入力されたオーディオ信号が音響再生されている時になされた特定のユーザ操作に基づいて定められた、少なくとも前記ユーザ操作がなされた時点を含む所定区間の前記外部入力端子を通じて入力されたオーディオ信号である
ことを特徴とする楽曲識別用情報検索システム。
The music identification information retrieval system according to claim 1,
The audio signal processing device includes an external input terminal for an audio signal,
The target audio signal is determined based on a specific user operation performed when an audio signal input through the external input terminal is being reproduced, and includes at least a time point when the user operation is performed. An information retrieval system for identifying music, which is an audio signal input through an external input terminal.
請求項1に記載の楽曲識別用情報検索システムにおいて、
前記オーディオ信号処理装置は、前記サーバ装置から取得した前記楽曲識別用情報と、自装置あるいは自装置のユーザを特定するための情報とを含む楽曲の購入要求を送る手段を備え、
前記サーバ装置は、前記購入要求に応じた処理を行なう
ことを特徴とする楽曲識別用情報検索システム。
The music identification information retrieval system according to claim 1,
The audio signal processing device comprises means for sending a music purchase request including the music identification information acquired from the server device and information for specifying the device or a user of the device.
The server apparatus performs processing according to the purchase request. A music identification information retrieval system, wherein:
請求項5に記載の楽曲識別用情報検索システムにおいて、
前記サーバ装置における前記購入要求に応じた処理は、前記楽曲のオーディオ信号の前記オーディオ信号処理装置へのダウンロードである
ことを特徴とする楽曲識別用情報検索システム。
The music identification information retrieval system according to claim 5,
The process according to the purchase request in the server device is downloading the audio signal of the music to the audio signal processing device.
請求項5に記載の楽曲識別用情報検索システムにおいて、
前記サーバ装置における前記購入要求に応じた処理は、前記楽曲のオーディオ信号を記録した記録媒体の前記オーディオ信号処理装置の利用者への配布である
ことを特徴とする楽曲識別用情報検索システム。
The music identification information retrieval system according to claim 5,
The process according to the purchase request in the server device is distribution of the recording medium on which the audio signal of the music is recorded to users of the audio signal processing device.
サーバ装置と、前記サーバ装置に対して通信ネットワークを通じて接続されるオーディオ信号処理装置とからなり、
前記オーディオ信号処理装置は、
オーディオ信号を音響変換再生出力するために音響変換手段に出力する手段と、
前記音響変換手段を通じて音声を聴取しているユーザの操作入力を受け付ける操作入力受付手段と、
前記操作入力受付手段で前記操作入力を受け付けたときに前記音響変換再生出力している対象オーディオ信号から楽曲部分を切り出す切り出し手段と、
前記切り出し手段により切り出された楽曲部分から、当該楽曲の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された前記楽曲の特徴量を含む前記楽曲の購入要求を前記サーバ装置に送る購入要求手段と、
を備え、
前記サーバ装置は、
前記楽曲の購入要求に含まれる前記楽曲の特徴量から、前記楽曲を識別するための楽曲識別用情報を取得する楽曲識別用情報取得手段と、
前記楽曲識別用情報取得手段で取得された前記楽曲識別用情報に基づいて、前記購入要求に応じた処理を行なう購入要求処理手段と、
を備える
ことを特徴とする楽曲購入システム。
A server device and an audio signal processing device connected to the server device through a communication network;
The audio signal processing device includes:
Means for outputting audio signals to sound conversion means for sound conversion reproduction output;
Operation input receiving means for receiving an operation input of a user who is listening to sound through the acoustic conversion means;
A cutting-out unit that cuts out a musical piece from the target audio signal that is being output for acoustic conversion when the operation input is received by the operation input receiving unit;
Feature amount extraction means for extracting the feature amount of the music piece from the music piece cut out by the cutout means;
Purchase request means for sending a purchase request for the music including the feature quantity of the music extracted by the feature quantity extraction means to the server device;
With
The server device
Music identification information acquisition means for acquiring music identification information for identifying the music from the feature quantity of the music included in the music purchase request;
Purchase request processing means for performing processing according to the purchase request based on the music identification information acquired by the music identification information acquiring means;
A music purchase system characterized by comprising:
請求項8に記載の楽曲購入システムにおいて、
前記オーディオ信号処理装置は、放送信号受信部を備え、
前記対象オーディオ信号は、前記オーディオ信号処理装置において、前記放送信号受信部で前記放送信号の受信中になされた特定のユーザ操作に基づいて定められた、少なくとも前記ユーザ操作がなされた時点を含む所定区間の前記放送信号の受信信号である
ことを特徴とする楽曲購入システム。
The music purchase system according to claim 8,
The audio signal processing device includes a broadcast signal receiving unit,
The target audio signal is determined based on a specific user operation performed during reception of the broadcast signal by the broadcast signal receiving unit in the audio signal processing device, and includes at least a point in time when the user operation is performed. A music purchase system, wherein the music signal is a reception signal of the broadcast signal in a section.
請求項8に記載の楽曲購入システムにおいて、
前記オーディオ信号処理装置は、楽曲のオーディオ信号を記憶する記憶部を備え、
前記対象オーディオ信号は、前記記憶部から読み出されて再生されている時になされた特定のユーザ操作に基づいて定められた、少なくとも前記ユーザ操作がなされた時点を含む所定区間の前記記憶部から読み出されたオーディオ信号である
ことを特徴とする楽曲購入システム。
The music purchase system according to claim 8,
The audio signal processing device includes a storage unit that stores an audio signal of music,
The target audio signal is read from the storage unit in a predetermined section including at least a time point when the user operation is performed, which is determined based on a specific user operation performed when the target audio signal is read from the storage unit and reproduced. A music purchase system characterized by being an audio signal.
請求項8に記載の楽曲購入システムにおいて、
前記オーディオ信号処理装置は、オーディオ信号の外部入力端子を備え、
前記対象オーディオ信号は、前記外部入力端子を通じて入力されたオーディオ信号が音響再生されている時になされた特定のユーザ操作に基づいて定められた、少なくとも前記ユーザ操作がなされた時点を含む所定区間の前記外部入力端子を通じて入力されたオーディオ信号である
ことを特徴とする楽曲購入システム。
The music purchase system according to claim 8,
The audio signal processing device includes an external input terminal for an audio signal,
The target audio signal is determined based on a specific user operation performed when an audio signal input through the external input terminal is being reproduced, and includes at least a time point when the user operation is performed. A music purchase system characterized by being an audio signal input through an external input terminal.
請求項8に記載の楽曲購入システムにおいて、
前記サーバ装置は、
前記楽曲識別用情報と、前記楽曲のオーディオ信号とを対応付けて記憶する楽曲情報記憶部を備え、
前記サーバ装置における前記購入要求処理手段は、前記楽曲識別用情報取得手段で取得した前記楽曲識別用情報に対応する前記楽曲のオーディオ信号を、前記楽曲情報記憶部から取得して、前記オーディオ信号処理装置へダウンロードする
ことを特徴とする楽曲購入システム。
The music purchase system according to claim 8,
The server device
A music information storage unit that stores the music identification information and the audio signal of the music in association with each other;
The purchase request processing means in the server device acquires an audio signal of the music corresponding to the music identification information acquired by the music identification information acquisition means from the music information storage unit, and performs the audio signal processing. A music purchase system characterized by downloading to a device.
請求項8に記載の楽曲購入システムにおいて、
前記サーバ装置における前記購入要求処理手段は、前記楽曲識別用情報取得手段で取得した前記楽曲識別用情報に対応する前記楽曲のオーディオ信号を記録した記録媒体を、前記オーディオ信号処理装置の利用者に配布する
ことを特徴とする楽曲購入システム。
The music purchase system according to claim 8,
The purchase request processing means in the server device provides the user of the audio signal processing device with a recording medium on which the audio signal of the music corresponding to the music identification information acquired by the music identification information acquisition means is recorded. A music purchase system characterized by distribution.
請求項8に記載の楽曲購入システムにおいて、
前記サーバ装置は、
前記楽曲識別用情報取得手段で取得した前記楽曲識別用情報を、前記購入要求してきた前記オーディオ信号処理装置に、前記通信ネットワークを通じて送信する送信手段を備え、
前記オーディオ信号処理装置は、
前記サーバ装置から前記通信ネットワークを通じて送られてくる前記楽曲識別用情報を受信して、利用者に提示する手段を備える
ことを特徴とする楽曲購入システム。
The music purchase system according to claim 8,
The server device
A transmission means for transmitting the music identification information acquired by the music identification information acquisition means to the audio signal processing apparatus that has requested the purchase through the communication network;
The audio signal processing device includes:
A music purchasing system comprising: means for receiving the music identification information sent from the server device through the communication network and presenting the information to a user.
請求項14に記載の楽曲購入システムにおいて、
前記サーバ装置の送信手段は、前記楽曲識別用情報と共に、前記楽曲の購入要求の確認の問い合わせの情報を前記オーディオ信号処理装置に送信し、
前記楽曲の購入要求の問い合わせに対する前記オーディオ信号処理装置からの応答に基づいて前記購入要求処理手段での処理を制御する
ことを特徴とする楽曲購入システム。
The music purchase system according to claim 14,
The transmission means of the server device transmits information on the confirmation of the purchase request for the music to the audio signal processing device together with the music identification information,
A music purchase system characterized by controlling processing in the purchase request processing means based on a response from the audio signal processing device to an inquiry about a purchase request for the music.
オーディオ信号処理装置から通信ネットワークを通じてサーバ装置にアクセスして、楽曲を識別するための情報を取得するようにする方法であって、
前記オーディオ信号処理装置は、
オーディオ信号を音響変換再生出力するために音響変換手段に出力する工程と、
前記音響変換手段を通じて音声を聴取しているユーザの操作入力を受け付ける操作入力受付工程と、
前記操作入力受付工程で前記操作入力を受け付けたときに前記音響変換再生出力している対象オーディオ信号から楽曲部分を切り出す切り出し工程と、
前記切り出し工程で切り出された楽曲部分から、当該楽曲の特徴量を抽出する特徴量抽出工程と、
前記特徴量抽出工程で抽出された前記楽曲の特徴量を含む情報検索要求を前記サーバ装置に送る情報検索要求工程と、
前記情報検索要求に応じて前記サーバ装置から前記通信ネットワークを通じて送られてくる前記楽曲を識別するための楽曲識別用情報を受信して、利用者に提示する工程と、
を備え、
前記サーバ装置は、
前記楽曲の特徴量と、前記楽曲識別用情報とを対応付けて記憶する楽曲識別子用情報記憶部を備えると共に、
前記オーディオ信号処理装置部からの前記情報検索要求を受信し、当該情報検索要求に含まれる前記楽曲の特徴量に基づいて前記楽曲識別子用情報記憶部を参照して、対応する前記楽曲識別用情報を検出する検出工程と、
前記検出工程で検出した前記楽曲識別用情報を、前記情報検索要求してきた前記オーディオ信号処理装置に、前記通信ネットワークを通じて送信する送信工程と、
を備える
ことを特徴とする楽曲識別用情報取得方法。
A method for obtaining information for identifying music by accessing a server device from an audio signal processing device through a communication network,
The audio signal processing device includes:
Outputting the audio signal to the sound conversion means for sound conversion reproduction output;
An operation input receiving step of receiving an operation input of a user who is listening to sound through the acoustic conversion means;
A cutout step of cutting out a musical piece portion from the target audio signal that is being output for acoustic conversion when the operation input is received in the operation input reception step;
A feature amount extraction step of extracting a feature amount of the music piece from the music piece cut out in the cutout step;
An information search request step of sending an information search request including the feature amount of the music extracted in the feature amount extraction step to the server device;
Receiving music identification information for identifying the music sent from the server device through the communication network in response to the information search request, and presenting it to the user;
With
The server device
A music identifier information storage unit for storing the music feature quantity and the music identification information in association with each other;
The information identifying request is received from the audio signal processing unit, and the music identifier information storage unit is referred to based on the feature amount of the music included in the information retrieval request, and the corresponding music identifying information A detection step for detecting
Transmitting the music identification information detected in the detection step to the audio signal processing device that has requested the information search through the communication network;
A method for acquiring information for identifying music pieces, comprising:
オーディオ信号処理装置から通信ネットワークを通じてサーバ装置にアクセスして、前記オーディオ信号処理装置で指示した楽曲を購入するようにする方法であって、
前記オーディオ信号処理装置は、
オーディオ信号を音響変換再生出力するために音響変換手段に出力する工程と、
前記音響変換手段を通じて音声を聴取しているユーザの操作入力を受け付ける操作入力受付工程と、
前記操作入力受付工程で前記操作入力を受け付けたときに前記音響変換再生出力している対象オーディオ信号から楽曲部分を切り出す切り出し工程と、
前記切り出し工程で切り出された楽曲部分から、当該楽曲の特徴量を抽出する特徴量抽出工程と、
前記特徴量抽出工程で抽出された前記楽曲の特徴量を含む、前記楽曲を識別するための楽曲識別用情報の取得要求を前記サーバ装置に送る楽曲識別用情報検索要求工程と、
前記楽曲識別用情報の取得要求に応じて前記サーバ装置から前記通信ネットワークを通じて送られてくる前記楽曲識別用情報を受信して、利用者に提示する工程と、
前記サーバ装置から取得した前記楽曲識別用情報と、自装置あるいは自装置のユーザを特定するための情報とを含む楽曲の購入要求を送る楽曲購入要求工程と、
を備え、
前記サーバ装置は、
前記楽曲の特徴量と、前記楽曲識別用情報とを対応付けて記憶する楽曲識別子用情報記憶部を備えると共に、
前記オーディオ信号処理装置からの前記情報検索要求を受信し、当該情報検索要求に含まれる前記楽曲の特徴量に基づいて前記楽曲識別子用情報記憶部を参照して、対応する前記楽曲識別用情報を検出する検出工程と、
前記検出工程で検出した前記楽曲識別用情報を、前記情報検索要求してきた前記オーディオ信号処理装置に、前記通信ネットワークを通じて送信する送信工程と、
前記オーディオ信号処理装置からの前記楽曲の購入要求に応じた処理を行なう工程と、
を備える
ことを特徴とする楽曲購入方法。
A method for accessing a server device from an audio signal processing device through a communication network and purchasing a music instructed by the audio signal processing device,
The audio signal processing device includes:
Outputting the audio signal to the sound conversion means for sound conversion reproduction output;
An operation input receiving step of receiving an operation input of a user who is listening to sound through the acoustic conversion means;
A cutout step of cutting out a musical piece portion from the target audio signal that is being output for acoustic conversion when the operation input is received in the operation input reception step;
A feature amount extraction step of extracting a feature amount of the music piece from the music piece cut out in the cutout step;
A music identification information search request step for sending to the server device an acquisition request for music identification information for identifying the music, including the feature amount of the music extracted in the feature amount extraction step;
Receiving the music identification information sent from the server device through the communication network in response to the acquisition request for the music identification information, and presenting it to the user;
A music purchase requesting step of sending a music purchase request including the music identification information acquired from the server device and information for specifying the user's own device or a user of the device;
With
The server device
A music identifier information storage unit for storing the music feature quantity and the music identification information in association with each other;
The information search request from the audio signal processing apparatus is received, the music identifier information storage unit is referred to based on the feature amount of the music included in the information search request, and the corresponding music identification information is A detection process to detect;
Transmitting the music identification information detected in the detection step to the audio signal processing device that has requested the information search through the communication network;
Performing a process according to a purchase request for the music from the audio signal processing device;
A method of purchasing music, comprising:
オーディオ信号処理装置から通信ネットワークを通じてサーバ装置にアクセスして、前記オーディオ信号処理装置で指示した楽曲を購入するようにする方法であって、
前記オーディオ信号処理装置は、
オーディオ信号を音響変換再生出力するために音響変換手段に出力する工程と、
前記音響変換手段を通じて音声を聴取しているユーザの操作入力を受け付ける操作入力受付工程と、
前記操作入力受付工程で前記操作入力を受け付けたときに前記音響変換再生出力している対象オーディオ信号から楽曲部分を切り出す切り出し工程と、
前記切り出し工程により切り出された楽曲部分から、当該楽曲の特徴量を抽出する特徴量抽出工程と、
前記特徴量抽出工程で抽出された前記楽曲の特徴量を含む前記楽曲の購入要求を前記サーバ装置に送る購入要求工程と、
を備え、
前記サーバ装置は、
前記オーディオ信号処理装置からの前記楽曲の購入要求に含まれる前記楽曲の特徴量から、前記楽曲を識別するための楽曲識別用情報を取得する楽曲識別用情報取得工程と、
前記楽曲識別用情報取得工程で取得された前記楽曲識別用情報に基づいて、前記購入要求に応じた処理を行なう購入要求処理工程と、
を備える
ことを特徴とする楽曲購入方法。
A method for accessing a server device from an audio signal processing device through a communication network and purchasing a music instructed by the audio signal processing device,
The audio signal processing device includes:
Outputting the audio signal to the sound conversion means for sound conversion reproduction output;
An operation input receiving step of receiving an operation input of a user who is listening to sound through the acoustic conversion means;
A cutout step of cutting out a musical piece portion from a target audio signal that is being output for acoustic conversion when the operation input is received in the operation input reception step;
A feature amount extraction step of extracting a feature amount of the music piece from the music piece cut out by the cutout step;
A purchase requesting step of sending a purchase request for the music containing the feature of the music extracted in the feature extracting step to the server device;
With
The server device
A music identification information acquisition step for acquiring music identification information for identifying the music from the feature quantity of the music included in the music purchase request from the audio signal processing device;
A purchase request processing step for performing processing according to the purchase request based on the music identification information acquired in the music identification information acquisition step;
A method of purchasing music, comprising:
通信ネットワークを通じてサーバ装置に接続するための通信インターフェース手段と、
オーディオ信号を音響変換再生出力するために音響変換手段に出力する手段と、
前記音響変換手段を通じて音声を聴取しているユーザの操作入力を受け付ける操作入力受付手段と、
前記操作入力受付手段で前記操作入力を受け付けたときに前記音響変換再生出力している対象オーディオ信号から楽曲部分を切り出す切り出し手段と、
前記切り出し手段により切り出された楽曲部分から、当該楽曲の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された前記楽曲の特徴量を含む情報検索要求を前記サーバ装置に送る情報検索要求手段と、
前記情報検索要求に応じて前記サーバ装置から前記通信ネットワークを通じて送られてくる前記楽曲を識別するための楽曲識別用情報を受信して、利用者に提示する手段と、
を備えることを特徴とするオーディオ信号処理装置。
A communication interface means for connecting to a server device through a communication network;
Means for outputting audio signals to sound conversion means for sound conversion reproduction output;
Operation input receiving means for receiving an operation input of a user who is listening to sound through the acoustic conversion means;
A cutting-out unit that cuts out a musical piece from the target audio signal that is being output for acoustic conversion when the operation input is received by the operation input receiving unit;
Feature amount extraction means for extracting the feature amount of the music piece from the music piece cut out by the cutout means;
Information search request means for sending an information search request including the feature quantity of the music extracted by the feature quantity extraction means to the server device;
Means for receiving music identification information for identifying the music sent from the server device through the communication network in response to the information search request and presenting it to the user;
An audio signal processing apparatus comprising:
請求項19に記載のオーディオ信号処理装置において、
放送信号の受信部を備え、
前記対象オーディオ信号は、前記放送信号の受信部で前記放送信号の受信中になされた特定のユーザ操作に基づいて定められた、少なくとも前記ユーザ操作がなされた時点を含む所定区間の前記放送信号の受信信号である
ことを特徴とするオーディオ信号処理装置。
The audio signal processing device according to claim 19, wherein
It has a broadcast signal receiver,
The target audio signal is determined based on a specific user operation performed during reception of the broadcast signal by the broadcast signal receiving unit, and includes at least the time point when the user operation is performed. An audio signal processing apparatus characterized by being a received signal.
請求項19に記載のオーディオ信号処理装置において、
楽曲のオーディオ信号を記憶する記憶部を備え、
前記対象オーディオ信号は、前記記憶部から読み出されて再生されている時になされた特定のユーザ操作に基づいて定められた、少なくとも前記ユーザ操作がなされた時点を含む所定区間の前記記憶部から読み出されたオーディオ信号である
ことを特徴とするオーディオ信号処理装置。
The audio signal processing device according to claim 19, wherein
A storage unit for storing the audio signal of the song;
The target audio signal is read from the storage unit in a predetermined section including at least a time point when the user operation is performed, which is determined based on a specific user operation performed when the target audio signal is read from the storage unit and reproduced. An audio signal processing apparatus, characterized in that the audio signal is output.
請求項19に記載のオーディオ信号処理装置において、
楽曲のオーディオ信号の外部入力端子を備え、
前記対象オーディオ信号は、前記外部入力端子を通じて入力されて再生されている時になされた特定のユーザ操作に基づいて定められた、少なくとも前記ユーザ操作がなされた時点を含む所定区間の前記外部入力端子を通じて入力されたオーディオ信号である
ことを特徴とするオーディオ信号処理装置。
The audio signal processing device according to claim 19, wherein
It has an external input terminal for music audio signals,
The target audio signal is input through the external input terminal in a predetermined section including at least a time point when the user operation is performed, which is determined based on a specific user operation performed when being input and played through the external input terminal. An audio signal processing device characterized by being an input audio signal.
請求項19に記載のオーディオ信号処理装置において、
前記サーバ装置から取得した前記楽曲識別用情報と、自装置あるいは自装置のユーザを特定するための情報とを含む楽曲の購入要求を送る手段を備える
ことを特徴とするオーディオ信号処理装置。
The audio signal processing device according to claim 19, wherein
An audio signal processing device comprising: means for sending a purchase request for a song including the music identification information acquired from the server device and information for specifying the device or a user of the device.
通信ネットワークを通じてオーディオ信号処理装置と接続されるサーバ装置であって、
楽曲の特徴量と、前記楽曲を識別するための楽曲識別用情報とを対応付けて記憶する楽曲識別子用情報記憶部と、
前記オーディオ信号処理装置からの情報検索要求を受信し、当該情報検索要求に含まれる前記楽曲の特徴量に基づいて前記楽曲識別子用情報記憶部を参照して、対応する前記楽曲識別用情報を検出する検出手段と、
前記検出手段で検出した前記楽曲識別用情報を、前記情報検索要求してきた前記オーディオ信号処理装置に、前記通信ネットワークを通じて送信する送信手段と、
を備える
ことを特徴とするサーバ装置。
A server device connected to an audio signal processing device through a communication network,
A music identifier information storage unit for storing a music feature quantity and music identification information for identifying the music in association with each other;
An information search request is received from the audio signal processing device, and the corresponding music identification information is detected by referring to the music identifier information storage unit based on the feature amount of the music included in the information search request Detecting means for
Transmitting means for transmitting the music identification information detected by the detecting means to the audio signal processing apparatus that has requested the information search through the communication network;
A server device comprising:
請求項24に記載のサーバ装置において、
前記オーディオ信号処理装置からの前記楽曲識別用情報を伴う前記楽曲の購入要求を受信して、当該購入要求に応じた処理を行なう
ことを特徴とするサーバ装置。
The server device according to claim 24, wherein
The server apparatus, which receives the purchase request for the music accompanied by the music identification information from the audio signal processing apparatus, and performs processing according to the purchase request.
通信ネットワークを通じてオーディオ信号処理装置と接続されるサーバ装置であって、
前記オーディオ信号処理装置からの楽曲の購入要求に含まれる前記楽曲の特徴量から、前記楽曲を識別するための楽曲識別用情報を取得する楽曲識別用情報取得手段と、
前記楽曲識別用情報取得手段で取得された前記楽曲を識別するための情報に基づいて、前記購入要求に応じた処理を行なう購入要求処理手段と、
を備えるサーバ装置。
A server device connected to an audio signal processing device through a communication network,
Music identification information acquisition means for acquiring music identification information for identifying the music from the feature quantity of the music included in the music purchase request from the audio signal processing device;
A purchase request processing means for performing processing according to the purchase request based on information for identifying the music acquired by the music identification information acquiring means;
A server device comprising:
請求項24または請求項26に記載のサーバ装置において、
前記購入要求に応じた処理は、前記楽曲のオーディオ信号の前記オーディオ信号処理装置へのダウンロードである
ことを特徴とするサーバ装置。
The server apparatus according to claim 24 or claim 26,
The server device characterized in that the processing in response to the purchase request is downloading the audio signal of the music piece to the audio signal processing device.
請求項24または請求項26に記載のサーバ装置において、
前記購入要求に応じた処理は、前記楽曲のオーディオ信号を記録した記録媒体の前記オーディオ信号処理装置の利用者への配布である
ことを特徴とするサーバ装置。
The server apparatus according to claim 24 or claim 26,
The server device characterized in that the processing in response to the purchase request is distribution to a user of the audio signal processing device of a recording medium on which the audio signal of the music is recorded.
JP2004088324A 2004-03-25 2004-03-25 Music identification information retrieving system, music purchasing system, music identification information obtaining method, music purchasing method, audio signal processor and server device Pending JP2005274992A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004088324A JP2005274992A (en) 2004-03-25 2004-03-25 Music identification information retrieving system, music purchasing system, music identification information obtaining method, music purchasing method, audio signal processor and server device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004088324A JP2005274992A (en) 2004-03-25 2004-03-25 Music identification information retrieving system, music purchasing system, music identification information obtaining method, music purchasing method, audio signal processor and server device

Publications (1)

Publication Number Publication Date
JP2005274992A true JP2005274992A (en) 2005-10-06

Family

ID=35174735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004088324A Pending JP2005274992A (en) 2004-03-25 2004-03-25 Music identification information retrieving system, music purchasing system, music identification information obtaining method, music purchasing method, audio signal processor and server device

Country Status (1)

Country Link
JP (1) JP2005274992A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008092427A (en) * 2006-10-04 2008-04-17 Megachips Lsi Solutions Inc Method for storing piece of music of digital terrestrial radio broadcasting
JP2010266865A (en) * 2009-05-13 2010-11-25 Sony Computer Entertainment America Llc Preserving integrity of segment of audio stream
WO2012029252A1 (en) * 2010-09-02 2012-03-08 Sony Corporation Information processing apparatus, information processing method, and program
JP2013526095A (en) * 2010-02-24 2013-06-20 アルカテル−ルーセント Method and server for detecting a video program received by a user
KR20140024433A (en) * 2011-06-10 2014-02-28 샤잠 엔터테인먼트 리미티드 Methods and systems for identifying content in a data stream
US8909668B2 (en) 2008-07-28 2014-12-09 Nec Corporation Method of distributing contents and system
US8966557B2 (en) 2001-01-22 2015-02-24 Sony Computer Entertainment Inc. Delivery of digital content
JP2015046023A (en) * 2013-08-28 2015-03-12 株式会社 ディー・エヌ・エー Server and method for providing reproduction service of digital content
US9483405B2 (en) 2007-09-20 2016-11-01 Sony Interactive Entertainment Inc. Simplified run-time program translation for emulating complex processor pipelines
JP7475636B2 (en) 2020-01-31 2024-04-30 株式会社チャンピオンプラス Shopping Support System

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8966557B2 (en) 2001-01-22 2015-02-24 Sony Computer Entertainment Inc. Delivery of digital content
JP2008092427A (en) * 2006-10-04 2008-04-17 Megachips Lsi Solutions Inc Method for storing piece of music of digital terrestrial radio broadcasting
US9483405B2 (en) 2007-09-20 2016-11-01 Sony Interactive Entertainment Inc. Simplified run-time program translation for emulating complex processor pipelines
US8909668B2 (en) 2008-07-28 2014-12-09 Nec Corporation Method of distributing contents and system
JP2010266865A (en) * 2009-05-13 2010-11-25 Sony Computer Entertainment America Llc Preserving integrity of segment of audio stream
KR101494479B1 (en) * 2009-05-13 2015-02-17 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 System and method for preserving the integrity of segments of audio streams
JP2013526095A (en) * 2010-02-24 2013-06-20 アルカテル−ルーセント Method and server for detecting a video program received by a user
JP2012053722A (en) * 2010-09-02 2012-03-15 Sony Corp Information processing apparatus, information processing method, and program
CN103081495A (en) * 2010-09-02 2013-05-01 索尼公司 Information processing apparatus, information processing method, and program
WO2012029252A1 (en) * 2010-09-02 2012-03-08 Sony Corporation Information processing apparatus, information processing method, and program
KR20140024433A (en) * 2011-06-10 2014-02-28 샤잠 엔터테인먼트 리미티드 Methods and systems for identifying content in a data stream
KR101578279B1 (en) 2011-06-10 2015-12-28 샤잠 엔터테인먼트 리미티드 Methods and systems for identifying content in a data stream
US9256673B2 (en) 2011-06-10 2016-02-09 Shazam Entertainment Ltd. Methods and systems for identifying content in a data stream
JP2015046023A (en) * 2013-08-28 2015-03-12 株式会社 ディー・エヌ・エー Server and method for providing reproduction service of digital content
JP7475636B2 (en) 2020-01-31 2024-04-30 株式会社チャンピオンプラス Shopping Support System

Similar Documents

Publication Publication Date Title
WO2005006611A1 (en) Information recording device, information recording method, and information recording program
US20100093393A1 (en) Systems and Methods for Music Recognition
JP2007164659A (en) Information distribution system and method using music information
JP2005274992A (en) Music identification information retrieving system, music purchasing system, music identification information obtaining method, music purchasing method, audio signal processor and server device
JP2007164878A (en) Piece of music contents reproducing apparatus, piece of music contents reproducing method, and piece of music contents distributing and reproducing system
JP4569828B2 (en) COMMUNICATION METHOD, COMMUNICATION DEVICE, AND PROGRAM
TW200307874A (en) Apparatus and method for identifying audio
JP2002116768A (en) Portable telephone terminal, musical piece identification method and apparatus, musical piece identification delivery method and system
KR20090024016A (en) Apparatus for monitoring the music broadcast using the music recognition and method thereof
KR101128673B1 (en) Communication apparatus, communication method and communication program
JPWO2005006608A1 (en) Recording apparatus, recording method, and program
US7509089B2 (en) Reproduction device, reproduction method, and program
JPWO2005033995A1 (en) Service advertisement information receiving device and management device
JP4370872B2 (en) Information processing apparatus, information processing method, and information processing program
JP4449526B2 (en) Music storage / playback apparatus and music recognition information display method
JPWO2005006229A1 (en) COMMUNICATION DEVICE, COMMUNICATION DEVICE COMMUNICATION METHOD, AND COMMUNICATION DEVICE COMMUNICATION PROGRAM
JP2002258873A (en) Music-recognizing device and music service system
JP2007048351A (en) Audio reproducing apparatus
JP2014027514A (en) Equalizer setting assist system and equalizer setting device
JP4380284B2 (en) COMMUNICATION DEVICE, COMMUNICATION METHOD, AND COMMUNICATION PROGRAM
JP2007207257A (en) Data transfer apparatus and data transfer system
JP4175430B2 (en) Data processing apparatus and data processing method
JP5777532B2 (en) Audio equipment
JP2005352290A (en) System and center for music distribution
JP4531443B2 (en) Broadcast music automatic recording system, terminal device, server, and recording reservation program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090610