JP2006318182A - Sound retrieval device, sound retrieval method, sound reproduction method, portable reproduction device, musical piece retrieval device, musical piece retrieval method and musical piece reproduction method - Google Patents

Sound retrieval device, sound retrieval method, sound reproduction method, portable reproduction device, musical piece retrieval device, musical piece retrieval method and musical piece reproduction method Download PDF

Info

Publication number
JP2006318182A
JP2006318182A JP2005139724A JP2005139724A JP2006318182A JP 2006318182 A JP2006318182 A JP 2006318182A JP 2005139724 A JP2005139724 A JP 2005139724A JP 2005139724 A JP2005139724 A JP 2005139724A JP 2006318182 A JP2006318182 A JP 2006318182A
Authority
JP
Japan
Prior art keywords
data
unit
motion
music
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005139724A
Other languages
Japanese (ja)
Inventor
Akira Matsuyama
暁 松山
Original Assignee
Sharp Corp
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp, シャープ株式会社 filed Critical Sharp Corp
Priority to JP2005139724A priority Critical patent/JP2006318182A/en
Publication of JP2006318182A publication Critical patent/JP2006318182A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a portable reproduction device capable of retrieving sound or a musical piece desired by a user from a plurality of pieces of sound data or musical piece data and reproducing it by easy operation without receiving attention of people around. <P>SOLUTION: This portable reproduction device reproducing the sound or the musical piece selected from a plurality of pieces of sound or a plurality of musical pieces has: a movement data input part detecting and inputting movement of the portable reproduction device; a sound information storage part storing sound information related to the plurality of pieces of the sound and the plurality of musical pieces; a decision part comparing movement data inputted in the movement data input part, and the musical piece data or the sound data stored in the sound information storage part, and outputting the sound or the musical piece similar to the movement data as a retrieval result; a display part displaying metadata of the retrieval result outputted by the decision part; and a reproduction part reproducing the musical piece data or the sound data of the retrieval result outputted by the decision part. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、音声検索装置、音声検索方法、音声再生方法および携帯再生装置、並びに、楽曲検索装置、楽曲検索方法、楽曲再生方法に関し、特に、複数の音声や楽曲からユーザの所望する類似した音声や楽曲を検索および再生する技術に関する。   The present invention relates to a voice search device, a voice search method, a voice playback method, a portable playback device, a music search device, a music search method, and a music playback method, and in particular, a plurality of voices and similar voices desired by a user from music. And technology for searching and playing music.
近年、楽曲データの圧縮技術の進歩や記憶媒体の記憶容量の増加にともなって、記録媒体に記録することのできる楽曲データの数が増加し、携帯型プレーヤであっても、一万以上の楽曲データを記憶しておくことができるようになり、その中から所望の楽曲を選択して楽しむことができる。
このような携帯型プレーヤにおいて、ユーザが所望する楽曲を選択する際には、記録されている楽曲の曲名やアーチスト名等を表示装置に表示させて、選択した楽曲を実際に再生して確認している。
In recent years, with the advancement of music data compression technology and the increase in storage capacity of storage media, the number of music data that can be recorded on a recording medium has increased, and even a portable player has more than 10,000 songs. Data can be stored, and a desired music piece can be selected and enjoyed.
In such a portable player, when the user selects a desired song, the song name or artist name of the recorded song is displayed on the display device, and the selected song is actually played and confirmed. ing.
しかしながら、前述したように選択可能な楽曲数が数百から一万もの数になると、このような選曲方法では所望の楽曲を選曲するのは、実質的に不可能なことである。
これは、曲名やアーチスト名等を知っていればメタデータを参照して検索することもできるが、不明なときには探すことができない。
However, as described above, when the number of songs that can be selected is several hundred to 10,000, it is practically impossible to select a desired song by such a music selection method.
This can be searched by referring to the metadata if the song name, artist name, etc. are known, but cannot be searched when it is unknown.
一方、ユーザが楽曲を選択する場合、上述のように特定の楽曲を探すこともあるが、ユーザの嗜好によって楽曲を探すこともある。例えば、特定のリズムにあった楽曲を聴くような場合である。
この場合には、自分で知っている曲を思い出して、アーチスト名を頼りに実際に聴くことによって確認するようになる。これでは、所望の楽曲を探すのに時間と労力を相当必要とすることになる。
On the other hand, when the user selects a song, the user may search for a specific song as described above, but may search for a song according to the user's preference. For example, when listening to music that matches a specific rhythm.
In this case, you will remember the song you know and confirm it by listening to the artist name. This requires considerable time and effort to search for the desired music.
このような問題点を解決するために、特許文献1の技術では、まず、ユーザ端末装置において、楽曲毎に、楽曲データおよび検索に利用するための属性情報を、通信回線網を介して入手するか、楽曲データから音声認識処理やピッチ抽出処理によって抽出して楽曲データベースを作成して記録媒体に記録する。携帯端末装置では、ユーザの入力に応じて記録媒体に記録された楽曲データベース内の属性情報を参照して楽曲を選択し、ヘッドホンに出力して再生する。
これにより、ユーザの気分やシチュエーションに応じた楽曲を容易に選択して楽しむことができる。
In order to solve such a problem, in the technique of Patent Document 1, first, in the user terminal device, for each piece of music, music data and attribute information to be used for search are obtained via a communication line network. Alternatively, a music database is created by extracting from music data by voice recognition processing or pitch extraction processing and recorded on a recording medium. In the mobile terminal device, music is selected with reference to attribute information in the music database recorded on the recording medium in response to a user input, and the music is output to the headphones and reproduced.
Thereby, the music according to a user's feeling and a situation can be selected easily and can be enjoyed.
一方、カラオケ装置には、膨大な数の楽曲がストックされており、歌いたい曲をユーザが選択するには、目次帳等を参照しながら、リモコン装置により歌いたい曲の番号を指定することにより選曲が行われている。この場合も、曲名やアーチスト名等の楽曲に関する情報が不明のときには、探すことはできない。   On the other hand, a huge number of songs are stocked in the karaoke device, and the user can select a song to be sung by specifying the number of the song to be sung with the remote control device while referring to the table of contents. A song selection is being made. Also in this case, when the information about the music such as the music title or artist name is unknown, it cannot be searched.
このために、例えば、MIDI(Musical Instrument Digital Interface)キーボードや音声等で選びたいメロディを入力し、曲データと比較して一致、あるいは類似する曲を検索するようにして、目次帳等でページをめくることなく選曲できる(特許文献2、3参照)。   For this purpose, for example, a melody to be selected is input by using a MIDI (Musical Instrument Digital Interface) keyboard or voice, and the page is searched in the table of contents etc. by searching for a matching or similar song compared to the song data. The music can be selected without turning (see Patent Documents 2 and 3).
また、屋外のライブコンサート等で聞いている歌の曲名、テレビの歌謡番組やラジオで放送中の歌の曲名、あるいは、街中で出会った歌の曲名を知りたいときがある。この場合には、その歌を全部あるいは部分を録音し、その録音したデータを基に曲名等を検索することもできる(特許文献4参照)。   In addition, there are times when you want to know the names of songs you are listening to at an outdoor live concert, the names of songs that are being broadcast on a TV song program or on the radio, or the names of songs you have met in the city. In this case, all or part of the song can be recorded, and a song name or the like can be searched based on the recorded data (see Patent Document 4).
ところで、特許文献5の技術によると、加速度センサや磁気センサや発光手段等を備えた携帯電話機をペンライトや指揮棒のように揺動させることによって、センサが検出した揺動の態様に応じて、自動演奏のテンポ、音質や音量などを制御したり、発光手段の発光を制御したりすることができる。これにより、若者が一般的に所持している携帯電話機の運動態様や姿勢状態に基づいて自動演奏装置の自動演奏を制御することができるため、手軽にセッションを楽しむことができ、音楽演奏の敷居を下げることができる。   By the way, according to the technique of Patent Document 5, a mobile phone equipped with an acceleration sensor, a magnetic sensor, a light emitting means, and the like is swung like a penlight or a baton, so that it depends on the swinging mode detected by the sensor. In addition, it is possible to control the tempo of automatic performance, sound quality, volume, etc., and to control the light emission of the light emitting means. As a result, the automatic performance of the automatic performance device can be controlled based on the movement mode and posture state of the mobile phone generally owned by young people. Can be lowered.
また、携帯電話装置本体の振れ状態を2軸地磁気センサで検出し、振れ状態からテンポデータに変換して、再生状態を変更したり編集したりする携帯電話装置が提供されている(特許文献6参照)。
特開2002−49626号公報 特開平09−258729号公報 特開平09−293083号公報 特開2002−215632号公報 特開2001−333156号公報 特開2003−108130号公報
Further, there is provided a mobile phone device that detects a shake state of the mobile phone device main body with a biaxial geomagnetic sensor, converts the shake state into tempo data, and changes or edits the playback state (Patent Document 6). reference).
JP 2002-49626 A JP 09-258729 A JP 09-293083 A JP 2002-215632 A JP 2001-333156 A JP 2003-108130 A
しかしながら、特許文献1の技術では、考えられる気分やシチュエーションについて曲データを分析して属性情報として記録しておかなければならず、分析されていない属性情報の場合には所望の曲を検索することができない。   However, in the technique of Patent Document 1, song data must be analyzed and recorded as attribute information for possible moods and situations, and in the case of attribute information that has not been analyzed, a desired song is searched. I can't.
また、特許文献2や3の技術では、MIDIキーボードでメロディを入力する場合には専門的な技術が必要であり、またそのような装置を接続する必要がある。また、音声でメロディを入力する場合には、公共の場で突然メロディを口ずさむと、周囲にいる人の注目を浴びるばかりでなく、その周囲の人に迷惑をかけることにもなる。
また、特許文献4の技術は、検索のためのデータとして、曲の部分的にせよ同一のデータを必要としており、ユーザの嗜好に合わせて曲を検索するための技術ではない。
In the techniques of Patent Documents 2 and 3, specialized techniques are required to input a melody with a MIDI keyboard, and such a device must be connected. In addition, when inputting a melody by voice, if the melody is suddenly spoken in a public place, it not only attracts the attention of the people in the vicinity, but also inconveniences the surrounding people.
Moreover, the technique of patent document 4 requires the same data, even if it is a part of music as data for search, and is not the technique for searching music according to a user preference.
本発明は、上述のごとき実情を考慮してなされたものであって、周りの人の注目を浴びずに、簡単な操作によって複数の音声や楽曲からユーザの所望する音声や楽曲を検索できる音声検索装置、音声検索方法、楽曲検索装置および楽曲検索方法を提供することを目的とする。
さらに、このような音声検索装置や楽曲検索装置を用いて、検索された音声や楽曲を再生できる携帯再生装置、音声再生方法および楽曲再生方法を提供することを目的とする。
The present invention has been made in consideration of the actual circumstances as described above, and is capable of searching a user's desired voice or music from a plurality of voices or music by a simple operation without attracting the attention of those around. An object is to provide a search device, a voice search method, a music search device, and a music search method.
It is another object of the present invention to provide a portable playback device, a voice playback method, and a music playback method that can play back the searched voice and music using such a voice search device and music search device.
以上の課題を解決するために、本発明は次のような構成とする。
音声検索装置は、装置の動きデータと複数の音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定部を備える。
あるいは、装置の動きデータから特徴量を抽出する特徴量抽出部と、前記特徴量抽出部で抽出された特徴量と複数の音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力する判定部とを備える。
In order to solve the above problems, the present invention has the following configuration.
The voice search device includes a determination unit that compares motion data of the device with a plurality of voice data and outputs voice data similar to the motion data as a search result.
Alternatively, a feature amount extraction unit that extracts a feature amount from motion data of the device, and a feature amount extracted by the feature amount extraction unit and a feature amount of a plurality of pieces of sound data are compared, and a sound similar to the motion data A determination unit that outputs data as a search result.
上記判定部は、動きデータと音声データとの類似度を算出し、予め定められた閾値より大きい類似度の楽曲を検索結果として出力する。ここで、前記閾値を変更可能としてもよい。
また、楽曲検索装置は、上記の音声検索装置において、音声データの代わりに楽曲データとするものである。
The determination unit calculates the similarity between the motion data and the audio data, and outputs a song having a similarity greater than a predetermined threshold as a search result. Here, the threshold value may be changeable.
In addition, the music search device uses music data instead of voice data in the above-described voice search device.
また、携帯再生装置は、複数の音声データから選択した音声データを再生する携帯再生装置であって、携帯再生装置の動きを検出して入力する動きデータ入力部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記入力した動きデータに類似する前記音情報格納部中の音声データを検索する前記音声検索装置と、この検索結果の音声データを再生する再生部と、この検索結果の音声データに関するメタデータの一覧表示を行う表示部とを備えている。   The portable playback device is a portable playback device that plays back audio data selected from a plurality of audio data, and includes a motion data input unit that detects and inputs movement of the portable playback device, and sound information related to the plurality of audio data. A sound information storage unit for storing metadata, the voice search device for searching for voice data in the sound information storage unit similar to the input motion data, and a playback unit for playing back the voice data of the search result And a display unit for displaying a list of metadata relating to the audio data of the search result.
前記再生部は、検索結果のうち類似度が最も高い音声データを再生することもできるし、あるいは、前記動きデータ入力部で入力した動きデータが検索のためのデータか、あるいは検索結果の選択指示のためのデータであるかを判定する動きパターン判定部を備えるようにして、前記動きパターン判定部で検索結果の選択指示と判定した場合に、既に検索結果の中から再生中の音声データとは別の音声データを再生するようにしてもよい。   The reproduction unit can reproduce audio data having the highest similarity among the search results, or the motion data input by the motion data input unit is data for search, or a search result selection instruction If the motion pattern determination unit determines that the search result is selected as a search result selection instruction, the audio data that is already being reproduced from the search result is provided. Another audio data may be reproduced.
ここで、前記再生部で選択された音声データを再生するときに、該音声データに関するメタデータを表示したり、前記音声検索装置の前記閾値を携帯再生装置の方から設定したり、前記音情報格納部を携帯再生装置と着脱可能にしたりするようにしてもよい。
さらに、上述した携帯再生装置では、音声データの代わりに楽曲データとしてもよい。
Here, when the audio data selected by the reproduction unit is reproduced, metadata about the audio data is displayed, the threshold of the voice search device is set from a portable reproduction device, or the sound information The storage unit may be made detachable from the portable playback device.
Furthermore, in the portable playback device described above, music data may be used instead of audio data.
本発明によれば、装置の動きから検索するため、周りの人の注目を浴びずに、簡単な操作によって複数の音声または楽曲からユーザの所望する音声または楽曲を検索することができる。
例えば、ユーザが装置を速く(激しく)振ったり、あるいは遅く(ゆったりと)振ったりという簡単な操作により、アップテンポ(激しいリズム)の音声または楽曲やスローテンポ(ゆったりとしたリズム)の音声または楽曲とすることができる。また、装置を振るだけなので周囲に音が漏れることがなく、公共の場でも周囲の人の注目も浴びず、且つ迷惑もかけることがない。
このように、ユーザは、簡単な操作により、所望する音声や楽曲を容易に選択することができる。
According to the present invention, since the search is performed based on the movement of the device, it is possible to search the user's desired voice or music from a plurality of voices or music by a simple operation without attracting the attention of those around.
For example, by a simple operation in which the user shakes the apparatus quickly (violently) or slowly (slowly), an up-tempo (violent rhythm) sound or music, or a slow tempo (relaxed rhythm) sound or music It can be. In addition, since the device is simply shaken, no sound leaks to the surroundings, and the surrounding people are not attracting attention and are not inconvenienced even in public places.
In this way, the user can easily select a desired voice or music piece by a simple operation.
以下、図面を参照して本発明に係る好適な実施形態について説明する。
本実施形態では、複数の楽曲の中からユーザが所望する楽曲を検索・再生する場合を例として説明するが、楽曲の代わりに音声としても同じ効果を奏するものである。
音声の場合には、下記の楽曲検索装置の代わりに音声検索装置とし、音情報格納部には音声データとこの音声に関するメタデータとを記憶しておくことによって、複数の音声データの中からユーザが所望する音声データを検索・再生することができる。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
In the present embodiment, a case where a user searches for and plays a piece of music desired from a plurality of pieces of music will be described as an example. However, the same effect can be achieved by using voice instead of the piece of music.
In the case of voice, a voice search device is used instead of the music search device described below, and the voice information and metadata related to the voice are stored in the sound information storage unit, so that the user can select from a plurality of voice data. Can search and reproduce desired audio data.
<実施形態1> <Embodiment 1>
図1は、本発明の実施形態1に係る楽曲検索装置の機能構成を示すブロック図であり、同図において、楽曲検索装置10は、判定部11、コネクタ1(12)、コネクタ2(13)、コネクタ3(14)、判定条件設定メモリ15、作業メモリ16からなっている。   FIG. 1 is a block diagram showing a functional configuration of a music search device according to Embodiment 1 of the present invention, in which a music search device 10 includes a determination unit 11, a connector 1 (12), and a connector 2 (13). , Connector 3 (14), determination condition setting memory 15, and work memory 16.
コネクタ1(12)は、楽曲検索装置10の外部に設けられた加速度センサやジャイロセンサ等と接続するためのものであり、取り込んだ動きデータを判定部11に入力する。
コネクタ2(13)は、楽曲検索装置10の外部に設けられた音情報格納部20と接続するためのものであり、音情報格納部20に記憶された検索対象となる楽曲の音情報を判定部11に入力する。
コネクタ3(14)は、楽曲検索装置10の外部と接続するためのものであり、判定部11で判定した結果を外部へ出力する。
The connector 1 (12) is for connecting to an acceleration sensor, a gyro sensor, or the like provided outside the music search device 10, and inputs the captured motion data to the determination unit 11.
The connector 2 (13) is for connecting to the sound information storage unit 20 provided outside the music search device 10, and determines the sound information of the music to be searched stored in the sound information storage unit 20. Input to section 11.
The connector 3 (14) is for connecting to the outside of the music search apparatus 10, and outputs the result determined by the determination unit 11 to the outside.
判定条件設定メモリ15は、EEPROM(Electrically Erasable and Programmable ROM)やフラッシュメモリ等の不揮発性メモリにより構成され、比較結果が類似であると判定するときの閾値を記憶する。ここで記憶される閾値は、固定的に記憶されてもよいし、また、外部から設定するようにしてもよい。
作業メモリ16は、RAM(Random Access Memory)によって構成され、判定部11で処理されるデータを一時的に記憶する。
The determination condition setting memory 15 is configured by a nonvolatile memory such as an EEPROM (Electrically Erasable and Programmable ROM) or a flash memory, and stores a threshold value when it is determined that the comparison results are similar. The threshold value stored here may be fixedly stored or may be set from the outside.
The work memory 16 is configured by a RAM (Random Access Memory), and temporarily stores data processed by the determination unit 11.
判定部11は、コネクタ1(12)を介して動きデータが入力されると、コネクタ2(13)を介して音情報格納部20に記憶された楽曲ごとの曲データを読み込み、動きデータとの類似度を算出する。この算出した類似度が、予め判定条件設定メモリ15に記憶されている閾値よりも大きい場合に、この楽曲の音情報格納部20での位置情報と類似度とを対応付けて作業メモリ16に記憶する。
判定部11は、音情報格納部20に記憶されたすべての楽曲に対して判定を行ったあと、作業メモリ16に記憶した類似度を大きい順に整列させて、類似度の大きい順に並んだ楽曲の位置情報を判定結果として、コネクタ3(14)を介して外部へ出力する。
When the motion data is input via the connector 1 (12), the determination unit 11 reads the music data for each music stored in the sound information storage unit 20 via the connector 2 (13), and Calculate similarity. When the calculated similarity is larger than the threshold value stored in the determination condition setting memory 15 in advance, the position information in the sound information storage unit 20 of the music and the similarity are associated and stored in the work memory 16. To do.
The determination unit 11 makes a determination on all the pieces of music stored in the sound information storage unit 20 and then arranges the similarities stored in the work memory 16 in descending order. The position information is output as a determination result to the outside via the connector 3 (14).
この音情報格納部20には、楽曲ごとにメタデータと曲データからなる多数の楽曲が記憶されている。メタデータには、曲名、レコード会社名、アーチスト名およびこの曲が音情報格納部20のどの位置にあるかを示す位置情報と曲の長さが含まれている。
また、楽曲の曲データは、デジタルデータ化したMP3(Moving Picture Experts Group Audio Layer3)やWMA(Windows(登録商標) Media Audio)、ASF(Advanced Streaming Format)等の形式で記録されている。
The sound information storage unit 20 stores a large number of music composed of metadata and music data for each music. The metadata includes a song name, a record company name, an artist name, position information indicating where the song is located in the sound information storage unit 20, and a song length.
The music data of the music is recorded in a digital data format such as MP3 (Moving Picture Experts Group Audio Layer 3), WMA (Windows (registered trademark) Media Audio), or ASF (Advanced Streaming Format).
また、加速度センサやジャイロセンサ等で取り込む動きデータは、楽曲検索装置あるいはこの楽曲検索装置を組み込んだ装置の振動の波形データをサンプリングしてデジタル変換したデータである。例えば、動きデータを波形データとして表すと図2のようになる。   The motion data captured by an acceleration sensor, gyro sensor, or the like is data obtained by sampling and digitally converting vibration waveform data of a music search device or a device incorporating this music search device. For example, the motion data is represented as waveform data as shown in FIG.
動きデータと比較する曲データは、曲の先頭部分、サビ部分あるいは曲全体のうち所定の長さ(例えば、3乃至5秒)が対象となる。サビ部分の位置情報が楽曲のメタデータに記録されていないときには、公知の技術(例えば、特開2004−233965号公報)で曲データを解析することによって得る。   The song data to be compared with the motion data is for a predetermined length (for example, 3 to 5 seconds) of the beginning portion, the rust portion or the whole song of the song. When the position information of the rust portion is not recorded in the music metadata, it is obtained by analyzing the music data using a known technique (for example, Japanese Patent Application Laid-Open No. 2004-233965).
判定部11は、動きデータと曲データとをDPマッチング法等の公知の技術によって、照合してその類似度を計算する。例えば、図2に示した動きデータの波形と、図3に示した曲データの波形とをDPマッチング法で比較する。   The determination unit 11 compares the motion data and the music data by a known technique such as the DP matching method and calculates the similarity. For example, the motion data waveform shown in FIG. 2 and the music data waveform shown in FIG. 3 are compared by the DP matching method.
<実施形態2> <Embodiment 2>
図4は、本発明の実施形態2に係る楽曲検索装置の機能構成を示すブロック図であり、同図において、楽曲検索装置10は、判定部11、コネクタ1(12)、コネクタ2(13)、コネクタ3(14)、判定条件設定メモリ15、作業メモリ16、特徴量抽出部17からなっている。図1と同じものは同じ符号を付し、相違点についてのみ説明する。   FIG. 4 is a block diagram showing a functional configuration of the music search apparatus according to the second embodiment of the present invention. In the figure, the music search apparatus 10 includes a determination unit 11, a connector 1 (12), and a connector 2 (13). , Connector 3 (14), determination condition setting memory 15, work memory 16, and feature amount extraction unit 17. The same components as those in FIG. 1 are denoted by the same reference numerals, and only differences will be described.
本実施形態2では、コネクタ1(12)を介して入力された動きデータは、特徴量抽出部17へ渡される。
特徴量抽出部17は、動きデータの波形データから特徴量を抽出して、特徴ベクトルを生成する。ここで、特徴量としては、例えば、テンポ、波形の高低、振幅の長さ、リズムの遅速、強弱等であり、これらの抽出方法は公知の技術を利用することができる。
判定部11は、特徴量抽出部17で生成した動きデータの特徴ベクトルと、音情報格納部20の各楽曲のメタデータに記憶されている楽曲の先頭部分やサビ部分あるいは全体から抽出された特徴ベクトルとを比較して、類似検索を行い、類似度の大きい順に楽曲の位置情報を外部へ出力する。
In the second embodiment, the motion data input via the connector 1 (12) is passed to the feature amount extraction unit 17.
The feature quantity extraction unit 17 extracts a feature quantity from the waveform data of the motion data and generates a feature vector. Here, the feature amount includes, for example, the tempo, the height of the waveform, the length of the amplitude, the slowness of the rhythm, the strength, and the like, and these extraction methods can use known techniques.
The determination unit 11 extracts the feature vector of the motion data generated by the feature amount extraction unit 17 and the feature extracted from the beginning portion, the rust portion, or the whole of the song stored in the metadata of each song in the sound information storage unit 20. Similarity search is performed by comparing the vectors, and the position information of the music is output to the outside in descending order of similarity.
このように、動きデータの特徴量を使って検索するようにすれば、楽曲が多くなればなるほど実施形態1と比べて比較時間の節約になる。   As described above, if the search is performed using the feature amount of the motion data, the more music is saved, the more the comparison time is saved as compared with the first embodiment.
<実施形態3> <Embodiment 3>
次に、上記の実施形態で説明した楽曲検索装置を利用した携帯再生装置の実施形態について説明する。
ユーザは、携帯再生装置に記憶された複数の楽曲データの中から所望の楽曲を選択するときには、携帯再生装置に備える選曲ボタンを押した後、携帯再生装置をゆっくりあるいは激しく振ることによって、所望の楽曲のリズムを表現する(図5)。携帯再生装置は、このリズムに類似した楽曲を検索し、表示装置上に楽曲のメタデータ(曲名やアーチスト名等)のリストを表示する。
この表示された中から所望の楽曲を選択して、再生を行わせる。
Next, an embodiment of a portable playback device using the music search device described in the above embodiment will be described.
When a user selects a desired piece of music from a plurality of pieces of music data stored in the portable playback device, the user selects a desired piece of music by slowly or vigorously shaking the portable playback device after pressing a music selection button provided in the portable playback device. The rhythm of the music is expressed (Fig. 5). The portable playback device searches for music similar to this rhythm and displays a list of music metadata (song name, artist name, etc.) on the display device.
A desired music piece is selected from the displayed contents and played back.
図6は、本発明の実施形態3に係る携帯再生装置の機能構成を示すブロック図であり、同図において、携帯再生装置は、楽曲検索装置10、音情報格納部20、センサ30、制御部40、設定部41、モード設定メモリ42、動きデータ入力部43、表示部44、入力部45、再生部46とからなる。   FIG. 6 is a block diagram illustrating a functional configuration of the portable playback device according to the third embodiment of the present invention, in which the portable playback device includes a music search device 10, a sound information storage unit 20, a sensor 30, and a control unit. 40, a setting unit 41, a mode setting memory 42, a motion data input unit 43, a display unit 44, an input unit 45, and a playback unit 46.
音情報格納部20は、HDD(Hard Disk Drive)、コンパクトフラッシュ(登録商標)メモリ、メモリスティックあるいはSDカード等により構成され、複数の楽曲データを記憶する。
この楽曲データは、先に説明したように、楽曲ごとにメタデータと曲データから構成されている。メタデータには、曲名、レコード会社名、アーチスト名およびこの曲が音情報格納部20のどの位置にあるかを示す位置情報と曲の長さや楽曲の特徴を現す特徴ベクトルが含まれている。
また、楽曲の曲データは、デジタルデータ化したMP3やWMA、ASF等の形式で記録されている。また、音情報格納部20は、携帯再生装置に固定されたものであってもよいし、あるいは着脱可能になっていてもよい。
The sound information storage unit 20 is configured by an HDD (Hard Disk Drive), a compact flash (registered trademark) memory, a memory stick, an SD card, or the like, and stores a plurality of music data.
As described above, the music data is composed of metadata and music data for each music. The metadata includes a song name, a record company name, an artist name, position information indicating where the song is located in the sound information storage unit 20, and a feature vector representing the length of the song and the feature of the song.
The music data of the music is recorded in the format of MP3, WMA, ASF or the like converted into digital data. The sound information storage unit 20 may be fixed to the portable playback device, or may be detachable.
センサ30は、ジャイロセンサや加速度センサ等からなり、制御部40からのセンサの電源のON/OFFに応じて、携帯再生装置の振れを検出して、波形データを動きデータとして出力する。
動きデータ入力部43は、センサ30から動きデータが送られてくると、所定の周期でサンプリングして、所定時間(例えば、3秒から5秒)内の動きデータをデジタル化して楽曲検索装置10へ送る。
この楽曲検索装置10は、上述の実施形態1あるいは実施形態2のいずれであってもよい。
The sensor 30 is composed of a gyro sensor, an acceleration sensor, or the like, and detects the shake of the portable playback device in accordance with the power ON / OFF of the sensor from the control unit 40, and outputs the waveform data as motion data.
When the motion data is sent from the sensor 30, the motion data input unit 43 samples at a predetermined cycle, digitizes the motion data within a predetermined time (for example, 3 to 5 seconds), and stores the music search device 10. Send to.
This music search device 10 may be either the above-described first or second embodiment.
制御部40は、携帯再生装置の全体を制御する。
まず、携帯再生装置の動きデータによって選曲したいときには、ユーザが携帯再生装置に備えられた選曲ボタンを押す。
選曲ボタンが押されると制御部40は、センサ30の電源を入れて振動を検出可能にする。また、この選曲ボタンがもう一度押されると、制御部40はセンサ30の電源を切る。
また、制御部40は、楽曲検索装置10から楽曲の位置情報のリストが渡されると、楽曲の位置情報を基に音情報格納部20を参照して、動きデータに類似した楽曲のメタデータ(曲名とアーチスト名等)のリストを作成し、表示部44を起動する。
表示部44は、制御部40から楽曲のメタデータ(曲名とアーチスト名等)のリストを受け取ると、一覧表として表示装置に表示する。
The control unit 40 controls the entire portable playback device.
First, when the user wants to select music based on the movement data of the portable playback device, the user presses a music selection button provided on the portable playback device.
When the music selection button is pressed, the control unit 40 turns on the sensor 30 to detect vibration. When the music selection button is pressed again, the control unit 40 turns off the sensor 30.
In addition, when the list of music position information is passed from the music search device 10, the control unit 40 refers to the sound information storage unit 20 based on the position information of the music, and stores metadata (similar to motion data) ( A list of song names and artist names is created, and the display unit 44 is activated.
When the display unit 44 receives a list of metadata (music name and artist name, etc.) of music from the control unit 40, the display unit 44 displays the list as a list on the display device.
入力部45は、カーソル移動指示が入力されると表示装置に表示された楽曲のリスト上のカーソルの表示を移動する。また、入力部45は、カーソルで示された楽曲に対して再生実行指示が入力されると、カーソルのあった一覧表での位置情報と再生実行指示とを制御部40へ戻す。   When a cursor movement instruction is input, the input unit 45 moves the cursor display on the music list displayed on the display device. Further, when a playback execution instruction is input to the music indicated by the cursor, the input unit 45 returns the position information and the playback execution instruction in the list where the cursor is located to the control unit 40.
制御部40は、再生実行指示を入力部45から受け取ると、一覧表での位置情報から楽曲の位置情報を算出し、再生部46を起動して、楽曲の位置情報を渡す。
再生部46は、制御部40から渡された位置情報で示される楽曲の曲データを音情報格納部20から読み出して、スピーカやヘッドホン等で出力して再生する。
When receiving the reproduction execution instruction from the input unit 45, the control unit 40 calculates the position information of the music from the position information in the list, activates the reproduction unit 46, and passes the position information of the music.
The reproduction unit 46 reads out the music data of the music indicated by the position information passed from the control unit 40 from the sound information storage unit 20, and outputs and reproduces the data using a speaker, headphones, or the like.
ユーザが設定値を指定する場合、制御部40を介して設定部41を起動させる。
設定部41は、携帯再生装置や楽曲検索装置に対する設定画面を表示装置に表示させて、次のいずれかの設定値を入力させる。
When the user designates a setting value, the setting unit 41 is activated via the control unit 40.
The setting unit 41 displays a setting screen for the portable playback device and the music search device on the display device, and inputs one of the following setting values.
(1)処理モード
処理モードには、表示モード(実施形態3)と再生モード(実施形態4,5)の2つがある。表示モードは、類似検索された楽曲のリストを表示装置に表示させ、リストの中からユーザの指定によって所望の楽曲を選択することによって再生する。
再生モードは、類似度の大きい順あるいはユーザの指定順に楽曲を再生する。
設定部41は、入力された処理モードを、不揮発性のメモリから構成されるモード設定メモリ42に記憶する。
(1) Processing Mode There are two processing modes, a display mode (third embodiment) and a reproduction mode (fourth and fifth embodiments). In the display mode, a list of similarly searched songs is displayed on the display device, and reproduction is performed by selecting a desired song from the list according to the user's designation.
In the playback mode, songs are played back in descending order of similarity or in the order specified by the user.
The setting unit 41 stores the input processing mode in a mode setting memory 42 configured from a nonvolatile memory.
(2)検索条件
先の実施形態で説明したように、楽曲検索装置10の判定部11で類似と判定する時の閾値を、楽曲検索装置10の判定条件設定メモリ15に設定する。
上記設定部41は、上記の処理モードや検索条件が予め決まったものであれば、備えなくてもよい。
(2) Search Condition As described in the previous embodiment, a threshold value for determining the similarity by the determination unit 11 of the music search device 10 is set in the determination condition setting memory 15 of the music search device 10.
The setting unit 41 may not be provided as long as the processing mode and the search condition are determined in advance.
次に、図7のフローチャートを用いて、ユーザが所望の楽曲を再生するまでの処理を説明する。
まず、携帯再生装置を利用する前に、ユーザによって処理モードを設定させる(ステップS1)。もちろん、既定値として処理モードが表示モードと設定されている場合には、この操作は必要がない。
次に、ユーザが選曲ボタンを押下すると、この押下を検出し(ステップS2)、センサの電源をONにする(ステップS3)。
Next, processing until the user reproduces desired music will be described using the flowchart of FIG.
First, before using the portable playback device, the processing mode is set by the user (step S1). Of course, this operation is not necessary when the processing mode is set to the display mode as a default value.
Next, when the user depresses the music selection button, this depressing is detected (step S2), and the sensor is turned on (step S3).
このセンサ30がONになり、ユーザが携帯再生装置を遅速や強弱等を交えて振ると、所定の時間内(例えば、3秒から5秒)でこの装置の動きデータをサンプリングして読み込む(ステップS4)。
読み込んだ動きデータが楽曲検索装置10へ渡されて、この動きデータに類似した楽曲が検索される(ステップS5)。
検索された楽曲のメタデータ(曲名やアーチスト名等)を音情報格納部20から取り出して、検索結果の楽曲一覧表として表示装置へ表示する(ステップS6)
When the sensor 30 is turned on and the user shakes the portable playback device with slow speed, strength, etc., the motion data of the device is sampled and read within a predetermined time (for example, 3 to 5 seconds) (step S4).
The read motion data is passed to the music search device 10, and music similar to this motion data is searched (step S5).
The metadata (song name, artist name, etc.) of the searched music is extracted from the sound information storage unit 20 and displayed on the display device as a music list of search results (step S6).
ユーザが表示装置に表示された一覧表の中からカーソルを移動させて所望の楽曲を見つけ、再生指示を入力する。この再生指示を検出すると(ステップS7)、カーソルのあった楽曲の位置情報から曲データを取り出してスピーカやヘッドホンへ再生出力する(ステップS8)。一覧表示中の他の楽曲の再生を指示したいときには、カーソルを移動させて再度再生指示を行う。   The user moves the cursor from the list displayed on the display device to find a desired music piece and inputs a reproduction instruction. When this reproduction instruction is detected (step S7), the music data is extracted from the position information of the music on which the cursor is located, and is reproduced and output to a speaker or headphones (step S8). When it is desired to instruct the reproduction of other music on the list display, the cursor is moved and the reproduction instruction is performed again.
携帯再生装置の動きによる楽曲の選曲を終了したいときには、ユーザは選曲ボタンを再度押下する。この選曲ボタンの押下を検出すると(ステップS9)、センサ30の電源をOFFにする(ステップS10)。
この後、ユーザは、携帯再生装置の動き以外による機能の操作を行うことになる。
When the user wants to end the music selection by the movement of the portable playback device, the user presses the music selection button again. When the pressing of the music selection button is detected (step S9), the power of the sensor 30 is turned off (step S10).
Thereafter, the user performs a function operation other than the movement of the portable playback device.
<実施形態4> <Embodiment 4>
本実施形態4は、上記の実施形態3で説明した処理モードが再生モードの場合の携帯再生装置である。
図8は、本発明の実施形態4に係る携帯再生装置の機能構成を示すブロック図であり、同図において、携帯再生装置は、楽曲検索装置10、音情報格納部20、センサ30、制御部40、設定部41、モード設定メモリ42、動きデータ入力部43、表示部44、再生部46とからなる。図8において、図6と同じものについては同じ符号を付し、相違点だけを説明する。
The fourth embodiment is a portable playback device when the processing mode described in the third embodiment is a playback mode.
FIG. 8 is a block diagram illustrating a functional configuration of the portable playback device according to the fourth embodiment of the present invention, in which the portable playback device includes a music search device 10, a sound information storage unit 20, a sensor 30, and a control unit. 40, a setting unit 41, a mode setting memory 42, a motion data input unit 43, a display unit 44, and a playback unit 46. In FIG. 8, the same components as those in FIG. 6 are denoted by the same reference numerals, and only the differences will be described.
制御部40は、楽曲検索装置10から検索結果を受け取ると、再生部46を起動して、検索結果のうちで類似度の最も高い楽曲の位置情報と再生指示とを渡す。
再生部46では、制御部40から受け取った、位置情報に該当する楽曲の曲データを音情報格納部20から取り出して、スピーカやヘッドホンへ再生出力する。
When receiving the search result from the music search device 10, the control unit 40 activates the playback unit 46 and passes the position information and the playback instruction of the music with the highest similarity among the search results.
The reproduction unit 46 extracts the music data of the music corresponding to the position information received from the control unit 40 from the sound information storage unit 20, and reproduces and outputs the music data to a speaker or headphones.
また、制御部40は、再生部46を起動するとともに、検索結果のうちで類似度の最も高い楽曲の位置情報に該当する楽曲のメタデータ(曲名やアーチスト名等)を取り出して、表示部44も起動して、メタデータ(曲名やアーチスト名等)を渡す。表示部44は、受け取ったメタデータ(曲名やアーチスト名等)を表示装置へ表示させることによって、再生されている楽曲のメタデータ(曲名やアーチスト名等)を知ることができる。   In addition, the control unit 40 activates the reproduction unit 46, extracts metadata (music name, artist name, etc.) of the music corresponding to the position information of the music with the highest similarity in the search results, and displays the display unit 44. Also starts and passes metadata (song name, artist name, etc.). The display unit 44 displays the received metadata (song name, artist name, etc.) on the display device, thereby knowing the metadata (song name, artist name, etc.) of the music being played.
なお、検索結果が複数の楽曲からなるときは、上述のように類似度の大きい順に再生してもよいし、ランダムに再生するようにしてもよい。   When the search result is composed of a plurality of music pieces, it may be played back in descending order of similarity as described above, or may be played back randomly.
<実施形態5> <Embodiment 5>
本実施形態5は、上記の実施形態4で説明した再生モードの他の実施形態である。
図9は、本発明の実施形態5に係る携帯再生装置の機能構成を示すブロック図であり、同図において、携帯再生装置は、楽曲検索装置10、音情報格納部20、センサ30、制御部40、設定部41、モード設定メモリ42、動きデータ入力部43、表示部44、再生部46、動きパターン判定部47とからなる。図9において、図8と同じものについては同じ符号を付し、相違点だけを説明する。
The fifth embodiment is another embodiment of the reproduction mode described in the fourth embodiment.
FIG. 9 is a block diagram illustrating a functional configuration of a portable playback device according to the fifth embodiment of the present invention, in which the portable playback device includes a music search device 10, a sound information storage unit 20, a sensor 30, and a control unit. 40, a setting unit 41, a mode setting memory 42, a motion data input unit 43, a display unit 44, a playback unit 46, and a motion pattern determination unit 47. 9, the same components as those in FIG. 8 are denoted by the same reference numerals, and only the differences will be described.
本実施形態5は、動きデータに類似する楽曲が複数個検索された場合に、ユーザに再生する楽曲を選択させるようにしたものである。
楽曲を検索するときには、例えば上下方向に3秒から5秒以上、携帯再生装置を振るように決めておく。また、3秒以内の振りは楽曲検索のための動きデータとして採用しないようにする。
そして、複数の検索結果の中から楽曲を選択するには、例えば右または左方向に3秒以内、携帯再生装置を振るように決めておく。また、3秒以上の振りは楽曲検索のための動きデータとして採用するようにする。右方向への振りは類似度の小さい方へカーソルを動かして選曲再生し、左方向への振りは類似度の大きい方へカーソルを動かして選曲再生するように決める。
In the fifth embodiment, when a plurality of music pieces similar to the motion data are searched, the user selects a music piece to be played back.
When searching for music, for example, it is determined to shake the portable playback device in the vertical direction for 3 to 5 seconds or more. Also, a swing within 3 seconds is not adopted as motion data for music search.
In order to select a music piece from a plurality of search results, for example, it is decided to shake the portable playback device within 3 seconds in the right or left direction. In addition, a swing of 3 seconds or more is adopted as motion data for music search. For the swing to the right, move the cursor to the smaller similarity and select and play the music. For the swing to the left, move the cursor to the higher similarity and select and play the music.
上記のように携帯再生装置の振りを決めた場合、動きパターン判定部47は、動きデータ入力部43によって取り込んだ動きデータが3秒以上継続している場合には、取り込んだ動きデータを楽曲検索装置10へ渡して、類似した楽曲の検索を行わせる。
また、動きパターン判定部47は、取り込まれた動きデータが右方向への動きであれば、右方向指示を制御部40へ送り、左方向への動きであれば、左方向指示を制御部40へ送る。
When the swing of the portable playback device is determined as described above, the motion pattern determination unit 47 searches the captured motion data for music if the motion data captured by the motion data input unit 43 continues for 3 seconds or longer. It is passed to the device 10 to search for similar music.
In addition, the movement pattern determination unit 47 sends a right direction instruction to the control unit 40 if the captured movement data is a right movement, and sends a left direction instruction to the control unit 40 if the movement data is left movement. Send to.
制御部40は、動きパターン判定部47から左方向指示が渡されると、検索結果の一覧のうち現在再生している楽曲より類似度が大きい楽曲の位置情報と再生実行指示を再生部46へ渡すとともに、その楽曲のメタデータ(曲名やアーチスト名等)の表示指示を表示部44へ渡す。
また、制御部40は、右方向指示が渡されると、検索結果の一覧のうち現在再生している楽曲より類似度が小さい楽曲の位置情報と再生実行指示を再生部46へ渡すとともに、その位置情報と表示指示を表示部44へ渡す。
制御部40は、検索結果が存在しない場合には、左右方向指示を受け取っても動作はしない。
これにより、検索結果に複数の楽曲があった場合でも、ユーザの所望した楽曲の類似度が低くても再生することができる。また、同じような曲を次々と再生することができる。
When the left direction instruction is passed from the motion pattern determination unit 47, the control unit 40 passes to the playback unit 46 position information and a playback execution instruction of the music having a higher similarity than the currently played music in the list of search results. At the same time, an instruction to display the metadata (music title, artist name, etc.) of the music is given to the display unit 44.
In addition, when the right direction instruction is passed, the control unit 40 passes the position information and the reproduction execution instruction of the music having a lower similarity than the currently reproduced music in the search result list to the reproduction unit 46 and the position. Information and display instructions are passed to the display unit 44.
If there is no search result, the control unit 40 does not operate even if it receives a left / right direction instruction.
As a result, even when there are a plurality of music pieces in the search result, the music piece can be played even if the similarity degree of the music piece desired by the user is low. Also, similar songs can be played one after another.
上記の実施形態3乃至5は、それぞれ単独の構成として説明したが、これに限定されたものではなく適宜組み合わせた実施形態としてもよい。   The above-described third to fifth embodiments have been described as single configurations, but the present invention is not limited to this and may be appropriately combined.
本発明の実施形態1に係る楽曲検索装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the music search apparatus which concerns on Embodiment 1 of this invention. 動きデータの波形を示す図である。It is a figure which shows the waveform of motion data. 楽曲の曲データの波形を示す図である。It is a figure which shows the waveform of the music data of a music. 本発明の実施形態2に係る楽曲検索装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the music search apparatus which concerns on Embodiment 2 of this invention. 本発明による携帯音楽再生端末の利用シーンをイメージした図である。It is the figure which imagined the utilization scene of the portable music reproduction terminal by this invention. 本発明の実施形態3に係る携帯再生装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the portable reproducing | regenerating apparatus which concerns on Embodiment 3 of this invention. 実施形態3に係る携帯再生装置を使って、ユーザが所望の楽曲を再生するまでの処理を説明するためのフローチャートである。14 is a flowchart for explaining processing until a user plays a desired music piece using the portable playback device according to the third embodiment. 本発明の実施形態4に係る携帯再生装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the portable reproducing | regenerating apparatus which concerns on Embodiment 4 of this invention. 本発明の実施形態5に係る携帯再生装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the portable reproducing | regenerating apparatus which concerns on Embodiment 5 of this invention.
符号の説明Explanation of symbols
10…楽曲検索装置、11…判定部、12…コネクタ1、13…コネクタ2、14…コネクタ3、15…判定条件設定メモリ、16…作業メモリ、17…特徴量抽出部、20…音情報格納部、30…センサ、40…制御部、41…設定部、42…モード設定メモリ、43…動きデータ入力部、44…表示部、45…入力部、46…再生部、47…動きパターン判定部。 DESCRIPTION OF SYMBOLS 10 ... Music search apparatus, 11 ... Determination part, 12 ... Connector 1, 13 ... Connector 2, 14 ... Connector 3, 15 ... Determination condition setting memory, 16 ... Working memory, 17 ... Feature-value extraction part, 20 ... Sound information storage Unit, 30 ... sensor, 40 ... control unit, 41 ... setting unit, 42 ... mode setting memory, 43 ... motion data input unit, 44 ... display unit, 45 ... input unit, 46 ... reproduction unit, 47 ... motion pattern determination unit .

Claims (22)

  1. 装置の動きデータと複数の音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定部を備えることを特徴とする音声検索装置。   A speech search device comprising: a determination unit that compares motion data of the device with a plurality of speech data and outputs speech data similar to the motion data as a search result.
  2. 装置の動きデータから特徴量を抽出する特徴量抽出部と、前記特徴量抽出部で抽出された特徴量と複数の音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力する判定部とを備えることを特徴とする音声検索装置。   A feature amount extraction unit that extracts feature amounts from motion data of the device, and compares the feature amount extracted by the feature amount extraction unit with the feature amounts of a plurality of pieces of audio data, and obtains speech data similar to the motion data. A voice search apparatus comprising: a determination unit that outputs a search result.
  3. 請求項1または2に記載の音声検索装置において、前記判定部は、動きデータと音声データとの類似度を算出し、予め定められた閾値より大きい類似度の音声データを検索結果とすることを特徴とする音声検索装置。   3. The voice search device according to claim 1, wherein the determination unit calculates a similarity between the motion data and the voice data, and uses the voice data having a similarity higher than a predetermined threshold as a search result. A featured voice search device.
  4. 請求項3に記載の音声検索装置において、前記閾値を変更可能としたことを特徴とする音声検索装置。   The voice search device according to claim 3, wherein the threshold value can be changed.
  5. 装置の動きデータと複数の音声データとを比較して、該動きデータに類似した音声データを検索結果として出力することを特徴とする音声検索方法。   A speech search method comprising: comparing motion data of a device with a plurality of speech data, and outputting speech data similar to the motion data as a search result.
  6. 装置の動きデータから抽出された特徴量と複数の音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力することを特徴とする音声検索方法。   A speech search method characterized by comparing feature quantities extracted from motion data of a device and feature quantities of a plurality of speech data, and outputting speech data similar to the motion data as a search result.
  7. 複数の音声データから選択した音声データを再生する携帯再生装置において、装置の動きを検出して入力する動きデータ入力部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記動きデータ入力部で入力した動きデータと前記音情報格納部に格納された音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定部と、前記判定部で出力された検索結果の音声データに関するメタデータを表示する表示部と、を備えることを特徴とする携帯再生装置。   In a portable playback device that plays back audio data selected from a plurality of audio data, a motion data input unit that detects and inputs movement of the device, and a sound information storage unit that stores sound information and metadata related to the plurality of audio data A determination unit that compares the motion data input by the motion data input unit with the voice data stored in the sound information storage unit and outputs speech data similar to the motion data as a search result; and the determination unit And a display unit that displays metadata related to the audio data of the search result output in step (b).
  8. 複数の音声データから選択した音声データを再生する携帯再生装置において、装置の動きを検出して入力する動きデータ入力部と、前記動きデータ入力部で入力した動きデータから特徴量を抽出する特徴量抽出部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記特徴量抽出部で抽出された特徴量と、前記音情報格納部に格納された音声データの特徴量とを比較して、該動きデータに類似した音声データのメタデータを検索結果として出力する判定部と、前記判定部で出力された検索結果の音声データに関するメタデータを表示する表示部と、を備えることを特徴とする携帯再生装置。   In a portable playback device that plays back audio data selected from a plurality of audio data, a motion data input unit that detects and inputs motion of the device, and a feature value that extracts feature values from the motion data input by the motion data input unit An extraction unit; a sound information storage unit that stores sound information and metadata relating to a plurality of audio data; a feature amount extracted by the feature amount extraction unit; and a feature amount of the audio data stored in the sound information storage unit And a determination unit that outputs metadata of audio data similar to the motion data as a search result, and a display unit that displays metadata related to the audio data of the search result output by the determination unit. A portable playback device comprising:
  9. 複数の音声データから選択した音声データを再生する携帯再生装置において、装置の動きを検出して入力する動きデータ入力部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記動きデータ入力部で入力した動きデータと前記音情報格納部に格納された音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定部と、前記判定部で出力された検索結果の音声データを再生する再生部と、を備えることを特徴とする携帯再生装置。   In a portable playback device that plays back audio data selected from a plurality of audio data, a motion data input unit that detects and inputs movement of the device, and a sound information storage unit that stores sound information and metadata related to the plurality of audio data A determination unit that compares the motion data input by the motion data input unit with the voice data stored in the sound information storage unit and outputs speech data similar to the motion data as a search result; and the determination unit And a playback unit that plays back the audio data of the search result output in step (b).
  10. 複数の音声データから選択した音声データを再生する携帯再生装置において、装置の動きを検出して入力する動きデータ入力部と、前記動きデータ入力部で入力した動きデータから特徴量を抽出する特徴量抽出部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記特徴量抽出部で抽出された特徴量と、前記音情報格納部に格納された音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力する判定部と、前記判定部で出力された検索結果の音声データを再生する再生部と、を備えることを特徴とする携帯再生装置。   In a portable playback device that plays back audio data selected from a plurality of audio data, a motion data input unit that detects and inputs motion of the device, and a feature value that extracts feature values from the motion data input by the motion data input unit An extraction unit; a sound information storage unit that stores sound information and metadata relating to a plurality of audio data; a feature amount extracted by the feature amount extraction unit; and a feature amount of the audio data stored in the sound information storage unit And a determination unit that outputs audio data similar to the motion data as a search result, and a reproduction unit that reproduces the audio data of the search result output by the determination unit. Portable playback device.
  11. 請求項9または10に記載の携帯再生装置において、前記再生部は、検索結果のうち類似度が最も高い音声データを再生することを特徴とする携帯再生装置。   11. The portable playback device according to claim 9, wherein the playback unit plays back audio data having the highest similarity among the search results.
  12. 請求項9または10に記載の携帯再生装置において、前記動きデータ入力部で入力した動きデータが検索のためのデータか、あるいは検索結果の選択指示のためのデータであるかを判定する動きパターン判定部を備え、前記動きパターン判定部で検索結果の選択指示と判定した場合に、前記再生部は、既に検索結果の中から再生中の音声データとは別の音声データを再生することを特徴とする携帯再生装置。   11. The mobile playback device according to claim 9, wherein motion pattern determination is performed to determine whether the motion data input by the motion data input unit is data for search or data for selecting a search result. And when the motion pattern determination unit determines that the search result is selected, the playback unit plays back audio data different from the audio data being played back from the search results. Portable playback device.
  13. 請求項7乃至12のいずれかに記載の携帯再生装置において、前記再生部で選択された音声データを再生するときに、該音声データに関するメタデータを表示することを特徴とする携帯再生装置。   13. The portable playback device according to claim 7, wherein when the audio data selected by the playback unit is played back, metadata related to the audio data is displayed.
  14. 請求項7乃至13のいずれかに記載の携帯再生装置において、前記判定部は、動きデータと音声データとの類似度を算出し、予め定められた閾値より大きい類似度の音声データを検索結果とすることを特徴とする携帯再生装置。   The portable playback device according to any one of claims 7 to 13, wherein the determination unit calculates a similarity between motion data and audio data, and obtains audio data having a similarity greater than a predetermined threshold as a search result. A portable playback device.
  15. 請求項14に記載の携帯再生装置において、前記閾値を設定する設定部を備え、前記閾値を変更可能としたことを特徴とする携帯再生装置。   The portable playback device according to claim 14, further comprising a setting unit that sets the threshold, wherein the threshold can be changed.
  16. 請求項7乃至15のいずれかに記載の携帯再生装置において、前記音情報格納部を携帯再生装置と着脱可能にしたことを特徴とする携帯再生装置。   16. The portable playback apparatus according to claim 7, wherein the sound information storage unit is detachable from the portable playback apparatus.
  17. 複数の音声データから選択した音声データを再生する音声再生方法において、装置の動きを検出して入力する動きデータ入力ステップと、前記入力した動きデータと、音情報格納部に格納された複数の音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定ステップと、前記検索結果の音声データを再生する再生ステップと、該検索結果の音声データに関するメタデータの一覧を表示する表示ステップと、を備えることを特徴とする音声再生方法。   In a sound reproduction method for reproducing sound data selected from a plurality of sound data, a motion data input step for detecting and inputting a motion of the apparatus, the input motion data, and a plurality of sounds stored in a sound information storage unit A step of comparing the data and outputting speech data similar to the motion data as a search result, a playback step of reproducing the speech data of the search result, and a list of metadata relating to the speech data of the search result And a display step for displaying the sound.
  18. 複数の音声データから選択した音声データを再生する音声再生方法において、装置の動きを検出して入力する動きデータ入力ステップと、前記入力した動きデータから特徴量を抽出する特徴量抽出ステップと、前記抽出された特徴量と、音情報格納部に格納された複数の音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力する判定ステップと、前記検索結果の音声データを再生する再生ステップと、該検索結果の音声データに関するメタデータの一覧を表示する表示ステップと、を備えることを特徴とする音声再生方法。   In an audio reproduction method for reproducing audio data selected from a plurality of audio data, a motion data input step for detecting and inputting a motion of the apparatus, a feature amount extracting step for extracting a feature amount from the input motion data, A step of comparing the extracted feature quantity and the feature quantities of a plurality of audio data stored in the sound information storage unit, and outputting audio data similar to the motion data as a search result; and An audio reproduction method comprising: a reproduction step of reproducing audio data; and a display step of displaying a list of metadata related to the audio data of the search result.
  19. 請求項1乃至4のいずれかに記載の音声検索装置における音声データを楽曲データとしたことを特徴とする楽曲検索装置。   5. A music search apparatus, wherein the voice data in the voice search apparatus according to claim 1 is music data.
  20. 請求項5または6に記載の音声検索方法における音声データを楽曲データとしたことを特徴とする楽曲検索方法。   7. A music searching method according to claim 5, wherein the voice data in the voice searching method according to claim 5 is music data.
  21. 請求項7乃至16のいずれかに記載の携帯再生装置における音声データを楽曲データとしたことを特徴とする携帯再生装置。   The portable playback device according to claim 7, wherein the audio data in the portable playback device is music data.
  22. 請求項17または18に記載の音声再生方法における音声データを楽曲データとしたことを特徴とする楽曲再生方法。   The music reproducing method according to claim 17 or 18, wherein the audio data in the audio reproducing method is music data.
JP2005139724A 2005-05-12 2005-05-12 Sound retrieval device, sound retrieval method, sound reproduction method, portable reproduction device, musical piece retrieval device, musical piece retrieval method and musical piece reproduction method Pending JP2006318182A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005139724A JP2006318182A (en) 2005-05-12 2005-05-12 Sound retrieval device, sound retrieval method, sound reproduction method, portable reproduction device, musical piece retrieval device, musical piece retrieval method and musical piece reproduction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005139724A JP2006318182A (en) 2005-05-12 2005-05-12 Sound retrieval device, sound retrieval method, sound reproduction method, portable reproduction device, musical piece retrieval device, musical piece retrieval method and musical piece reproduction method

Publications (1)

Publication Number Publication Date
JP2006318182A true JP2006318182A (en) 2006-11-24

Family

ID=37538812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005139724A Pending JP2006318182A (en) 2005-05-12 2005-05-12 Sound retrieval device, sound retrieval method, sound reproduction method, portable reproduction device, musical piece retrieval device, musical piece retrieval method and musical piece reproduction method

Country Status (1)

Country Link
JP (1) JP2006318182A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008154034A (en) * 2006-12-19 2008-07-03 Sony Corp Information processor, information processing method, and program
JP2008176851A (en) * 2007-01-18 2008-07-31 Akita Denshi Systems:Kk Music selecting and reproducing method
JP2008191814A (en) * 2007-02-02 2008-08-21 Alpine Electronics Inc Content data reproduction device, contents list preparation method and contents list retrieval method
JP2008234453A (en) * 2007-03-22 2008-10-02 Sony Corp Content retrieval device, content retrieval method and content retrieval program
JP2008299631A (en) * 2007-05-31 2008-12-11 Sony Ericsson Mobilecommunications Japan Inc Content retrieval device, content retrieval method and content retrieval program
JP2009181209A (en) * 2008-01-29 2009-08-13 Funai Electric Co Ltd Contents storage and reproduction device and network system
JP2012058328A (en) * 2010-09-06 2012-03-22 Dainippon Printing Co Ltd Acoustic data related information retrieval device
JP2012255807A (en) * 2012-09-04 2012-12-27 Akita Denshi Systems:Kk Method for selecting and reproducing music

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143151A (en) * 1996-01-30 1998-05-29 Pfu Ltd Conductor device
JP2000148351A (en) * 1998-09-09 2000-05-26 Matsushita Electric Ind Co Ltd Operation instruction output device giving operation instruction in accordance with kind of user's action and computer-readable recording medium
JP2000513846A (en) * 1997-04-28 2000-10-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Recorded music database based on standardized music themes
JP2001333156A (en) * 2000-05-19 2001-11-30 Yamaha Corp Mobile phone, automatic playing device, automatic playing controller and automatic playing system
WO2002047066A1 (en) * 2000-12-07 2002-06-13 Sony Corporation Contrent searching device and method, and communication system and method
JP2002171316A (en) * 2000-11-30 2002-06-14 Toshiba Corp Mobile communication terminal
JP2002341865A (en) * 2001-05-11 2002-11-29 Yamaha Corp Method, device, and system for generating audio signal, audio system, program, and recording medium
JP2002372969A (en) * 2001-06-13 2002-12-26 Victor Co Of Japan Ltd Music information retrieval system
JP2003108130A (en) * 2001-09-28 2003-04-11 Yamaha Corp Music reproducing method and portable telephone device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143151A (en) * 1996-01-30 1998-05-29 Pfu Ltd Conductor device
JP2000513846A (en) * 1997-04-28 2000-10-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Recorded music database based on standardized music themes
JP2000148351A (en) * 1998-09-09 2000-05-26 Matsushita Electric Ind Co Ltd Operation instruction output device giving operation instruction in accordance with kind of user's action and computer-readable recording medium
JP2001333156A (en) * 2000-05-19 2001-11-30 Yamaha Corp Mobile phone, automatic playing device, automatic playing controller and automatic playing system
JP2002171316A (en) * 2000-11-30 2002-06-14 Toshiba Corp Mobile communication terminal
WO2002047066A1 (en) * 2000-12-07 2002-06-13 Sony Corporation Contrent searching device and method, and communication system and method
JP2002341865A (en) * 2001-05-11 2002-11-29 Yamaha Corp Method, device, and system for generating audio signal, audio system, program, and recording medium
JP2002372969A (en) * 2001-06-13 2002-12-26 Victor Co Of Japan Ltd Music information retrieval system
JP2003108130A (en) * 2001-09-28 2003-04-11 Yamaha Corp Music reproducing method and portable telephone device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
辻 康博: "曲の局所パターン特徴量を用いた類似曲検索・感性語による検索", 電子情報通信学会技術研究報告, vol. 第96巻 第565号, JPN6010005599, 6 March 1997 (1997-03-06), JP, pages 17 - 24, ISSN: 0001530365 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008154034A (en) * 2006-12-19 2008-07-03 Sony Corp Information processor, information processing method, and program
US8799945B2 (en) 2006-12-19 2014-08-05 Sony Corporation Information processing apparatus, information processing method, and computer program
US10102283B2 (en) 2006-12-19 2018-10-16 Sony Corporation Controlling reproduction of content based on stored data
JP2008176851A (en) * 2007-01-18 2008-07-31 Akita Denshi Systems:Kk Music selecting and reproducing method
JP2008191814A (en) * 2007-02-02 2008-08-21 Alpine Electronics Inc Content data reproduction device, contents list preparation method and contents list retrieval method
JP2008234453A (en) * 2007-03-22 2008-10-02 Sony Corp Content retrieval device, content retrieval method and content retrieval program
JP2008299631A (en) * 2007-05-31 2008-12-11 Sony Ericsson Mobilecommunications Japan Inc Content retrieval device, content retrieval method and content retrieval program
JP2009181209A (en) * 2008-01-29 2009-08-13 Funai Electric Co Ltd Contents storage and reproduction device and network system
JP2012058328A (en) * 2010-09-06 2012-03-22 Dainippon Printing Co Ltd Acoustic data related information retrieval device
JP2012255807A (en) * 2012-09-04 2012-12-27 Akita Denshi Systems:Kk Method for selecting and reproducing music

Similar Documents

Publication Publication Date Title
JP2006318182A (en) Sound retrieval device, sound retrieval method, sound reproduction method, portable reproduction device, musical piece retrieval device, musical piece retrieval method and musical piece reproduction method
JP4616337B2 (en) Playback order change support unit, music information playback apparatus, and playback order change support method
JP2004265376A (en) Method and device for selecting recorded object from database stored in memory
US7792831B2 (en) Apparatus, system and method for extracting structure of song lyrics using repeated pattern thereof
JP2006195385A (en) Device and program for music reproduction
JP2007306279A (en) Content marking method, content reproducing device, content reproducing method, and program for content marking and program for content retrieval
JP2009093779A (en) Content reproducing device and contents reproducing method
KR101459136B1 (en) Audio system and method for creating playing list
JP2001134613A (en) Audio retrieval processing method, audio information retrieving device, audio information storing method, audio information storage device and audio video retrieval processing method, audio video information retrieving device, and method and device for storing audio video information
JP2005044409A (en) Information reproducing device, information reproducing method, and information reproducing program
JP2009266005A (en) Image retrieval method, image retrieval program, music player, and article for music retrieval
JP4860513B2 (en) Music video playback device that specifies the music for viewing the continuation of the video work
WO2017028686A1 (en) Information processing method, terminal device and computer storage medium
JP2006301276A (en) Portable music reproducing device
JP2007080304A (en) Audio equipment and musical piece reproducing method
KR100810276B1 (en) The apparatus and method for creating play list of music data paly apparatus
JP2009147775A (en) Program reproduction method, apparatus, program, and medium
JP2006276560A (en) Music playback device and music playback method
JP2005250242A (en) Device, method, and program for information processing, and recording medium
KR100357241B1 (en) An area setting and executing method for repeat-playing in a digital audio player and File paly device and Storage Media
JP2008299631A (en) Content retrieval device, content retrieval method and content retrieval program
JP5098896B2 (en) Playback apparatus and playback method
JP2005235365A (en) Information reproducing device, and voice recording/reproducing device
JP2007226649A (en) Retrieval device and program
KR20050106246A (en) Method for searching data in mpeg player

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060919

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100615