JP2006023524A

JP2006023524A - Analysis system and reproduction apparatus for acoustic signal

Info

Publication number: JP2006023524A
Application number: JP2004201285A
Authority: JP
Inventors: Katsuya Shirai; 克弥白井; Yoichiro Sako; 曜一郎佐古; Toshiro Terauchi; 俊郎寺内; Makoto Inoue; 真井上; Masamichi Asukai; 正道飛鳥井; Yasushi Miyajima; 靖宮島; Kenichi Makino; 堅一牧野; Motoyuki Takai; 基行高井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-07-08
Filing date: 2004-07-08
Publication date: 2006-01-26

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system capable of objectively analyzing an acoustic signal with a change in time. <P>SOLUTION: A correspondence table ANLTBL of music tones, emotions or feelings is provided. The acoustic signals are divided by each of prescribed periods and the music tones indicated by the acoustic signals in the divided periods are analyzed by each of the divided periods. The correspondence table ANLTBL is referenced by the music tones obtained by the analysis and the acoustic signals in the divided periods are converted to the information on the emotions or feelings induced by the acoustic signals. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、音響信号の分析装置および再生装置に関する。 The present invention relates to an acoustic signal analyzing apparatus and reproducing apparatus.

近年、ユーザの気分や感性に適した音楽などのコンテンツを提供するシステムが提案されている。これらのシステムにおいては、ユーザのそのときの気分や感性を示す感性パラメータと、あらかじめ抽出しておいたコンテンツの感性パラメータとを照合し、その照合結果によりデータベースの中から最適なコンテンツを選択して提供するようにされている。 In recent years, a system for providing content such as music suitable for a user's mood and sensitivity has been proposed. In these systems, the sensitivity parameter indicating the user's current mood and sensitivity is compared with the sensitivity parameter of the content extracted in advance, and the optimal content is selected from the database according to the comparison result. Have been to provide.

例えば、文字情報、図形情報、イメージ情報（画像情報）、サウンド情報を含むマルチメディアデータに対して、感性に対応する複数の形容詞（嬉しい、明るい、悲しい、力強いなど）を付与するとともに、その形容詞をあらかじめ因子分析して因子空間に配置しておく。そして、ユーザが、そのときの気分を示す形容詞を入力すると、因子空間で最も入力情報に近いマルチメディアデータを選択して提示するシステムが考えられている（例えば、特許文献１参照）。 For example, multiple adjectives (joyful, bright, sad, powerful, etc.) corresponding to sensibility are given to multimedia data including text information, graphic information, image information (image information), and sound information. Are previously factored and placed in the factor space. When a user inputs an adjective indicating the mood at that time, a system that selects and presents multimedia data closest to the input information in the factor space has been considered (for example, see Patent Document 1).

また、上記のようにユーザがそのときの気分を示す形容詞を入力する代わりに、ユーザの生体情報（心拍、血圧など）や環境情報（時刻、場所、気温など）を計測し、その計測結果をユーザのスケジュールなどと組み合わせることにより、ユーザのそのときの気分を自動的に推定して検索用の感性パラメータを生成する方法も考えられている（例えば、特許文献２参照）。 In addition, instead of inputting an adjective indicating the mood at that time as described above, the user's biological information (heart rate, blood pressure, etc.) and environmental information (time, place, temperature, etc.) are measured, and the measurement results are displayed. A method of automatically estimating a user's mood and generating a sensitivity parameter for search by combining with the user's schedule or the like is also considered (for example, see Patent Document 2).

さらに、提示するコンテンツの感性パラメータを抽出する方法として、音楽信号を５つの周波数帯域に分割し、その各帯域の音圧分布からコンテンツが「快適、驚き、おびえ、嬉しい、悲しい」のいずれかに分類する方法もある（例えば、特許文献３参照）。 Furthermore, as a method of extracting the sensitivity parameters of the content to be presented, the music signal is divided into five frequency bands, and the content is classified as “comfortable, surprised, frightened, happy, sad” from the sound pressure distribution of each band. There is also a method of classification (see, for example, Patent Document 3).

〔先行技術の文献〕
特開平９−３４９０９号公報特開２００１−２８２８４７号公報特開２００２−３６６１７３号公報 [Prior art documents]
Japanese Patent Laid-Open No. 9-34909 JP 2001-282847 A JP 2002-366173 A

ところが、上記のように因子空間を利用するコンテンツの分析方法では、主観によりコンテンツを分類することになるので、一般性が低くなるおそれがある。また、コンテンツの時間的な変化は考慮していないので、全体の平均的な特徴しかとらえることができない。さらに、周波数帯域ごとの音圧分布により分析する方法では、「悲しい」と「嬉しい」、「驚き」と「おびえ」のように音圧分布が近い周波数帯域にあるものは、分離が難しいなどの問題があった。 However, in the content analysis method using the factor space as described above, the content is classified according to the subjectivity, which may reduce the generality. In addition, since the temporal change of content is not taken into consideration, only the average characteristic of the whole can be captured. Furthermore, the analysis method based on the sound pressure distribution for each frequency band is difficult to separate if the sound pressure distribution is close to the frequency band, such as “sad” and “joyful”, “surprise” and “frightened”. There was a problem.

この発明は、以上のような問題点を解決しようとするものである。 The present invention is intended to solve the above problems.

この発明においては、
曲調と情動あるいは感情との対応テーブルを有し、
音響信号を所定の期間ごとに区切るとともに、
その区切られた期間ごとに、この区切られた期間における音響信号の示す曲調を分析し、
この分析により得られた曲調により上記対応テーブルを参照して上記区切られた期間における音響信号を、この音響信号が引き起こす情動あるいは感情の情報に変換する
ようにした音響信号の分析回路
とするものである。 In this invention,
It has a correspondence table between tune and emotion or emotion,
While separating the acoustic signal every predetermined period,
For each segmented period, analyze the tone of the acoustic signal in the segmented period,
The acoustic signal analysis circuit is configured to convert the acoustic signal in the period divided by referring to the correspondence table according to the tone obtained by this analysis into emotion or emotion information caused by the acoustic signal. is there.

この発明によれば、音響信号を分析テーブルにしたがって分析しているので、その分析結果は客観的になり、コンテンツの持つ感情の情報を適切に評価することができる。また、所定の期間ごとに分析を行うので、音響の時間的な変化まで考慮されることになり、音楽であれば、その音楽の特徴をとらえることができる。 According to the present invention, since the acoustic signal is analyzed according to the analysis table, the analysis result becomes objective, and the emotion information of the content can be appropriately evaluated. In addition, since the analysis is performed every predetermined period, the time change of the sound is taken into consideration, and if it is music, the characteristics of the music can be captured.

〔１〕音響再生装置の例
図１はこの発明をＣＤ再生装置に適用した場合の一例を示す。このＣＤ再生装置は、ＣＤから再生された音響信号を、人の感覚に作用する信号成分について分析することにより、その音響信号の与える感情の情報を分析するものである。 [1] Example of Sound Reproducing Device FIG. 1 shows an example when the present invention is applied to a CD reproducing device. This CD playback apparatus analyzes the information of emotion given by the sound signal by analyzing the sound signal played from the CD with respect to the signal component acting on the human sense.

このため、このＣＤ再生装置は、ＣＤの再生を行うＣＤドライブ装置１２と、音響信号分析回路１３と、システム制御用のマイクロコンピュータ２０とを有する。そして、ＣＤドライブ装置１２によりＣＤ１１からデジタルオーディオデータが再生され、このデジタルオーディオデータが音響信号分析回路１３に供給されるとともに、マイクロコンピュータ２０に供給される。 For this reason, this CD playback device has a CD drive device 12 for playing back a CD, an acoustic signal analysis circuit 13, and a microcomputer 20 for system control. Then, digital audio data is reproduced from the CD 11 by the CD drive device 12, and this digital audio data is supplied to the acoustic signal analysis circuit 13 and also supplied to the microcomputer 20.

この場合、音響信号分析回路１３は、これに供給されたデジタルオーディオデータを所定の期間、例えば、数小節期間ごとに区切り、その小節ごとのデジタルオーディオデータの示す曲調を、例えば図２に示す分析分類テーブルANLTBLにより感情に分析・分類するものである。 In this case, the acoustic signal analysis circuit 13 divides the digital audio data supplied thereto into a predetermined period, for example, every several bar periods, and analyzes the tone of the digital audio data for each bar, for example, as shown in FIG. The classification table ANLTBL is used to analyze and classify emotions.

このため、テーブルANLTBLは、その左欄に示すように、曲調として「テンポ・リズム」、「音高・メロディ」、「和音・ハーモニー」、「音色・テクスチャ・形式」、「小節・構造」、「音量」の項目を有する。また、テーブルANLTBLは、その上欄に示すように、感情として「喜び」、「悲しみ」、「優しさ」、「怒り」、「恐れ」の項目を有する。 For this reason, as shown in the left column of table ANLTBL, the tempo and rhythm, pitch and melody, chord and harmony, tone, texture and format, bar and structure, It has an item “volume”. The table ANLTBL has items of “joy”, “sadness”, “kindness”, “anger”, and “fear” as emotions, as shown in the upper column.

ここで、曲調の「テンポ・リズム」は、曲の時間成分に関する項目であり、「音高・メロディ」、「和音・ハーモニー」および「音色・テクスチャ・形式」は、曲の周波数成分に関する項目である。また、「小節・構造」および「音量」は、曲の振幅成分に関する項目を有する。 Here, “tempo / rhythm” of the tune is an item related to the time component of the song, and “pitch / melody”, “chord / harmony” and “tone / texture / format” are items related to the frequency component of the song. is there. Further, “bar / structure” and “volume” have items related to the amplitude component of the song.

そして、ある期間Ｔiのデジタルオーディオデータの曲調を分析したとき、「テンポ・リズム」が顕著であり、その等級（程度）が「速い・軽快」であれば、その期間Ｔiにおけるデジタルオーディオデータを「喜び」に分類する。あるいは、ある期間Ｔiに「音高・メロディ」が優勢であり、その内容が「緩やかな上昇・下降」のときには、その期間Ｔiのデジタルオーディオデータを「優しさ」に分類する。 When the tempo of the digital audio data in a certain period Ti is analyzed, if the “tempo rhythm” is remarkable and the grade (degree) is “fast / light”, the digital audio data in the period Ti is “ Classify as “joy”. Alternatively, when “pitch / melody” is dominant in a certain period Ti and the content is “gradual rise / fall”, the digital audio data in that period Ti is classified as “kindness”.

すなわち、テーブルANLTBLの左欄の曲調をＡ1〜Ａ6とし、上欄の感情をＢ1〜Ｂ5とするとともに、それぞれの曲調および感情に対応する等級をｆ(1,1)〜ｆ(5,6)とすると、音響信号分析回路１３は、ある期間Ｔiのデジタルオーディオデータの曲調をテーブルANLTBLの曲調Ａ1〜Ａ6について分析し、ある曲調Ａmが他の曲調に比べて優勢であり、その曲調Ａmの等級がｆ(m,n)であれば、感情Ｂnをリスナが感じるであろうと分析し、期間Ｔiにおけるデジタルオーディオデータの曲調を感情Ｂnに分類する（m＝1〜6のいずれか。n＝1〜5のいずれか）。 That is, the tunes in the left column of the table ANLTBL are A1 to A6, the emotions in the upper column are B1 to B5, and the grades corresponding to the tunes and emotions are f (1,1) to f (5,6). Then, the acoustic signal analysis circuit 13 analyzes the tune of the digital audio data for a certain period Ti with respect to the tunes A1 to A6 of the table ANLTBL, and a certain tune Am is superior to other tunes, and the grade of the tune Am. Is f (m, n), it is analyzed that the listener will feel the emotion Bn, and the music tone of the digital audio data in the period Ti is classified into the emotion Bn (any of m = 1 to 6, n = 1). One of ~ 5).

なお、このテーブルANLTBLは、Patrik N. Juslin & John A. Sloboda著「Music and emotion - Theory and research」（Oxford Press社発行）の第８章の内容をまとめたものである。また、音響信号分析回路１３の構成例について後述するが、この音響信号分析回路１３の出力もマイクロコンピュータ２０に供給される。 This table ANLTBL summarizes the contents of Chapter 8 of "Music and emotion-Theory and research" by Patrik N. Juslin & John A. Sloboda (published by Oxford Press). Although an example of the configuration of the acoustic signal analysis circuit 13 will be described later, the output of the acoustic signal analysis circuit 13 is also supplied to the microcomputer 20.

そして、マイクロコンピュータ２０は、プログラムを実行するＣＰＵ２１と、各種のプログラムの書き込まれたＲＯＭ２２と、ワークエリア用のＲＡＭ２３とを有し、これらがシステムバス２９を通じて互いに接続されている。また、マイクロコンピュータ２０は、大容量の記録装置としてハードディスク装置２４と、キーボードやマウスなどのユーザインターフェイス２５とを有し、これらもシステムバス２９に接続されている。なお、ハードディスク装置２４には、画像データのデータベースがあらかじめ用意される。 The microcomputer 20 includes a CPU 21 that executes a program, a ROM 22 in which various programs are written, and a RAM 23 for a work area, which are connected to each other through a system bus 29. The microcomputer 20 includes a hard disk device 24 as a large-capacity recording device and a user interface 25 such as a keyboard and a mouse, which are also connected to the system bus 29. The hard disk device 24 is prepared in advance with a database of image data.

また、システムバス２９には表示制御回路２６を通じてディスプレイ３６が接続され、ＣＰＵ２１により処理された画像データが表示制御回路２６により表示用のビデオ信号に変換され、このビデオ信号がディスプレイ３６に供給されて画像が表示される。さらに、システムバス２９には音響処理回路２７が接続され、この処理回路２７を通じてスピーカ３７に音響信号が供給されるとともに、マイクロフォン３８からの音響信号が音響処理回路２７を通じてマイクロコンピュータ２０に取り込まれる。 Further, a display 36 is connected to the system bus 29 through a display control circuit 26, and image data processed by the CPU 21 is converted into a display video signal by the display control circuit 26, and this video signal is supplied to the display 36. An image is displayed. Further, an acoustic processing circuit 27 is connected to the system bus 29, and an acoustic signal is supplied to the speaker 37 through the processing circuit 27, and an acoustic signal from the microphone 38 is taken into the microcomputer 20 through the acoustic processing circuit 27.

さらに、この再生装置や他の同様の装置により分析した情報やデータをそれらの装置との間でやりとりするため、送受信回路３３および通信回路３４がシステムバス２９に接続され、通信回路３４は他のネットワーク、例えばインターネット４０に接続される。 Further, in order to exchange information and data analyzed by this playback device and other similar devices with these devices, the transmission / reception circuit 33 and the communication circuit 34 are connected to the system bus 29, and the communication circuit 34 Connected to a network such as the Internet 40.

このような構成において、ユーザインターフェイス２５を操作すると、ＣＤドライブ装置１２によりＣＤ１１からデジタルオーディオデータの再生が開始される。そして、この再生されたデジタルオーディオデータがシステムバス２９を通じて音響処理回路２７に供給され、音量調整や音質調整などが行われるとともに、音響信号にＤ／Ａ変換され、この音響信号がスピーカ３７に供給されて音響が再生される。 In such a configuration, when the user interface 25 is operated, reproduction of digital audio data from the CD 11 is started by the CD drive device 12. Then, the reproduced digital audio data is supplied to the sound processing circuit 27 through the system bus 29, volume adjustment, sound quality adjustment, and the like are performed, and D / A conversion is performed on the sound signal. The sound signal is supplied to the speaker 37. Sound is reproduced.

そして、このとき、ＣＤ１１から再生されたデジタルオーディオデータが音響信号分析回路１３によりテーブルANLTBLにしたがって例えば数小節ごとに分析され、その分析結果、すなわち、感情Ｂnを示すデータがマイクロコンピュータ２０に順次供給されてハードディスク装置２４に蓄積されていく。 At this time, the digital audio data reproduced from the CD 11 is analyzed by the acoustic signal analysis circuit 13 according to the table ANLTBL, for example, every several bars, and the analysis result, that is, data indicating the emotion Bn is sequentially supplied to the microcomputer 20. And stored in the hard disk device 24.

また、例えば図３に示すように、分析結果の感情Ｂnと、その分析結果を与えた小節とが対応付けされてデータベース化され、このデータベースはハードディスク装置２４に蓄積される。 For example, as shown in FIG. 3, the emotion Bn as an analysis result and the measure to which the analysis result is given are associated with each other to form a database, and this database is stored in the hard disk device 24.

さらに、この例においては、音響信号分析回路１３の分析結果にしたがって音響処理回路２７が制御され、例えば、スピーカ３７に供給される音響信号のレベルをや周波数特性を変更するなどしてスピーカ３７から出力される音響の音量や音質が制御されたりする。 Further, in this example, the acoustic processing circuit 27 is controlled in accordance with the analysis result of the acoustic signal analysis circuit 13. For example, the level of the acoustic signal supplied to the speaker 37 or the frequency characteristic is changed to change the acoustic signal from the speaker 37. The volume and sound quality of the output sound are controlled.

また、ハードディスク装置２４にあらかじめ用意しておいたデータベースから画像データが取り出されて所定の映像信号が形成されてディスプレイ３６に供給され、ディスプレイ３６には、例えば図４ＡやＢに示すような抽象画が表示されるとともに、その動き、大きさ、色、明るさ、表情などが音響信号分析回路１３の分析結果にしたがって変更される。 Also, image data is extracted from a database prepared in advance in the hard disk device 24, a predetermined video signal is formed and supplied to the display 36. The display 36 has an abstract image as shown in FIGS. 4A and 4B, for example. Is displayed, and its movement, size, color, brightness, facial expression, and the like are changed according to the analysis result of the acoustic signal analysis circuit 13.

こうして、上述の音響再生装置によれば、テーブルANLTBLにしたがって音響を分析しているので、その分析結果の分類は客観的になり、一般性を持たせることができる。また、所定の期間ごとに分析を行うので、音響の時間的な変化まで考慮されることになり、音楽であれば、その音楽の特徴をとらえることができる。 In this way, according to the above-described sound reproducing device, sound is analyzed according to the table ANLTBL, so that the classification of the analysis result becomes objective and general. In addition, since the analysis is performed every predetermined period, the time change of the sound is taken into consideration, and if it is music, the characteristics of the music can be captured.

〔２〕音響信号分析回路１３の例
〔２−１〕音響信号分析回路１３の例（その１）
図５は、音響信号分析回路１３の構成例を示す。この音響信号分析回路１３は、リズム解析回路１３１と、周波数解析回路１３２と、音量解析回路１３３と、感性データ出力回路１３４とから構成される。 [2] Example of acoustic signal analysis circuit 13 [2-1] Example of acoustic signal analysis circuit 13 (part 1)
FIG. 5 shows a configuration example of the acoustic signal analysis circuit 13. The acoustic signal analysis circuit 13 includes a rhythm analysis circuit 131, a frequency analysis circuit 132, a volume analysis circuit 133, and a sensitivity data output circuit 134.

そして、解析回路１３１〜１３３は、ＣＤドライブ装置１２により再生されたデジタルオーディオデータの数小節ごとに解析を行うものであるが、リズム解析回路１３１は、ＣＤドライブ装置１２から供給されたデジタルオーディオデータにＦＦＴ処理を行ってパワースペクトルを求めるとともに、そのパワースペクトルの微分をとることにより、該当する小節のテンポおよび強弱の解析結果Ａ1を出力する。 The analysis circuits 131 to 133 analyze the digital audio data reproduced by the CD drive device 12 every few bars. The rhythm analysis circuit 131 is a digital audio data supplied from the CD drive device 12. Then, FFT processing is performed to obtain a power spectrum, and a differential of the power spectrum is obtained to output an analysis result A1 of the tempo and strength of the corresponding bar.

また、周波数解析回路１３２は、ＣＤドライブ装置１２から供給されたデジタルオーディオデータにＦＦＴ処理を行って低域成分、中域成分および高域成分などの周波数成分を求めるとともに、各周波数成分の分布および密度と、その時間変化とから該当する小節の音高、和音および音色の解析結果Ａ2〜Ａ4を出力する。このため、周波数解析回路１３２は、音高解析部１３２Ａ、和音解析回路１３２Ｂおよび音色解析回路１３２Ｃを有する。 In addition, the frequency analysis circuit 132 performs FFT processing on the digital audio data supplied from the CD drive device 12 to obtain frequency components such as a low frequency component, a mid frequency component, and a high frequency component, and distribution of each frequency component and The analysis results A2 to A4 of the pitch, chord and timbre of the corresponding bar are output from the density and the change with time. For this reason, the frequency analysis circuit 132 includes a pitch analysis unit 132A, a chord analysis circuit 132B, and a timbre analysis circuit 132C.

さらに、音量解析回路１３３は、ＣＤドライブ装置１２から供給されたデジタルオーディオデータが示す振幅あるいはその２乗値の時間変化から該当する小節の音量およびその変化の解析結果Ａ5、Ａ6を出力する。 Further, the sound volume analysis circuit 133 outputs the volume of the corresponding bar and the analysis results A5 and A6 of the change from the time change of the amplitude indicated by the digital audio data supplied from the CD drive device 12 or its square value.

そして、この解析回路１３１〜１３３の解析結果Ａ1〜Ａ6が感性データ出力回路１３４に供給される。この感性データ出力回路１３４は、解析回路１３１〜１３３の解析出力Ａ1〜Ａ6のうち、最も優勢な曲調Ａmの解析結果を選択するとともに、その選択した解析結果の等級ｆ(m,n)から感情Ｂnを判定し、この判定結果Ｂnを出力とするものである。 The analysis results A1 to A6 of the analysis circuits 131 to 133 are supplied to the sensitivity data output circuit 134. This sensibility data output circuit 134 selects the analysis result of the most dominant music tone Am from the analysis outputs A1 to A6 of the analysis circuits 131 to 133, and the emotion from the selected analysis result grade f (m, n). Bn is determined and the determination result Bn is output.

したがって、感性データ出力回路１３４からは、ＣＤドライブ装置１２により再生されている音響信号を分析・分類した感情Ｂnのデータが出力されることになる。そして、この感情Ｂnのデータは、システムバス２９を通じてマイクロコンピュータ２０に取り込まれる。 Therefore, the emotion data output circuit 134 outputs emotion Bn data obtained by analyzing and classifying the acoustic signal reproduced by the CD drive device 12. The emotion Bn data is taken into the microcomputer 20 through the system bus 29.

〔２−２〕音響信号分析回路１３の例（その２）
音響信号分析回路１３は、マイクロコンピュータやＤＳＰにより構成することもできるが、その場合、マイクロコンピュータやＤＳＰが実行するプログラムを例えば図６および図７に示すルーチン２００のように構成することができる。 [2-2] Example of acoustic signal analysis circuit 13 (part 2)
The acoustic signal analysis circuit 13 can be configured by a microcomputer or a DSP. In that case, a program executed by the microcomputer or DSP can be configured as a routine 200 shown in FIGS. 6 and 7, for example.

すなわち、音響信号分析回路１２においてルーチン２００が実行されると、ステップ２０１において、ＣＤドライブ装置１２からデジタルオーディオデータが例えば数小節分だけ取り込まれ、次にステップ２０２において、ステップ２０１により取り込んだ小節のテンポが解析され、続くステップ２０３において、ステップ２０２により解析したテンポが、例えば120bpmよりも速いかどうかが判別される。 That is, when the routine 200 is executed in the acoustic signal analysis circuit 12, digital audio data, for example, a few bars is fetched from the CD drive device 12 in step 201, and next, in step 202, the measures of the bars fetched in step 201 are recorded. The tempo is analyzed, and in step 203, it is determined whether or not the tempo analyzed in step 202 is faster than 120 bpm, for example.

そして、テンポが120bpmよりも速いときには、処理はステップ２０３からステップ２１１に進み、このステップ２１１において、ステップ２０１により取り込んだ小節の音高および和音が解析され、続くステップ２１２において、ステップ２１１の解析結果が長調であるかどうかが判別される。そして、長調の場合には、処理はステップ２１２から２１３に進み、このステップ２１３において、500Hz以上の周波数成分があるかどうかが判別される。 When the tempo is faster than 120 bpm, the process proceeds from step 203 to step 211. In step 211, the pitch and chord of the measure captured in step 201 are analyzed, and in step 212, the analysis result of step 211 is analyzed. Is determined to be in major. In the case of a major key, the process proceeds from step 212 to step 213, where it is determined whether or not there is a frequency component of 500 Hz or more.

そして、500Hz以上の周波数成分があるときには、処理はステップ２１３から２１４に進み、このステップ２１４において、ステップ２０１により取り込んだ小節が「喜び」を示していると判定され、続くステップ２１５において、その判定結果が例えば図３に示すように、ハードディスク装置２４に保存され、その後、処理はステップ２０１に戻る。 When there is a frequency component of 500 Hz or more, the process proceeds from step 213 to 214, where it is determined that the measure taken in step 201 indicates “joy”, and in step 215, the determination is made. The result is stored in the hard disk device 24, for example, as shown in FIG.

さらに、ステップ２１３において、500Hz以上の周波数成分がないときには、処理はステップ２１３からステップ２６４に進み、このステップ２６４において、ステップ２０１により取り込んだ小節が感性情報を持たない、すなわち、「中性」であると判定され、その後、処理はステップ２１５を通じてステップ２０１に戻る。 Further, in step 213, when there is no frequency component of 500 Hz or more, the process proceeds from step 213 to step 264. In this step 264, the measure captured in step 201 has no sensitivity information, that is, is “neutral”. After that, the process returns to step 201 through step 215.

また、ステップ２１２において、ステップ２０１により取り込んだ小節が長調ではないときには、処理はステップ２１２からステップ２２１に進み、このステップ２２１において、ステップ２０１により取り込んだ小節の構造が解析される。次に処理はステップ２２２に進み、このステップ２２２において、ステップ２２１の解析結果に繰り返し構造があるかどうかが判別され、繰り返し構造があるときには、処理はステップ２２２からステップ２２４に進み、このステップ２２４において、ステップ２０１により取り込んだ小節が「怒り」を示していると判定され、その後、処理はステップ２１５を通じてステップ２０１に戻る。 In step 212, when the measure taken in step 201 is not in major, the process proceeds from step 212 to step 221. In step 221, the structure of the measure taken in step 201 is analyzed. Next, the process proceeds to step 222, in which it is determined whether or not there is a repeated structure in the analysis result of step 221. If there is a repeated structure, the process proceeds from step 222 to step 224. , It is determined that the measure taken in step 201 indicates “anger”, and then the process returns to step 201 through step 215.

さらに、ステップ２２２において、ステップ２２１の解析結果に繰り返し構造がないときには、処理はステップ２２２からステップ２３４に進み、このステップ２３４において、ステップ２０１により取り込んだ小節が「恐れ」を示していると判定され、その後、処理はステップ２１５を通じてステップ２０１に戻る。 Further, in step 222, when the analysis result in step 221 does not have a repetitive structure, the process proceeds from step 222 to step 234. In this step 234, it is determined that the measure taken in in step 201 indicates “fear”. Thereafter, the process returns to step 201 through step 215.

また、ステップ２０３において、ステップ２０２により解析したテンポが120bpmよりも遅い場合には、処理はステップ２０３からステップ２４１に進み、このステップ２４１において、ステップ２０２により解析したテンポが、例えば60bpmよりも遅いかどうかが判別される。そして、テンポが60bpmよりも遅いときには、処理はステップ２４１からステップ２４２に進み、このステップ２４２において、ステップ２０１により取り込んだ小節の和音が解析される。 In step 203, if the tempo analyzed in step 202 is slower than 120 bpm, the process proceeds from step 203 to step 241. In step 241, is the tempo analyzed in step 202 slower than 60 bpm, for example? Whether it is determined. When the tempo is slower than 60 bpm, the process proceeds from step 241 to step 242. In step 242, the chord of the measure captured in step 201 is analyzed.

そして、次にステップ２４３において、ステップ２４２の解析結果が長調であるかどうかが判別され、長調のときには、処理はステップ２４３からステップ２４４に進み、このステップ２４４において、ステップ２０１により取り込んだ小節が「優しさ」を示していると判定され、その後、処理はステップ２１５を通じてステップ２０１に戻る。 Then, in step 243, it is determined whether or not the analysis result in step 242 is a major key. If the key is a major key, the process proceeds from step 243 to step 244. In this step 244, the measure captured in step 201 is “ It is determined that “kindness” is indicated, and then the process returns to step 201 through step 215.

また、ステップ２４３において、ステップ２４２の解析結果が長調ではないときには、処理はステップ２４３からステップ２５４に進み、このステップ２５４において、ステップ２０１により取り込んだ小節が「悲しみ」を示していると判定され、その後、処理はステップ２１５を通じてステップ２０１に戻る。 In step 243, when the analysis result in step 242 is not major, the process proceeds from step 243 to step 254. In this step 254, it is determined that the measure captured in step 201 indicates “sadness”. Thereafter, the process returns to step 201 through step 215.

さらに、ステップ２４１において、ステップ２０２により解析したテンポが60bpmよりも速いときには、処理はステップ２４１からステップ２６４に進み、このステップ２６４において、ステップ２０１により取り込んだ小節は「中性」であると判定され、その後、処理はステップ２１５を通じてステップ２０１に戻る。 Further, in step 241, when the tempo analyzed in step 202 is faster than 60 bpm, the process proceeds from step 241 to step 264. In this step 264, it is determined that the measure captured in step 201 is “neutral”. Thereafter, the process returns to step 201 through step 215.

こうして、ルーチン２００によれば、ＣＤドライブ装置１１により再生された曲が、その数小節ごとに感情を示すデータに分析されて分類されていく。 In this way, according to the routine 200, the music reproduced by the CD drive device 11 is analyzed and classified into data indicating emotion for every several bars.

〔３〕その他
上述においては、音響信号分析回路１３の分析結果にしたがってディスプレイ３６に画像を表示するとともに、その動きや大きさなどを変更するとしたが、音響信号分析回路１３の分析結果に対応した内容の文字データを生成し、ディスプレイ３６に、「今とても嬉しい！」などのように、そのときの感情Ｂnを示す文字列を表示することもできる。 [3] Others In the above description, an image is displayed on the display 36 in accordance with the analysis result of the acoustic signal analysis circuit 13 and its movement and size are changed. However, this corresponds to the analysis result of the acoustic signal analysis circuit 13. The character data of the contents can be generated, and a character string indicating the emotion Bn at that time can be displayed on the display 36, such as “I am very happy now!”.

また、上述においては、音響信号分析回路１３の分析結果をハードディスク装置２４に保存したが、光ディスク、光磁気ディスク、磁気テープ、ハードディスク、半導体メモリあるいはＩＣカードなどに保存することもできる。さらに、その記録用の光ディスクは、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＤ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ブルーレイディスクなどとすることができる。 In the above description, the analysis result of the acoustic signal analysis circuit 13 is stored in the hard disk device 24. However, the analysis result may be stored in an optical disk, a magneto-optical disk, a magnetic tape, a hard disk, a semiconductor memory, an IC card, or the like. Further, the recording optical disk may be a CD, CD-R, CD-RW, MD, DVD ± R, DVD ± RW, DVD-RAM, Blu-ray disc, or the like.

また、上述においては、この発明をＣＤ再生装置に適用した場合であるが、音響信号は他の信号源から得ることもでき、例えばＤＶＤドライブ装置とすれば、同時に映像信号を再生することもできるとともに、その映像信号を音響信号分析回路１３の分析結果にしたがって制御することができる。 In the above description, the present invention is applied to a CD playback device. However, an audio signal can be obtained from another signal source. For example, if a DVD drive device is used, a video signal can be played back simultaneously. At the same time, the video signal can be controlled in accordance with the analysis result of the acoustic signal analysis circuit 13.

〔略語の一覧〕
bpm ：beat per minute
ＣＤ：Compact Disc
ＣＤ−Ｒ：CD Recordable
ＣＤ−ＲＷ：CD ReWritable
ＣＰＵ：Central Processing Unit
ＤＳＰ：Digital Signal Processor
ＤＶＤ−ＲＡＭ：DVD Random Access Memory
ＤＶＤ±Ｒ：DVD Recordable, DVD +Recordable
ＤＶＤ±ＲＷ：DVD ReWritable, DVD +ReWritable
ＩＣ：Integrated Circuit
ＭＤ：Mini Disc
ＲＡＭ：Random Access Memory
ＲＯＭ：Read Only Memory [List of abbreviations]
bpm: beat per minute
CD: Compact Disc
CD-R: CD Recordable
CD-RW: CD ReWritable
CPU: Central Processing Unit
DSP: Digital Signal Processor
DVD-RAM: DVD Random Access Memory
DVD ± R: DVD Recordable, DVD + Recordable
DVD ± RW: DVD ReWritable, DVD + ReWritable
IC: Integrated Circuit
MD: Mini Disc
RAM: Random Access Memory
ROM: Read Only Memory

この発明の一形態を示す系統図である。It is a systematic diagram showing one embodiment of the present invention. この発明に使用できるテーブルを示す図である。It is a figure which shows the table which can be used for this invention. 解析結果を説明するための図である。It is a figure for demonstrating an analysis result. 表示例を示す図である。It is a figure which shows the example of a display. この発明の要部の一例を示す系統図である。It is a systematic diagram which shows an example of the principal part of this invention. この発明の要部の一例の一部を示すフローチャートである。It is a flowchart which shows a part of example of the principal part of this invention. 図６の続きを示すフローチャートである。It is a flowchart which shows the continuation of FIG.

Explanation of symbols

１１…ＣＤ、１２…ＣＤドライブ装置、１３…音響信号分析回路、２０…マイクロコンピュータ、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ハードディスク装置、２５…ユーザインターフェイス、２６…表示制御回路、２７…音響処理回路、２９…システムバス、３３…送受信回路、３４…通信回路、３６…ディスプレイ、３７…スピーカ、３８…マイクロフォン、４０…インターネット、２００…ルーチン、ANLTBL…分析分類テーブル DESCRIPTION OF SYMBOLS 11 ... CD, 12 ... CD drive apparatus, 13 ... Acoustic signal analysis circuit, 20 ... Microcomputer, 21 ... CPU, 22 ... ROM, 23 ... RAM, 24 ... Hard disk device, 25 ... User interface, 26 ... Display control circuit, 27 ... Acoustic processing circuit, 29 ... System bus, 33 ... Transmission / reception circuit, 34 ... Communication circuit, 36 ... Display, 37 ... Speaker, 38 ... Microphone, 40 ... Internet, 200 ... Routine, ANLTBL ... Analysis classification table

Claims

It has a correspondence table between tune and emotion or emotion,
While separating the acoustic signal every predetermined period,
For each segmented period, analyze the tone of the acoustic signal in the segmented period,
An acoustic signal analysis circuit configured to convert an acoustic signal in the period divided by referring to the correspondence table according to a melody obtained by the analysis into emotion or emotion information caused by the acoustic signal.

The analysis circuit according to claim 1,
An acoustic signal analysis circuit in which the tune is one of tempo, rhythm, pitch, chord, timbre, structure, and volume.

The acoustic signal analysis circuit according to claim 1,
An acoustic signal analysis circuit in which the tune is one of tempo, fluctuation of this tempo, rhythm, fluctuation of this rhythm, pitch, chord, tone, structure, and volume.

The acoustic signal analysis circuit according to claim 1,
An acoustic signal whose tune is one of tempo, rhythm, pitch, chord, tone, structure, volume, time change of this volume, maximum volume, minimum volume, or the difference between the maximum volume and minimum volume Analysis circuit.

In the analysis circuit according to claim 1, claim 2, claim 3 or claim 4,
An acoustic signal analysis circuit in which the emotion or emotion is one of joy, sadness, kindness, anger, and fear.

In the analysis circuit according to claim 1, claim 2, claim 3, claim 4 or claim 5,
An acoustic signal analysis circuit configured to record the conversion result of the correspondence table.

The analysis circuit according to claim 6,
An acoustic signal analysis circuit in which the recording means for recording the conversion result is any one of an optical disk, a magneto-optical disk, a magnetic tape, a hard disk, a semiconductor memory, and an IC card.

The analysis circuit according to claim 7,
An acoustic signal analysis circuit in which the optical disk is any one of CD, CD-R, CD-RW, MD, DVD ± R, DVD ± RW, DVD-RAM, and Blu-ray disc.

A correspondence table of tune and emotion or emotion,
A circuit for forming a video signal of an image or a character string,
While separating the acoustic signal every predetermined period,
For each segmented period, analyze the tone of the acoustic signal in the segmented period,
By converting the acoustic signal in the divided period with reference to the correspondence table by the tone obtained by this analysis into emotion or emotion information caused by the acoustic signal,
An audio signal reproducing apparatus that controls the video signal based on information of the conversion result.