JP2003131659A - Musical sound generating device and musical sound generating method - Google Patents

Musical sound generating device and musical sound generating method

Info

Publication number
JP2003131659A
JP2003131659A JP2001324317A JP2001324317A JP2003131659A JP 2003131659 A JP2003131659 A JP 2003131659A JP 2001324317 A JP2001324317 A JP 2001324317A JP 2001324317 A JP2001324317 A JP 2001324317A JP 2003131659 A JP2003131659 A JP 2003131659A
Authority
JP
Japan
Prior art keywords
performance data
musical
music
tone
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001324317A
Other languages
Japanese (ja)
Inventor
Hitohisa Koyama
仁久 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2001324317A priority Critical patent/JP2003131659A/en
Publication of JP2003131659A publication Critical patent/JP2003131659A/en
Pending legal-status Critical Current

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

PROBLEM TO BE SOLVED: To realize a musical sound generating device and musical sound generating method which can reproduce a musical composition according to the contents of an image displayed on the screen. SOLUTION: The musical composition is reproduced according to the display attribute of an image displayed on the screen and hence the musical composition which matches the image displayed on the screen can be played since the piece of music to be reproduced is selected or musical sound parameters are set according to the brightness, chromaticity or dynamic variation of the image data displayed on the screen and the performance data of the specified piece of music or selected piece of music are reproduced on the basis of the set musical sound parameter.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、携帯電話などの通
信端末に用いて好適な楽音発生装置および楽音発生方法
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a musical tone generating apparatus and a musical tone generating method suitable for use in a communication terminal such as a mobile phone.

【0002】[0002]

【従来の技術】周知のように、携帯電話などの通信端末
では、着信メロディを発生する楽音発生装置が搭載され
る。この種の楽音発生装置は、例えば波形メモリ読み出
し方式として知られ、自己に内蔵するPCM波形データ
を演奏データに従ってポリフォニック発音して様々な着
信メロディを発生する着信メロディ発生機能を具現する
ように構成されている。
2. Description of the Related Art As is well known, a communication terminal such as a mobile phone is equipped with a tone generating device for generating an incoming melody. This kind of musical tone generating apparatus is known as, for example, a waveform memory reading method, and is configured to implement a ringing melody generating function of polyphonically generating PCM waveform data contained in itself according to performance data to generate various ringing melody. ing.

【0003】[0003]

【発明が解決しようとする課題】近年の携帯電話などの
通信端末では、上述した着信メロディ発生機能以外に、
受信した画像メールや着信待ち受け画像などを画面表示
する画像表示機能をも具備する場合が多い。ところで、
通信端末に搭載される楽音発生装置は、画像表示機能と
は連動していない為、例えば受信した画像メールを画面
表示する際に、その画像にマッチした楽曲を演奏するな
ど、画面表示される画像内容に応じた楽曲を再生するこ
とができない、という問題がある。そこで本発明は、こ
のような事情に鑑みてなされたもので、画面表示される
画像内容に応じた楽曲を再生することができる楽音発生
装置および楽音発生方法を提供することを目的としてい
る。
In communication terminals such as mobile phones in recent years, in addition to the above-described incoming melody generating function,
In many cases, it also has an image display function for displaying a received image mail or an image waiting for an incoming call. by the way,
The tone generator installed in the communication terminal is not linked with the image display function. Therefore, for example, when a received image mail is displayed on the screen, the music that matches the image is played, etc. There is a problem that it is not possible to reproduce the music according to the content. Therefore, the present invention has been made in view of such circumstances, and an object thereof is to provide a musical tone generating device and a musical tone generating method capable of reproducing a music piece according to the image content displayed on the screen.

【0004】[0004]

【課題を解決するための手段】上記目的を達成するた
め、請求項1に記載の発明では、複数の曲の演奏データ
を記憶する演奏データ記憶手段と、画面に表示される画
像の表示属性を検出する検出手段と、この検出手段によ
り検出された表示属性に応じて、楽音形成態様を指定す
る楽音パラメータを発生するパラメータ発生手段と、前
記演奏データ記憶手段に記憶される複数の曲の演奏デー
タの内から前記検出手段により検出された表示属性に対
応する曲の演奏データを選択する曲選択手段と、この曲
選択手段により選択された曲の演奏データを、前記パラ
メータ発生手段が発生する楽音パラメータに従った態様
で再生して楽音を形成する楽音形成手段とを具備するこ
とを特徴とする。
In order to achieve the above object, in the invention described in claim 1, performance data storage means for storing performance data of a plurality of songs and display attributes of images displayed on the screen are set. Detecting means for detecting, parameter generating means for generating a musical tone parameter for designating a musical tone forming mode in accordance with the display attribute detected by the detecting means, and performance data of a plurality of songs stored in the performance data storing means. Of the musical tone parameters generated by the parameter generating means from the musical piece selection means for selecting the musical performance data of the musical piece corresponding to the display attribute detected by the detecting means, and the musical performance data of the musical piece selected by the musical piece selecting means. A musical sound forming means for reproducing a musical sound by reproducing the musical sound according to the above method.

【0005】請求項2に記載の発明では、画面に表示さ
れる画像の表示属性を検出する検出過程と、この検出過
程にて検出された表示属性に応じて、楽音形成態様を指
定する楽音パラメータを発生するパラメータ発生過程
と、予め演奏データ記憶手段に記憶される複数の曲の演
奏データの内から前記検出過程で検出された表示属性に
対応する曲の演奏データを選択する曲選択過程と、この
曲選択過程にて選択された曲の演奏データを、前記パラ
メータ発生過程で発生させた楽音パラメータに従った態
様で再生して楽音を形成する楽音形成過程とを具備する
ことを特徴とする。
According to the second aspect of the present invention, a detection process for detecting the display attribute of the image displayed on the screen and a tone parameter for designating the tone formation mode in accordance with the display attribute detected in the detection process. And a song selection process of selecting the performance data of the song corresponding to the display attribute detected in the detection process from the performance data of a plurality of songs stored in advance in the performance data storage means, The music data forming process is characterized in that the performance data of the music selected in the music selecting process is reproduced in a manner according to the music parameter generated in the parameter generating process to form a musical sound.

【0006】請求項3に記載の発明では、複数の曲の演
奏データを記憶する演奏データ記憶手段と、画面に表示
される画像の輝度および色度を検出する検出手段と、こ
の検出手段により検出された輝度および色度に応じて、
楽音形成態様を指定する楽音パラメータを発生するパラ
メータ発生手段と、前記演奏データ記憶手段に記憶され
る複数の曲の演奏データの内から前記検出手段により検
出された輝度および色度に対応する曲の演奏データを選
択する曲選択手段と、この曲選択手段により選択された
曲の演奏データを、前記パラメータ発生手段が発生する
楽音パラメータに従った態様で再生して楽音を形成する
楽音形成手段とを具備することを特徴とする。
According to the third aspect of the invention, the performance data storage means for storing the performance data of a plurality of songs, the detection means for detecting the brightness and chromaticity of the image displayed on the screen, and the detection means. Depending on the luminance and chromaticity
Parameter generating means for generating a musical tone parameter for designating a musical tone forming mode, and a piece of music corresponding to the luminance and chromaticity detected by the detecting means from the performance data of a plurality of pieces of music stored in the performance data storage means. Music selection means for selecting performance data; and music tone forming means for reproducing the performance data of the music selected by the music selection means in a manner in accordance with the tone parameters generated by the parameter generation means to form a tone. It is characterized by having.

【0007】請求項4に記載の発明では、画面に表示さ
れる画像の輝度および色度を検出する検出過程と、この
検出過程にて検出された輝度および色度に応じて、楽音
形成態様を指定する楽音パラメータを発生するパラメー
タ発生過程と、予め演奏データ記憶手段に記憶される複
数の曲の演奏データの内から前記検出過程で検出された
輝度および色度に対応する曲の演奏データを選択する曲
選択過程と、この曲選択過程にて選択された曲の演奏デ
ータを、前記パラメータ発生過程で発生させた楽音パラ
メータに従った態様で再生して楽音を形成する楽音形成
過程とを具備することを特徴とする。
According to the fourth aspect of the invention, a musical tone forming mode is set in accordance with the detection process of detecting the luminance and chromaticity of the image displayed on the screen and the luminance and chromaticity detected in the detection process. A parameter generation process for generating a specified tone parameter and performance data of a song corresponding to the luminance and chromaticity detected in the detection process are selected from performance data of a plurality of songs stored in advance in the performance data storage means. And a musical tone forming step of reproducing musical performance data of the musical piece selected in the musical piece selecting step in a manner according to the musical tone parameter generated in the parameter generating step to form a musical tone. It is characterized by

【0008】請求項5に記載の発明では、複数の曲の演
奏データを記憶する演奏データ記憶手段と、画面に表示
される動画像の動的変化および輝度を検出する検出手段
と、この検出手段により検出された動的変化および輝度
に応じて、楽音形成態様を指定する楽音パラメータを発
生するパラメータ発生手段と、前記演奏データ記憶手段
に記憶される複数の曲の演奏データの内から前記検出手
段により検出された動的変化および輝度に対応する曲の
演奏データを選択する曲選択手段と、この曲選択手段に
より選択された曲の演奏データを、前記パラメータ発生
手段が発生する楽音パラメータに従った態様で再生して
楽音を形成する楽音形成手段とを具備することを特徴と
する。
According to a fifth aspect of the present invention, performance data storage means for storing performance data of a plurality of songs, detection means for detecting dynamic changes and brightness of a moving image displayed on the screen, and this detection means. Parameter generating means for generating a musical tone parameter for designating a musical tone forming mode according to the dynamic change and the brightness detected by the detecting means, and the detecting means from the performance data of a plurality of pieces of music stored in the performance data storing means. The musical piece selection means for selecting the musical performance data of the musical piece corresponding to the dynamic change and the brightness detected by the musical piece and the musical performance data of the musical piece selected by the musical piece selection means are in accordance with the tone parameters generated by the parameter generating means. And a musical sound forming means for reproducing a musical sound to form a musical sound.

【0009】請求項6に記載の発明では、画面に表示さ
れる動画像の動的変化および輝度を検出する検出過程
と、この検出過程にて検出された動的変化および輝度に
応じて、楽音形成態様を指定する楽音パラメータを発生
するパラメータ発生過程と、予め演奏データ記憶手段に
記憶される複数の曲の演奏データの内から前記検出過程
で検出された動的変化および輝度に対応する曲の演奏デ
ータを選択する曲選択過程と、この曲選択過程にて選択
された曲の演奏データを、前記パラメータ発生過程で発
生させた楽音パラメータに従った態様で再生して楽音を
形成する楽音形成過程とを具備することを特徴とする。
According to a sixth aspect of the present invention, a detection process for detecting a dynamic change and brightness of a moving image displayed on a screen, and a musical sound according to the dynamic change and brightness detected in this detection process. A parameter generation process for generating a tone parameter for designating a formation mode, and a song corresponding to the dynamic change and the brightness detected in the detection process from the performance data of a plurality of songs stored in advance in the performance data storage means. A music selection process for selecting performance data, and a musical tone formation process for reproducing musical performance data of the musical composition selected in this music selection process in a manner according to the musical tone parameter generated in the parameter generating process to form a musical tone. And is provided.

【0010】本発明では、画面に表示される画像の表示
属性を検出すると、この表示属性に対応する曲の演奏デ
ータを複数の曲の演奏データの内から選択すると共に、
検出された表示属性に応じて、楽音形成態様を指定する
楽音パラメータを発生し、発生した楽音パラメータに従
った態様で選択された曲の演奏データを再生して楽音を
形成するので、画面表示される画像内容に応じた楽曲を
再生することが可能になる。つまり、画面表示される画
像にマッチした楽曲を演奏し得る。
In the present invention, when the display attribute of the image displayed on the screen is detected, the performance data of the music corresponding to this display attribute is selected from the performance data of a plurality of music, and
According to the detected display attribute, a musical tone parameter designating a musical tone formation mode is generated, and musical data is formed by reproducing the performance data of the selected song in a mode according to the generated musical tone parameter. It is possible to reproduce a music piece according to the image content. That is, it is possible to play a music piece that matches the image displayed on the screen.

【0011】[0011]

【発明の実施の形態】以下、本発明の実施の一形態によ
る楽音発生装置を搭載した携帯電話を実施例とし、これ
について図面を参照して説明する。 (1)第1実施例 構成 図1は、本発明による第1実施例の全体構成を示すブロ
ック図である。この図において、1は送受信ユニット1
aおよび通信制御ユニット1bから構成される通信部で
ある。通信部1の送受信ユニット1aは、アンテナAN
Tを介して入力される受信信号を、PLLシンセサイザ
から出力される所定周波数の局部発振信号と混合してI
F信号に周波数変換し、それを復調したデータ列を通信
制御ユニット1bへ供給する。また、送受信ユニット1
aは、通信制御ユニット1bから供給される送信データ
に位相変調を施してから局部発振信号を混合して送信信
号に周波数変換した後、電力増幅してアンテナANTか
ら輻射する。
BEST MODE FOR CARRYING OUT THE INVENTION A mobile phone equipped with a musical sound generating device according to an embodiment of the present invention will be described below as an example, and this will be described with reference to the drawings. (1) First Embodiment Configuration FIG. 1 is a block diagram showing the overall configuration of a first embodiment according to the present invention. In this figure, 1 is a transmission / reception unit 1
It is a communication unit composed of a and the communication control unit 1b. The transmission / reception unit 1a of the communication unit 1 has an antenna AN.
The received signal input via T is mixed with a local oscillation signal of a predetermined frequency output from the PLL synthesizer to obtain I
An F signal is frequency-converted, and the data string demodulated is supplied to the communication control unit 1b. Also, the transceiver unit 1
The a performs phase modulation on the transmission data supplied from the communication control unit 1b, mixes the local oscillation signal and frequency-converts the transmission signal, then amplifies the power and radiates from the antenna ANT.

【0012】通信部1の通信制御ユニット1bは、送受
信ユニット1aが供給する受信データから所定のタイミ
ングで1スロット分のデータを取り出し、このデータの
中からユニークワード(同期信号)を抽出してフレーム
同期信号を生成し、かつ、制御データ部および音声デー
タ部のスクランブル等を解除した後、制御データをCP
U6に送出し、音声データを音声処理部2に送出する。
また、通信制御ユニット1bは、音声処理部2から供給
される音声データに制御データ等を付加するとともに、
スクランブル等を付与した後にユニークワード等を付加
して、1スロット分の送信データを作成し、所定タイミ
ングでフレーム内の所定スロットに挿入して送受信ユニ
ット1aに送出する。
The communication control unit 1b of the communication section 1 extracts data for one slot from the received data supplied by the transmission / reception unit 1a at a predetermined timing, extracts a unique word (synchronization signal) from this data, and extracts the frame. After the sync signal is generated and the control data section and the voice data section are descrambled, CP is applied to the control data.
It is sent to U6 and the audio data is sent to the audio processing unit 2.
Further, the communication control unit 1b adds control data and the like to the audio data supplied from the audio processing unit 2, and
A unique word or the like is added after scrambling or the like to create transmission data for one slot, which is inserted into a predetermined slot in a frame at a predetermined timing and transmitted to the transmission / reception unit 1a.

【0013】音声処理部2は、スピーチコーディックお
よびPCMコーディックから構成される。スピーチコー
ディックは、デジタルデータの圧縮/伸張処理を行うも
のであり、受信側および送信側とで構成されている。受
信側は、上述した通信制御ユニット1bから供給される
ADPCM音声信号をPCM音声信号に復号化(伸長)
して出力する。一方、送信側は、PCMコーディックか
ら供給されるPCM音声信号をADPCM音声信号に符
号化(圧縮)して通信制御ユニット1bへ送出する。P
CMコーディックは、アナログ/デジタル変換処理を行
うものであり、上記スピーチコーディックから供給され
るPCM音声信号もしくは後述する音源10から供給さ
れる楽音データをアナログ信号にD/A変換してスピー
カ3から発音させる。また、PCMコーディックは、マ
イク4から入力されたアナログ音声信号をPCM信号に
A/D変換してスピーチコーディックに供給する。
The voice processing section 2 is composed of a speech codec and a PCM codec. The speech codec performs digital data compression / expansion processing, and is composed of a receiving side and a transmitting side. The receiving side decodes (expands) the ADPCM audio signal supplied from the communication control unit 1b described above into a PCM audio signal.
And output. On the other hand, the transmitting side encodes (compresses) the PCM audio signal supplied from the PCM codec into an ADPCM audio signal and sends it to the communication control unit 1b. P
The CM codec performs analog / digital conversion processing, and D / A converts the PCM audio signal supplied from the above speech codec or the musical sound data supplied from the sound source 10 described later into an analog signal and produces a sound from the speaker 3. Let Further, the PCM codec A / D-converts the analog audio signal input from the microphone 4 into a PCM signal and supplies the PCM signal to the speech codec.

【0014】5は、発信先の電話番号や文字列などを入
力する入力キースイッチ、オンフック/オフフックスイ
ッチ、音声出力を変えるボリュームスイッチ等を備える
キー入力部5であり、各スイッチ操作に応じたスイッチ
イベントを発生する。各スイッチ操作に応じて生成され
るスイッチイベントは、後述するCPU6のキー走査に
応じて取込まれる。CPU6は、上記キー走査に応じて
取込んだ操作信号に基づき、対応した制御プログラムを
実行して装置各部の動作を制御するものであり、本発明
の要旨に係わる処理動作については追って述べる。
Reference numeral 5 denotes a key input section 5 including an input key switch for inputting a telephone number or a character string of a call destination, an on-hook / off-hook switch, a volume switch for changing a voice output, etc., and a switch corresponding to each switch operation. Fire an event. A switch event generated in response to each switch operation is captured in response to a key scan of the CPU 6 described later. The CPU 6 controls the operation of each part of the apparatus by executing a corresponding control program based on the operation signal fetched in response to the key scanning, and the processing operation related to the gist of the present invention will be described later.

【0015】7はCPU6において実行される各種制御
プログラムの他、各種データを記憶するROMである。
このROM7に格納される各種データとは、例えば待ち
受け画像として表示部9に画面表示される各種画像デー
タ、表示部9に画面表示される画像データに対応して再
生される楽曲の演奏データおよびデータテーブル等を指
す。
Reference numeral 7 denotes a ROM for storing various data in addition to various control programs executed by the CPU 6.
The various data stored in the ROM 7 are, for example, various image data displayed on the screen of the display unit 9 as a standby image, performance data and data of music reproduced in correspondence with the image data displayed on the screen of the display unit 9. Refers to a table, etc.

【0016】ROM7に格納される演奏データは、曲の
旋律を形成する各音の音高および発音タイミングを表す
メロディデータや、このメロディデータの伴奏音となる
リズムパターンデータ等から構成される。また、ROM
7に格納されるデータテーブルの内には、パラメータ設
定テーブルPST1が設けられている。パラメータ設定
テーブルPST1は、表示部9に画面表示される画像の
輝度ランクに応じて、再生する楽曲の音色、リズムパタ
ーン、テンポ、音量およびエフェクト種をそれぞれ指定
する楽音パラメータを読み出すテーブルであり、これに
基づき後述するように、画面表示される画像内容に応じ
た楽曲を再生し得るようにしている。
The performance data stored in the ROM 7 is composed of melody data representing the pitch and sounding timing of each note forming the melody of a piece of music, rhythm pattern data as an accompaniment note of this melody data, and the like. Also, ROM
A parameter setting table PST1 is provided in the data table stored in FIG. The parameter setting table PST1 is a table for reading out musical tone parameters that respectively specify the tone color, rhythm pattern, tempo, volume and effect type of a music piece to be reproduced according to the brightness rank of the image displayed on the display unit 9. As will be described later on the basis of the above, the music corresponding to the image content displayed on the screen can be reproduced.

【0017】8はワークエリアおよびデータエリアを備
えるRAMである。RAM8のワークエリアには、各種
レジスタ・フラグデータが一時記憶され、データエリア
には例えば受信メールや住所録等が格納される。表示部
9はLCDパネル等から構成され、CPU6から供給さ
れる各種データを画面表示する。10は周知の波形メモ
リ読み出し方式で構成される音源である。音源10で
は、同時発音可能な複数の発音チャンネルを備え、これ
ら各発音トラックにそれぞれアサインされる各演奏デー
タを、再生テンポに同期してROM6から順次読み出
し、読み出した演奏データをCPU6から供給される楽
音パラメータに対応して楽音合成される楽音データとし
て出力する。この楽音データは、前述した音声処理部2
のPCMコーディックにてD/A変換されてスピーカ3
から楽音として再生される。
Reference numeral 8 is a RAM having a work area and a data area. The work area of the RAM 8 temporarily stores various register / flag data, and the data area stores, for example, received mail and address book. The display unit 9 is composed of an LCD panel or the like, and displays various data supplied from the CPU 6 on the screen. Reference numeral 10 is a sound source configured by a well-known waveform memory reading method. The sound source 10 is provided with a plurality of sound generation channels capable of simultaneous sound generation, and each performance data assigned to each sound generation track is sequentially read from the ROM 6 in synchronization with the reproduction tempo, and the read performance data is supplied from the CPU 6. The data is output as musical tone data that is synthesized according to the musical tone parameters. This musical sound data is stored in the voice processing unit 2 described above.
Speaker 3 after D / A conversion by PCM codec
Is played as a musical sound.

【0018】動作 次に、図2〜図3を参照して第1実施例の動作について
説明する。電源がオンされて携帯電話がアイドル状態に
ある場合に、キー入力部5の操作によって画像表示機能
が起動されると、CPU6は図2に示す楽音発生処理ル
ーチンを実行し、ステップSA1に処理を進める。ステ
ップSA1では、画面表示する画像データと再生する曲
の演奏データとを指定する。ここで、表示指定される画
像データとは、例えばROM7に格納され、待ち受け画
面を形成する画像データや、RAM8のデータエリアに
保存される受信メールに添付される画像データを指す。
Operation Next, the operation of the first embodiment will be described with reference to FIGS. When the image display function is activated by the operation of the key input unit 5 when the power is turned on and the mobile phone is in the idle state, the CPU 6 executes the musical tone generation processing routine shown in FIG. 2 and proceeds to step SA1. Proceed. At step SA1, image data to be displayed on the screen and performance data of a music piece to be reproduced are designated. Here, the image data designated for display refers to, for example, image data that is stored in the ROM 7 and forms a standby screen, or image data that is attached to a received mail stored in the data area of the RAM 8.

【0019】次に、ステップSA2では、指定した画像
データを構成するドット毎の色情報を輝度と色度とに分
け、各ドット単位の輝度を平均化して画像輝度ランクK
IDOを判定する。この画像輝度ランクKIDOとは、
例えば「0(最も暗い」、「1(暗い)」、「2(普
通)」、「3(明るい)」および「4(最も明るい)」
の5段階を表す。画像輝度ランクKIDOが判定される
と、CPU6はROM7に格納されるパラメータ設定テ
ーブルPST1に基づき、画像輝度ランクKIDOに応
じて、再生する楽曲の「音色」、「リズムパターン」、
「テンポ」、「音量」および「エフェクト種」をそれぞ
れ指定する楽音パラメータを設定する。
Next, at step SA2, the color information for each dot forming the designated image data is divided into luminance and chromaticity, and the luminance of each dot unit is averaged to obtain an image luminance rank K.
Determine the IDO. This image brightness rank KIDO is
For example, "0 (darkest)", "1 (dark)", "2 (normal)", "3 (bright)" and "4 (brightest)".
The five stages are shown. When the image brightness rank KIDO is determined, the CPU 6 based on the parameter setting table PST1 stored in the ROM 7, according to the image brightness rank KIDO, the "timbre", "rhythm pattern" of the music to be reproduced,
Set the tone parameters that specify "tempo", "volume", and "effect type", respectively.

【0020】すなわち、ステップSA3では、画像輝度
ランクKIDOに応じてパラメータ設定テーブルPST
1から音色番号を読み出してレジスタTIMBREにス
トアする。次いで、ステップSA4では、画像輝度ラン
クKIDOに応じてパラメータ設定テーブルPST1か
らリズムパターン番号を読み出してレジスタRHYTH
Mにストアする。続いて、ステップSA5では、画像輝
度ランクKIDOに応じてパラメータ設定テーブルPS
T1からテンポ値を読み出してレジスタTEMPOにス
トアする。ステップSA6では、画像輝度ランクKID
Oに応じてパラメータ設定テーブルPST1から音量値
(ベロシティ)を読み出してレジスタVELにストアす
る。ステップSA7では、画像輝度ランクKIDOに応
じてパラメータ設定テーブルPST1からエフェクト種
としてリバーブを指定する値を読み出してレジスタRE
BERBにストアする。
That is, in step SA3, the parameter setting table PST is set according to the image brightness rank KIDO.
The tone color number is read from 1 and stored in the register TIMBRE. Next, at step SA4, the rhythm pattern number is read from the parameter setting table PST1 in accordance with the image brightness rank KIDO and the register RHYTH is read.
Store in M. Then, in step SA5, the parameter setting table PS is set according to the image brightness rank KIDO.
The tempo value is read from T1 and stored in the register TEMPO. In step SA6, the image brightness rank KID
According to O, the volume value (velocity) is read from the parameter setting table PST1 and stored in the register VEL. In step SA7, a value designating reverb as an effect type is read from the parameter setting table PST1 according to the image brightness rank KIDO, and the register RE is read.
Store in BERB.

【0021】こうして、パラメータ設定テーブルPST
1を参照して画像輝度ランクKIDOに対応した楽音パ
ラメータが設定されると、CPU6は図3に示すステッ
プSA8に処理を進め、楽音パラメータの全てが適正に
設定されたか否かを判断する。適正に設定されなかった
場合には、判断結果が「NO」となり、何も処理せずに
本ルーチンを完了させて図示されていないメインルーチ
ンに処理を戻すが、適正に設定されたならば、判断結果
は「YES」となり、次のステップSA9に処理を進め
る。ステップSA9では、上述のステップSA1にて再
生指定された演奏データを、ステップSA3〜SA7を
経て設定された楽音パラメータに対応した楽音として発
生するよう音源10に指示する。これにより、表示部9
に画面表示される画像輝度に応じた楽曲が再生される。
Thus, the parameter setting table PST
When the tone parameters corresponding to the image brightness rank KIDO are set with reference to 1, the CPU 6 advances the processing to step SA8 shown in FIG. 3 to determine whether all the tone parameters have been properly set. If it is not properly set, the determination result is “NO”, the routine is completed without any processing and the processing is returned to the main routine not shown. However, if it is properly set, The determination result is “YES”, and the process proceeds to the next step SA9. In step SA9, the tone generator 10 is instructed to generate the musical performance data designated for reproduction in step SA1 as a musical tone corresponding to the musical tone parameter set through steps SA3 to SA7. As a result, the display unit 9
Music corresponding to the image brightness displayed on the screen is reproduced.

【0022】次に、ステップSA10では、表示指定さ
れる画像データに輝度変化があるか否かを判断し、輝度
変化があると、判断結果が「YES」となり、前述のス
テップSA2に処理を戻して再び画像輝度ランクを判定
し直し、これに応じて変更される楽音パラメータに対応
する楽音を発生させる。一方、輝度変化がなければ、判
断結果は「NO」となり、ステップSA11に進み、次
に表示指定される画像データの有無を判断する。次に表
示指定される画像データが有れば、判断結果は「YE
S」となり、その画像データに応じて楽曲を再生すべく
ステップSA2に処理を戻す。これに対し、次に表示指
定される画像データが無い場合には、ステップSA12
に進み、現在再生されている楽曲の演奏データが曲終端
に達するまで再生し続け、演奏データが曲終端に達した
ら音源10に消音を指示して本ルーチンを完了させる。
Next, in step SA10, it is judged whether or not there is a brightness change in the image data designated for display. If there is a brightness change, the judgment result is "YES", and the process is returned to step SA2. Then, the image brightness rank is determined again, and a musical tone corresponding to the musical tone parameter changed accordingly is generated. On the other hand, if there is no change in brightness, the determination result is "NO", the flow proceeds to step SA11, and it is determined whether or not there is image data to be next designated for display. If there is image data to be displayed next, the determination result is "YE
S ”, and the process returns to step SA2 to reproduce the music according to the image data. On the other hand, if there is no image data to be displayed next, step SA12
Then, the program continues to be reproduced until the performance data of the currently reproduced music reaches the end of the music, and when the performance data reaches the end of the music, the sound source 10 is instructed to mute and this routine is completed.

【0023】(2)第2実施例 上述した第1実施例では、画面表示する画像データの画
像輝度ランクKIDOを判定し、その判定された輝度ラ
ンクに応じて、パラメータ設定テーブルPST1から対
応する楽音パラメータを読み出し、この楽音パラメータ
に基づいて指定曲の演奏データを再生することで画面表
示される画像内容に応じた楽曲が再生されるようにし
た。これに対し、第2実施例では、輝度ランクのみなら
ず、色度ランクをも加味して再生する曲を選択すると共
に、選択した曲を再生する際に用いる楽音パラメータを
輝度ランクと色度ランクとに応じて設定することを特徴
とする。
(2) Second Embodiment In the above-described first embodiment, the image brightness rank KIDO of the image data to be displayed on the screen is determined, and the corresponding musical tone is selected from the parameter setting table PST1 according to the determined brightness rank. By reading the parameters and reproducing the performance data of the designated music based on the musical tone parameters, the music corresponding to the image content displayed on the screen is reproduced. On the other hand, in the second embodiment, not only the luminance rank but also the chromaticity rank is taken into consideration to select the music piece to be reproduced, and the musical tone parameters used when reproducing the selected music piece are the luminance rank and the chromaticity rank. It is characterized by setting according to and.

【0024】この為、第2実施例では、ROM7に曲選
択テーブルKST1およびパラメータ設定テーブルPS
T2を設けておく。曲選択テーブルKST1とは、例え
ば輝度が明るく色度が淡い場合にはメロウな曲を、輝度
が明るく色度が濃い場合にはロック調の曲など予め輝度
/色度にマッチした曲をアサインしておき、輝度ランク
および色度ランクを読み出しアドレスとして、対応する
曲の演奏データを読み出すテーブルである。また、パラ
メータ設定テーブルPST2とは、予め輝度/色度に対
応させた音色、リズムパターン、テンポ、音量およびエ
フェクト種を、判定した輝度ランクおよび色度ランクに
応じて読み出すテーブルである。
Therefore, in the second embodiment, the song selection table KST1 and the parameter setting table PS are stored in the ROM 7.
T2 is provided. The song selection table KST1 is, for example, assigned a mellow song when the brightness is bright and the chromaticity is light, and a song matching the brightness / chromaticity in advance such as a rock tone song when the brightness is bright and the chromaticity is dark. It is a table for reading the performance data of the corresponding piece of music using the luminance rank and the chromaticity rank as read addresses. Further, the parameter setting table PST2 is a table for reading out a timbre, a rhythm pattern, a tempo, a volume and an effect type which are associated with luminance / chromaticity in advance according to the determined luminance rank and chromaticity rank.

【0025】以下、こうした曲選択テーブルKST1お
よびパラメータ設定テーブルPST2を用いる第2実施
例の動作について図4および図5を参照して説明する。
まず画像データが添付されたメールを受信すると、CP
U6は図4の第2実施例による楽音発生処理ルーチンを
実行し、ステップSB1に処理を進める。ステップSB
1では、受信メールに添付される画像データをRAM8
のデータエリアにストアする。そして、ステップSB2
に進み、RAM8のデータエリアにストアした画像デー
タを構成するドット毎の色情報を輝度と色度とに分け、
各ドット単位の輝度を平均化して輝度ランクKIDOを
判定し、続くステップSB3では、各ドット単位の色度
を平均化して色度ランクSIKIDOを判定する。
The operation of the second embodiment using the music piece selection table KST1 and the parameter setting table PST2 will be described below with reference to FIGS. 4 and 5.
First, when you receive an email with image data attached, CP
U6 executes the musical tone generation processing routine according to the second embodiment of FIG. 4, and advances the processing to step SB1. Step SB
In 1, the image data attached to the received mail is stored in the RAM 8
Store in the data area of. Then, step SB2
, The color information for each dot forming the image data stored in the data area of the RAM 8 is divided into luminance and chromaticity,
The luminance of each dot unit is averaged to determine the luminance rank KIDO, and in the subsequent step SB3, the chromaticity of each dot unit is averaged to determine the chromaticity rank SIKIDO.

【0026】輝度ランクKIDOおよび色度ランクSI
KIDOが判定されると、CPU6はステップSB4に
処理を進め、ROM7に格納される曲選択テーブルKS
Tを参照して輝度ランクKIDOおよび色度ランクSI
KIDOに対応する曲番号を選択する。次いで、ステッ
プSB5〜SB9では、ROM7に格納されるパラメー
タ設定テーブルPST2に基づき、画像輝度ランクKI
DOおよび色度ランクSIKIDOに対応する「音
色」、「リズムパターン」、「テンポ」、「音量」およ
び「エフェクト種」をそれぞれ指定する楽音パラメータ
を設定する。
Luminance rank KIDO and chromaticity rank SI
When KIDO is determined, the CPU 6 advances the process to step SB4, and the song selection table KS stored in the ROM 7
Luminance rank KIDO and chromaticity rank SI with reference to T
Select the song number corresponding to KIDO. Next, in steps SB5 to SB9, based on the parameter setting table PST2 stored in the ROM 7, the image brightness rank KI
Tone parameters, "rhythm pattern", "tempo", "volume" and "effect type" corresponding to DO and chromaticity rank SIKIDO are respectively set.

【0027】こうして、画像輝度ランクKIDOおよび
色度ランクSIKIDOに対応する楽音パラメータが設
定されると、CPU6はステップSB10に処理を進
め、楽音パラメータの全てが適正に設定されたか否かを
判断する。適正に設定されなかった場合には、判断結果
が「NO」となり、何も処理せずに本ルーチンを完了さ
せて図示されていないメインルーチンに処理を戻すが、
適正に設定されたならば、判断結果は「YES」とな
り、次のステップSB11に処理を進める。ステップS
B11では、上述のステップSB4にて選択された曲の
演奏データを、ステップSB5〜SB9を経て設定され
た楽音パラメータに対応した楽音として発生するよう音
源10に指示する。これにより、表示部9に画面表示さ
れる画像の輝度および色度に応じた楽曲が再生される。
When the musical tone parameters corresponding to the image luminance rank KIDO and the chromaticity rank SIKIDO are set in this way, the CPU 6 advances the processing to step SB10 to determine whether all the musical tone parameters have been set properly. If not properly set, the determination result is “NO”, the routine is completed without any processing, and the processing is returned to the main routine (not shown).
If properly set, the determination result is “YES”, and the process proceeds to the next Step SB11. Step S
In B11, the tone generator 10 is instructed to generate the performance data of the song selected in step SB4 described above as a musical tone corresponding to the musical tone parameter set through steps SB5 to SB9. As a result, the music corresponding to the brightness and chromaticity of the image displayed on the display unit 9 is reproduced.

【0028】次に、ステップSB12では、画像データ
に輝度および色度変化があるか否かを判断し、輝度/色
度のいずれかに変化があると、判断結果は「YES」と
なり、前述のステップSB2に処理を戻して再び輝度ラ
ンク/色度ランクを判定し直し、これに応じて変更され
る曲を、判定し直された輝度ランク/色度ランクに対応
する楽音パラメータに従って再生する。一方、輝度/色
度のいずれにも変化がなければ、判断結果は「NO」と
なり、ステップSB13に進み、次に表示する画像デー
タの有無を判断する。次に表示する画像データが有れ
ば、判断結果は「YES」となり、その画像データに応
じた楽曲を再生すべくステップSB2に処理を戻す。こ
れに対し、次に表示する画像データが無い場合には、ス
テップSB14に進み、現在再生されている楽曲の演奏
データが曲終端に達するまで再生し続け、演奏データが
曲終端に達したら音源10に消音を指示して本ルーチン
を完了させる。
Next, in step SB12, it is determined whether or not the image data has a change in luminance and chromaticity. If there is a change in either luminance or chromaticity, the result of the determination is "YES", and The process is returned to step SB2, the luminance rank / chromaticity rank is determined again, and the song changed in accordance with the determination is reproduced in accordance with the tone parameter corresponding to the determined luminance rank / chromaticity rank. On the other hand, if there is no change in luminance / chromaticity, the determination result is "NO", the flow proceeds to step SB13, and it is determined whether or not there is image data to be displayed next. If there is image data to be displayed next, the determination result is "YES", and the process is returned to step SB2 to reproduce the music corresponding to the image data. On the other hand, if there is no image data to be displayed next, the process proceeds to step SB14, and the performance data of the currently reproduced music is continuously reproduced until the end of the music is reached. To mute and complete this routine.

【0029】(3)第3実施例 上述した第2実施例では、静止画像データの輝度と色度
とに応じて再生する曲を選択すると共に、その選択した
曲を再生する際に用いる楽音パラメータを輝度と色度と
に応じて設定することで画像の輝度および色度に対応し
た楽曲が再生されるようにした。これに対し、第3実施
例では、動画像データの動的変化と輝度とに応じて再生
する曲を選択すると共に、その選択した曲を再生する際
に用いる楽音パラメータを動的変化と輝度とに応じて設
定することで画像の動的変化および輝度に対応した楽曲
を再生することを特徴とする。
(3) Third Embodiment In the second embodiment described above, a music piece to be reproduced is selected according to the luminance and chromaticity of still image data, and a tone parameter used when reproducing the selected music piece. Is set according to the luminance and the chromaticity, so that the music corresponding to the luminance and the chromaticity of the image is reproduced. On the other hand, in the third embodiment, the music to be reproduced is selected according to the dynamic change and the brightness of the moving image data, and the musical tone parameters used when reproducing the selected music are the dynamic change and the brightness. It is characterized in that the music corresponding to the dynamic change of the image and the brightness is reproduced by setting according to.

【0030】この為、第3実施例では、ROM7に曲選
択テーブルKST2およびパラメータ設定テーブルPS
T3を設けておく。曲選択テーブルKST2とは、例え
ば動的変化量が多く色度が濃い場合にはハードロック調
の曲を、動的変化量が少なく色度が淡い場合にはバラー
ド調の曲など予め動的変化/輝度にマッチした曲をアサ
インしておき、動的変化量および輝度ランクを読み出し
アドレスとして、対応する曲の演奏データを読み出すテ
ーブルである。また、パラメータ設定テーブルPST2
とは、予め動的変化量/輝度に対応させた音色、リズム
パターン、テンポ、音量およびエフェクト種を、判定し
た動的変化量および画像輝度ランクに応じて読み出すテ
ーブルである。なお、ここで言う動画像の動的変化量と
は、画像中で変位するドット領域が単位時間当りに移動
する量を指す。
Therefore, in the third embodiment, the song selection table KST2 and the parameter setting table PS are stored in the ROM 7.
T3 is provided. The song selection table KST2 is, for example, a hard rock tone song when the amount of dynamic change is large and the chromaticity is dark, and a ballad tone song when the amount of dynamic change is small and the chromaticity is pale. / Is a table in which a song that matches the brightness is assigned, and the performance data of the corresponding song is read using the dynamic change amount and the brightness rank as the read address. In addition, the parameter setting table PST2
The table is a table for reading out a timbre, a rhythm pattern, a tempo, a sound volume, and an effect type that are associated with the dynamic change amount / luminance in advance according to the determined dynamic change amount and image brightness rank. It should be noted that the dynamic change amount of the moving image mentioned here refers to the amount of movement of the dot area that is displaced in the image per unit time.

【0031】以下、こうした曲選択テーブルKST2お
よびパラメータ設定テーブルPST3を用いる第3実施
例の動作について図6および図7を参照して説明する。
まず動画像データが添付されたメールを受信すると、C
PU6は図6に示す第3実施例による楽音発生処理ルー
チンを実行し、ステップSC1に処理を進める。ステッ
プSC1では、受信メールに添付される動画像データを
RAM8のデータエリアにストアする。そして、ステッ
プSC2に進み、RAM8のデータエリアにストアした
動画像データを構成する各ドット毎の輝度を平均化して
輝度ランクKIDOを判定し、続くステップSC3で
は、画像中で変位するドット領域を抽出し、それが単位
時間当りに移動する量を動的変化量MOVEとして検出
する。
The operation of the third embodiment using the song selection table KST2 and the parameter setting table PST3 will be described below with reference to FIGS. 6 and 7.
First, when you receive an email with moving image data attached, C
PU6 executes the musical sound generation processing routine according to the third embodiment shown in FIG. 6, and advances the processing to step SC1. At step SC1, the moving image data attached to the received mail is stored in the data area of the RAM 8. Then, the process proceeds to step SC2 to determine the brightness rank KIDO by averaging the brightness of each dot forming the moving image data stored in the data area of the RAM 8, and in the subsequent step SC3, the dot region displaced in the image is extracted. Then, the amount that it moves per unit time is detected as the dynamic change amount MOVE.

【0032】輝度ランクKIDOおよび動的変化量MO
VEが判定されると、CPU6はステップSC4に処理
を進め、ROM7に格納される曲選択テーブルKST2
を参照して輝度ランクKIDOおよび動的変化量MOV
Eに対応する曲番号を選択する。次いで、ステップSC
5〜SC9では、ROM7に格納されるパラメータ設定
テーブルPST3に基づき、輝度ランクKIDOおよび
動的変化量MOVEに対応する「音色」、「リズムパタ
ーン」、「テンポ」、「音量」および「エフェクト種」
をそれぞれ指定する楽音パラメータを設定する。
Luminance rank KIDO and dynamic change amount MO
When VE is determined, the CPU 6 advances the processing to step SC4, and the song selection table KST2 stored in the ROM 7
Luminance brightness KIDO and dynamic change amount MOV
Select the song number corresponding to E. Then step SC
In 5 to SC9, based on the parameter setting table PST3 stored in the ROM 7, "timbre", "rhythm pattern", "tempo", "volume" and "effect type" corresponding to the luminance rank KIDO and the dynamic change amount MOVE.
Set the tone parameter that specifies each.

【0033】こうして、輝度ランクKIDOおよび動的
変化量MOVEに対応する楽音パラメータが設定される
と、CPU6はステップSC10に処理を進め、楽音パ
ラメータの全てが適正に設定されたか否かを判断する。
適正に設定されなかった場合には、判断結果が「NO」
となり、何も処理せずに本ルーチンを完了させて図示さ
れていないメインルーチンに処理を戻すが、適正に設定
されたならば、判断結果は「YES」となり、次のステ
ップSC11に処理を進める。ステップSC11では、
上述のステップSC4にて選択された曲の演奏データ
を、ステップSC5〜SC9を経て設定された楽音パラ
メータに対応した楽音として発生するよう音源10に指
示する。これにより、表示部9に画面表示される動画像
の動的変化量および輝度に応じた楽曲が再生される。
When the musical tone parameters corresponding to the luminance rank KIDO and the dynamic change amount MOVE are set in this way, the CPU 6 advances the processing to step SC10 to judge whether or not all the musical tone parameters have been properly set.
If not set properly, the judgment result is "NO".
Then, the routine is completed without any processing and the processing is returned to the main routine (not shown). However, if properly set, the determination result is "YES", and the processing proceeds to the next step SC11. . In step SC11,
The tone generator 10 is instructed to generate the musical performance data of the musical composition selected in step SC4 as a musical tone corresponding to the musical tone parameter set through steps SC5 to SC9. Thereby, the music corresponding to the dynamic change amount and the brightness of the moving image displayed on the display unit 9 is reproduced.

【0034】次に、ステップSC12では、動画像デー
タに動的変化および輝度変化があるか否かを判断し、そ
れらのいずれかに変化があると、判断結果は「YES」
となり、前述のステップSC2に処理を戻して再び動的
変化量/輝度ランクを判定し直し、これに応じて変更さ
れる曲を、判定し直された動的変化量/輝度ランクに対
応する楽音パラメータに従って再生する。一方、変化が
なければ、判断結果は「NO」となり、ステップSC1
3に進み、次に表示する動画像データの有無を判断す
る。次に表示する動画像データが有れば、判断結果は
「YES」となり、その動画像データに応じた楽曲を再
生すべくステップSC2に処理を戻す。これに対し、次
に表示する動画像データが無い場合には、判断結果が
「NO」となり、ステップSC14に進み、現在再生さ
れている楽曲の演奏データが曲終端に達するまで再生し
続け、演奏データが曲終端に達したら音源10に消音を
指示して本ルーチンを完了させる。
Next, at step SC12, it is judged whether or not there is a dynamic change and a brightness change in the moving image data, and if any of them is changed, the judgment result is "YES".
Then, the processing is returned to the above-mentioned step SC2, the dynamic change amount / luminance rank is determined again, and the music changed in accordance with this is determined by the musical tone corresponding to the redetermined dynamic change amount / luminance rank. Play according to the parameters. On the other hand, if there is no change, the determination result is “NO”, and step SC1
In step 3, it is determined whether or not there is moving image data to be displayed next. If there is moving image data to be displayed next, the determination result is "YES", and the process returns to step SC2 to reproduce the music corresponding to the moving image data. On the other hand, when there is no moving image data to be displayed next, the determination result is “NO”, the flow proceeds to step SC14, and the performance data of the currently reproduced music is continuously reproduced until the end of the music, and the performance is continued. When the data reaches the end of the song, the sound source 10 is instructed to mute the sound and the routine is completed.

【0035】以上説明したように、本発明によれば、画
面に表示する画像データの輝度、色度あるいは動的変化
量に応じて再生する曲を選択したり、楽音パラメータを
設定し、設定された楽音パラメータに基づいて指定曲あ
るいは選択した曲の演奏データを再生するようにしたの
で、画面に表示される画像の表示属性に応じた楽曲を再
生することが可能になっており、したがって画面表示さ
れる画像にマッチした楽曲を演奏することができる。な
お、上述した第1〜第3実施例では、画像データの輝
度、色度あるいは動的変化量を抽出するようにしたが、
これに限らず、例えば色合いを表す色相や色の鮮やかさ
を表す飽和度(純度)を抽出して楽音発生態様を制御す
るようにしても良い。
As described above, according to the present invention, the music to be reproduced is selected and the tone parameters are set according to the brightness, chromaticity or dynamic change amount of the image data displayed on the screen. Since the performance data of the specified song or the selected song is played based on the musical tone parameters, it is possible to play the song according to the display attribute of the image displayed on the screen. You can play music that matches the displayed image. In the first to third embodiments described above, the luminance, chromaticity or dynamic change amount of image data is extracted.
However, the present invention is not limited to this, and the tone generation mode may be controlled by extracting, for example, the hue representing the hue and the saturation (purity) representing the vividness of the color.

【0036】[0036]

【発明の効果】請求項1,2に記載の発明によれば、画
面に表示される画像の表示属性を検出すると、この表示
属性に対応する曲の演奏データを複数の曲の演奏データ
の内から選択すると共に、検出された表示属性に応じ
て、楽音形成態様を指定する楽音パラメータを発生し、
発生した楽音パラメータに従った態様で選択された曲の
演奏データを再生して楽音を形成するので、画面表示さ
れる画像内容に応じた楽曲を再生することができる。請
求項3,4に記載の発明によれば、画面に表示される画
像の輝度および色度を検出すると、この輝度および色度
に対応する曲の演奏データを複数の曲の演奏データの内
から選択すると共に、検出された輝度および色度に応じ
て、楽音形成態様を指定する楽音パラメータを発生し、
発生した楽音パラメータに従った態様で選択された曲の
演奏データを再生して楽音を形成するので、画面表示さ
れる画像の輝度および色度に応じた楽曲を再生すること
ができる。請求項5,6に記載の発明によれば、画面に
表示される動画像の動的変化および輝度を検出すると、
この動的変化および輝度に対応する曲の演奏データを複
数の曲の演奏データの内から選択すると共に、検出され
た動的変化および輝度に応じて、楽音形成態様を指定す
る楽音パラメータを発生し、発生した楽音パラメータに
従った態様で選択された曲の演奏データを再生して楽音
を形成するので、画面表示される動画像の動的変化およ
び輝度に応じた楽曲を再生することができる。
According to the first and second aspects of the present invention, when the display attribute of the image displayed on the screen is detected, the performance data of the music corresponding to this display attribute is included in the performance data of the plurality of music. And to generate a musical tone parameter that specifies a musical tone formation mode according to the detected display attribute,
Since the musical tone is formed by reproducing the musical performance data of the selected song in a manner according to the generated musical tone parameter, it is possible to reproduce the musical composition according to the image content displayed on the screen. According to the invention described in claims 3 and 4, when the brightness and chromaticity of the image displayed on the screen are detected, the performance data of the music corresponding to the brightness and the chromaticity is selected from the performance data of the plurality of music. Along with the selection, in accordance with the detected luminance and chromaticity, a tone parameter that specifies the tone formation mode is generated,
Since the musical tone is formed by reproducing the performance data of the selected song in a manner according to the generated tone parameter, it is possible to reproduce the song corresponding to the brightness and chromaticity of the image displayed on the screen. According to the invention described in claims 5 and 6, when the dynamic change and the brightness of the moving image displayed on the screen are detected,
The performance data of the music corresponding to the dynamic change and the brightness is selected from the performance data of the plurality of music, and the tone parameter for designating the tone formation mode is generated according to the detected dynamic change and the brightness. Since the musical data is formed by reproducing the performance data of the selected music piece in a manner according to the generated musical sound parameter, it is possible to reproduce the music piece according to the dynamic change and the brightness of the moving image displayed on the screen.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明による第1実施例の構成を示すブロック
図である。
FIG. 1 is a block diagram showing the configuration of a first embodiment according to the present invention.

【図2】第1実施例による楽音発生処理ルーチンの動作
を説明するためのフローチャートである。
FIG. 2 is a flowchart for explaining the operation of a musical sound generation processing routine according to the first embodiment.

【図3】第1実施例による楽音発生処理ルーチンの動作
を説明するためのフローチャートである。
FIG. 3 is a flowchart for explaining the operation of a musical sound generation processing routine according to the first embodiment.

【図4】第2実施例による楽音発生処理ルーチンの動作
を説明するためのフローチャートである。
FIG. 4 is a flowchart for explaining the operation of a musical sound generation processing routine according to the second embodiment.

【図5】第2実施例による楽音発生処理ルーチンの動作
を説明するためのフローチャートである。
FIG. 5 is a flowchart for explaining the operation of a musical sound generation processing routine according to the second embodiment.

【図6】第3実施例による楽音発生処理ルーチンの動作
を説明するためのフローチャートである。
FIG. 6 is a flow chart for explaining the operation of a musical sound generation processing routine according to the third embodiment.

【図7】第3実施例による楽音発生処理ルーチンの動作
を説明するためのフローチャートである。
FIG. 7 is a flow chart for explaining the operation of a musical sound generation processing routine according to the third embodiment.

【符号の説明】[Explanation of symbols]

1 通信部 1a 送受信ユニット 1b 通信制御ユニット 2 音声処理部 3 スピーカ 4 マイク 5 キー入力部 6 CPU 7 ROM 8 RAM 9 表示部 10 音源 1 Communication unit 1a Transceiver unit 1b Communication control unit 2 Audio processing section 3 speakers 4 microphone 5 Key input section 6 CPU 7 ROM 8 RAM 9 Display 10 sound sources

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 複数の曲の演奏データを記憶する演奏デ
ータ記憶手段と、 画面に表示される画像の表示属性を検出する検出手段
と、 この検出手段により検出された表示属性に応じて、楽音
形成態様を指定する楽音パラメータを発生するパラメー
タ発生手段と、 前記演奏データ記憶手段に記憶される複数の曲の演奏デ
ータの内から前記検出手段により検出された表示属性に
対応する曲の演奏データを選択する曲選択手段と、 この曲選択手段により選択された曲の演奏データを、前
記パラメータ発生手段が発生する楽音パラメータに従っ
た態様で再生して楽音を形成する楽音形成手段とを具備
することを特徴とする楽音発生装置。
1. A musical performance data storage means for storing musical performance data of a plurality of songs, a detection means for detecting a display attribute of an image displayed on a screen, and a musical tone according to the display attribute detected by the detecting means. Parameter generating means for generating a tone parameter for designating a formation mode, and performance data of a piece of music corresponding to a display attribute detected by the detecting means from performance data of a plurality of pieces of music stored in the performance data storage means. It is provided with music selection means for selecting and music tone forming means for reproducing the performance data of the music selected by the music selection means in a manner according to the music tone parameter generated by the parameter generation means to form a music tone. A tone generator characterized by.
【請求項2】 画面に表示される画像の表示属性を検出
する検出過程と、 この検出過程にて検出された表示属性に応じて、楽音形
成態様を指定する楽音パラメータを発生するパラメータ
発生過程と、 予め演奏データ記憶手段に記憶される複数の曲の演奏デ
ータの内から前記検出過程で検出された表示属性に対応
する曲の演奏データを選択する曲選択過程と、 この曲選択過程にて選択された曲の演奏データを、前記
パラメータ発生過程で発生させた楽音パラメータに従っ
た態様で再生して楽音を形成する楽音形成過程とを具備
することを特徴とする楽音発生方法。
2. A detection process of detecting a display attribute of an image displayed on a screen, and a parameter generation process of generating a tone parameter for designating a tone formation mode in accordance with the display attribute detected in the detection process. A song selection process of selecting song performance data corresponding to the display attribute detected in the detection process from among the song data of a plurality of songs stored in advance in the song data selection process; And a musical tone forming step of reproducing musical performance data of the created music piece in a manner according to the musical tone parameter generated in the parameter generating step to form a musical tone.
【請求項3】 複数の曲の演奏データを記憶する演奏デ
ータ記憶手段と、 画面に表示される画像の輝度および色度を検出する検出
手段と、 この検出手段により検出された輝度および色度に応じ
て、楽音形成態様を指定する楽音パラメータを発生する
パラメータ発生手段と、 前記演奏データ記憶手段に記憶される複数の曲の演奏デ
ータの内から前記検出手段により検出された輝度および
色度に対応する曲の演奏データを選択する曲選択手段
と、 この曲選択手段により選択された曲の演奏データを、前
記パラメータ発生手段が発生する楽音パラメータに従っ
た態様で再生して楽音を形成する楽音形成手段とを具備
することを特徴とする楽音発生装置。
3. Performance data storage means for storing performance data of a plurality of songs, detection means for detecting luminance and chromaticity of an image displayed on a screen, and luminance and chromaticity detected by the detection means. Corresponding to the luminance and chromaticity detected by the detection means from among the performance data of a plurality of songs stored in the performance data storage means, the parameter generation means for generating the tone parameters for designating the tone formation mode. Music selection means for selecting the performance data of the music to be played, and the musical sound formation for reproducing the musical performance data of the music selected by the music selection means in a manner according to the musical tone parameter generated by the parameter generating means. And a means for generating musical tones.
【請求項4】 画面に表示される画像の輝度および色度
を検出する検出過程と、 この検出過程にて検出された輝度および色度に応じて、
楽音形成態様を指定する楽音パラメータを発生するパラ
メータ発生過程と、 予め演奏データ記憶手段に記憶される複数の曲の演奏デ
ータの内から前記検出過程で検出された輝度および色度
に対応する曲の演奏データを選択する曲選択過程と、 この曲選択過程にて選択された曲の演奏データを、前記
パラメータ発生過程で発生させた楽音パラメータに従っ
た態様で再生して楽音を形成する楽音形成過程とを具備
することを特徴とする楽音発生方法。
4. A detection process for detecting the brightness and chromaticity of an image displayed on the screen, and a detection process according to the brightness and chromaticity detected in this detection process.
A parameter generating process for generating a musical tone parameter for designating a musical tone forming mode, and a song corresponding to the luminance and chromaticity detected in the detecting process from the performance data of a plurality of songs stored in advance in the performance data storage means. A music selection process of selecting performance data, and a musical tone formation process of reproducing musical performance data of the musical composition selected in the music selection process in a manner according to the musical tone parameter generated in the parameter generating process to form a musical tone. And a musical tone generating method.
【請求項5】 複数の曲の演奏データを記憶する演奏デ
ータ記憶手段と、 画面に表示される動画像の動的変化および輝度を検出す
る検出手段と、 この検出手段により検出された動的変化および輝度に応
じて、楽音形成態様を指定する楽音パラメータを発生す
るパラメータ発生手段と、 前記演奏データ記憶手段に記憶される複数の曲の演奏デ
ータの内から前記検出手段により検出された動的変化お
よび輝度に対応する曲の演奏データを選択する曲選択手
段と、 この曲選択手段により選択された曲の演奏データを、前
記パラメータ発生手段が発生する楽音パラメータに従っ
た態様で再生して楽音を形成する楽音形成手段とを具備
することを特徴とする楽音発生装置。
5. Performance data storage means for storing performance data of a plurality of songs, detection means for detecting dynamic changes and brightness of a moving image displayed on a screen, and dynamic changes detected by the detection means. And a dynamic change detected by the detecting means from the performance data of a plurality of pieces of music stored in the performance data storage means. And music selection means for selecting the performance data of the music corresponding to the brightness, and the performance data of the music selected by the music selection means are reproduced in a manner in accordance with the tone parameters generated by the parameter generating means to generate a musical sound. A musical tone generating device, comprising: a musical tone forming means for forming a musical tone.
【請求項6】 画面に表示される動画像の動的変化およ
び輝度を検出する検出過程と、 この検出過程にて検出された動的変化および輝度に応じ
て、楽音形成態様を指定する楽音パラメータを発生する
パラメータ発生過程と、 予め演奏データ記憶手段に記憶される複数の曲の演奏デ
ータの内から前記検出過程で検出された動的変化および
輝度に対応する曲の演奏データを選択する曲選択過程
と、 この曲選択過程にて選択された曲の演奏データを、前記
パラメータ発生過程で発生させた楽音パラメータに従っ
た態様で再生して楽音を形成する楽音形成過程とを具備
することを特徴とする楽音発生方法。
6. A detection process for detecting a dynamic change and brightness of a moving image displayed on a screen, and a tone parameter for designating a tone formation mode according to the dynamic change and brightness detected in this detection process. And a song selection for selecting song performance data corresponding to the dynamic change and brightness detected in the detection process from among the song performance data of a plurality of songs stored in advance in the performance data storage means. And a musical tone forming step of reproducing musical performance data of the musical piece selected in the musical piece selecting step in a manner according to the musical tone parameter generated in the parameter generating step to form a musical tone. How to generate a musical tone.
JP2001324317A 2001-10-23 2001-10-23 Musical sound generating device and musical sound generating method Pending JP2003131659A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001324317A JP2003131659A (en) 2001-10-23 2001-10-23 Musical sound generating device and musical sound generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001324317A JP2003131659A (en) 2001-10-23 2001-10-23 Musical sound generating device and musical sound generating method

Publications (1)

Publication Number Publication Date
JP2003131659A true JP2003131659A (en) 2003-05-09

Family

ID=19141056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001324317A Pending JP2003131659A (en) 2001-10-23 2001-10-23 Musical sound generating device and musical sound generating method

Country Status (1)

Country Link
JP (1) JP2003131659A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257162A (en) * 2006-03-22 2007-10-04 Clarion Co Ltd Musical piece retrieving device, musical piece retrieving method and on-vehicle acoustic equipment
JP2009266005A (en) * 2008-04-25 2009-11-12 Clarion Co Ltd Image retrieval method, image retrieval program, music player, and article for music retrieval
JP2010283798A (en) * 2009-06-08 2010-12-16 Samsung Mobile Display Co Ltd Display and driving method thereof
JP2011509419A (en) * 2007-12-20 2011-03-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ System and method for automatically generating sound associated with a lighting atmosphere
JP2012015809A (en) * 2010-06-30 2012-01-19 Kddi Corp Music selection apparatus, music selection method, and music selection program
KR101256025B1 (en) 2009-06-05 2013-04-18 삼성디스플레이 주식회사 Desplay device and driving method thereof
WO2019238834A1 (en) * 2018-06-15 2019-12-19 Signify Holding B.V. Method and controller for selecting media content based on a lighting scene

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257162A (en) * 2006-03-22 2007-10-04 Clarion Co Ltd Musical piece retrieving device, musical piece retrieving method and on-vehicle acoustic equipment
JP2011509419A (en) * 2007-12-20 2011-03-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ System and method for automatically generating sound associated with a lighting atmosphere
JP2009266005A (en) * 2008-04-25 2009-11-12 Clarion Co Ltd Image retrieval method, image retrieval program, music player, and article for music retrieval
KR101256025B1 (en) 2009-06-05 2013-04-18 삼성디스플레이 주식회사 Desplay device and driving method thereof
US8577058B2 (en) 2009-06-05 2013-11-05 Samsung Display Co., Ltd. Display device and driving method thereof
JP2010283798A (en) * 2009-06-08 2010-12-16 Samsung Mobile Display Co Ltd Display and driving method thereof
US8571234B2 (en) 2009-06-08 2013-10-29 Samsung Display Co., Ltd. Display device and driving method thereof
JP2012015809A (en) * 2010-06-30 2012-01-19 Kddi Corp Music selection apparatus, music selection method, and music selection program
WO2019238834A1 (en) * 2018-06-15 2019-12-19 Signify Holding B.V. Method and controller for selecting media content based on a lighting scene
CN112335340A (en) * 2018-06-15 2021-02-05 昕诺飞控股有限公司 Method and controller for selecting media content based on lighting scenes
US11419199B2 (en) 2018-06-15 2022-08-16 Signify Holding B.V. Method and controller for selecting media content based on a lighting scene
CN112335340B (en) * 2018-06-15 2023-10-31 昕诺飞控股有限公司 Method and controller for selecting media content based on lighting scene

Similar Documents

Publication Publication Date Title
JP3719057B2 (en) Telephone terminal device and communication method
KR20040058034A (en) Voice/music piece reproduction apparatus and method
JPH11112615A (en) Portable telephone set
KR100555094B1 (en) Portable telephone
TW491989B (en) Music reproducing apparatus, music reproducing method and telephone terminal device
JP2003131659A (en) Musical sound generating device and musical sound generating method
JP3575368B2 (en) Mobile phone
JP2002152329A (en) Portable terminal system
JP3646703B2 (en) Voice melody music generation device and portable terminal device using the same
KR100468987B1 (en) Portable terminal device and effect applying method thereof and recording medium
JP2006084515A (en) Music play-back apparatus
JP2001339487A (en) Portable communication terminal device
JP4384062B2 (en) Online karaoke system
JP2001036604A (en) Telephone set
KR20060050071A (en) Musical data editing and reproduction apparatus, and portable information terminal therefor
JP3279298B2 (en) Music playing device, mobile phone device having music playing function, and music playing method
JP3279293B2 (en) Music playback device, mobile phone device having music playback function, and music playback method
JP4269475B2 (en) Mobile phone and musical sound generation control method
JP4207343B2 (en) Mobile phone equipment
JP3729074B2 (en) Communication apparatus and storage medium
JP2001211235A (en) Portable telephone set
JP2008242264A (en) Karaoke system
JP2006106286A (en) Karaoke system using mobile information terminal
JP2001177605A (en) Portable telephone set
JP2001292202A (en) Communication equipment