KR101287984B1 - Music edit device and music edit method - Google Patents
Music edit device and music edit method Download PDFInfo
- Publication number
- KR101287984B1 KR101287984B1 KR1020087013805A KR20087013805A KR101287984B1 KR 101287984 B1 KR101287984 B1 KR 101287984B1 KR 1020087013805 A KR1020087013805 A KR 1020087013805A KR 20087013805 A KR20087013805 A KR 20087013805A KR 101287984 B1 KR101287984 B1 KR 101287984B1
- Authority
- KR
- South Korea
- Prior art keywords
- music
- remix
- tempo
- metadata
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 72
- 230000001360 synchronised effect Effects 0.000 claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 82
- 238000012937 correction Methods 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims description 30
- 230000005236 sound signal Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 35
- 230000033764 rhythmic process Effects 0.000 description 28
- 239000000463 material Substances 0.000 description 21
- 230000006870 function Effects 0.000 description 14
- 239000011295 pitch Substances 0.000 description 13
- 230000008859 change Effects 0.000 description 4
- 238000005562 fading Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 230000001020 rhythmical effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 208000003481 exhibitionism Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/105—Composing aid, e.g. for supporting creation, edition or modification of a piece of music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/125—Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/131—Morphing, i.e. transformation of a musical piece into a new different one, e.g. remix
- G10H2210/136—Morphing interpolation, i.e. interpolating in pitch, harmony or time, tempo or rhythm, between two different musical pieces, e.g. to produce a new musical work
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/375—Tempo or beat alterations; Music timing control
- G10H2210/391—Automatic tempo adjustment, correction or control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
- G10H2240/016—File editing, i.e. modifying musical data files or streams as such
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
- G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
- G10H2240/061—MP3, i.e. MPEG-1 or MPEG-2 Audio Layer III, lossy audio compression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
- G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
- G10H2240/066—MPEG audio-visual compression file formats, e.g. MPEG-4 for coding of audio-visual objects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/091—Info, i.e. juxtaposition of unrelated auxiliary information or commercial messages with or between music files
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
- G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
- G10H2240/295—Packet switched network, e.g. token ring
- G10H2240/305—Internet or TCP/IP protocol use for any electrophonic musical instrument data or musical parameter transmission purposes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Electrophonic Musical Instruments (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
악곡의 비트 및 멜로디 구조를 미리 기술한 타임 라인 메타데이터를 사용하고, 이것을 이용함으로써 자동으로 또한 저부하로 자동 DJ 리믹스 플레이를 실현하는 음악 편집 장치를 제공한다. 음악 편집 장치는, 마스터 비트를 리믹스 처리부에 보내는 동시에, 리믹스 처리부가 리믹스 패턴과 메타데이터에 대응하여 지시한 리믹스 처리에 따라 복수의 악곡을 재생하는 동기 재생 제어부, 및 동기 재생 제어부에 의해 재생된 악곡을 혼합하는 혼합부를 포함하며, 동기 재생 제어부는, 메타데이터로부터 생성한 비트 싱크 신호와 마스터 비트 신호의 위상을 비교하는 위상 비교기와, 위상 비교기의 위상 비교 출력을 적분하는 적분 회로와, 적분 회로의 적분 출력에 기초하여 템포를 보정하는 보정부를 포함한다.
리믹스 처리부, 위상 비교기, 메타데이터, 소절 싱크 신호, 비트 싱크 신호, 마스터 비트
Provided is a music editing apparatus that uses timeline metadata in advance that describes the beat and melody structure of a piece of music, and thereby realizes automatic DJ remix play automatically and at low load. The music editing apparatus sends a master beat to the remix processing unit, and simultaneously reproduces a plurality of pieces of music in accordance with the remix processing instructed by the remix processing unit in response to the remix pattern and the metadata, and the music reproduced by the synchronous reproduction control unit. And a mixing unit for mixing the control unit, the synchronous reproduction control unit comprising: a phase comparator for comparing the phases of the bit sync signal and the master bit signal generated from the metadata, an integrating circuit for integrating the phase comparison output of the phase comparator, and an integrating circuit. And a correction unit that corrects the tempo based on the integral output.
Remix processor, phase comparator, metadata, measure sync signal, beat sync signal, master bit
Description
본 발명은 예컨대 악곡을 악곡 파트, 소절 등으로 세분화하는 것에 의해 얻어지는 음악 컨텐츠 등을 소재로서 사용하여 편집함으로써 새로운 악곡(음악 컨텐츠)을 생성하는 음악 편집 장치 및 음악 편집 방법에 관한 것이다.The present invention relates to a music editing apparatus and a music editing method for generating a new piece of music (music content) by, for example, editing a piece of music obtained by subdividing the piece of music into pieces, measures and the like as a material.
메모리형 오디오의 보급과 함께 사용자가 대량의 악곡을 가지고 다니는 것이 일상화 되었다. 대량의 악곡을 미디어의 교환 없이 연속하여 듣는 메모리형 오디오에서는, 원래의 CD 앨범 단위로 듣는 것뿐만 아니라, CD 앨범에서 모든 악곡을 을 셔플(shuffle)하여 듣거나 자신의 취향에 맞는 곡만을 플레이 리스트로서 재구성하여 듣는 스타일이 보편화되고 있다. 미리 앨범에 녹음되어 있는 순번을 지키지 않고, 사용자가 스스로 듣고자 하는 곡을 듣고 싶은 순서로 듣는 자유도가 커졌다고 할 수 있다.With the spread of memory-type audio, it has become common for users to carry large amounts of music. In memory-type audio that listens to a large amount of music continuously without exchanging media, not only does it listen to the original CD album, but also shuffles all the music in a CD album, or only playlists that match your taste. The style of listening after reconstructing is becoming universal. Rather than keeping the sequence recorded in the album in advance, the degree of freedom in which the user can listen in the order in which they want to listen to music can be said to increase.
그러나, 한 곡 한 곡에 대하여는 처음에서부터 끝까지 듣는 것이 전제로 되어 있고, 또한 곡과 곡의 사이에는 무음 부분이 존재한다. 즉, 곡은 한 곡이라는 단위가 최소로 되어 있어, 그 한 곡으로 완결하는 청취 방식밖에 없다. 그러므로, 곡과 곡 사이의 이러한 무음 부분에서 사용자의 집중 또는 소위 열정이 단절되어 버릴 경우가 있으므로, 어느 일정한 긴장감을 유지한 채로 악곡을 계속 듣는 것이 어렵다.However, it is assumed that one song is listened from beginning to end, and there is a silent portion between the songs. In other words, a song has a minimum unit of one song, and there is only a listening method of completing the song. Therefore, the concentration or so-called enthusiasm of the user may be cut off in this silent portion between the song and the song, so it is difficult to keep listening to the music while maintaining a certain tension.
도 32는 악곡 A와 악곡 B를 사용한 종래의 음악 재생을 나타낸다. 2개의 악곡은 각각 악곡이 갖는 원래의 템포로 재생된다. 물론, 곡 사이에는 무음 부분이 존재한다.32 shows conventional music reproduction using the music A and the music B. FIG. The two pieces of music are each reproduced at the original tempo of the pieces of music. Of course, there is a silent section between songs.
그래서, 복수의 음악 소재를 조합시켜 편집하는 기술이 고려되었다. 일본 공개 특허 2003-44046호 공보에는, 키보드나 마우스를 통한 사용자 입력에 따라 복수의 음소재(music material)를 조합시켜 악곡을 대화식으로 편집하거나 재생하여 즐기는 기술이 개시되어 있다. 키보드의 각 키에 대하여, 사운드 패턴과 원샷(one-shot) 등의 음편(sound piece), 및 이들 음편에 적용하는 이펙트 등으로 이루어지는 팁(tip)이 할당되어 있다. 사용자가 키를 누름으로써, 그 눌러진 키에 대응하는 팁이 실행된다. 복수의 키를 동시에 누르면, 해당하는 팁이 합성되어 출력된다. 또한, 각 키를 차례로 눌러 팁을 시계열적으로 조합시켜 악곡을 구성한다.Thus, a technique of combining and editing a plurality of music materials has been considered. Japanese Laid-Open Patent Publication No. 2003-44046 discloses a technique for interactively editing or reproducing a piece of music by combining a plurality of music materials in accordance with a user input through a keyboard or a mouse. Each key of the keyboard is assigned a tip consisting of a sound pattern, a sound piece such as a one-shot, an effect applied to the sound piece, and the like. As the user presses a key, a tip corresponding to the pressed key is executed. When a plurality of keys are pressed at the same time, corresponding tips are synthesized and output. In addition, each key is pressed in turn to combine the tips in time series to compose a piece of music.
그러나, 상기한 일본 공개 특허 2003-44046호 공보의 기술에 의해서도, 예컨대, 디스크 자키(DJ)가 행하는 리믹스와 같이 곡의 일부분을 다른 곡과 연결하여, 복수의 곡이 마치 1개의 곡인 것처럼 비트를 정렬하여 연결하도록 재구성하는 것은 곤란하였다. DJ가 현재는 일반적인 직업이고, 리믹스 음악도 리믹스 음악 전용의 라벨 회사(label company)가 있어, 리믹스 음악을 즐기고 있는 사용자층도 그 규모가 커지고 있다.However, according to the technique described in Japanese Laid-Open Patent Publication No. 2003-44046, for example, a portion of a song is connected to another song, such as a remix performed by a disc jockey (DJ), and a plurality of pieces of music can be beat as if they are one song. Reorganization to align and connect was difficult. DJs are now a common occupation, and remix music also has a label company dedicated to remix music, and the user base enjoying remix music is growing in size.
그래서, 음악 편집 장치에서, 음악의 리듬에 주목하는 경우, 현재 재생하고 있는 악곡의 리듬을 리얼타임으로 추종하면서, 전문적인 DJ가 행하는 바와 같이, 각 악곡의 리듬을 잘 정렬하여 차례대로 또는 동시에 복수의 악곡을 재생하는 것이 요구된다.Therefore, when the music editing apparatus pays attention to the rhythm of music, the rhythm of the currently playing music is tracked in real time while the rhythm of each piece of music is well aligned and plural in sequence or simultaneously as a professional DJ performs. To play music.
현재, DJ로 불리우는 직종의 사람들은, 레코드판의 턴테이블을 이용하면서 악곡의 재생 개시 타이밍 및 악곡 템포를 제어하여, 마치 이들이 일련의 곡인 것처럼 복수의 악곡을 차례대로 연결하여 재생할 수 있다. 이 방법은 일반적으로 리믹스로 지칭된다. 이와 같은 리듬 동기 재생을 행함으로써, 단순한 음악 청취 방식으로부터 한걸음 진보한 새로운 음악 청취 방식으로서, 새로운 감각 및 감동을 청취자에게 주고 있다. 그러므로, 최근, 이 DJ 리믹스라는 방법은 새로운 음악 표현 방법으로서 일반화되어 가고 있다.Currently, people of the type of job called DJ can control the playback start timing and the music tempo of music by using the turntable of the record board, and can connect and play a plurality of pieces of music in sequence as if they are a series of songs. This method is commonly referred to as remixing. By performing such rhythmic synchronous reproduction, a new sense and emotion is given to the listener from a simple music listening method to a new music listening method that has been advanced one step further. Therefore, recently, this DJ remix method has been generalized as a new music expression method.
그러나, 상기한 DJ에 의한 재생 방법을 기계에 의해 자동화하는 것은 현재로서는 극히 곤란하다. 왜냐하면, 음악의 리듬, 비트 및 템포의 감각이라는 것은 인간에게 있어서는 용이하게 지각할 수 있는 감각량이지만, 기계에 있어서는 그 인식이 극히 곤란한 것이기 때문이다. 또한, 예컨대 자동 인식 기술이 있다고 해도, 그 정밀도는 10O%가 되지 못하여, 완벽성을 요구하는 뮤직 어레인지먼트(music arrangement)라는 면에 대하여는 실용성이 부족하다. 기계가 음악의 구조 자체를 이해하는 것이 불가능한 결과, DJ 플레이와 같은 음악 구조에 기반을 둔 플렉서블 어레인지먼트 재생(flexible arrangement reproduction)을 자동으로 행할 수 없다.However, it is extremely difficult at present to automate the above-described DJ-producing method by a machine. This is because the sense of rhythm, beat, and tempo of music is easily perceived by humans, but it is extremely difficult for the machine to recognize it. In addition, even if there is an automatic recognition technique, the accuracy is not 100%, and there is a lack of practicality in terms of a music arrangement requiring perfection. As a result of the inability of the machine to understand the structure of the music itself, it is not possible to automatically perform flexible arrangement reproduction based on a music structure such as DJ play.
이상과 같은 배경을 감안하여, 본 발명은 이하의 문제점 및 과제를 해결한 다. DJ는 현재 재생 중인 악곡의 비트 및 소절에 맞추어 다음의 악곡의 비트 및 소절을 정렬하면서 끊김없이(seamless) 재생을 개시할 수 있다. 그러나, 기계는 비트 및 소절을 인식할 수가 없기 때문에, 이것을 자동으로 행하지 못한다.In view of the above background, the present invention solves the following problems and problems. The DJ can start seamless playback while aligning the beats and measures of the next piece of music with the beats and measures of the piece of music currently being played. However, since the machine cannot recognize bits and measures, it does not do this automatically.
DJ는 현재 재생 중인 악곡의 템포에 맞추어 다음 악곡의 템포를 정렬하면서 끊김없이 재생을 개시할 수 있다. 기계는 템포를 인식할 수 없기 때문에, 이것을 자동으로 행하지 못한다.The DJ can start playback seamlessly, aligning the tempo of the next piece of music with the tempo of the piece of music currently being played. Since the machine cannot recognize the tempo, it does not do this automatically.
DJ는, 현재 재생 중인 악곡의 템포가 변동되고 있어도, 다음의 악곡의 템포를 정렬하면서 끊김없이 재생 개시할 수 있다. 기계는 템포를 인식할 수가 없기 때문에, 이것을 자동으로 행하지 못한다.Even if the tempo of the piece of music currently being reproduced is fluctuating, the DJ can start playback seamlessly while aligning the tempo of the next piece of music. Since the machine cannot recognize the tempo, it cannot do this automatically.
DJ는 현재 재생 중인 악곡의 멜로디에 맞추어 다음 악곡의 멜로디를 정렬하면서 끊김없이 재생 개시할 수 있다. 기계는 멜로디를 인식할 수 없기 때문에, 이것을 자동으로 행하지 못한다.The DJ can start playback seamlessly while aligning the melody of the next piece of music in accordance with the melody of the piece of music currently being played. Since the machine cannot recognize the melody, it does not do this automatically.
본 발명은 상기한 문제점을 감안하여 이루어진 것이며, 악곡의 비트 및 멜로디 구조를 미리 기술한 타임 라인 메타데이터(time line metadata)를 사용하고, 이것을 이용함으로써 자동으로 또한 저부하로 자동 DJ 리믹스 플레이를 실현하는 음악 편집 장치의 제공을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and realizes automatic DJ remix play automatically and at low load by using time line metadata which describes the beat and melody structure of the music in advance. An object of the present invention is to provide a music editing apparatus.
본 발명에 따른 음악 편집 장치는, 상기한 과제를 해결하기 위하여, 악곡 데이터에 대응하여 미리 생성되고 적어도 시간축 상의 비트 위치(time-based beat position)를 포함하는 메타데이터와, 리믹스 패턴 파일에 기초하여 리믹스 처리를 행하는 리믹스 처리부, 마스터 비트를 생성하고, 이 마스터 비트를 상기 리믹스 처리부에 보내는 동시에, 상기 리믹스 처리부가 상기 리믹스 패턴 파일과 상기 메타데이터에 대응하여 지시한 리믹스 처리에 따라 각각의 상기 메타데이터를 사용하여 복수의 악곡을 재생하는 동기 재생 제어부, 및 상기 동기 재생 제어부에 의해 재생된 악곡을 혼합하는 혼합부를 포함하며, 상기 동기 재생 제어부는, 상기 메타데이터로부터 생성한 비트 싱크 신호와 마스터 비트 신호의 위상을 비교하는 위상 비교기와, 상기 위상 비교기의 위상 비교 출력을 적분하는 적분 회로와, 상기 적분 회로의 적분 출력에 기초하여 템포를 보정하는 보정부를 포함한다.In order to solve the above problem, the music editing apparatus according to the present invention is based on a remix pattern file and metadata, which are generated in advance corresponding to the music data and include at least a time-based beat position on a time axis. A remix processing unit for performing a remix process, a master bit is generated, and the master bits are sent to the remix processing unit, and each of the metadata according to the remix processing instructed corresponding to the remix pattern file and the metadata by the remix processing unit; A synchronous reproducing control unit for reproducing a plurality of pieces of music using a music processing unit, and a mixing unit for mixing the pieces of music reproduced by the synchronous reproducing control unit, wherein the synchronous reproducing control unit includes a bit sync signal and a master bit signal generated from the metadata; A phase comparator for comparing phases of the phase comparator An integration circuit for integrating the phase comparison output, and a correction unit for correcting the tempo based on the integration output of the integration circuit.
본 발명에 따른 음악 편집 방법은, 상기한 과제를 해결하기 위하여, 악곡 데이터에 대응하여 미리 생성되고 적어도 시간축 상의 비트 위치를 포함하는 메타데이터와, 리믹스 패턴 파일에 따라 리믹스 처리를 행하는 리믹스 처리 단계, 마스터 비트를 생성하고, 이 마스터 비트를 상기 리믹스 처리부에 보내는 동시에, 상기 리믹스 처리부가 리믹스 패턴과 상기 메타데이터에 대응하여 지시한 리믹스 처리에 따라 복수의 악곡을 재생하는 동기 재생 제어 단계, 및 상기 동기 재생 제어부에 의해 재생된 악곡을 혼합하는 혼합 단계를 포함하며, 상기 동기 재생 제어 단계는, 상기 리믹스 처리 단계로부터 공급되는 상기 메타데이터로부터 생성한 비트 싱크 신호와 마스터 비트 신호의 위상을 비교하는 위상 비교 단계와, 상기 위상 비교 단계의 위상 비교 출력을 적분하는 적분 단계와, 상기 적분 단계의 적분 출력에 따라 템포를 보정하는 보정 단계를 포함한다.The music editing method according to the present invention includes a remix processing step of performing remix processing according to the remix pattern file and metadata, which is generated in advance corresponding to the music data and includes at least a bit position on a time axis, in order to solve the above problems; A synchronous reproduction control step of generating a master bit and sending this master bit to the remix processing unit, and reproducing a plurality of pieces of music in accordance with a remixing process instructed corresponding to the remix pattern and the metadata by the remix processing unit; And a mixing step of mixing music pieces reproduced by the reproduction control part, wherein the synchronous reproduction control step includes: a phase comparison comparing a phase of a bit sync signal generated from the metadata supplied from the remix processing step and a master bit signal; Step and the phase comparison output of the phase comparison step And a step of integrating the integration, and a correction step of correcting a tempo in accordance with the integration output of the integration step.
본 발명에 의하면, 상이한 템포 및 상이한 리듬의 악곡끼리를 리믹스 재생하는 경우, 원래의 음악 비트에 변동이 있어도, 서로 일정한 템포 및 일정한 리듬으로 되도록 리얼타임으로 또한 자동으로 비트 동기 재생할 수 있다.According to the present invention, when remixing music pieces of different tempo and different rhythms, even if the original music beats fluctuate, it is possible to automatically and beat-synchronously reproduce in real time so as to have a constant tempo and a constant rhythm with each other.
따라서, 본 발명에 의하면, 리얼타임으로 또한 자동으로 음악의 DJ 리믹스 플레이가 가능하므로, 음악 재생 장치에서 새로운 음악 청취 방식을 제공하는 것이 가능하게 된다. 또한, 본 발명의 어플리케이션으로서, 음악의 비트와 다른 미디어의 동기화가 용이하게 되어, 새로운 엔터테인먼트를 창조할 수 있다.Therefore, according to the present invention, since DJ remix play of music is possible in real time and automatically, it becomes possible to provide a new music listening method in the music reproducing apparatus. In addition, as an application of the present invention, it is possible to easily synchronize beats of music with other media, thereby creating new entertainment.
도 1은 본 발명에 따른 장치 및 방법의 일실시예가 적용되는 음악 편집 장치(1)의 블록도이다.1 is a block diagram of a
도 2는 동기 재생 제어부와 음성 믹싱부의 상세한 구성을 나타낸 블록도이다.2 is a block diagram showing the detailed configuration of a synchronous reproduction control unit and a voice mixing unit.
도 3은 음악 편집 장치의 기능 블록도이다.3 is a functional block diagram of a music editing apparatus.
도 4는 음악 편집 장치가 CPU에 의해 실행하는 음악 편집 프로그램의 처리 단계를 나타내는 흐름도이다.4 is a flowchart showing processing steps of a music editing program executed by the music editing apparatus by the CPU.
도 5는 시간축 상의 메타데이터(time-based metadata)를 나타낸 도면이다.5 is a diagram illustrating time-based metadata.
도 6은 시간축 메타데이터의 구체예를 나타낸 도면이다.6 is a diagram illustrating a specific example of time base metadata.
도 7은 시간축 메타데이터의 다른 구체예를 나타낸 도면이다.7 is a diagram illustrating another specific example of time base metadata.
도 8a, 도 8b 및 도 8c는 메타데이터의 저장 방법을 나타낸 도면이다.8A, 8B and 8C illustrate a method of storing metadata.
도 9는 리믹스 패턴 파일의 구체예를 나타낸 도면이다.9 is a diagram illustrating a specific example of the remix pattern file.
도 10은 효과음(sound effect)을 이용한 크로스-페이드(cross-fade)에 의한 연결을 설명하기 위한 도면이다.FIG. 10 is a diagram for explaining connection by cross-fade using a sound effect.
도 11은 본 발명에 의한 음악 재생을 설명하기 위한 도면이다.11 is a view for explaining music reproduction according to the present invention.
도 12는 크로스-페이드에 의한 연결을 설명하기 위한 도면이다.12 is a diagram for explaining connection by cross-fade.
도 13은 컷-인(cut-in)에 의한 연결을 설명하기 위한 도면이다.FIG. 13 is a diagram for explaining connection by cut-in. FIG.
도 14는 효과음을 이용한 연결을 설명하기 위한 도면이다.14 is a diagram for explaining a connection using sound effects.
도 15는 동시 동기 재생을 설명하기 위한 도면이다.15 is a diagram for explaining simultaneous synchronous playback.
도 16은 이펙트의 적용을 설명하기 위한 도면이다.16 is a diagram for explaining application of effects.
도 17은 부분 재생을 설명하기 위한 도면이다.17 is a diagram for explaining partial reproduction.
도 18은 도 10에 나타낸 악곡 A와 악곡 B를 크로스-페이드로 SE를 협지하도록 편집하고 재생하는 것을 가능하게 하는 동기 재생부의 구성을 나타낸 도면이다.FIG. 18 is a diagram showing the configuration of a synchronous playback section which enables editing and reproducing of music A and music B shown in FIG. 10 so as to sandwich SE with cross-fades.
도 19는 본 발명의 주요부인 동기 재생 제어부와 리믹스 처리부의 기능을 설명하기 위한 도면이다.19 is a view for explaining the functions of the synchronous reproduction control unit and the remix processing unit, which are main parts of the present invention.
도 20은 비트 동기 재생의 메카니즘을 나타낸 도면이다.20 is a diagram showing a mechanism of bit synchronous reproduction.
도 21은 상세한 비트 동기 재생 타이밍 차트를 나타낸 도면이다.21 is a diagram showing a detailed bit synchronization reproduction timing chart.
도 22는 특정 악곡의 템포의 변동예를 나타낸 도면이다.22 is a diagram illustrating an example of variation in the tempo of a specific piece of music.
도 23의 (A), (B) 및 (C)는 템포의 변동에 따른 과제를 설명하기 위한 도면이다.(A), (B) and (C) is a figure for demonstrating the subject according to the change of the tempo.
도 24는 타임 라인 메타데이터를 기술하는 예를 나타낸 도면이다.24 is a diagram illustrating an example of describing timeline metadata.
도 25는 항상 변동하는 음악 비트에 동기하여 재생하는 시스템의 구성도이다.25 is a configuration diagram of a system for reproducing in synchronization with constantly changing music beats.
도 26의 (A), (B), (C) 및 (D)는 타임 라인 메타데이터를 이용한 동기 방법을 설명하기 위한 PLL의 출력 파형도이다.26 (A), (B), (C) and (D) are output waveform diagrams of a PLL for explaining a synchronization method using timeline metadata.
도 27은 네트워크 통신부를 구비한 음악 편집 장치의 구성도이다.27 is a configuration diagram of a music editing apparatus including a network communication unit.
도 28은 네트워크 통신부를 구비한 음악 편집 장치의 기능 블록도이다.28 is a functional block diagram of a music editing apparatus having a network communication unit.
도 29는 센서값 취득부를 구비한 음악 편집 장치의 구성도이다.29 is a configuration diagram of a music editing device including a sensor value acquisition unit.
도 30은 센서값 취득부를 구비한 음악 편집 장치의 기능 블록도이다.30 is a functional block diagram of a music editing apparatus including a sensor value acquisition unit.
도 31a 및 도 31b는 센서값 취득부를 구비한 음악 편집 장치의 처리 단계를 나타내는 흐름도이다.31A and 31B are flowcharts showing processing steps of a music editing apparatus having a sensor value acquisition unit.
도 32는 종래의 음악 재생을 설명하기 위한 도면이다.32 is a diagram for explaining conventional music reproduction.
이하, 본 발명을 실시하기 위한 바람직한 실시예에 대하여 도면을 참조하면서 설명한다. 도 1은 본 발명에 의한 장치와 방법의 일실시예가 적용되는 음악 편집 장치(1)의 블록도이다.Best Mode for Carrying Out the Invention Preferred embodiments for carrying out the present invention will be described below with reference to the drawings. 1 is a block diagram of a
이 음악 편집 장치(1)는, 하드 디스크(HD), 컴팩트 디스크(CD), 미니 디스크(MD), 디지털 버저틀 디스크(DVD : Digital Versatile Disk) 등의 각종의 기록 매체 및 인터넷 등의 네트워크를 통해 제공되는 악곡의 음악 콘텐츠 데이타(원본 데이터)에 대하여, 후술하는 메타데이터를 사용하여, 예컨대, 본래 템포가 상이한 악곡 A와 악곡 B를 비트를 정렬하여 재생하거나 중첩하여 재생하는 자동 DJ 재생을 행하는 장치이다.The
도 1에 나타낸 바와 같이, 이 음악 편집 장치(1)는 버스(3)를 통해 중앙 연 산 처리부(CPU)(2)에 기억부(4) 및 동기 재생부(8)가 접속되어 있다. 또한, CPU(2)에 버스(3)를 통해 ROM(13), RAM(14), 사용자 조작 I/F부(15) 및 사용자 인터페이스(U/I) 표시부(16)가 접속되어 있다.As shown in Fig. 1, in this
CPU(2)는 리얼타임으로 악곡의 연결 방식을 결정하고, 동기 재생부(8)에 대하여 필요한 악곡 소재를 필요한 타이밍에 제공한다. 또한, CPU(2)는 사용자의 조작에 따라 동기 재생부(8)에 대하여 템포의 지시 및 비트 동기/비동기의 지시를 행한다.The
기억부(4)는 악곡용 기억부(5), 악곡 메타데이터용 기억부(6) 및 리믹스 패턴용 기억부(7)로 이루어진다. 악곡용 기억부(5)는 복수의 악곡 데이터를 유지하는 기억부이다. 거치용의 음악 재생 장치 또는 휴대용의 음악 재생 장치가 갖고 있는 것과 같은 플래시 메모리 또는 하드 디스크 등의 기억부는 외부 기기로서 접속될 수도 있다. 그리고, 악곡용 기억부(5)에 기억되는 악곡 데이터는 압축된 것도 가능하고, 압축되지 않은 것도 상관없다.The
악곡 메타데이터용 기억부(6)는 플래시 메모리 또는 하드 디스크 등의 각종의 기억부이며, 악곡에 부가되어 있는 시간축 상의 메타데이터를 기억한다. 자세한 것은 후술하지만, 메타데이터는 악곡에 부가된 시간축 상의 보조 데이터이며, 템포뿐만 아니라 비트의 위치 정보, 소절의 선두(간략하여 서두(beginning)로도 지칭함)의 위치 정보, 및 전주(인트로)와 테마(theme)(또는 캐치 파트(catchy part)) 등의 멜로디 정보가 기술되어 있다.The music
리믹스 패턴용 기억부(7)는, 악곡용 기억부(5)와 마찬가지로, 기억부이면 특 별하게 제한을 둘 필요는 없다. 리믹스 패턴용 기억부(7)는 리믹스 패턴 지정 방법을 지시하는 리믹스 패턴 파일을 유지하는 기억부이다. 리믹스 패턴 파일에 대하여는, 상세를 후술되지만, 곡의 순서가 기록되어 있을 뿐만 아니라, 곡 순서에 더하여, 어떤 식으로 조합시킬지 또는 악곡 A와 악곡 B의 어디를 사용하여 어디에 조합시킬지와 같은 것이 기록되어 있는 파일이다.As for the remix
동기 재생부(8)는 음악 편집 장치(1)가 자동으로 DJ 재생을 행하기 위한 신호 처리 블록이고, CPU(2)의 리믹스 제어 기능에 의해 지시된 악곡 소재를 기준 비트에 동기하여 재생한다. 동기 재생부(8)는 동기 재생 제어부(9), 음성 믹싱부(10), 디지털/아날로그 변환부(D/A)(11) 및 음성 출력부(12)로 이루어진다.The
동기 재생 제어부(9)는 복수의 음성 신호 생성부를 가지며, 복수의 음악 신호를 자신의 내부에서 생성한 클록 신호에 동기하여 재생한다. 또한, 동기 재생 제어부(9)는 메타데이터용 기억부(6)로부터의 메타데이터에 따라 현재 재생되고 있는 악곡의 위치를 항상 감시하고, CPU(2)의 리믹스 처리 기능부에, 현재 어느 곳을 재생하고 있는지의 위치(악곡의 재생을 하고 있는 샘플수 등의 위치), 및 어느 소절째의 몇 번째 비트를 재생하고 있는지의 위치를 보낸다.The synchronous
음성 믹싱부(10)는 동기 재생 제어부(9) 내의 복수의 음성 신호 생성부에서 재생된 복수 계통의 음성 신호를 합성하여 출력한다. D/A(11)는 음성 믹싱부(10)에서 재생된 디지털 신호를 아날로그 신호로 변환한다. 음성 출력부(12)는 D/A(11)로부터의 아날로그 음성 신호를 증폭하여, 스피커 또는 헤드폰 등에 출력한다.The
ROM(13)은 본 발명의 음악 편집 방법에 따른 처리 단계로 이루어지는 음악 편집 프로그램이 저장되어 있다. 또한, 디폴트의 각종 데이터가 저장되어 있다. RAM(14)은 CPU(2)가 상기 음악 편집 프로그램을 실행할 때의 작업 영역이 된다. 또한, 상기 음악 편집 프로그램을 실행할 때의 각종 갱신 데이터를 기억한다.The
사용자 조작 I/F부(15)는 사용자에 의한 조작을 받아들이는 예컨대, 키보드, 마우스, 터치 패드 등이다. U/I 표시부(16)는 현재의 조작 상황, 음악 편집 처리 상황, 또는 사용자에 의한 조작을 가능하게 하는 터치 패널을 포함한 표시부이며, 예컨대 액정 표시부이다. 물론, CRT이어도 된다.The user operation I /
도 2는 동기 재생 제어부(9)와 음성 믹싱부(10)의 상세한 구성을 나타낸 블록도이다. 동기 재생 제어부(9)는 마스터 비트 생성부(90)와 3계통의 음성 신호 생성부로 이루어진다. 마스터 비트 생성부(90)는 비트에 대응하는 클록을 생성한다. 구체적으로는, 리믹스 시의 템포와 그 템포에 동기한 비트 신호를 출력한다. 마스터 비트 생성부(90)는 지정된 박자(4/4 박자 또는 3/4 박자 등)에 맞추어, 소절의 서두 신호(beginning signal)와 그 이외의 통상의 비트 신호를 생성하여 출력한다.2 is a block diagram showing the detailed configuration of the synchronous
3계통(트랙)의 음성 신호 생성부는, 리얼타임으로 복수의 스테레오 음을 낼 수 있도록 하기 위하여, 전형적인 예로서 악곡 A, 악곡 B, 효과음(SE)이라는 3개의 트랙으로 되어 있다. 물론, 악곡의 구성수에 따라 4트랙, 5트랙 또는 그 이상의 트랙 수이어도 상관없다. 이 음성 신호 생성부는 마스터 비트 생성부(90)가 생성한 동기 신호(클록 또는 비트)를 기초로 악곡의 소절/비트 위치를 마스터 비트의 소절/비트 위치에 맞추어 동기 재생을 행한다.In order to be able to produce a plurality of stereo sounds in real time, the three-track (signal) audio signal generating unit has three tracks, namely, music A, music B, and effect sound SE. Of course, the number of tracks may be 4 tracks, 5 tracks or more depending on the number of pieces of music. This audio signal generation section performs synchronous reproduction on the basis of the synchronization signal (clock or bit) generated by the master
각 트랙에는, 각각, 디코더(Decoder)(91a, 91b, 91c)와, 타임 스트레치부(Time Stretch)(92a, 92b, 92c)가 구비되어 있다. 디코더(91a, 91b, 91c)는, MP3 또는 ATRAC 등의 압축 음성을 디코드하고, PCM 데이터로서 출력한다. 여기서, SE는 길이가 짧고, 데이터 사이즈도 작으므로, 반드시 압축할 필요는 없다. 그러므로, 이 SE 트랙의 디코더는 생략해도 된다. 타임 스트레치부(92a, 92b, 92c)는 음정을 일정하게 유지한 채로 재생 속도를 변환하는 구성부이며, 메타데이터용 기억부(6)로부터의 메타데이터에 따라 상이한 템포를 갖는 악곡 소재를 기준 비트의 템포에 맞춘다. 또한, 타임 스트레치부(92a, 92b, 92c)는 악곡의 오리지날 템포와 마스터 비트의 비율을 감안하여 재생 속도를 리얼타임으로 변화시키는 처리를 행한다. 이로써, 악곡의 오리지날 템포를 마스터 비트의 템포에 맞게 할 수 있다. 물론, 전술한 바와 같이 음정은 변화되지 않는다.Each track is provided with
그리고, 이들 음성 신호 생성부에는 피치 시프트(Pitch Shifter) 기능을 탑재해도 된다. 피치 시프트 기능은 재생 속도를 일정하게 유지한 채로 음정을 변경한다. 피치 시프트 기능은 상이한 키나 음정을 갖는 악곡 소재를 음악적으로 조화시키는데 이용되지만, 반드시 필요한 기능은 아니고 부가적인 기능이다.In addition, a pitch shift function may be provided in these audio signal generators. The pitch shift function changes the pitch while keeping the playback speed constant. The pitch shift function is used to musically match music materials having different keys or pitches, but is not necessarily a function but an additional function.
음성 믹싱부(10)는, 상기한 3트랙의 음성 신호 생성부에 대응하여, 3계통의 이펙트 처리부(100a, 100b, 100c)와 음량 조정부(101a, 101b, 101c)를 구비한다. 이들 3계통의 출력은 음성 믹스부(102)에 의해 믹스되고나서 음성 출력부(103)에 의해 증폭되어 외부의 스피커 또는 헤드폰에 출력된다. 음성 믹싱부(10)는 음성 신호 생성부의 각 트랙으로부터의 출력 음성 신호에 대하여 각각 이펙트 처리와 음량 조정 처리가 가능한 구성으로 되어 있다.The
도 3은 음악 편집 장치(1)의 기능 블록도이다. 도 1에서 하드웨어 구성으로서 나타낸 CPU(2)의 기능은 리믹스 처리부(20)로서 나타내어져 있다. 리믹스 처리부(20)는 또한 메타데이터 처리부(21)와 리믹스 패턴 판독부(22)로 나누어져 있다.3 is a functional block diagram of the
리믹스 처리부(20)는 메타데이터용 기억부(6)에 저장된 메타데이터를 메타데이터 처리부(21)에 의해 처리한다. 전술한 바와 같이, 악곡에는 시간축 상의 메타데이터가 부가되어 있고, 템포뿐만 아니라 비트의 위치 정보, 소절의 서두 위치 정보, 및 인트로와 테마 등의 멜로디 정보를 유지하고 있다.The
메타데이터 처리부(21)는 악곡에 대응한 시간축 상의 메타데이터를 판독하고, 리믹스 패턴 판독부(22)에서 판독한 리믹스 패턴 정보의 지시에 따라 해당 악곡의 위치 정보를 조사한다. 예컨대, 지금 현재의 비트 위치와, 지금 조합시키고자 하는 악곡의 비트가 어디에 있는지를 파악한 후에, 복수 개 있는 악곡 및 효과음을 어느 시점에서 어떤 방식으로 재생할지를 결정한다.The
또한, 리믹스 처리부(20)는, 리믹스 패턴용 기억부(7)에 저장된 리믹스 패턴 파일(7a)을 리믹스 패턴 판독부(22)에 의해 판독한다. 리믹스 패턴 파일(7a)은 페이드-아웃을 행할지의 여부, 컷-인을 행할지의 여부, 어떠한 SE를 사용할지와 같은 것을 지정하는 파일이다. 리믹스 패턴은 사용자 또는 제3자의 손에 의해 인위적으로 지시된 데이터열(이 곡의 후에는 이러한 방식으로 연결하라고 지시하는)이어도 좋고, 자동 생성 알고리즘에 의해 만들어진 것이어도 좋다(자유롭게 기계측이 결정 하는 리믹스와 같은).The
동기 재생 제어부(9)는 마스터 비트 생성부(90)에 의해 마스터 비트를 생성하고, 이 마스터 비트를 리믹스 처리부(20)에 보내는 것과 동시에, 리믹스 처리부(20)가 리믹스 패턴과 메타데이터에 따라 지시한 리믹스 처리에 따라 메타데이터용 기억부(6)로부터의 각각의 메타데이터를 사용하여 복수의 악곡을 재생한다.The synchronous
도 4는 음악 편집 장치(1)가 CPU(2)에 의해 실행하는 음악 편집 프로그램의 처리 순서이다. 이 음악 편집 프로그램은 본 발명의 음악 편집 방법의 구체예이다.4 is a processing procedure of a music editing program executed by the
먼저, CPU(2)의 리믹스 처리부(20)는 리믹스 패턴용 기억부(7)로부터의 리믹스 패턴 파일(7a)를 리믹스 패턴 판독부(22)에 의해 판독하여 취득한다(단계 S1). 다음에, 악곡, 예컨대 첫 번째 악곡을 동기 재생 제어부(9)에 취득시킨다(단계 S2). 또한, 다음 곡이 있으면(단계 S3에서 YES), 동기 재생 제어부(9)의 마스터 비트 생성부(90)의 템포를 결정한다(단계 S4). 이것은 14O이라면 140으로 고정되어도 좋고, 사용자가 지정하여도 된다. 다음에, 연결 패턴(이것도 패턴 파일에 기술되어 있다)을 취득한다(단계 S5).First, the
이것으로 곡을 연결하는 방식의 패턴이 결정되었으므로, 악곡의 메타데이터를 취득한다(단계 S6). 악곡 A이면, 악곡 A의 메타데이터가 취득된다. 다음에, 이펙트 처리가 필요한지의 여부를 리믹스 패턴 파일로부터 판단하고(단계 S7), 필요하면(YES), 이펙트 처리부(100)에 의해 적합한 이펙트를 걸도록 이펙트 처리부(100)가 작동된다(단계 S8).Since the pattern of the method of connecting the songs is determined by this, the metadata of the music is obtained (step S6). If it is music A, the metadata of music A is acquired. Next, it is determined from the remix pattern file whether or not the effect processing is necessary (step S7), and if necessary (YES), the
다음에, 음량 페이드 처리(sound volume fading)가 필요한지의 여부를 리믹스 패턴 파일로부터 판단한다(단계 S9). 예컨대, 악곡 A와 악곡 B를 편집하여 중첩할 때에 음량을 올리거나 내리는 음량 페이드가 필요한지를 선택한다. 음량 페이드가 필요하면(YES), 페이드 파라미터를 설정한다(단계 S10). 음량을 자동으로 올리거나 내리는 것으로 가정하였지만, 음량의 파라미터를 설정해 둔다.Next, it is determined from the remix pattern file whether or not sound volume fading is required (step S9). For example, when music A and music B are edited and superimposed, it is selected whether a volume fade to raise or lower the volume is required. If volume fade is required (YES), a fade parameter is set (step S10). It is assumed to raise or lower the volume automatically, but set the volume parameter.
다음에, 동기 재생 제어부(9)의 마스터 비트 생성부(90)에 대하여, 악곡의 원래의 템포를 세팅한다(단계 S11). 악곡의 원래의 템포는 메타데이터에 제공되어 있다. 그리고, 동기 재생 제어부(9) 내의 비어 있는 음성 신호 생성부(free audio signal generating section)를 취득한다. 3채널의 구체예를 전술하였으나, 비어 있는 음성 신호 생성부를 취득하여, 재생하려는 악곡을 세트한다(단계 S13).Next, the
그리고, 각 악곡의 현재의 재생 위치를 취득하고나서(단계 S14), 다음의 악곡을 준비하는 포인트에 도달하였는지를 판단한다(단계 S15). 예컨대, SE가 크로스-페이드이면, 크로스 페이드가 그 소절의 몇 소절 앞에서 종료하고, SE가 컷-인이면, 컷-인은 바로 시작되므로, 1소절 전부터 준비하여도 충분하다. 물론, 동시 재생은 완전하게 동시에 재생된다. 그러한 포인트에 도달하였는지를 기초로 하여, 만약 악곡을 준비하는 포인트에 도달하지 않았으면, 단계 S14로 복귀하고, 악곡을 준비하는 포인트에 도달할 때까지 대기한다. 만약, 다음 악곡을 준비하는 포인트에 도달하였다면(YES), 단계 S2로 돌아간다.Then, after acquiring the current playback position of each piece of music (step S14), it is determined whether the point for preparing the next piece of music has been reached (step S15). For example, if SE is cross-fade, crossfade ends before a few measures of that measure, and if SE is cut-in, cut-in starts immediately, so it is sufficient to prepare from one measure before. Of course, simultaneous playback is played completely simultaneously. Based on whether such a point has been reached, if the point for preparing the music has not been reached, the process returns to step S14 and waits until the point for preparing the music is reached. If the point for preparing the next piece of music has been reached (YES), the process returns to step S2.
도 5는 시간축 상의 메타데이터(30)를 나타낸 도면이다. 메타데이터(30)는, 전술한 바와 같이, 악곡에 부가된 시간축 상의 보조 데이터이며, 템포뿐만 아니라 비트의 위치 정보, 소절의 서두 위치 정보, 및 인트로와 테마 등의 멜로디 정보가 기술되어 있다. 소절/비트(31)는 첫 번째 소절의 몇 번째 비트인지를 나타내고 있다. 「11」은 첫 번째 소절의 첫 번째 비트를 나타낸다. 「14」는 첫 번째 소절의 4번째 비트를 나타낸다. 마찬가지로, 「21」은 두 번째 소절의 첫 번째 비트를 나타낸다. 특히, 「1l」과 「21」은 각 소절의 선두의 비트를 나타낸다. 속성(32)은 그 위치에 무엇이 있는지를 나타내고 있다. 속성(32)은 소절의 서두, 보통의 비트, 멜로디, 테마 등의 위치를 나타낸다. 「018000O1」은 상기한 「11」과 「21」의 속성으로서 소절의 선두라는 것을 나타내고 있다. 샘플 위치는, 예컨대 악곡이 44.1 kHz로 샘플링되어 있으면, 1초 사이에 44100회 샘플링되지만, 그 위치가 샘플 단위로 기술되어 있게 된다. 도 5에 나타낸 바와 같은 메타데이터(30)는 텍스트 형식 또는 바이너리 형식으로 기술되어 있다.5 shows
도 6은 시간축 메타데이터의 구체예이다. 도 6은 음성 신호(40)와 비트 신호(41, 42)의 시간축의 메타데이터를 동시에 나타내고 있다. 음성 신호(40)는 좌측으로부터 우측으로 시간의 경과와 함께 변동되고 있고, 이 음성 신호에 비트가 올려져 있다. 도 6에서 비트 신호의 긴 선(41)이 소절의 선두 비트를 나타내고, 짧은 선(42)이 통상의 비트를 나타내고 있다. 소절의 선두 비트(41)와 그 이외의 비트(42)(4박자인 경우, 소절의 서두 뒤에서 4분 음표의 타이밍에서 3비트) 위치를 악곡의 샘플 위치에 대응시켜 유지하고 있다.6 is a specific example of time base metadata. 6 simultaneously shows metadata of the time axis of the
도 7 또한 시간축 메타데이터의 구체예를 나타낸 도면이다. 음성 신호(50)에, 비트 위치(55)뿐만 아니라 악곡의 인트로(51), A 멜로디(52, 53), B 멜로 디(54), 테마 등의 멜로디 구성을 나타낸 위치 정보를 포함시키는 것이 가능하다. 이 정보를 이용하여 대상 악곡의 소절 위치 또는 특정한 멜로디의 개시 위치를 알 수 있다.7 is a diagram showing a specific example of time base metadata. It is possible to include not only the
도 1 등에 구성이 나타내어져 있는 음악 편집 장치(1)에서는, 메타데이터가 악곡 메타데이터용 기억부(6)에 저장된다. 메타데이터의 저장 방법은, 도 8a, 도 8b 및 도 8c에 나타낸 바와 같이 해도 된다. 도 8a는 MP3와 같이 메타데이터(71)와 악곡 데이터(72)가 논리적으로 별개이고 물리적으로 동일한 미디어에 존재하는 예이다. 또한, 도 8b는 MPEG4와 같이 악곡 데이터(74)에 메타데이터(73)가 혼재하고 있는 예이다. 또한, 도 8c는 예컨대 네트워크를 통하여 악곡 데이터(76)에 대응하는 메타데이터(75)가 검색되는 예이다. 악곡 데이터와 메타데이터는 논리적으로도 물리적으로도 서로 별개의 것이다. 이 구조는, 후술하는 음악 편집 장치(80, 110)와 같이, 네트워크 통신부를 포함하고, 인터넷 등의 네트워크에 접속하는 형태로 할 때에 적용된다. 악곡 ID에 따라 네트워크 상의 사이트로부터 메타데이터를 다운로드할 수 있다.In the
도 9는 리믹스 패턴 파일의 구체예를 나타낸 도면이다. 악곡의 메타데이터는 악곡에 대하여 1대1의 것이지만, 리믹스 패턴은 사용자가 자유롭게 작성하는 것이 가능하고, 악곡과는 어떠한 의존 관계도 없도록 하는 것이 가능하다. 리믹스 패턴 파일은 악곡들을 연결하는 방식을 기술하는 파일이다. 리믹스의 패턴(60)에서의 곡 ID(파일)(61)의 ID_A∼ID_E는 곡명 A∼E와 동일하여도 되며, 이와 달리 절대적인 파일 이름이나 파일 경로가 될 수도 있다. 재생 부분(62)은 각각의 악곡에 대하여 어디를 재생하는지를 나타낸다. 곡 A에 대하여는 「테마」, 곡 B에 대하여는 「인트로」, 곡 C에 대하여는 「8번째 소절부터 20번째 소절까지」, 곡 D에 대하여는 곡 전체, 곡 E에 대하여는 「테마」라는 위치를 지정한다. 재생시 이펙트(63)는 각 곡의 각각의 부분에 어떤 이펙트를 가하는지를 지정한다. 연결 방식 패턴(44)은, 곡 A에 대하여 크로스-페이드이고, 곡 B와 연결할 때에 크로스-페이드로 연결한다는 것을 나타낸다. 또한, 곡 B로부터 곡 C는 컷-인이고, 곡 C로부터 곡 D는 크로스-페이드이며, 곡 D와 곡 E는 테마의 부분을 동시 재생으로 연결한다는 것을 나타낸다. 또한, 연결시 이펙트(65)는 연결 시에 이펙트로서 리버브(reverb), 로우 컷(low-cut) 또는 디스토션(distortion)을 가하는 것을 지정한다. 연결 SE(66)는 효과음을 지정한다.9 is a diagram illustrating a specific example of the remix pattern file. The metadata of the piece of music is one-to-one with respect to the piece of music, but the remix pattern can be freely created by the user, and it is possible to have no dependency relationship with the piece of music. The remix pattern file is a file that describes how to connect the pieces of music. The ID_A to ID_E of the song ID (file) 61 in the
도 9에 나타낸 패턴을 지시한 경우, 실제의 재생은 다음과 같이 행해진다: 「ID_A의 테마가 재생된다 → ID_A의 테마 마지막 부근에서 ID_B 인트로가 크로스-페이드된다 → ID_B의 인트로의 종료와 동시에 ID_C의 8번째 소절의 재생이 개시된다 → ID_C의 20소절의 수 개의 소절에서부터 ID_D가 크로스-페이드된다. 동시에 SE_A도 믹스된다 → ID_D의 테마가 재생되면, ID_E의 테마도 동시에 재생된다」When the pattern shown in Fig. 9 is instructed, the actual playback is performed as follows: "The theme of ID_A is played back → ID_B intro cross-fades near the end of ID_A theme → ID_C simultaneously with the end of intro of ID_B. The playback of the eighth measure of d is started → ID_D is cross-fade from several measures of the twenty measures of ID_C. At the same time, SE_A is also mixed. → When the theme of ID_D is played, the theme of ID_E is played at the same time. ”
이와 같이, 리믹스 패턴은 개념적으로 종래의 플레이 리스트에 대해 곡의 어디를 어떻게 연결하라는 지시를 추가한 것이라 할 수 있다.As such, the remix pattern may conceptually be an addition of an instruction to connect where and how of a song to a conventional playlist.
다음에, 도 10 내지 도 17을 참조하여 악곡을 연결하는 방법의 실례를 개략적으로 설명한다. 종래의 음악 재생에서는 후술하는 도 32와 같이 2개의 악곡 A와 악곡 B는 각각의 악곡이 갖는 원래의 템포로 재생되고, 곡과 곡의 사이에는 무음 부분으로 할 수 있는 것이 대부분이었다. 재생 장치가 구조적으로 무음 부분 없게 연결할 수 있는 것도 있지만, 악곡의 전후에 다소의 무음 부분이 있는 곡도 많고, 이들 곡은 곡의 전후에 곡의 일부로서 무음 부분을 포함하고 있으므로, 아무래도 곡 사이에 무음 부분이 존재하게 된다.Next, with reference to Figs. 10 to 17, an example of a method of connecting music pieces is schematically described. In the conventional music reproduction, as shown in FIG. 32 to be described later, two pieces of music A and B are reproduced at the original tempo of each piece of music, and most of them can be made into a silent portion between the pieces of music. Although the playback device may structurally connect without a silent portion, many songs have some silent portions before and after the music, and these songs include a silent portion as part of the song before and after the song, so there is no silence between songs. Part exists.
도 1에 구성을 나타낸 음악 편집 장치(1)에 의하면, 도 10과 같이, 악곡 A와 악곡 B가 함께 기준 비트에 동기하여 재생될 수 있다. 악곡 A와 악곡 B는 본래 상이한 템포의 것임에도 불구하고, 함께 동일한 템포로 재생되고 있다. 이 동일 템포로 되는 기준 비트의 템포(발진 주파수)는 사용자로부터의 설정 등에 의해 결정될 수 있다.According to the
도 10에 나타낸 바와 같이, 악곡 A 및 악곡 B는 각각 소절로 이루어지고 있다. 소절과 소절의 길이는 동일하다. 또한, 소절의 선두도 일치하고 있다. 또한, 효과음(SE)도 음악이며, 소절이 있다. 템포가 일치하고 있으므로, 소절의 길이가 모두 일치하고 있다. 주파수와 위상 모두 일치된다. 이와 같이 연결함으로써, 음악적으로 위화감이 없는 조화를 취할 수 있는 청취 방식이 가능하다.As shown in FIG. 10, the music A and the music B each consist of measures. The measure and measure are the same length. It also coincides with the head of the measure. Also, the effect sound SE is music, and there is a measure. Since the tempo is consistent, all measures have the same length. Both frequency and phase match. By connecting in this way, it is possible to have a listening method that can harmonize musically without discomfort.
또한, 도 10에서는, 악곡 A에서 악곡 B로의 과도부(transient part)에는, 예컨대 악곡 A와 악곡 B의 비트 및 소절의 선두 위치가 함께 동기하면서 크로스-페이드되어, 2개의 악곡이 동시에 발음된다. 또한, 전술한 바와 같이 SE의 음소재도 추가되고, 악곡 A로부터 악곡 B로의 과도부가 또한 음악적으로 장식된다. 이 SE가 갖는 템포 및 비트도 당연히 기준 비트에 동기하고 있다.In Fig. 10, in the transient part from the music A to the music B, for example, the beat A and the beat positions of the music B and the music B are cross-faded while synchronizing together, so that two pieces of music are pronounced at the same time. In addition, as mentioned above, the phone material of SE is also added, and the transition from music A to music B is also musically decorated. The tempo and beat of this SE are naturally synchronized with the reference bits.
그리고, 본 발명은 이 악곡 A, 악곡 B, SE 만의 구성으로 한정되는 것은 아 니다. 악곡 C 및 또 다른 SE가 추가되는 케이스도 당연 있을 수 있다. 그러나, 본 설명에서는 설명의 간략화를 위해, 이후 악곡 A, 악곡 B 및 SE의 구성을 사용하여 설명하는 것으로 한다.In addition, this invention is not limited to the structure of this music A, music B, and SE only. It may be natural that music C and another SE are added. However, in the present description, for the sake of simplicity, the following description will be made using the configurations of the music pieces A, B and SE.
도 11에는, 악곡 A, 악곡 B, 악곡 C를 연속하여 재생하는 예를 나타낸다. 악곡의 원래의 템포에 의하지 않고 사용자 또는 시스템이 결정한 템포에 모든 악곡의 템포를 맞추고, 그리고 이들 악곡의 비트 위치(다운 비트 위치)도 맞추어 재생함으로써, 곡을 위화감 없이 끊김없게 논스톱으로 연결하는 것이 가능하게 된다.11 shows an example in which music A, music B, and music C are continuously reproduced. By matching the tempo of all songs to the tempo determined by the user or the system, and playing back the beat positions (down beat positions) of these tunes, regardless of the original tempo of the songs, the songs can be connected non-stop seamlessly without discomfort. Done.
이것은 음악 편집 장치(1)가 악곡 A, 악곡 B 및 악곡 C를 전술한 바와 같이 비트 동기 재생하는 것에 의해 이루어진다. 상이한 템포의 악곡의 비트를 동기시켜 재생하기 위해서는, 각각의 악곡의 원래의 템포와 비트 위치를 알아야 한다. 또한, 재생시에는 템포와 비트 위치를 정렬하기 위해 악곡의 재생 속도를 변화시켜야 한다.This is done by the
원래의 템포와 비트 위치를 알아내기 위해, 음악 편집 장치(1)에서는 악곡과 쌍을 이루는 시간축 상의 메타데이터를 사용하고 있다. 재생시에는, 악곡의 원래의 템포와 현재의 마스터 비트 템포의 비율에 기초하여 재생 속도를 변화시킨 후에, 각각의 악곡의 소절의 서두 위치를 맞추어 재생을 개시한다.In order to find out the original tempo and beat position, the
상기한 바와 같이, 복수의 악곡의 템포와 비트 위치를 정확하게 취급함으로써, 리얼타임으로 재생 위치를 제어하여 동기 재생을 행한다. 여기서 설명하는 악곡을 끊김없이 연결하는 방법은 모두 이 비트 동기 재생이라는 방법을 사용하는 것이 전제로 되어 있다.As described above, by precisely handling the tempo and bit position of a plurality of pieces of music, the reproduction position is controlled in real time to perform synchronous reproduction. All of the methods for seamlessly connecting the pieces of music described here are based on the use of this method of beat synchronization.
도 12는, 악곡 A와 악곡 B를 비트를 정렬하여 중첩하면서, 크로스-페이드 처리에 의해 연결하는 예를 나타낸다. 현재의 악곡 A를 페이드아웃(음량을 서서히 작게 함)하면서 다음에 오는 악곡 B를 페이드인(음량을 서서히 크게 함)하고, 그 양쪽을 동시에 재생함으로써 양쪽의 곡이 끊김없이 바뀌는 효과가 얻어진다. 크로스-페이드는 종래부터 FM 라디오 방송 등으로 널리 이용되는 방법이지만, 본 발명의 포인트는 이들 악곡 A와 악곡 B의 템포와 비트 위치가 나란하게 되어 있기 때문에 위화감 없게 논스톱으로 악곡이 연결되는 것에 있다.Fig. 12 shows an example in which music A and music B are connected by cross-fade processing while the bits are aligned and overlapped. By fadeing out the current piece of music A (slowly decreasing the volume), fading in the next piece of music B (slowly increasing the volume), and simultaneously reproducing both of them, an effect of seamlessly changing both songs is obtained. Cross-fade is conventionally widely used in FM radio broadcasting and the like. However, the point of the present invention is that music pieces are connected non-stop without discomfort because the tempo and beat positions of these pieces A and B are parallel to each other.
음악 편집 장치(1)에서는 도 13에 개요를 나타낸 컷-인 처리도 행할 수 있다. 악곡 A, 악곡 B 및 악곡 C의 연결이 음악적으로 깨끗한 때에는, 크로스-페이드를 행하는 것보다 도 13과 같이 직접 연결하는 것이 바람직한 경우도 있다. 또한, 악곡의 비트가 잘린 곳에서 의도적으로 잘라, 다음 비트에서부터 다음 곡으로 전환하는 것도 고려된다.In the
또한, 음악 편집 장치(1)에서는, 전술한 바와 같이 효과음(SE)을 사용하여 악곡을 연결하고 있다. 즉, 악곡뿐만 아니라, 악곡 연결 부분이나 임의의 부분에 효과음(SE : Sound Effect)을 삽입할 수 있다. 도 14는 악곡 A, 악곡 B 및 악곡 C의 각각의 악곡 사이에 효과음을 삽입한 예이다. 물론 이 경우의 효과음도 마스터 비트 템포에 동기시키는 것이 가능하다. SE를 사이에 끼우거나 중첩함으로써, 곡조가 크게 상이한 악곡끼리를 연결하는 경우에 비해 자연스럽게 연결하는 것이 가능하게 된다.In addition, in the
또한, 음악 편집 장치(1)에서는 동시 재생을 행해도 된다. 상이한 악곡을 연결할뿐만 아니라, 도 15에 나타낸 바와 같이, 비트 동기를 행하여 동시에 재생을 계속한다. 템포와 비트 위치가 동기하고 있으므로, 마치 처음부터 1곡인 것으로 느낄 수도 있다.The
또한, 음악 편집 장치(1)는, 도 16에 나타낸 바와 같이, 1개의 악곡 A 중에 이펙트를 적용해도 된다. 이 경우, 음악 편집 장치(1)는 악곡 A의 일부분 또는 전체에 이펙트(음향 효과)를 적용하여 음질을 변화시킨다. 이러한 음향 효과는 단지 저음이나 고음을 강조하는 것뿐만 아니라 리버브, 딜레이, 디스토션, 맥시마이저(mzximizer) 등의 음색을 변화시키는 것까지를 포함한다.In addition, the
이펙트로서, 악곡 A에는 리버브가 가해지고, 악곡 B에는 로우 컷 필터가 가해지면서, 동시에 재생하거나 상기 다양한 연결 방법을 동시에 적용함으로써, 더욱 자연스럽고 매력적인 연결 방법을 실현할 수 있다.As an effect, reverb is applied to the piece of music A, and a low cut filter is applied to the piece of music B, and a more natural and attractive connection method can be realized by simultaneously playing back or applying the various connection methods simultaneously.
또한, 본 발명의 음악 편집 장치(1)에서는, 상기한 연결 방법을 적용하는 곳이 악곡 전체로 한정되지 않고, 도 17과 같이 각 악곡의 테마 부분에 적용하거나 인트로 부분에 적용하여도 상관없다. 악곡의 부분을 연결할 때에는, 예컨대 오직 테마만이 리믹스되도록 하는 방식이 가능하다.In the
이상 설명한 바와 같이, 음악 편집 장치(1)에 의하면, 리믹스 패턴을 기술한 리믹스 패턴 파일을 기초로 악곡의 리믹스를 논스톱으로 행할 수 있다. 이때 사용자가 지정한 템포로 마스터 비트 템포를 결정해도 되고, 메인이 되는 악곡의 템포에 전체를 맞추어도 된다. 또는, 가속도 센서 등을 사용하여, 사용자의 보행이나 조깅의 템포를 계측하여, 그 템포에 맞도록 마스터 비트 템포를 결정해도 된다.As described above, according to the
따라서, 음악 편집 장치(1)에 의하면, 사용자는 종래의 방식뿐만 아니라 다음의 새로운 방식으로 음악을 즐길 수 있다. 종래의 방식과는 달리, 이러한 새로운 방식은 음악을 수동적으로 청취하는 것에 의해서는 결코 얻을 수 없다. 이러한 새로운 방식은 사용자로 하여금 자기 자신을 음악에 능동적으로 참여하도록 하고, 자신의 라이프스타일에 맞는 음악 청취 방법을 창출하도록 하며, 자신의 현시욕구(exhibitionism)를 만족시키도록 한다.Therefore, according to the
즉, 악곡의 좋아하는 부분을 근사하게 연결하여 논스톱의 리믹스 음악으로서 들을 수 있다. 또한, 악곡의 연결 방법을 스스로 시행착오를 거쳐 선택하여 리믹스를 근사하게 만든다는 창조 욕구를 만족시킬 수 있다.In other words, it is possible to listen to the favorite parts of the music closely as non-stop remix music. In addition, it is possible to satisfy the creative desire to make the remix approximated by selecting the method of connecting music pieces through trial and error on their own.
도 18은, 도 10에 나타낸 악곡 A와 악곡 B가 크로스-페이드되고 SE로 협지되도록, 악곡 A와 악곡 B를 편집 및 재생할 수 있는 동기 재생부(8)의 구성을 나타낸다. 동기 재생 제어부(9)는, 도 2에 나타낸 바와 같이, 3계통(트랙)의 음성 신호 생성부와 음성 믹싱부(10)를 구비하고 있다.FIG. 18 shows a configuration of the
각각의 트랙은 각각, 악곡 A, 악곡 B, SE의 재생을 담당하고 있다. 악곡의 구성수에 의해 이 트랙 수는 변동된다. 각 트랙에는, 각각, 디코더(91a, 91b), 타임 스트레치부(92a, 92b, 92c), 피치 시프트부(94a, 94b, 94c)의 기능이 탑재되어 있다. 디코더는 MP3 또는 ATRAC 등의 압축 음성을 디코드하여, PCM 데이터로서 출력한다. 여기서, SE는 길이가 짧고, 데이터 사이즈도 작으므로, 반드시 압축할 필요는 없다. 그러므로, 이 SE 트랙의 디코더가 생략되고, PCM out(91d)를 사용하고 있다.Each track is responsible for reproducing music A, music B, and SE, respectively. The number of tracks varies depending on the number of music compositions. Each track is equipped with the functions of the
타임 스트레치부는 음정을 일정하게 유지한 채로 재생 속도를 변환한다. 타임 스트레치부는 상이한 템포를 갖는 악곡 소재를 기준 비트의 템포에 맞추는 데 이용된다. 피치 시프트부는 재생 속도를 일정하게 유지한 채로 음정을 변경시킨다. 피치 시프트부는 상이한 키나 음정을 갖는 악곡 소재를 음악적으로 조화시키기 위해 이용되지만, 반드시 필요한 기능은 아니고 부가적인 기능이다.The time stretch section changes the playback speed while keeping the pitch constant. The time stretch section is used to match the music material having different tempo to the tempo of the reference beat. The pitch shift unit changes the pitch while keeping the reproduction speed constant. The pitch shift unit is used for musically matching music materials having different keys or pitches, but is not necessarily a function but an additional function.
도 19는 본 발명의 주요부인 동기 재생 제어부(9)와 리믹스 처리부(20)의 기능을 설명하기 위한 도면이다. 리믹스 처리부(20)는 재생할 악곡을 선택하고, 동기 재생 제어부(9)에 재생을 지시한다. 이 경우, 악곡 전체의 재생을 지시하는 경우도 있고, 악곡의 일부분만을 재생하도록 지시하는 경우도 있다. 도 10의 예에서는, 악곡 A, 악곡 B, SE의 선택, 및 그 재생 타이밍을 지시한다.FIG. 19 is a diagram for explaining the functions of the synchronous
동기 재생 제어부(9)는 리믹스 처리부(20)에 의해 지시된 악곡 소재를 기준 비트에 동기하여 재생한다. 동기 재생 제어부(9)는 음악 신호를 자신이 생성한 클록 신호에 동기하여 재생한다. 클록 신호는 동기 재생 제어부(9)에서 생성된 비트에 상당하는 클록이다. 동기 재생 제어부(9)는 이 클록의 상승 에지의 인터럽트를 리믹스 처리부(20)에 제공한다. 리믹스 제어부(20)는 인터럽트를 트리거로서 카운트하여, 서두로부터 몇 번째 소절의 몇 번째 비트인지를 알 수 있다. 리믹스 처리부(20)는, 이 클록을 인터럽트로 연속적으로 카운트업하므로, 악곡 A 및 악곡 B를 제공하는 타이밍을 알 수 있으므로, 그 타이밍에서 악곡을 재생하도록 동기 재생 제어부(9)에 지시를 보낸다.The synchronous
종래의 음악 편집 장치(1)와 달리, 동기 재생 제어부(9)는 단순한 음성 신호 의 재생부가 아니다. 즉, 동기 재생 제어부(9)는 비트에 대응하는 클록도 생성하고 있으며, 그 클록을 리믹스 처리부(20)에 제공하여 리믹스 처리부(20)를 인터럽트하고 있다.Unlike the conventional
이와 같이, 기준 비트는 소절의 선두를 나타내는 트리거 신호와, 비트를 나타내는 비트 신호로 구성된다. 1소절 당의 비트수는 박자(4/4 박자 등)에 좌우된다. 기준 비트는 리믹스 처리부(20)에 인터럽트 신호로서 공급되고, 리믹스 처리부(20)는 이 클록을 카운트함으로써 현재의 재생 위치가 몇 번째 소절이고 몇 번째 비트인지를 알 수 있다. 또한, 악곡 소재를 투입하는 타이밍 신호로서도 이용하는 것이 가능하다.In this way, the reference bit is composed of a trigger signal indicating the head of the measure and a bit signal indicating the bit. The number of beats per measure depends on the time signature (4/4 time, etc.). The reference bit is supplied to the
도 20은 비트 동기 재생의 구조를 나타낸다. 본 예에서는 음악 비트, 특히 소절의 선두 비트에 동기하는 예를 나타낸다. 그리고, 이것은 소절의 선두에 한정되지 않고, 당연히 통상의 비트 또는 16비트의 미세한 비트에 관해서도 마찬가지로 동기 재생 가능하다.20 shows a structure of bit synchronous reproduction. This example shows an example of synchronizing with the music beat, especially the first beat of the measure. This is not limited to the head of the measure, and of course, synchronous reproduction can be performed similarly with respect to normal bits or fine bits of 16 bits.
리믹스 처리부(20)는, 소절의 선두 비트의 타이밍을, 인터럽트 신호가 되는 기준 비트로서 얻고 있다. 리믹스 처리부(20)는 다음에 재생할 악곡 소재를 미리 선택하여 두고, 재생을 개시하고자 하는 다음 소절의 선두 비트의 바로 전의 타이밍에서 악곡 소재를 동기 재생 제어부(9)에 제공한다.The
그 후, 동기 재생 제어부(9)는 다음 소절의 선두 비트 타이밍에서 그 악곡 소재의 재생을 개시한다. 모든 악곡 소재는 마찬가지로 이 기준 비트에 동기하여 재생이 개시되므로, 예컨대, 악곡 A, 악곡 B, SE가 모두 동기하여 재생될 수 있다.Thereafter, the synchronous
구체적으로, 도 20에서는 악곡 A, 악곡 B, SE가 크로스-페이드되고 있으며, 도 20은 연결 부분의 크로스-페이드되는 부분의 타이밍 차트를 나타내고 있다. 악곡 A가 서두로부터 재생되고, 그리고나서 크로스-페이드되어 재생될 때에는, 정확히 소절의 서두에서 악곡 B가 재생될 필요가 있다. SE도 동일하게 선두에서 재생될 필요가 있지만, 실제로는 셋업 타임과 같은 준비 시간이 필요하므로, 지금 당장 필요하여도 액세스 시간이나 다른 요인으로 인해 신속하게 재생할 수는 없다. 그러므로, 어느 정도 준비 상태를 필요로 한다. 즉, 공백 부분을 필요로 한다. 리믹스 처리부(20)가, 1개 앞의 소절의 타이밍에서, 다음 소절의 서두에서 재생을 개시하도록 명령을 제공하면, 동기 재생 제어부(9)가 타이밍을 가늠하여 소절의 서두에서 재생을 개시한다.Specifically, in Fig. 20, music A, music B, and SE are cross-faded, and Fig. 20 shows a timing chart of the cross-fade portion of the connecting portion. When music A is reproduced from the beginning, and then cross-fade to be reproduced, it is necessary to reproduce music B at exactly the beginning of the measure. The SE also needs to be played from the same head, but actually requires preparation time such as setup time, so even if it is needed right now, it cannot be played quickly due to access time or other factors. Therefore, some preparation is required. That is, it requires a blank portion. When the
즉, 리믹스 처리부(20)는 개략적인 타이밍(rough timing)에서 프로세스를 관리하고 있다. 그에 대하여, 동기 재생 제어부(9)는 매우 미세한 타이밍에서 명령에 대응하는 처리를 행하는 형태로 되어 있다.That is, the
이와 같이, 음악 편집 장치(1)에서, 동기 재생 제어부(9)는 스스로 클록을 생성하고 있고, 그리고나서 그 클록에 정확하게 동기된 타이밍에서 악곡 소재를 재생한다. 리믹스 처리부(20)는 전체를 제어하는 시스템 제어부와 같은 기능을 한다. 리믹스 처리부(20)는 시스템을 개략적인 타이밍으로 제어하고 있다. 즉, 리믹스 처리부(20)가 개략적인 타이밍에서 동기 재생 제어부(9)에 지시를 제공하지만, 동기 재생 제어부(9)는 지시에 대응하는 처리를 정확하게 수행한다.In this manner, in the
도 21은 상세한 비트 동기 재생 타이밍 차트를 나타낸다. 리믹스 처리 부(20)는 전체 3트랙에 제공될 악곡 소재를 준비한다. 또한, 리믹스 처리부(20)는, 기준 비트를 인터럽트로서 수신하기 때문에, 각 악곡 소재를 각 트랙에 제공하는 타이밍을 알 수가 있다. 제공된 악곡 소재(SC1, SC2)는 일단 동기 재생 제어부(9)의 (a) 웨이팅(Waiting) 영역 내에 유지된다. 그리고, 다음 소절의 선두 비트의 타이밍에 의해, (b) 현재 아이템(Current Item) 영역에 로드되어 재생이 개시된다. 이 예에서는, SC1은 (c) 소절 클록(Bar clock)의 선두 비트의 타이밍에 의해 페이드아웃을 개시하고, 동시에 SC2가 페이드인에 의해 재생을 개시한다. (d) 제공 타이밍에서 나타낸 바와 같이, SC1은 페이드아웃 후에 재생을 정지하지만, SC2는 추가로 다음 소절의 선두 비트에서 루프 재생을 개시한다. 이 페이드인, 페이드아웃, 루프 재생 ON/OFF, 루프 재생의 반복 회수 등은, 리믹스 처리부(20)에 의해 지시되고, 동기 재생 제어부(9)에 의해 실행된다. 제공된 악곡 소재는, 리믹스 처리부(20)로부터의 (e) 제거 지시에 의해, 다음의 소절의 선두 비트에서 재생 정지하는 것도 가능하다.21 shows a detailed bit synchronization reproduction timing chart. The
이들 리믹스 처리부(20)로부터의 지시는 모두 기준 비트에 동기하여 동기 재생 제어부(9)에 의해 실행된다. 기준 비트의 동기 모드로서, 본 예에서는 소절의 선두 비트를 예로 들었지만, 이러한 지시는 규칙적인 비트 또는 16-비트 리듬의 비트와 같은 미세한 비트에 동기될 수도 있다. 또한, 동기 모드가 OFF인 경우에는, 리믹스 처리부(20)로부터의 지시에 의해 즉시 동기 재생 제어부(9)가 재생을 개시한다. 이들 동기 모드의 지시는 리믹스 처리부(20)가 동기 재생 제어부(9)에 대하여 행한다.All of the instructions from the
도 22는 특정 악곡의 템포의 변동예를 나타낸다. 가로축이 비트를 나타내고, 세로축이 순간 BPM을 나타낸다. 이 예는 본 발명이 해결해야 할 과제를 포함하고 있다. 실제의 음악의 템포라는 것은 연주자의 연주 능력이나 연주 의도에 의해 심하게 변동된다. 이 예에서는 평균 BPM이 약 96이지만, 실제로는 한 곡을 통해 10 BPM 정도의 변동폭으로 변동된다. 이 변동폭 또는 변동 패턴은 각 악곡에 의해 천차만별이며, 한 마디로 정량화 및 정성화할 수 있는 것이 아니다.22 shows an example of variation in the tempo of a particular piece of music. The horizontal axis represents bits and the vertical axis represents instantaneous BPM. This example includes the problem to be solved by the present invention. The actual tempo of music varies greatly depending on the player's playing ability and performance intention. In this example, the average BPM is about 96, but in practice it fluctuates by about 10 BPM in one song. This fluctuation range or fluctuation pattern varies according to each piece of music and cannot be quantified and quantified in one word.
도 21의 예와 같이 각 악곡 소재의 재생 개시 타이밍을 정확하게 제어하는 것은 가능하여도, 실제의 음악의 비트가 항상 변동되기 때문에, 재생이 지속되면 기준 비트로부터 서서히 어긋나게 된다. 이러한 어긋남은 재생이 개시된 다음의 수 초 내지 수십 초 후에는 수 십 m/sec의 어긋남에 이르게 되는 경우가 많고, 그 결과, 악곡 A, 악곡 B, SE 사이의 리듬의 어긋남은 청취자인 인간이 지각할 수 있는 레벨까지 도달하게 된다. 이 음악적으로 부자연스러운 리듬의 어긋남을 어떠한 방식으로든 보정하는 것이 필요하다.Although it is possible to accurately control the reproduction start timing of each piece of music as in the example of Fig. 21, since the beat of the actual music is always changed, the reproduction gradually shifts from the reference bit. This deviation often leads to a deviation of several tens of m / sec after a few seconds to several tens of seconds after playback is started. As a result, the rhythm of the rhythm between the music A, the music B, and the SE is perceived by the human listener. You will reach the level you can. It is necessary to compensate in some way for this musically unnatural rhythm shift.
도 23의 (A), (B) 및 (C)는 이 문제를 해결하기 위한 방법의 개념을 나타낸다. 먼저, 실제 악곡의 템포 또는 비트 간격은 항상 변동하고 있기 때문에, 이들 비트의 타임 스탬프를 기록한 타임 라인 메타데이터를 미리 작성한다.23 (A), (B) and (C) show the concept of a method for solving this problem. First, since the tempo or bit interval of the actual music is constantly changing, timeline metadata recording the time stamps of these bits is created in advance.
시간 파형(도 23의 (A))을 스펙트럼 분석(도 23의 (B))하여, 피크를 취함으로써 비트(도 23의 (C))를 추출한다. 이것이 4분 음표에 상당한다. 그 4분 음표의 위치를 타임 스탬프로서 취하여, 그 비트의 위치를 기록함으로써 타임 라인 메타데이터(단순히 메타데이터 라고도 함)를 작성한다. 실제로는 라이브의 음악 데 이터에 포함되는 변동 비트도 기록하여 둔다. 이것도 포함하여 메타데이터로 한다. 즉, 시간 파형에 비트의 위치를 포함한 것을 메타데이터라 한다.The time waveform (FIG. 23A) is subjected to spectral analysis (FIG. 23B) to take a peak to extract the bit (FIG. 23C). This corresponds to quarter notes. The position of the quarter note is taken as a time stamp, and timeline metadata (also simply referred to as metadata) is created by recording the position of the beat. In practice, it also records the fluctuating beats contained in live music data. This is also included as metadata. In other words, metadata including a bit position in a time waveform is called metadata.
도 24에는 타임 라인 메타데이터의 기술예를 나타낸다. 타임 라인 메타데이터에는 그 악곡의 PCM 파형 파일에 1대1로 대응하는 비트 위치가 기록되어 있다. 소절의 선두 비트 및 각 비트의 위치에 상당하는 음악 파형 위의 타임 스탬프가, 예컨대 타임 코드, 예컨대, 선두로부터의 몇 번째 샘플이라는 단위로 기록되어 있다. 이 데이터 사이즈는 단순한 타임 스탬프를 기록한 것이므로, 원래의 PCM 데이터의 수 천 내지 수만 분의 일의 사이즈로 되어 매우 작다. 구체적으로, 4/4 박자일 때, 1곡 중에 첫 번째부터 39번째의 비트의 위치는 3323815라는 타임 스탬프가 있다. 이 타임 스탬프와 음성 신호에 기초하여, 동기 재생 제어부(9)는 이 클록을 생성한다.24 shows a description example of the timeline metadata. In the timeline metadata, bit positions corresponding one-to-one are recorded in the PCM waveform file of the piece of music. The time stamp on the head waveform of the measure and the music waveform corresponding to the position of each beat is recorded in units of time code, for example, a few samples from the beginning. Since the data size is a simple time stamp, the size of the original PCM data is several thousand to tens of thousands, which is very small. Specifically, when the time is 4/4, there is a time stamp of 3323815 for the position of the first to 39th beats in one song. Based on the time stamp and the audio signal, the synchronous
도 25에는, 본 과제를 해결하기 위한, 동기 신호 생성부(210)에 대한 해결 방안으로서 항상 변동하는 음악 비트에 동기하여 재생하는 시스템의 구성도를 나타낸다. 동기 신호 생성부(210)(마스터 비트 생성부(90), 생체리듬(biorhythm) 취득부(200), 악곡 리듬 취득부(201))는 기준 비트로 되는 소절 싱크 신호와 비트 싱크 신호를 생성하여, 동기 재생부(8)의 동기 재생 제어부(9)에 입력한다. 동기 재생 제어부(9) 내에서는, 악곡 리듬 취득부(206)가 현재 재생 중인 악곡의 타임 라인 메타데이터로부터 악곡의 재생에 동기하여 자신의 악곡의 비트에 상당하는 비트 싱크 신호를 생성한다. 이 타임 라인 메타데이터로부터 생성된 비트 싱크 신호는 위상 비교기 및 적분 회로(204)에 의해 기준 비트와 위상 비교되어, 위상 오차 신호 로서 출력된다. 위상 오차 신호는 위상 비교기 및 적분 회로(204) 내의 적분 회로에 의해 적분되고, 템포 보정량으로서, 타임 스트레치부(92c)에 입력된다. 이 템포 보정량은 타임 스트레치부(92c)로 하여금 시스템의 위상 오차를 최소로 되도록 하고, 시스템의 부귀환을 형성한다. 이것은 일반적인 PLL 회로에 상당한다. 이 PLL 회로는 각각의 트랙에 대하여 형성되며, 각 트랙의 재생 악곡의 음악 비트가 기준 비트에 위상 고정(phase lock)되도록 항상 피드백 제어한다. 이와 같이 함으로써, 모든 트랙의 비트 위상이 일치되어, 장시간 재생하여도 템포 및 비트 위상이 서로 어긋나지 않게 된다.FIG. 25 is a configuration diagram of a system for reproducing in synchronism with a constantly changing music beat as a solution to the
악곡 A, 악곡 B, SE의 3종류의 음악을 동시에 재생하는 것으로 가정하면, 그 주파수와 위상을 고정(lock)하기 위하여, 먼저 마스터 클록을 준비한다. 마스터 클록은 마스터 비트 생성부(90)에 의해 생성된다. 마스터 비트 생성부(90)는 동기 신호 생성부(210) 내부에 있다. 마스터 비트 생성부(90)는 단순한 발진 회로이며, 동기 재생부(8)의 동기 재생 제어부(9)는 그 마스터 클록에 동기하여 음악의 비트를 추종한다. 마스터 비트는 예컨대 120BPM이며, 이것에 추종하기 위해, 3종류의 재생부는, 자신의 위상이 클록의 위상에 위상 동기하고, 재생 템포가 오차가 누적되지 않도록, 피드백 제어를 행한다. 악곡 리듬 취득부(206)가 타임 라인 메타데이터로부터 비트 싱크 신호를 생성한다. 생성된 비트와 마스터 클록의 비트의 위상과 주파수는 위상 비교기 및 적분 회로(204)에 의해 비교된다. 그 어긋남이 누적되지 않도록 부귀환이 수행된다. 그리고, 타임 스트레치의 템포를 미세하게 조정하여, 템포가 마스타 클록보다 느리게 될 때에는 템포를 빠르게 하고, 템포가 마 스터 클록보다 빠르게 되면 템포를 늦춘다. 즉, 음악의 재생이 마스터 클록에 동기하여 이루어지게 된다.Assuming that three kinds of music of music A, music B, and SE are simultaneously reproduced, a master clock is prepared first to lock the frequency and phase. The master clock is generated by the
도 26의 (A), (B), (C) 및 (D)는, 타임 라인 메타데이터를 이용한 동기 방법을 설명하기 위하여, 실제의 PLL 동작의 출력 파형을 나타낸다. 기준 비트의 비트 싱크 신호(도 26의 (A))와 타임 라인 메타데이터로부터 생성된 비트 싱크 신호(도 26의 (B))의 위상 비교를 위상 비교기가 행한다. 위상 비교기의 출력(도 26의 (C))으로서, 위상이 늦어지는 때에는 플러스의 출력 펄스열이 얻어지고, 위상이 앞서는 때에는 마이너스의 출력 펄스열이 얻어진다. 이 출력 펄스열은 적분 회로에 의해 적분되고, DC 값의 템포 보정 입력값(도 26의 (D))으로 변환된다. 이 템포 보정 입력값은 타임 스트레치부에 입력된다. 타임 스트레치부는, 템포 보정 입력값이 플러스일 때에는 템포를 증가시키고, 템포 보정 입력값이 마이너스일 때에는 템포를 감소시키도록, 재생 속도 변환을 행한다. 이로써, 모든 악곡의 비트가 기준 비트에 위상 고정되도록 부귀환 제어가 행해진다.26 (A), (B), (C), and (D) show output waveforms of an actual PLL operation in order to explain a synchronization method using timeline metadata. The phase comparator performs a phase comparison between the bit sync signal of the reference bit (FIG. 26A) and the bit sync signal generated from the timeline metadata (FIG. 26B). As the output of the phase comparator (FIG. 26C), a positive output pulse train is obtained when the phase is slow, and a negative output pulse train is obtained when the phase is advanced. This output pulse train is integrated by an integrating circuit, and converted into a tempo correction input value (Fig. 26 (D)) of the DC value. This tempo correction input value is input to the time stretch part. The time stretch unit performs playback speed conversion so as to increase the tempo when the tempo correction input value is positive and to decrease the tempo when the tempo correction input value is negative. In this way, negative feedback control is performed so that the bits of all music pieces are phase-locked to the reference bits.
추가로 설명하면, 타임 라인 메타데이터를 사용하여, 자신의 음악의 비트에 대응하는 비트 싱크 신호를 생성하고, 그 비트 싱크 신호를 마스터 클록을 비교하여, 현재 음악의 위상이 마스터 클록의 위상과 어긋나지 않도록 피드백한다. 이로써, 위상의 어긋남이 없이 오랜 시간 동안 재생될 수 있다.Further described, timeline metadata is used to generate a beat sync signal corresponding to the beat of the music of its own, and compare the beat sync signal with the master clock so that the current music phase does not deviate from the phase of the master clock. Give feedback. In this way, it can be reproduced for a long time without a phase shift.
따라서, 음악 편집 장치(1)에 의하면, 상이한 템포와 상이한 리듬을 갖는 악곡들을 리믹스 재생하는 경우, 원래의 음악 비트에 변동이 있어도, 서로 일정한 템포와 일정한 리듬으로 되도록 리얼타임으로 또한 자동으로 비트 동기 재생할 수 있 다.Therefore, according to the
도 27은 본 발명의 실시예가 적용되는 다른 음악 편집 장치(80)의 구성을 나타낸다. 도 28은 음악 편집 장치(80)의 기능 블록도이다. 이 음악 편집 장치(80)는 네트워크 통신부(81)를 포함하여, 인터넷(82)에 접속할 수 있다.27 shows a configuration of another
음악 편집 장치(80)가 네트워크 통신부(81)를 구비하고 있으므로, 리믹스 패턴 파일을 인터넷(82) 등의 네트워크로 교환 및 공유함으로써 어느 사용자가 작성한 리믹스를 제3자가 다운로드하여 즐길 수 있다. 또한, 개인의 사용자에게 한정되지 않고, 컨텐츠 서비스측이 제공한 리믹스 패턴을 사용해도 된다.Since the
이 음악 편집 장치(80)에 의하면, 악곡의 연결 방법을 인터넷 등에 공개하여, 그것을 다른 사람과 공유하고, 복수의 사람에 의해 리믹스를 생성하여 서로 평가하는, 새로운 음악을 축으로 하는 커뮤니케이션이 가능하게 된다.According to the
도 29 및 도 30은 또 다른 음악 편집 장치(110)의 하드웨어 구성 및 기능 블록도를 나타낸다. 이 음악 편집 장치(110)는 A/D 컨버터(111)를 통하여 센서(112)로부터 센서값을 취득하는 구성이며, 기능적으로 센서값 취득부를 포함한다.29 and 30 show a hardware configuration and a functional block diagram of another
센서값 취득부(113)는, 예컨대, "재생 양태 제어 장치 및 재생 양태 제어 방법(일본 공개 특허 2005-156641)"의 발명에서와 같이, 가속도 센서를 이용하여 보행 템포를 검출하고, 그 보행 템포에 맞추어 악곡의 템포를 변동시키는 기술을 적용하고 있다. 이 예를 응용하면, 보행 템포에 맞추어 마스터 비트 생성부의 템포를 변경하고, 모든 악곡을 보행 또는 조깅의 템포에 맞추어 리믹스 재생하는 것이 가능하게 된다. 또한, "오디오 신호의 재생기 및 재생 방법(일본 특허 출원 번호 2005-363094)"에서와 같이 보행 또는 조깅의 템포에 맞추어 악곡을 선택하는 발명을 적용해도 된다.The sensor
이들 기술을 적용하기 위해서는, 센서가 필수적이며, 그 센서와 이들 발명의 알고리즘을 본 시스템에 적용함으로써, 사용자의 상태에 맞추어 악곡이 선택되고, 또한 이들이 리믹스되어 논스톱으로 재생할 수 있다.In order to apply these techniques, a sensor is essential, and by applying the sensor and the algorithm of these inventions to this system, musics are selected according to the user's state, and they can be remixed and reproduced non-stop.
도 31a 및 도 31b는 센서 우선 모드를 갖는 음악 편집 장치(110)의 처리 단계를 나타내는 흐름도이다. 이 처리 단계는 리믹스 패턴 우선 모드 이외에 센서 우선 모드를 가지므로, 예컨대 사용자의 선택에 따라 처리가 상이하게 된다. 센서 우선 모드에서는, 보행 패턴인지 또는 조깅 패턴인지를 센서가 검출하고, 그 패턴에 따라 비트를 변화시킨다.31A and 31B are flowcharts showing processing steps of the
먼저, 음악 편집 장치(110)의 모드가 센서 우선 모드인지 아니면 패턴 우선 모드인지를 결정한다(단계 S311). 이 경우, 센서 우선 모드는 사용자가 보행하고 있는지 아니면 조깅하고 있는지에 따라 선곡하는 기술이며, 곡의 순번 및 선곡 그 자체가 센서에 의해 결정되므로, 패턴에 따라 결정되는 것은 가능하지 않을 것이다. 이러한 과정은 동적으로 이루어지는 것이라 할 수 있다. 즉, 음악 편집 장치(110)는, 미리 픽스되어 있는 패턴 파일을 읽는 것이 아니라, 센서로부터의 값에 의해 패턴 파일을 동적으로 생성한다.First, it is determined whether the mode of the
단계 S311에서 센서 우선 모드가 아니라 패턴 우선 모드가 선택된 때에는, 전술한 도 4의 처리 단계와 마찬가지로 된다.When the pattern priority mode is selected instead of the sensor priority mode in step S311, the process is the same as the above-described processing step of FIG.
단계 S311 또는 단계 S312에서 센서 우선 모드가 선택된 경우에 대하여 설명 한다. 이 경우에는, 조깅에 맞추어 악곡이 자동으로 선택되고, 선택된 악곡이 거기에 맞추어 자동으로 연결된다.A case where the sensor priority mode is selected in step S311 or step S312 will be described. In this case, a piece of music is automatically selected in accordance with jogging, and the selected piece of music is automatically connected to it.
서브 루틴으로 되어 있지만, 센서의 입력으로부터 악곡과 템포를 결정한다(단계 S313). 단계 S314에 의해 다음 곡이 있는 것으로 판정되면, 단계 S315에 의해 마스터 비트 템포를 설정한다. 이 경우, 보행의 템포로부터 검출되어 설정된 템포로 된다. 이 경우에는, 곡의 연결이 미리 결정된 것이라고는 할 수는 없기 때문에, 자동으로 결정한다(단계 S316). 예컨대, 조깅 모드라면, 악곡 전부를 크로스-페이드로 간편하게 연결할 수도 있고, 다음 곡의 메타데이타가 그 곡이 페이드인되는 것으로 지정하고 있는 때에는, 그대로 중첩되는 경우도 있다. 단계 S317이후의 처리에 대하여는 도 4의 단계 S6 내지 S15와 동일하므로, 설명을 생략한다.Although it is a subroutine, music and tempo are determined from the input of the sensor (step S313). If it is determined in step S314 that there is a next song, a master bit tempo is set in step S315. In this case, the tempo detected by the walking tempo is set. In this case, since the connection of the songs cannot be determined as predetermined, the determination is made automatically (step S316). For example, in the jogging mode, all of the pieces of music can be easily connected by cross-fade. When metadata of the next piece of music designates that the piece of music fades in, it may overlap as it is. The processing after step S317 is the same as that of steps S6 to S15 in Fig. 4, and thus description thereof is omitted.
이와 같이 음악 편집 장치(11O)에 의하면, 조깅의 템포에 맞춰 악곡을 선택하고, 또한 이들을 논스톱으로 연결함으로써 조깅의 텐션 및 템포를 무너뜨리지 않고 쾌적하게 조깅을 즐기는 것이 가능하다. 또한, 조깅에 한정되지 않고, 센서에 따라서는 다른 리드미컬한 운동(댄스 등) 또는 심장 박동에 맞춘 리믹스 등이 실현될 수 있다.Thus, according to the
센서로부터의 입력을 사용하여, 곡을 선택하고, 또한 그 템포도 조깅의 템포에 맞추어 리믹스한다. 그러므로, 사용자는 자신이 선호하는 곡을 자신의 템포에 맞추어 즐길 수 있다.Using the input from the sensor, the song is selected and the tempo is also remixed to match the tempo of the jog. Therefore, the user can enjoy his favorite song at his own tempo.
또한, 타이머 리믹스 재생을 행할 수 있다. 예컨대, 마음에 든 앨범의 곡 또는 자신이 만든 플레이 리스트를 통근 시간의 30분 사이에 듣고 싶은 요구가 있 다. 종래에는, 앨범이 60분인 경우, 매회 30분 재생한 곳에서 곡의 재생을 도중에 정지하는 수밖에 없었지만, 본 발명의 시스템을 이용함으로써, 지정한 악곡집이 30분에 알맞게 되도록, 템포 및 곡의 사용할 부분을 선택하여 리믹스하는 것이 가능하게 된다.In addition, timer remix playback can be performed. For example, you might want to listen to a favorite album or playlist you created within 30 minutes of commuting. Conventionally, when the album is 60 minutes, the only way to stop the playback of the song at the place where it was played 30 minutes each time, but by using the system of the present invention, the portion of the tempo and song to be used so that the specified music collection is suitable for 30 minutes It is possible to select and remix.
조깅과 조합시키는 것도 가능하다. 30분 동안만 달리고 싶을 때에는, 조깅 템포에 대응하는 30분 동안의 곡의 리믹스가 생성될 수 있다.It can also be combined with jogging. If you only want to run for 30 minutes, a remix of the song for 30 minutes corresponding to the jogging tempo can be created.
테마만을 통근시의 30분에 맞도록 리믹스하고, 목적지에 도착했을 때에 정확히 리믹스가 끝나도록 할 수 있다. 또한, 이와 동시에, 도착 시각 부근에서는, 템포를 점점 늦게 하거나 특정의 SE를 중첩되게 하여, 이제 도착한다는 분위기를 연출할 수도 있다.Only themes can be remixed to match 30 minutes of commuting and ensure that the remix ends correctly when you arrive at your destination. At the same time, in the vicinity of the arrival time, the tempo may be delayed or a specific SE may be superimposed to create an atmosphere of arrival.
이상에서 설명한 바와 같이, 음악 편집 장치(80, 110)에 의하면, 악곡의 연결 방법을 인터넷 등에 공개하여, 그것을 다른 사람과 공유하거나, 복수의 사람이 리믹스를 생성하여 서로 평가하는, 새로운 음악을 축으로 하는 커뮤니케이션이 가능하게 된다. 또한, 센서를 이용하여, 더욱 자신의 상황 및 상태에 맞는 음악을 들을 수 있다.As described above, according to the
이러한 특징은, 지금까지의 전문적인 크리에이터 및 뮤지션이 만든 작품을 그대로 즐기는 것을 당연한 것으로 여겼던 세계에 파문을 일으키고, 이들 작품을 자신의 표현을 위한 소재로서 재이용하고 재구성하여 즐긴다는 새로운 세계를 사용자가 체험할 수 있게 한다.This feature creates a ripple in the world where it was taken for granted to enjoy the works created by professional creators and musicians so far, and users experience the new world of reuse and reconstruction as a material for their expression. To do it.
이로써, 음악에서 즐거움을 발견하는 사용자가 증가하면, 음악 업계 전체가 활성화된다. 또한, 음악 업계측에서 보아도, 사용자 측에서 새롭게 재구성하는 것을 전제로 하는 악곡 작품과 그것을 창출하는 새로운 크리에이터가 등장할 가능성이 있다. 업계와 사용자에 의한 새로운 음악 문화 창조의 가능성이 있다.As a result, when the number of users who find pleasure in music increases, the entire music industry is activated. Moreover, even from the music industry side, there is a possibility that a piece of music on the premise of a new reconstruction on the user side and a new creator who creates it will appear. There is the possibility of creating a new music culture by industry and users.
마지막으로, 본 발명의 음악 편집 장치의 이용 가능한 특징에 대하여 기술한다. 먼저, 본 발명의 음악 편집 장치는 리얼타임으로 음악의 리듬의 비트를 트래킹하는 수단을 갖는 것을 특징으로 한다. 또한, 본 발명의 음악 편집 장치는, 미리 타임 라인 메타데이터(비트 위치 등을 나타내는 타임 스탬프 정보와 같은 시각(時刻) 정보)를 가짐으로써, 정확하고 정밀도 양호하게 리얼타임으로 음악의 리듬의 비트를 트래킹하는 수단을 갖는 것을 특징으로 한다. 또한, 본 발명의 음악 편집 장치는 타임 라인 메타데이터(비트 위치 등을 나타내는 타임 스탬프 정보와 같은 시각 정보)로부터 재생 악곡에 동기한 비트 싱크 신호를 생성하는 수단을 갖는 것을 특징으로 한다.Finally, the usable features of the music editing apparatus of the present invention will be described. First, the music editing apparatus of the present invention is characterized by having means for tracking the beat of the rhythm of music in real time. Furthermore, the music editing apparatus of the present invention has timeline metadata (time information such as time stamp information indicating the bit position or the like) in advance, thereby accurately and accurately correcting the beat of the rhythm of the music in real time. And means for tracking. The music editing apparatus of the present invention is further characterized by having means for generating a beat sync signal synchronized with the playback music from timeline metadata (time information such as time stamp information indicating the bit position or the like).
또한, 본 발명의 음악 편집 장치는, 곡의 도중에 템포의 변경 및 리듬의 요동이 있는 음악에 대해도, 타임 라인 메타데이터로부터 리얼타임으로 음악의 리듬의 비트를 트래킹하는 수단을 갖는 것을 특징으로 한다. 또한, 본 발명의 음악 편집 장치는 상이한 템포 및 상이한 리듬의 복수의 악곡을 연속적으로 또는 동시에 재생하기 위한 복수의 재생 트랙을 갖는 것을 특징으로 한다.The music editing apparatus of the present invention is also characterized by having means for tracking the beats of the rhythm of the music in real time from the timeline metadata, even for music having a tempo change and rhythm fluctuations in the middle of the song. . The music editing apparatus of the present invention is further characterized by having a plurality of reproduction tracks for continuously or simultaneously reproducing a plurality of pieces of music having different tempos and different rhythms.
또한, 본 발명의 음악 편집 장치는, 상이한 템포 및 상이한 리듬의 복수의 악곡을 연속적으로 또는 동시에 재생하기 위한 복수의 재생 트랙과, 재생 악곡이 전환되는 과도(transition) 시에 다른 악곡을 오버랩하여 동기 재생하는 수단을 갖 는 것을 특징으로 한다. 또한, 본 발명의 음악 편집 장치는, 상이한 템포 및 상이한 리듬의 복수의 악곡을 연속적으로 또는 동시에 재생하기 위한 복수의 재생 트랙과, 재생 악곡이 전환되는 과도(transition) 상태에서 오버랩하여 동기 재생하는 악곡을 선택하는 수단을 갖는 것을 특징으로 한다.Furthermore, the music editing apparatus of the present invention overlaps and synchronizes a plurality of playback tracks for continuously or simultaneously playing back a plurality of pieces of music having different tempo and different rhythms, and overlapping other pieces of music when a transition of the pieces of music is transitioned. And means for reproducing. Furthermore, the music editing apparatus of the present invention includes a plurality of reproduction tracks for continuously or simultaneously reproducing a plurality of pieces of music having different tempo and different rhythms, and pieces of music which are reproduced synchronously in a transition state in which the pieces of music are switched. It is characterized by having a means for selecting.
또한, 본 발명의 음악 편집 장치는, 상이한 템포 및 상이한 리듬의 복수의 악곡을 연속적으로 또는 동시에 재생하는 경우에도, 서로 어긋나지 않고 기준 비트에 대하여 동기 재생하는 수단을 갖는 것을 특징으로 한다. 또한, 본 발명의 음악 편집 장치는, 상이한 템포 및 상이한 리듬의 복수의 악곡을 연속적으로 또는 동시에 재생하는 경우에도, 서로 어긋나지 않고 기준 비트에 대하여 동기 재생하기 위한 수단으로서, 각각의 트랙에 PLL 회로를 갖는 것을 특징으로 한다.Further, the music editing apparatus of the present invention is characterized in that it has a means for synchronously reproducing the reference bits without shifting each other even when a plurality of pieces of music having different tempos and different rhythms are reproduced continuously or simultaneously. The music editing apparatus of the present invention also provides a PLL circuit for each track as a means for synchronously reproducing the reference beat without shifting each other even when a plurality of pieces of music having different tempos and different rhythms are continuously or simultaneously reproduced. It is characterized by having.
또한, 본 발명의 음악 편집 장치는, 상이한 템포 및 상이한 리듬의 복수의 악곡을 연속적으로 또는 동시에 재생하는 경우에도, 서로 어긋나지 않고 기준 비트에 대하여 동기 재생하기 위한 수단으로서, 각각의 트랙에 기준 비트를 입력하는 것을 특징으로 한다. 또한, 본 발명의 음악 편집 장치는, 상이한 템포 및 상이한 리듬의 복수의 악곡을 연속적으로 또는 동시에 재생하는 경우에도, 서로 어긋나지 않고 기준 비트에 대하여 동기 재생하기 위한 수단으로서, 각각의 트랙에 대하여 타임 라인 메타데이터로부터 비트 싱크 신호를 생성하는 수단을 갖는 것을 특징으로 한다.Further, the music editing apparatus of the present invention is a means for synchronously reproducing reference tracks without shifting each other even when the plurality of pieces of music having different tempos and different rhythms are continuously or simultaneously reproduced. Characterized in the input. Furthermore, the music editing apparatus of the present invention is a means for synchronously reproducing a reference beat without shifting each other even when a plurality of pieces of music having different tempo and different rhythms are continuously or simultaneously reproduced. And means for generating a bit sync signal from the metadata.
또한, 본 발명의 음악 편집 장치는, 동기 재생의 마스터로 되는 기준 비트의 템포를 결정하는 수단을 갖는 것을 특징으로 한다. 또한, 본 발명의 음악 편집 장 치는, 리얼타임으로 음악의 리듬의 비트를 트래킹하고, 현재의 비트 카운트값을 생성하는 수단을 구비한 것을 특징으로 한다. 또한, 본 발명의 음악 편집 장치는, 리얼타임으로 음악의 리듬의 비트를 트래킹하고, 현재의 소절 카운트값을 생성하는 수단을 구비한 것을 특징으로 한다.The music editing apparatus of the present invention is further characterized by having means for determining the tempo of the reference beat serving as the master for synchronous reproduction. The music editing apparatus of the present invention is further characterized by providing means for tracking the beat of the rhythm of music in real time and generating a current beat count value. The music editing apparatus of the present invention is further characterized by a means for tracking the beat of the rhythm of the music in real time and generating a current measure count value.
Claims (10)
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2005-00356830 | 2005-12-09 | ||
JP2005356830 | 2005-12-09 | ||
PCT/JP2006/324889 WO2007066818A1 (en) | 2005-12-09 | 2006-12-07 | Music edit device and music edit method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080074976A KR20080074976A (en) | 2008-08-13 |
KR101287984B1 true KR101287984B1 (en) | 2013-07-19 |
Family
ID=38122952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087013805A KR101287984B1 (en) | 2005-12-09 | 2006-12-07 | Music edit device and music edit method |
Country Status (6)
Country | Link |
---|---|
US (1) | US7855334B2 (en) |
EP (1) | EP1959428A4 (en) |
JP (1) | JP5243042B2 (en) |
KR (1) | KR101287984B1 (en) |
CN (1) | CN101326569B (en) |
WO (1) | WO2007066818A1 (en) |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10164686B4 (en) * | 2001-01-13 | 2007-05-31 | Native Instruments Software Synthesis Gmbh | Automatic detection and adjustment of tempo and phase of pieces of music and interactive music players based on them |
EP1959428A4 (en) * | 2005-12-09 | 2011-08-31 | Sony Corp | Music edit device and music edit method |
JP4861469B2 (en) * | 2007-03-08 | 2012-01-25 | パイオニア株式会社 | Information reproducing apparatus and method, and computer program |
JP4311466B2 (en) * | 2007-03-28 | 2009-08-12 | ヤマハ株式会社 | Performance apparatus and program for realizing the control method |
US7956274B2 (en) * | 2007-03-28 | 2011-06-07 | Yamaha Corporation | Performance apparatus and storage medium therefor |
US8269093B2 (en) * | 2007-08-21 | 2012-09-18 | Apple Inc. | Method for creating a beat-synchronized media mix |
MX2010009932A (en) | 2008-03-10 | 2010-11-30 | Fraunhofer Ges Forschung | Device and method for manipulating an audio signal having a transient event. |
US9014831B2 (en) * | 2008-04-15 | 2015-04-21 | Cassanova Group, Llc | Server side audio file beat mixing |
JP5217687B2 (en) * | 2008-06-27 | 2013-06-19 | ヤマハ株式会社 | Song editing support apparatus and program |
JP5217685B2 (en) * | 2008-06-27 | 2013-06-19 | ヤマハ株式会社 | Song editing support apparatus and program |
US7915512B2 (en) * | 2008-10-15 | 2011-03-29 | Agere Systems, Inc. | Method and apparatus for adjusting the cadence of music on a personal audio device |
JP5588129B2 (en) * | 2009-06-29 | 2014-09-10 | Kddi株式会社 | Synchronized playback apparatus, synchronized playback method, and synchronized playback program |
JP5614028B2 (en) * | 2009-11-10 | 2014-10-29 | ヤマハ株式会社 | Song editing support apparatus and program |
JP2011257456A (en) * | 2010-06-04 | 2011-12-22 | Panasonic Corp | Musical sound reproduction device and musical sound reproduction method |
JP4927232B2 (en) * | 2010-07-14 | 2012-05-09 | パイオニア株式会社 | Playback system, operation unit, playback method and program thereof |
US9024166B2 (en) * | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
JP5500058B2 (en) | 2010-12-07 | 2014-05-21 | 株式会社Jvcケンウッド | Song order determining apparatus, song order determining method, and song order determining program |
JP5667005B2 (en) * | 2011-07-20 | 2015-02-12 | パイオニア株式会社 | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM THEREOF |
US9070352B1 (en) * | 2011-10-25 | 2015-06-30 | Mixwolf LLC | System and method for mixing song data using measure groupings |
US9111519B1 (en) * | 2011-10-26 | 2015-08-18 | Mixwolf LLC | System and method for generating cuepoints for mixing song data |
KR20130115653A (en) * | 2012-04-12 | 2013-10-22 | 주식회사 제이디사운드 | Method and device for automatic djing adapting music |
US9696884B2 (en) * | 2012-04-25 | 2017-07-04 | Nokia Technologies Oy | Method and apparatus for generating personalized media streams |
JP5962218B2 (en) | 2012-05-30 | 2016-08-03 | 株式会社Jvcケンウッド | Song order determining apparatus, song order determining method, and song order determining program |
WO2014003072A1 (en) * | 2012-06-26 | 2014-01-03 | ヤマハ株式会社 | Automated performance technology using audio waveform data |
JP2014052469A (en) * | 2012-09-06 | 2014-03-20 | Sony Corp | Sound processing device, sound processing method and program |
US9319445B2 (en) * | 2012-10-22 | 2016-04-19 | Spotify Ab | Systems and methods for pre-fetching media content |
CN102968995B (en) * | 2012-11-16 | 2018-10-02 | 新奥特(北京)视频技术有限公司 | A kind of sound mixing method and device of audio signal |
US9883284B2 (en) | 2013-05-30 | 2018-01-30 | Spotify Ab | Systems and methods for automatic mixing of media |
US9411882B2 (en) | 2013-07-22 | 2016-08-09 | Dolby Laboratories Licensing Corporation | Interactive audio content generation, delivery, playback and sharing |
US9798974B2 (en) * | 2013-09-19 | 2017-10-24 | Microsoft Technology Licensing, Llc | Recommending audio sample combinations |
US9372925B2 (en) | 2013-09-19 | 2016-06-21 | Microsoft Technology Licensing, Llc | Combining audio samples by automatically adjusting sample characteristics |
US20160071524A1 (en) * | 2014-09-09 | 2016-03-10 | Nokia Corporation | Audio Modification for Multimedia Reversal |
WO2016112519A1 (en) * | 2015-01-15 | 2016-07-21 | 华为技术有限公司 | Audio content segmentation method and apparatus |
CN104778220B (en) * | 2015-03-20 | 2019-04-05 | Oppo广东移动通信有限公司 | A kind of method and device for song splicing of singing opera arias |
CN104778221A (en) * | 2015-03-20 | 2015-07-15 | 广东欧珀移动通信有限公司 | Music collaborate splicing method and device |
CN104778219B (en) * | 2015-03-20 | 2018-05-29 | 广东欧珀移动通信有限公司 | A kind of method and device of default effect song splicing |
CN104780438A (en) * | 2015-03-20 | 2015-07-15 | 广东欧珀移动通信有限公司 | Method and device for splicing video and song audio |
CN104778957B (en) * | 2015-03-20 | 2018-03-02 | 广东欧珀移动通信有限公司 | A kind of method and device of song audio processing |
CN104778216B (en) * | 2015-03-20 | 2017-05-17 | 广东欧珀移动通信有限公司 | Method and device for processing songs with preset styles |
CN104766601A (en) * | 2015-03-28 | 2015-07-08 | 王评 | Lala gym music automatic mixing device |
US9606766B2 (en) | 2015-04-28 | 2017-03-28 | International Business Machines Corporation | Creating an audio file sample based upon user preferences |
US9842577B2 (en) | 2015-05-19 | 2017-12-12 | Harmonix Music Systems, Inc. | Improvised guitar simulation |
GB2581032B (en) * | 2015-06-22 | 2020-11-04 | Time Machine Capital Ltd | System and method for onset detection in a digital signal |
ITUB20153140A1 (en) * | 2015-08-17 | 2017-02-17 | Marco Franciosa | METHOD AND DEVICE FOR THE MANAGEMENT OF TRANSITIONS BETWEEN MUSICAL SONGS |
US20170060520A1 (en) * | 2015-09-01 | 2017-03-02 | AudioCommon, Inc. | Systems and methods for dynamically editable social media |
US9799314B2 (en) | 2015-09-28 | 2017-10-24 | Harmonix Music Systems, Inc. | Dynamic improvisational fill feature |
US9773486B2 (en) | 2015-09-28 | 2017-09-26 | Harmonix Music Systems, Inc. | Vocal improvisation |
US9502017B1 (en) * | 2016-04-14 | 2016-11-22 | Adobe Systems Incorporated | Automatic audio remixing with repetition avoidance |
JP6414164B2 (en) * | 2016-09-05 | 2018-10-31 | カシオ計算機株式会社 | Automatic performance device, automatic performance method, program, and electronic musical instrument |
GB2557970B (en) | 2016-12-20 | 2020-12-09 | Mashtraxx Ltd | Content tracking system and method |
US9880805B1 (en) | 2016-12-22 | 2018-01-30 | Brian Howard Guralnick | Workout music playback machine |
US11915722B2 (en) | 2017-03-30 | 2024-02-27 | Gracenote, Inc. | Generating a video presentation to accompany audio |
CN108806655B (en) * | 2017-04-26 | 2022-01-07 | 微软技术许可有限责任公司 | Automatic generation of songs |
US10453434B1 (en) * | 2017-05-16 | 2019-10-22 | John William Byrd | System for synthesizing sounds from prototypes |
CN110867174A (en) * | 2018-08-28 | 2020-03-06 | 努音有限公司 | Automatic sound mixing device |
JP6802569B2 (en) * | 2018-10-11 | 2020-12-16 | 株式会社コナミアミューズメント | Game systems, game programs, and how to control game systems |
WO2020075533A1 (en) * | 2018-10-11 | 2020-04-16 | 株式会社コナミアミューズメント | Game system, game program, and game system control method |
JP6683322B2 (en) * | 2018-10-11 | 2020-04-15 | 株式会社コナミアミューズメント | Game system, game program, and method of creating synthetic music |
CN110517657B (en) * | 2019-08-15 | 2024-01-16 | 上海若安文化传播有限公司 | Beat configuration/playing method, system, medium and equipment of music file |
US20230267899A1 (en) * | 2020-03-11 | 2023-08-24 | Nusic Limited | Automatic audio mixing device |
EP4120239A4 (en) | 2020-09-04 | 2023-06-07 | Roland Corporation | Information processing device and information processing method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000056780A (en) | 1998-08-05 | 2000-02-25 | Yamaha Corp | Karaoke sing-along machine |
JP2001109470A (en) | 1999-10-13 | 2001-04-20 | Yamaha Corp | Automatic performance device and automatic performance method |
JP2003108132A (en) | 2001-09-28 | 2003-04-11 | Pioneer Electronic Corp | Device and system for audio information reproduction |
JP2004198759A (en) | 2002-12-19 | 2004-07-15 | Sony Computer Entertainment Inc | Musical sound reproducing device and musical sound reproducing program |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58163998A (en) * | 1982-03-25 | 1983-09-28 | ヤマハ株式会社 | Automatic performer |
US4669024A (en) * | 1985-10-23 | 1987-05-26 | Westinghouse Electric Corp. | Multiphase frequency selective phase locked loop with multiphase sinusoidal and digital outputs |
JPS63103490A (en) * | 1986-10-20 | 1988-05-09 | Matsushita Electric Ind Co Ltd | Musical signal reproducing device |
US4862485A (en) * | 1987-10-14 | 1989-08-29 | National Semiconductor Corporation | Quotient phase-shift processor for digital phase-locked-loops |
US5015939A (en) * | 1990-08-10 | 1991-05-14 | Synektron Corporation | Control circuit for switched reluctance motor |
US5148113A (en) * | 1990-11-29 | 1992-09-15 | Northern Telecom Ltd. | Clock phase alignment |
JPH06342282A (en) * | 1993-04-08 | 1994-12-13 | Sony Corp | Music output device |
JP2970396B2 (en) * | 1994-04-22 | 1999-11-02 | ヤマハ株式会社 | Waveform processing device |
FR2734967B1 (en) * | 1995-05-31 | 1997-07-04 | Cit Alcatel | PHASE LOCKING METHOD AND LOOP APPLYING THIS METHOD |
JP2956569B2 (en) * | 1996-02-26 | 1999-10-04 | ヤマハ株式会社 | Karaoke equipment |
JP3861381B2 (en) * | 1997-06-13 | 2006-12-20 | ヤマハ株式会社 | Karaoke equipment |
JP4186298B2 (en) | 1999-03-17 | 2008-11-26 | ソニー株式会社 | Rhythm synchronization method and acoustic apparatus |
JP3066528U (en) | 1999-08-11 | 2000-02-25 | 橘医療器株式会社 | Oral endoscope |
JP4293712B2 (en) * | 1999-10-18 | 2009-07-08 | ローランド株式会社 | Audio waveform playback device |
JP3789326B2 (en) | 2000-07-31 | 2006-06-21 | 松下電器産業株式会社 | Tempo extraction device, tempo extraction method, tempo extraction program, and recording medium |
DE10123366C1 (en) | 2001-05-14 | 2002-08-08 | Fraunhofer Ges Forschung | Device for analyzing an audio signal for rhythm information |
JP3778024B2 (en) | 2001-07-30 | 2006-05-24 | ソニー株式会社 | Information processing apparatus, information processing method, and storage medium |
JP2003050588A (en) * | 2001-08-06 | 2003-02-21 | Pioneer Electronic Corp | Management server device for contents providing system, and terminal device |
JP3674950B2 (en) | 2002-03-07 | 2005-07-27 | ヤマハ株式会社 | Method and apparatus for estimating tempo of music data |
US20030205124A1 (en) * | 2002-05-01 | 2003-11-06 | Foote Jonathan T. | Method and system for retrieving and sequencing music by rhythmic similarity |
JP4243682B2 (en) | 2002-10-24 | 2009-03-25 | 独立行政法人産業技術総合研究所 | Method and apparatus for detecting rust section in music acoustic data and program for executing the method |
US7208672B2 (en) * | 2003-02-19 | 2007-04-24 | Noam Camiel | System and method for structuring and mixing audio tracks |
US7521623B2 (en) * | 2004-11-24 | 2009-04-21 | Apple Inc. | Music synchronization arrangement |
US7189913B2 (en) * | 2003-04-04 | 2007-03-13 | Apple Computer, Inc. | Method and apparatus for time compression and expansion of audio data with dynamic tempo change during playback |
US20040254660A1 (en) * | 2003-05-28 | 2004-12-16 | Alan Seefeldt | Method and device to process digital media streams |
JP2005156641A (en) * | 2003-11-20 | 2005-06-16 | Sony Corp | Playback mode control device and method |
JP3888353B2 (en) * | 2004-01-07 | 2007-02-28 | ソニー株式会社 | Data editing apparatus and data editing method |
US7026536B2 (en) * | 2004-03-25 | 2006-04-11 | Microsoft Corporation | Beat analysis of musical signals |
WO2005101655A1 (en) * | 2004-04-09 | 2005-10-27 | Micronas Semiconductors, Inc. | Advanced digital receiver |
WO2005104088A1 (en) * | 2004-04-19 | 2005-11-03 | Sony Computer Entertainment Inc. | Music composition reproduction device and composite device including the same |
US7068110B2 (en) * | 2004-06-28 | 2006-06-27 | Silicon Laboratories Inc. | Phase error cancellation |
US7518053B1 (en) * | 2005-09-01 | 2009-04-14 | Texas Instruments Incorporated | Beat matching for portable audio |
US20070074618A1 (en) * | 2005-10-04 | 2007-04-05 | Linda Vergo | System and method for selecting music to guide a user through an activity |
EP1959428A4 (en) * | 2005-12-09 | 2011-08-31 | Sony Corp | Music edit device and music edit method |
JP4264752B2 (en) | 2005-12-16 | 2009-05-20 | ソニー株式会社 | Audio signal player and playback method |
US20080097633A1 (en) * | 2006-09-29 | 2008-04-24 | Texas Instruments Incorporated | Beat matching systems |
-
2006
- 2006-12-07 EP EP06834644A patent/EP1959428A4/en not_active Withdrawn
- 2006-12-07 JP JP2007549214A patent/JP5243042B2/en not_active Expired - Fee Related
- 2006-12-07 CN CN2006800461745A patent/CN101326569B/en not_active Expired - Fee Related
- 2006-12-07 US US12/095,745 patent/US7855334B2/en not_active Expired - Fee Related
- 2006-12-07 KR KR1020087013805A patent/KR101287984B1/en not_active IP Right Cessation
- 2006-12-07 WO PCT/JP2006/324889 patent/WO2007066818A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000056780A (en) | 1998-08-05 | 2000-02-25 | Yamaha Corp | Karaoke sing-along machine |
JP2001109470A (en) | 1999-10-13 | 2001-04-20 | Yamaha Corp | Automatic performance device and automatic performance method |
JP2003108132A (en) | 2001-09-28 | 2003-04-11 | Pioneer Electronic Corp | Device and system for audio information reproduction |
JP2004198759A (en) | 2002-12-19 | 2004-07-15 | Sony Computer Entertainment Inc | Musical sound reproducing device and musical sound reproducing program |
Also Published As
Publication number | Publication date |
---|---|
CN101326569B (en) | 2012-07-18 |
JP5243042B2 (en) | 2013-07-24 |
EP1959428A1 (en) | 2008-08-20 |
US20090272253A1 (en) | 2009-11-05 |
US7855334B2 (en) | 2010-12-21 |
CN101326569A (en) | 2008-12-17 |
KR20080074976A (en) | 2008-08-13 |
EP1959428A4 (en) | 2011-08-31 |
WO2007066818A1 (en) | 2007-06-14 |
JPWO2007066818A1 (en) | 2009-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101287984B1 (en) | Music edit device and music edit method | |
US7678983B2 (en) | Music edit device, music edit information creating method, and recording medium where music edit information is recorded | |
KR20080074977A (en) | Music edit device and music edit method | |
US20210326102A1 (en) | Method and device for determining mixing parameters based on decomposed audio data | |
US7626112B2 (en) | Music editing apparatus and method and program | |
JP2956569B2 (en) | Karaoke equipment | |
KR101136974B1 (en) | Playback apparatus and playback method | |
US11347475B2 (en) | Transition functions of decomposed signals | |
JP4489650B2 (en) | Karaoke recording and editing device that performs cut and paste editing based on lyric characters | |
Huber | The Midi manual: A practical guide to Midi within Modern Music production | |
JP6926354B1 (en) | AI-based DJ systems and methods for audio data decomposition, mixing, and playback | |
KR20090023912A (en) | Music data processing system | |
JP2007072315A (en) | Karaoke machine characterized in reproduction control over model singing of chorus music | |
US20230343314A1 (en) | System for selection and playback of song versions from vinyl type control interfaces | |
JP3900576B2 (en) | Music information playback device | |
JP3876896B2 (en) | Waveform generation method and apparatus | |
US7332667B2 (en) | Automatic performance apparatus | |
JP2002287763A (en) | Method and device for waveform formation | |
JP2002287761A (en) | Method and device for waveform generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |