KR20050110592A - A karaoke system using the portable digital music player - Google Patents
A karaoke system using the portable digital music player Download PDFInfo
- Publication number
- KR20050110592A KR20050110592A KR1020050103724A KR20050103724A KR20050110592A KR 20050110592 A KR20050110592 A KR 20050110592A KR 1020050103724 A KR1020050103724 A KR 1020050103724A KR 20050103724 A KR20050103724 A KR 20050103724A KR 20050110592 A KR20050110592 A KR 20050110592A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- unit
- pitch
- input
- accompaniment
- Prior art date
Links
- 230000006870 function Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 30
- 230000005236 sound signal Effects 0.000 claims description 30
- 238000001228 spectrum Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 22
- 230000002194 synthesizing effect Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000007423 decrease Effects 0.000 claims description 11
- 230000003111 delayed effect Effects 0.000 claims description 10
- 230000001131 transforming effect Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 10
- 230000006835 compression Effects 0.000 abstract description 5
- 238000007906 compression Methods 0.000 abstract description 5
- 230000003442 weekly effect Effects 0.000 abstract description 2
- 239000011295 pitch Substances 0.000 description 77
- 238000010586 diagram Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
기존의 휴대용단말에 구현되어 있던 미디 노래방은 열악한 음질, 음정변화, 재생속도변화, 에코 및 마이크 입력신호 믹싱기능이 없는 것이 단점이었다.Midi karaoke, which has been implemented in the existing portable terminal, has the disadvantage of poor sound quality, pitch change, playback speed change, echo and microphone input signal mixing.
이러한 단점을 해결하고자 디지털음원(MP3/WMA/OGG/AC3/ATRAC등의 압축코덱을 이용한 디지털 음원)노래반주 시스템을 고안했으며 디지털음원 노래반주기이기 때문에 구현이 어려웠던 음정변화, 재생속도변화, 에코생성을 소프트웨어로 구현하였다. 또한 지금까지 단지 자막의 글자단위 반전이 되는 것에만 머물러 있던 핸드폰 노래방 기능을 마이크입력과 디지털음원 노래 반주음을 합성하여 스피커를 통하여 들려줌으로 해서 훨씬 오프라인 노래방에 가깝게 시스템을 구성할 수 있었다. 합성된 오디오는 파일로 저장되어 중앙서버에 저장될 수 있다. 저장된 파일을 이용하여 다양한 이벤트(주간 최고 가수 등등..)을 진행할 수 있다.In order to solve these shortcomings, we devised a digital sound source (digital sound source using a compression codec such as MP3 / WMA / OGG / AC3 / ATRAC) song accompaniment system. Is implemented in software. In addition, by combining the microphone input and the digital music song accompaniment sound through the speaker to the cell phone karaoke function that has remained only in the inversion of the subtitles of the letter unit was able to configure the system much closer to offline karaoke. The synthesized audio may be stored in a file and stored in a central server. You can use the saved file to run various events (weekly best singers, etc.).
또한 이러한 디지털음원 노래반주음 재생을 무선음성통화와 결합하여 서비스가 가능하도록 할 수 있다. 동시에 여러 사람이 원거리에서도 다른 사람이 디지털음원 노래반주음에 맞추어서 노래 부르는 것을 들을 수 있는 시스템이 가능하다.In addition, such digital sound source song accompaniment reproduction can be combined with a wireless voice call to enable a service. At the same time, it is possible to have a system that allows several people to hear others singing to a digital accompaniment song even from a distance.
Description
본 발명은 휴대용 단말(유/무선)기나 차량용 오디오기기 또는 셋톱박스등에서 디지털음원 노래방 기능을 구현하기 위한 시스템 및 이를 서비스하기 위한 방법에 관한 것으로 특히, 오프라인 노래방과 거의 같은 기능을 휴대용 단말에서 구현할 수 있도록 디지털음원 음악 반주음을 이용하여 음정변화, 속도변화 및 에코기능을 구현한 휴대용 또는 차량용 등의 디지털 음원 재생기 또는 휴대폰을 이용한 디지털 음원 노래방 시스템과 휴대폰 간 노래방 제어방법을 제공하기 위한 것이다.The present invention relates to a system for implementing a digital sound source karaoke function and a method for servicing the same in a portable terminal (wireless / wireless) device or a car audio device or a set-top box, and in particular, a function similar to an offline karaoke can be implemented in a portable terminal. In order to provide a method of controlling a karaoke system between a digital sound source karaoke system and a mobile phone using a digital sound player such as a portable or a vehicle, which implements a pitch change, a speed change, and an echo function using a digital accompaniment sound.
최근들어 노래방 기기가 널리 이용되면서, 노래방 전용기기 이외에도 컴퓨터를 이용한 노래방 시스템이나 휴대폰을 이용한 노래방 기기등등 다양한 형태의 노래방 시스템이 알려져 있다. 관련된 기술들로, 국내등록 특허공보 특1996-0011827 호의 전화기를 이용한 가라오케 장치, 국내등록특허공보 특0148846 호의 온라인 타입의 가라오케 시스템과 그 통신 방법, 국내등록특허공보 제 10-0205205 호의 비디오 컴팩트 디스크를 이용한 유무선 휴대용 영상가요 반주기 그리고 국내공개특허공보 특2000-0024325 호의 휴대폰을 이용한 노래방 시스템 등이 있다.Recently, as karaoke devices are widely used, various types of karaoke systems, such as karaoke systems using computers and karaoke devices using mobile phones, are known in addition to karaoke dedicated devices. Related technologies include a karaoke apparatus using a telephone of Korean Patent Publication No. 1996-0011827, an online type karaoke system of Korean Patent Publication No. 0148846 and a communication method thereof, and a video compact disc of Korean Patent Publication No. 10-0205205. There are wired / wireless portable video song half cycle and karaoke system using a mobile phone of Korea Patent Publication No. 2000-0024325.
상기와 같은 노래방 시스템은 통신을 이용하여 사용자에게 편리함으로 제공하고 있다.The karaoke system as described above is provided to the user by using communication.
그러나 이들 노래방 시스템은 음원으로 미디(MIDI)를 사용하고 있다. 미디는 컴퓨터로 신서사이저 등의 전자 악기를 제어하는 방법이었으나, 요즘에는 사운드카드에도 음원이 내장되어 실제 악기의 음을 체험할 수 있다. 데이터 내에 음의 높낮이, 빠르기, 악기 종류등의 설정이 있어서 이 데이터를 컴퓨터로 보내고 컴퓨터 내부에 있는 음원에서 이 데이터를 분석해서 소리로 바꿔준다. However, these karaoke systems use MIDI as the sound source. MIDI was a way to control electronic musical instruments such as synthesizers using computers, but nowadays sound cards are built into sound cards so you can experience the sound of real instruments. There are settings for pitch, speed, and instrument type in the data, which are sent to the computer and analyzed by the sound source inside the computer and converted into sound.
미디의 장점은 작은 크기로 고품질의 음악을 연주할 수 있다는 것이다. 우선 용량이 엄청나게 작다는 것이다. 종류 따라 틀리지만, 미디 데이터의 경우 4분짜리 곡이 300Kbyte 정도가 큰 파일이다. 요즘같이 초고속 인터넷이 발달한 상황에서는 장점이 아니지만, 과거에는 느린 인터넷 상에서 빨리 띄워 들려줄 수 있는 배경음악으로 많이 사용되었다.The advantage of MIDI is that it can play high quality music in a small size. First of all, the capacity is incredibly small. It's different depending on the type, but in the case of MIDI data, a 4-minute song is about 300 Kbytes in size. This is not an advantage in the development of high speed internet, but in the past, it was used as a background music that can be played quickly on a slow internet.
단점은 컴퓨터에 내장된 음원에 따라 음색의 차이가 큰데 대부분의 경우 상당히 조잡하게 들린다. 실제 연주를 녹음한 MP3나 WAV내지 WMA 데이터에 비해서 상당히 열악한 소리를 낸다.The downside is that the tone varies greatly depending on the sound source built into the computer, which in most cases sounds quite crude. It sounds quite poor compared to the MP3 or WAV to WMA data recorded with actual performances.
또한 현재 휴대용단말기에 적용된 MIDI노래방인 경우에도 대부분이 자막반전에 따라서 사용자가 노래를 부르는 방식으로 마이크입력을 받아들여서 동시에 반주음과 음성이 혼합된 오디오를 들을 수 있도록 구현된 장치는 없는 실정이다.In addition, even in the current MIDI karaoke that is applied to a portable terminal, most of the devices are not implemented so that the user can listen to the mixed audio of the accompaniment sound and voice by receiving the microphone input by the user singing a song according to the subtitle inversion.
위와 같은 문제를 해결하고자 본 발명은, 압축된 디지털음원 디코더가 내장되어 있는 휴대용 단말기에 소프트웨어적으로 음정변화, 속도변화, 에코 및 마이크 신호와 디지털음원의 디코딩 신호를 혼합해 주는 믹싱(mixing)기능을 내장한 디지털음원 노래반주기 시스템을 제공하기 위한 것이다.In order to solve the above problems, the present invention, a mixing function that mixes the pitch change, speed change, echo and microphone signal and the decoded signal of the digital sound source in a portable terminal with a built-in compressed digital sound decoder It is to provide a digital sound source song cycle system with a built-in.
본 발명은, 음원이 MIDI가 아닌 디지털음원이기 때문에 음질에 있어서는 기존의 MIDI노래방의 경우보다 월등한 성능을 나타낸다.In the present invention, since the sound source is a digital sound source rather than MIDI, the sound quality is superior to that of the conventional MIDI song room.
MIDI의 경우는 쉽게 음정이나 박자 등을 쉽게 조절 가능하나, 반면에 MP3와 같은 디지털음원인 경우 같은 기능을 구현하기 위해서는 많은 어려움이 있다. 일반적으로 오디오의 재생속도를 빨리하면 음정이 올라간다. 이것은 마치 레코드판을 인위적으로 빨리 회전시켰을 때 들을 수 있는 음과 비슷한 효과가 발생한다. 또한 인위적으로 음정을 올리거나 내리는 가장 쉬운 방법은 재생속도를 증감시키는 것이다. 이 방법은 음정을 변화시킴에 따라서 재생되는 음의 길이가 달라져서 실제 시스템에 적용하기 어려워진다.In the case of MIDI, the pitch and the beat can be easily adjusted. On the other hand, in the case of a digital sound source such as MP3, there are many difficulties in implementing the same function. In general, the faster the audio plays, the higher the pitch. This produces a sound similar to the sound you hear when you rotate the record plate artificially quickly. Also, the easiest way to artificially raise or lower the pitch is to increase or decrease the playback speed. As this method changes the pitch, the length of the played note changes, making it difficult to apply to a real system.
이러한 문제점을 해결하기 위해서 속도변환 및 음정변환 알고리즘을 고안했다. 본 알고리즘을 적용한 후의 음질을 들어보면 재생속도가 변했어도 음정의 변화가 작으며 인위적인 음정변화에도 재생속도는 일정하게 되는 성질을 갖게 되어 MP3노래반주기에 적용할 수 있었다.In order to solve this problem, we devised a speed conversion and pitch conversion algorithm. The sound quality after the application of this algorithm was found to be small in pitch, even though the playing speed was changed.
본 발명의 특징은, 일반 오프라인 노래방에서 볼 수 있는 기능인 반향기능(에코 기능)을 마이크 입력신호에 적용하여 디지털음원 노래반주기에 사용할 수 있도록 소프트웨어로 구성했다.A feature of the present invention is that the echo function (echo function), which is a function that can be seen in a general offline karaoke, is applied to a microphone input signal and configured as software for use in a digital sound source karaoke cycle.
디지털음원 노래반주기의 실감성을 높이기 위해서 마이크 입력과 디지털음원의 디코딩된 오디오 신호를 혼합하여 출력시키는 믹싱(mixing)기능을 구현하여 혼합된 오디오신호를 스피커를 통하여 외부로 출력시키거나 파일로 저장한다. 저장된 음원파일은 다른 휴대용 단말 사용자가 사용할 수 있도록 서버에 유/무선을 통하여 저장할 수 있으며 저장된 데이터를 이용하여 다양한 이벤트를 진행할 수 있다. In order to improve the sensation of digital sound recording cycle, it implements the mixing function that mixes the microphone input and the decoded audio signal of the digital sound source and outputs the mixed audio signal to the outside through the speaker or saves it as a file. . The stored sound source files can be stored in the server through wired / wireless to be used by other portable terminal users, and various events can be performed using the stored data.
또한 이동 통신단말기의 음성통화기능과 결합하여 실시간으로 다른 통화자에게 노래방 반주에 맞추어서 자신이 부르는 노래를 들려줄 수 있도록 했다.In addition, it is combined with the voice call function of the mobile communication terminal to allow other callers to listen to their songs in time with the karaoke accompaniment.
위와 같은 목적을 구현하기 위한 구체적인 구성 및 방법을 설명하면 다음과 같다. 먼저 디지털음원에 대한 정의를 내리면 PCM 데이터를 포함한 다양한 압축포멧으로 구현된 디지털 오디오 음원을 말한다. 여기서 다양한 압축포멧은 ADPCM, WAV, MP3, WMA, AAC, ATRAC 등과 같은 오디오 압축포멧으로서 디지털 PCM데이터와 거의 유사한 음질을 낼 수 있는 모든 오디오 압축포멧을 말한다.Referring to the specific configuration and method for implementing the above object is as follows. First, the definition of digital sound source refers to digital audio sound source implemented in various compression formats including PCM data. Here, various compression formats are audio compression formats such as ADPCM, WAV, MP3, WMA, AAC, ATRAC, etc., and all audio compression formats capable of sound quality almost similar to digital PCM data.
본 발명은, 노래반주 컨텐츠 제공업자(Contents Provider)의 서비스 서버와, 그 서버와 접속하여 노래반주를 다운로드 받을 수 있는 PC와, 그 PC와 연결되어 상기 디지털음원 노래반주데이터를 다운로드 받아 저장하여두고 이를 재생하여 노래방기능을 하는 휴대용 디지털 음원 재생기로 구성하고,The present invention provides a service server of a content accompaniment provider, a PC connected to the server for downloading song accompaniment, and connected to the PC to download and store the digital sound recording song accompaniment data. It is composed of a portable digital sound source player that plays the karaoke function,
그 휴대용 디지털 음원 재생기에, 마이크와 스피커가 연결되어 오디오신호의 입/출력을 하기 위한 오디오코덱(audio codec)부와, 키입력부와, 메모리부와, PC연결부와, 상기 각부와 연결되고 전체적인 기능을 제어하는 역할을 하고 반주의 피치,속도 조절과 에코조절등과 함께 노래반주를 제어하는 노래반주 제어부를 포함하는 시스템 제어부와, 고성능의 연산전용 DSP와, LCD콘트롤러를 통해 LCD를 제어하는 OSD부로 구성함에 특징이 있다.A microphone and a speaker are connected to the portable digital sound source player, and an audio codec unit for inputting / outputting an audio signal, a key input unit, a memory unit, a PC connection unit, and the respective units are connected and have overall functions. It is a system control unit which controls the accompaniment, which controls the accompaniment along with the pitch, speed control and echo control of the accompaniment, the high-performance operation-only DSP, and the OSD unit which controls the LCD through the LCD controller. It is characteristic in composition.
상기 노래반주 제어부는, 노래반주음과 마이크입력 목소리를 혼합(mixing)한 오디오 데이터를 메모리에 저장하기 위해서 처리 및 메모리에 저장된 오디오 데이터를 읽어 PC(30)에 업로드하거나, PC로부터 다운로드된 파일을 메모리부에 저장하는 파일 입출력 처리부와, 디지털음원이 디코딩된 PCM데이터를 이용하여 사용자가 원하는 만큼의 음정(피치)을 조절하는 피치 조절부와 재생속도를 조절하는 속도 조절부를 포함하는 피치, 속도 조절부와, 마이크 입력 오디오 신호에 반향효과를 주기 위해 피드백시키는 에코생성부와, 그 에코 생성부를 통해 입력되는 마이크 입력신호와 상기 피치, 속도 조절부를 통해서 입력되는 반주데이터를 믹싱하는 믹서를 포함하여 구성됨에 특징이 있다.The song accompaniment control unit processes and stores the audio data mixed with the song accompaniment sound and the microphone input voice in the memory and uploads the audio data stored in the memory to the PC 30 or uploads a file downloaded from the PC. Pitch and speed control including a file input / output processing unit to store in the memory unit, a pitch control unit for adjusting the pitch (pitch) as desired by the user using the decoded PCM data of the digital sound source and a speed control unit for adjusting the playback speed And a mixer for feeding back an echo signal to the microphone input audio signal, and a mixer for mixing the microphone input signal input through the echo generator and the accompaniment data input through the pitch and speed controller. It is characterized by.
다른 실시예로서, 상기 휴대용 디지털 음원 재생기 대신에 휴대폰에 노래방 제어시스템으로서 구성할 수 있는데, 휴대폰의 노래방 제어수단은,As another embodiment, the mobile phone may be configured as a karaoke control system instead of the portable digital sound source player, wherein the karaoke control means of the mobile phone,
마이크 및 스피커와 연결되어 오디오신호의 입출력을 위한 오디오코덱과, 키입력부와, 메모리부와, PC연결부와, LCD 콘트롤러를 통해 LCD를 통해 각종 표시제어를 하는 OSD부와, MP3나 동영상 같은 것을 재생하기 위해서 사용되는 고성능의 연산전용 CPU로 이루어지는 DSP와, 안테나를 통해 무선신호를 송수신하는 RF부와, 휴대폰 전체적인 기능을 제어하고 반주의 피치,속도 조절과 에코조절등과 함께 노래반주를 제어하는 노래반주 제어부를 포함하는 휴대폰제어부(MSM)를 포함하여 구성됨에 특징이 있다.Audio codec for input / output of audio signal, key input unit, memory unit, PC connection unit, OSD unit for controlling various displays through LCD through LCD controller, MP3 or video A DSP that consists of a high-performance computational CPU used to perform music, an RF unit that transmits and receives a wireless signal through an antenna, controls the overall function of the mobile phone, and controls song accompaniment with accompaniment pitch, speed control, and echo control. Characterized in that it comprises a mobile phone control unit (MSM) including an accompaniment control.
상기 휴대폰의 노래반주 제어부는, Song accompaniment control unit of the mobile phone,
노래 반주음과 마이크입력 목소리를 혼합(mixing)한 오디오 데이터를 휴대폰 메모리부에 저장하거나 그 메모리에 저장된 파일을 읽어서 전송하기 위해서 처리하는 파일 입출 처리부와, 전화통화시 RF부를 통하여 입출력되는 데이터 신호를 오디오신호로 변환하는 수신음 처리부와, 오디오 신호를 RF부 입력 데이터신호로 변환하는 송신음처리부와, RF부를 통하여 전송될 데이터 포멧을 음성으로 할 것인지 일반 데이터파일 형태로 할 것인지 결정하는 음성/데이터 선택부와, 디지털음원 디코딩된 PCM데이터를 이용하여 사용자가 원하는 만큼의 음정(피치)을 조절하는 피치 조절부 및 재생속도를 조절하는 속도 조절부를 포함하는 피치, 속도 조절부와, 오디오 코덱부를 통해 입력되는 마이크 입력신호에 대해 에코조절을 하는 에코 생성부와, 피치.속도 조절부에서 조절된 반주음과 에코 생성부를 통해 입력되는 에코신호를 믹싱하여 출력하는 믹서를 포함하여 구성됨을 특징으로 한다.File input / output processing unit for processing audio accompaniment of song accompaniment sound and microphone input voice to store in memory of mobile phone or reading and transmitting file stored in memory, and data signal input / output through RF unit during telephone call. Receiving sound processing unit for converting audio signal, Transmitting sound processing unit for converting audio signal to RF unit input data signal, Voice / data selection for determining whether data format to be transmitted through RF unit is voice or general data file type Pitch, a speed controller including a pitch controller for adjusting the pitch (pitch) as desired by the user using the digital sound source decoded PCM data, and a speed controller for adjusting the playback speed, and input through the audio codec unit Echo generator and pitch and speed control for echo control Including a mixer for mixing and outputting an echo signal input via the accompaniment and echoes generated in the control unit is characterized by configured.
한편, 상기 휴대폰을 이용한 노래반주 제어수단을 이용하여 휴대폰간 노래방 제어기능을 구현할 수 있는데, 노래반주 제어수단을 구비하여 디지털음원 노래반주를 디코딩하면서 마이크 음성을 합성하여 노래방 기능을 구현하도록 이루어진 휴대폰을 이용한 휴대폰간 통화중 노래방 서비스 방법에 있어서, 휴대폰 간의 통화 연결이 이루어졌는지는 판단하는 제1단계와; 통화연결중에 노래방 기능을 선택하고 노래반주를 선택하게 되면, 휴대폰 내의 메모리에 선택된 노래반주에 대한 디지털음원 노래반주가 저장되어 있는지를 검색하는 제2단계와; 제2단계에서 선택된 노래반주가 검색되는 경우 해당 디지털음원 노래반주 디코딩을 수행하여 플레이시키는 제3단계와; 상기 제3단계에서 노래반주가 플레이 되는 중에서 입력되는 마이크 입력신호와 또는 통화 연결중인 다른 휴대폰으로부터 수신된 통화수신음과 상기 디지털음원 노래반주음을 합성하여 스피커에 출력하는 제4단계와; 상기 제4단계에서 합성된 노래반주 및 음성 오디오신호를 휴대폰 무선송신을 위한 통화송신음으로 변환 처리후 휴대폰의 음성 송출신호로서 RF송신하는 제5단계를 포함하여 이루어진 것을 특징으로 한다.Meanwhile, a karaoke control function between mobile phones can be implemented by using the song accompaniment control means using the mobile phone. A mobile accommodating karaoke function is implemented by synthesizing a microphone voice while decoding a digital sound source accompaniment with a song accompaniment control means. What is claimed is: 1. A karaoke service method during a call between mobile phones, comprising: a first step of determining whether a call connection between mobile phones is established; Selecting a karaoke function and selecting a song accompaniment during a call connection, searching for whether a digital sound recording accompaniment for the selected song accompaniment is stored in a memory of the mobile phone; If the song accompaniment selected in the second step is searched for, performing a corresponding digital sound source song accompaniment decoding to play the song; A fourth step of synthesizing the digital input song accompaniment sound with the microphone input signal input while the song accompaniment is being played in the third step or from another mobile phone connected to a call; And a fifth step of converting the song accompaniment and voice audio signals synthesized in the fourth step into a voice transmission signal for mobile phone transmission after the conversion process.
상기 휴대폰 간의 노래방 제어방법은,Karaoke control method between the mobile phone,
속도 증/감 입력에 따라 속도 증가시에 디지털음원 노래반주의 진폭신호에 대해 사이 사이의 음을 솎아내는 데시메이션을 수행한 후 감소된 신호에 대응해서 피치를 감소시켜 속도를 증가한 노래반주신호를 생성하고, 속도 감소시에 디지털음원 노래반주의 진폭신호에 대해 사이 사이에 샘플음을 삽입하는 인터폴레이션을 수행한 후, 증가된 신호에 대응해서 피치를 증가시켜 노래반주신호를 생성하는 속도조절모드를 더 포함하고,When the speed increases according to the speed increase / decrease input, decimation of the amplitude signal of the digital sound source accompaniment is performed, and then the pitch accompaniment signal is increased by decreasing the pitch in response to the reduced signal. And a speed control mode for generating an accompaniment signal by increasing the pitch in response to the increased signal after performing interpolation of the amplitude signal of the digital sound accompaniment at the speed reduction. Including more,
피치조절신호가 입력되면, 원신호에 대해 시간평면상 짧은 구간으로 나누는 윈도우를 적용하여 원신호를 주파수 스펙트럼으로 변환하는 단계와; 주파수 스펙트럼으로 변화된 신호를 퓨리에 변환하여 진폭스펙트럼 신호를 구하는 단계와; 상기 진폭스펙트럼 신호의 크기는 변화하지 않고 상기 피치조절 입력에 대응해서 주파수 대역만을 이동시키는 단계와; 주파수 대역이 이동된 진폭스펙트럼 신호를 역퓨리에 변환시켜 시간축에 대한 주파수 스펙트럼신호로 복원하는 단계와; 그 복원된 신호의 이웃한 데이터 프레임간의 불일치를 해소하기 위하여 윈도우 처리를 하여 전체 피치가 이동된 오디오신호를 생성하는 피치조절 모드를 더 포함하며,Converting the original signal into a frequency spectrum by applying a window for dividing the original signal into short sections on a time plane with respect to the original signal; Obtaining an amplitude spectrum signal by Fourier transforming the signal changed into the frequency spectrum; Shifting only a frequency band corresponding to the pitch control input without changing the magnitude of the amplitude spectrum signal; Converting an amplitude spectrum signal having a shifted frequency band into an inverse Fourier signal and restoring the frequency spectrum signal with respect to a time axis; And a pitch adjustment mode for generating an audio signal in which the entire pitch is shifted by windowing to resolve inconsistencies between neighboring data frames of the restored signal.
에코조절모드가 선택되고 에코조절신호가 입력되면, 마이크 입력신호와 피드백신호와 합성시키는 단계와; 그 합성된 신호를 소정시간 지연시키는 단계와; 상기 지연된 신호에 대해 에코의 크기를 조절하여 상기 피드백신호로서 합성단계로 피드백시키는 단계와; 상기 지연시킨 신호에 대해 에코의 세기를 조절하는 단계와; 상기 마이크 입력신호와 상기 에코의 세기를 조절한 신호를 합성하여 에코가 포함된 마이크 입력신호를 상기 제4단계의 마이크 입력신호로서 입력하는 에코조절모드를 더 포함하는 것을 특징으로 한다.Synthesizing the microphone input signal and the feedback signal when the echo control mode is selected and the echo control signal is input; Delaying the synthesized signal by a predetermined time; Controlling the magnitude of the echo with respect to the delayed signal and feeding back to the synthesis step as the feedback signal; Adjusting the intensity of the echo with respect to the delayed signal; And an echo control mode for synthesizing the microphone input signal and the signal for adjusting the intensity of the echo and inputting the microphone input signal including the echo as the microphone input signal of the fourth step.
이하 본 발명의 실시예를 첨부된 도면을 참조해서 상세히 설명하면 다음과 같다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
본 발명이 구현되기 위한 시스템으로서 이동형 무선단말기를 도 1에 도시된 바와같이, 크게 3가지 부분으로 디지털음원 재생기(10)와, PC(30)와, 서버(40)로 구성된다.As a system for implementing the present invention, as shown in FIG. 1, a mobile wireless terminal is composed of a digital sound player 10, a PC 30, and a server 40 in three parts.
디지털음원 재생기(10)는, 마이크(11)와 스피커(12)가 연결되어 오디오 입/출력을 하기 위하여 ADC(analog digital converter)와 DAC(digital analog converter)가 통합되어진 오디오코덱(audio codec)부(13)와, 플레이 및 음악 선택등 기기 조작을 위한 다수의 키를 구비한 키입력부(14)와, 제어프로그램 및 음악 파일등을 저장하기 위한 메모리부(15)와, PC(30)와 연결하여 데이터 통신을 하기 위한 통신포트를 제공하는 PC연결부(16)와, 상기 각부와 연결되고 디지털음원 재생기(10)의 전체적인 기능을 제어하는 역할을 하고 반주의 피치,속도 조절과 에코조절등과 함께 노래반주를 제어하는 노래반주 제어부(170)를 포함하는 시스템 제어부(17)와, 그 시스템 제어부(17)의 제어에 의해 디지털음원이나 동영상 같은 것을 재생하기 위해서 램(22)을 이용하여 신호처리하는 고성능의 연산전용 DSP(21)와, LCD(20)에 글자나 아이콘과 같은 메시지를 표시하기 위하여 LCD콘트롤러(19)를 통해 제어하는 OSD부(18)로 구성된다.The digital sound source player 10 includes an audio codec unit in which an analog digital converter (ADC) and a digital analog converter (DAC) are integrated to connect the microphone 11 and the speaker 12 to perform audio input / output. (13), a key input section (14) having a plurality of keys for device operation such as play and music selection, a memory section (15) for storing control programs and music files, and a PC (30). PC connection portion 16, which provides a communication port for data communication, and is connected to the respective parts and serves to control the overall function of the digital sound player 10, with accompaniment pitch, speed control and echo control, etc. The system control unit 17 including the song accompaniment control unit 170 for controlling the song accompaniment, and the signal processing using the RAM 22 to reproduce a digital sound source or a moving image under the control of the system control unit 17 High performance computation only The DSP 21 and the OSD unit 18 are controlled by the LCD controller 19 to display a message such as letters or icons on the LCD 20.
디지털음원재생기(예:MP3재생기, 윈도우미디어 재생기, 윈앰프, 미디어플레이어 등과 같이 디지털음원을 재생할 수 있는 재생기)에 노래반주 컨텐츠를 다운로드하기 위해서는 PC(30)에는, 네트워크를 이용하여 컨텐츠제공업자(Contents Provider)로부터 서비스되는 서버(40)에 접속하여 원하는 노래반주 컨텐츠를 다운로드한다. PC(30)에 보관된 노래반주 데이터는 휴대용 디지털 음원재생기 연결부(31)와 PC연결부(16)를 통하여 디지털음원재생기(10)의 메모리부(15)에 다운로드된다. 다운로드된 노래반주 데이터는 필요한 순간에 재생되도록 구성한다. In order to download song accompaniment contents to a digital sound player (for example, a player capable of playing a digital sound source such as an MP3 player, a window media player, a winamp, a media player, etc.), the PC 30 uses a network to provide a content provider (Contents). It connects to the server 40 serviced from the provider and downloads the desired song accompaniment content. The song accompaniment data stored in the PC 30 is downloaded to the memory unit 15 of the digital sound source player 10 through the portable digital sound source player connection unit 31 and the PC connection unit 16. The downloaded song accompaniment data is configured to be reproduced at the moment required.
도 2는 본발명에 의한 다른 실시예를 보인 구성도로서, 이동형 무선단말기를 이용한 노래방 시스템을 도시한 것이다. 이는 도 1과 동일한 구성에서 디지털 음원 재생기 대신에 핸드폰(100)을 이용한 것으로서, 3가지 부분으로 휴대폰(100), PC(30), 서버(40)로 구성된다. 휴대폰(100)에는, 마이크(111) 및 스피커(112)와 연결되어 오디오신호의 입출력을 위한 ADC(analog digital converter)와 DAC(digital analog converter)가 통합되어진 오디오코덱(audio codec)(113)과, 키입력부(114)와, 메모리부(115)와, PC연결부(116)와, LCD 콘트롤러(119)를 통해 LCD(120)를 통해 각종 표시제어를 하는 OSD부(118)와, RAM(122)을 이용하여 MP3나 동영상 같은 것을 재생하기 위해서 사용되는 고성능의 연산전용 CPU로 이루어지는 DSP(121)와, 안테나(124)를 통해 무선신호를 송수신하는 RF부(123)와, 휴대폰 전체적인 기능을 제어하고 반주의 피치,속도 조절과 에코조절등과 함께 노래반주를 제어하는 노래반주 제어부(170)를 포함하는 휴대폰제어부(MSM)(117)를 포함하여 구성된다.Figure 2 is a block diagram showing another embodiment according to the present invention, showing a karaoke system using a mobile wireless terminal. This uses the mobile phone 100 in place of the digital sound source player in the same configuration as in Figure 1, consisting of a mobile phone 100, PC 30, server 40 in three parts. The mobile phone 100 includes an audio codec 113 connected to a microphone 111 and a speaker 112 and integrated with an analog digital converter (ADC) and a digital analog converter (DAC) for inputting and outputting audio signals. , OSD unit 118 for controlling various displays through LCD 120 through key input unit 114, memory unit 115, PC connection unit 116, LCD controller 119, and RAM 122 Control the overall function of the mobile phone with the DSP 121 consisting of a high performance CPU dedicated to the use of MP3 or video, and the RF unit 123 for transmitting and receiving wireless signals through the antenna 124 And a mobile phone controller (MSM) 117 including a song accompaniment control unit 170 for controlling song accompaniment along with pitch, speed control and echo control of the accompaniment.
PC(30)는 중앙처리장치(32), 휴대폰과 연결을 위한 휴대폰 연결부(31), 모니터(35), 키입력부(34), 메모리부(33)를 포함하여 구성된다. The PC 30 includes a central processing unit 32, a mobile phone connection unit 31 for connecting with a mobile phone, a monitor 35, a key input unit 34, and a memory unit 33.
휴대폰(100)에 노래반주 컨텐츠를 다운로드하기 위해서는 PC(30)에서 네트워크를 이용하여 컨텐츠제공업자(Contents Provider)가 서비스하는 서버(40)로부터 원하는 노래반주 컨텐츠를 다운로드 한다. PC(30)에 보관된 노래반주 데이터는 휴대폰 연결부(31)와 PC연결부(116)를 통하여 휴대폰의 메모리부(115)에 다운로드된다. 다운로드된 노래반주 데이터는 필요한 순간에 재생되도록 구성한다. 또한 RF부(123)를 이용하여 무선으로 노래반주 컨텐츠를 서버(40)로부터 직접 다운로드 받을 수 있다.In order to download the song accompaniment contents to the mobile phone 100, the desired song accompaniment contents are downloaded from the server 40 serviced by a contents provider using a network in the PC 30. The song accompaniment data stored in the PC 30 is downloaded to the memory unit 115 of the cellular phone through the cellular phone connection unit 31 and the PC connection unit 116. The downloaded song accompaniment data is configured to be reproduced at the moment required. In addition, the song accompaniment content can be downloaded directly from the server 40 wirelessly using the RF unit 123.
디지털음원 노래반주기를 구현하는데 있어서 가장 문제시 되고 있는 음정(Pitch), 속도(speed)조절, 반향(echo) 및 마이크 입력신호를 반주음과 혼합시키는 믹싱(mixing)부분을 구현하기 위한 디지털음원 재생기(10)에서의 시스템 제어부(17)의 노래반주 제어부(170) 블록도를 도 3에 나타냈다. Digital sound source player for realizing the pitch, speed control, echo, and mixing part of the accompaniment sound, which is the most problematic in implementing the digital sound song cycle. The block diagram of the song accompaniment control part 170 of the system control part 17 in (10) is shown in FIG.
각 블록에 대해서 설명하면, 디지털음원 디코더(21)는 보통 DSP칩에서 구현되며, 별도의 전용 디지털음원 디코더 칩이 될 수도 있다. 오디오코덱부(13)는 아날로그인 마이크(11) 입력신호를 디지털 신호로 변환하고 믹싱이 끝난 디지털 오디오신호를 아날로그 스피커(12) 출력신호로 변환시키는 역할을 하는 구성요소이다.Referring to each block, the digital sound source decoder 21 is usually implemented in a DSP chip, it may be a separate dedicated digital sound decoder chip. The audio codec unit 13 is a component that converts an analog microphone 11 input signal into a digital signal and converts the mixed digital audio signal into an analog speaker 12 output signal.
본 발명에 의한 핵심 요소인 시스템 제어부(17)내의 노래반주 제어수단의 구성은, PC연결부(16)와 메모리부(15) 및 오디오 코덱부(13)와 믹서(172)에 연결되어 노래반주음과 마이크입력 목소리를 혼합(mixing)한 오디오 데이터를 메모리에 저장하기 위해서 처리 및 메모리에 저장된 오디오 데이터를 읽어 PC연결부(16)를 경유하여 PC(30)에 업로드하거나, PC(30)로부터 다운로드된 파일을 메모리부(15)에 저장하는 파일 입출력 처리부(171)와, The configuration of the song accompaniment control means in the system control unit 17, which is a key element of the present invention, is connected to the PC connection unit 16, the memory unit 15, the audio codec unit 13, and the mixer 172, and the accompaniment sound In order to store the audio data mixed with the microphone and the voice input in the memory, the audio data stored in the memory is processed and uploaded to the PC 30 via the PC connection unit 16, or downloaded from the PC 30. A file input / output processing unit 171 for storing a file in the memory unit 15,
디지털음원이 디코딩된 PCM데이터를 이용하여 사용자가 원하는 만큼의 음정(피치), 재생속도를 조절하는 피치, 속도 조절부(174)와,Using the PCM data decoded by the digital sound source, as many pitches (pitch) as desired by the user, a pitch for adjusting the playback speed, a speed controller 174,
마이크 입력 오디오 신호에 반향효과를 주기 위해 피드백 시키는 에코생성부(173)와, An echo generator 173 for feeding back a microphone input audio signal,
그 에코 생성부(173)를 통해 입력되는 마이크 입력신호와 상기 피치, 속도 조절부(174)를 통해서 입력되는 반주데이터를 믹싱하여 상기 오디오 코덱부(13)와 파일 입/출력 처리부(171)로 출력하는 믹서(172)를 포함하여 구성된다.The microphone input signal inputted through the echo generator 173 and the accompaniment data inputted through the pitch and speed controller 174 are mixed to the audio codec 13 and the file input / output processor 171. It is comprised including the mixer 172 which outputs.
한편, 도 4는 본 발명에 의한 MP3 노래반주기를 구현하기 위한 무선단말시스템의 노래반주 제어부의 블록도이다.On the other hand, Figure 4 is a block diagram of a song accompaniment control unit of a wireless terminal system for implementing the MP3 song cycle according to the present invention.
이에 도시된 바와 같이, 노래반주 제어부(170)는, 휴대폰 제어부(117) 내에 응용프로그램으로 구비되는 것으로서, 휴대폰 제어부(117)는, 휴대폰에서 퀄컴의 MSM칩이 될 수도 있는 것으로 시스템 전반적인 제어를 담당하는 구성요소이다. 디지털음원의 디코더(121)는 보통 DSP칩에서 구현되며 별도의 전용 디지털음원 디코더 칩이 될 수도 있다. 오디오코덱부(113)는 아날로그인 마이크(111) 입력신호를 디지털 신호로 변환하고 믹싱이 끝난 디지털 오디오신호를 아날로그 스피커(112) 출력신호로 변환시키는 역할을 하는 구성요소이다. 파일 입출 처리부(File I/O)(171)는 노래 반주음과 마이크입력 목소리를 혼합(mixing)한 오디오 데이터를 휴대폰 메모리부(115)에 저장하기 위해서 처리하는 부분이다. 또한 메모리부(115)에 저장된 오디오 데이터를 읽어 RF부(123)를 경유하여 무선 데이터 패킷망을 이용해 중앙 데이터 서버에 녹음된 파일을 전송하기 위해 데이터를 처리하는 부분이다.As shown here, the song accompaniment control unit 170, which is provided as an application program in the mobile phone control unit 117, the mobile phone control unit 117 may be a Qualcomm MSM chip in the mobile phone is responsible for the overall system control It is a component. The decoder 121 of the digital sound source is usually implemented in a DSP chip and may be a separate dedicated digital sound decoder chip. The audio codec unit 113 is a component that converts an analog microphone 111 input signal into a digital signal and converts the mixed digital audio signal into an analog speaker 112 output signal. The file input / output processing unit (File I / O) 171 is a part which processes audio data obtained by mixing a song accompaniment sound and a microphone input voice in the cellular phone memory unit 115. In addition, the audio data stored in the memory unit 115 is read and processed to transmit the recorded file to the central data server using the wireless data packet network via the RF unit 123.
RF부(123)는 무선으로 입력되는 신호를 휴대폰제어부(CPU)가 처리할 수 있는 데이터 형태로 변형하고 또한 휴대폰제어부(CPU)에서 제공한 데이터를 무선으로 보내기 적합한 형태로 변형시키는 장치이다. 수신음 처리부(178)는 전화통화시 RF부(123)를 통하여 입출력되는 데이터 신호를 오디오신호로 변환하는 부분이고 송신음처리부(176)는 오디오 신호를 RF부(123) 입력 데이터신호로 변환하는 부분이다. 음성/데이터 선택부(175)는 RF부(123)를 통하여 전송될 데이터 포멧을 음성으로 할 것인지 일반 데이터파일 형태로 할 것인지 결정하는 부분이다. 피치,속도 조절부(174)는 디지털음원 디코딩된 PCM데이터를 이용하여 사용자가 원하는 만큼의 음정(피치), 재생속도를 조절하는 부분이다. 에코 생성부(173)는 오디오 코덱부(113)를 통해 입력되는 마이크 입력신호에 대해 에코조절을 하게 되며, 믹서(172)는 피치.속도 조절부(174)에서 조절된 반주음과 에코 생성부(173)를 통해 입력되는 에코신호를 믹싱하여 오디오코덱부(113), 파일 입.출력 처리부(171) 및 음성데이터 선택부(175)로 출력하게 된다.The RF unit 123 is a device for transforming a signal input wirelessly into a data form that can be processed by the cellular phone control unit (CPU) and also transforms the data provided by the cellular phone control unit (CPU) into a form suitable for wireless transmission. The reception sound processing unit 178 converts a data signal input / output through the RF unit 123 into an audio signal during a telephone call, and the transmission sound processing unit 176 converts an audio signal into an RF input unit 123 input data signal. to be. The voice / data selection unit 175 is a part for determining whether the data format to be transmitted through the RF unit 123 is voice or general data file. The pitch and speed controller 174 adjusts the pitch and pitch as much as the user desires using the digital sound source decoded PCM data. The echo generator 173 performs echo control on the microphone input signal input through the audio codec 113, and the mixer 172 adjusts the accompaniment sound and the echo generator controlled by the pitch and speed controller 174. The echo signal input through 173 is mixed and output to the audio codec 113, the file input / output processor 171, and the voice data selector 175.
상기 피치, 속도 조절부(174)에서 음정조절의 특징은 피치이동(pitch shift)을 이용하여 음정조절을 하는데 속도의 변화가 없어야 한다. 즉 출력 샘플수는 동일해야 한다.In the pitch and speed control unit 174, the pitch control is characterized by the pitch shift (pitch shift), but there should be no change in speed. That is, the number of output samples must be the same.
도 5는 피치조절부(200)의 블록도를 나타낸다. 이에 도시된 바와 같이, 원신호(201)를 시간평면상의 짧은 구간으로 나누기 위한 윈도우(202)와, 그 짧은 구간의 신호를 퓨리에 변환시키는 퓨리에변환부(FFT)(203)와, 퓨리에 변환부(203)에서 얻어진 진폭스펙트럼에 대해 사용자가 원하는 만큼 쉬프트 시키는 스펙트럼 쉬프트(204)와, 스펙트럼 쉬프트된 신호를 다시 역퓨리에변환하는 역퓨리에변환부(IFFT)(205)와, 프레임간 불일치를 해소하기 위하여 필터링하여 변경된 신호(207)를 출력하는 윈도우(206)로 구성된다.5 shows a block diagram of the pitch adjusting unit 200. As shown therein, a window 202 for dividing the original signal 201 into short sections on the time plane, a Fourier transform section (FFT) 203 for Fourier transforming the short section signal, and a Fourier transform section ( A spectral shift 204 for shifting the amplitude spectrum obtained by the user as desired by the user, an inverse Fourier transform unit (IFFT) 205 for inverse Fourier transforming the spectral shifted signal, and the like to solve the inconsistency between the frames. And a window 206 for filtering and outputting the changed signal 207.
원리는 처리될 오디오 신호는 짧은 구간에서 스테이션어리(stationary)하다는 가정을 하고 단구간 퓨리에변환(이하, STFT ; Short Time Fourier Transform))를 이용하여 처리한다. 즉 넓은 범위의 오디오 신호는 변동(nonstationary)하다고 해도 짧은 구간(수십msec)에서는 정지상태에(stationary) 있다고 가정(시간에 따라서 통계적(평균, 분산등) 특성이 일정 하다는 가정)을 할 수 있다. 단구간 퓨리에변환(STFT)은 위상이나 주파수 성분이 시간에 따라 변화하는 신호를 해석하기 위해서 사용될 수 있다.The principle assumes that the audio signal to be processed is stationary in a short period and processes it using a short time Fourier transform (hereinafter referred to as STFT). That is, even if a wide range of audio signals are nonstationary, it can be assumed that they are stationary in a short period (several tens of msec) (assuming that statistical (average, variance, etc.) characteristics are constant over time). Short-term Fourier transforms (STFTs) can be used to analyze signals whose phase or frequency components change over time.
원신호(201)는 음정조절을 위해서 처리해야 할 오디오 신호를 나타낸다. 윈도우(202)는 시간평면의 데이터를 짧은 구간으로 나누기 위해서 사용된다. 또한 주파수 스펙트럼으로 변화했을 때 주파수 스펙트럼이 퍼지는 현상(Gibbs 현상)을 감쇠시키는 역할을 한다. 주파수 평면의 신호로 변환하기 위해서 FFT부(203)에서 퓨리에변환(FFT)을 수행한다. 여기서 진폭스펙트럼을 얻을 수 있다. 스펙트럼 쉬프트(spectrum shift)(204)는 FFT부(203)에서 얻어진 진폭스펙트럼을 이용하여 사용자가 원하는 만큼 스펙트럼을 이동시킨다. 도 6에 스펙트럼 이동의 예를 제시했다. 진폭스펙트럼의 크기는 변화시키지 않고 단지 주파수 대역만 1000Hz에서 700Hz 이동한 경우의 예를 들고 있다. 이동된 스펙트럼을 갖고 역퓨리에변환(IFFT)(206)을 수행하여 시간축의 신호를 만들어 낸다. 이웃한 데이터 프레임간의 갑작스런 불일치를 해소하기 위해서 윈도우(207) 처리를 한 후 전체 피치가 이동된 오디오 신호(107)를 생성한다.The original signal 201 represents an audio signal to be processed for pitch adjustment. The window 202 is used to divide the data of the time plane into short intervals. It also serves to attenuate the spread of the frequency spectrum (Gibbs phenomenon) when changing to the frequency spectrum. The FFT unit 203 performs a Fourier transform (FFT) to convert the signal into a frequency plane signal. The amplitude spectrum can be obtained here. The spectrum shift 204 shifts the spectrum by the user's desire using the amplitude spectrum obtained by the FFT unit 203. 6 shows an example of spectral shift. An example is the case where only the frequency band is shifted from 1000 Hz to 700 Hz without changing the magnitude of the amplitude spectrum. An Inverse Fourier Transform (IFFT) 206 is performed with the shifted spectrum to produce a signal along the time base. In order to solve the sudden discrepancy between neighboring data frames, the window 207 is processed, and then the audio signal 107 is generated in which the entire pitch is shifted.
도 7은 본 발명에 의한 속도 조절부의 구성도이다.7 is a block diagram of a speed control unit according to the present invention.
속도 조절부(300)는 노래반주음의 재생속도를 가변하는 것으로 재생속도를 변화해도 피치(음정)는 변화가 없도록 제어하는 부분이다.The speed controller 300 is a part for controlling the pitch so that the pitch does not change even when the playback speed is changed by varying the playback speed of the song accompaniment sound.
변화되지 않은 원신호(301)가 입력되면 입력신호의 속도의 증감을 판별하는 속도증감판별부(302)와, 속도 증가인 경우 원신호에서 일정부분 솎아내는 데시메이션부(303)와, 속도 감소인 경우 원신호에 데이터 샘플을 중간중간 삽입하는 인터폴레이션부(304)와, 상기 데시메이션부(303)의 출력신호의 음정을 보정하기 위해 피치를 감소시켜 변경된 신호를 출력하는 피티(-)쉬프트부(305)와, 상기 인터폴레이션부(304)의 출력신호의 음정을 보정하기 위하여 피치를 증가시켜 변경된 신호를 출력하는 피치(+)쉬프트부(306)로 구성된다.When the unchanged original signal 301 is input, the speed increasing / determining unit 302 determines whether the speed of the input signal is increased or decreased, and if the speed is increased, the decimation unit 303 which removes a part of the original signal, and the speed is decreased. In this case, the interpolation unit 304 interpolates the data sample into the original signal, and the pitch shift unit outputs the changed signal by reducing the pitch to correct the pitch of the output signal of the decimation unit 303. 305, and a pitch (+) shift unit 306 for outputting the changed signal by increasing the pitch in order to correct the pitch of the output signal of the interpolation unit 304.
변화되지 않은 원신호(301)가 입력되고 입력신호의 속도의 증가시킬 경우 원신호에서 일정부분의 신호만을 솎아내는 데시메이션(decimation)한 후에 원신호와 같은 속도로 DAC에 데이터를 보내어 스피커 출력으로 내 보내면 음의 재생속도는 빨라지게 된다. 이때 음이 빨라지게 되면 음정이 올라가게 되는데 이것을 보정하기 위해서 피치를 감소하는 방향으로 처리를 수행한다. 재생속도를 감속하려는 경우는 데이터 샘플들을 원신호 중간중간에 삽입하는 인터폴레이션(interpolation)과정을 수행하고 얻어지 데이터를 같은 샘플링속도로 DAC(digital analog converter)에 전달하여 출력신호를 내보내면 재생속도가 늦어진 것을 느낄 수 있다. 이때 음정도 같이 낮아지게 되는데 이 점을 보정하기 위해서 양(+)의 피치이동을 수행한다. When the unchanged original signal 301 is input and the speed of the input signal is increased, the decimation extracts only a portion of the signal from the original signal, and then sends data to the DAC at the same speed as the original signal to the speaker output. Exporting them will speed up the playback. At this time, when the pitch gets faster, the pitch goes up. To correct this, the processing is performed in the direction of decreasing the pitch. If you want to slow down the playback speed, perform an interpolation process that inserts data samples in the middle of the original signal, and transfer the obtained data to a digital analog converter (DAC) at the same sampling rate to send the output signal. You may feel late. At this time, the pitch is lowered as much as the pitch. To correct this point, positive pitch shift is performed.
여기서 사용된 데시메이션과 인터폴레이션에 대한 설명은 도 8에 나타냈다. 원신호에서 일정주기로 데이터의 일부분만을 가져오는 과정을 도 8의 (a)에 도시된 바와 같이 데시메이션이라고 한다. 또한 원신호에 일정비율의 데이터를 주기적으로 삽입하는 과정을 도 8의 (b)에 도시된 바와 같이 인터폴레이션이라고 한다. 그림은 2배의 데이터 증감이 발생함을 알 수 있다.The description of decimation and interpolation used here is shown in FIG. 8. The process of bringing only a part of data at a predetermined period from the original signal is referred to as decimation as shown in FIG. In addition, the process of periodically inserting a predetermined ratio of data into the original signal is referred to as interpolation as shown in FIG. The figure shows that a double increase and decrease of data occurs.
에코생성부(173)는, 마이크입력신호에 오프라인 노래방과 같은 반향(에코)를 삽입하기 위한 부분이다. 보통의 오프라인 노래방인 경우 에코 삽입은 하드웨어 칩을 이용하여 구현된다. 그러나 본 발명에서는 소프트웨어적으로 구현함으로써 구현되는 장비의 생산비를 낮추는 효과가 있다.The echo generator 173 is a part for inserting echoes (echo), such as offline karaoke, into the microphone input signal. In the case of normal offline karaoke, echo insertion is implemented using a hardware chip. However, the present invention has the effect of lowering the production cost of the equipment implemented by implementing in software.
도 9는 본 발명에 의한 에코기능을 위한 블록도를 나타낸다. 지연소자와 피드백 루프의 조합을 이용하여 구현하였다. 입력신호(401)와 지연시킨 피드백신호를 합성하는 제1합성기(402)와, 그 제1합성기(402)의 출력신호를 소정시간(τmSec)지연시키는 지연기(403)와, 그 지연기(403)의 출력신호를 상기 제1합성기(402)로 피드백시키되 그 저항 크기에 의해 잔향시간을 조절하는 잔향 시간조절기(G2)(404)와, 상기 지연기(403)의 출력신호의 세기를 조절하여 잔향의 세기를 조절하기 위한 잔향세기 조절기(G1)(405)와, 그 잔향세기 조절기(405)의 출력신호와 상기 입력신호(401)를 합성하여 에코가 제어된 신호를 출력하는 제2합성기(406)로 구성된다.9 shows a block diagram for the echo function according to the present invention. It is implemented using a combination of delay element and feedback loop. A first synthesizer 402 for synthesizing the input signal 401 and the delayed feedback signal, a delay 403 for delaying the output signal of the first synthesizer 402 by a predetermined time? MSec, and the delay unit ( A reverberation time adjuster (G2) 404 for feeding back the output signal of the 403 to the first synthesizer 402 and adjusting the reverberation time by the resistance thereof, and adjusting the intensity of the output signal of the retarder 403. A second synthesizer for synthesizing the reverberation intensity (G1) 405 for adjusting the intensity of the reverberation, the output signal of the reverberation intensity controller 405 and the input signal 401, and outputting an echo controlled signal 406.
이와 같이 구성되는 에코 생성부(173)는, 잔향시간 조절기(G2)가 크면 잔향시간이 길고 잔향시간 조절기 G2가 작으면 잔향시간이 짧아 진다. 또한 잔향세기 조절기 G1의 값을 이용하여 잔향의 세기를 조절할 수 있다. 도 10은 에코생성부의 출력신호를 나타내고 있다. 크기가 1인 펄스를 입력에 인가하면 τmSec씩 늦어져서 규칙적으로 감쇠됨을 보여준다.The echo generator 173, which is configured as, reverberation time adjuster (G 2), the reverberation time becomes shorter if the reverberation time is long reverberation time regulator G 2 is less large. In addition, the reverberation intensity controller G 1 can be used to adjust the intensity of the reverberation. Fig. 10 shows the output signal of the echo generator. When a pulse of magnitude 1 is applied to the input, it is delayed by τmSec, indicating that it is regularly attenuated.
도 11은 본 발명의 실시예에 따른 통화중 노래방 기능제어흐름도를 보인 것이다. 11 is a flowchart illustrating a karaoke function control flow during a call according to an embodiment of the present invention.
즉, 2명의 음성통화자 혹은 다중 음성통화자들 사이에서 한 사용자가 노래반주기에 맞추어서 노래를 불렀을 때 해당 노래반주음과 사용자의 음성을 합한 오디오 데이터를 통화연결되어 있는 사용자들이 들을 수 있는 기능을 설명하고 있다. 이동통신 단말 A를 갖고 있는 사람이 이동통신단말B, C와 동시통화를 하는 도중 단말 A에서 메모리에 저장 되어 있는 디지털음원 노래 반주음에 맞추어서 노래를 부를 경우 해당 합성된 음성데이터는 기지국을 통하여 이동통신 단말B,C사용자에게 전달되는 시스템을 나타내고 있다.In other words, when a user sings a song between two voice callers or multiple voice callers, the user who is connected to the call can listen to audio data combining the song accompaniment sound and the user's voice. Explaining. When a person having a mobile communication terminal A sings in accordance with the digital sound source song accompaniment stored in the memory at the terminal A during a simultaneous call with the mobile communication terminals B and C, the synthesized voice data is moved through the base station. The system transmitted to the communication terminals B and C is shown.
먼저 휴대폰 간의 통화 연결이 이루어졌는지는 판단하는 제1단계는, 통화가 연결되어 있는지 확인한다. 만일 음성통화가 연결되었다면, 통화연결중에 노래방 기능을 선택하고 노래반주를 선택하게 되면, 휴대폰 내의 메모리에 선택된 노래반주에 대한 디지털음원 노래반주가 저장되어 있는지를 검색하는 제2단계를 수행한다. 노래반주 모드를 선택한 후 노래반주를 선택하면, 현재 핸드폰 단말에 디지털음원 노래반주 컨텐츠가 존재하는지 검사한다. 만일 디지털음원 노래반주 컨텐츠가 없다면 사용자의 선택에 따라 유/무선의 인터넷 망을 이용하여 해당컨텐츠를 다운로드 받을 수 있다.First, the first step of determining whether the call connection between the mobile phone is made, checks whether the call is connected. If the voice call is connected, when the karaoke function is selected and the song accompaniment is selected during the call connection, the second step of searching whether the digital sound recording karaoke for the selected song accompaniment is stored in the memory of the mobile phone is performed. When the song accompaniment mode is selected after the song accompaniment mode is selected, the digital music song accompaniment content is present in the mobile terminal. If there is no digital music song accompaniment content, the content can be downloaded using a wired / wireless internet network according to a user's selection.
이어서, 제2단계에서 선택된 노래반주가 검색되는 경우 해당 디지털음원 노래반주 디코딩을 수행하여 플레이시키는 제3단계를 수행하는데, 노래반주 재생 중에 사용자가 속도조절을 요구할 경우는 속도변환 기능을 수행한다. 사용자가 음정(피치)변환을 원한다면 피치변환을 수행한다. 또한 사용자가 에코조절을 원한다면 마이크 입력 음성신호에 에코를 생성한다.Subsequently, when the song accompaniment selected in the second step is searched, a third step of performing decoding by playing the corresponding digital sound source song accompaniment is performed. When the user requests the speed control during the song accompaniment playback, the speed conversion function is performed. If the user wants pitch conversion, perform pitch conversion. Also, if the user wants to adjust the echo, echo is generated in the microphone input voice signal.
이후, 상기 제3단계에서 노래반주가 플레이 되는 중에서 입력되는 마이크 입력신호와 또는 통화 연결중인 다른 휴대폰으로부터 수신된 통화수신음과 상기 디지털음원 노래 반주음을 합성하여 스피커에 출력하는 제4단계를 수행하고, 상기 제4단계에서 합성된 노래반주 및 음성 오디오신호를 휴대폰 무선송신을 위한 통화송신음으로 변환 처리후 휴대폰의 음성 송출신호로서 RF송신하는 제5단계를 수행한다. 즉, 마이크 입력신호, 디지털음원의 노래반주음 그리고 통화수신음을 합성하여 스피커로 출력함과 아울러 합성된 오디오 신호는 통화송신음처리 후 RF단을 거쳐 무선으로 데이터를 전송한다. 이와 동시에 사용자가 부른 노래는 파일로 저장될 수 있다. 사용자가 파일 저장 모드를 선택한 경우 합성된 오디오신호는 파일로 메모리에 저장된다. 저장된 데이터는 무선데이터 망을 이용하여 중앙서버에 저장 보관될 수 있다.Thereafter, in the third step, a fourth step of synthesizing the microphone input signal input while the song accompaniment is being played or the call reception sound received from another mobile phone connected to the call and the digital sound source song accompaniment is output to the speaker. Performing a fifth step of converting the song accompaniment and voice audio signals synthesized in the fourth step into a call transmission sound for wireless transmission of the mobile phone and then transmitting RF as the voice transmission signal of the mobile phone. That is, the microphone input signal, the vocal accompaniment of the digital sound source and the call reception sound are synthesized and output to the speaker, and the synthesized audio signal is wirelessly transmitted through the RF stage after the call transmission sound processing. At the same time, the song sung by the user may be saved as a file. When the user selects the file storage mode, the synthesized audio signal is stored in the memory as a file. Stored data can be stored and stored in a central server using a wireless data network.
한편, 상기 속도조절은, 속도 증/감 입력에 따라 속도 증가시에 디지털음원 노래반주의 진폭신호에 대해 사이 사이의 음을 솎아내는 데시메이션을 수행한 후 감소된 신호에 대응해서 피치를 감소시켜 속도를 증가한 노래반주신호를 생성하고, 속도 감소시에 디지털음원 노래반주의 진폭신호에 대해 사이 사이에 샘플음을 삽입하는 인터폴레이션을 수행한 후, 증가된 신호에 대응해서 피치를 증가시켜 노래반주신호를 생성하는 속도조절모드를 수행한다.On the other hand, the speed control is performed by decimating the sound between the digital sound source vocal accompaniment when the speed increases in accordance with the speed increase / decrease input and then decrease the pitch in response to the reduced signal Create an accompaniment signal with increased speed, perform interpolation by inserting a sample sound between the amplitude signals of the digital sound source accompaniment when the speed decreases, and increase the pitch in response to the increased signal. Performs the speed control mode to generate.
또한, 피치조절신호가 입력되면, 원신호에 대해 시간평면상 짧은 구간으로 나누는 윈도우를 적용하여 원신호를 주파수 스펙트럼으로 변환하는 단계와; 주파수 스펙트럼으로 변화된 신호를 퓨리에 변환하여 진폭스펙트럼 신호를 구하는 단계와; 상기 진폭스펙트럼 신호의 크기는 변화하지 않고 상기 피치조절 입력에 대응해서 주파수 대역만을 이동시키는 단계와; 주파수 대역이 이동된 진폭스펙트럼 신호를 역퓨리에 변환시켜 시간축에 대한 주파수 스펙트럼신호로 복원하는 단계와; 그 복원된 신호의 이웃한 데이터 프레임간의 불일치를 해소하기 위하여 윈도우 처리를 하여 전체 피치가 이동된 오디오신호를 생성하는 피치조절 모드를 수행한다.In addition, when the pitch control signal is input, converting the original signal into the frequency spectrum by applying a window for dividing the original signal into short sections on the time plane; Obtaining an amplitude spectrum signal by Fourier transforming the signal changed into the frequency spectrum; Shifting only a frequency band corresponding to the pitch control input without changing the magnitude of the amplitude spectrum signal; Converting an amplitude spectrum signal having a shifted frequency band into an inverse Fourier signal and restoring the frequency spectrum signal with respect to a time axis; In order to resolve the discrepancy between neighboring data frames of the restored signal, a pitch control mode is performed in which a window process is performed to generate an audio signal shifted by the entire pitch.
또한, 에코조절모드가 선택되고 에코조절신호가 입력되면, 마이크 입력신호와 피드백신호와 합성시키는 단계와; 그 합성된 신호를 소정시간 지연시키는 단계와; 상기 지연된 신호에 대해 에코의 크기를 조절하여 상기 피드백신호로서 합성단계로 피드백시키는 단계와; 상기 지연시킨 신호에 대해 에코의 세기를 조절하는 단계와; 상기 마이크 입력신호와 상기 에코의 세기를 조절한 신호를 합성하여 에코가 포함된 마이크 입력신호를 상기 제4단계의 마이크 입력신호로서 입력하는 에코조절모드를 수행한다.In addition, when the echo control mode is selected and the echo control signal is input, synthesizing the microphone input signal and the feedback signal; Delaying the synthesized signal by a predetermined time; Controlling the magnitude of the echo with respect to the delayed signal and feeding back to the synthesis step as the feedback signal; Adjusting the intensity of the echo with respect to the delayed signal; The echo control mode is performed by synthesizing the microphone input signal and the signal whose intensity is adjusted to input the microphone input signal including the echo as the microphone input signal of the fourth step.
도 12는 디지털음원 노래반주 컨텐츠의 이동경로를 그림으로 나타내고 있다. 이동통신단말A 사용자가 디지털음원 노래반주 컨텐츠를 사용하고자 한다면 개인용 PC를 이용, 유선으로 연결된 인터넷망을 이용하여 컨텐츠 제공업자의 서버에 접속한다. 서버에 접속한 후 적법한 절차에 의해서 구매된 디지털음원 노래반주 컨텐츠는 개인용 PC에 다운로드 한다.12 illustrates a movement path of the digital sound recording song accompaniment content. If a mobile communication terminal A user wants to use digital music song accompaniment content, he / she uses a personal PC to connect to a content provider's server using a wired internet network. After connecting to the server, the digital accompaniment song purchased by legitimate procedures is downloaded to a personal PC.
이 다운로드된 컨텐츠를 자신의 핸드폰인 이동통신 단말A에 다운로드하여 재생한다. 또한 무선으로 컨텐츠제공업자의 서버에 접속하여 디지털음원 노래반주 컨텐츠를 직접 무선단말에 다운로드 할 수도 있다. 디지털음원 노래반주 컨텐츠를 재생하면서 노래를 부른다. 이때 반주음과 자신의 음성을 파일로 저장할 수 있다. 저장된 파일은 유선으로 개인용 PC에 업로드하여 중앙 서버에 보낼수 있고 혹은 무선데이터 망을 이용하여 무선으로 녹음된 데이터파일을 보낼 수 있다. 중앙서버(예: 컨텐츠 제공업자의 서버)에 저장된 녹음파일들은 다양한 이벤트에 사용될 수 있으며 사용자 A가 자신이 원하는 사용자 B의 핸드폰으로 저장파일을 보낼 수도 있다.The downloaded content is downloaded to the mobile communication terminal A, which is its mobile phone, and played. In addition, it is also possible to wirelessly access the content provider's server to download digital music song accompaniment content directly to the wireless terminal. Sing songs while playing digital accompaniment song accompaniment contents. At this time, you can save the accompaniment sound and your voice as a file. The saved file can be uploaded to a personal PC by wire and sent to a central server, or the recorded data file can be sent wirelessly using a wireless data network. Recorded files stored on a central server (such as a content provider's server) can be used for a variety of events, and User A can send the stored files to User B's mobile phone.
한편, 본 발명의 또 다른 실시예로서, 도 13은 외부 저장장치와 유/무선 LAN연결장치를 이용한 외부 서버에 접속 가능한 형태의 디지털 음원 재생기를 나타내고 있다. CDROM, DVD, USB메모리 등과 같은 외부 저장장치(50)를 갖는 디지털 음원 재생기로서, 자동차 오디오기기, 셋탑박스, PDA 등을 예로 들 수 있고, LAN연결 장치(24)가 있는 디지털 음원재생기로는 IP셋탑박스 등을 예를 들 수 있다.On the other hand, as another embodiment of the present invention, Figure 13 shows a digital sound source player of the form that can be connected to an external server using an external storage device and a wired / wireless LAN connection device. As a digital sound player having an external storage device 50, such as a CDROM, DVD, USB memory, etc., examples thereof include car audio equipment, set-top box, PDA, etc., and a digital sound player having a LAN connection device 24 is IP. A set top box etc. are mentioned, for example.
디지털 음원 재생기는, 마이크(11)와 스피커(12)가 연결되어 오디오 입/출력을 하기 위하여 ADC(analog digital converter)와 DAC(digital analog converter)가 통합 되어진 오디오코덱(audio codec)부(13)와, 플레이 및 음악 선택등 기기 조작을 위한 다수의 키를 구비한 키입력부(14)와, 제어프로그램 및 음악 파일등을 저장하기 위한 메모리부(15)와, 외부데이터 저장장치와 연결하여 데이터 통신을 하기 위한 통신포트를 제공하는 외부저장장치연결부(16)와, 외부의 네트워크(LAN)과 연결하기 위한 유/무선 LAN연결장치(24)와, 상기 각부와 연결되고 디지털음원 재생기의 전체적인 기능을 제어하는 역할을 하고 반주의 피치,속도 조절과 에코조절등과 함께 노래반주를 제어하는 노래반주 제어부(170)를 포함하는 시스템 제어부(17)와, 그 시스템 제어부(17)의 제어에 의해 디지털 음원이나 동영상 같은 것을 재생하기 위해서 램(23)을 이용하여 신호처리하는 고성능의 연산전용 DSP(21)와, LCD(20)에 글자나 아이콘과 같은 메시지를 표시하기 위하여 LCD콘트롤러(19)를 통해 제어하는 OSD부(18)로 구성된다. 여기서 외부 네트워크와 연결할 수 있게 하는 유/무선 LAN 연결장치(24)는 시스템에 따라서 없을 수도 있고 IP셋탑박스와 같이 인터넷에 연결할 수 있는 디지털 음원 재생기 등에는 포함 된다. The digital sound source player includes an audio codec unit 13 in which an analog digital converter (ADC) and a digital analog converter (DAC) are integrated to connect the microphone 11 and the speaker 12 to perform audio input / output. And a data input in connection with an external data storage device and a key input unit 14 having a plurality of keys for operating a device such as play and music selection, a memory unit 15 for storing control programs and music files, and the like. External storage device connection unit 16 for providing a communication port for connecting, wired / wireless LAN connection device 24 for connecting to an external network (LAN), and the overall function of the digital sound player A system controller 17 including a song accompaniment control unit 170 which serves to control and controls song accompaniment along with accompaniment pitch, speed control and echo control, and the digital sound source under the control of the system controller 17. this High performance arithmetic dedicated DSP 21 for signal processing using RAM 23 to reproduce video, and LCD controller 19 for controlling messages such as letters and icons on LCD 20 The OSD unit 18 is configured. Here, the wired / wireless LAN connection device 24 for connecting to an external network may be absent depending on the system, and may be included in a digital sound player such as an IP set-top box that can connect to the Internet.
따라서, 본 발명에서 디지털음원 재생기로서, MP3플레이어, 차량용 MP3플레이어, 오디오기기 및 셋톱박스, IP셋톱박스, 등등에 적용할 수 있고, 휴대폰에도 적용가능하며, 기존의 노래방 제어기들과는 다르게 MP3파일등을 노래반주 제어부에 의해 속도, 피치, 에코 조절등을 하면서 노래반주 기능을 제어할 수 있게 된다.Therefore, in the present invention, as a digital sound player, it can be applied to an MP3 player, a car MP3 player, an audio device and a set-top box, an IP set-top box, and the like, and is also applicable to a mobile phone, unlike conventional karaoke controllers. The song accompaniment control unit can control the song accompaniment function while adjusting speed, pitch, and echo.
기존의 핸드폰에 구현되어 있던 미디 노래방은 열악한 음질, 음정, 재생속도, 에코 및 마이크 입력신호 믹싱 기능이 없는 것이 단점이었다.Midi karaoke, which has been implemented in the existing mobile phones, has a disadvantage of poor sound quality, pitch, playback speed, echo and microphone input signal mixing.
이러한 단점을 해결하고자 디지털음원 노래반주 시스템을 고안했으며 디지털음원 노래반주기 이기 때문에 구현이 어려웠던 음정변화, 재생속도변화, 에코생성을 소프트웨어로 구현하였다. 또한 지금까지 단지 자막의 글자단위 반전이 되는 것에만 머물러 있던 핸드폰 노래방 기능을 마이크입력과 디지털음원 노래 반주음을 합성하여 스피커를 통하여 들려줌으로 해서 훨씬 오프라인 노래방에 가깝게 시스템을 구성할 수 있었다. 합성된 오디오는 파일로 저장되어 중앙서버에 저장될 수 있다. 저장된 파일을 이용하여 다양한 이벤트(주간 최고 가수 등등..)을 진행할 수 있다.To solve these shortcomings, we devised a digital music song accompaniment system and implemented the software to change the pitch, playback speed, and echo that were difficult to implement because of the digital music song accompaniment cycle. In addition, by combining the microphone input and the digital music song accompaniment sound through the speaker to the cell phone karaoke function that has remained only in the inversion of the subtitles of the letter unit was able to configure the system much closer to offline karaoke. The synthesized audio may be stored in a file and stored in a central server. You can use the saved file to run various events (weekly best singers, etc.).
또한 이러한 디지털음원 노래반주음 재생을 무선음성통화와 결합하여 서비스가 가능하도록 할 수 있다. 동시에 여러 사람이 원거리에서도 다른사람이 디지털음원 노래반주음에 맞추어서 노래 부르는 것을 들을 수 있는 시스템이 가능하다.In addition, such digital sound source song accompaniment reproduction can be combined with a wireless voice call to enable a service. At the same time, it is possible to have a system that allows several people to hear others singing to the digital accompaniment sound even from a distance.
도 1은 본 발명에 의한 휴대용 디지털음원 재생기를 이용한 노래방 시스템 블록도.1 is a block diagram of a karaoke system using a portable digital sound player according to the present invention.
도 2는 본 발명에 의한 휴대폰을 이용한 노래방 시스템 블록도.Figure 2 is a block diagram of a karaoke system using a mobile phone according to the present invention.
도 3은 본 발명에 의한 휴대용 디지털음원 재생기를 이용한 노래방 시스템의 노래반주 제어부 블록도.Figure 3 is a block diagram of the karaoke accompaniment of the karaoke system using a portable digital sound source player according to the present invention.
도 4은 본 발명에 의한 휴대폰을 이용한 노래방 시스템의 노래반주 제어부 블록도.Figure 4 is a block diagram of the accompaniment of the karaoke system using a mobile phone according to the present invention.
도 5는 본 발명에 의한 피치 조절부의 블록도.5 is a block diagram of a pitch adjustment unit according to the present invention.
도 6은 본 발명에 의한 피치 이동 설명도.6 is an explanatory diagram of pitch movement according to the present invention;
도 7은 본 발명에 의한 속도 조절부의 블록도.7 is a block diagram of a speed control unit according to the present invention.
도 8은 본 발명에 의한 속도 조절부의 데시메이션 예시(a)와, 인터폴레이션의 예시(b)를 보인 도면.8 is a diagram illustrating an example (a) of decimation of the speed controller according to the present invention and an example (b) of interpolation.
도 9는 본 발명에 의한 에코 생성부의 블록도.9 is a block diagram of an echo generating unit according to the present invention;
도 10은 본 발명에 의한 에코 생성의 설명도.10 is an explanatory diagram of echo generation according to the present invention;
도 11은 본 발명에 의한 휴대폰간의 노래방 서비스 제어 흐름도.11 is a flowchart illustrating a karaoke service control between mobile phones according to the present invention.
도 12는 본 발명의 디지털 음원 노래반주 컨텐츠의 흐름 예시도.12 is an exemplary flow diagram of a digital sound recording song accompaniment content of the present invention.
도 13에서 외부 저장장치와 유/무선 LAN연결장치를 이용한 외부 서버에 접속 가능한 형태의 디지털음원 재생기를 나타내고 있다.FIG. 13 illustrates a digital sound player that can be connected to an external server using an external storage device and a wired / wireless LAN connection device.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
10 : 디지털 음원 재생기 100 : 휴대폰10: digital sound player 100: mobile phone
11, 111 : 마이크 12, 112 : 스피커11, 111: microphone 12, 112: speaker
13, 113 : 오디오 코덱부 14 , 114 : 키입력부13, 113: audio codec unit 14, 114: key input unit
15, 115 : 메모리부 16, 116 : PC연결부15, 115: memory 16, 116: PC connection
17 : 시스템 제어부 18, 118 : OSD부17: system control unit 18, 118: OSD unit
19, 119 : LCD 콘트롤러 20, 120 : LCD19, 119: LCD controller 20, 120: LCD
21, 121 : DSP 22, 122 : RAM21, 121: DSP 22, 122: RAM
30 : PC 30: PC
31 : 디지털음원재생기/휴대폰 연결부 32 : 중앙처리장치31: digital sound player / mobile phone connection unit 32: central processing unit
33 : 메모리부 34 : 키입력부33: memory unit 34: key input unit
35 : 모니터 40 : 서버35: monitor 40: server
117 : 휴대폰 제어부 123 : RF부117: mobile phone control unit 123: RF unit
124 : 안테나 170 : 노래반주 제어부124: antenna 170: song accompaniment control
171 : 파일 입/출력 처리부 172 : 믹서171: File input / output processing unit 172: Mixer
173 : 에코생성부 174 : 피치, 속도조절부173: echo generator 174: pitch, speed control unit
175 : 음성 데이터 선택부 176 : 송신음 처리부175: voice data selection unit 176: transmission sound processing unit
178 : 수신음 처리부 200 : 피치 조절부178: reception sound processing unit 200: pitch adjustment unit
202, 206 : 윈도우 203 : 퓨리에변환부(FET)202 and 206: window 203: Fourier transform unit (FET)
204 : 스펙트럼 쉽프트 205 : 역 퓨리에 변환부204: spectrum shift 205: inverse Fourier transform unit
302 : 속도증감 판별부 303 : 데시메이션부302: speed increasing and determining unit 303: decimation unit
304 : 인터폴레이션부 304 : 피치(-)쉬프트304: interpolation unit 304: pitch (-) shift
305 : 피치 (+)쉬프트305: pitch shift
Claims (15)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050103724A KR100717324B1 (en) | 2005-11-01 | 2005-11-01 | A Karaoke system using the portable digital music player |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050103724A KR100717324B1 (en) | 2005-11-01 | 2005-11-01 | A Karaoke system using the portable digital music player |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050110592A true KR20050110592A (en) | 2005-11-23 |
| KR100717324B1 KR100717324B1 (en) | 2007-05-15 |
Family
ID=37286095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050103724A KR100717324B1 (en) | 2005-11-01 | 2005-11-01 | A Karaoke system using the portable digital music player |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100717324B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100765803B1 (en) * | 2006-07-26 | 2007-10-12 | 주식회사 엔터기술 | Video music accompaniment apparatus having real time saving and playing function |
| KR100911164B1 (en) * | 2007-05-28 | 2009-08-06 | 심현석 | An exterior apparatus of mixing sound for computer |
| CN101404156B (en) * | 2007-10-02 | 2013-04-24 | 株式会社音特技术 | Wireless music accompaniment apparatus having control function of audio signal output level |
| US20220215821A1 (en) * | 2020-01-22 | 2022-07-07 | Beijing Dajia Internet Information Technology Co., Ltd. | Method for processing audio and electronic device |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101333163B1 (en) * | 2012-03-06 | 2013-12-02 | (주) 임앤정 | Apparatus and method for controling speed of playing music file |
| KR102142542B1 (en) * | 2018-03-15 | 2020-08-07 | 주식회사 엔터미디어 | Apparatus of Karaoke Platform |
| KR20220016552A (en) * | 2020-08-03 | 2022-02-10 | 삼성전자주식회사 | The method for processing data and the electronic device supporting the same |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100576601B1 (en) * | 2004-11-04 | 2006-05-04 | 주식회사 엔터기술 | Portable karaoke |
-
2005
- 2005-11-01 KR KR1020050103724A patent/KR100717324B1/en not_active IP Right Cessation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100765803B1 (en) * | 2006-07-26 | 2007-10-12 | 주식회사 엔터기술 | Video music accompaniment apparatus having real time saving and playing function |
| KR100911164B1 (en) * | 2007-05-28 | 2009-08-06 | 심현석 | An exterior apparatus of mixing sound for computer |
| CN101404156B (en) * | 2007-10-02 | 2013-04-24 | 株式会社音特技术 | Wireless music accompaniment apparatus having control function of audio signal output level |
| US20220215821A1 (en) * | 2020-01-22 | 2022-07-07 | Beijing Dajia Internet Information Technology Co., Ltd. | Method for processing audio and electronic device |
| US11636836B2 (en) * | 2020-01-22 | 2023-04-25 | Beijing Dajia Internet Information Technology Co., Ltd. | Method for processing audio and electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100717324B1 (en) | 2007-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100717324B1 (en) | A Karaoke system using the portable digital music player | |
| KR20080053251A (en) | The karaoke system which has a song studying function | |
| US20040011190A1 (en) | Music data providing apparatus, music data reception apparatus and program | |
| EP0986046A1 (en) | System and method for recording and synthesizing sound and infrastructure for distributing recordings for remote playback | |
| WO2009064322A1 (en) | Apparatus and methods for augmenting a musical instrument using a mobile terminal | |
| EP1555852A2 (en) | Apparatus and method for playing and storing three-dimensional stereo sound in communication terminal | |
| WO2007091475A1 (en) | Speech synthesizing device, speech synthesizing method, and program | |
| KR100619826B1 (en) | Music and audio synthesize apparatus and method for mobile communication device | |
| JP4305084B2 (en) | Music player | |
| US20020066359A1 (en) | Tone generator system and tone generating method, and storage medium | |
| JP2001356784A (en) | Terminal device | |
| KR100731232B1 (en) | Musical data editing and reproduction apparatus, and portable information terminal therefor | |
| KR200447608Y1 (en) | Superior sound multi-channel audio system for karaoke using dsp | |
| KR100605919B1 (en) | Method for offering sound per function and mobile phone therefor | |
| JP2019040167A (en) | Karaoke device and control method thereof | |
| KR100489162B1 (en) | A system for processing music data and a method thereof | |
| JP4168391B2 (en) | Karaoke apparatus, voice processing method and program | |
| KR100650938B1 (en) | A noraebang system on digital audio devices and controlling method thereof | |
| JP2009244294A (en) | Electronic musical sound generation device and program | |
| CN117558301A (en) | Method, device and sound equipment for recording and storing playing audio | |
| KR19980074240A (en) | Digital Audio Player for Internet Communication Terminal | |
| KR100891669B1 (en) | Apparatus for processing an medium signal and method thereof | |
| Ciesla | Bits, Sample Rates, and Other Fundamentals of Digital Audio | |
| JP2003228385A (en) | Portable terminal device | |
| JP4337726B2 (en) | Portable terminal device, program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120806 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |