KR101014884B1

KR101014884B1 - Motion control device for robot by music recognition

Info

Publication number: KR101014884B1
Application number: KR1020080098649A
Authority: KR
Inventors: 박상호; 최성일
Original assignee: 충남대학교산학협력단
Priority date: 2008-10-08
Filing date: 2008-10-08
Publication date: 2011-02-15
Also published as: KR20100039613A

Abstract

본 발명은 음악인식모듈을 통하여 인식된 음악에 의해 로봇의 움직임을 제어할 수 있게 한 음악 인식을 통한 로봇의 동작제어장치에 관한 것이다. The present invention relates to an operation control apparatus of a robot through music recognition, which enables the movement of the robot by music recognized through a music recognition module.

즉, 음악 인식모듈을 이용하여 외부의 음악으로부터 음악의 정보를 분석하고 분석된 음악에 맞추어 능동적으로 로봇이 움직일 수 있도록 로봇의 동작을 제어할 수 있게 한 음악 인식을 통한 로봇의 동작제어장치에 관한 것이다. In other words, by using the music recognition module to analyze the information of the music from the outside music and to control the operation of the robot so that the robot can move actively in accordance with the analyzed music to the motion control device of the robot through the music recognition will be.

이러한 본 발명의 따른 음악 인식을 통한 로봇의 동작제어장치는 입력된 음악을 인식하여 음원의 기본정보인 비트시각, 박자, 피치를 추출하는 음악인식모듈과 ; 상기 음악인식모듈에서 인식된 음악정보와 동작정보DB에 저장된 정보를 동기화하여 로봇의 동작을 생성하는 동작생성모듈과 ; 상기 동작생성모듈에서 생성된 로봇동작 제어정보가 저장되는 로봇동작DB와 ; 상기 로봇동작DB에 저장된 정보를 불러들여 로봇의 동작을 제어하는 로봇동작제어모듈을 포함하여 구성된다.The robot motion control apparatus using the music recognition according to the present invention includes a music recognition module for recognizing input music and extracting beat time, time signature, and pitch which are basic information of a sound source; A motion generation module for generating a robot motion by synchronizing the music information recognized by the music recognition module with the information stored in the motion information DB; A robot motion DB for storing robot motion control information generated by the motion generation module; It comprises a robot motion control module for controlling the operation of the robot by reading the information stored in the robot motion DB.

비트 정보 추출, 비트 동기화 Bit Information Extraction, Bit Synchronization

Description

Motion control device for robot by music recognition}

본 발명은 로봇의 동작제어장치 및 방법에 관한 것으로써, 상세하게는 음악인식모듈을 통하여 인식된 음악에 의해 로봇의 움직임을 제어할 수 있게 한 음악 인식을 통한 로봇의 동작제어장치에 관한 것이다. The present invention relates to a motion control apparatus and a method of a robot, and more particularly, to a motion control apparatus of a robot through music recognition that enables the movement of the robot by music recognized through a music recognition module.

산업이 발달함에 따라 최근 다양한 로봇이 개발되어 제공되고 있다. As the industry develops, various robots have recently been developed and provided.

이러한 로봇 들 중에는 특정한 소리에 반응하여 움직이는 로봇이 있고 특히, 특정 소리를 들으면 춤을 추는 로봇이 있다. Among these robots are robots that move in response to specific sounds, and in particular, robots that dance when they hear certain sounds.

이러한 종래의 로봇 동작 기술의 경우 동작을 미리 정의하여 정해진 동작에 맞추어 로봇이 움직인다. 즉, 종래의 로봇은 기 입력된 특정한 음악에 맞추어서 동작을 하므로 다양한 빠르기나 장르의 음악에 대한 동작 생성의 경우 매번 동작을 재구성 및 재정의 해야 하는 방식이다. In the conventional robot operation technology, the robot moves according to a predetermined motion by defining an operation in advance. That is, since the conventional robot operates according to specific music inputted in advance, in the case of generating motions for music of various speeds or genres, the motions must be reconfigured and redefined each time.

이렇게 음악에 맞추어 로봇의 동작을 제어하는 방법의 경우, 특정 음악에 맞추어 미리 정의된 동작이 아닌 다른 음악에 대하여는 반응을 하지 않거나 음악과 다른 동작으로 움직여 다양한 음악에 맞추어 능동적으로 동작을 할 수 없는 문제가 있었다. In the case of controlling the robot's movement in accordance with the music, the robot does not respond to the music other than the predefined movement for the specific music or moves differently from the music, so that the robot cannot move actively to the various music. There was.

본 발명은 위와 같은 종래 기술의 문제점을 해소하기 위해 개발된 것으로써, 음악을 인식할 수 있는 음악인식모듈을 구비하여 특정한 음악이 아닌 다양한 장르의 음악을 분석하고 이 분석된 음악에 맞추어 로봇이 동작할 수 있게 한 음악 인식을 통한 로봇의 동작제어장치를 제공함을 목적으로 한다. The present invention has been developed to solve the problems of the prior art as described above, equipped with a music recognition module that can recognize the music to analyze the music of various genres instead of specific music and the robot operates in accordance with the analyzed music An object of the present invention is to provide a robot motion control apparatus through music recognition.

즉, 본 발명은 음악 신호로부터의 비트 및 박자 인식하고, 인식된 음악정보와 동기화되어 동작을 하는 음악 인식을 통한 로봇의 동작제어장치를 제공함을 목적으로 한다. That is, an object of the present invention is to provide a motion control apparatus for a robot through music recognition, which recognizes beats and beats from a music signal and operates in synchronization with the recognized music information.

이러한 본 발명의 따른 음악 인식을 통한 로봇의 동작제어장치는 입력된 음악을 인식하여 음원의 기본정보인 비트시각, 박자, 피치를 추출하는 음악인식모듈과 ; 상기 음악인식모듈에서 인식된 음악정보와 동작정보DB에 저장된 정보를 동기 화하여 로봇의 동작을 생성하는 동작생성모듈과 ; 상기 동작생성모듈에서 생성된 로봇동작 제어정보가 저장되는 로봇동작DB와 ; 상기 로봇동작DB에 저장된 정보를 불러들여 로봇의 동작을 제어하는 로봇동작제어모듈을 포함하여 구성된다.The robot motion control apparatus using the music recognition according to the present invention includes a music recognition module for recognizing input music and extracting beat time, time signature, and pitch which are basic information of a sound source; A motion generation module for generating a robot motion by synchronizing the music information recognized by the music recognition module with the information stored in the motion information DB; A robot motion DB for storing robot motion control information generated by the motion generation module; It comprises a robot motion control module for controlling the operation of the robot by reading the information stored in the robot motion DB.

본 발명은 입력된 음악을 음악인식모듈에서 음악 정보를 추출하여 동작생성모듈에서 로봇의 동작을 생성하여 로봇이 입력되는 음악에 따라 동작할 수 있게 함으로써 로봇이 다양한 음악에 능동적으로 반응하여 동작할 수 있는 효과가 있다. The present invention extracts the music information from the music recognition module of the input music to generate the robot's motion in the motion generation module so that the robot can operate according to the input music so that the robot can actively respond to various music. It has an effect.

이하, 본 발명에 따른 음악 인식을 통한 로봇의 동작제어장치를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, an operation control apparatus of a robot through music recognition according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 음악 인식을 통한 로봇의 동작제어장치의 구성도이다. 1 is a block diagram of a robot motion control apparatus through music recognition according to the present invention.

도시한 바와 같이 본 발명에 따른 음악 인식을 통한 로봇의 동작제어장치는 입력된 음악을 인식하여 음원의 기본정보인 비트시각, 박자, 피치를 추출하는 음악인식모듈(1)과 ; 상기 음악인식모듈에서 인식된 음악정보와 동작정보DB(21)에 저장된 정보를 동기화하여 로봇의 동작을 생성하는 동작생성모듈(2)과 ; 상기 동작생성모듈(2)에서 생성된 로봇동작 제어정보가 저장되는 로봇동작DB(3)와 ; 상기 로봇동작DB(3)에 저장된 정보를 불러들여 로봇(100)의 동작을 제어하는 로봇동작제어모 듈(4)를 포함하여 구성된다. As shown, the motion control apparatus of the robot through music recognition according to the present invention includes a music recognition module (1) for recognizing input music and extracting beat times, beats, and pitches as basic information of a sound source; A motion generation module 2 for generating a motion of the robot by synchronizing the music information recognized by the music recognition module with the information stored in the motion information DB 21; A robot motion DB 3 for storing robot motion control information generated by the motion generation module 2; It comprises a robot motion control module (4) for controlling the operation of the robot 100 by reading the information stored in the robot motion DB (3).

상기 음악인식모듈(1)은 입력되는 음원을 읽어 기본정보, 즉 비트시각, 박자, 피치 등을 추출하는 수단으로 그 일예를 설명하면 아래와 같다. The music recognition module 1 reads an input sound source and extracts basic information, that is, beat time, time signature, pitch, and the like.

즉, 실시간으로 입력되는 음악을 분석하여 비트정보를 추출하기 위해서 음원은 4/4박자, 60~120BPM, Stable & effective beat sound로 가정하였다. That is, in order to extract the beat information by analyzing the music input in real time, the sound source is assumed to be 4/4 beats, 60 ~ 120BPM, Stable & effective beat sound.

음악신호를 16KHz, 1-channel, 16-bit 형식으로 캡춰하였으며, 512 sample 단위로 FFT를 실행하여 0~125Hz, 125~250Hz, 250~500Hz, 500~1KHz, 1~2KHz, 2~4KHz, 4~8KHz로 7-band Onset-agents를 구성하였다.Music signal was captured in 16KHz, 1-channel, 16-bit format, and FFT was executed in 512 sample unit, 0 ~ 125Hz, 125 ~ 250Hz, 250 ~ 500Hz, 500 ~ 1KHz, 1 ~ 2KHz, 2 ~ 4KHz, 4 7-band Onset-agents were configured at ~ 8KHz.

이렇게 구성된 각 Onset-agents는 새로운 음이 시작되는 Onset-time을 추출하며, 독립적인 7개의 Onset-values가 시간의 흐름에 따라서 관리된다. 이러한 과정에서 도출된 7-band Onset-time Vector 중에서 가장 규칙적으로 비트가 반복되는 Onset-agents을 선택하고 그 결과를 다시 7-band Onset-time Vector와 Cross-correlation을 적용하여 현재 입력된 음악신호에 비트가 포함되었는지 여부를 도출함으로써 음악의 정보를 추출한다. Each configured Onset-agents extracts Onset-time at which a new note starts, and seven independent Onset-values are managed over time. From the 7-band Onset-time Vector derived from this process, select the Onset-agents whose beats repeat regularly and apply the result to the 7-band Onset-time Vector and Cross-correlation again to the currently input music signal. The music information is extracted by deriving whether or not the beat is included.

상기 동작생성모듈(2)은 동작정보DB(21)에 기 저장된 동작정보와 상기 음악인식모듈(1)에서 인식한 음악정보를 동기화시켜 로봇의 동작을 생성한다. The motion generation module 2 generates a motion of the robot by synchronizing motion information previously stored in the motion information DB 21 and music information recognized by the music recognition module 1.

상기 동작정보DB(21)에는 다양한 음악에 따른 인간의 동작 장보가 저장되어 있으며, 이러한 동작정보들 중 음악정보와 일치되는 동작정보를 추출하여 로봇의 동작정보를 생성한다. The motion information DB 21 stores human motion information according to various music, and extracts motion information matching the music information from the motion information to generate motion information of the robot.

상기 음악정보와 동기화시키기 위한 동작정보로는 춤 동작을 선택하였고, 댄 서가 이들 음악에 맞추어 추는 춤동작에 대하여 모션 캡쳐를 수행하였다. Dance motion was selected as the motion information for synchronizing with the music information, and motion capture was performed on the dance motions that the dancer dances to the music.

모션 캡쳐 장비로는 한국과학기술연구원(KIST) 내 지능형 로봇 연구센터에 설치된 Motion Analysis의 광학식 모션캡쳐 장비를 사용하였다. 모션 캡쳐를 시작하기 전에 댄서가 선정된 곡을 2~3회 정도 듣고 춤동작을 구상할 수 있도록 하였으며, 광학식 모션캡쳐 장비의 특성상 캡쳐가 어렵다고 판단되는 동작, 즉 마커 트래킹의 sampling rate에 비해 상대적으로 너무 빠른 동작, 양팔을 어깨주위로 접어 감싸는 것과 같이 마커를 신체의 일부가 가리는 것과 같은 동작 등은 포함하지 않게 하였다. As motion capture device, we used optical motion capture device of Motion Analysis installed in intelligent robot research center of KIST. Before starting to capture the motion, the dancer listened to the selected song about 2 ~ 3 times and envisioned the dance movement.The characteristics of the optical motion capture equipment make it difficult to capture, that is, compared to the sampling rate of marker tracking. Do not include too fast movements, such as covering part of your body with your arms folded around your shoulders.

위와 같은 과정을 거쳐 획득한 모션 데이터는 Motion Analysis의 EVaRT를 사용하여 끊어짐(gap)이나 튐(spike) 등을 제거한 후 HTR형식의 파일로 저장하였다. HTR 형식은 모션캡쳐시의 기본 포즈를 이용해 Base Position부분에 저장하고, Base Position으로부터의 상대적인 위치, 회전정보를 각 세그먼트의 프레임 부분에 저장하고 있다. The motion data obtained through the above process was removed in the HTR format after removing gaps and spikes using EV Analysis of Motion Analysis. The HTR format uses the basic pose when capturing motion and stores it in the Base Position part, and stores the relative position and rotation information from the Base Position in the frame part of each segment.

본 발명의 프로토타입 시스템에서는 캡쳐된 동작을 공연에 사용된 음악과 함께 사용하는 방법을 택함으로써 가장 단순한 형태의 동기화를 먼저 테스트하였으나, 동작들 간의 연결이 늘 동일하게 반복되며, 음악의 선택에 있어서도 공연에 사용된 음악만으로 제한된다는 단점이 있어 동작을 최소 단위의 기본 동작들로 세분화하고, 음악 신호에 의해 기본 동작들이 수동, 혹은 자동으로 선택되게 하였다. In the prototype system of the present invention, the simplest form of synchronization was first tested by using the captured motions with the music used in the performance, but the connections between the motions are always repeated in the same way. The disadvantage is that it is limited to only the music used in the performance, which breaks down the movement into the minimum basic movements, and allows the basic movements to be manually or automatically selected by the music signal.

위와 같이 동작생성모듈(2)에서 생성된 로봇동작정보는 상기 로봇동작DB(3)에 저장되고, 이 로봇동작DB(3)에 저장된 정보를 읽어들여 캐릭터의 움직임을 화면 에 재생하는 프로그램이 구성되어 있고, 이러한 프로그램을 위해 애니메이션의 주기를 손쉽게 제어할 수 있는 기능과, 데이터의 보간(interpolation) 기능이 내장되어 있는 실시간 그래픽스 라이브러리인 OpenGL Performer가 사용되었다.The robot motion information generated by the motion generation module 2 as described above is stored in the robot motion DB 3, and a program for reading the information stored in the robot motion DB 3 and reproducing the motion of the character on the screen is configured. For this program, OpenGL Performer, a real-time graphics library with easy control of animation cycles and built-in interpolation of data, was used.

프로그램은 먼저, 읽어들인 모션데이터의 계층구조 정보를 이용하여 장면그래프 내에 세그먼트들 간의 계층구조를 설정하고, 다음으로 기본자세 정보를 읽어들여 세그먼트들의 기준이 되는 위치와 회전각을 설정하며, 이후, 각 세그먼트들의 기본자세에 대한 상대적인 위치와 회전각을 프레임 단위로 배열에 저장한다. The program first sets the hierarchical structure between the segments in the scene graph by using the hierarchical information of the read motion data, and then sets the position and the rotation angle of the segments by reading the basic posture information. The position and rotation angle of each segment relative to the basic position are stored in the array in units of frames.

마지막으로, OpenGL Performer에서 제공하는 보간 기능을 사용하여 캐릭터의 동작을 디스플레이 한다.Finally, the interpolation feature provided by OpenGL Performer is used to display the character's behavior.

하나의 세그먼트에 대하여 OpenGL Performer 라이브러리에서 제공하는 Animation engine과 Time engine을 설정하여야 하고, Animation Engine은 프레임 단위로 설정된 위치와 회전각에 대해 자동으로 보간하는 기능을 가지며, Time engine은 재생될 모션 동작의 프레임 범위와 재생의 빈도를 설정하는 데 사용된다.The animation engine and time engine provided by OpenGL Performer library should be set for one segment. The animation engine has the function to automatically interpolate the position and rotation angle set in units of frames. Used to set the frame range and playback frequency.

Animation engine은 time scale을 적용한 Time engine의 출력을 토대로 세그먼트의 프레임 범위, 재생 빈도를 제어한다.The animation engine controls the frame range and refresh rate of the segment based on the output of the time engine with time scale applied.

Animation engine은 각 세그먼트마다 하나씩 존재하며, 한 세그먼트에의 변환 정보는 기본포즈의 변환 정보와 각 프레임에서의 변환 정보를 결합하여 결정되고, Animation engine 과정의 출력인 동적 데이터(pfFlux)를 매개변수로 하여 변환노드(pfFCS)를 생성한다. 이 변환 노드는 프레임 단위로 세그먼트(pfGeode)를 변환하는 역할을 한다.There is one animation engine for each segment, and the transformation information of one segment is determined by combining the transformation information of the basic pose and the transformation information in each frame. To generate the conversion node (pfFCS). This transform node is responsible for converting segments (pfGeode) on a frame basis.

상기 로봇동작제어모듈(4)은 상기 로봇동작DB(3)에 기 저장된 로봇동작정보를 불러들여 입력되는 음원과 동기화시켜 로봇에 전송하여 로봇이 동작하게 하는 것으로 상기 음악인식모듈(1)과 연동 환경을 구축하고, 간단한 형태의 동기화를 구현하였다. 즉, 문제를 단순화하여 리듬과 비트시각, 그리고 주기가 이미 알려져 있는 모션 데이터를 사용하였고, 음악과 모션을 동시에 재생하면서 임의의 순간에 음원의 비트 시각과 모션의 그것이 최대한 일치할 수 있도록, 모션의 위상(phase)과 주기(period)를 조절하는 Greedy 알고리즘을 사용하였다. The robot motion control module 4 reads the robot motion information previously stored in the robot motion DB 3 and synchronizes with the input sound source to be transmitted to the robot so that the robot can operate. We built an environment and implemented a simple form of synchronization. In other words, the problem is simplified so that the rhythm, beat time, and period of the motion data are already known, and at the same time, the beat time of the sound source and the motion of the motion can be matched as much as possible. A Greedy algorithm was used to control the phase and period.

상기와 같이 구성된 음악 인식을 통한 로봇의 동작제어장치는 상기 음악인식모듈(1)을 음악 서버로 구현하여, 읽어들인 음악에 대한 비트 정보와 기타 정보를 메시지 패킷에 담아 스트리밍 하도록 구현하였으며, 로봇동작제어모듈(4)은 클라이언트캡슐화(encapsulation)하여 음악 서버로부터 실시간에 비트 정보를 전달받을 수 있도록 하였으며, 음악인식모듈(1)서버를 실행한 뒤 음악 파일을 열면 서버가 비트를 인식하기 시작하여, 인식 결과에 대한 메시지화 및 스트리밍 서비스를 시작하면서 클라이언트 대기 상태가 된 후 서버에 접속한 클라이언트는 서버로부터 받은 메시지를 열어 현재 시각이 비트 시각인지의 여부를 읽은 뒤, 비트인 경우 자신이 재생하고 있는 모션의 비트 시각과의 차이를 최소화하고 주기를 일치시킬 수 있도록 모션 데이터의 주기와 위상을 변경할 수 있게 하였다. The motion control apparatus of the robot through the music recognition configured as described above implements the music recognition module 1 as a music server so as to stream bit information and other information about the read music in a message packet and to operate the robot. The control module 4 encapsulates the client to receive the beat information from the music server in real time. When the music recognition module 1 opens the music file after executing the server, the server starts to recognize the beat. The client accessing the server after starting the messaging and streaming service for the recognition result and waiting for the client, opens a message received from the server, reads whether the current time is in bit time, and if it is a bit, plays it. Notes of motion data to minimize the difference from the bit time of motion and to match the period And were able to change the phase.

상기 음악인식모듈(1)과 로봇동작제어모듈은 모두 윈도우즈 Visual Studio 6.0작업 환경에서 개발되었으며, 실험에 사용한 PC의 사양은 Intel Pentium4 3.02GH, 1GB RAM, ATI Radeon X300/X550 그래픽 카드이고, 서버 즉 음악인식모듈과 로봇동작제어모듈(클라이언트)을 연동하여 모션 와핑에 의한 동기화가 이루어지게 하였다.The music recognition module (1) and the robot motion control module were both developed in the Windows Visual Studio 6.0 working environment, and the specifications of the PC used in the experiment were Intel Pentium4 3.02GH, 1GB RAM, ATI Radeon X300 / X550 graphics card, The music recognition module and the robot motion control module (client) are interlocked to achieve synchronization by motion warping.

위와 같이 구성된 음악 인식을 통한 로봇의 동작제어장치에 있어서 상기 로봇동작DB(3)와 로봇동작제어모듈(4)을 로봇(100)에 일체로 구성되어 있고, 상기 음악인식모듈(1)과 동작생성모듈(2)은 TCP/IP프로토콜로 신호의 전송이 이루어진다. In the robot motion control apparatus through the music recognition configured as described above, the robot motion DB 3 and the robot motion control module 4 are integrally configured with the robot 100, and operate with the music recognition module 1. The generation module 2 is a signal transmission to the TCP / IP protocol.

또한, 상기 동작생성모듈(2)과 로봇동작제어모듈(4)사이의 통신은 블루투스(bluetooth) 무선 통신으로 이루어지게 함으로써 로봇이 보다 자유롭게 동작을 할 수 있게 하였다. In addition, the communication between the motion generation module 2 and the robot motion control module 4 is made by Bluetooth wireless communication to allow the robot to operate more freely.

<도면의 주요 부분에 대한 부호설명><Code Description of Main Parts of Drawing>

1 : 음악인식모듈1: Music recognition module

2 : 동작생성모듈2: motion generation module

21 : 동작정보DB 21: motion information DB

3 : 로봇동작DB3: Robot operation DB

4 : 로봇동작제어모듈4: Robot motion control module

Claims

A music recognition module 1 for recognizing input music and extracting beat times, beats, and pitches as basic information of a sound source; A motion generation module (2) for generating the robot's motion by synchronizing the music information recognized by the music recognition module with the information stored in the motion information DB (21); A robot motion DB (3) for storing the robot motion control information generated by the motion generation module (2); It comprises a robot motion control module (4) for controlling the operation of the robot 100 by reading the information stored in the robot motion DB (3);

The robot motion DB 3 and the robot motion control module 4 are integrally formed with the robot 100,

The music recognition module (1) and the motion generation module (2) is a motion control device of the robot through music recognition, characterized in that the transmission of the signal to the TCP / IP protocol.

delete

The method of claim 1,

Communication between the motion generation module (2) and the robot motion control module (4) is a motion control device of the robot through music recognition, characterized in that the Bluetooth (bluetooth) wireless communication.