KR100530254B1 - Hierarchical structured service server system for network based robot system - Google Patents

Hierarchical structured service server system for network based robot system Download PDF

Info

Publication number
KR100530254B1
KR100530254B1 KR1020050072314A KR20050072314A KR100530254B1 KR 100530254 B1 KR100530254 B1 KR 100530254B1 KR 1020050072314 A KR1020050072314 A KR 1020050072314A KR 20050072314 A KR20050072314 A KR 20050072314A KR 100530254 B1 KR100530254 B1 KR 100530254B1
Authority
KR
South Korea
Prior art keywords
server
monitoring
network
robot
packet
Prior art date
Application number
KR1020050072314A
Other languages
Korean (ko)
Inventor
김경진
Original Assignee
주식회사 아이오. 테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이오. 테크 filed Critical 주식회사 아이오. 테크
Priority to KR1020050072314A priority Critical patent/KR100530254B1/en
Application granted granted Critical
Publication of KR100530254B1 publication Critical patent/KR100530254B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283Price estimation or determination
    • G06Q30/0284Time or distance, e.g. usage of parking meters or taximeters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports

Abstract

본 발명은 동작 포함 멀티미디어 콘텐츠를 네트워크 기반 로봇 시스템에서 서비스하기 위한 계층 구조적인 서비스 서버 시스템을 제공한다.The present invention provides a hierarchical service server system for servicing motion-containing multimedia content in a network-based robot system.

본 발명은 네트워크 기반 로봇 시스템에 있어서,The present invention is a network-based robot system,

상기 로봇 시스템은 로봇 단말기와 서비스 서버를 포함하고, 상기 서비스 서버는 감시 및 제어 서버와 콘텐츠 서버를 포함하며,The robot system includes a robot terminal and a service server, the service server includes a monitoring and control server and a content server,

상기 로봇 단말기는The robot terminal

상기 감시 및 제어 서버로부터 동작 포함 멀티미디어 패킷을 수신하여 패킷 재생 시간 간격으로 음성/영상/동작 재생을 하고, 센서들에서 수신된 센서값들을 상태객체 패킷으로 상기 감시 및 제어 서버에 네트워크를 통해 전송하며, Receives multimedia packets with motions from the monitoring and control server and plays audio / video / motion at packet playback time intervals, and transmits sensor values received from sensors to the monitoring and control server as status object packets over the network. ,

상기 감시 및 제어 서버는 The monitoring and control server

상기 로봇 단말기로부터의 상태 객체 패킷을 상기 네트워크를 통해 수신하여 로봇 단말기의 상태를 감시하여, 조치가 필요한 상태인지의 여부에 따라, 상기 콘텐츠 서버에서 전달받은 동작 포함 멀티미디어 패킷을 상기 네트워크를 통해 상기 로봇 단말기로의 전송을 제어하며,Receiving a state object packet from the robot terminal through the network to monitor the state of the robot terminal, according to whether or not the action is required, the multimedia packet received from the content server via the network via the network Control the transmission to the terminal,

상기 콘텐츠 서버는The content server

멀티미디어 파일을 상기 패킷 재생 시간 간격으로 분할하여, 각 분할된 멀티미디어 파일에, 필요시 로봇 단말기용 동작 제어 데이터를 삽입하여 동작 포함 멀티미디어 패킷을 형성하고, 상기 감시 및 제어 서버의 제어 하에, 상기 형성된 동작 포함 멀티미디어 패킷을 상기 네트워크를 통해 상기 감시 및 제어 서버로 송신하는 것을 특징으로 한다.The multimedia file is divided into packet playback time intervals, and motion control data for a robot terminal is inserted into each divided multimedia file to form a multimedia packet including motion, and under the control of the monitoring and control server, the formed motion And transmitting an embedded multimedia packet to the monitoring and control server through the network.

이상과 같은 본 발명을 이용하면, 동작 포함 멀티미디어 콘텐츠를 네트워크 기반 로봇 시스템에서 서비스하기 위한 계층 구조적인 서비스 서버 시스템을 제공하는 것이 가능해진다.By using the present invention as described above, it becomes possible to provide a hierarchical service server system for serving motion-containing multimedia content in a network-based robot system.

Description

네트워크 기반의 로봇 시스템을 위한 계층 구조 서비스 서버 시스템{Hierarchical Structured Service Server System for Network Based Robot System}Hierarchical Structured Service Server System for Network Based Robot System

본 발명은 네트워크 기반 로봇 시스템을 위한 계층 구조 서비스 서버 시스템에 관한 것이다. The present invention relates to a hierarchy service server system for a network-based robot system.

미래에는 다양한 홈로봇이 각 가정마다 보급되어, 홈로봇을 이용하여 다양한 기능을 수행하게 되는데, 그 대표적인 이용분야의 하나가 구연동화 들려주기, 영어 교육 등의 음성 및 영상 콘텐츠(이하 멀티미디어 콘텐츠)의 재생에 의한 교육 분야이다.In the future, various home robots will be distributed to each home and perform various functions by using home robots. One of the typical applications is voice and video contents (hereinafter referred to as multimedia contents) such as storytelling and English education. The field of education by playing.

그리고, 이러한 구연동화 및 영어 학습용 음성과 영상의 재생시에 홈로봇이 음성 및 영상 재생 뿐만 아니라, 이 음성 및 영상과 관련된 동작(예를 들면, "안녕하세요?"라는 음성이 나오면 홈로봇이 인사하는 동작을 하거나, 문장을 발성시 문장에 맞게 입을 개폐하는 동작 등)을 하게 하여, 구연동화나 영어학습용 콘텐츠를 이용하는 유아나 어린이에게 보다 더 흥미를 유발하도록, 멀티미디어 콘텐츠에 동작 제어 데이터를 삽입한 동작 포함 멀티미디어 콘텐츠 서비스도 가능하다.In addition, the home robot not only plays back the voice and video, but also voices related to the voice and video (for example, "Hello?" Or inserting motion control data into multimedia content to induce more interest to infants or children using storytelling or English learning content by opening or closing the mouth according to the sentence when the sentence is uttered. Multimedia content services are also available.

그런데, 이러한 동작 포함 멀티미디어 서비스를 위한 종래의 네트워크 기반 홈로봇 시스템(도1)에서는, 사용자가 홈로봇(1) 또는 PC를 통해 서비스 서버(2)에 접속하여 홈페이지에서 특정 구연동화나 영어 학습 콘텐츠 서비스를 선택하거나 홈로봇(1)을 통해 음성 명령을 하여 서비스 서버(2)의 음성 인식 엔진(3)에 의해 음성명령이 인식되어 특정 구연동화나 영어 학습 콘텐츠 서비스를 선택하면, 이 서비스 서버(2)에 저장된 이 콘텐츠를 위한 음성파일(문장의 경우에는 음성 합성 엔진(TTS엔진)(4)에 의해 음성파일로 변환됨)과 영상 파일과 동작 파일이 홈로봇(1)에 전달되어 음성파일로 발성을 하면서 영상 파일로 영상을 재생하면서 동작을 하게 하여 구연동화나 영어학습 콘텐츠를 재생해 주며, 홈로봇(1) 자신이 홈로봇(1)의 상태를 감시하여 예를들어, 장애물 근접시에는 내장된 장애물 회피 알고리즘에 의해 장애물을 회피하도록 제어하고, 배터리 방전시에는 내장된 음성 경고 파일에 의해 경고 발성을 하는 제어를 담당한다. However, in the conventional network-based home robot system (FIG. 1) for such a multimedia service, the user accesses the service server 2 through the home robot 1 or the PC, and selects a specific storytelling or English learning content from the homepage. If a voice command is recognized by the voice recognition engine 3 of the service server 2 by selecting a service or making a voice command through the home robot 1, and selects a specific storytelling or English learning content service, the service server ( 2) The voice file for this content stored in the content (in case of sentence, is converted into a voice file by the voice synthesis engine (TTS engine) 4), the image file and the operation file are transferred to the home robot 1, and the voice file is transmitted. While playing the video, it plays the video file as the video file to play the action story or English learning content, the home robot (1) himself monitors the status of the home robot (1), for example, It is controlled so as to avoid the obstacle by the obstacle avoidance algorithm built-up city water, and for controlling the warning spoken by a voice warning file embedded when the battery discharges.

결국, 도1에 따른 종래기술에서는 홈로봇(1)이 전송 받은 음성/영상/동작 파일을 통해 음성/영상/동작 재생을 하면서, 홈로봇(1) 자신의 상태를 감시하여 필요한 조치를 해야 하기 때문에, 전송 받은 대용량의 음성/영상/동작 파일의 저장 및 재생과, 홈로봇(1)의 상태 감시와 조치를 위해서는 거의 PC수준의 대용량의 처리장치와 저정장치(메모리, HDD 등)가 필요하게 되어 홈로봇의 가격이 상당히 고가이게 된다.As a result, in the prior art according to FIG. 1, the home robot 1 should play the voice / video / action file through the received voice / video / action file and monitor the state of the home robot 1 to take necessary measures. Therefore, in order to store and play back a large volume of audio / video / action files and to monitor and measure the status of the home robot 1, a large-capacity processing device and a storage device (memory, HDD, etc.) of a PC level are required. As a result, the price of a home robot becomes quite expensive.

이러한 도1에 따른 종래기술의 문제점을 해결하기 위하여, 본 출원인의 선발명인 대한민국 특허 출원 10-2005-002268호에서는, 도2에서와 같이 로봇 단말기(1)가 패킷 데이터 방식으로 데이터를 송수신하도록 하는 방식을 제안하였고, 이러한 전송 데이터 패킷을 송수신하는 로봇 단말기 내부 구조와 패킷 데이터 구조로서 도3, 4와 같은 방식을 제안하였다. 보다 자세한 사항은 선출원의 출원서에 잘 나타나 있다.In order to solve the problems of the prior art according to FIG. 1, in the Korean Patent Application No. 10-2005-002268, which is the applicant of the present invention, as shown in FIG. 2, the robot terminal 1 transmits and receives data in a packet data manner. The scheme is proposed as shown in FIGS. 3 and 4 as an internal structure and a packet data structure of a robot terminal for transmitting and receiving such a transmission data packet. Further details are shown in the application of the earlier application.

그런데, 도3에서 패킷 재생시간 간격(Ts=40ms)으로 동기된 음성/영상/동작 데이터를 재생하기 위한 다운 스트림 패킷(down stream packet)(동작 포함 멀티미디어 패킷)을 각 로봇 단말기(1)로 전송하고, 각 로봇 단말기(1)의 마이크(Mic)에서 입력되는 아날로그 음성 데이터가 변환된 디지털 데이터와, 각종 센서(S1...Sk)(이동시 장애물 인지 센서, 배터리 방전 센서, 온도 센서 등)에서의 출력에 해당하는 업 스트림 패킷(up stream packet)(상태 객체 패킷)을 수신하기 위한 서비스 서버(2)는 도5와 같은 구조를 가지게 된다. 여기서 상태 객체는 로봇 단말기의 센서 데이터들의 상태를 의미하고 이 상태 객체를 통해 로봇 단말기의 상태, 예를들면 장애물에 근접 했는지 여부 또는 배터리가 방전됐는지 여부 등을 알 수 있다. By the way, in Fig. 3, a downstream packet (multimedia packet with motion) for reproducing audio / video / motion data synchronized at the packet reproduction time interval (Ts = 40ms) is transmitted to each robot terminal 1. The digital data converted from the analog voice data input from the microphone (Mic) of each robot terminal 1 and various sensors S1 ... Sk (obstacle recognition sensor, battery discharge sensor, temperature sensor, etc.) The service server 2 for receiving an upstream packet (status object packet) corresponding to the output of P has the structure as shown in FIG. Here, the state object means the state of the sensor data of the robot terminal, and through this state object, the state of the robot terminal can be known, for example, whether it is close to an obstacle or whether the battery is discharged.

결국, 본 출원인의 선출원에서는 서비스 서버(2)의 패킷 생성모듈(3)에서 동작 포함 멀티미디어 데이터 패킷을 형성하여 다운 패킷으로 로봇 단말기(1)로 전송하여 로봇 단말기(1)의 다운 버퍼에 차례로 저장하고 로봇 단말기(1)에서 이 다운 버퍼에서 차례로 동작 포함 멀티미디어 패킷을 독출하여 스피커(음성)나 모니터(영상)나 모터(동작)에 의해 재생을 하며, 마이크(Mic)나 각종 센서(S1 ...Sk)(장애물 인지 센서, 배터리 방전 센서, 온도 센서 등)들에서 센싱된 센서 데이터를 로봇 단말기(1)에서 업 패킷(상태 객체 패킷)으로 업버퍼에 차례로 저장하여 서비스 서버(2)로 차례로 전송하면 서비스 서버(2)에서는 로봇 상태 관리 모듈(4)에서 차례로 업 패킷을 수신하게 된다.As a result, the applicant of the present application forms a multimedia data packet including an operation in the packet generation module 3 of the service server 2 and transmits it as a down packet to the robot terminal 1 and sequentially stores it in the down buffer of the robot terminal 1. Then, the robot terminal 1 reads out multimedia packets including motions from this down buffer one by one and reproduces them by a speaker (voice), a monitor (video) or a motor (movement), and a microphone (Mic) or various sensors (S1 .. Sensor data sensed by .Sk) (obstacle recognition sensor, battery discharge sensor, temperature sensor, etc.) is sequentially stored in the upbuffer as an up packet (state object packet) in the robot terminal 1 and then in turn to the service server 2 When transmitting, the service server 2 receives the up packets from the robot state management module 4 in sequence.

또한, 서비스 서버(2)는 업 패킷에 있는 센싱 데이터(상태 객체)를 모니터링(감시)하여 서비스 서버(2)가, 예를들면 로봇 단말기(1)가 장애물에 근접한 것으로 판단하면 동작 포함 멀티미디어 데이터 패킷의 전송을 중단하고, 이 장애물을 피해가도록, 내장된 장애물 회피 알고리즘에 따라 장애물 회피용 동작 제어 데이터를 형성하여 다운 패킷으로 로봇 단말기(1)에 전송하여 로봇 단말기(1)가 장애물을 회피하게 하고, 로봇 단말기(1)의 배터리가 거의 방전된 것으로 판단하면 멀티미디어 데이터 패킷의 전송을 중단하고 경고 음성/영상을 로봇 단말기(1)에 전송하여 사용자가 이 경고 음성/영상을 듣거나 보고서 배터리를 교환하거나 충전을 하도록 한다.In addition, the service server 2 monitors (monitors) the sensing data (state object) in the up packet so that the service server 2 determines that the robot terminal 1 is close to an obstacle. In order to stop the transmission of the packet, and to avoid the obstacle, the motion control data for obstacle avoidance is formed according to the built-in obstacle avoidance algorithm and transmitted to the robot terminal 1 as a down packet so that the robot terminal 1 avoids the obstacle. If it is determined that the battery of the robot terminal 1 is almost discharged, the transmission of the multimedia data packet is stopped and the warning voice / video is transmitted to the robot terminal 1 so that the user can hear the warning voice / video or report the battery. Replace or recharge.

따라서, 선출원의 서비스 서버(2)는 동작 포함 멀티미디어 콘텐츠 패킷 데이터의 형성 뿐만 아니라, 각 로봇 단말기(1)의 감시 및 감시에 따른 조치를 동시에 하게 되어, 연결된 로봇 단말기(1)의 대수가 증가할수록 및/또는 특정 서비스의 요청 집중도가 클수록 부하 증가로 인하여 서비스 가능한 로봇 단말기(1)의 대수가 극히 제한적으로 된다.Therefore, the service server 2 of the prior application not only forms the multimedia content packet data including the operation, but also performs the monitoring and monitoring of each robot terminal 1 simultaneously, so that the number of the connected robot terminals 1 increases. And / or the greater the concentration of requests for a particular service, the greater the number of serviceable robot terminals 1 due to the increased load.

또한, 서비스 서버(2)의 입장에서도 다양한 멀티 미디어 콘텐츠를 외부에서 입수하여 필요시 동작을 포함시켜 동작 포함 멀티미디어 콘텐츠를 형성하므로, 이 입수를 위한 비용(로얄티 등)과 동작 포함 멀티 미디어 콘텐츠의 제작 비용 및 관리 비용이 상당히 소요되고, 아무래도 자신이 제작한 멀티미디어 콘텐츠가 아니므로 각 멀티미디어 콘텐츠의 특성에 맞는 동작 포함 멀티미디어 콘텐츠를 제작하기가 어렵게 된다.In addition, since the service server 2 obtains various multimedia contents from the outside and includes the motions when necessary, the multimedia contents including the motions are formed, so that the cost of the acquisition (Royalty, etc.) and the multimedia content including the motions are obtained. Production costs and management costs are considerably high, and it is difficult to produce multimedia contents including motions that are suitable for the characteristics of each multimedia contents because they are not multimedia contents produced by themselves.

그리고, 로봇 단말기용 콘텐츠 제공 업체 입장에서도 자신의 콘텐츠 개발시 로봇 단말기의 상태감시 기능과 일련의 조처를 같이 개발해야 하므로 콘텐츠의 개발에 전념할 수 없다. 또한, 로봇 제조업체가 아닌 이상 각 로봇의 내부 기능을 정확히 이해하기 힘들기 때문에 개발된 감시기능의 확실한 동작을 보장 할 수 없고 로봇의 업그레이드나 설계 변경시 이러한 감시 및 조처를 위해 기존의 콘텐츠 프로그램을 모두 수정하지 않으면 안 되는 문제가 발생한다. 사업적인 면에서 보면 서비스 서버(2)에서 로봇 단말기(1)에 제공한 서비스 시간에 대한 감시가 불가능하기 때문에 멀티미디어 콘텐츠 업체가 서비스에 참여하기를 꺼리는 경향이 있다.In addition, the contents provider for the robot terminal cannot develop a content because it is necessary to develop a series of actions and a state monitoring function of the robot terminal when developing the contents. In addition, since it is difficult to accurately understand the internal functions of each robot unless it is a robot manufacturer, it is not possible to guarantee the reliable operation of the developed monitoring function, and all existing content programs are used for such monitoring and action when upgrading or designing the robot. There is a problem that must be corrected. In terms of business, the service provider 2 tends to be reluctant to participate in the service because it is impossible to monitor the service time provided to the robot terminal 1.

본 발명은 이상과 같은 종래 기술의 문제점을 감안하여, 로봇 단말기용 콘텐츠를 네트워크 기반 로봇 시스템에서 서비스하기 위한 계층 구조적인 서비스 서버 시스템을 제공한다.SUMMARY OF THE INVENTION The present invention provides a hierarchical service server system for servicing contents for a robot terminal in a network-based robot system in view of the above problems of the related art.

이상과 같은 종래 기술의 문제점을 해결하기 위해, 본 발명에서는 서비스 서버를 서로 다른 기능을 담당하는 다수개의 서버로 분리한다. 또한, 각 서버를 유기적으로 연결하기 위해 계층구조를 도입하고 각 계층사이의 연결은 같은 포맷을 가진 패킷을 공유하는 방식으로 효과적으로 연결한다.In order to solve the above problems of the prior art, the present invention divides the service server into a plurality of servers in charge of different functions. In addition, a hierarchical structure is introduced to organically connect each server, and the connections between the layers effectively connect packets having the same format.

이제, 이러한 원리를 달성하기 위한 계층 구조 서비스 서버 시스템을 가진 네트워크 기반 로봇 제어 시스템에 대해 도6을 참고로 하여 자세히 설명하기로 한다.Now, a network-based robot control system having a hierarchical service server system for achieving this principle will be described in detail with reference to FIG.

로봇 단말기(1-1, 1-2 ... 1-N)에는, 관절이나 바퀴를 구동하기 위한 모터와, 모터 및 릴레이를 구동하기 위한 구동회로와, 마이크 등의 센서들과, 센서들에서의 센싱 신호를 감시 및 제어 서버(11)로 전송하고 감시 및 제어 서버(11)에서의 데이터를 로봇 단말기(1-1, 1-2 .... 1-N)에서 수신하기 위한 송수신 장치와, 감시 및 제어 서버(11)에서 전달되는 음성 파일을 발성하기 위한 D/A 변환기와 스피커, 로봇 단말기(1-1, 1-2 .... 1-N)에 영상 재생용 모니터를 가지고 있을 때 전달되는 영상 파일을 모니터에 표시하기 위한 영상 표시 제어 장치를 포함하고 있다.The robot terminals 1-1, 1-2 ... 1-N include motors for driving joints and wheels, driving circuits for driving motors and relays, sensors such as microphones, sensors, Transmitting and receiving device for transmitting the sensing signal of the monitoring and control server 11 and receiving data from the monitoring and control server 11 in the robot terminal (1-1, 1-2 .... 1-N) and , The D / A converter, speaker, and the robot terminal (1-1, 1-2 .... 1-N) for the voice file transmitted from the monitoring and control server (11) And a video display control device for displaying the video file transmitted when the monitor.

이러한 각각의 로봇 단말기(1-1, 1-2 .... 1-N)의 송수신 장치는 무선으로 홈게이트웨이(HGW)(8-1, 8-2 .... 8-N)에 연결되고 홈게이트웨이(8-1, 8-2 .... 8-N)는 감시 및 제어 서버(11)에 접속된다.Transmitters and receivers of each of the robot terminals 1-1, 1-2 .... 1-N are wirelessly connected to the home gateway (HGW) 8-1, 8-2 .... 8-N. And the home gateways 8-1, 8-2 .... 8-N are connected to the monitoring and control server 11.

이러한 로봇 단말기(1)과 홈게이트웨이(8)는 상기 선출원과 동일하고 자세한 사항은 선출원에 기재되어 있다. The robot terminal 1 and the home gateway 8 are the same as the above-mentioned filings, and details are described in the earlier filings.

이제, 콘텐츠 서버(12)에 대해 설명하기로 한다.The content server 12 will now be described.

각 멀티미디어 콘텐츠를 관장하는 콘텐츠 업체(각종 교육용 및 오락용 멀티미디어 콘텐츠 업체 또는 방송국/통신회사 등)에서 동작 포함 멀티미디어 콘텐츠를 제공하거나 이메일 서비스 업체에서 동작 포함 이메일 발성 서비스를 제공하는 콘텐츠 서버(12)는 감시 및 제어 서버(11)로부터 전송되는 로봇 단말기(1)의 상태 객체(도6의 점선)를 수신하여 감시 및 제어 서버(11)와 공유한다.The content server 12 that provides multimedia content with motions from a content company that manages each multimedia content (various educational and entertainment multimedia content companies or broadcasters / communication companies, etc.) or provides an email speech service with motions from an email service company is provided. The state object (dashed line in FIG. 6) of the robot terminal 1 transmitted from the monitoring and control server 11 is received and shared with the monitoring and control server 11.

콘텐츠가 센싱 데이터를 필요로 하는 경우(예를들면, 콘텐츠가 실내 온도에 따라 상이한 동작 포함 멀티미디어 데이터 패킷을 전송하도록 되어 있는 경우 등)에는 콘텐츠 서버(12)는 전달받은 상태 객체를 통해 센싱 데이터를 인지하게 되어 이 센싱 데이터에 따른 상이한 동작 포함 멀티미디어 데이터 패킷을 전송할 수 있게 된다. If the content requires sensing data (e.g., if the content is to transmit a multimedia data packet containing a different operation depending on the room temperature, etc.), the content server 12 receives the sensing data through the received state object. It is possible to transmit multimedia data packets with different operations according to the sensed data.

예를 들어, 로봇 단말기(1)가 에어콘 등의 전기기기를 제어하는 리모콘 기능을 내장하는 경우에는, 전달 받은 상태 객체를 통해 현재 온도를 감지하여 설정 온도 이상이면 "더운 날씨군요? 에어콘을 가동하시기 바랍니다"라는 음성 멘트를 하면서 시원한 바닷가 영상을 보여주도록 동작 포함 멀티미디어 패킷을 로봇 단말기(1)로 전송하는 것이 가능하다.For example, if the robot terminal 1 has a built-in remote control function for controlling an electric device such as an air conditioner, the current state is sensed through the received state object, and the temperature is higher than the set temperature. It is possible to transmit the multimedia packet including the motion to the robot terminal 1 so as to show a cool beach image while making a voice comment.

또한, 콘텐츠 서버(12)는 필요시 리소스 서버로서 TTS서버(13) 또는 음성 인식 서버(14)를 이용할 수 있는데, 이 리소스 서버의 출력은 도4와 같은 형식의 패킷이 바람직하다. 이후 하위 계층의 서버(콘텐츠 서버(12) 와 감시 및 제어 서버(11))방향으로 동일한 포맷의 패킷이 전달되고 최종적으로 로봇 단말기(1)에 전달된다. In addition, the content server 12 can use the TTS server 13 or the voice recognition server 14 as a resource server if necessary, and the output of this resource server is preferably a packet of the form as shown in FIG. After that, packets of the same format are delivered to the lower layer server (the content server 12 and the monitoring and control server 11) and finally delivered to the robot terminal 1.

로봇용 콘텐츠와 서비스는 현재도 많은 종류가 있고 앞으로도 계속 개발될 것이다. 이하에서는 대표적인 서비스로서, 실시간 서비스(FM방송), 시나리오를 가진 콘텐츠(구연동화, 영어학습)서비스, 이메일 서비스를 위한 콘텐츠 서버(12)에 대해 구체적으로 설명하기로 한다.There are many kinds of contents and services for robots now and will continue to be developed. Hereinafter, as a representative service, a content server 12 for a real-time service (FM broadcasting), a content having a scenario (synchronized with an English learning) service, and an e-mail service will be described in detail.

1. 교육용 및 오락용 동작 포함 멀티미디어 콘텐츠 서비스를 제공하는 콘텐츠 서버(도6에서 콘텐츠 서버(12-1) 또는 콘텐츠 서버(12-2)에 해당함)1. Content server that provides multimedia content services including educational and entertainment operations (corresponds to content server 12-1 or content server 12-2 in FIG. 6).

구연동화용 멀티미디어 콘텐츠를 관장하는 업체의 콘텐츠 서버(12-1)는 TTS 서버(13)에 구연동화 문장을 송신하여 구연동화에 대응하는 음성 파일을 수신하고, 이 음성파일과 영상파일을 재생 시간 간격(Ts=40ms)으로 분할하여 각 재생 시간 간격에 대응하는 각 로봇 단말기용 동작 제어 데이터를 삽입하여 각 로봇 단말기용 동작 포함 멀티미디어 콘텐츠 패킷 데이터들을 형성하여 저장을 하였다가 특정 로봇 단말기(1)가 서비스를 요청시 대응하는 동작 포함 멀티미디어 패킷을 특정 로봇 단말기(1)에 송신하거나, 사전에 상기 음성파일과 영상파일을 재생 시간 간격(Ts)으로 분할하여 저장하여 놓았다가 서비스를 원하는 특정 로봇 단말기(1)에 전송 시점에 이 특정 로봇 단말기용 동작 제어 데이터를 상기 분할된 음성파일과 영상 파일에 삽입하여 동작 포함 멀티미디어 콘텐츠 데이터 패킷을 형성하여 이 특정 로봇 단말기(1)로 상기 패킷들을 송신한다.The content server 12-1 of the company that manages the multimedia contents for the storytelling storytelling transmits the storybook story to the TTS server 13 to receive a speech file corresponding to the storytelling story, and reproduces the speech file and the video file. After inserting the motion control data for each robot terminal corresponding to each play time interval by dividing the data into the intervals (Ts = 40ms), the multimedia contents packet data including the motion for each robot terminal were formed and stored, and then the specific robot terminal 1 When a service request is made, a multimedia packet including a corresponding operation is transmitted to a specific robot terminal 1, or the voice file and the image file are divided and stored in a reproduction time interval (Ts) in advance, and then the specific robot terminal desired for service ( 1) the operation control data for this particular robot terminal is inserted into the divided audio file and the image file at the time of transmission, and the operation is included. To form a content-media data packets and transmits the packets to a specific robot device (1).

영어회화용 콘텐츠를 관장하는 업체의 콘텐츠 서버(12-2)도 로봇 단말기(1)를 통해 수신되는 사용자의 음성을 음성 인식 서버(14)에 송신하여 음성 인식을 하여, 예를들어 사용자가 문장을 제대로 읽었는지를 감지하여 다음 문장의 전송 여부를 결정하여, 전송시에는 콘텐츠 서버(12-1)에서와 동일한 방식으로 동작 포함 멀티미디어 패킷을 로봇 단말기(1)로 전송한다.The content server 12-2 of the company that manages the content for English conversation also transmits the user's voice received through the robot terminal 1 to the voice recognition server 14 to perform voice recognition. Determining whether or not the proper sentence is read, and determines whether or not to transmit the next sentence, and transmits the multimedia packet including the operation to the robot terminal 1 in the same manner as in the content server 12-1.

2. 실시간 동작 포함 멀티미디어 콘텐츠 서비스를 제공하는 콘텐츠 서버(도6에서 콘텐츠 서버(12-3)에 해당함)2. A content server that provides a multimedia content service with real-time operation (corresponds to the content server 12-3 in FIG. 6).

라디오 방송이나 TV방송이나 전화통화에 해당하는 멀티미디어 콘텐츠 제공 매체의 콘텐츠 서버(12-3)는 이 콘텐츠가 실시간으로 제공되기 때문에, 실시간적으로 해당 음성을 샘플링하여 A/D변환을 거쳐 디지털 신호로 변환하여 패킷 재생시간 간격(Ts=40ms)으로 모아서 해당하는 동작 데이터를 포함시켜 동작 포함 멀티미디어 패킷을 형성하여 서비스를 원하는 특정 로봇 단말기(1)에 송신을 한다.Since the content server 12-3 of a multimedia content providing medium corresponding to a radio broadcast, a TV broadcast, or a telephone call is provided in real time, the content server is sampled in real time and converted into a digital signal through A / D conversion. After the conversion, the packet is collected at a packet reproduction time interval (Ts = 40 ms), and the corresponding motion data is included to form a multimedia packet including motion and transmitted to a specific robot terminal 1 for service.

이때, 음성을 문자로 변환하여 서비스하는 경우(청각장애자에게 문자 서비스를 하는 경우 또는 음성을 문자로 저장하는 경우)에는 음성 인식 서버(16)에 송신하여 문자로 변환하여 서비스하게 된다.In this case, when the voice is converted to text for service (in case of text service for the hearing impaired or when the voice is stored as text), the voice is transmitted to the voice recognition server 16 to be converted into text for service.

3. 동작 포함 이메일 서비스용 이메일 콘텐츠 서버(도6에서 이메일 서버(12-M)에 해당함)3. Email content server for email service with actions (corresponds to email server 12-M in FIG. 6)

이메일 문장에 대응하는 동작명령을 포함하는 동작 포함 이메일에서, 문자 부분을 TTS 서버(13)를 이용하여 음성 파일로 변환하여 이를 재생 시간 간격(Ts)으로 분할하고, 동작 명령 부분을 이메일이 전송되는 로봇 단말기(1)를 제어하기 위한 재생 시간 간격별 동작 제어 데이터로 변환하여 동작 포함 이메일 발성용 데이터 패킷(동작 포함 멀티미디어 패킷의 일종)을 형성하는 이메일 서버(12-M)에서는 이 동작 포함 음성 이메일이 전송되어야 하는 특정 로봇 단말기(1)로 상기 패킷들을 송신한다. 동작 포함 이메일에 관해서는 대한민국 특허 출원 10-2004-0108816에서 구체적으로 기재되어 있다.In an e-mail containing an action including an action command corresponding to an e-mail sentence, the text portion is converted into a voice file using the TTS server 13 and divided into reproduction time intervals Ts, and the action command portion is transmitted to the e-mail. In the e-mail server 12-M which converts the motion control data for each play time interval for controlling the robot terminal 1 to form an e-mail voice data packet (a kind of multimedia packet with motion), the voice e-mail with this motion is included. The packets are transmitted to the specific robot terminal 1 to be transmitted. The e-mail with operation is described in detail in Korean Patent Application No. 10-2004-0108816.

4. 자율 모드 콘텐츠(도6에서는 지면 관계상 미도시이고, 도7에서 자율 모드 서버(12-X)에 해당함)4. Autonomous mode content (not shown in Fig. 6 due to space, and corresponds to autonomous mode server 12-X in Fig. 7).

자율모드 콘텐츠는 음악방송에서 DJ와 같은 역할을 한다. DJ는 노래가 방송되는 사이의 공백을 메워주고 청취자에게 유익한 정보를 들려준다. 마찬가지로 자율모드 콘텐츠는 타 콘텐츠가 재생되고 있지 않는 사이에 로봇을 통해 유익한 정보(예를들면, 일정 관리)를 전달, 수집하고 사용자와 대화 등을 하게 된다. Autonomous content acts like a DJ in music broadcasting. The DJ fills in the gaps between songs being broadcast and informs listeners of useful information. Similarly, autonomous mode content transfers and collects useful information (eg, schedule management) through a robot while other content is not being played, and communicates with the user.

다음으로 감시 및 제어 서버(11)에 대해 설명하기로 한다.Next, the monitoring and control server 11 will be described.

각 로봇 단말기(1)의 마이크(Mic)에서 입력되는 아날로그 음성 데이터(명령 음성 데이터 등)나 각종 센서(S1...Sk)(이동시 장애물 인지 센서, 배터리 방전 센서 등)에서의 출력은 데이터 패킷 형태로 업버퍼(up buffer)를 거쳐 감시 및 제어 서버(11)로 수신되는데, 이 수신된 업버퍼의 데이터 패킷의 센서 데이터 영역(SD)에는 이러한 센서들(S1...Sk)의 현재값에 대응하는 센서 데이터가 존재한다. 이 센서 데이터를 통해 각 로봇 단말기(1)의 현재의 상태, 예를들면 장애물에 근접했는지 여부 또는 배터리가 방전되었는지 여부 등을 알 수 있다. Analog voice data (command voice data, etc.) input from the microphone (Mic) of each robot terminal 1 or outputs from various sensors (S1 ... Sk) (obstacle recognition sensor, battery discharge sensor, etc.) when moving are data packets. It is received to the monitoring and control server 11 via an up buffer in the form of a sensor. The sensor data area SD of the data packet of the received up buffer includes the current values of these sensors S1 ... Sk. There is sensor data corresponding to. Through this sensor data, it is possible to know the current state of each robot terminal 1, for example, whether it is close to an obstacle or whether the battery is discharged.

감시 및 제어 서버(11)의 기능과 역할을 설명하면 아래와 같다.The function and role of the monitoring and control server 11 will be described below.

1. 감시 및 제어 서버(11)는 일정 시간 간격으로 센싱되어 전달되는 센서값에 해당하는 데이터 패킷의 체크-섬 영역(CS)을 통해, 이 데이터 패킷의 유효성을 검증하고 유효한 데이터 패킷으로 판정이 되면 센서 데이터 영역(SD)의 값들을 통해 각 로봇 단말기(1)의 현재의 상태(상태객체)를 감시(모니터링)하고, 바람직하게는 이 상태 객체를 콘텐츠 서버(12)에 송신하여 감시 및 제어 서버(11)와 상태객체를 공유하게 된다.1. The monitoring and control server 11 checks the validity of the data packet and checks it as a valid data packet through the check-sum area CS of the data packet corresponding to the sensor value sensed and transmitted at a predetermined time interval. When the current state (state object) of each robot terminal 1 is monitored (monitored) through the values of the sensor data area SD, the state object is preferably transmitted to the content server 12 for monitoring and control. The state object is shared with the server 11.

2. 또한, 감시 및 제어 서버(11)는 기본적으로 특정 서비스(예를들면, 구연동화 서비스)를 원하는 특정 로봇 단말기(예를들면 로봇 단말기(1-2))와 특정 콘텐츠 서버(예를들면, 콘텐츠 서버(12-1))를 연결해 주는 스위칭 역할을 한다. 이때 자율모드(12-X)라고 하는 콘텐츠는 사용자가 특정콘텐츠를 선택하지 않을 때 기본적으로 연결된다. 2. In addition, the monitoring and control server 11 is basically a specific robot terminal (eg robot terminal 1-2) and a specific content server (eg And a switching role for connecting the content server 12-1). At this time, the content called autonomous mode 12-X is basically connected when the user does not select a specific content.

3. 그리고, 감시 및 제어 서버(11)는 콘텐츠 서버(12)측에 전송개시(START), 전송 중단(STOP), 전송 일시 정지(PAUSE), 전송 재개(RESUME)등을 지시한다. 3. The monitoring and control server 11 instructs the content server 12 to start the transmission (START), stop the transmission (STOP), pause the transmission (PAUSE), resume the transmission (RESUME), and so on.

예를들어, 로봇 단말기(1-2)에서 구연동화 서비스를 요청을 하면 이 콘텐츠 서버(12-1)에게 로봇 단말기(1-2)로 구연동화용 동작 포함 멀티미디어 콘텐츠용 패킷 데이터의 전송을 개시하라는 명령(START명령)을 전달하여 콘텐츠 서버(12-1)가 감시 및 제어 서버(11)를 경유하여 로봇 단말기(1-2)로 구연동화용 패킷 데이터의 전송을 개시하게 한다.For example, when the robot terminal 1-2 requests a request for a storytelling service, the content server 12-1 starts the transmission of packet data for multimedia content including the actuating operation to the robot terminal 1-2. Command (START command) to cause the content server 12-1 to start the transmission of the packet data for mouth-talking to the robot terminal 1-2 through the monitoring and control server 11.

이제, 감시 및 제어 서버(11)가 상태 객체를 검사한 결과 로봇 단말기(1-2)가 장애물에 직면하여 피해가고 나서 구연동화 재생을 재개해야 하는 경우와 같이, 잠시 패킷 데이터의 전송을 일시 중단시키고자 하는 경우에는 콘텐츠 서버(12-1)에 전송을 일시 중단하라는 명령(PAUSE)을 내려서 콘텐츠 서버(12-1)가 패킷 데이터 전송을 일시 중단하게 한다.Now, the monitoring and control server 11 inspects the state object, and as a result, the robot terminal 1-2 suspends the transmission of the packet data for a while, such as when the robot terminal 1-2 has to avoid the obstacle and avoids it. In order to do so, a command PAUSE is given to the content server 12-1 to suspend transmission so that the content server 12-1 suspends packet data transmission.

이 상태에서, 감시 및 제어 서버(11)는 내장된 장애물 회피 알고리즘에 상태 객체의 센싱 데이터를 입력하여 로봇 단말기(1-2)가 장애물을 피해가기 위한 동작 제어 데이터 패킷을 형성하여 로봇 단말기(1-2)로 전달하여 로봇 단말기(1-2)가 이 패킷들을 차례로 다운버퍼에서 독출하여 해당 동작을 하여 장애물을 피하게 된다.In this state, the monitoring and control server 11 inputs the sensing data of the state object to the built-in obstacle avoidance algorithm to form a motion control data packet for the robot terminal 1-2 to avoid the obstacle to the robot terminal 1 The robot terminal 1-2 reads the packets out of the down buffer one by one and transmits them to the -2) to avoid the obstacle.

이제, 감시 및 제어 서버(11)는 상태 객체를 통해 장애물이 회피된 것을 알게 되므로, 이때에는 콘텐츠 서버(12-1)에 전송 재개명령(RESUME) 내려 구연동화용 데이터 패킷들의 전송을 재개하게 된다.Now, since the monitoring and control server 11 knows that the obstacle has been avoided through the state object, the resumption command (RESUME) is given to the content server 12-1 to resume transmission of the data synchronization data packets. .

한편, 감시 및 제어 서버(11)에서 상태 객체를 검사한 결과, 배터리가 거의 방전되어 상당한 시간이 소요되는 충전 과정이 필요한 경우에는 데이터 패킷의 전송을 중단하라는 명령(STOP)을 콘텐츠 서버(12-2)에 내려 데이터 패킷의 전송을 완전히 중단시키고, 감시 및 제어 서버(11)는 내장된 배터리 방전 경고 음성 데이터 패킷들을 로봇 단말기(1-2)에 전달하여 로봇 단말기(1-2)의 스피커를 통해 사용자에게 배터리 충전을 위한 적절한 조치를 하도록 한다.On the other hand, as a result of inspecting the state object in the monitoring and control server 11, if the battery is almost discharged and requires a charging process that takes a considerable time, a command (STOP) to stop transmission of the data packet is issued. 2) to stop the transmission of the data packet completely, the monitoring and control server 11 delivers the built-in battery discharge warning voice data packets to the robot terminal (1-2) to turn the speaker of the robot terminal (1-2) The user is advised to take appropriate measures to charge the battery.

4. 감시 및 제어 서버(11)는 콘텐츠 서버(12-1)에서 로봇 단말기(1-2)로 전송되는 패킷 데이터를 수정할 필요가 있는 경우, 예를들어 로봇 단말기(1-2)의 모터의 고장(상태 객체에 의해 감지됨)으로 이동이 불가능하지만 음성과 영상의 재생이 가능하여 모터용 동작 제어 데이터를 상기 패킷에서 삭제하여 로봇 단말기(1-2)로 송신하고자 하는 경우에는 감시 및 제어 서버(11)는 콘텐츠 서버(1-2)에서 수신한 동작 포함 멀티미디어 패킷의 동작 데이터 영역(MD)을 Null 데이터로 치환하여 패킷을 전송하고, 배터리 방전시 로봇 단말기(1-2)에서 배터리 방전 경고 음성이 콘텐츠 서버(1-2)에서 수신된 패킷의 음성과 중첩되어 스피커로 발성이 되게 하는 경우에는 로봇 단말기(1-2)로 송신하고자 하는 데이터 패킷의 음성 데이터 영역(AD)과 배터리 방전 경고 음성을 중첩하여 중첩된 음성 데이터를 음성 데이터 영역(AD)에 넣어서 새로운 배터리 방전 경고 음성이 삽입된 패킷을 형성하여 로봇 단말기(1-2)로 송신하게 된다.4. When the monitoring and control server 11 needs to correct packet data transmitted from the content server 12-1 to the robot terminal 1-2, for example, the motor of the robot terminal 1-2 may be used. It is impossible to move due to a failure (detected by the state object), but it is possible to play back audio and video, so that if the motion control data for the motor is to be deleted from the packet and transmitted to the robot terminal 1-2, the monitoring and control server 11 transmits the packet by replacing the motion data area MD of the multimedia packet with motions received by the content server 1-2 with null data, and warning the battery discharge at the robot terminal 1-2 when the battery is discharged. If the voice overlaps with the voice of the packet received from the content server 1-2, and the voice is made to the speaker, the voice data area AD of the data packet to be transmitted to the robot terminal 1-2 and the battery discharge warning Nest voice Forming a new battery discharge warning voice packet is inserted by placing a nested audio data to the audio data area (AD) and is transmitted to the robotic device (1-2).

5. 감시 및 제어 서버(11)는 일정시간 간격으로 이메일 도착 여부를 검사하고 제 3 의 서버(사용자가 접속하는 웹 서버 등)에서 오는 특정시간에 관련된 정보를 수집하여 사용자에게 통지한다. 이때 실행중인 콘텐츠를 잠시 중단하고 통지하거나 실행을 하면서 LED 또는 음성을 중첩하여 통지한다. 5. The monitoring and control server 11 checks e-mail arrival at regular time intervals, collects information related to a specific time coming from a third server (web server to which the user connects, etc.) and notifies the user. At this time, the contents being executed are paused and notified, or the LED or voice is notified while executing.

6. 감시 및 제어 서버(11)는 로봇 단말기(1)와 자신과 연결된 네트워크 상태를 지속적으로 감시하여 현재 통신망의 전송 가능 속도, 지연시간 또는 지터링 등에 관한 정보를 알아낸다. 이 정보를 콘텐츠 서버(12)와 공유 하여 현재 통신 상태에 적합하게 패킷의 전송 속도 또는 패킷의 크기를 조절하게 된다. 6. The monitoring and control server 11 continuously monitors the network state connected to the robot terminal 1 and finds out information about transmission speed, delay time or jittering of the current communication network. This information is shared with the content server 12 to adjust the packet transmission speed or the packet size according to the current communication state.

7. 감시 및 제어 서버(11)에서는 각 로봇 단말기(1)가 요청한 서비스와 서비스 제공 시간에 대한 정보를 수집 가능하기 때문에, 이 수집된 정보를 통해 과금 계산을 하여, 이 과금 자료에 따라 각 콘텐츠 서버(12)와 이익 배분을 하게 된다.7. Since the monitoring and control server 11 can collect the information about the service and the service providing time requested by each robot terminal 1, the billing calculation is performed through the collected information, and each content is made according to the billing data. Profit sharing with the server 12 is made.

이제, 본 발명의 서비스 서버의 구조와 실제 서비스시 데이터의 흐름를 도7, 8을 참고로 하여 로봇 단말기가 구연동화 서비스를 요청하고 서비스 도중에 로봇 단말기가 장애물에 근접한 경우에 대해 설명하도록 한다. Now, the structure of the service server of the present invention and the flow of data during actual service will be described with reference to FIGS. 7 and 8 when the robot terminal requests a cipher activation service and the robot terminal approaches an obstacle during the service.

이때, 도6에서와 달리 도7에서는 다수개의 감시 및 제어 서버(11)가 존재하고, 각 감시 및 제어 서버(11)를 각 로봇 단말기(1)에 할당하는 것은 사전에 고정되게 할당할 수도 있고 각 감시 및 제어 서버(11)의 부하를 고려하여 동적으로 할당할 수 있다.In this case, unlike FIG. 6, in FIG. 7, a plurality of monitoring and control servers 11 exist, and the allocation of each monitoring and control server 11 to each robot terminal 1 may be fixed in advance. The load of each monitoring and control server 11 may be dynamically allocated.

로봇 단말기(1-2)가 특정 구연동화 서비스를 요청하는 경우(S1)에 이 요청이 감시 및 제어층에서 이 로봇 단말기(1-2)를 담당하기로 할당된 감시 및 제어 서버(11-2)로 전달되어(S2) 콘텐츠 층의 구연동화 서버(12-1)에 요청하는 구연동화에 대한 정보가 전달되면(S3), 구연동화 서버(12-1)는 구연 동화용 문장을 리소스 층의 TTS서버(13)에 송신하여 구연동화용 음성 파일이 형성하여 구연동화 서버(12-1)에 송신된다(S4).When the robot terminal 1-2 requests a specific civic activation service (S1), the monitoring and control server 11-2 in which the request is assigned to be in charge of the robot terminal 1-2 in the monitoring and control layer. (S2) When the information about the storytelling requested by the storytelling server 12-1 of the content layer is delivered (S3), the storytelling server 12-1 sends the storytelling storytelling sentence to the resource layer. It transmits to the TTS server 13, and a voice file for voice communication is formed and transmitted to the voice driver server 12-1 (S4).

구연동화 서버(12-1)는 이 음성 파일과 영상 파일을 재생 시간 간격(Ts)으로 분할하고, 각 분할된 음성 및 영상 파일에 로봇 단말기(1-2)에 대응하는 동작 제어 데이터를 삽입하여 동작 포함 멀티미디어 데이터 패킷을 형성한다(S5).The storytelling server 12-1 divides the audio file and the video file into playback time intervals Ts, and inserts motion control data corresponding to the robot terminal 1-2 into the divided audio and video files. A multimedia data packet including an operation is formed (S5).

감시 및 제어 서버(11-2)에서는 로봇 단말기(1-2)로부터의 업패킷을 수신하여 체크-썹(CS)에 의해 업패킷의 유효성을 검증하고 유효하면 업패킷을 통해 로봇 단말기(1-2)의 상태를 모니터링하여(S6), 이상 상태(예를들면 장애물 근접)가 아니면 구연동화 서버(12-1)에 데이터 패킷 전송 개시 명령(START)을 송신하여(S7) 데이터 패킷이 감시 및 제어 서버(11-2)를 거쳐 로봇 단말기(1-2)의 다운 버퍼(down buffer)로 송신되어(S8) 로봇 단말기(1-2)가 재생시간 간격(Ts)으로 이 다운 버퍼에서 데이터 패킷을 차례로 독출하여 재생하면 로봇 단말기(1-2)는 구연 동화용 음성과 영상을 재생하면서 관련 동작을 하게 된다(S9).The monitoring and control server 11-2 receives the uppacket from the robot terminal 1-2, verifies the validity of the uppacket by the check-brows CS, and if it is valid, the robot terminal 1-1 through the uppacket. 2), and if it is not an abnormal state (e.g., obstacle proximity), transmits a data packet transmission start command START to the start synchronization server 12-1 (S7) and monitors the data packet. It is transmitted to the down buffer of the robot terminal 1-2 through the control server 11-2 (S8) and the robot terminal 1-2 is a data packet in this down buffer at the reproduction time interval Ts. After reading and playing back in sequence, the robot terminal 1-2 performs a related operation while reproducing the voice and video for the storytelling (S9).

감시 및 제어 서버(11-2)에서 로봇 단말기(1-2)의 상태를 모니터링하여 장애물 근접이라는 이상 상태가 감지되면, 구연동화 서버(12-1)에 전송을 일시 중단하라는 명령(PAUSE)을 내려서(S10) 구연동화 서버(12-1)가 패킷 데이터 전송을 일시 중단하게 한다(S11).When the monitoring and control server 11-2 monitors the state of the robot terminal 1-2 and detects an abnormal state of obstacle proximity, it sends a command PAUSE to suspend transmission to the storytelling server 12-1. In step S10, the cipher synchronization server 12-1 suspends packet data transmission (S11).

이 상태에서, 감시 및 제어 서버(11-2)는 내장된 장애물 회피 알고리즘에 상태 객체의 센싱 데이터를 입력하여 로봇 단말기(1-2)가 장애물을 피해가기 위한 데이터 패킷을 형성하여(S12), 로봇 단말기(1-2)로 전달하여 로봇 단말기(1-2)가 이 패킷들을 차례로 다운버퍼에서 독출하여 해당 동작을 하여 장애물을 피하게 한다(S13).In this state, the monitoring and control server 11-2 inputs sensing data of the state object to the built-in obstacle avoidance algorithm to form a data packet for the robot terminal 1-2 to avoid the obstacle (S12). The robot terminal 1-2 transmits the packets to the robot terminal 1-2 so that the packets are sequentially read from the down buffer to perform a corresponding operation to avoid obstacles (S13).

이제, 감시 및 제어 서버(11)는 상태 객체를 통해 장애물이 회피된 것을 알게 되므로, 이때에는 구연동화 서버(12-1)에 전송 재개명령(RESUME) 내려 구연동화용 데이터 패킷들의 전송을 재개하면 다시 로봇 단말기(1-2)가 구연동화의 음성 및 영상을 재생하면서 동작을 재개하게 된다(S14).Now, since the monitoring and control server 11 knows that the obstacle is avoided through the state object, if the resumption command (RESUME) to the storytelling server 12-1 resumes the transmission of the dataset for the storytelling. The robot terminal 1-2 again resumes the operation while reproducing the voice and video of the spoken story (S14).

다음으로, 본 발명을 이용하는 다른 실시예로서, 이메일 서버(12-M)에 저장된 동작 포함 이메일을 동작 포함 멀티미디어 패킷으로 변환하여 감시 및 제어 서버(11-3)을 경유하여 송신하여 로봇 단말기(1-3)에서 재생하는 도중에 배터리가 방전되어, 발성은 하지만 로봇 단말기(1-3)의 동작 구동을 중지시키고 배터리 잔량 부족 경고 램프를 온시키는 경우에 따른 데이터 패킷의 변화를 도9를 참고로 하여 설명한다.Next, as another embodiment using the present invention, by converting the e-mail containing the operation stored in the e-mail server (12-M) into a multimedia packet containing the operation and sent via the monitoring and control server (11-3), the robot terminal (1) The battery is discharged during the playback in -3), but the voice packet changes, but the operation of the robot terminal 1-3 stops the operation and turns on the battery remaining warning lamp. Explain.

이메일 서버(12-M)은 저장된 동작 포함 이메일에서 이메일 문장 부분을 TTS서버(13)으로 송신하면 TTS 서버(13)에서는 이 문장을 음성 파일로 변환하고 이 음성 파일을 패킷 재생 시간 간격(Ts)으로 분할하여 각 분할된 부분을 패킷 포맷에서 음성 데이터 영역(AD)에 삽입하여 완성한 도9a와 같은 패킷(P1)을 이메일 서버(12-M)로 출력한다. The e-mail server 12-M transmits the e-mail sentence portion of the stored e-mail including the stored action to the TTS server 13, and the TTS server 13 converts the sentence into a voice file and converts the voice file into a packet reproduction time interval Ts. The packet P1 as shown in Fig. 9A is outputted to the e-mail server 12-M by dividing by the interpolation into the voice data area AD in the packet format.

한편, 이메일 서버(12-M)는 동작 명령을 달성하기 위하여 각 재생 시간 간격별로 로봇 단말기(1-3)의 각 모터나 릴레이가 어떻게 제어되어야 하는지에 해당하는 동작 제어 데이터를 형성하여, 그 동작 제어 데이터를 TTS 서버(13)에서 수신된 패킷(P1)의 동작 데이터 영역(MD)에 삽입하여 패킷(P2)을 형성하면, 동작 포함 이메일용 동작 포함 멀티미디어 패킷(P2)이 형성된다.On the other hand, the e-mail server 12-M forms operation control data corresponding to how each motor or relay of the robot terminal 1-3 should be controlled at each reproduction time interval in order to achieve the operation command, and the operation is performed. When control data is inserted into the operation data area MD of the packet P1 received by the TTS server 13 to form the packet P2, an operation-containing multimedia packet P2 for operation-containing e-mail is formed.

이제, 감시 및 제어 서버(11-3)가 로봇 단말기(1-3)상태 객체를 검사하여 유효하고 로봇 단말기(1-3)가 배터리 방전(부족)이 아니면 전송 개시(START) 명령을 이메일 서버(12-M)에 송신하여 이메일 서버(12-M)에서 패킷(P2)이 감시 및 제어 서버(11-3)를 경유하여 로봇 단말기(1-3)에 전달되면 로봇 단말기(1-3)은 이메일에 해당하는 발성과 동작을 하게 된다.Now, if the monitoring and control server 11-3 checks the robot terminal 1-3 state object and it is valid, and the robot terminal 1-3 is not a battery discharge (low), it will send an START command to the email server. When the packet P2 is transmitted to the robot terminal 1-3 via the monitoring and control server 11-3 from the e-mail server 12-M and sent to the robot terminal 1-3, the robot terminal 1-3. Will act as the voice corresponding to the email.

이후, 감시 및 제어 서버(11-3)가 로봇 단말기(1-3)상태 객체를 검사하여 유효하고 로봇 단말기(1-3)가 배터리 방전(부족)이면, 감시 및 제어 서버(11-3)는 로봇 단말기(1-3)의 동작을 정지하고 로봇 단말기(1-3)의 몸체에 있는 배터리 부족 경고 LED를 점등하기 위하여, 이메일 서버(12-M)에서 수신한 패킷(P2)의 동작 제어 데이터 영역(MD)을 Null 데이터 처리하고 보조 데이터 영역(XD)의 배터리 부족 경고 LED 비트(미도시)에 1을 입력하여, 도9c와 같은 패킷(P3)을 형성하여 로봇 단말기(1-3)에 송신하면 로봇 단말기(1-3)는 동작을 멈추고 이 배터리 부족 LED 비트값이 1이기 때문에 배터리 부족 경고 LED를 점등하게 된다. Thereafter, if the monitoring and control server 11-3 is valid by inspecting the robot terminal 1-3 state object and the robot terminal 1-3 is a battery discharge (low), the monitoring and control server 11-3. Control the operation of the packet P2 received from the e-mail server 12-M to stop the operation of the robot terminal 1-3 and to light up the low battery warning LED on the body of the robot terminal 1-3. The robot terminal 1-3 is formed by processing the null data of the data area MD and inputting 1 to the low battery warning LED bit (not shown) of the auxiliary data area XD to form a packet P3 as shown in FIG. 9C. The robot terminal 1-3 stops operation when it transmits to the controller, and the low battery warning LED is turned on because the low battery LED bit value is 1.

이상과 같은 본 발명을 이용하면, 감시 및 제어 서버(11)에서는 로봇 단말기(1)의 특정 서비스 요청을 수신하여 해당 콘텐츠 서버(12)와 로봇 단말기(1)를 연결하는 스위칭 동작을 수행하고, 로봇 단말기(1)의 현재 상태를 나타내는 상태 객체를 검증하고 감시하여 콘텐츠 서버(12)와 로봇 단말기(1) 사이의 데이터 패킷 전송을 제어하고 로봇 단말기(1)에게 조치용 데이터 패킷을 전송하는 역할을 담당하게 된다. Using the present invention as described above, the monitoring and control server 11 receives a specific service request of the robot terminal 1 performs a switching operation for connecting the content server 12 and the robot terminal 1, Verifies and monitors the state object representing the current state of the robot terminal 1 to control data packet transmission between the content server 12 and the robot terminal 1 and to transmit a data packet for action to the robot terminal 1. Will be in charge.

또한, 콘텐츠 서버(12)는 멀티미디어 콘텐츠에 동작을 포함시켜 동작 포함 멀티미디어 패킷을 형성하는 과정을 수행하거나 동작 명령 포함 이메일에 대응하는 동작 포함 이메일 음성 패킷 형성 과정을 수행하고, 오직 감시 및 제어 서버(11)의 제어 하에 패킷 데이터를 전송하게 된다.In addition, the content server 12 performs a process of forming an multimedia packet including an action by including an action in the multimedia content or performing an e-mail voice packet forming process including an action corresponding to an e-mail with an action command. Packet data is transmitted under the control of 11).

따라서, 본 발명에 따른 감시 및 제어 서버(11)는 종래기술과 달리 패킷 데이터의 형성 및 전송에 대한 부담이 제거되어, 오직 상태 객체의 감시 및 패킷 데이터의 전송 제어만을 담당하여 부하가 격감되므로, 하나의 감시 및 제어 서버(11)가 담당할 수 있는 로봇 단말기(1)의 대수가 상당히 증가하게 된다. 이때, 배터리 방전이나 장애물 회피를 위한 음성/영상/동작 데이터 패킷의 전송은 특정 로봇 단말기(1)에서 어쩌다가 발생하므로 감시 및 제어 서버(11)의 전체적인 부하에 거의 영향을 미치지 않게 된다. 또한, 감시 및 제어 서버(11)에서 멀티미디어 콘텐츠를 입수함에 따른 비용을 절감하고 동작 포함 멀티미디어 콘텐츠 패킷 데이터의 제작시의 어려움을 제거할 수 있다.Therefore, the monitoring and control server 11 according to the present invention, unlike the prior art, the burden on the formation and transmission of the packet data is removed, so that the load is reduced only by monitoring the state object and the transmission control of the packet data, The number of robot terminals 1 which one monitoring and control server 11 can take charge will increase considerably. At this time, the transmission of the voice / video / motion data packet for battery discharge or obstacle avoidance occurs in a specific robot terminal 1 and thus hardly affects the overall load of the monitoring and control server 11. In addition, it is possible to reduce the cost of obtaining the multimedia content from the monitoring and control server 11 and to eliminate the difficulty in producing the multimedia content packet data including the operation.

그리고, 콘텐츠 서버(12)에서는 오직 자신이 관장하는 멀티미디어 콘텐츠나 동작 포함 이메일과 관련된 동작 포함 멀티미디어 패킷 데이터의 형성 및 전송에만 신경을 쓰면 되므로, 보다 적절한 동작 포함 멀티미디어 패킷 데이터의 형성이 가능하고 자신이 직접 패킷 데이터를 전송하므로 각 로봇 단말기에 서비스한 시간을 정확히 알 수 있어 과금에 따른 이익 분배시 자료로 사용할 수 있게 된다.In addition, since the content server 12 only cares about the formation and transmission of the multimedia packet data including the motion related to the multimedia content or the motion-containing email that it manages, it is possible to form the multimedia packet data more appropriately. Since the packet data is transmitted directly, the service time to each robot terminal can be known accurately, and it can be used as a data for profit distribution according to billing.

또한, 로봇 단말기(1)의 상태 객체를 가장 먼저 수신하게 되는 감시 및 제어 서버(11)에서 로봇 단말기(1)의 상태를 판단하여 필요한 조치를 시행하게 되므로, 다음 단에 있는 콘텐츠 서버(12)에 의한 감시 및 조치의 경우에 비해 보다 신속하게 필요한 조치를 시행할 수 있게 된다.In addition, since the monitoring and control server 11, which receives the state object of the robot terminal 1 first, determines the state of the robot terminal 1 and performs necessary measures, the content server 12 in the next stage. It is possible to implement the necessary measures more quickly than in the case of monitoring and taking measures.

이상에서는 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 이 실시예에 한정되는 것이 아니라 본 발명의 정신을 벗어나지 않는 범위 내에서 다양한 변형이 가능하다는 점을 유의해야 한다.While the preferred embodiment of the present invention has been described above, it should be noted that the present invention is not limited to this embodiment, but various modifications can be made without departing from the spirit of the present invention.

이상과 같은 본 발명을 이용하면, 동작 포함 멀티미디어 콘텐츠를 네트워크 기반 로봇 시스템에서 서비스하기 위한 계층 구조적인 서비스 서버 시스템을 제공하는 것이 가능해진다.By using the present invention as described above, it becomes possible to provide a hierarchical service server system for serving motion-containing multimedia content in a network-based robot system.

도1은 종래기술에 따른 네트워크 기반 로봇 시스템.1 is a network-based robot system according to the prior art.

도2는 도1을 개선한 다른 종래기술에 따른 네트워크 기반 로봇 시스템.2 is a network-based robot system according to another prior art, which is an improvement of FIG.

도3는 도2에서의 로봇 단말기의 내부 구조를 도시함.3 shows the internal structure of the robot terminal in FIG.

도4는 도2의 패킷 데이터 구조를 도시함.Figure 4 shows the packet data structure of Figure 2;

도5는 도2의 서비스 서버 부분을 구체화함.Figure 5 embodies the service server portion of Figure 2;

도6은 본 발명에 따른 네트워크 기반 로봇 시스템.6 is a network-based robot system according to the present invention.

도7은 도6의 서비스 서버 부분을 구체화한 상세도.FIG. 7 is a detailed view incorporating the service server portion of FIG. 6; FIG.

도8은 도6에 따른 본 발명을 적용한 실시예의 동작 흐름도.8 is an operational flowchart of an embodiment to which the present invention according to FIG. 6 is applied.

도9는 본 발명에 따른 패킷 데이터의 변화를 도시함.9 illustrates a change in packet data according to the present invention.

Claims (12)

네트워크 기반 로봇 시스템에 있어서,In the network-based robot system, 상기 로봇 시스템은 로봇 단말기와 서비스 서버를 포함하고, 상기 서비스 서버는 감시 및 제어 서버와 콘텐츠 서버를 포함하며,The robot system includes a robot terminal and a service server, the service server includes a monitoring and control server and a content server, 상기 로봇 단말기는The robot terminal 상기 감시 및 제어 서버로부터 동작 포함 멀티미디어 패킷을 수신하여 패킷 재생 시간 간격으로 음성/영상/동작 재생을 하고, 센서들에서 수신된 센서값들을 상태객체 패킷으로 상기 감시 및 제어 서버에 네트워크를 통해 전송하며, Receives multimedia packets with motions from the monitoring and control server and plays audio / video / motion at packet playback time intervals, and transmits sensor values received from sensors to the monitoring and control server as status object packets over the network. , 상기 감시 및 제어 서버는 The monitoring and control server 상기 로봇 단말기로부터의 상태 객체 패킷을 상기 네트워크를 통해 수신하여 로봇 단말기의 상태를 감시하여, 조치가 필요한 상태인지의 여부의 판정에 따라, 상기 콘텐츠 서버에서 전달받은 동작 포함 멀티미디어 패킷을 상기 네트워크를 통해 상기 로봇 단말기로의 전송을 제어하며,Receiving a state object packet from the robot terminal through the network to monitor the state of the robot terminal, according to the determination of whether or not action is required, the multimedia packet including the operation received from the content server through the network. To control transmission to the robot terminal, 상기 콘텐츠 서버는The content server 멀티미디어 파일을 상기 패킷 재생 시간 간격으로 분할하여, 각 분할된 멀티미디어 파일에, 필요시 로봇 단말기용 동작 제어 데이터를 삽입하여 동작 포함 멀티미디어 패킷을 형성하고, 상기 감시 및 제어 서버의 제어 하에, 상기 형성된 동작 포함 멀티미디어 패킷을 상기 네트워크를 통해 상기 감시 및 제어 서버로 송신하는 것을 특징으로 하는 네트워크 기반 로봇 시스템.The multimedia file is divided into packet playback time intervals, and motion control data for a robot terminal is inserted into each divided multimedia file to form a multimedia packet including motion, and under the control of the monitoring and control server, the formed motion And a multimedia packet to the monitoring and control server via the network. 제1항에 있어서, 상기 로봇 단말기는 상기 동작 포함 멀티미디어 패킷을 다운 버퍼를 통해 차례로 수신하고, 이 다운 버퍼에서 차례로 독출하여 재생하며, 상기 상태 객체 패킷을 상기 감시 및 제어 서버에 차례로 송신하는 것을 특징으로 하는 네트워크 기반 로봇 시스템.The robot terminal of claim 1, wherein the robot terminal sequentially receives the motion-containing multimedia packet through a down buffer, sequentially reads and reproduces the data from the down buffer, and sequentially transmits the state object packet to the monitoring and control server. Network-based robot system. 제1항에 있어서, 상기 감시 및 제어 서버는 수신한 상태 객체 패킷을 상기 콘텐츠 서버로 송신하여 공유하는 것을 특징으로 하는 네트워크 기반 로봇 시스템. The network-based robot system of claim 1, wherein the monitoring and control server transmits and shares the received state object packet to the content server. 제3항에 있어서,The method of claim 3, 상기 콘텐츠 서버는 공유된 상태 객체를 통해 센싱 데이터를 인식하여 센싱 데이터에 따른 상이한 동작 포함 멀티미디어 패킷을 감시 및 제어 서버로 송신하는 것을 특징으로 하는 네트워크 기반 로봇 시스템.The content server recognizes the sensing data through a shared state object and transmits a multimedia packet including different operations according to the sensing data to the monitoring and control server. 제1항에 있어서, 조치가 필요하지 않은 것으로 판정이 되면, 상기 감시 및 제어 서버는 상기 콘텐츠 서버에서 전달받은 동작 포함 멀티미디어 패킷을 상기 로봇 단말기로 전송하는 것을 특징으로 하는 네트워크 기반 로봇 시스템. The network-based robot system of claim 1, wherein if it is determined that no action is required, the monitoring and control server transmits a multimedia packet including an operation received from the content server to the robot terminal. 제1항에 있어서, 조치가 필요한 것으로 판정이 되면, 상기 감시 및 제어 서버는 상기 콘텐츠 서버에서 전달받은 동작 포함 멀티미디어 패킷을 상기 로봇 단말기로 전송하는 것을 중단하고, 조치용 동작 포함 멀티미디어 패킷을 형성하여 상기 로봇 단말기로 전송하는 것을 특징으로 하는 네트워크 기반 로봇 시스템. The method of claim 1, wherein if it is determined that an action is required, the monitoring and control server stops transmitting the multimedia packet including the motion received from the content server to the robot terminal, and forms a multimedia packet including the action for action. Network-based robot system, characterized in that for transmitting to the robot terminal. 제1항에 있어서, 조치가 필요한 것으로 판정이 되면, 상기 감시 및 제어 서버는 상기 콘텐츠 서버에서 전달받은 동작 포함 멀티미디어 패킷을 수정하여 조치를 위한 동작 포함 멀티미디어 패킷을 형성하여 상기 로봇 단말기로 전송하는 것을 특징으로 하는 네트워크 기반 로봇 시스템. The method of claim 1, wherein if it is determined that an action is required, the monitoring and control server modifies the multimedia packet with motion received from the content server to form a multimedia packet with motion for action and transmit it to the robot terminal. Network-based robot system characterized by. 제1항에 있어서, 상기 감시 및 제어 서버는 로봇 단말기와 특정 콘텐츠 서버를 연결해 주는 스위칭 역할을 하는 것을 특징으로 하는 네트워크 기반 로봇 시스템. The network-based robot system according to claim 1, wherein the monitoring and control server serves as a switching link between the robot terminal and a specific content server. 제1항에 있어서, 상기 감시 및 제어 서버는 이메일 도착여부 또는 제 3의 서버로부터 전달되는 특정시간에 관련된 정보를 수집하는 것을 특징으로 하는 네트워크 기반 로봇 시스템. The network-based robotic system according to claim 1, wherein the monitoring and control server collects information related to whether or not an email arrives or a specific time transmitted from a third server. 제1항에 있어서, 상기 감시 및 제어 서버는 현재의 네트워크의 상태를 감시하고 그 정보를 상기 콘텐츠 서버와 공유 하는 것을 특징으로 하는 네트워크 기반 로봇 시스템. The network-based robotic system according to claim 1, wherein the monitoring and control server monitors the current network status and shares the information with the content server. 제1항에 있어서,The method of claim 1, 상기 콘텐츠 서버중의 하나는 타 콘텐츠가 실행되고 있지 않을 경우 자동적으로 로봇의 자율적인 행동을 제어하는 서버인 것을 특징으로 하는 네트워크 기반 로봇 시스템.One of the content servers is a network-based robot system, characterized in that the server to automatically control the autonomous behavior of the robot when no other content is running. 제1항에 있어서, 상기 감시 및 제어 서버는 각 로봇 단말기가 요청한 서비스와 서비스 제공 시간에 대한 정보를 가지고 있어, 이 정보를 통해 과금을 하는 것을 특징으로 하는 네트워크 기반 로봇 시스템.The network-based robot system according to claim 1, wherein the monitoring and control server has information about a service and a service providing time requested by each robot terminal, and charges through this information.
KR1020050072314A 2005-08-08 2005-08-08 Hierarchical structured service server system for network based robot system KR100530254B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050072314A KR100530254B1 (en) 2005-08-08 2005-08-08 Hierarchical structured service server system for network based robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050072314A KR100530254B1 (en) 2005-08-08 2005-08-08 Hierarchical structured service server system for network based robot system

Publications (1)

Publication Number Publication Date
KR100530254B1 true KR100530254B1 (en) 2005-11-22

Family

ID=37306160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050072314A KR100530254B1 (en) 2005-08-08 2005-08-08 Hierarchical structured service server system for network based robot system

Country Status (1)

Country Link
KR (1) KR100530254B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100983127B1 (en) * 2008-08-28 2010-09-17 (주)수연미디어 Contents robot coupled with broadcasting contents and method for controlling thereof
US7835821B2 (en) 2005-11-17 2010-11-16 Electronics And Telecommunications Research Institute Robot server for controlling robot, system having the same for providing content, and method thereof
KR101048228B1 (en) 2008-04-18 2011-07-08 주식회사 케이티 Quality measuring device in network-based robot and its method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7835821B2 (en) 2005-11-17 2010-11-16 Electronics And Telecommunications Research Institute Robot server for controlling robot, system having the same for providing content, and method thereof
KR101048228B1 (en) 2008-04-18 2011-07-08 주식회사 케이티 Quality measuring device in network-based robot and its method
KR100983127B1 (en) * 2008-08-28 2010-09-17 (주)수연미디어 Contents robot coupled with broadcasting contents and method for controlling thereof

Similar Documents

Publication Publication Date Title
JP4318147B2 (en) Processing method for playing multimedia content including motion in a network-based robot system
KR100779978B1 (en) Infomation providing system, information providing apparatus and information providing method and data recording medium
US6895379B2 (en) Method of and apparatus for configuring and controlling home entertainment systems through natural language and spoken commands using a natural language server
CN100421412C (en) Method and system for allocating medium data at different network
JP4441874B2 (en) Information processing system, playback terminal device and playback method, information processing device and method, and program
EP1320213A1 (en) Network system and ouput device used in this system
US20060146776A1 (en) Network-based robot control system
CN108388140A (en) Control method, apparatus, electronic equipment and the storage medium of smart machine
EP1045374A1 (en) Merging of speech interfaces for concurrent use of devices and applications
US20050014463A1 (en) Internet broadcasting system and method thereof for personal telecommunication terminal
CN101355500B (en) Content reproduction apparatus, content reproduction method and program
US20130246778A1 (en) Dynamically scalable application infrastructure
CN102696224A (en) Method for connecting video communication to other device, video communication apparatus and display apparatus thereof
KR100530254B1 (en) Hierarchical structured service server system for network based robot system
KR20070011183A (en) Interactive multimedia production system
US20060206823A1 (en) Information providing system, information providing apparatus and information providing method as well as data recording medium
Encarnaçao et al. Ambient intelligence: Towards smart appliance ensembles
US20030097497A1 (en) Data format recognition for networks providing device interoperability
JP2008060675A (en) Sound reproduction device and method
JP4279081B2 (en) Content playback system
JP2007086484A (en) Content delivery system, and content delivery method, delivery apparatus and terminal device used for the same, and program thereof
EP3133795B1 (en) Network device and method for metadata distribution in a network
JP2008119442A (en) Audio device-compatible robot terminal capable of playing multimedia contents file having motion data
CN100571330C (en) Television set function menu help system
CN205412246U (en) Toy state remote monitoring system and toy

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20101115

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee