KR100424231B1 - 데이터 재생 장치, 데이터 재생 방법 및 정보 단말기 - Google Patents

Abstract

데이터 수신부(3)에서 수신되는 MIDI, 음성, 문자 및 화상의 각 데이터는 이벤트 정보와 이벤트를 실행하기 위한 델타·타임을 포함하는 SMF 포맷의 데이터이고, 데이터 배분부(4)는 수신한 각 데이터의 델타·타임에 기초하여 데이터를 종류 별로 분류한다. 분류된 각 데이터는 MIDI 재생부(11), 음성 재생부(12), 문자 재생부(13) 및 화상 재생부(14)에서 각각 재생된다. MIDI 재생부와 음성 재생부에서 재생된 데이터는 믹서(15)로 혼합되어 스피커(19)로부터 사운드로서 출력되고, 문자 재생부와 화상 재생부에서 재생된 데이터는 믹서(16)로 혼합되어 표시기(20)에 가시 정보로서 표시된다. 각 데이터는 델타·타임에 따른 타이밍으로 재생되기 때문에, 사운드나 영상과 같은 다른 종류의 데이터 사이에서 간단히 동기를 취할 수 있다.

Description

데이터 재생 장치, 데이터 재생 방법 및 정보 단말기{DATA REPRODUCING DEVICE, DATA REPRODUCING METHOD, AND INFORMATION TERMINAL}

멀티미디어 진전에 따라 여러가지의 정보가 네트워크를 통해 공급되도록 되고 있다. 이들 정보의 대표적인 것은 음(音)이나 문자, 또는 화상 등이다. 예를 들면 통신 가라오케의 경우, 곡의 타이틀이나 가사 등은 문자 정보이고 반주곡이나 백코러스 등은 음 정보이며 배경의 동화상 등은 화상 정보이다.

통신 가라오케에서는 이러한 각종 정보가 네트워크를 통해 동시에 배신(配信)되고, 단말기 장치로 각 정보의 재생이 행해진다. 그리고, 이들 각 정보 상호간에서 동기를 취함으로써 곡의 진행에 따라 가사의 문자 색이 변화하거나, 동화상이 변화하기도 한다.

종래에서는 상기한 바와 같은 동기를 취하기 때문에, 음, 문자, 화상 등의 각 정보를 처리하는 각각의 소프트웨어의 프로그램 중에 시계를 설치하고, 이 시계의 시간 정보에 따라 동기 처리를 하고 있었다. 이 때문에, 시스템의 부하가 증대한 경우에 각 시계가 서로 일치하지 않는 것이 있으며, 소위 동기 어긋남이 발생하여 각 정보가 출력되는 타이밍이 어긋나고, 음성과 화상이 일치하지 않은 등의 문제점이 발생되고 있었다.

또한, 음, 문자, 화상 등의 데이터는 명령에 따라 그 때마다 파일을 액세스하여 판독하고 있기 때문에, 처리에 시간을 필요로 함과 함께, 파일이 각 데이터마다 별개로 작성되어 있기 때문에, 파일 관리가 번잡하게 된다고 하는 문제가 있었다.

발명의 개시

그 때문에, 본 발명의 목적은 속성이 다른 각종 정보를 재생하는 데 있어서 용이하게 동기를 취할 수 있는 데이터 재생 장치 및 데이터 재생 방법을 제공하는 데 있다.

본 발명의 다른 목적은 데이터 종류 별로 파일을 작성할 필요가 없고, 파일 관리가 용이한 데이터 재생 장치를 제공하는 데 있다.

본 발명의 다른 목적은 음성, 문자, 화상 등의 임의의 정보를 기존의 데이터 포맷에 용이하게 매립할 수 있는 데이터 재생 장치를 제공하는 데 있다.

본 발명의 다른 목적은 통신 가라오케에 적합한 데이터 재생 장치를 제공하는 데 있다.

본 발명의 다른 목적은 현장감 넘친 음악 연주를 얻을 수 있는 데이터 재생 장치를 제공하는 데 있다.

본 발명의 다른 목적은 데이터를 반복 재생하는 경우에 데이터의 전송량을 줄일 수 있는 데이터 재생 방법을 제공하는 데 있다.

본 발명의 다른 목적은 통신 회선이 소용량인 것으로 끝나는 데이터 재생 방법을 제공하는 데 있다.

본 발명의 다른 목적은 재생 데이터의 데이터량을 한층 저감할 수 있는 데이터 재생 방법을 제공하는 데 있다.

본 발명의 다른 목적은 데이터 재생 시의 노이즈 발생을 억제할 수 있는 데이터 재생 방법을 제공하는 데 있다.

본 발명의 다른 목적은 데이터를 고속으로 처리할 수 있는 데이터 재생 장치 및 데이터 재생 방법을 제공하는 데 있다.

본 발명의 다른 목적은 전송로의 용량 변동에 관계 없이 안정적으로 데이터를 재생할 수 있는 데이터 재생 장치를 제공하는 데 있다.

본 발명의 다른 목적은 음, 문자, 화상 등의 속성이 다른 각종 정보를 다운로드하고, 이들을 재생하여 사운드나 가시 정보로서 출력할 수 있는 정보 단말기를 제공하는 데 있다.

본 발명의 다른 목적은 전화기나 게임기의 기능을 구비한 정보 단말기에 있어서, 인터럽트 신호에 대하여 적절한 처리를 행할 수 있는 정보 단말기를 제공하는 데 있다.

본 발명의 다른 목적은 CD(Compact Disk)나 MD(Mini Disk) 등의 음악, 가사 및 재킷 사진의 데이터를 다운로드하여 이용할 수 있는 정보 단말기를 제공하는 데 있다.

본 발명의 다른 목적은 다운로드한 각 데이터를 소형의 정보 기억 매체에 저장하여 이용할 수 있는 정보 단말기를 제공하는 데 있다.

본 발명의 또 다른 목적은 커머셜 정보를 수신하여 시청한 경우, 커머셜의 제공자에 의한 서비스를 받을 수 있는 데이터 재생 장치를 제공하는 데 있다.

본 발명에 있어서, MIDI는 Musical Instrument Digital Interface의 약어로서, 전자 악기 상호간이나 전자 악기와 컴퓨터 사이에서 음악 연주의 신호를 서로 교환하기 위한 국제 표준 규격이다. 또한, SMF는 Standard MIDI File의 약어로서, 델타·타임이라 불리는 시간 정보와, 연주 내용 등을 나타내는 이벤트 정보로 이루어진 표준 파일 형식이다. 본 명세서에 있어서의 「MIDI」 및 「SMF」라는 용어는 상기한 의미에서 이용하는 것으로 한다.

본 발명에 있어서는 수신하는 데이터는 이벤트 정보와 이벤트가 실행되는 시간 정보를 포함하고 있으며, SMF와 같은 형식의 데이터로 이루어진다. 수신 데이터는 각각의 시간 정보에 기초하여 종류 별로 분류되고, 분류한 데이터의 이벤트가 실행되어 데이터 재생이 행해진다.

본 발명에서는 시간 정보와 음, 문자, 화상 등의 정보가 일체로 되어 있기 때문에, 각종 데이터를 이들이 갖는 시간 정보에 따라 재생함으로써, 시간 정보를 동기 정보로서 이용할 수 있다. 그 결과, 사운드나 영상과 같은 다른 종류의 데이터 사이에서 간단히 동기를 취할 수 있으며, 또한 데이터 종류마다 파일을 따로따로 작성하여 관리할 필요가 없어서 파일 관리도 용이하게 된다. 또한, 각종 파일에 매번 액세스할 필요가 없어져서 처리가 고속화된다.

수신 데이터는 MIDI 이벤트 정보를 갖는 제1 데이터와, MIDI 이외의 이벤트정보를 갖는 제2 데이터로 구성할 수 있다. 제2 데이터로서는 예를 들면 문자나 화상 또는 음성 등에 관한 데이터를 생각할 수 있다.

MIDI 이벤트는 전자 악기의 발음을 제어하기 위한 커맨드의 집합체이다. 예를 들면, 「도 음의 발음을 개시해라」「도 음의 발음을 정지해라」라는 명령 커맨드 형을 취하고 있다. 그리고, 이 MIDI 이벤트는 시간 정보인 델타·타임이 부가되어 SMF 형식의 데이터가 되고, 델타·타임이 나타내는 시간에 따라 소정 시각이 되면 「도 음의 발음 개시」 「도 음의 발음 정지」등의 이벤트가 실행되도록 되어 있다.

한편, MIDI 이외의 이벤트에는 META 이벤트나 시스템·익스클루시브·이벤트가 있다. 이들 이벤트는 후술하는 바와 같이 포맷을 확장할 수 있으며, 이 확장된 포맷에 각종 데이터를 매립할 수 있다. 이러한 SMF의 확장 포맷을 이용하면, 포맷에 대폭적인 개변을 가하지 않고 사운드나 영상 등의 각종 데이터를 용이하게 기록할 수 있다.

본 발명에서는 MIDI, 문자 및 화상의 각 이벤트 정보를 갖는 데이터를 수신하고, 재생한 MIDI의 데이터를 사운드로서 출력함과 함께, 재생한 문자 및 화상의 데이터를 가시 정보로서 출력함으로써, 가라오케에 적합한 데이터 재생 장치를 실현할 수 있다. 이 경우, 사운드로서 MIDI 외에 음성을 가함으로써 악기의 연주 파트를 MIDI에서 백코러스 등의 보컬 부분을 음성으로 각각 재생할 수 있으며, 현장감 넘치는 연주를 실현할 수 있다.

MIDI 이외의 이벤트 정보를 갖는 제2 데이터를 반복 재생하는 경우, 최초에수신한 데이터를 메모리에 기억해 두고, 데이터를 반복 재생할 때, 재생에 관한 시간 정보만 제2 데이터로 송신하는 것이 바람직하다. 이렇게 함으로써, 데이터의 전송량을 줄일 수 있다.

또한, 제1 데이터에 계속해서 제2 데이터를 재생하는 경우, 제2 데이터에 있어서의 재생 데이터를 복수의 데이터로 분할하고, 이 분할한 복수의 데이터를 선행하는 제1 데이터 사이에 삽입한 데이터군을 송신하고, 수신측에서 이 데이터군으로부터 삽입된 분할 데이터를 추출하고, 추출된 분할 데이터를 합성하여 재생 데이터로 하는 것이 바람직하다. 이렇게 함으로써, 송신되는 데이터량이 평준화되어 통신 회선이 소용량으로 끝난다. 이 경우, 추출된 분할 데이터를 시계열적으로 순차 메모리에 저장하고, 저장된 분할 데이터의 영역에 분할 데이터가 연결되는 후속의 분할 데이터의 개시 번지를 기록함으로써, 분할 데이터를 용이하고 또한 확실하게 합성할 수 있다.

또한, 제2 데이터에 기록되는 재생 데이터의 무음 구간을 컷트함으로써, 데이터량이 한층 저감된다. 이 경우, 재생 데이터의 상승부와 하강부 부근의 신호에 창 처리를 실시하는 것이 노이즈 발생을 억제하는 데에 있어서 바람직하다.

본 발명에 따른 데이터 재생 장치의 다른 형태에서는 속성이 다른 각 데이터는 이들 시간 정보에 기초하여 단위 구간마다 분류되어 기억부에 저장되고, 다음 단위 구간에서 기억부로부터 순차 판독되어 재생된다. 이에 따르면, 수신 데이터의 처리가 파이프라인화되기 때문에, 보다 고속 처리를 행할 수 있다. 또한, 데이터의 시간 정보와 단위 구간의 시간 폭을 관리하고, 단위 구간에서 처리해야 할 데이터만을 기억부로 보냄으로써 용이하게 시간 동기를 취할 수 있다.

본 발명에 따른 데이터 재생 장치는 데이터를 다운로드하면서 재생을 행하는 스트림 방식을 채택할 수도 있다. 이 경우, 재생에 의해 소비되는 데이터량이 저장는 데이터량을 상회하면, 데이터가 부족하여 음이나 화상 등이 도중에 끊기기 때문에, 데이터를 필요량만큼 캐쉬한 후에 재생을 개시함으로써, 데이터가 도중에 끊기지 않고 연속하여 재생을 행할 수 있다.

본 발명에 따른 데이터 재생 장치는 휴대 전화기나 게임기와 같은 정보 단말기에 탑재할 수 있고, 단말기의 통신 기능을 이용하여 각종 데이터를 서버로부터 다운로드할 수 있다. 그리고, 정보 단말기에 사운드를 출력하는 스피커나, 문자 및 화상을 표시하는 표시기를 설치함으로써, 음악이나 영상을 단말기로 시청할 수 있다. 전화기의 경우에는 착신 신호를 수신했을 때 스피커로부터의 사운드 출력을 금지하여 착신음을 출력하는 것이 바람직하다. 게임기의 경우에는 스피커로부터 사운드와 동시에 MIDI에 의한 효과음을 출력할 수도 있다.

본 발명에 따른 데이터 재생 장치에는 소형의 정보 기억 매체를 착탈 가능하게 설치할 수 있으며, 다운로드한 각종 데이터를 이 정보 기억 매체에 보존하여 재이용할 수 있다. 예를 들면, 음악 데이터를 MIDI나 음성으로, 가사나 곡목 해설 등의 데이터를 문자로, 재킷용 사진 데이터를 화상으로 각각 다운로드하면, 정보 기억 매체 그 자체를 CD나 MD로서 이용할 수 있다.

본 발명에서는 수신하는 커머셜 정보의 문자 데이터 중, 인터넷의 URL과, 이 URL에서 제공되는 서비스에 관한 정보를 포함시켜 두고, 커머셜 재생에 계속해서상기 URL의 홈페이지로 점프시킴으로써, 커머셜 시청자에게 여러가지의 서비스를 제공할 수 있다.

본 발명은 음이나 화상 등의 속성이 다른 데이터를 재생하는 데 있어서 이용되는 데이터 재생 장치, 데이터 재생 방법 및 휴대 단말기에 관한 것이다.

도 1은 본 발명의 데이터 재생 장치의 예를 나타내는 블록도.

도 2는 SMF 형식의 수신 데이터의 포맷을 나타내는 도면.

도 3은 MIDI에 관한 데이터의 포맷예.

도 4는 간이형 MIDI에 관한 데이터의 포맷예.

도 5는 음성, 문자, 화상에 관한 데이터의 포맷예.

도 6은 제어에 관한 META 이벤트의 포맷예.

도 7은 음성, 문자, 화상에 관한 데이터의 다른 포맷예.

도 8은 데이터열의 포맷예.

도 9는 본 발명에 따른 데이터 재생 방법의 예를 나타내는 플로우차트.

도 10은 본 발명에 따른 데이터 재생 방법의 다른 예를 나타내는 플로우차트.

도 11은 데이터의 반복 재생 처리를 설명하는 도면.

도 12는 반복 재생 처리의 플로우차트.

도 13은 데이터의 전송 원리를 나타내는 도면.

도 14는 분할 데이터의 삽입예를 나타내는 도면.

도 15는 분할 데이터를 저장한 메모리의 내용을 나타내는 도면.

도 16은 분할 데이터를 메모리에 저장하는 경우의 플로우차트.

도 17은 무음 구간을 갖는 음성 데이터의 파형도.

도 18은 무음 구간의 처리를 나타내는 플로우차트.

도 19는 본 발명의 데이터 재생 장치의 다른 예를 나타내는 블록도.

도 20은 본 발명의 데이터 재생 방법의 다른 예를 나타내는 플로우차트.

도 21은 데이터 분류에 있어서의 시간 연산의 원리를 설명하는 도면.

도 22는 데이터 분류의 순서를 나타내는 플로우차트.

도 23은 각 데이터 재생부의 동작을 나타내는 플로우차트.

도 24는 데이터 처리의 전체의 타임차트.

도 25는 스트림 방식에 있어서의 데이터 수신의 동작을 설명하는 도면.

도 26은 데이터 수신의 타임차트.

도 27은 데이터의 캐쉬를 설명하는 타임차트.

도 28은 본 발명의 데이터 재생 장치의 다른 예를 나타내는 블록도.

도 29는 도 28의 장치의 동작을 나타내는 타임차트.

도 30은 본 발명의 데이터 재생 장치의 다른 예를 나타내는 블록도.

도 31은 도 30의 장치의 동작을 나타내는 타임차트.

도 32는 본 발명의 데이터 재생 장치를 이용하여 과금 할인 처리를 행하는 경우의 플로우차트.

도 33은 CM을 구성하는 각 데이터를 시계열적으로 나타낸 도면.

도 34는 문자 데이터에 부가되는 태그의 예.

도 35는 본 발명의 데이터 재생 장치를 이용하여 유효 기한이 있는 서비스를행하는 경우의 플로우차트.

도 36은 문자 데이터에 부가되는 태그의 예.

도 37은 본 발명의 데이터 재생 장치를 탑재한 휴대 전화기를 나타내는 도면.

도 38은 정보 기억 매체에 내장된 메모리의 테이블 도면.

도 39는 휴대 전화기를 이용한 시스템을 나타내는 도면.

본 발명에 따른 데이터 재생 장치의 예를 도 1에 도시한다. 도 1에 있어서, 참조 번호(1a, 1b)는 데이터가 기록된 파일로서, 참조 번호(1a)는 예를 들면 인터넷 상의 서버에 있는 파일, 참조 번호(1b)는 예를 들면 장치 내부의 하드디스크에 있는 파일이다.

참조 번호(2)는 데이터 재생 장치의 전체를 제어하는 CPU에서 데이터 수신부 (3) 및 데이터 배분부(4)를 포함하여 구성되어 있다. CPU(2)는 이 외에도 여러가지의 기능을 갖는 블록을 포함하고 있지만, 본 발명에서는 직접 관계하지 않기 때문에, 도시는 생략되어 있다. 데이터 수신부(3)는 파일(1a, 1b)을 액세스하여 이들에 저장된 데이터를 수신한다. 파일(1a)의 데이터는 유선을 통해 또는 무선에 의해 수신된다. 이들 수신 데이터는 버퍼(3a)에 일시적으로 저장된다. 데이터 배분부(4)는 데이터 수신부(3)가 수신한 데이터를 데이터 재생부(6)로 종류 별로 분류한다.

데이터 재생부(6)는 MIDI에 관한 데이터를 재생하는 MIDI 재생부(11)와, 음성에 관한 데이터를 재생하는 음성 재생부(12)와, 문자에 관한 데이터를 재생하는 문자 재생부(13)와, 화상에 관한 데이터를 재생하는 화상 재생부(14)로 구성되어 있다. MIDI 재생부(11)는 재생하는 음악에 이용하는 여러가지의 악기의 음원 데이터를 기억한 음원 ROM(11a)을 갖고 있다. 이 음원 ROM(11a)은 RAM으로 치환하여 내장 데이터를 교환할 수 있도록 실장할 수도 있다. 화상 재생부(14)는 정지 화상과 동화상을 재생하는 기능을 구비하고 있다.

참조 번호(15)는 MIDI 재생부(11) 및 음성 재생부(12)의 출력을 혼합하는 믹서이고, 참조 번호(16)는 문자 재생부(13) 및 화상 재생부(14)의 출력을 혼합하는 믹서이다. 믹서(15)에는 에코 부가와 같은 처리를 행하기 위한 사운드 이펙트부 (15a)가 설치되어 있으며, 믹서(16)에는 영상에 특수 효과를 부여하는 처리를 행하기 위한 비주얼 이펙트부(16a)가 설치되어 있다. 참조 번호(17)는 믹서(15)의 출력이 일시적으로 저장되는 출력 버퍼, 참조 번호(18)는 믹서(16)의 출력이 일시적으로 저장되는 출력 버퍼이다. 참조 번호(19)는 출력 버퍼(17)의 데이터에 기초하여 사운드를 출력하는 발음부로서의 스피커, 참조 번호(20)는 출력 버퍼(18)의 데이터에 기초하여 문자나 그림 등의 가시 정보를 표시하는 표시기이다.

데이터 수신부(3)에는 파일(1a, 1b)에 기록되어 있는 SMF 형식의 데이터가 입력된다. SMF 형식의 데이터는 일반적으로 델타·타임이라 불리는 시간 정보와, 연주 내용 등을 나타내는 이벤트 정보로 이루어지고, 이벤트 정보의 종류에 따라 도 2의 (a)∼(c)에 도시한 3개의 형식이 있다. (a)는 이벤트 정보가 MIDI 이벤트로 이루어진 데이터, (b)는 이벤트 정보가 META 이벤트로 이루어진 데이터, (c)는이벤트 정보가 Sys.Ex 이벤트로 이루어진 데이터이다.

MIDI 이벤트의 상세가 도 3에 도시되어 있다. 도 3의 (a)는 도 2의 (a)와 동일한 것이다. MIDI 이벤트는 도 3의 (b) (c)와 같이 스테이터스 정보와 데이터로 이루어진다. 도 3의 (b)는 발음 개시 명령의 이벤트로서, 스테이터스 정보에는 악기의 종류, 데이터 1에는 음계, 데이터 2에는 음의 강약이 각각 기록되어 있다. 또한, 도 3의 (c)는 발음 정지 명령의 이벤트로서, 스테이터스 정보에는 악기의 종류, 데이터 3에는 음계, 데이터 4에는 음의 강약이 각각 기록되어 있다. 이와 같이 MIDI 이벤트는 연주 정보가 저장된 이벤트로서, 하나의 이벤트에 의해 예를 들면 「도 음을 피아노의 음으로 이 강함으로 발음해라」등의 명령이 구성된다.

도 4는 도 3의 포맷을 간략화하여 데이터량을 삭감한 간이형 MIDI 포맷예를 나타낸다. 도 3에서는 발음 개시 명령과 발음 정지 명령이 각각 구성되어 있지만, 도 4에서는 데이터에 발음 시간을 넣은 것으로, 발음과 정지를 하나의 이벤트에 통합시키고 있다. 또한, 음의 강약의 데이터는 생략하고, 또한 음계의 데이터는 스테이터스 정보에 포함시키고 있다. 또, 도 4의 포맷은 SMF와 같은 표준 포맷이 아니지만, 본 발명에서 취급하는 데이터에는 이러한 SMF 이외의 포맷도 포함한다.

META 이벤트의 상세가 도 5에 도시되어 있다. 도 5의 (a)는 도 2의 (b)와 동일한 것이다. META 이벤트는 데이터를 전송하거나, 재생의 개시·정지 등의 제어를 행하는 이벤트이지만, 포맷의 확장이 가능하고, 확장된 포맷에 각종 데이터를 매립할 수 있다. 도 5의 (b)∼(e)는 확장된 META 이벤트의 포맷예를 나타내고 있으며, (b)는 음성 데이터가 매립된 포맷, (c)는 문자 데이터가 매립된 포맷, (d)는화상 데이터가 매립된 포맷, (e)는 문자 데이터와 화상 데이터가 매립된 포맷을 각각 나타내고 있다. 화상에는 그림이나 사진과 같은 정지 화상 외에 동화상도 포함된다.

선두의 FFh는 이 이벤트가 META 이벤트임을 나타내는 헤더이다. 다음의 30h, 31h, …는 META 이벤트의 포맷이 확장 포맷임을 나타내는 식별자이다. 또한, len은 META 이벤트의 데이터 길이, type는 전송하는 데이터의 포맷, id는 데이터의 번호를 각각 나타내고 있다. event는 실행해야 할 이벤트의 내용을 나타내는 것으로, 예를 들면 「음성 데이터의 전송을 개시해라」나 「화상 데이터의 전송을 종료해라」등의 명령으로 나타낸다. 이들 데이터의 종료 위치는 데이터 길이를 나타내는 len의 값으로부터 알 수 있다.

META 이벤트에는 상기한 바와 같은 데이터를 기록한 확장 포맷 외에 제어에 관한 포맷이 있다. 도 6은 그 일례이고, (a)는 재생 개시, (b)는 재생 정지의 이벤트 포맷을 나타내고 있다. (a)의 10h와 (b)의 11h가 각각 재생 개시 및 재생 정지의 커맨드이다. 그 외의 FFh, len, type 및 id에 대해서는 도 5와 동일하므로 설명은 생략한다.

Sys.Ex 이벤트의 상세가 도 7에 도시되어 있다. 도 7의 (a)는 도 2의 (c)와 동일한 것이다. Sys.Ex 이벤트는 시스템·익스클루시브·이벤트라 불리고, 예를 들면 오케스트라에 적합한 시스템에 설정하는 경우의 설정 정보 등에 관한 이벤트이다. 이 Sys.Ex 이벤트도 확장이 가능하고, 확장된 포맷에 각종 데이터를 매립할 수 있다. 도 7의 (b)∼(e)는 확장된 Sys.Ex 이벤트의 포맷예를 나타내고 있으며,도 5와 동일한 포맷으로 되어 있다.

SMF 형식의 데이터는 이상과 같이 구성되어 있으며, 이들 데이터가 몇 개나 조합되어 일련의 데이터 열이 구성된다. 도 8은 이러한 데이터 열의 예를 나타내고 있다. M은 MIDI에 관한 데이터로, 도 3에 도시한 포맷을 구비하고 있다. A는 음성에 관한 데이터로, 도 5의 (b)에 도시한 포맷을 구비하고 있다. T는 문자에 관한 데이터로, 도 5의 (c)에 도시한 포맷을 구비하고 있다. P는 화상에 관한 데이터로, 도 5의 (d)에 도시한 포맷을 구비하고 있다. 또, 각 데이터의 배열 순서는 도 8에 한정되는 것이 아니라, 여러가지의 패턴이 존재할 수 있다. 또한, 도 8에서는 음성, 문자 및 화상의 데이터가 META 이벤트에 기록되어 있지만, 이들을 Sys.Ex 이벤트에 기록할 수도 있다. 각 데이터 M, A, T, P는 각각 패킷으로서 구성되어 있으며, 이들이 연쇄되어 일련의 데이터 열로 되어 있다. 이 데이터 열은 도 1의 데이터 수신부(3)에 의해 수신되어 버퍼(3a)에 저장된다.

수신된 데이터는 각각의 델타·타임 ΔT에 기초하여 데이터 배분부에서 분류되고, 데이터 재생부(6)에서 이벤트가 실행되어 데이터가 재생된다. 이벤트가 실행되는 타이밍은 델타·타임 ΔT에 의해 결정된다. 즉, 직전에 실행된 이벤트로부터의 경과 시간 Δt와, 금회 실행되는 이벤트의 델타·타임 ΔT와의 관계가 Δt≥ΔT일 때 이벤트가 실행된다. 즉, 어떤 이벤트가 실행되면, 그 이벤트 개시로부터의 경과 시간이 카운트되고, 이 경과 시간이 다음 이벤트의 델타·타임과 같거나, 그것을 초과했을 때(CPU에 의한 시간 분해능은 유한하기 때문에, 델타·타임과 꼭 일치하지 않고 초과하는 경우도 있음), 다음의 이벤트가 실행되도록 되어 있다.이와 같이 델타·타임은 직전의 이벤트로부터 얼마만큼 시간이 경과하면 금회의 이벤트를 실행할 것인가를 나타내는 정보로서, 절대적인 시간을 나타내는 것이 아니지만, 델타·타임을 적산해 감으로써 재생 개시로부터의 시간을 산출할 수 있다.

이하, 데이터 재생부(6)의 각 부에서의 재생의 상세에 대하여 설명한다. 우선, MIDI 재생부(11)에 있어서의 재생 동작을 설명한다. 도 1에 있어서, CPU(2)의 데이터 배분부(4)는 도시하지 않은 ROM에 저장된 프로그램에 따라 수신한 데이터를 버퍼(3a)로부터 순차 판독한다. 판독된 데이터가 MIDI에 관한 데이터 M(도 3)이면, 그 이벤트 정보는 MIDI 재생부(11)에 주어진다. 이벤트 내용이 예를 들면 「미 음을 피아노의 음으로 발음해라」라는 명령이었다고 하면, MIDI 재생부(11)는 이 명령을 해독하여 음원 ROM(11a)으로부터 피아노의 음을 판독하고, 소프트웨어·신시사이저에 의해 신시사이저음을 생성하여 미 음정으로 발음을 개시한다. 이 때부터 CPU(2)는 경과 시간을 카운트하여, 이 경과 시간이 「미 발음을 정지해라」라는 다음 이벤트에 부속하고 있는 델타·타임과 같거나 그것을 초과하면, MIDI 재생부(11)에 이 명령이 주어지고, MIDI 재생부(11)는 이 명령을 해독하여 미 음의 발음을 정지한다. 이렇게 해서, 발음 개시부터 발음 정지까지의 시간만큼 미 음이 피아노음으로 재생된다.

다음으로, CPU(2)는 미의 음의 발음 정지로부터의 경과 시간을 카운트하여, 이 경과 시간이 예를 들면 「라 음을 피아노의 음으로 발음해라」라는 다음의 이벤트에 부속하고 있는 델타·타임과 같거나, 그것을 초과하면, MIDI 재생부(11)에 이 명령이 주어지고, MIDI 재생부(11)는 이 명령을 해독하여 음원 ROM(11a)으로부터피아노의 음을 판독, 신시사이저음을 생성하여 라 음정으로 발음을 개시한다. 그리고, 이 때부터 CPU(2)는 경과 시간을 카운트하여, 이 경과 시간이 「라 발음을 정지해라」라는 다음의 이벤트에 부속하고 있는 델타·타임과 같거나 그것을 초과하면, MIDI 재생부(11)에 이 명령이 주어지고, MIDI 재생부(11)는 이 명령을 해독하여 라 음의 발음을 정지한다. 이렇게 해서, 발음 개시부터 발음 정지까지의 시간만큼 라 음이 피아노음으로 재생된다. 이러한 동작이 반복됨으로써 MIDI 재생부 (11)은 MIDI에 의한 음의 재생을 행한다.

다음으로, MIDI 이외의 이벤트 정보를 갖는 데이터의 재생에 대하여 설명한다. 상술한 바와 같이 음성, 문자 및 화상의 각 데이터는 META 이벤트(도 5) 또는 Sys.Ex 이벤트(도 7)에 기록되어 있다. 도 1에 있어서, 데이터 배분부(4)는 상기와 마찬가지로 하여 수신 데이터를 버퍼(3a)로부터 순차 판독한다. 판독된 데이터가 음성에 관한 데이터 A의 경우에는 판독한 데이터의 이벤트 정보는 델타·타임에 따라 음성 재생부(12)로 분류되고, 음성 재생부(12)는 이벤트 내용을 해독하여 이벤트를 실행하고, 음성을 재생한다. 판독된 데이터가 문자에 관한 데이터 T의 경우에는 판독한 데이터의 이벤트 정보는 델타·타임에 따라 문자 재생부(13)로 분류되고, 문자 재생부(13)는 이벤트의 내용을 해독하여 이벤트를 실행하고, 문자를 재생한다. 판독된 데이터가 화상에 관한 데이터 P의 경우에는 판독한 데이터의 이벤트 정보는 델타·타임에 따라 화상 재생부(14)로 분류되고, 화상 재생부(14)는 이벤트의 내용을 해독하여 이벤트를 실행하고, 화상을 재생한다.

보다 구체적으로는 음성 재생부(12)가 데이터 배분부(4)로부터 예를 들면 「음성 B를 발음해라」라는 이벤트를 수취하면, 음성 재생부(12)는 이벤트에 부가되어 있는 음성 B의 데이터를 디코드하여 재생한다. 이 때부터 CPU(2)는 경과 시간을 카운트하여, 이 경과 시간이 예를 들면 「문자 C를 표시해라」라는 다음 이벤트에 부속하고 있는 델타·타임과 같거나 그것을 초과하면, 문자 재생부(13)는 이벤트에 부가되어 있는 문자 C의 데이터를 디코드하여 재생한다. 다음으로, CPU(2)는 문자 C의 재생으로부터의 경과 시간을 카운트하고, 이 경과 시간이 예를 들면 「그림 D를 표시해라」라는 다음 이벤트에 부속하고 있는 델타·타임과 같거나 그것을 초과하면, 화상 재생부(14)는 이벤트에 부가되어 있는 그림 D의 데이터를 디코드하여 재생한다. 이 점에서, 상술한 MIDI 데이터의 재생 원리와 기본적으로 동일하다.

상기한 설명에 있어서는 편의상, MIDI 재생부(11)에 의한 재생 동작과, MIDI 이외의 재생부(12∼14)에 의한 재생 동작을 나누어 기술하였지만, 실제로는 도 8에서도 도시한 바와 같이 데이터 수신부(3)에는 MIDI 이벤트를 갖는 데이터 M과 MIDI 이외의 이벤트를 갖는 델타 A, T, P가 시계열적으로 혼재하여 입력된다. 예를 들면, MIDI(M)→그림(P)→문자(T)→MIDI(M)→음성(A)→동화상(P)→…과 같이 차례차례 다른 종류의 데이터가 입력된다. 데이터 배분부(4)는 이들 데이터를 델타·타임에 따라 종류 별로 각 재생부(11∼14)로 분류하고, 각 재생부(11∼14)는 각각에 대응한 데이터의 재생 처리를 행한다.

MIDI 재생부(11)에서 재생된 데이터와, 음성 재생부(12)에서 재생된 데이터는 믹서(15)로 혼합되어 사운드 이펙트부(15a)에서 에코 처리 등이 실시된 후, 출력 버퍼(17)에 일시적으로 저장되어 스피커(19)로부터 사운드로서 출력된다. 한편, 문자 재생부(13)에서 재생된 데이터와, 화상 재생부(14)에서 재생된 데이터는 믹서(16)로 혼합되어 비주얼 이펙트부(15a)에서 특수 영상 처리 등이 실시된 후, 출력 버퍼(18)에 일시적으로 저장되어 표시기(20)에 가시 정보로서 표시된다. 그리고, 데이터 배분부(4)가 도 6의 (b)에 도시한 재생 정지의 META 이벤트를 수취하면, 데이터의 재생은 종료한다.

이와 같이 하여, 도 1의 데이터 재생 장치에서는 MIDI, 음성, 문자 및 화상이 혼재한 데이터 열로부터 각 데이터를 종류 별로 분류하여 재생할 수 있다. 그리고, 문자나 화상을 재생하는데 있어서는 MIDI의 재생과 동일하도록 델타·타임을 참조하고, 이 델타·타임에 따른 타이밍에서 데이터를 재생하도록 하고 있다. 따라서, 델타·타임을 기술하는 것만으로 사운드나 영상과 같은 다른 종류의 데이터 사이에서 간단하게 동기를 취할 수 있으며, 또한 종래와 같이 각 데이터를 처리하는 프로그램 중에 시계를 조립할 할 필요가 없기 때문에, 시계 상호간의 불일치에 의한 동기 어긋남의 문제도 발생되지 않는다.

도 9는 도 1의 재생 장치에서의 데이터 재생 방법을 나타낸 플로우차트로서, CPU(2)에 의해 실행되는 순서를 나타내고 있다. 이하, 재생 장치가 통신 가라오케용 재생 장치인 경우를 예로 들어 동작을 설명한다. 또, 이하에서는 플로우차트의 단계를 「S」로 약기하는 것으로 한다.

데이터 수신부(3)가 네트워크 상의 서버의 파일(1a)로부터 통신 회선을 통해 데이터를 수신하면(S101), 이 수신 데이터는 버퍼(3a)로 저장된다(S102). 다음으로, 데이터 배분부(4)는 버퍼(3a)의 데이터를 판독하여, 직전의 이벤트가 실행되고 나서의 경과 시간을 카운트한다(S103). 그리고, 이 경과 시간이 델타·타임이 나타내는 시간과 일치하였는지(또는 초과하였는지)를 판단하여(S104), 델타·타임을 초과하지 않으면(S104 NO), S103으로 되돌아가 경과 시간의 카운트를 속행한다. 경과 시간이 델타·타임과 일치하였거나 초과하면(S104 YES), 데이터 처리로 이동한다.

데이터의 처리에 있어서는 우선 수신한 데이터 종류가 판별된다. 즉, 수신한 데이터가 MIDI 데이터 M인지의 여부가 판별되어(S105), MIDI 데이터이면(S105 YES), 이를 MIDI 재생부(11)로 분류하고, MIDI 재생부(11)에서는 신시사이저음이 생성된다(S111). 그 상세한 원리에 대해서는 이미 진술하였기 때문에, 여기서는 설명을 생략한다. 신시사이저에 의한 음의 재생에 의해 스피커(19)로부터 가라오케의 반주곡이 출력된다.

수신 데이터가 MIDI 데이터 M이 아니면(S105 NO), 다음에 음성 데이터 A인지의 여부가 판별되고(S106), 음성 데이터 A이면(S106 YES), 이를 음성 재생부(12)로 분류하고, 음성 재생부(12)에서 음성 처리가 행해져 음성이 재생된다(S112). 그 상세한 원리에 대해서도 이미 진술하였기 때문에, 여기서는 설명을 생략한다. 음성 재생에 의해 스피커(19)로부터는 백코러스 등의 보컬이 출력된다.

수신 데이터가 음성 데이터 A가 아니면(S106 NO), 다음에 문자 데이터 T인지의 여부가 판별되고(S107), 문자 데이터 T이면(S107 YES), 이를 문자 재생부(13)로 분류하고, 문자 재생부(13)에서 문자 처리가 행해져 문자가 재생된다 (S113). 문자 재생에 의해 가라오케곡의 타이틀이나 가사가 표시기(20)에 표시된다.

수신 데이터가 문자 데이터 T가 아니면(S107 NO), 다음에 화상 데이터 P인지의 여부가 판별되고(S108), 화상 데이터 P이면(S108 YES), 이를 화상 재생부(14)로 분류하고, 화상 재생부(14)에서 정지 화상이나 동화상 처리가 행해져 화상이 재생된다(S114). 화상 재생에 의해 애니메이션이나 동화상 등의 배경 화상이 표시기 (20)에 표시된다.

수신 데이터가 화상 데이터도 아니면(S108 NO), 그 데이터는 예를 들면 설정이나 제어 등에 관한 데이터로서, 그 내용에 따른 소정의 처리가 행해진다(S109). 계속해서, 재생을 정지하는지의 여부, 즉 도 6의 (b)의 META 이벤트를 수취했는지의 여부가 판단된다(S110). 재생을 정지하지 않는 경우에는(S110 NO), S101로 되돌아가 다음의 데이터의 수신을 대기하고, 재생을 정지하는 경우에는(S110 YES), 동작을 종료한다.

이상과 같이 도 1의 데이터 재생 장치는 MIDI 재생부(11) 및 음성 재생부 (12)로 이루어진 사운드 재생부와, 문자 재생부(13) 및 화상 재생부(14)로 이루어진 가시 정보 재생부를 설치함으로써 통신 가라오케에 적합한 장치로 되어 있다. 본 발명에 있어서는 음성 재생부(12)는 반드시 필요한 것이 아니고, 생략할 수도 있지만, 음성 재생부(12)를 설치하여 악기의 파트는 MIDI 재생부(11)에서 재생하고, 보컬 부분을 음성 재생부(12)에서 재생함으로써, 보컬 부분을 본래의 음성으로 재생할 수 있고, 매우 현장감 높은 연주를 실현할 수 있다.

또, 데이터 수신부(3)가 수신하는 SMF 형식의 데이터는 상술한 바와 같이 네트워크 상의 서버의 파일(1a)에 축적되어 있으며, 이 파일(1a)에는 신곡의 데이터가 정기적으로 업로드되어, 파일(1a)의 내용이 갱신되도록 되어 있다.

도 10은 도 1의 데이터 재생 장치를 텔레비전의 CM(커머셜) 방영에 이용한 경우의 재생 방법을 나타내는 플로우차트로, CPU(2)에 의해 실행되는 순서를 나타내고 있다. 도면에 있어서, S121∼S124는 도 9의 S101∼104에 각각 대응하고 있으며, 그 동작은 도 9의 경우와 동일하므로, 설명은 생략한다.

소정 시각이 되어 처리로 이동하면(S124 YES), 수신 데이터가 CM 배경에 흐르는 음악의 데이터인지의 여부가 판별된다(S125). 여기서는 이 배경 음악의 데이터는 MIDI로 구성되어 있다. 배경 음악의 데이터이면(S125 YES), MIDI 재생부(11)로 분류하여 신시사이저 처리를 행하여 음을 재생한다(S132). 이에 따라, 스피커 (19)로부터 CM의 배경 음악이 출력된다.

수신 데이터가 배경 음악 데이터가 아니면(S125 NO), 다음에 아나운서가 이야기하는 아나운스의 데이터나인지의 여부가 판별된다(Sl26). 이 아나운스 데이터는 음성 데이터로 구성되어 있다. 아나운스 데이터이면(S126 YES), 음성 재생부 (12)로 분류하여 음성 처리를 행하고, 음성을 재생한다(S133). 음성 재생에 의해 스피커(19)로부터는 아나운서의 해설 등이 출력된다.

수신 데이터가 아나운스 데이터가 아니면(S126 NO), 다음에 상품명 등을 나타내는 문자의 데이터나인지의 여부가 판별되고(S127), 문자 데이터이면(S127 YES), 이를 문자 재생부(13)로 분류하여 문자 재생부(13)로 문자가 재생되어 표시기(20)에 표시된다(S134).

수신 데이터가 문자 데이터가 아니면(S127 NO), 다음에 그림 데이터인지의 여부가 판별되고(S128), 그림 데이터이면(S128 YES), 이를 화상 재생부(14)로 분류하고, 화상 재생부(14)에서 정지 화상 처리가 행해져 그림이 재생되어 표시기(20)에 표시된다(S135).

수신 데이터가 그림 데이터가 아니면(S128 NO), 다음에 동화상 데이터인지의 여부가 판별되고(S129), 동화상 데이터이면(S129 YES), 이를 화상 재생부(14)로 분류하고, 화상 재생부(14)에서 동화상 처리가 행해져 동화상이 재생되어 표시기 (20)에 표시된다(S136).

수신 데이터가 동화상 데이터도 아니면(S129 NO), S130으로 진행한다. S130 및 S131은 도 9의 S109 및 S110에 각각 대응하고 있으며, 그 동작도 도 9와 동일하므로, 설명은 생략한다.

그런데, 상술한 재생 방법에 있어서, SMF 형식의 데이터에 매립된 음성, 문자 및 화상 데이터를 재생함에 있어서는 동일한 데이터를 몇 번인가 반복 재생하는 경우가 있다. 예를 들면, 가라오케의 백코러스를 3회 반복하거나, CM의 처음과 마지막 부분에서 동일한 문자를 2회 표시하거나 하는 경우가 있다. 이러한 경우, 반복 횟수에 대응한 개수의 데이터를 도 5 또는 도 7의 포맷에 매립하면, 데이터량이 증대한다고 하는 문제가 있다.

그래서, 이 해결책으로서 도 11에 도시한 방법을 생각할 수 있다. 즉, (a)와 같이 동일한 데이터 R을 t1, t2, t3의 타이밍에서 3회 반복 재생하는 경우, 송신측(서버)에서는 (b)와 같이 데이터 R을 매립한 패킷을 처음에 1회만 보낸다. 수신측(데이터 재생 장치)에서는 이 데이터 R을 메모리(도시 생략)에 기억해 둔다. 반복 재생 시에는 송신측은 데이터 R은 보내지 않고, 「델타·타임이 나타내는 시간이 경과하면 데이터 R을 재생해라」라는 메시지만을 보낸다. 수신측에서는 이 메시지에 따라, 델타·타임에 따른 소정의 시각이 되면, 메모리로부터 데이터 R을 판독하고 이를 재생한다. 이 동작을 t1, t2, t3의 3회에 걸쳐 행함으로써, 송신하는 데이터량은 3분의 1로 끝난다.

또, 여기서는 송신 데이터를 일단 메모리에 축적한 후에 재생을 행하는 경우를 예로 들었지만, 도 11의 방법은 데이터를 다운로드하면서 재생을 행하는, 소위 스트림 방식의 데이터 수신에 있어서도 적용할 수 있다. 이 경우에는 최초의 재생 시점인 t1에 있어서, 보내진 데이터 R을 메모리에 기억하게 된다.

도 12는 상술한 반복 재생 처리를 나타낸 플로우차트이고, 도 9의 S112, S113 또는 S114에 있어서의 상세한 순서, 또는 도 10의 S133, S134, S135 또는 S136에 있어서의 상세한 순서이다. 우선, 수신한 데이터가 반복 재생하는 데이터 R인지의 여부를 판단하여(S141), 반복 데이터가 아니면(S141 NO), 통상의 데이터로서 처리한다. 반복 데이터이면(S141 YES), 재생 횟수를 CPU 내부의 카운터 N에 세트하여(S142) 메모리로부터 데이터 R을 판독하여(S143), 이를 출력한다(S144). 다음으로 카운터 N을 하나 감하여 N-1로 갱신한다(S145). 그리고 카운터 N이 0이 되었는지의 여부를 판단하여(S146), 0이 되어 있지 않으면(S146 NO) 도 9의 S110 또는 도 10의 S131로 이행한다. 카운터 N이 0이 되면(S146 YES), 기록되어 있는 데이터 R을 소거하여 메모리를 개방한다(S147).

도 13은 스트림 방식에 있어서의 데이터 전송 원리를 나타내는 도면이다. MIDI 데이터에 계속해서 음성이나 화상 등의 데이터를 보내는 경우, (a)에 도시한 바와 같이 MIDI의 부분에서는 데이터량은 적지만, 음성이나 화상 등의 데이터 X의 부분이 되면 급격히 데이터량이 증대한다(MIDI의 데이터량이 적은 것은 MIDI는 음 그 자체의 데이터가 아니고, 음의 발음을 제어하기 위한 커맨드이고, 2치 데이터로 구성되어 있기 때문임). 따라서, 이 데이터 X를 그대로 보내었다면, 통신 회선으로서 대용량이 필요하게 된다.

그래서, 도 13의 (b)에 도시한 바와 같이 데이터 X를 적당하게 분할하고, 이 분할한 데이터에 X1, X2, X3이라는 ID를 붙여, 이들 분할 데이터를 선행하는 MIDI의 데이터 사이에 삽입하여 송신함으로써, 송신하는 데이터량이 평준화되어, 회선 용량을 줄일 수 있다. 여기서는 데이터 X의 일부만을 분할하는 예를 나타내었지만, 데이터 X를 모든 구간에 걸쳐 분할하여도 좋다.

MIDI에 후속하는 데이터로서는 도 14의 (a)에 도시한 바와 같이 복수의 데이터 X, Y가 동시에 존재하는 것이어도 좋다. 이 경우도, 데이터 X 및 데이터 Y의 각 분할 데이터에는 X1, X2, 및 Y1, Y2, … 등의 X, Y 각각의 그룹마다의 ID가 부여된다. 도 14의 (b)는 분할 데이터를 선행하는 MIDI 데이터 사이에 삽입한 예를 나타낸다. 이와 같이 분할 데이터가 삽입된 데이터군이 데이터 수신부(3)에서 수신되면, 이 데이터군으로부터 삽입된 분할 데이터가 추출되고, 추출된 분할 데이터를 합성함으로써, 원래의 재생 데이터가 복원된다. 이 상세를 도 15 및 도 16에 의해 설명한다.

수신된 분할 데이터는 MIDI의 데이터와는 분리되고, 도 14의 (b)에 있어서의 선두 데이터로부터 시계열적으로 순차 메모리에 저장되어 간다. 이 메모리 내용이 도 15에 도시되어 있다. 저장된 각 분할 데이터의 영역에는 분할 데이터에 연결되는 후속의 분할 데이터의 개시 번지가 X, Y 각각의 그룹마다 기록된다. 예를 들면, 데이터 X1의 마지막에는 데이터 X2의 개시 번지가 기록되고, 데이터 X2의 마지막에는 데이터 X3의 개시 번지가 기록된다. 또한, 데이터 Y1의 마지막에는 데이터 Y2의 개시 번지가 기록되고, 데이터 Y2의 마지막에는 데이터 Y3의 개시 번지가 기록된다.

도 16은 데이터 수신부(3)가 도 14의 (b)의 데이터군을 수신한 경우, 분할 데이터를 추출하여 메모리에 저장하는 동작을 나타내는 플로우차트이다. 우선 선두의 데이터 X1을 판독하고(S151), 판독한 데이터 X1을 메모리에 기입한다(S152). 계속해서 데이터 X2를 판독하고(S153), 이 때 데이터 X2가 저장되는 영역의 개시 번지를 데이터 X1의 마지막에 기입하고 나서(S154), 데이터 X2를 메모리에 기입한다(S155). 다음으로, MIDI 데이터 처리를 행한 후(S156), 데이터 Y1을 판독하고 (S157), 판독한 데이터 Y1을 메모리에 기입한다(S158). 그 후, 데이터 X3을 판독하고(S159), 이 때 데이터 X3이 저장되는 영역의 개시 번지를 데이터 X2의 마지막에 기입하고 나서(S160), 데이터 X3을 메모리에 기입한다(S161). 계속해서, 데이터 Y2를 판독하고(S162), 이 때 데이터 Y2가 저장되는 영역의 개시 번지를 데이터 Y1의 마지막에 기입하고 나서(S163), 데이터 Y2를 메모리에 기입한다(S164). 이하, 마찬가지로 하여 데이터 X4부터 데이터 X6까지를 메모리에 기입한다.

이와 같이 하여, 메모리에 저장된 분할 데이터의 마지막에 후속의 분할 데이터의 개시 번지를 기록해 둠으로써 분할 데이터를 용이하게 합성하여 복원할 수 있다. 즉, 데이터 X에 관해서는 분할 데이터 X1, X2, …X6이 개시 번지를 통해 연쇄적으로 연결되어 있기 때문에, 도 15와 같이 데이터 X의 분할 데이터와 데이터 Y의 분할 데이터가 혼재하여 저장되어 있어도, 개시 번지를 참조하여 X1, X2, …X6의 데이터를 판독하여 합성하면, 간단하게 원래의 데이터 X를 복원할 수 있다. 데이터 Y에 관해서도 동일하다.

도 17은 무음 구간을 갖는 음성 데이터의 처리를 설명하는 도면이다. 예를 들면, 아나운서의 소리를 음성 신호로서 기록하고, 도 5의 (b) 또는 도 7의 (b)의 SMF 포맷에 매립하는 경우를 생각한다. 아나운서의 소리는 도중에 끊기거나 하는 경우가 있으며, 이 도중에 끊긴 구간(무음 구간)의 데이터는 본래 불필요한 데이터이다. 따라서, 이 무음 구간의 데이터를 컷트하여, 필요한 부분만을 SMF 포맷에 매립하도록 하면, 데이터량을 삭감할 수 있다.

도 17의 음성 신호에 있어서는 T의 구간이 무음 구간이다. 무음 구간 T는 본래적으로는 신호 레벨이 0의 구간이지만, 실제로는 노이즈 등의 혼입에 의해 반드시 레벨이 0이라고는 한하지 않는다. 그래서, 일정 범위의 레벨치 L을 정하고, 신호 레벨이 L을 초과하지 않은 구간이 일정 구간 계속된 경우, 이 구간을 무음 구간 T로 한다. 그리고, 이 무음 구간 T를 컷트한 음성 데이터를 작성하고, 이를 도 5의 (b) 또는 도 7의 (b)의 SMF 포맷에 매립하여 상술한 재생 방법에 따라 재생하도록 하면, 송신하는 데이터량이 적게 끝나고 수신측의 메모리 용량도 절약할 수있다.

그러나, 무음 구간 T를 단순히 컷트한 것만으로는 재생 시에 신호가 급경사인 상승과 하강을 하여 노이즈가 발생한다. 그래서, 이를 회피하기 위해서 신호의 상승과 하강 부근에서 창 처리를 실시하고, 원활한 상승 ·하강 특성이 얻어지도록 하는 것이 바람직하다. 이 창 처리는 창 함수를 이용한 공지의 방법에 의해 용이하게 실현할 수 있다. 도 17에 있어서는 W1∼W4가 창 처리가 실시되는 부분이다.

도 18은 무음 구간을 컷트하여 데이터를 기록하는 경우의 플로우차트이다. 선두에서 순차 데이터를 판독하고(S171), 판독한 데이터의 레벨이 일정치를 초과하고 있는지의 여부가 판단된다(S172). 일정치를 초과하지 않으면(S172 NO), S171로 되돌아가 계속해서 데이터를 판독하고, 일정치를 초과하면(S172 YES), 데이터의 상승 부근에서 상술한 창 처리를 행하여, 처리 후의 데이터를 메모리에 기입한다 (S173). 여기서의 창 처리는 도 17에 있어서의 W1에서의 창 처리이고, 신호가 완만하게 상승하는 페이트 인(fade in) 처리가 된다.

다음으로, 다시 데이터를 판독하고(S174), 판독한 데이터의 레벨이 일정치를 초과하는지의 여부가 판단된다(S175). 일정치를 초과하면(S175 YES), 그 데이터를 메모리에 기입하고(S176), S174로 되돌아가 다음 데이터를 읽는다. 일정치를 초과하지 않으면(S175 NO), 그 구간이 일정 구간 연속하였는지의 여부가 판단되고 (S177), 일정 구간 연속하지 않으면(S177 NO), 데이터를 메모리에 기입하고(S176), S174로 되돌아가 다음 데이터를 읽는다. 일정 레벨을 초과하지 않은 구간이 일정 구간 연속하고 있으면(S177 YES), 그 구간은 무음 구간으로 간주하여, 도 17에 있어서의 W2의 부분에 창 처리를 실시하여, 처리 후의 데이터를 메모리에 기입한다 (S178). 여기서의 창 처리는 신호가 완만하게 하강하는 페이드 아웃(fade out) 처리가 된다. 또, S178에서는 S176으로 기입한 데이터 중, 무음 구간에서의 불필요한 데이터를 소거하는 처리도 행해진다.

다음으로, 데이터의 판독이 종료하였는지의 여부가 판단되어(S179), 종료하지 않으면(S179 NO) S171로 되돌아가 다음 데이터를 읽고, 이후는 상기와 동일한 단계를 거쳐, 도 17의 W3, W4에 있어서의 창 처리가 행해진다. 데이터의 판독이 종료하면(S179 YES), 동작을 종료한다.

상기 실시예에 있어서는 SMF의 확장 포맷에 매립하는 정보로서, 음성, 문자 및 화상을 예로 들었지만, 매립하는 정보는 어떠한 것이어도 좋고, 예를 들면 컴퓨터 프로그램이어도 좋다. 이 경우, 예를 들면 MIDI의 데이터에 계속해서 컴퓨터 프로그램이 재생되도록 해 두면, 처음에 MIDI에 의한 음악이 연주되고, 이것이 끝나면 자동적으로 프로그램이 상승한다는 등의 사용 방법을 할 수 있다.

또한, 상기 실시예에서는 네트워크 상의 서버의 파일(1a)로부터 통신 회선을 통해 데이터를 수신하는 예를 나타내었지만, 퍼스널 컴퓨터로 SMF 형식의 데이터를 작성하여 하드디스크 상의 파일(1b)에 축적해 두고, 여기부터 데이터를 다운로드하도록 하여도 좋다.

도 19는 본 발명에 따른 데이터 재생 장치의 다른 예를 나타낸다. 참조 번호(1a, 1b)는 데이터가 기록된 파일로서, 참조 번호(1a)는 예를 들면 인터넷 상의 서버에 있는 파일, 참조 번호(1b)는 예를 들면 장치 내부의 하드디스크에 있는 파일이다.

참조 번호(2)는 데이터 재생 장치의 전체를 제어하는 CPU에서 데이터 수신부 (3) 및 데이터 배분부(4)를 포함하여 구성되어 있다. CPU(2)는 이 외에도 여러가지 기능을 갖는 블록을 포함하고 있지만, 본 발명에서는 직접 관계하지 않기 때문에, 도시는 생략되어 있다. 데이터 수신부(3)는 파일(1a, 1b)을 액세스하여 이들에 저장된 데이터를 수신한다. 파일(1a)의 데이터는 유선을 통해 또는 무선에 의해 수신된다. 수신하는 데이터의 포맷은 도 2 내지 도 8과 동일한 것이다. 이들 수신 데이터는 버퍼(3a)에 일시적으로 저장된다. 데이터 배분부(4)는 데이터 수신부(3)가 수신한 데이터를 종류 별로 분류하여, 기억부(5)를 구성하는 각 버퍼(7∼ 10)에 저장한다.

참조 번호(6)는 데이터 재생부로서, MIDI에 관한 데이터를 처리하는 MIDI 재생부(11)와, 음성에 관한 데이터를 처리하는 음성 재생부(12)와, 문자에 관한 데이터를 처리하는 문자 재생부(13)와, 화상에 관한 데이터를 처리하는 화상 재생부 (14)로 구성되어 있다. 또, 도시는 생략되어 있지만, MIDI 재생부(11)는 도 1의 음원 ROM(11a)을 구비하고 있다. 화상 재생부(14)는 정지 화상과 동화상을 재생하는 기능을 구비하고 있다.

참조 번호(15)는 MIDI 재생부(11) 및 음성 재생부(12)의 출력을 혼합하는 믹서이고, 참조 번호(16)는 문자 재생부(13) 및 화상 재생부(14)의 출력을 혼합하는 믹서이다. 여기에서도 도시를 생략하고 있지만, 믹서(15)는 도 1의 사운드 이펙트부(15a)를 구비하고 있으며, 믹서(16)는 도 1의 비주얼 이펙트부(16a)를 구비하고있다. 참조 번호(17)는 믹서(15)의 출력이 일시적으로 저장되는 출력 버퍼, 참조 번호(18)는 믹서(16)의 출력이 일시적으로 저장되는 출력 버퍼이다. 참조 번호 (19)는 출력 버퍼(17)의 데이터에 기초하여 사운드를 출력하는 발음부로서의 스피커, 참조 번호(20)는 출력 버퍼(18)의 데이터에 기초하여 문자나 그림 등의 가시 정보를 표시하는 표시기이다. 참조 번호(21)는 시스템의 기준 시각이 되는 시스템 클럭을 발생하여 각 부의 타이밍을 제어하는 타이밍 제어부, 참조 번호(22)는 데이터 재생 장치에 외부 부착되는 외부 기억 장치이다.

기억부(5), 데이터 재생부(6), 믹서(15, 16), 출력 버퍼(17, 18) 및 타이밍 제어부(21)는 DSP(Digital Signal Processor)에 의해 구성되어 있다. DSP 대신에 LSI에 의해 상기 각 부를 구성할 수도 있다.

도 19와 도 1을 비교하면 분명한 바와 같이 도 19의 데이터 재생 장치에서는 데이터 배분부(4)와 데이터 재생부(6) 사이에 버퍼(7∼10)로 이루어진 기억부(5)가 설치되어 있으며, 또한 타이밍 제어부(21)가 설치되어 있다. 또한, 외부 기억 장치(22)도 부가되어 있다.

도 20은 도 19의 데이터 재생 장치의 전체 동작을 나타내는 플로우차트이다. 우선, 데이터 수신부(3)가 파일(1a) 또는 파일(1b)로부터의 데이터를 수신한다 (S181). 이 수신 데이터는 버퍼(3a)에 저장된다. 다음으로, CPU(2)는 타이밍 제어부(21)로부터의 시스템 클럭이나, 데이터 수신부(3)가 수신한 각 데이터의 델타·타임에 기초하여 데이터 배분부(4)가 데이터를 분류하는 데 필요한 시간 연산을 행한다(S182). S182의 상세에 대해서는 후술한다. 데이터 배분부(4)는 시간 연산의 결과에 따라 처리해야 할 데이터를 종류 별로 분류하여 대응하는 버퍼(7∼10)에 저장한다(S183). S183의 상세에 대해서도 후술한다.

버퍼(7∼10)에 저장된 데이터는 각 버퍼에 대응하는 데이터 재생부(11∼14)에 의해 각각 판독되고, 각 데이터 재생부(11∼14)에 있어서 데이터에 기록된 이벤트가 실행되어 데이터가 재생된다(S184). S184의 상세에 대해서도 후술한다. 재생된 데이터 중, MIDI와 음성 데이터는 믹서(15)로 혼합되고, 문자와 화상 데이터는 믹서(16)로 혼합된다(S185). 이들 혼합된 데이터는 각각 출력 버퍼(17, 18)에 저장된 후, 스피커(19) 및 표시기(20)로 출력된다(S186).

도 21은 S182에 있어서의 시간 연산의 원리를 설명하는 도면이다. 도면의 t는 시간 축으로서, 이벤트 0∼이벤트 4는 수신한 데이터 열에 포함되어 있는 이벤트의 재생 타이밍을 나타내고 있다(단, 이 재생 타이밍은 수신 데이터를 이들 델타·타임에 따라 재생하였다고 가정한 경우의 타이밍을 나타내고 있으며, 시간 축 t 상에서 실제로 재생된 타이밍을 나타낸 것이 아님에 주의). 예를 들면, 이벤트 0은 화상 이벤트, 이벤트 1은 MIDI 이벤트, 이벤트 2는 음성 이벤트, 이벤트 3은 문자 이벤트, 이벤트 4는 화상 이벤트이다. ΔT1∼ΔT4는 델타·타임으로서, ΔT1은 이벤트 1의 델타·타임, ΔT2는 이벤트 2의 델타·타임, ΔT3은 이벤트 3의 델타·타임, ΔT4는 이벤트 4의 델타·타임이다. 상술한 바와 같이 델타·타임은 직전의 이벤트가 실행된 시점부터 금회의 이벤트가 실행되기까지의 시간으로서, 예를 들면 이벤트 1이 실행된 시점부터 ΔT2가 경과하면 이벤트 2가 실행되고, 이벤트 2가 실행된 시점부터 ΔT3이 경과하면 이벤트 3이 실행되도록 되어 있다. t1은 전회 데이터를 처리한 시각, t2는 현재 시각을 나타내고 있으며, 그 차 t2-t1은 단위 구간인 1프레임에 상당하고 있다. 이 1프레임 구간은 예를 들면 15㎳의 시간 폭을 갖고 있으며, 1프레임의 최초와 최후의 타이밍은 타이밍 제어부(21: 도 19 참조)로부터의 시스템 클럭에 의해 결정된다. Q는 데이터의 처리 구간으로서, 현재 시각 t2와, 하나 전의 프레임에 있어서의 최후의 이벤트(이벤트 0)의 실행 시각 t0과의 차로서 정의된다.

도 22는 데이터 배분부(4)에 의한 데이터 분류 순서를 나타내는 플로우차트이다. 이하, 도 21 및 도 22를 참조하여 데이터를 분류하는 순서에 대하여 설명한다. 도 21의 t2의 타이밍에서 타이밍 제어부(21)로부터 CPU(2)로 클럭의 인터럽트가 있으면, 시스템이 WAKE 상태가 되어(S191), CPU(2)는 처리 구간 Q의 시간 폭을 연산한다(S192). 이 Q는 상술한 바와 같이,

Q=t2-t0

로서 산출되어 금회 데이터를 처리하는 시간 폭을 나타내고 있다. 다음으로, CPU (2)는 수신한 데이터의 델타·타임 ΔT를 순서대로 판독하여(S193), 처리 구간 Q의 시간 폭이 ΔT 이상 있는지의 여부를 판정한다(S194). Q≥ΔT이면(S194 YES), 다음에 데이터의 종류를 순서대로 판정하고(S195, S198, S200, S202), 각각의 데이터에 대응하여 설치된 버퍼(7∼10)로 데이터를 분류 저장한다(S196, S199, S201, S203). 그 후, Q=Q-ΔT의 연산을 행하여 Q 값을 갱신한다(S197).

도 21의 예에서는 이벤트 0은 전회 이미 처리가 끝나 있기 때문에, 이벤트 1부터 순서대로 판정한다. 이벤트 1의 델타·타임 ΔT1에 관해서는 Q>ΔT1이므로S194의 판정은 YES가 되고, 다음에 데이터가 MIDI인지의 여부를 판정한다(S195). 도 21에 있어서, 이벤트 1이 MIDI 이벤트이면(S195 YES), 버퍼(7)로 데이터를 보내어 데이터를 일시적으로 저장한다(S196). 이벤트 1이 MIDI 이벤트가 아니면(S195 NO), 음성 이벤트인지의 여부를 판정한다(S198). 이벤트 1이 음성 이벤트이면 (S198 YES), 버퍼(8)로 데이터를 보내어 데이터를 일시적으로 저장한다(S199). 이벤트 1이 음성 이벤트가 아니면(S198 NO), 문자 이벤트인지의 여부를 판정한다 (S200). 이벤트 1이 문자 이벤트이면(S20O YES), 버퍼(9)로 데이터를 보내어 데이터를 일시적으로 저장한다(S201). 이벤트 1이 문자 이벤트가 아니면(S200 NO), 화상 이벤트인지의 여부를 판정한다(S202). 이벤트 1이 화상 이벤트이면(S202 YES), 버퍼(10)로 데이터를 보내어 데이터를 일시적으로 저장한다(S203). 이벤트 1이 화상 이벤트도 아니면(S202 NO), 다른 처리를 행한다.

이와 같이 하여, 이벤트 1의 데이터를 버퍼(7∼10) 중 어느 하나로 분류한 후, Q=Q-ΔT1의 연산을 행하여(S197), S193으로 되돌아가 다음 이벤트 2의 델타·타임 ΔT2를 판독하여 Q≥ΔT2를 판정한다(S194). 이 때의 Q 값은 Q=Q-ΔT1이지만, 도 21에서는 Q-ΔT1>ΔT2이므로 S194의 판정은 YES가 되고, 상기한 경우와 마찬가지로 하여 이벤트 2의 데이터 종류를 판별하여 대응하는 버퍼로 분류한다.

그 후, Q=Q-ΔT2 연산을 행하여(S197), S193으로 되돌아가 다음 이벤트 3의 델타·타임 ΔT3을 판독하여 Q≥ΔT3을 판정한다(S194). 이 때의 Q 값은 Q=Q-ΔT1-ΔT2이지만, 도 21에서는 Q-ΔT1-ΔT2> ΔT3이므로 S194의 판정은 YES가 되고, 상기한 경우와 마찬가지로 하여 이벤트 3의 데이터의 종류를 판별하여 대응하는 버퍼로 분류한다.

그 후, Q=Q-ΔT3의 연산을 행하여(S197), S193으로 되돌아가 다음 이벤트 4의 델타·타임 ΔT4를 판독하여(도 21에서는 이벤트 4는 t2보다 후에 도시되어 있지만, t2의 시점에서는 이벤트 4의 데이터는 이미 버퍼(3a)에 들어가 있어 판독이 가능하게 되어 있음), Q≥ΔT4를 판정한다(S194). 이 때의 Q의 값은 Q=Q-ΔT1- ΔT2-ΔT3이지만, 도 21에서는 Q-ΔT1-ΔT2-ΔT3<ΔT4이므로 S194의 판정은 NO가 되고, CPU(2)는 이벤트 4의 데이터 처리는 행하지 않고, SLEEP 상태로 이행하여 다음의 프레임에서의 처리까지 대기한다(S204). 그리고, 다음 프레임의 최초의 타이밍에서 타이밍 제어부(21)로부터의 클럭 인터럽트가 있으면, WAKE 상태가 되어 (S191), 이벤트 4 이하의 데이터에 대하여 상술한 처리와 동일한 처리를 행한다.

도 22의 플로우차트에 있어서, S192∼S194 및 S197이 도 20의 S182가 상세하고, S195, S196, S198∼S203이 도 20의 S183이 상세하다.

다음으로, 각 데이터 재생부(11∼14)에 있어서의 처리의 상세, 즉 도 20의 S184의 상세에 대하여 설명한다. 도 23은 각 데이터 재생부에서의 처리 순서를 나타내는 플로우차트로서, (a)는 MIDI 재생부(11)에 있어서의 처리 순서를 나타내고 있다. MIDI 재생부(11)에서는 데이터 배분부(4)에 의해 분류된 1프레임 구간의 데이터가 버퍼(7)에 저장되면, 이 데이터를 다음 1프레임 구간에서 판독한다(S211). 그리고, 판독한 데이터에 기록되어 있는 MIDI 이벤트(도 3, 도 4 참조)의 내용을 해독하여 소프트웨어·신시사이저에 의해 신시사이저음을 생성한다(S212). 이 신시사이저의 출력은 MIDI 재생부(11)의 내부에 있는 도시하지 않은 버퍼에 일시적으로 저장되고, 이 버퍼로부터 믹서(15)로 출력된다(S213).

도 23의 (b)는 음성 재생부(12)에 있어서의 처리 순서를 나타내고 있다. 음성 재생부(12)에서는 데이터 배분부(4)에 의해 분류된 1프레임 구간의 데이터가 버퍼(8)에 저장되면, 이 데이터를 다음 1프레임 구간에서 판독한다(S311). 그리고, 판독한 데이터의 이벤트에 기록되어 있는 음성 데이터[도 5의 (b), 도 7의 (b) 참조]를 디코드하여 음성을 재생한다(S312). 이 재생 데이터는 음성 재생부(12)의 내부에 있는 도시하지 않은 버퍼에 일시적으로 저장되고, 이 버퍼로부터 믹서(15)로 출력된다(S313).

도 23의 (c)는 문자 재생부(13)에 있어서의 처리 순서를 나타내고 있다. 문자 재생부(13)에서는 데이터 배분부(4)에 의해 분류된 1프레임 구간의 데이터가 버퍼(9)에 저장되면, 이 데이터를 다음의 1프레임 구간에서 판독한다(S411). 그리고, 판독한 데이터의 이벤트에 기록되어 있는 문자 데이터[도 5의 (c), 도 7의 (c) 참조]를 디코드하여 문자를 재생한다(S412). 이 재생 데이터는 문자 재생부(13)의 내부에 있는 도시하지 않은 버퍼에 일시적으로 저장되고, 이 버퍼로부터 믹서(16)로 출력된다(S413).

도 23의 (d)는 화상 재생부(14)에 있어서의 처리 순서를 나타내고 있다. 화상 재생부(14)에서는 데이터 배분부(4)에 의해 분류된 1프레임 구간의 데이터가 버퍼(10)에 저장되면, 이 데이터를 다음의 1프레임 구간에서 판독한다(S511). 그리고, 판독한 데이터의 이벤트에 기록되어 있는 화상 데이터[도 5의 (d), 도 7의 (d) 참조]를 디코드하여 화상을 재생한다(S512). 이 재생 데이터는 화상 재생부(14)의내부에 있는 도시하지 않은 버퍼에 일시적으로 저장되고, 이 버퍼로부터 믹서(16)로 출력된다(S513).

이상 진술한 도 23의 (a)∼(d)의 각 처리는 프로그램에서 정해진 순서에 따라 행해지고, 여기서는 (a)∼(d)의 순서로 행해지는 것으로 한다. 즉, (a)의 MIDI의 처리를 우선 행하여, 이것이 완료하면 (b)의 음성 처리로 이동하고, 음성 처리가 완료하면 (c)의 문자 처리로 이동하고, 문자 처리가 완료하면 (d)의 화상 처리를 행한다. 또, 이와 같이 처리를 직렬적으로 행하는 것은 기억부(5)나 데이터 재생부(6) 등을 구성하는 DSP가 1개이기 때문이고, DSP를 각 재생부마다 설치한 경우에는 처리를 병렬적으로 행할 수 있다.

S213에서 믹서(15)로 출력된 MIDI 재생 데이터와, S313에서 믹서(15)로 출력된 음성 재생 데이터는 믹서(15)로 혼합되어 출력 버퍼(17)에 저장되고, 사운드로서 스피커(19)로부터 출력된다. 또한, S413에서 믹서(16)로 출력된 문자 재생 데이터와, S513에서 믹서(16)로 출력된 화상의 재생 데이터는 믹서(16)로 혼합되어 출력 버퍼(18)로 저장되고, 가시 정보로서 표시기(20)에 표시된다. 출력 버퍼 (17) 및 스피커(19)에 의해 제1 출력부가 구성되고, 출력 버퍼(18) 및 표시기(20)에 의해 제2 출력부가 구성된다. 또, 출력 버퍼(17)는 스피커(19)로 출력하는 데이터의 개수를 계수하는 기능을 구비하고 있으며, 이 계수 치에 기초하여 타이밍 제어부(21)로 제어 신호를 보내어 타이밍 제어부(21)는 이 제어 신호에 기초하여 CPU(2)에 타이밍 신호(시스템 클럭)를 제공한다. 즉, 출력 버퍼(17)로부터 데이터 1개가 출력하는 데 필요한 시간은 샘플링 주파수에 의해 결정되고, 이 시간을 τ로하면, N개의 데이터가 출력하는 데 필요한 시간은 N×τ가 되므로 N 값에 의해 타이밍을 결정할 수 있다. 또한, 타이밍 제어부(21)는 상기 제어 신호에 따라 출력 버퍼(18)에도 타이밍 신호를 제공하여 출력 버퍼(18)로부터 출력되는 데이터의 타이밍을 컨트롤한다.

도 24는 이상 진술한 데이터 분류부터 재생까지의 동작을 전체적으로 나타낸 도면으로서, (a)는 각 재생부가 처리하는 데이터량과 프레임 구간과의 관계를 나타내고 있으며, (b)는 각 재생부에서의 처리 시간과 프레임 구간과의 관계를 나타낸 것이다. F1∼F3은 1프레임 구간으로서, 각 프레임 구간의 시간 폭은 예를 들면 15㎳에 설정되어 있다. 즉, 데이터 배분부(4)에는 15㎳마다 타이밍 제어부(21)로부터 클럭의 인터럽트가 걸리게 되어 있다. t는 시간 축을 나타내고, M은 MIDI 이벤트, A는 음성 이벤트, T는 문자 이벤트, P는 화상 이벤트의 재생 타이밍을 나타내고 있다. 또, 이들 재생 타이밍은 도 21과 마찬가지로 수신 데이터를 델타·타임에 따라 재생하였다고 가정한 경우의 타이밍을 나타내는 것으로써, 시간 축 t 상에서 실제로 재생된 타이밍을 나타내는 것은 아니다.

도 21에서 설명한 바와 같이 구간 F1에서 처리되는 데이터는 구간의 마지막 타이밍에서 버퍼(7∼10)로 분류되어 저장된다. 그리고, 각 재생부(11∼14)는 다음의 1프레임 구간 F2에서 버퍼로부터 데이터를 판독하여 재생 처리를 행한다. 이 경우, 각 버퍼로부터 각 재생부로 전송되는 데이터 량은 각 재생부가 1프레임 구간에서 처리할 수 있는 양의 데이터이고, 도 24의 (a)에 도시한 바와 같이 각 재생부는 다음의 1프레임 구간 F2 내에서 데이터를 전부 처리할 수 있게 되어 있다.

이 처리의 타임차트가 도 24의 (b)이고, 백 화살표의 길이가 처리 시간을 나타내고 있다. 이 처리 시간은 각 프레임마다 다르다. 상술한 바와 같이 버퍼에 저장된 데이터는 다음 1프레임 구간 F2에 있어서, 사전에 결정된 순서로 각 재생부 (11∼14)에 의해 순서대로 판독되고, 각 재생부에서 데이터에 기록된 이벤트가 실행되어 데이터 재생이 행해진다. 도 24의 (b)에서는 M(MIDI), A(음성), P(화상)가 이 순서로 재생 처리된다. 재생된 M과 A는 믹서 1[도 19의 믹서(15)]로 처리되고, 재생된 P는 믹서 2[도 19의 믹서(16)]로 처리된다. 이와 같이 하여, F1 구간에서 분류된 데이터는 F2 구간에서 전부 처리가 완결되고, 남은 시간은 다음의 F3 구간에서의 처리가 개시되기까지의 대기 시간이 된다. 도면의 SLEEP이 이를 나타내고 있다. 그리고, 믹서 1로부터의 출력은 출력 버퍼 1[도 19의 출력 버퍼(17)]에 저장된 후, 다음 프레임 구간 F3에 있어서 사운드로서 출력되고, 또한 믹서 2로부터의 출력은 출력 버퍼 2[도 19의 출력 버퍼(18)]에 저장된 후, 프레임 구간 F3에 있어서 가시 정보로서 출력된다.

마찬가지로 하여, F2 구간에서는 A, M, T의 데이터가 버퍼에 분류되고, 이들 데이터는 F3 구간에서 M, A, T의 순서로 판독되어 각 재생부에서 상기와 동일한 요령으로 재생 처리되고, 다음의 F4 구간(도 24에서는 도시되지 않음)에 있어서 출력된다.

이상과 같이 하여, 도 19의 데이터 재생 장치에서는 수신한 데이터를 프레임마다 분류하여 버퍼에 저장하고, 다음 프레임으로 버퍼로부터 판독하여 데이터를 재생하고, 또한 그 다음 프레임으로 사운드나 가시 정보로서 출력하고 있다. 따라서, 프레임 단위로 데이터의 시간 동기를 취하면서 재생을 행할 수 있다.

또한, 데이터 배분부(4)는 수신 데이터를 버퍼(7∼10)에 분류하는 작업에 전념하고, 각 재생부(11∼14)는 버퍼에 저장된 데이터를 판독하여 재생하는 것에 전념하기 때문에, 데이터 수신부(3)가 수신한 데이터를 파이프라인화하여 고속으로 처리할 수 있다.

또, 데이터 재생에 있어서는 본래는 델타·타임에 따라 재생 타이밍이 관리되어야 되지만, 도 19의 장치에서는 데이터 배분부(4)에 의해 데이터가 버퍼(7∼ 10)에 분류된 후는 데이터가 이산하기 때문에, 각각의 델타·타임은 재생 타이밍을 결정하는데 실질적으로 의미를 갖지 않게 된다. 그러나, 1프레임 구간은 상술한 바와 같이 15㎳라는 극히 짧은 시간이므로, 그 동안에 재생된 데이터는 각 데이터의 재생 타이밍에 관계없이 동시에 재생된 것으로 간주하여 지장이 없다. 실제, 15㎳ 정도의 구간 내에 있어서의 데이터 재생 타이밍의 어긋남은 통상의 인간의 감각으로는 식별할 수 없는 것이 경험적으로 확인되고 있다. 따라서, 데이터를 분류하는 시점에서 델타·타임에 기초하여 1프레임 구간에서 처리해야 할 데이터만 결정해 두면, 1프레임 구간 내에서 이들 데이터의 재생 타이밍이 델타·타임에 따른 재생 타이밍으로부터 어긋나 있어도 문제는 없다.

또한, 동일 프레임 구간 내에서 다른 종류의 데이터의 재생 순서가 바뀌어도 지장이 없다. 예를 들면, 도 24의 (b)의 F1 구간에서는 수신한 데이터의 순서 M, A, P에 따라 각 재생부가 버퍼로부터 데이터를 판독하고 있지만, F2 구간에서는 수신한 데이터의 순서가 A, M, T임에도 불구하고, 재생부가 버퍼로부터 데이터를 판독하는 순서는 M, A, T가 되어, A와 M이 바뀐다. 이는 상술한 바와 같이 각 재생부에서의 처리 순서가 프로그램에 의해 M, A, T, P로 정해져 있기 때문이다. 그러나, 이와 같이 처리 순서가 바뀌어도, 15㎳ 이내에 각 재생부가 데이터 처리를 행하고 있으면, 상술한 바와 같이 데이터 재생 타이밍은 인간의 감각으로는 알 수 없기 때문에 문제는 없다.

또한, 도 24에서는 1프레임 구간에서 분류된 데이터를 다음의 1프레임 구간에서 전부 처리하도록 하고 있지만, 이는 반드시 필수적인 것이 아니다. 즉, 출력 버퍼(17, 18)가 1프레임 구간에서의 처리량을 초과하는 사이즈를 갖고 있으면, 1프레임 내에서 처리할 수 없던 데이터가 있었다고 해도, 출력 버퍼(17, 18)에는 먼저 처리된 데이터가 남아 있기 때문에, 데이터를 도중에 끊지 않고 출력할 수 있다.

도 25는 도 1 또는 도 19의 데이터 재생 장치에서 데이터를 다운로드하면서 재생을 행하는 스트림 방식을 채택한 경우의 데이터 수신부(3)의 동작을 설명하는 도면이다. 여기서는 버퍼(3a)가 버퍼 A, 버퍼 B, 버퍼 C의 3개의 버퍼로 구성되어 있다. 참조 번호(3b)는 각 버퍼 A, B, C에 대응하여 설치된 레지스터 A, B, C이다. 수신되는 데이터는 스트림 데이터 S로 나타나고 있다. 스트림 데이터 S의 선두에는 헤더 H가 기록되어 있으며, 이에 계속해서 MIDI, 음성, 문자, 화상의 각 데이터가 패킷 P1, P2, P3, … Pm으로서 혼재하여 기록되어 있다. 이 스트림 데이터 S의 모든 데이터량을 K로 한다.

이하, 음악을 재생하는 경우를 예로 들어 수신 동작을 설명한다. 서버에 대한 액세스에 의해 데이터 수신부(3)가 파일(1a)부터 스트림 데이터 S의 수신을 개시하면, 우선, 스트림 데이터 S의 선두로부터 버퍼 A의 사이즈(용량)에 상당하는 분량의 데이터 A1이 버퍼 A에 저장된다. 이에 따라, 버퍼 A는 풀 상태가 되고, 레지스터 A에는 버퍼 A가 풀 상태임을 나타내는 플래그가 세트된다. 계속해서, 버퍼 B의 사이즈에 상당하는 분량의 데이터 B1이 버퍼 B에 저장된다. 이에 따라, 버퍼 B도 풀 상태가 되고, 레지스터 B에는 버퍼 B가 풀 상태임을 나타내는 플래그가 세트된다.

버퍼 B가 풀이 된 시점에서, 데이터 배분부(4)는 데이터 분류를 개시하고, 버퍼 A에 저장된 데이터 A1과 버퍼 B에 저장된 데이터 B1을 데이터 종류 별로 버퍼 (7∼10)로 전송한다. 전송된 데이터는 각 재생부(11∼14)에서 재생되어 곡의 연주가 개시된다. 한편, 버퍼 C에는 그 사이즈에 상당하는 분량의 데이터 C1이 저장된다. 이에 따라, 버퍼 C는 풀 상태가 되고, 레지스터 C에는 버퍼 C가 풀 상태임을 나타내는 플래그가 세트된다.

버퍼 C에 데이터 C1이 저장되어 있는 동안에, 버퍼 A의 데이터 A1이 소비되어 버퍼 A가 비면, 레지스터 A의 플래그가 리세트되고, 데이터 수신부(3)는 다음의 데이터 A2를 취득하여 버퍼 A에 저장한다. 이에 따라, 버퍼 A는 다시 풀 상태가 되고, 레지스터 A에 플래그가 세트된다. 또한, 버퍼 B의 데이터 B1이 소비되어 버퍼 B가 비면, 레지스터 B의 플래그가 리세트되고, 데이터 수신부(3)는 다음의 데이터 B2(도 25에서는 도시되지 않음)를 취득하여 버퍼 B에 저장한다. 이에 따라, 버퍼 B는 다시 풀 상태가 되고, 레지스터 B에 플래그가 세트된다. 이상과 같은 동작을 반복함으로써 스트림 데이터 S의 재생이 진행한다. 도 26은 이 경우의 데이터의 흐름을 나타낸 도면이다.

상술한 스트림 방식에 있어서는 데이터 A1이 수신된 시점부터 재생을 개시할 수도 있다. 그러나, 버퍼에 저장되는 데이터의 전송 용량이 충분하지 않은 경우에는 재생 개시 후에 버퍼로의 데이터 보급이 소비에 미치지 않고, 음이 도중에 끊기는 현상이 발생한다. 그래서, 이를 회피하기 위해서는 버퍼에 데이터를 캐쉬하여, 어느 정도 데이터가 저장된 시점에서 재생을 개시할 필요가 있다. 이를 도 27의 예에서 설명한다.

도 27에 있어서, 버퍼 A, B, C의 사이즈를 각각 50Kbit으로 하고, 버퍼에 데이터를 저장하는 데 필요한 시간을 5초로 하면, 1초당 데이터의 전송 용량은 50/5 =10Kbps가 된다. 또한, 곡의 연주 시간을 10초, 모든 데이터량을 200Kbit로 하면, 곡의 연주에 의해 소비되는 데이터 양은 1초당 200/10=20Kbps가 된다. 따라서, 데이터가 수신된 시점 t0부터 재생을 개시하였다면, 소비되는 데이터량이 버퍼에 저장되는 데이터량을 상회하기 때문에, 버퍼의 데이터가 부족하여 음이 도중에 끊기게 된다.

이 문제는 다음과 같이 하여 해결된다. 즉, 데이터의 수신 시점 t0부터 5초 사이에서 버퍼 A에 50Kbit의 데이터 A1을 저장하고, 계속되는 5초 사이에서 버퍼 B에 50Kbit의 데이터 B1을 저장하고, 10초 사이에서 합계 100Kbit의 데이터를 캐쉬해 둔다. 그리고, 데이터의 수신 시점 t0부터 10초 경과한 t1의 시점부터 재생을 개시한다. 이와 같이 하면, 재생 개시 이후의 데이터 전송 용량이 데이터 소비량보다 작아도 버퍼 A, B에 이미 100Kbit의 데이터가 저장되어 있으며, 또한 연주 개시 시점 t1부터 연주 종료 시점 t2까지의 10초 사이에 남은 100Kbit의 데이터(C1과 A2의 합계)를 버퍼 C, A에 저장할 수 있기 때문에, 데이터가 끊기지 않고 곡을 마지막까지 연속하여 재생할 수 있다.

이에 대하여, 버퍼에 저장되는 데이터량이 소비되는 데이터량을 상회하는 경우에는 상기한 바와 같은 데이터 캐쉬는 불필요하지만, 버퍼가 풀 상태가 된 시점에서, 그 이상의 데이터를 송신하지 않도록 데이터 수신부(3)로부터 서버에 지시할 필요가 있다. 이 경우, 버퍼의 데이터가 소비되어 버퍼에 빈 부분이 생긴 시점에서 데이터 수신부(3)는 서버로부터 데이터를 취득하게 된다.

이상의 것을 일반화하여 기술하면 다음과 같이 된다. 버퍼의 사이즈를 U, 버퍼에 데이터를 저장하는 데 필요한 시간을 t로 하면, 단위 시간당 데이터 전송 용량 J는 J=U/t로 주어진다. 또한, 모든 데이터량을 K, 재생 시간을 T로 하면, 단위 시간당 데이터 소비량 E는 E=K/T로 주어진다. 도 25에 있어서는 모든 데이터량 K 및 연주 시간 T는 헤더 H에 기록되어 있으며, 데이터 수신부(3)는 헤더 H를 판독하여 데이터 소비량 E를 계산한다. 또한, 버퍼 A에 데이터 A1이 받아들인 시점에서, 데이터 전송 용량 J를 계산한다. 그 결과, J<E이면 데이터의 캐쉬가 필요하다고 판단하여, 필요한 양의 데이터를 캐쉬한다. 이 경우, 데이터의 캐쉬량을 C로 하여

K<C+J·T

의 조건을 충족시키도록 데이터를 캐쉬하면, 데이터를 도중에 끊기지 않고 재생할 수 있다. 데이터를 캐쉬하기 위해서, 데이터 수신부(3)는 서버로부터 데이터 B1을취득하여 버퍼 B에 저장한다. 이 시점에서 상기 조건이 만족되면, 데이터 수신부 (3)는 데이터 배분부(4)에 준비 신호를 보내고, 이를 받아 데이터 배분부(4)는 버퍼 A, B의 데이터 분류를 개시한다. 이후의 동작은 이미 진술한 바와 같다.

한편, J>E이면 데이터 캐쉬는 불필요하기 때문에, 데이터 A1을 수신한 시점부터 데이터 배분부(4)는 데이터 분류를 개시한다. 그러나, 재생 개시 후에 버퍼가 곧 풀 상태가 되기 때문에, 버퍼가 풀 상태가 된 시점에서 데이터 수신부(3)는 서버에 데이터 송신 정지를 요구한다. 그리고, 데이터가 소비되어 버퍼에 틈이 생기면, 데이터 수신부(3)는 다시 서버에 데이터 송신을 요구한다. 즉, 데이터 수신부(3)는 서버로부터 간헐적으로 데이터를 취득하게 된다.

이상과 같이 하여, 데이터 수신부(3)는 데이터 전송 용량 J를 감시하여, J<E이면 데이터를 필요한 양만큼 캐쉬한 후에 재생을 개시하고, J>E이면 데이터 캐쉬는 행하지 않고 간헐적으로 데이터를 수신하면서 재생을 행한다. 이에 따라, 전송로의 용량 변동에 관계없이 안정적으로 데이터를 재생할 수 있다. 또, J=E의 경우에는 데이터 캐쉬는 불필요하고, 서버로부터 데이터를 연속하여 수신한다.

여기서, 전송로의 용량이 어떠한 원인에 의해 돌연히 감소하면, 버퍼에 대한 데이터 캐쉬가 필요없고, 버퍼 A, B, C가 전부 빈 상태가 되는 경우가 있다. 이 경우에는 데이터 배분부(4)로부터 MIDI 재생부(11)와 음성 재생부(12)로 뮤트 신호를 보내어 잡음이 출력되는 것을 금지함으로써, 사용자에게 제공하는 불쾌감을 없앨 수 있다. 또한, 데이터 배분부(4)로부터 문자 재생부(13)와 화상 재생부(14)로는 전치 유지 신호를 보내어 직전의 화면의 표시가 유지되도록 하면 좋다. 또한,이들 대신에 각 재생부(11∼14)가 데이터 종료를 나타내는 신호를 수신하고 있지 않음에도 불구하고 데이터 배분부(4)로부터 데이터가 오지 않은 경우에는 각 재생부(11∼14)에 있어서 자동적으로 뮤트나 전치 유지의 처리를 행하여, 데이터가 오면 재생을 재개하는 방법을 채택할 수도 있다.

상기 설명에 있어서는 버퍼(3a)로서 독립한 3개의 버퍼 A, B, C를 설치하였지만, 이는 단순한 일례에 불과하며, 버퍼의 수는 임의로 선정할 수 있다. 또한, 독립한 버퍼 대신에 링 버퍼 등을 이용하여도 좋다.

다음으로, 본 발명의 응용예에 대하여 설명한다. 도 1 또는 도 19의 데이터 재생 장치는 전화기의 기능을 구비한 정보 단말기에 탑재할 수 있다. 이에 따르면, 음, 문자, 화상 등의 각종 정보를 다운로드하고, 이들을 재생하여 스피커로부터 사운드를 흘리거나 화면에 문자나 화상을 표시할 수 있는 휴대 전화기를 실현할 수 있다. 예를 들면, 인터넷에 의해 제공되는 CM(커머셜)이나, 가라오케 등의 음악·영상 등을 휴대 전화기로 시청할 수 있다. 이러한 휴대 전화기의 예가 도 37에 도시되어 있다.

도 37에 있어서 참조 번호(50)는 정보 단말기로서의 휴대 전화기, 참조 번호 (51)는 전화기의 본체로서, 본체(51)에는 안테나(52), 표시기(53), 수치 키 (54) 등의 각종 키, 스피커(55), 마이크로폰(56)이 설치되어 있다. 이 휴대 전화기(50)는 도 39에 도시한 바와 같이 기지국(73) 사이에서 통신을 행하여, 서버(72)에 축적된 데이터를 기지국(73)을 통해 다운로드 하도록 되어 있다.

안테나(52)는 기지국(73) 사이에서 신호의 송수신을 행하는 것이다. 표시기(53)는 컬러 액정 디스플레이 등으로 구성되어 있으며, 전화 번호나 영상 등이 표시된다. 발음부인 스피커(55)로부터는 통화 상대의 음성이나 멜로디가 들리게 되어 있다. 마이크로폰(56)은 통화 시나 부재중 안내 메시지의 작성 시에 음성을 입력하기 위한 것이다.

참조 번호(54)는 0∼9의 숫자로 이루어진 숫자 키로서, 전화 번호나 단축 번호의 입력 등에 이용된다. 참조 번호(57)는 전화기의 전원을 온 오프하는 전원 키, 참조 번호(58)는 통화를 개시할 때 조작하는 통화 키, 참조 번호(59)는 표시기 (53)에 표시되는 내용을 스크롤하는 스크롤 키이다. 참조 번호(60)는 다른 키와의 조합 조작에 의해 각종 기능을 달성하는 기능 키, 참조 번호(61)는 등록되어 있는 내용을 호출하여 표시기(53)에 표시시키기 위한 호출 키, 참조 번호(62)는 단축 다이얼 번호 등의 등록을 행할 때 조작하는 등록 키이다. 참조 번호(63)는 표시 내용 등을 소거하기 위한 클리어 키, 참조 번호(64)는 소정의 동작을 실행시킬 때 조작하는 실행 키이다. 참조 번호(65)는 서버(72)로부터 음악 데이터를 다운로드하는 데 있어서 신곡 리스트를 표시시키기 위한 신곡 표시 키, 참조 번호(66)는 부재중 안내 메시지를 작성할 때 조작하는 부재중 등록 키, 참조 번호(67)는 가라오케를 연주할 때 조작하는 가라오케 키, 참조 번호(68)는 곡의 연주를 개시시키는 연주 개시 키, 참조 번호(69)는 곡의 연주를 종료시키는 연주 종료 키이다.

또한, 참조 번호(70)는 카드나 스틱 등의 형상을 한 소형의 정보 기억 매체로서, 전화기 본체(51)에 설치된 슬롯(도시 생략)에 착탈 가능하게 되어 있다. 이 정보 기억 매체(70)의 내부에는 기억 소자인 플래시 메모리(71)가 내장되어 있으며, 이 메모리(71)에 다운로드한 각종 데이터가 기억된다.

이상의 구성에서 표시기(53)는 도 1 또는 도 19의 표시기(20)에 상당하고, 여기에는 문자나 화상이 표시된다. 예를 들면, CM의 경우에는 문자, 일러스트, 사진, 동화상 등이 표시되고, 가라오케의 경우에는 타이틀, 가사, 배경 영상 등이 표시된다. 또한, 스피커(55)는 도 1 또는 도 19의 스피커(19)에 상당하고, 여기에서는 MIDI나 음성에 의한 사운드가 출력된다. 예를 들면, CM의 경우에는 CM송(song)이나 상품 안내 메시지 등이 흐르고, 가라오케의 경우에는 반주곡이나 백코러스 등이 흐른다. 이와 같이 하여, 도 1 또는 도 19의 데이터 재생 장치를 휴대 전화기 (50)에 탑재함으로써, 휴대 전화기(50)를 예를 들면 가라오케 장치로서 이용할 수 있다.

또한, 휴대 전화기(50)에 서버(72)로부터 MIDI의 데이터만을 다운로드할 수도 있다. 이 경우, MIDI에 의해 생성된 멜로디를 착신음으로서 스피커(55)로부터 출력하도록 하면, 착신음은 매우 리얼하고 세련된 음악이 된다. 또한, 휴대 전화기(50)의 내부 메모리(도시 생략)에 착신 신호에 대응시켜서 다른 음악의 MIDI 데이터를 기억해 두고, 착신 신호에 따라 다른 멜로디로 통지하도록 하면, 누구로부터의 전화인지를 용이하게 식별할 수 있다. 또한, 휴대 전화기(50)에 내장된 착신 통지용 바이브레이터(도시 생략)를 MIDI 데이터에 기초하여 진동시키고, 예를 들면 드럼의 리듬과 동일한 리듬으로 바이브레이터를 진동시키도록 해도 좋다. 또한, 부재중 안내 메시지에 MIDI에 의한 BGM(백 그라운드 뮤직)을 부가하는 사용 방법도 할 수 있다.

정보 기억 매체(70)는 도 19의 외부 기억 장치(22)에 상당하는 것으로, 플래시 메모리(71)에 음악 데이터나 영상 데이터를 기억하여 보존할 수 있다. 예를 들면 CD(Compact Disk)의 음악 데이터를 다운로드하는 경우, 도 38에 도시한 바와 같이 MIDI 또는 음성에 의한 음악 데이터나, 문자에 의한 가사 및 곡목 해설 등의 데이터 외에, 화상에 의한 CD 재킷의 사진 데이터도 정합하여 기록함으로써, 정보 기억 매체(70) 그 자체를 CD화할 수 있다. MD(Mini Disk)의 경우도 동일한 것이 적합하다.

상기한 바와 같은 데이터 재생 장치를 탑재한 휴대 전화기(50)에 있어서는 예를 들면 CM을 시청하고 있는 동안에 착신이 있는 경우, 착신음을 우선시켜서 출력시키는 것이 바람직하다. 도 28은 이를 실현하기 위한 구성을 나타내고 있다. 도 28의 장치도 휴대 전화기(50)에 탑재되는 것으로, 도 19와 동일한 부분에는 동일 부호를 붙이고 있다. 도 28에 있어서 도 19와 상이한 점은 착신 신호용 버퍼 (23)가 설치되어 있는 것과, 버퍼(7)와 MIDI 재생부(11) 사이에 전환부(24)가 설치되어 있는 것이다.

도 29는 도 28의 데이터 재생 장치의 동작을 나타내는 타임차트이다. 최초, 스피커(19)로부터 (c)와 같이 CM 음악이 흐르고 있으며, 또한 표시기(20)에 (d)와 같이 CM 화상이 표시되어 있는 것으로 한다. 데이터 수신부(3)에 (a)와 같은 착신 신호가 인터럽트 신호로서 입력되면, 데이터 수신부(3)는 착신 신호의 데이터를 버퍼(23)로 저장함과 함께, 전환부(24)를 버퍼(7)로부터 버퍼(23)측에 전환한다. 이에 따라, 버퍼(7)의 데이터 대신에 버퍼(23)의 데이터가 MIDI 재생부(11)로 입력되고, MIDI 재생부(11)에서는 버퍼(23)의 데이터를 판독하여 소프트웨어·신시사이저에 의해 착신음을 생성하고, 이를 믹서(15) 및 출력 버퍼(17)를 통해 스피커(19)로 출력한다. 그 결과, 스피커(19)로부터는 (b)와 같이 CM 음악 대신에 MIDI 착신음이 출력된다. 그리고, 착신이 종료하여 착신음이 정지하면, 스피커(19)로부터는 (c)와 같이 다시 CM 음악이 흐른다. 또, CM 화상은 (d)와 같이 착신음의 유무에 관계없이 계속해서 표시기(20)에 표시된다. 이와 같이 하여, 도 28의 데이터 재생 장치에 따르면, 착신이 있었을 때 착신음이 우선적으로 출력되고, 시청자에게 착신을 확실하게 알릴 수 있다. 또한, 착신음의 생성에 대응하여 MIDI 재생부(11)의 소프트웨어·신시사이저를 공용할 수 있기 때문에 처리가 간략화된다.

본 발명의 데이터 재생 장치는 전화기 기능을 구비한 정보 단말기 외에도, 예를 들면 게임기 기능을 구비한 정보 단말기에 탑재할 수 있다. 게임기로서는 게임 전용기이어도 좋고, 게임과 다른 기능을 병유하는 장치이어도 좋다. 예를 들면, 도 37에 도시한 휴대 전화기(50)에 게임 소프트웨어를 조립한 것이어도 좋다.

이러한 게임기에 있어서, 통상, 게임 진행 중에는 배경에 음악이 흐르고 있지만, 화면의 상황에 맞추어 MIDI에 의한 효과음을 배경 음악에 거듭 울리도록 하면, 취향이 풍부한 게임 전개가 된다. 도 30은 이를 실현하기 위한 구성으로서, 도 19와 동일한 부분에는 동일 부호를 붙여 있다. 도 30에 있어서 도 19와 서로 다른 점은 효과음 신호용 버퍼(25)가 설치되어 있는 것과, 버퍼(7)와 MIDI 재생부 (11) 사이에 믹서(26)가 설치되어 있는 것이다.

도 31은 도 30의 장치의 동작을 나타내는 타임차트이다. 최초, 스피커(19)로부터 (c)와 같이 배경 음악이 흐르고 있으며, 또한 표시기(20)에 (d)와 같이 게임 화상이 표시되어 있는 것으로 한다. 지금, 게임기의 특정한 버튼을 조작함으로써, 데이터 수신부(3)에 (a)와 같은 효과음 신호가 인터럽트 신호로서 입력되었다고 하면, 데이터 수신부(3)는 효과음 신호의 데이터를 버퍼(25)로 저장한다. 이 버퍼(25)의 효과음 데이터는 믹서(26)에 있어서 버퍼(7)의 데이터와 혼합된다. MIDI 재생부(11)는 믹서(26)의 데이터를 판독하여 소프트웨어·신시사이저에 의해 배경 음악 외에 효과음을 생성하고, 이들을 믹서(15) 및 출력 버퍼(17)를 통해 스피커(19)로 출력한다. 그 결과, 스피커(19)로부터는 (b)와 같이 MIDI에 의한 효과음(예를 들면 폭발음)이 출력된다. 이 효과음이 울리고 있는 동안에도, 배경 음악은 (c)와 같이 계속해서 흐르고 있다. 그리고, 효과음 신호가 종료하면 스피커 (19)로부터의 효과음은 정지하여 배경 음악만이 흐른다. 또, 게임 화상은 (d)와 같이 계속하여 표시기(20)에 표시된다. 이와 같이 하여, 도 30의 데이터 재생 장치에 따르면, 배경 음악 상에 MIDI에 의한 효과음을 거듭 울릴 수 있는 게임기를 실현할 수 있다. 또한, 효과음의 생성에 대응하여 MIDI 재생부(11)의 소프트웨어·신시사이저를 공용할 수 있기 때문에, 처리가 간략화된다.

본 발명의 데이터 재생 장치를 이용하면, 이 밖에도 여러가지 기능을 갖는 시스템을 실현할 수 있다. 도 32 내지 도 34는 그 일례이고, 인터넷에 있어서 특정한 CM을 시청한 사람에게 일정한 특전을 부여하는 예를 나타내고 있다. CM 정보에는 도 33과 같이 MIDI, 음성, 문자, 화상의 각 데이터가 시계열적으로 혼재하고 있다. 그래서, 문자 데이터의 마지막 부분(파선 Z)에 도 34에 도시한 URL(Uniform Resource Locator)을 기술한 태그를 넣어 둔다. 이 태그에 있어서, 마지막 「XXX」는 무슨 CM인지를 나타내는 정보이다.

도 32의 플로우차트에 따라 설명하면, 시청자는 우선 인터넷 상의 서버에 있는 파일(1a: 도 1, 도 19 참조)로부터 CM 데이터를 다운로드한다(S601). 이 CM 데이터는 데이터 수신부(3)에서 수신되고, 데이터 배분부(4)에 의해 각 부로 분류되고, 상술한 순서로 재생되어 스피커(19) 및 표시기(20)로부터 출력된다. 여기서, 수신한 문자 데이터를 문자 재생부(13)에 있어서 마지막까지 재생하면, 도 34에 도시한 태그가 판독된다(S602).

계속해서, 브라우저(열람 소프트웨어)가 기동되고(S603), 판독한 태그에 기술되어 있는 URL의 홈페이지로 점프한다(S604). 점프처의 서버(도시 생략)에서는 태그의 「XXX」 부분을 해석하여 무슨 CM을 시청했는지를 판별하고(S605), 네트 상에서 해당 CM의 상품 구입이 있은 경우, 예를 들면 20% 할인한 금액으로 과금하는 등의 처리를 행한다(S606). 따라서, 상기 시스템에 의하면, CM을 시청한 사람에게 할인 서비스를 부여할 수 있다.

도 35 및 도 36은 본 발명의 데이터 재생 장치를 이용한 다른 응용예이고, 인터넷에 있어서 음악 데이터를 구입한 사람에게 티켓 할인 서비스를 제공하는 예를 나타내고 있다. 이 경우, 음악 데이터에는 가사나 곡의 해설 또는 연주자의 소개 등이 문자 데이터로서 부가되어 있으며, 문자 데이터의 마지막 부분에 도 36에 도시한 바와 같은 태그를 넣어 둔다. 이 태그에 있어서, 「from=2000/08/15 to= 2000/09/15」는 티켓의 유효 기한이 서력 2000년 8월 15일부터 서력 2000년 9월 15일까지임을 나타내고 있다. 또한, 마지막 「YYY」는 구입한 음악 데이터가 무엇인가를 나타내는 정보이다.

도 35의 플로우차트에 따라 설명하면, 시청자는 우선 인터넷 상의 서버에 있는 파일(1a)로부터 음악 데이터를 다운로드한다(S701). 이 음악 데이터는 데이터 수신부(3)에서 수신되고, 데이터 배분부(4)에 의해 각 부로 분류되고, 상술한 순서으로 재생되어 스피커(19) 및 표시기(20)로부터 출력된다. 또한, 각 데이터는 외부 기억 장치[22: 도 37에서는 정보 기억 매체(70)]로 저장되어 보존된다. 여기서, 수신한 문자 데이터를 문자 재생부(13)에 있어서 마지막까지 재생하면, 도 36에 도시한 태그가 판독된다(S702).

계속해서, 브라우저가 기동되어(S703), 현재의 날짜가 유효 기한 내인지의 여부가 판정된다(S704). 이 판정은 상술한 태그에 기술되어 있는 유효 기한을 참조함으로써 행한다. 유효 기한 내이면(S704 YES), 판독한 태그에 기술되어 있는 URL의 홈페이지로 점프하고(S705), 유효 기한 내가 아니면(S704 NO), 아무것도 하지 않고 종료한다(S708).

점프처의 서버(도시 생략)에서는 태그의 「YYY」 부분을 해석하여 무슨 음악 데이터를 구입한 것인지를 판별하여(S706), 그 음악 아티스트의 콘서트 티켓을 할인 가격으로 구입할 수 있는 취지의 안내 메시지를 송신하고, 표시기(20)에 그 메시지가 표시된다(S707). 따라서, 상기 시스템에 의하면, 음악 데이터를 구입한 사람에게 티켓 구입을 유도할 수 있다.

본 발명의 데이터 재생 장치는 상술한 휴대 전화기나 게임기 외, 퍼스널·컴퓨터나 인터넷 텔레비전용 STB(Set Top Box) 등, 각종의 정보 단말기에 탑재할 수 있다.

Claims (28)

1. 이벤트 정보와 이벤트를 실행하기 위한 시간 정보를 포함하는 데이터를 수신하여 재생하는 데이터 재생 장치에 있어서,

   속성이 다른 이벤트 정보를 갖는 복수 종류의 데이터를 수신할 수 있는 데이터 수신부와,

   상기 데이터 수신부가 수신한 각 데이터의 시간 정보를 참조하여, 각 데이터의 이벤트가 실행되는 타이밍이 도래할 때마다 각각의 데이터를 종류 별로 분류하는 데이터 배분부와,

   데이터의 종류에 대응하여 설치되고, 상기 데이터 배분부에서 분류된 데이터에 기록되어 있는 이벤트를 실행하여 해당 데이터를 재생하는 데이터 재생부와,

   상기 데이터 재생부에서 재생된 각각의 데이터를 출력하는 출력부

   를 포함하는 것을 특징으로 하는 데이터 재생 장치.
2. 제1항에 있어서,

   복수 종류의 데이터는 MIDI(Musical Instrument Digital Interface) 이벤트 정보를 갖는 제1 데이터와, MIDI 이외의 이벤트 정보를 갖는 제2 데이터로 이루어지는 것을 특징으로 하는 데이터 재생 장치.
3. 제2항에 있어서,

   제2 데이터는 문자 이벤트 정보를 갖는 데이터 및 화상 이벤트 정보를 갖는 데이터를 포함하는 것을 특징으로 하는 데이터 재생 장치.
4. 제3항에 있어서,

   제2 데이터는 음성 이벤트 정보를 갖는 데이터를 더 포함하는 것을 특징으로 하는 데이터 재생 장치.
5. 삭제
6. 이벤트 정보와 이벤트를 실행하기 위한 시간 정보를 포함하는 데이터를 수신하여 재생하는 데이터 재생 장치에 있어서,

   MIDI 이벤트 정보를 갖는 데이터와, 문자 이벤트 정보를 갖는 데이터와, 화상 이벤트 정보를 갖는 데이터를 수신할 수 있는 데이터 수신부와,

   상기 데이터 수신부가 수신한 각 데이터의 시간 정보를 참조하여 각 데이터의 이벤트가 실행되는 타이밍이 도래할 때마다 각각의 데이터를 종류 별로 분류하는 데이터 배분부와,

   데이터의 종류에 대응하여 설치되고, 상기 데이터 배분부에서 분류된 데이터에 기록되어 있는 이벤트를 실행하여 해당 데이터를 재생하는 데이터 재생부와,

   상기 데이터 재생부에서 재생된 MIDI 데이터를 사운드로서 출력하는 제1 출력부와,

   상기 데이터 재생부에서 재생된 문자 및 화상 데이터를 가시 정보로서 출력하는 제2 출력부

   를 포함하는 것을 특징으로 하는 데이터 재생 장치.
7. 제6항에 있어서,

   상기 데이터 수신부는 또한 음성 이벤트 정보를 갖는 데이터의 수신이 가능하고, 상기 제1 출력부는 상기 데이터 재생부에서 재생된 MIDI 및 음성 데이터를 사운드로서 출력하는 것을 특징으로 하는 데이터 재생 장치.
8. 제7항에 있어서,

   상기 데이터 재생부에서 재생된 MIDI 및 음성 데이터를 혼합하는 제1 믹서와,

   상기 데이터 재생부에서 재생된 문자 및 화상 데이터를 혼합하는 제2 믹서

   를 포함하며,

   상기 제1 출력부는 상기 제1 믹서에서 혼합된 데이터를 출력하고,

   상기 제2 출력부는 상기 제2 믹서에서 혼합된 데이터를 출력하는

   것을 특징으로 하는 데이터 재생 장치.
9. 이벤트 정보와 이벤트를 실행하기 위한 시간 정보를 포함하는 데이터를 수신하여 재생하는 데이터 재생 방법에 있어서,

   MIDI 이벤트 정보를 갖는 제1 데이터와, MIDI 이외의 이벤트 정보를 갖는 제2 데이터를 수신하는 단계와,

   수신한 각 데이터의 시간 정보를 참조하여 각 데이터의 이벤트가 실행되는 타이밍이 도래할 때마다 각각의 데이터를 종류 별로 분류하는 단계와,

   분류된 데이터를 거기에 기록되어 있는 이벤트의 실행에 의해 재생하는 단계와,

   재생된 각각의 데이터를 출력하는 단계

   를 포함하는 것을 특징으로 하는 데이터 재생 방법.
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 이벤트 정보와 이벤트를 실행하기 위한 시간 정보를 포함하는 데이터를 수신하여 재생하는 데이터 재생 장치에 있어서,

    속성이 다른 이벤트 정보를 갖는 복수 종류의 데이터를 수신할 수 있는 데이터 수신부와,

    상기 데이터 수신부가 수신한 각 데이터의 시간 정보를 차례로 참조하여, 소정의 시간 폭을 갖는 단위 구간 내에서 처리해야 할 데이터를 결정하고, 해당 데이터를 단위 구간마다 종류 별로 분류하는 데이터 배분부와,

    상기 데이터 배분부에서 분류된 데이터를 종류 별로 일시적으로 저장하는 기억부와,

    데이터의 종류에 대응하여 설치되고, 상기 기억부에 저장된 단위 구간별 데이터를 다음 단위 구간에서 순차 판독하고, 각 데이터에 기록되어 있는 이벤트를 실행하여 데이터를 재생하는 데이터 재생부와,

    상기 데이터 재생부에서 재생된 각각의 데이터를 출력하는 출력부

    를 포함하는 것을 특징으로 하는 데이터 재생 장치.
16. 제15항에 있어서,

    상기 데이터 배분부는 처리해야 할 데이터를 단위 구간의 마지막 타이밍에서 종류 별로 분류하여 기억부에 저장하고,

    상기 데이터 재생부는 상기 데이터 배분부가 분류한 단위 구간의 데이터를 다음 단위 구간에서 순차 판독하여 해당 데이터의 이벤트를 실행하는

    것을 특징으로 하는 데이터 재생 장치.
17. 제16항에 있어서,

    상기 시간 정보는 전회(前回) 이벤트의 실행 시점부터 금회 이벤트가 실행되기까지의 시간으로서 규정되는 델타·타임에 있어서,

    상기 데이터 배분부는 단위 구간의 마지막 시각인 현재 시각과, 하나 이전의 단위 구간에서의 마지막 이벤트의 실행 시각과의 차로부터 금회 데이터를 처리해야 할 처리 구간의 시간 폭을 산출하고, 해당 처리 구간에서의 각 이벤트의 델타·타임의 합이 처리 구간의 시간 폭의 범위 내가 되도록 단위 구간의 데이터를 분류하여 기억부에 저장하고,

    상기 데이터 재생부는 상기 데이터 배분부가 분류한 단위 구간의 데이터를 해당 단위 구간과 동일한 시간 폭을 갖는 다음 단위 구간에서 재생하는

    것을 특징으로 하는 데이터 재생 장치.
18. 제15항 내지 제17항 중 어느 한 항에 있어서,

    단위 구간의 개시 및 종료 타이밍을 관리하는 타이밍 제어부를 설치한 것을 특징으로 하는 데이터 재생 장치.
19. 제18항에 있어서,

    상기 출력부는 출력 데이터의 개수를 계수하는 기능을 구비하고 있으며, 이 계수 치에 기초하여 타이밍 제어부로 제어 신호를 보내고, 타이밍 제어부는 이 제어 신호에 기초하여 타이밍 신호를 출력하는 것을 특징으로 하는 데이터 재생 장치.
20. 이벤트 정보와 이벤트를 실행하기 위한 시간 정보를 포함하는 데이터를 수신하여 재생하는 데이터 재생 방법에 있어서,

    속성이 다른 이벤트 정보를 갖는 복수 종류의 데이터를 수신하는 단계와,

    수신한 각 데이터의 시간 정보를 차례로 참조하여, 소정의 시간 폭을 갖는 단위 구간 내에서 처리해야 할 데이터를 결정하고, 해당 데이터를 단위 구간마다 종류 별로 분류하여 기억부에 일시적으로 저장하는 단계와,

    상기 기억부에 저장된 단위 구간마다의 데이터를 다음 단위 구간에서 순차 판독하고, 해당 데이터에 기록되어 있는 이벤트를 실행하여 데이터를 재생하는 단계와,

    재생된 각각의 데이터를 출력하는 단계

    를 포함하는 것을 특징으로 하는 데이터 재생 방법.
21. 스트림 데이터를 다운로드하면서 재생을 행하는 청구항 제1항 또는 제15항에 기재된 데이터 재생 장치에 있어서,

    상기 데이터 수신부는 버퍼를 포함하고,

    상기 데이터 수신부가 최초로 수신한 데이터에 기초하여 단위 시간당 데이터 전송 용량 J 및 단위 시간당 데이터 소비량 E를 계산하고,

    J<E의 경우에는 데이터를 필요량만큼 상기 버퍼에 캐쉬한 후에 재생을 개시하고, J> E의 경우에는 데이터 캐쉬는 행하지 않고 간헐적으로 데이터를 수신하면서 재생을 행하는 것을 특징으로 하는 데이터 재생 장치.
22. 청구항 제1항 또는 제15항에 기재된 데이터 재생 장치를 탑재하고 각종 데이터가 다운로드가능한 정보 단말기에 있어서,

    다운로드한 데이터에 기초하여 사운드를 출력하는 발음부와, 다운로드한 데이터에 기초하여 문자 및 화상을 표시하는 표시기를 포함하는 것을 특징으로 하는 정보 단말기.
23. 삭제
24. 삭제
25. 삭제
26. 제22항에 있어서,

    소형의 정보 기억 매체가 착탈 가능하게 되어 있으며, 상기 정보 기억 매체에 다운로드한 MIDI에 의한 음악 데이터와, 문자에 의한 가사 데이터와, 화상에 의한 재킷 사진 데이터를 저장하는 것을 특징으로 하는 정보 단말기.
27. 제3항에 있어서,

    문자를 포함하는 커머셜 정보를 수신하고, 상기 문자 데이터는 인터넷의 브라우저 기동 시의 점프처인 URL과, 이 URL의 홈페이지의 시청자에게 서비스를 제공하기 위한 정보를 포함하고 있는 것을 특징으로 하는 데이터 재생 장치.
28. 제22항에 있어서,

    상기 발음부로부터 통화 음성이 출력되어 상기 표시기에 전화 번호가 표시되는 휴대 전화기의 기능을 포함하고, 또한

    다운로드한 데이터에 기초하여 상기 발음부로부터 반주곡을 출력함과 함께 상기 표시기에 가사 및 배경 화상을 표시함으로써 가라오케 장치로서 이용할 수 있도록 한 것을 특징으로 하는 정보 단말기.