CN1152364C - 图形显示装置和同步重放方法以及声像同步重放装置 - Google Patents

Abstract

本发明揭示一种图形显示装置和同步重放方法以及AV同步重放装置。在从服务器向终端指示对立体图符进行图形显示时，在终端上准备多个活动模式服务器向终端发送脚本数据，终端侧根据脚本数据进行工作，切换场面并显示图符。用与执行中和接着执行的活动模式共同的中心姿势的定时或者用与执行中和接着执行的所述活动模式几乎共同姿势的定时，终端侧执行场面的切换并显示图形。本发明的目的在于提供能减少从服务器经网络通信的CG数据的数据传输量，而且能使在终端显示的立体图符流畅的图形显示装置。本发明的目的还在于提供能使速率在曲中变化的曲子和图像同步进行重放的AV同步重放装置。

Description

图形显示装置和同步重放方法以及声像同步重放装置

技术领域

本发明涉及对计算机制图(下面称为CG)进行显示的装置。具体地说，涉及在服务器和终端之间进行通信，从而在终端侧使音频数据和视频数据同步重放的图形显示装置以及独立装置中的声像(AV)同步重放装置。

背景技术

在电影和电视游戏机等领域中盛行使用CG。

例如，在三维CG中，历来立体图符往往具有由骨和关节组成的骨骼模型。图40示出了人体的骨骼模型的一例。

通过对该骨骼模型的周围由折线构成的手、脚立体图符的各个部位附以肌肉，在该折线的表面附有结构特征，对立体图符进行众所周知地显示。这里，将以折线构成的各个部位和表面结构特征合称为形状数据。

并且，借助于将活动该骨骼模型的关节的指示(即动作)提供给微型计算机中，实现立体图符的活动。近年来，由于国际互联网的普及，一般地通过网络进行CG活动图像通信。作为用国际互联网的CG活动图像的描述语言，普及的有VRML(Virtual Reality Modeling Language，虚拟现实模型语言)。

为了显示活动图像，需要用于显示三维立体图符的形状数据和用于使该显示活动图像的动作。用VRML并利用国际互联网将形状数据和动作从服务器传输到终端。

终端对接收到的数据用VRML浏览器显示CG活动图像。但是，在这种方式中，因将形状数据和动作从服务器传输到终端，所以有增大数据传输量、增长数据的传输时间的问题。

在电影和电视游戏机等领域盛行使用CG，最近，不仅CG的图像数据，而且同时重放与其相配的音乐的CG作品大量出现。作为与这种CG和声音相关的技术，有日本特开平8-212388号公报公开的三维图像处理装置。

这是规定开始时刻和结束时刻的CG数据与声音数据相关连进行重放的图像处理装置。Cs、Ce分别表示CG的数据的开始时刻、结束时刻。As、Ae分别表示声音的数据的开始时刻、结束时刻。对声音的重放时间(Ae-As)和CG的重放时间(Ce-Cs)进行比较，在不一致的场合由下式算出声音重放中使用的速率，并根据该速率重放声音。

速率＝原来的速率×(Ae-As)/(Ce-Cs)

这样，借助于利用与CG的重放时间的相对比，调整声音的速率，实现使重放时间不同的CG和声音同步并进行重放。

但是，在前述的以往的技术中，虽然能重放一定速率的声音数据，但不能在曲中与速率变化的乐曲数据同步。此外，由于卡拉OK的音调控制操作等，在演奏途中突然地变更曲子的速率的场合，可能破坏同步。此外，在进行快进和倒放等的特殊重放的场合，也可能破坏同步。

发明内容

鉴于前述的课题，本发明的目的在于提供能减少从服务器通过网络通信的CG数据的数据传输量，而且能使在终端显示的立体图符动作流畅的图形显示装置。

本发明的目的还在于提供能使速率在曲中变化的歌曲和图像同步进行重放，并且，即使在歌曲的速率突然变更的场合和特殊重放中，也能使歌曲和图像同步进行重放的AV同步重放装置。

本发明的第1发明的图形显示装置，其特征在于，

在服务器上包括通过网络向终端发送仅记载动作组合顺序的脚本数据的数据发送单元，其中，脚本数据由形状数据、动作数据以及记载动作组合顺序的数据所组成，

在终端上包括：接收由所述数据发送单元发送的脚本数据的数据接收单元；显示立体图符所需的形状数据库；使立体图符动作所需的动作数据库；按照记载在由所述数据接收单元接收到的脚本数据中的顺序，切换动作并显示所述立体图符的动作切换描绘单元；在所述切换绘画单元切换动作时校正前后动作使动作能流畅显示的动作自动校正单元。

即使各个动作没有保持中心姿势，也能使各个动作之间自然连接，并显示CG活动图像。

本发明的第2发明的图形显示装置，其特征在于，在本发明的第1发明中，

在服务器上包括通过网络发送对数据发送单元发送的脚本数据所记载的各动作间连接部分进行校正的动作校正数据的校正数据发送单元，

并具有接收由所述校正数据发送单元发送的校正数据的校正数据接收单元，和根据由所述校正数据接收单元接收到的动作校正数据，校正前后动作使切换绘画单元切换动作时动作能流畅显示的动作校正单元，以代替终端的动作自动校正单元。

因从服务器发送预先计算的校正数据，所以能节省终端的计算机资源。

本发明的第3发明的图形显示装置，其特征在于，在本发明的第1发明中，

在服务器上包括动作数据库，和根据动作数据库算出对数据发送单元发送的脚本数据所记载的各动作间连接部分进行校正的动作校正数据，并通过网络用校正数据发送单元进行发送的校正脚本计算单元。

因实时地进行校正数据的计算，所以能节省服务器的存储器资源。

本发明的第4发明的图形显示方法，其特征在于，

在从服务器向终端指示对立体图符进行图形显示时，

在终端上准备记叙立体图符的活动模式的多个活动模式，

服务器向终端发送记载所述活动模式的时间序列组合顺序的脚本数据，

检测来自服务器的脚本数据，根据这种脚本数据进行动作并进行图形显示的终端，用与执行中和接着执行的活动模式共同的中心姿势的定时或者用与执行中和接着执行的所述动作模式几乎共同的姿势的定时，切换执行的活动模式，并执行场面的切换。

采用这种结构，则能从服务器到终端用较少的数据传送量，而且平滑地进行场面和场面的切换，实施自然的图形显示。

本发明的第5发明图形显示装置，其特征在于，

设置记述多个模式的活动的动作群、基于动作群的任何一个模式，对应于场面记述是否使立体图符动作的脚本数据库，以及根据脚本数据库和动作群，控制显示输出的立体图符的动作的特征姿势控制单元，而且，

图符姿势控制单元的结构做成用与执行中和接着执行的活动模式共同的中心姿势定时，或者用与执行中和接着执行的所述活动模式几乎共同的姿势的定时，切换执行的活动模式，执行场面的切换。

采用这种结构，则能实现如本发明所述的图形显示方法。

本发明的第6发明的图形显示装置，是一种在网络上设置服务器和终端，在终端上进行图形显示的图形显示装置，其特征在于，

在所述服务器上设置定义三维图符的形状的图符数据的数据库、定义所述图符的动作的动作数据库，和指定所述图符数据和1个以上的所述动作的时间序列组合的脚本数据，

在所述终端上设置保管所述图符数据的图符数据库、保管所述动作的动作数据库、检索所述脚本数据指定的图符数据是否存在于图符数据库中的数据检索单元，和向所述服务器请求取得不存在于所述图符数据库中的图符数据的数据请求单元。

采用这种结构，则因仅向服务器上请求得到不存在于终端的图符数据库中的图符数据，就具备必要的图符数据，以生成终端的图符活动图像，所以在终端没有用于描绘三维图像所需的图符数据的场合进行网络传输，这时，因网络传输的仅是终端欠缺的图符数据，所以能在短时间的通信时间内向终端供给三维图符显示中所需的全部数据。

本发明的第7发明的图形显示装置，是一种在网络上设置服务器和终端，在终端上进行图形显示的图形显示装置，其特征在于

在所述服务器上设置定义三维图符的形状的图符数据的数据库、定义所述特征的动作的动作数据库，和指定所述图符数据和1个以上的所述动作的时间序列组合的脚本数据，

在所述终端上设置保管所述图符数据的图符数据库、保管所述动作的动作数据库、检索所述脚本数据指定的动作数据是否存在于动作数据库中的数据检索单元，和向所述服务器请求取得不存在于所述动作数据库中的动作数据的数据请求单元。

采用这种结构，则因仅向服务器请求得到不存在于终端的动作数据库中的动作数据，就具备必要的动作数据，以生成终端的图符活动图像，所以在终端没有用于描绘三维图像所需的动作数据的场合进行网络传输，这时，因网络传输的仅是终端欠缺的动作数据，所以能在短时间的通信时间内向终端供给三维图符的显示中所需的全部数据。

本发明的第8发明的声像(AV)同步重放装置，其特征在于，包括

基于乐曲数据进行演奏的乐曲演奏单元，

对应于特定乐曲上的位置的乐曲位置和成为演奏速率的基础的速率信息以及对它们进行更新的时刻，进行暂时存储的同步信息表，

基于所述乐曲演奏单元的演奏，更新所述同步信息表的同步信息更新单元，

由当前时刻和所述同步信息表的内容计算所述乐曲演奏单元当前正在演奏的乐曲位置的乐曲位置计算单元，

暂时存储帧数据的帧缓存器，

基于所述乐曲位置计算单元计算的乐曲位置，根据与乐曲数据关连的CG数据算出与所述乐曲演奏单元同步的帧数据，并输出到所述帧缓存器中的帧输出单元，

将存储在所述帧缓存器中的帧数据作为活动图像进行显示的图像显示单元。

与仅对一定的速率的乐曲数据使图像同步的以往技术相比，即使在曲子的途中重放速率动态变化的乐曲数据的场合和突然变更速率信息的场合，也能使图像同步地进行重放。

本发明的第9发明的声像(AV)同步重放装置，其特征在于，在本发明的第8发明中，

每当乐曲位置或者速率信息中任何1个变化时，乐曲演奏单元更新同步信息表，按照这样的要求构成同步信息更新单元。

使同步信息的更新次数达到最少，且能得到与本发明的第8发明相同的效果。

本发明的第10发明的声像(AV)同步重放装置，其特征在于，在本发明的第8发明中，

按照以特定的周期更新同步信息表的要求构成同步信息更新单元。

抑制同步信息的更新次数，且能得到与本发明第8发明相同的效果。

本发明的第11发明的声像(AV)同步重放装置，其特征在于，在本发明的第8发明中，

增加从CG数据量预测帧数据输出单元需要的运算时间的运算时间预测单元，而且帧输出单元的结构做成与由乐曲位置计算单元计算的乐曲位置延迟所述运算时间预测单元预测的时间的乐曲位置同步地将帧数据输出到帧缓存器中。

除能得到与本发明第8发明相同的效果外，还能没有帧运算延迟地与乐曲数据同步重放图像。

本发明的第12发明的声像(AV)同步重放装置，其特征在于，在本发明的第8发明中，

增加根据乐曲数据预测当前乐曲位置的声音实际成为声音输出前延迟的时间的演奏延迟预测单元，而且同步信息更新单元的结构做成将延迟所述演奏延迟预测单元预测的时间的乐曲、速率信息以及更新时间输出到同步信息表中。

除能得到与本发明第8发明相同的效果外，还能没有演奏延迟地与乐曲数据同步重放图像。

本发明的第13发明的声像(AV)同步重放装置，其特征在于，在本发明的第8发明中，

增加根据CG数据量预测图像显示单元能实际显示帧缓存器的数据前的显示延迟时间的图像显示延迟预测单元，而且帧输出单元的结构做成将与由乐曲位置计算单元计算的乐曲位置延迟所述图像显示延迟时间预测单元预测的时间的乐曲位置同步的帧数据输出到帧缓存器中。

除能得到与本发明的第8发明相同的效果外，还能没有图像显示延迟地与乐曲数据同步重放图像。

本发明的第14发明的声像(AV)同步重放装置，其特征在于，在本发明的第8发明中，

设置在乐曲演奏单元开始特殊重放时，发生特殊重放开始信号的特殊重放开始通知单元、在乐曲演奏单元结束特殊重放时，发生特殊重放结束信号的特殊重放结束通知单元，以及在特殊重放中将乐曲位置实时同步地输出到同步信息表中的特殊重放同步信息更新单元，而且

帧输出单元的结构做成在特殊重放中根据所述特殊重放同步信息更新单元更新的所述同步信息表，将帧数据输出到帧缓存器中。

除能得到与本发明第8发明相同的效果外，特殊重放中与以往的可能损坏乐曲数据和图像的同步的以往技术相比，即使在特殊重放中也能与乐曲数据同步重放图像。

本发明的第15发明的声像(AV)同步重放装置，使乐曲数据和活动图像数据同步重放，其特征在于，包括：

重放乐曲数据时，将规定每次特定音符份额的乐曲进展所对应时刻乐曲上的位置的乐曲位置和成为演奏速率的基础的速率信息作为同步信息，并进行输出的节拍发生电路；

以所述特定音符为基准，生成对应于乐曲数据和活动图像数据的进展的AV同步指示数据的AV同步指示数据生成电路；

设帧缓存器将图像输出到图像显示电路中的时间间隔为ΔT时，根据从所述节拍发生电路输入同步信息后，包含在这种同步信息中的速率信息、在输入这种同步信息的时刻写入到帧缓存器中的活动图像数据帧的进展位置、在输入接着的同步信息时由所述AV同步指示数据指定的活动图像数据帧的进展位置，和所述时间间隔ΔT，确定写入到帧缓存器中的活动图像数据的显示帧确定电路。

本发明的第16发明的声像(AV)同步重放装置，同步重放乐曲数据和CG图符的活动图像数据，其特征在于，包括：

重放乐曲数据时，将规定每次特定音符份额的乐曲进展所对应时刻乐曲上的位置的乐曲位置和作为演奏速率的基础的速率信息作为同步信息输出的节拍发生电路；

以所述特定音符为基准，生成对应于进行乐曲数据的进展的CG图符活动图像数据的AV同步指示数据的AV同步指示数据生成电路；

设帧缓存器将图像输出到图像显示电路的时间间隔为ΔT时，根据从所述节拍发生电路输入同步信息后，包含在这种同步信息中的速率信息、在输入这种同步信息的时刻写入到帧缓存器中的CG图符活动图像数据帧进展位置、在输入接着的同步信息时由所述AV同步指示数据指定的CG图符活动图像数据帧的进展位置和所述时间间隔ΔT，确定写入到帧缓存器中的CG图符的姿势的图符姿势计算电路。

本发明的第17发明的AV同步重放装置，其特征在于，在本发明的第15或16发明中，

设置输入变更速率信息的速率变更输入电路。

本发明的第18发明的声像(AV)同步重放方法，其特征在于，

为了使乐曲和图像同步，每次所述乐曲进展所述特定音符份额，从所述乐曲的声音生成单元对所述图像的生成单元传送以特定音符作为基准的所述乐曲上的位置的乐曲位置和所述乐曲的速率信息。

本发明的第19发明的声像(AV)同步重放方法，其特征在于，包括：

在重放乐曲数据时，将规定每次特定音符份额的乐曲进展所对应时刻乐曲上的位置的乐曲位置和成为演奏速率的基础的速率信息作为同步信息进行输出的步骤；

以所述特定音符作为基准，生成对应于进行乐曲数据和活动图像数据进展的AV同步指示数据的步骤；

设帧缓存器将图像输出到图像显示电路的时间间隔为ΔT时，根据从所述节拍发生电路输入同步信息后，包含在这种同步信息中的速率信息、在输入这种同步信息的时刻写入到帧缓存器中的活动图像数据帧的进展位置、在输入接着的同步信息时由所述AV同步指示数据指定的活动图像数据的帧的进展位置和所述时间间隔ΔT，确定写入到帧缓存器中的活动图像数据。

本发明的第20发明的声像(AV)同步重放方法，其特征在于，包括：

在重放乐曲数据时，将规定每次特定音符份额的乐曲进展所对应时刻乐曲上的位置的乐曲位置和成为演奏速率的基础的速率信息作为同步信息进行输出的步骤；

以所述特定音符作为基准，生成对应于乐曲数据和CG图符活动图像数据的AV同步指示数据的步骤；

设帧缓存器将图像输出到图像显示电路的时间间隔为ΔT时，根据从所述节拍发生电路输入同步信息后，包含在这种同步信息中的速率信息、在输入这种同步信息的时刻写入到帧缓存器中的CG图符的活动图像数据帧的进展位置、在输入接着的同步信息时由所述AV同步指示数据指定的CG图符活动图像数据帧的进展位置和所述时间间隔ΔT，确定写入到帧缓存器中的CG图符的姿势。

本发明的第21发明的声像(AV)同步重放方法，其特征在于，在本发明的第19或20发明中，包括

输入变更速率信息的步骤；

将所述同步信息的速率信息变更成输入后的速率信息的步骤。

本发明的第22发明的记录媒体，其特征在于，记录实现在本发明的第19至21发明的任一项所述的AV同步重放方法的计算机程序。

附图说明

图1表示本发明实施形态1的结构图。

图2表示实施形态1的形状数据的说明图。

图3表示实施形态1中伴随动作Ma的时间经过的坐标变化的说明图。

图4表示实施形态1的动作Ma的动作图。

图5表示实施形态1的动作Mb的动作图。

图6表示实施形态1的动作Ma和Mb的动作图。

图7表示实施形态1的动作Ma的校正后的动作图。

图8表示本发明实施形态2的结构图。

图9表示实施形态2的校正数据的说明图。

图10表示本发明实施形态3的结构图。

图11表示本发明实施形态4的结构图。

图12(a)-图12(c)是表示实施形态4的动作的一例的说明图。

图13是表示实施形态4的脚本数据的结构图。

图14是表示按照实施形态4的脚本数据连接的动作的一例的说明图。

图15是实施形态4的动作切换描绘手段的流程图。

图16表示本发明实施形态5的结构图。

图17表示本发明实施形态5中终端的欠缺数据处理流程图。

图18表示本发明实施形态5中服务器的欠缺数据处理流程图。

图19表示本发明实施形态6的方框图。

图20是本发明实施形态6的流程图。

图21表示本发明实施形态7的结构图。

图22表示本发明实施形态8的结构图。

图23表示本发明实施形态9的结构图。

图24表示本发明实施形态10的结构图。

图25表示本发明实施形态11的结构图。

图26表示本发明实施形态12的结构图。

图27表示本发明实施形态13的结构图。

图28(a)和图28(b)是表示本发明实施形态13的乐曲的节拍数、活动图像数据、脚本数据和AV同步指示数据的关系的说明图。

图29是表示本发明实施形态13的乐曲数据、CG图符的姿势计算和配光处理的时间的关系的时间图。

图30是表示本发明实施形态13的乐曲演奏的重放处理的流程图。

图31是表示本发明实施形态13中AV同步指示数据的生成处理的流程图。

图32是表示本发明实施形态13中ACG图符的重放处理的流程图。

图33表示本发明实施形态14的结构图。

图34是表示本发明实施形态14的乐曲演奏的重放处理的流程图。

图35表示本发明实施形态15的结构图。

图36(a)和图36(b)是表示本发明实施形态15的乐曲的节拍数、活动图像数据、活动图像脚本数据和AV同步指示数据的关系的说明图。

图37是表示本发明实施形态15的活动图像的重放处理的流程图。

图38表示本发明实施形态16的结构图。

图39是表示本发明实施形态16中乐曲演奏的重放处理的流程图。

图40是立体图符的骨骼数据的说明图。

具体实施方式

下面，参照附图对本发明的实施形态进行说明。

实施形态1

图1-图7表示实施形态1。

在图1中，用网络53连接服务器51和终端52。服务器51包括数据发送手段1和脚本数据库74。

由数据接收手段11、动作切换描绘手段12、动作自动校正手段13、形状数据库14、动作数据库15以及显示手段16构成终端52。

数据发送手段1通过网络53，发送保脚本数据库74所保存多个脚本数据中在终端52显示的脚本数据61。

脚本数据61指明显示的立体图符，而且规定用于使立体图符活动的动作的组合顺序，是识别动作的动作ID的表。

其中，对应于该动作ID的动作，通过CD-ROM和软盘等记录媒体或者网络53供给终端，并存储在终端52的动作数据库15中。

例如，在对应于动作ID{Ma，Mb，Mc，Md，Me}的动作存储在动作数据库15中的场合，能规定[Ma，Mc，Ma，Me](表示从表的开头顺序切换并显示)的脚本。但是，因Mf没有存储在动作数据库14中，所以不能规定[Ma，Mf，Ma，Me]的脚本。能将存储在动作数据库15中的动作的任意组合作为脚本数据进行规定。

数据接收手段11通过网络53，接收数据发送手段1发送的脚本数据。

形状数据保存在形状数据库14中。形状数据由用2个以上的三维(x，y，z坐标)坐标点构成的称为折线的多面体的集合组成。

动作数据保存在动作数据库15中。基于时间序列使形状数据的变化量，来规定动作。

例如，在a，b，c，d，e和f的6个顶点中，利用其顶点的5个部分集合{a，b，c}{a，e，f}{a，b，d，e}{a，c，d，f}{b，c，e，f}构成的5个折线面，能规定图2所示的3角柱的形状数据(将其作为物体A)。在60秒间使物体A分别以X轴为中心旋转180度、以Y轴为中心旋转360度的动作，如图3所示(将这种动作作为动作Ma)。

没有必要规定显示的全部的帧的旋转角。对于特定的时刻，规定旋转角(称其为关键帧)，用内插算法对其余部分进行计算。关键帧的内插算法虽然提议有多种一般的算法，但这里用1次线性内插算法，并在下面进行说明。

这里，如果用1次线性内插算法，计算45秒后的x轴的旋转角，则为

100(度)＝[((45-40)/(50-40))×(120-80)+80]

动作数据库15一般是作为关键帧集合规定的动作数据的集合。如果将动作的变化用曲线表示，则成为图4所示的动作曲线。图4中黑圆和黑三角表示关键帧。

基于数据接收手段11接收到的脚本数据61，动作切换描绘手段12顺序地切换动作，同时显示CG活动图像。各动作是某个特定的时间内(动作时间)的关键帧的集合。

例如，动作Ma是在60秒间具有7个关键帧的动作。借助于在动作帧间进行1次线性内插，能复原图4的动作曲线。

在这种实施形态中，虽然关键帧内插用1次线性插补，但存在其它样条非线性内插等的已知的方法。因无论用哪一种手法都能得到相同的效果，所以本发明不专门限定该内插方法。

例如，计算动作Ma的45秒后的物体A的顶点a的坐标。首先，用线性内插计算x轴旋转角、y轴旋转角。按照前述的计算，x轴的旋转角是100度，y轴旋转角是

300(度)＝[((45-40)/(50-40))×(345-255)+255]

首先，计算以x轴为中心旋转100度的场合的坐标。假设x轴的旋转角为xang，用下式能计算(x，y，z)：

(x，y·cos(xang)+z·sin(xang)，-y·sin(xang)+z·cos(xang))

因此，a(3.0，3.0，1.0)的值为

x＝3.0

y＝3.0·(-0.174)+1.0·0.984＝0.462

z＝-3.0·0.984+1.0·(-0.174)＝-3.126

接着，计算以y轴为中心旋转300度的场合的坐标。假设z轴的旋转角为yang，用下式能计算(x，y，z)：

(x·cos(yang)+z·sin(yang)，y，-x·sin(yang)+z·cos(yang))

因此，得：

x＝3.0·0.5+(-3.126)·(-0.866)＝4.207

y＝0.462

z＝-3.0·(-0.866)+(-3.126)·0.5＝1.035

因此，45秒后的顶点a移动到(4.207，0.462，1.035)的位置。对其它的5个顶点施行与其相同的计算，能算出各顶点坐标。

在这些坐标变换处理后，借助于进行配光处理，能对帧进行显示。动作切换描绘手段12在从各动作的开始到结束之间，借助于基于帧速率(规定1秒间扫描多少帧)，连锁地进行上述一系列的处理，显示CG活动图像。在结束规定1个动作的动作时间内的CG活动图像的场合，开始进行脚本数据规定的下一个动作的CG活动图像的显示。这样，借助于一个接着一个地切换动作，连续地显示CG活动图像。

在动作切换描绘手段12切换动作时，动作自动校正手段13校正动作。在顺序地显示动作的场合，其连接点上动作往往不连续。

例如，考察动作Ma后显示动作Mb的场合。图5示出了动作Mb动作曲线。图6示出了动作Ma和Mb的动作曲线合在一起的曲线。

由图6可见，在动作Ma的第60秒的帧和动作Mb的0秒的帧产生不连续点。

这里，设定动作Ma的第60秒的帧和第0秒的帧二者的平均值，作为动作切换时关键帧，避开动作的不连续。计算动作Ma和动作Mb的切换时的关键帧。

如果设定x轴的旋转角为160＝(180+140)/2，y轴的旋转角为340＝(360+320)/2，则如图7所示，动作曲线平滑地连接。

动作自动校正手段13在切换动作时从前后的动作算出关键帧，自动地校正动作。这种校正方法已知有多种方法存在。因无论用哪一种手法都能得到相同的效果，所以本发明不专门限定其内插法。

这样，通过网络53发送到终端52上的仅是规定了动作组合顺序后的脚本数据，因不发送数据容量大的立体图符的形状数据和动作，所以数据传输量小，网络的负担也小。

此外，因终端52的动作自动校正手段13校正切换动作时的动作，所以在终端52的显示手段16上显示的立体图符的动作非常流畅。

实施形态2

图8和图9表示实施形态2。

在图8中，用网络53连接服务器51和终端52。服务器51包括数据发送手段1和校正数据发送手段21。由数据接收手段11、校正数据接收手段22、动作切换描绘手段12、显示手段16、动作校正手段23、形状数据库14以及多个动作数据库15构成终端52。

此外，1、11、12、14、15和16因与实施形态1中相同故省略其说明。

校正数据发送手段21发送对数据发送手段1发送的脚本数据61的各动作间进行校正的校正数据62。

校正数据62，用与实施形态1中说明了的动作自动校正手段13相同的手法预先算出，是用于切换动作时使切换前后的立体图符的动作平滑的数据。

也就是说，校正数据62规定动作及其帧时间。例如，动作Ma和动作Mb的校正数据62如图9所示。

在动作Ma后切换动作Mb进行显示。表示将Ma的60秒的关键帧(x轴的旋转角180度，y轴的旋转角360度)和动作Mb的0秒的关键帧(x轴的旋转角140度，y轴的旋转角320度)，校正成x轴的旋转角160度，y轴的旋转角340度。

这种校正数据62仅需要与脚本数据中各动作的切换次数相当的数量。例如，在脚本数据指定{Ma，Mb，Mc，Md，Me}5个动作的场合，需要切换(Ma，Mb)，(Mb，Mc)，(Mc，Md)，(Md，Me)的4组动作切换时动作之间连接点的校正数据。校正数据发送手段21将这种校正数据62发送到终端52中。

校正数据接收手段22接收从服务器发送来的校正数据62。

动作校正手段23在动作切换描绘手段12切换动作时，基于校正数据接收手段22接收到的校正数据62对动作进行校正，使特征的动作平滑。

例如，在接收图9的校正数据的场合，当动作切换描绘手段12从动作Ma切换成动作Mb时，分别校正60秒和0秒的关键帧，规定图7的帧时间。例如，Ma和Mb的校正数据为图9所示的那样。

这样，在本实施形态中，通过网络53发送到终端52中的仅是规定了动作组合顺序的脚本数据61和作为各动作切换前后的活动图像数据的校正数据62，因不发送数据容量大的立体图符的形状数据和全部的动作，所以数据传输量小，网络53的负担也小。

因基于发送的校正数据62校正动作，所以在终端52的显示手段16中显示的立体图符的动作非常流畅。

实施形态3

图10表示实施形态3。

在图10中，用网络53连接服务器51和终端52。服务器51包括数据发送手段1、动作数据库76、校正数据发送手段21和校正脚本计算手段31。由数据接收手段11、校正数据接收手段22、动作切换描绘手段12、显示手段16、动作校正手段23、形状数据库14以及多个动作数据库15构成终端52。

此外，1、11、12、14、15、16、21、22和23因与实施形态1和实施形态2中相同故省略其说明。

校正脚本计算手段31基于动作数据库76，计算能平滑地显示数据发送手段1发送的脚本数据的各动作之间的校正数据，并用校正数据发送手段22发送到终端上。因对于校正数据的计算方法是与在实施形态1中说明了的动作自动校正手段13的手法相同，这里省略其说明。

这样，通过网络53发送到终端52中的仅是规定了动作组合顺序的脚本数据和用服务器51的校正脚本计算手段31算出的校正数据，因不发送数据容量大的立体图符的形状数据和全部的动作，所以数据传输量小，网络53的负担也小。

因基于发送的校正数据校正动作，所以在终端52的显示手段16中显示的立体图符的动作非常流畅。

实施形态4

在前述的实施形态1到实施形态3中，要在动作切换时对动作进行校正，但在实施形态4中，各动作具有中心姿势，借助于顺序地切换脚本数据切换时立体图符姿势相同的动作，能流畅地显示动作。

图11-图15表示实施形态4。

在图11中，用网络53连接服务器91和终端92。服务器91包括数据发送手段1和脚本数据库74。由数据接收手段11、动作切换描绘手段12、显示手段16、形状数据库14以及多个动作数据库15构成终端92。

此外，1、11、12、14、15、16和74与实施形态1相同。

在终端92的形状数据库14中存储有立体图符的各种各样的骨骼模型、头、胸、腰、两胳膊、两手和两脚等的折线数据，以及附在折线表面上的结构特征数据。

如图12所示，在动作数据库15中存储“场面1”，“场面2”，“场面3”······等各个场面的动作M1，M2，M3，······，从而构成动作数据库。

此外，为说明简单起见，这里用骨骼数据显示动作变化的情况并进行说明。但实际的图形显示是对围绕各骨骼数据用折线构成的各部位附以肌肉，并根据需要在各部位上附以结构特征进行显示。

在图12所示的动作M1和动作M2中，设置姿势相同的动作中心姿势HP1。在动作M2和M3中，设置姿势相同的动作中心姿势HP2。动作M3动作开始的中心姿势(HP2)和动作结束的结束中心姿势(也是HP2)是相同的。

此外，能用例如CD-ROM和DVD(Digital Video Disc)、硬盘、能重写的半导体RAM，或者能重写的光盘等构成形状数据库14和动作数据库15。

图13示出了脚本数据61的结构。由形状数据识别信息和动作数据指定信息构成脚本数据61。

形状数据识别信息包括用于识别进行显示的立体图符的骨骼模型的骨骼模型识别信息、用于识别这种骨骼模型中附有肌肉的折线的立体图符折线信息，和用于识别附在这种折线表面上的结构特征的立体图符结构特征识别信息。由这些形状数据识别信息识别显示的立体图符。

动作数据指定信息记录在脚本数据61中利用的动作顺序和指示各动作从开始到结束的时间的时间宽度。在1个图像数据中分配1个场面号码。

脚本数据61预先指定动作的顺序，使在脚本数据61中切换的场面(Si)和场面(Si+1)的动作(Mi)和动作(Mi+1)之间，动作(Mi)的动作结束姿势(即动作结束的中心姿势)与动作(Mi+1)的动作开始的姿势(即动作开始的中心姿势)一致。

作为具体例子，参照图12和图13和图14进行说明。

图14表示以骨骼数据起动用图13的脚本数据61指示的立体图符的动作的图。

利用图12(a)-12(c)的动作M1-M3、图13的脚本数据61使立体图符动作，为了作成场面S1，S2，S3，·····Si，指示使立体图符动作的动作顺序和各动作的从开始到结束的时间长度(下面称为时间宽度)。

也就是说，在图14的例中，场面S1在时间宽度T1间分配图12(a)的动作M1，立体图符的姿势仅用时间宽度T1的时间，进行从动作M1的开始的姿势到结束的姿势(HP1)的动作。

图12中为了说明起见，虽然没有示出动作中典型姿势，但在实际的动作中应该在这些典型姿势间取立体图符，以作为数据包含细节的姿势。在没有将姿势作为数据的场合，能用众所周知的例如1次线内性插和样条内插等，以CPU(Central Processing Unit)的运算，生成必要的姿势。

接着，场面S2中脚本数据61在时间宽度T2间分配动作M2。按照这种脚本数据，立体图符仅用时间宽度T2进行在图12(b)的动作M2的开始的姿势(HP1)到结束的姿势(HP2)的动作。

这种场合，脚本数据作为在时间上邻接的场面S1和场面S2间的动作M1和M2，设定成动作M1的动作结束的姿势和接着的动作M2的动作开始的姿势为相同的中心姿势(HP1)。

因此，在图14中，从场面S1到场面S2的立体图符的动作是流畅的。

同样，图13中的脚本数据作为时间上邻接的场面S2和场面S3间的动作M2和M3，设定成动作M2的动作结束的姿势和接着的动作M3的动作开始的姿势为相同的中心姿势(HP2)。

因此，在图14中，从场面S2到场面S3的立体图符的动作是流畅的。

这样，预先设定动作的顺序，使脚本数据在时间邻接的场面间某个场面中使用的动作(Mi)和接着使用的动作(Mi+1)间的中心姿势为相同，能防止在场面的连接点立体图符的动作变得不连续，从而实现动作流畅。

此外，虽然在图13和图14中没有图示，如图12(c)的动作M3所示，作为切换的动作，在动作开始的姿势和动作结束的姿势是相同中心姿势(HP3)的场合，脚本数据能无论多少次地重复指定相同动作M3。这是相同动作的重复，例如能利用在重复交互地踏出左右两脚的步骤的场合中。

这种场合，因仅用规定的次数重复利用1个动作，所以与对重复2次动作、重复3次的动作，预先准备各次重复动作的场合相比，包括在终端92的动作数据库15中的动作少，因而经济。

图11中动作切换描绘手段12进行图15所示的处理。

在图15中，在步骤1，读入脚本数据61，在步骤2，由动作数据库取入在脚本数据中指定的动作。在步骤3，对各动作Mi的时间比例进行调整，以便在时间宽度Ti内结束从各动作Mi的开始到结束的活动。

这里，所谓的调整是指进行动作的时间比例的放大、缩小。

在步骤4，按照脚本数据顺序地排列调整时间比例后的动作Mi。因原来的动作将关键帧作为信息归其所有，所以有必要利用内插生成关键帧和接着的关键帧之间的数据。

在步骤5，进行关键帧内插。此外，作为关键帧内插虽然有1次线性内插、样条非线性型内插等已知的若干种方法，但因用其它的手法也能达到相同的效果，所以本发明不限所述内插方法。

在步骤6，按照以每一帧速率排列的动作确定立体特征的姿势，进行构思，并在显示手段16上显示该立体图符。

进行前述的处理，直到脚本数据61指定的动作的最后的动作结束为止。

这样，因从服务器发送到终端92上的仅是脚本数据61，所以发送的数据量少，网络53的负担轻。

但是，在场面的切换时，因切换的动作应取与立体图符相同姿势，并用共同的中心姿势的定时执行切换，所以场面和场面的连接点的图形显示流畅。

在前述的实施形态中，执行和接着执行的活动模式共同进行，换言之，用完全一致的中心姿势的定时，切换执行的活动模式并执行场面的切换，但即使终端侧做成确定各场面的时间，使得用与执行和接着执行的活动模式几乎共同的位置的定时，切换执行的活动模式并执行场面的切换，也能期待几乎相同的效果。

实施形态5

图16-图18表示实施形态5。

在图16中，通过网络53连接终端32和服务器31。14是终端32的形状数据库，15是动作数据库，18是存储器，74是服务器31的脚本数据库，75是形状数据库，76是动作数据库。

此外，能用例如CD-ROM和DVD(Digital Video Disc)、硬盘、能重写的半导体RAM，或者能重写的光盘等构成终端32的动作数据库15和形状数据库14。

这里，所谓的服务器31是指客户服务器型的所谓服务器专用机，同时将在一台设备上具有所谓同等层对同等层型功能和客户功能等两种功能的设备也称为服务器。

在形状数据库14、75中保管与各种各样的立体图符相关的数据。在各个数据上分配各自固有的识别号码。

举一例来说，用识别号码管理附在折线表面上的结构特征等，保管用与骨骼模型相对应的手、脚、脸、躯体的折线构成各种各样三维图符的骨骼模型的各部位的数据。

但是，保管在形状数据库14、75中的数据不必是一致的，即使在服务器31的形状数据库75中，也有没有保管在终端32的形状数据库14中的数据。

同样，在动作数据库15、76中保管对应于各立体图符的动作的数据。在各种各样的动作上附以固有的识别号码，在动作数据库15中管理并保存。保管在这些数据库中的数据不必是一致的，即使在服务器31的动作数据库76中，也有没有保管在终端32的动作数据库15中的数据。

欠缺数据检索手段71考察从服务器31发送来的脚本数据61中指定的形状数据和动作数据是否全部包含在形状数据库14和动作数据库15中。

能用图13所示的脚本数据61的动作指定信息中的动作的识别号码(M1，M2，······，Mi)进行这种考察。

如果存在没有包含在终端32的各数据库中的数据，则欠缺数据检索手段71将这种数据的识别信息传送到数据请求手段72中。通过网络53，数据请求手段72将对下载欠缺数据的请求，该数据的识别信息，以及发出下载请求的终端32的识别号码(例如IP地址等)传送到服务器31的数据选择手段73中。

由下载请求和数据识别信息，数据选择手段73从形状数据库75或者动作数据库76中找出该数据，并与发出下载请求的终端32的识别号码一起传送到数据发送手段1中。

数据发送手段1通过网络53，对所接收识别号码处的终端32发送接收到的数据。

终端32的数据接收手段11将接收到的数据存储在存储器18中。

动作切换描绘图像手段12用保存在形状数据库14和动作数据库15，以及存储器18中的数据进行用按照脚本数据61指示的作图，并将图形显示在显示手段16上。

图17表示终端32的处理的流程图。通过网络53，脚本数据61从服务器31全部传送到终端32上。

图17中，在步骤B1，将脚本数据61读入到终端32中。在步骤B2，欠缺数据检索手段71检索形状数据库14和动作数据库15，根据形状数据和动作的识别信息，对脚本数据61指定的全部的形状数据和动作，考察是否存在，并在步骤B3判定其结果。

在步骤B3判定不存在的场合，在步骤B4中，数据请求手段72向服务器31请求欠缺的形状数据(或/和)动作，以便传送到终端32上，这时，也附以请求的终端32的识别号码，将该请求发送到服务器31中。

图18示出了服务器31的处理。

在图18的步骤B21中，服务器31的数据选择手段73由服务器31内的动作数据库76，检索由终端32请求的识别号码的动作，并送到数据发送手段1中。

在步骤B22中，数据发送手段1将这种动作传送到请求的终端32上。这时，由终端32的识别号码，识别传送目的地。

现在回到图17，在步骤B5，用终端32的数据接收手段11接收传送来的动作(即欠缺数据)，并保持在存储器18中。

在步骤B6，按照脚本数据61的指定，动作切换描绘手段12对动作进行组合，生成一系列的动作，描绘生成的立体图符，在步骤B7，用显示手段16进行显示。配光的方法等与实施形态1相同的。

在这种实施形态中，因从服务器31传送到终端32的是数据容量小的脚本数据61，所以通信时间短，万一在终端32上必要的图符数据和动作欠缺时，因只有在这时传送欠缺的图符数据和动作，所以与以往的每次传送图符数据和动作的场合相比，能缩短通信时间。

在该实施形态5中，虽然以欠缺数据取为动作数据，但除此以外，在形状数据欠缺的场合也相同，借助于终端32向服务器31请求数据，服务器31检索由数据库请求的数据，并通过网络53进行发送，补足终端的欠缺数据，能按照脚本数据进行显示。

实施形态6

图19和图20表示实施形态6。

在图19表示本发明的AV同步重放装置，乐曲演奏手段101读入乐曲数据并根据读入的乐曲数据进行音乐演奏。乐曲数据如MIDI(Musical InstrumentalDigital Interface)标准的那样，规定音乐的演奏速率、音色、音调等音乐演奏中必要的全部参数。因由这种MIDI数据演奏音乐的方式是已经有很多系统被实用化了的已知技术，所以这里省略对其进行说明。

这种乐曲演奏手段101实时地更新当前已知的乐曲位置。用从乐曲开头的总的节拍数，进行在本实施形态中的乐曲位置的识别。但是，关于这种识别方法，只要能淮一地识别乐曲位置，用任何识别方法都可以。根据当前演奏的声音是离演奏开头的第几节拍(下面定义为节拍ID)，识别乐曲位置。此外，用节拍的单位时间(下面定义为速率时间)，规定作为本实施形态中的演奏的基础的速率信息。这也是只要是控制演奏速率的信息，任何信息均可。

同步信息表102对应于作为乐曲位置的节拍ID、作为速率信息的速率时间，以及对其进行更新的时刻(下面将其定义为同步信息更新时刻)，进行暂存。

同步信息更新手段103使乐曲演奏手段101演奏的节拍ID、速率时间及其更新时刻存储到同步信息表102中。

乐曲位置计算手段104由当前时刻和同步信息表102的同步信息，计算与当前时刻对应的乐曲位置。该乐曲位置用下式(A)计算。

H(tc)＝Ht+((tc-t)/Pt)······(A)

H(tc)：与当前时刻对应的乐曲位置(节拍ID)

tc：当前时刻

Ht：同步信息表102的节拍ID

t：同步信息表102的同步信息更新时刻

Pt：同步信息表102的速率时间

帧输出手段106从与乐曲演奏手段101正在演奏的乐曲数据相对应的CG数据，基于乐曲位置计算手段104计算的乐曲位置，将与乐曲数据同步的帧数据输出到暂时存储帧数据的帧缓存器105中。

CG数据不必与乐曲位置一一对应。只要有多个关键帧数据，就可以用帧内插技术算出对应于乐曲位置的帧数据。这种帧内插技术如样条内插和线性内插等，因多为已知技术所以省略其说明。采用这些帧内插技术，则根据由开始时刻和结束时刻以及关键帧数据定义的CG数据，可以算出任意帧进展位置Ft(开始时刻Ft结束时刻)的帧数据。

因此，与演奏数据相关连的CG数据，借助于与乐曲位置建立对应关系(下面分别用开始节拍ID、结束节拍ID定义对应的乐曲位置)，生成开始时刻和结束时刻。这样，如果是关连的CG，则可用下式(B)算出帧的进展位置Ft。

Ft＝Hs+((H(tc)-Hs)/(He-Hs))                  ······(B)

H(tc)：与乐曲位置计算手段104计算的当前时刻对应的乐曲位置(节拍ID)

tc：当前时刻

Hs：与开始时刻对应的开始节拍ID

He：与结束时刻对应的结束节拍ID

这样，基于算出的帧的进展位置，能用帧内插技术将与乐曲演奏手段101的演奏同步的帧数据不断地输出到帧缓存器105中。

图像显示手段107借助于顺序地更新显示存储在帧缓存器105中的帧数据，对活动图像进行显示。图20示出了这种结构的AV同步重放装置的具体的流程图。

AV同步重放装置从对应于CG数据的开始节拍ID到结束节拍ID为止重复以下的动作。这里，对使开始节拍ID(Hs)、结束节拍ID(He)同步并进行重放的处理进行说明。

在步骤S101中，乐曲位置计算手段104用式(A)计算对应于当前时刻(t)的乐曲位置(H(t))。

在步骤S102中，在乐曲位置(H(t))比开始节拍ID(Hs)小的场合，什么也不做就结束，如果大于开始节拍ID(Hs)，则进入到步骤S103中。

在步骤S103中，在乐曲位置(H(t))比结束节拍ID(He)大的场合，什么也不做就结束，如果小于结束节拍ID(Hs)，则进入到步骤S104中。

在步骤S104中，基于根据式(B)算出的帧进展位置Ft，帧输出手段106用帧内插技术算出帧数据，并输出到帧缓存器105中。

实施形态7

图21表示实施形态7，在本实施形态中除设置同步信息实时更新手段201代替图19所示的实施形态6的同步更新手段103这一点不同外，其它的结构要素与实施形态6相同。

同步信息实时更新手段201仅在乐曲演奏手段101更新数据的场合对周期信息表102的同步信息进行更新。例如，仅在时而速率信息变化、时而乐曲位置变更的场合进行更新。因此，在不更新速率信息、乐曲位置的场合，不进行上述更新。

实施形态8

图22表示实施形态8，在本实施形态中除设置同步信息定期更新手段301代替图19所示的实施形态6的同步更新手段103这一点不同外，其它的结构要素与实施形态6相同。

同步信息定期更新手段301按一定的周期更新周期信息表102。该周期可以是每1节拍1次那样的乐曲单位，也可以是每130秒1次那样的一般的单位。

实施形态9

图23表示实施形态9，在本实施形态中除在图19所示的实施形态6中增加运算时间预测手段401外，其它的结构要素与实施形态6相同。

运算时间预测手段401由CG数据的折线数、顶点数预测运算所要的时间。运算时间一般与成为运算对象的折线数、顶点数成正比。通常，由成为下一个运算对象的折线数、顶点数预测运算时间。此外，运算时间预测手段401也考虑计算机的CPU处理能力等处理能力进行预测。因此，即使因帧而折线数不同的的场合，也能预测与其对应的运算时间。

帧输出手段106将与运算时间预测手段401预测的运算时间加到乐曲位置计算手段104计算的乐曲位置上所得的乐曲位置同步的帧数据，输出到帧缓存器105中。用下面的式(C)算出帧的进展位置。

Ft＝Hs+((H(tc)-Hs)/(He-Hs))+(Et/Pt)              ······(C)

H(tc)：与乐曲位置计算手段104计算的当前时刻对应的乐曲位置(节拍ID)

Hs：与开始时刻对应的开始节拍ID

He：与结束时刻对应的结束节拍ID

Et：运算时间预测手段401预测的运算时间

Pt：同步信息表102的速率时间

这样，能基于算出的帧的进展位置，将用帧内插技术与乐曲演奏手段101的演奏取得同步的帧数据不断地输出到帧缓存器105中。

实施形态10

图24表示实施形态10，在本实施形态中除在图19所示的实施形态6中增加演奏延迟预测手段501外，其它的结构要素与实施形态6相同。

演奏延迟预测手段501基于乐曲数据，将该数据实际上作为声音，预测从扬声器等的输出装置输出前的演奏延迟时间。一般也考虑计算机的CPU处理能力等的处理能力进行预测。因此，如果识别乐曲位置，则从乐曲数据能实时地预测该乐曲位置的演奏延迟时间。

同步信息更新手段103将在乐曲位置上增加演奏延迟预测手段501预测的演奏延迟时间的值，输出到同步信息表102中。

实施形态11

图25表示实施形态11，在本实施形态中除在图19所示的实施形态6中增加显示延迟预测手段601外，其它的结构要素与实施形态6相同。

显示延迟预测手段601预测图像显示手段107实际显示帧缓存器105的数据前的显示延迟时间。这能由图像显示手段107的重现能力等性能进行预测。

帧输出手段106算出将显示延迟预测手段601预测的显示延迟时间加到乐曲位置计算手段104计算的乐曲位置上的值的帧数据。用下面的式(D)算出帧时间的值。

Ft＝Hs+((H(tc)-Hs)/(He-Hs))+(Dt/Pt)             ······(D)

H(tc)：与乐曲位置计算手段104计算的当前时刻对应的乐曲位置(节拍ID)

Hs：与开始时刻对应的开始节拍ID

He：与结束时刻对应的结束节拍ID

Dt：显示延迟预测手段601预测的显示延迟时间

Pt：同步信息表102的速率时间

这样，能基于算出的帧的进展位置，将用帧内插技术与乐曲演奏手段101的演奏取得同步的帧数据不断地输出到帧缓存器105中。

实施形态12

图26表示实施形态12，在本实施形态中除在图19所示的实施形态6中增加特殊重放开始通知手段701、特殊重放结束通知手段702和特殊重放同步信息更新手段703外，其它的结构要素与实施形态6相同。

特殊重放开始通知手段701在特殊重放开始的场合，由操作员发生特殊重放开始信号。特殊重放结束通知手段702在特殊重放结束的场合，由操作员发生特殊重放结束信号。

特殊重放同步信息更新手段703在从特殊重放开始通知手段701发生特殊重放开始信号的时刻开始到特殊重放结束通知手段702发生特殊重放结束信号为止间的特殊重放中，对应于该特殊重放的种类，更新同步信息表102的乐曲位置和速率时间。例如，在倍速重放的场合，将通常的速率时间调成1/2，用通常的2倍的速度进行节拍ID。

实施形态13

图27-图32表示实施形态13，

在下面的说明中根据计算机制图(下面称为“CG制图”)描绘图像，例如，将3维的CG制图图像称为CG图符。

图27所示的AV同步重放装置包括输入来自用户或者操作员的演奏开始命令，保存乐曲数据的乐曲数据保存单元D1，基于从乐曲数据保存单元D1输出的乐曲数据生成演奏声的波形数据的输出波形生成单元D2，以及暂时存储来自输出波形生成单元D2的一定量的波形数据的声音数据用缓存器D3。此外，AV同步重放装置还包括将来自声音数据用缓存器D3的波形数据变换成模拟信号的声音信号的D/A变换器D4、放大来自D/A变换器D4的声音信号的放大器D5，以及演奏来自放大器D5的被放大的声音信号进行发音的扬声器D6。

由能改写的记录媒体(例如RAM)构成乐曲数据保持单元D1，基于在输入演奏开始命令前CD-ROM、DVD或者类似的记录媒体，或者通信线路，取得应该重放的乐曲的乐曲数据。因乐曲数据与实施形态6相同，所以省略其说明。此外，借助于声音数据用缓存器D3存储一定量的波形数据，能防止在扬声器D6重放的演奏中途中断。

此外，将用于输出同步信息的节拍发生单元D7连接到乐曲数据保持单元D1上。节拍发生单元D7根据包含在来自乐曲数据保存单元D1的乐曲数据中的速率信息，对特定音符份额、(例如一拍的四分音符)乐曲演奏的每一进展，发生由在该时刻的乐曲演奏位置(节拍ID)和速率时间Temp(i)(参照图29)组成的同步信息。因节拍ID和速率时间与实施形态6相同，所以省略其说明。

将声音数据用缓存器D3连接到节拍发生单元D7上，每当从声音数据用缓存器D3将演奏声的波形数据输出到D/A变换器D4时，就由声音数据用缓存器D3将该输出的定时告知节拍发生单元D7。例如将以44.1KHz的周期输出波形数据的情况告知节拍发生单元D7中。

借助于这种结构，来自声音数据用缓存器D3的输出的定时，具有作为在节拍发生单元D7中起44.1KHz的内部时钟的作用。此外，在这种AV同步重放装置中，作为进行CG图符的重放处理的设备包括保存脚本数据的脚本数据保存单元D8、根据与脚本数据保存单元D8连接的脚本数据生成AV同步指示数据的AV同步指示数据生成单元D9、节拍发生单元D7、与AV同步指示数据生成单元D9连接的显示帧确定单元D10、CG配光单元D11、帧缓存器D12和监视器D13。

在显示帧确定单元D10中，连接存储指示CG图符的活动(动作)的活动图像数据的活动图像数据保存单元D14和存储表示CG图符的形状的CG图符形状数据的CG图符形状数据保存单元D15。

将分别存伴用于进行显示CG图符的配光的摄像机视点信息、光源信息的摄像机视点信息保存单元D16和光源信息保存单元D17，连接到CG配光单元D11中。

利用能重写的记录媒体(例如RAM)构成脚本数据保存单元D8、活动图像数据保存单元D14、CG图符形状数据保存单元D15、摄像机视点信息保存单元D16和光源信息保存单元D17。

脚本数据保存单元D8/活动图像数据保存单元D14以及CG图符形状数据保存单元D15根据在输入演奏开始命令前，由CD-ROM、DVD或者类似的记录媒体，或者通信线路，分别输入并保持脚本数据、活动图像数据和CG图符形状数据。

输入到脚本数据保存单元D8中的脚本数据是借助于使多个活动图像数据对应于乐曲数据按时间序列接合，从而生成CG图符的一系列动作用的指示数据。

此外，脚本数据包含摄像机视点信息和光源信息，并对每个显示的帧指定活动图像数据、CG图符形状数据、摄像机视点信息和光源信息。脚本数据包含摄像机视点信息和光源信息。

摄像机视点信息和光源信息在将脚本数据保存在脚本数据保存单元D8中的同时，分别输出并保存在摄像机视点信息保存单元D16和光源信息保存单元D17中。

此外，摄像机视点信息和光源信息是分别表示假想的摄像机的摄影条件和假想的光源的照射条件的信息，由指定摄像机的位置、摄影方向和的数据，构成摄像机视点信息，而光源信息则由指定光源位置、照射方向和效果的数据构成。

AV同步指示数据生成单元D9在根据脚本数据分割的各活动图像数据中以前述的四分音符(特定音符)的1拍为基准，生成对应于乐曲数据的进展和CG图符活动图像数据的进展的AV同步指示数据。也就是说，AV同步指示数据生成单元D9每当四分音符(特定音符)进展1拍，就生成指定应显示帧的AV同步指示数据。

(脚本数据)

现参照图28(a)、(b)对脚本数据和AV同步指示数据具体地进行说明。

图28(a)是表示图27所示的AV同步重放装置的乐曲的节拍数、活动图像数据和脚本数据的关系的图。图28(b)是表示图27所示的AV同步重放装置的乐曲的节拍数、活动图像数据、脚本数据和AV同步指示数据的关系的图。

在图28(a)和图28(b)中，横坐标轴表示节拍ID。虽然能采用任意的音符作为特定音符，但这里如前所述，采用四分音符为节拍的基准，作为特定音符。图28(b)将图28(a)中第1节拍到第H1节拍的部分加以放大后示出。

如图28(a)所示，脚本数据使用保存在乐曲数据保存单元D1中的乐曲数据的乐曲节拍数和保存在活动图像数据保存单元D14中的活动图像数据的初始帧相对应。例如，乐曲的节拍ID从1到H1为止根据脚本数据对应于活动图像数据M1。由此，分别指定第N11号的初始帧在第1拍，第N21号的初始帧在第H1拍。同样，乐曲的节拍ID从(H1+1)到H2为止根据脚本数据对应于活动图像数据M2。由此，分别指定第N12号的初始帧在第(H1+1)拍，第N22号的初始帧在第H2拍。同样，乐曲的节拍从(H2+1)到H3为止根据脚本数据对应于活动图像数据M3。由此，分别指定第N13号的初始帧在第(H2+1)拍，第N23号的初始帧在第H3节拍。

此外，称为初始帧的原因在于显示帧确定单元D10根据此初始帧确定实际在监视器D13显示的帧。

借助于前述那样建立活动图像数据和乐曲的对应关系，例如，当根据乐曲时而用6拍进行100帧的动作，时而用8拍进行100帧的动作时，能用1个活动图像数据使100帧的活动图像数据对应于各种各样动作的进行速度，并因能减少活动图像数据保存单元D14的存储容量而更加经济。

(AV同步指示数据)

如前所述，AV同步指示数据是是使乐曲数据的进展和CG图符的动作数据的进展建立对应关系的数据，按四分音符(特定音符)为1拍逐拍均等分割，生成分配给各活动图像数据的初始帧。这样，如图28(b)所示，借助于生成AV同步指示数据，分配到活动图像数据M1中节拍ID的从N11开始到N21为止的初始帧，分别对应于乐曲数据的第2、3、4······拍，分成用于表示在监视器D13上显示的帧的进展位置的帧n21、n31、n41······。

此外，因根据AV同步指示数据指定的帧的数不限于一定是整数，所以前述的帧n21、n31、n41也有不存储在活动图像数据保存单元D14中的。但是，不是存储的帧在后述的显示帧确定单元D10的CG图符的重放处理中，利用样条内插等众所周知的数据内插方法，能从活动图像数据保存单元D14中存储的帧求出，所以没有问题。

同样，在活动图像数据M2中，也分成用于表示与乐曲数据的节拍逐一对应的帧的进展位置的帧n22、n32、n42······。

图27所示的显示帧确定单元D10在显示的CG图符的各帧中，基于AV同步指示数据和同步信息，计算并确定下一显示帧中的CG图符的姿势。详细地说，假设帧缓存器D12将图像输出到作为图像显示装置的监视器D13中的时间间隔为ΔT时，显示帧确定单元D10根据前述的节拍发生单元D7来的同步信息中包含的速率时间Temp(i)、在输入这种同步信息的时刻写入到帧缓存器D12中的CG图符的活动图像数据帧的进展位置、在输入接着的同步信息时由前述AV同步指示数据指定的CG图符的活动图像数据帧的进展位置和前述的时间间隔ΔT，确定写入到帧缓存器D12中的CG图符的姿势。

此外，时间间隔ΔT的具体的值在例如监视器D13每1秒30次显示CG图符的场合，ΔT是1/30秒。

(CG图符的姿势的计算)

下面，对于显示帧确定单元D10中CG图符的姿势的具体计算方法进行说明。

首先，显示帧确定单元D10将由节拍发生单元D7输入的同步信息的乐曲演奏位置(第i拍)与AV同步指示数据核对，求得在输入这种同步信息的时刻写入到帧缓存器D12中的CG图符的活动图像数据帧进展位置fi和在接着的同步信息送来的定时(第i+1拍)中根据AV同步指示数据指定的帧的进展位置Fi+1。此外，显示帧确定单元D10在从由本次输入的同步信息的乐曲的速率时间Temp(i)所示的第i拍到第(i+1)拍为止的时间段之间，用下面的式(1)算出每个前述的时间间隔ΔT显示并进展的CG图符的帧进展位置flame(j)。

flame(j)＝fi+(Fi+1-fi)×(j×ΔT/Temp(i))       ···(1)

此外，在式(1)中，j是从显示帧确定单元D10输入1个同步信息后到输入接着的同步信息为止，对在帧缓存器D12中写入的帧数进行计数的计数值。也就是说，j的值在输入同步信息的时刻置0，然后，每当CG图符的帧进展时，递增1，直到等于Temp(i)/ΔT为止。此外，在式(1)中，i和Temp(i)的值在输入接着的第(i+1)拍的同步信息前保持相同的值，当输入第(i+1)拍的同步信息时，更新该同步信息的值。

接着，显示帧确定单元D10用对活动图像数据初始帧采用样条内插而求得的帧进展位置flame(i)为变量的CG图符活动图像数据的函数P(帧进展位置)，算出并确定所显示各帧中的CG图符的姿势。

显示帧决定单元D10在确定了CG图符的姿势后，从确定的CG图符的姿势算出在这种CG图符的各折线顶点坐标数据。此外，显示帧确定单元D10从CG图符形状数据保存单元D15读出由脚本数据指定的CD特征形状数据，用这种CG图符形状数据和算出的顶点坐标数据生成CG图符的图像数据。然后，显示帧确定单元D10将生成的图像数据和脚本数据一起输出到CG配光单元D11中。此外，显示帧确定单元D10为了进行脚本数据是否结束的判断，记录送到CG配光单元D11中的帧进展位置fi。

CG配光单元D11根据包含在脚本数据中的摄像机视点信息和光源信息，对每一帧进行CG图符的配光。也就是说，CG配光单元D11根据来自显示帧确定单元D10的图像数据，生成用指定的摄像机的摄影条件和聚光灯与太阳光等指定的光源的照射条件照出的CG图符的图像数据。CG配光单元D11将配光后的CG图符的图像数据输出并写入到帧缓存器D12中。然后，帧缓存器D12将CG图符的图像数据输出到监视器D13中，监视器D13对CG图符进行显示。

下面，参照图29所示的时序图对乐曲演奏的进展、在每帧中进行的显示帧确定单元D10的姿势计算和在CG配光单元D11的配光处理的关系进行说明。

图29是表示图27所示的AV同步重放装置的乐曲数据、CG图符的姿势计算和配光处理在时间上的关系的时序图。在图29中，箭头“T”表示时间的经过，垂直线“A”、“B”、“C”分别表示根据乐曲数据的乐曲的进展、在显示帧确定单元D10中姿势计算的进展和CG配光单元D11中配光处理的进展。

如图29所示，根据乐曲数据的乐曲演奏从乐曲的开头到达第i拍时，由节拍发生单元D7对显示帧确定单元D10输出同步信息。如前所述，这种同步信息包含作为当前时刻乐曲演奏位置的第i拍和乐曲的速率时间Temp(i)。

显示帧确定单元D10用前述的式(1)不断地利用同步信息计算每ΔT秒进行的CG图符的帧进展位置flame(j)。并且，显示帧确定单元D10用活动图像数据的函数P(帧进展位置)确定CG图符的姿势，算出构成CG图符的各折线顶点坐标数据。在图中，第i拍的姿势计算、第i+ΔT/Temp(i)拍的姿势计算，······，示出了这种姿势计算所要的时间(包含顶点坐标数据的算出时间)。然后，显示帧确定单元D10根据算出的顶点坐标数据和脚本数据指定的CG图符形状数据，瞬时地生成图像数据。

每次生成的图像数据从显示帧确定单元D10输出到CG配光单元D11中，并开始CG图符的配光处理。

(乐曲演奏的重放处理)

首先，参照图30对乐曲演奏的重放处理进行说明。

图30表示乐曲演奏的重放处理的流程图，在乐曲演奏开始前，乐曲数据保存单元D1和脚本数据保存单元D8由记录媒体或者通信线路分别取得乐曲数据和脚本数据(步骤S1)。

接着，AV同步指示数据生成单元D9根据来自脚本数据保存单元D8的脚本数据，生成AV同步指示数据(步骤S2)。

图31表示在AV同步指示数据生成单元D9的AV同步指示数据的生成步骤。如图31所示，AV同步指示数据生成单元D9从脚本数据保存单元D8一输入脚本数据(步骤S13)，AV同步指示数据生成单元D9就按四分音符(特定音符)为1拍逐拍均等分割由脚本数据指定的活动图像数据Mi的初始帧，生成AV同步指示数据(步骤S14)。

返回图30，在步骤S3，乐曲数据保存单元D1一输入演奏开始命令，乐曲数据保存单元D1就将存储的乐曲数据顺序地输出到输出波形生成单元D2中。

输出波形生成单元D2根据乐曲数据生成数字形式的演奏声的波形数据(步骤S4)，并逐次输出到声音数据用缓存器D3中。声音数据用缓存器D3暂时地存储一定量的波形数据(步骤S5)。然后，将波形数据从声音数据用缓存器D3输出到D/A变换器D4中。

D/A变换器D4将输入的波形数据变换成模拟形式的声音信号(步骤S6)。并且，D/A变换器D4将声音信号输出到放大器D5中，用放大器D5放大声音信号(步骤S7)。接着，利用扬声器D6演奏来自放大器D5的声音信号并发出声音(步骤S8)。

声音数据缓存器D3每当将波形数据输出到D/A变换器D4中时，就将该定时通知节拍发生单元D7中(步骤S9)。

接着，节拍发生单元D7根据包含在乐曲数据中的速率时间，每进展四分音符1拍的乐曲，就发生由在该时刻的乐曲的演奏位置(第i拍)和速率时间Temp(i)组成的同步信息，并输出到显示帧确定单元D10中(步骤S10)。

接着，节拍发生单元D7判定乐曲是否结束(步骤S11)。如果乐曲没有结束，则返回到(步骤S4)所示的处理。如果乐曲结束，则演奏结束(步骤S12)。

(CG图符的重放处理)

下面，参照图32对CG图符的重放处理进行说明。

图32表示CG图符的重放处理，当显示帧确定单元D10从节拍发生单元D7输入同步信息时(步骤S15)，显示帧确定单元D10使j的值为0(步骤S16)。此外，如前所述，j是显示帧确定单元D10从输入1个同步信息到输入下一个同步信息为止，对帧缓存器D12中写入的帧数进行计数的计数值。

接着，显示帧确定单元D10借助于核对从节拍发生单元D7输入的同步信息的乐曲的演奏位置和AV同步指示数据，求得在当前时刻(第i拍)和接着输入同步信息的时刻(第i+1拍)的CG图符的活动图像数据帧的进展位置fi和Fi+1。然后，显示帧确定单元D10在由当前输入的同步信息的乐曲的速率时间Temp(i)表示的第i拍到第i+1拍为止的时间段间，用前述的式(1)算出每前述的时间间隔ΔT秒显示并进行的CG图符的帧进展位置flame(j)(步骤S17)。

接着，显示帧确定单元D10用以帧的进展位置flame(j)为变量的活动图像数据的函数P(帧的进展位置)算出所显示各帧的CG图符的姿势(步骤S18)。

接着，显示帧确定单元D10根据由算出的CG图符的指示和脚本数据指定的CG图符形状数据，生成帧进展位置flame(j)的图像数据，并输出到CG配光单元D11中(步骤S19)。

CG配光单元D11根据包含在脚本数据中的摄像机视点信息和光源信息，对输入到的图像数据进行配光(步骤S20)。

接着，CG配光单元D11将配光后的图像数据写入到帧缓存器D12中(步骤S21)。并且，监视器D13(图27)对来自帧缓存器D1 2的图像数据数据进行显示(步骤S22)。

此外，显示帧确定单元D10在进行步骤S19所示的处理时，记录输出到CG表现单元D11的帧的进展位置fi(步骤S23)。显示帧确定单元D10根据记录的进展位置fi，进行是否显示到脚本数据的最后而结束的判断(步骤S24)。

显示帧确定单元D10在没有显示到最后的场合，使j的值增加1(步骤S25)，并返回到步骤S17所示的处理。

反之，在显示到最后的场合，结束CG图符的绘画(步骤S26)。

实施形态14

图33和图34表示实施形态14。

本实施形态在表示实施形态13的图27中，增加输入乐曲的速率变更指示并变更从节拍发生单元输出的同步信息的速率时间的速率变更信息输入单元D18。其它的结构要素与实施形态13相同。

如图33所示，将速率变更信息输入单元D18连接到节拍发生单元D7中。这种速率变更信息输入单元D18在乐曲的重放(第i拍)中从用户和外部设备输入乐曲速率变更指示的场合，如下述的式(2)所示，在包含保存在乐曲数据保存单元D1的乐曲数据的初始速率时间Temp(i)上乘以比例常数Cs，求得新的速率时间Temp(i)。

新的速率时间Temp(i)＝初始速率时间Temp(i)×Cs          ···(2)

将新的速率时间Temp(i)从速率变更信息输入单元D18输出到节拍发生单元D7中，用作从节拍发生单元D7输出的同步信息的速率时间。此外，速率变更信息输入单元D18在取得乐曲数据保存单元D1重放的乐曲数据时，由记录媒体或者通信线路同时取得起始的速率时间Temp(i)。

下面，对这种AV同步重放装置的乐曲演奏的重放处理进行说明。此外，关于AV同步指示数据的生成步骤和CG图符的重放处理，因分别与图31和图32所示的实施形态13相同，所以省略这些重复的说明。

图34表示图33所示的AV同步重复装置的乐曲演奏的重放处理。

首先，步骤S31中，在乐曲演奏开始前，乐曲数据保存单元D1和脚本数据保存单元D8由记录媒体和通信线路分别取得乐曲数据和脚本数据。

接着，在步骤S32中，AV同步指示数据生成单元D9根据来自脚本数据保存单元D8的脚本数据，生成AV同步指示数据。

乐曲数据保存单元D1一输入演奏开始的命令(步骤S33)，速率变更信息输入单元D18就考察是否输入速率变更指示。在输入速率变更指示的场合，速率变更信息输入单元D18根据输入的速率变更指示，变更从节拍发生单元D7输出的同步信息的速率时间(步骤S34)。

乐曲数据保存单元D1将存储的乐曲数据顺序地输出到输出波形生成单元D2中。输出波形生成单元D2根据乐曲数据，生成数字形式的演奏声的波形数据(步骤S35)，并逐次输出到声音数据用缓存器D3中。声音数据用缓存器D3暂时地存储一定量的波形数据(步骤S36)。然后，将波形数据从声音数据用缓存器D3输出到D/A变换器D4中。

D/A变换器D4将输入的波形数据变换成模拟形式的声音信号(步骤S37)。并且，D/A变换器D4将声音信号输出到放大器D5中，并用放大器D5放大声音信号(步骤S38)。接着，由扬声器D6演奏来自放大器D5的声音信号并发出声音(步骤S39)。

声音数据用缓存器D3每当向D/A变换器D4输出波形时，就将该定时通知节拍发生单元D7(步骤S40)。

接着，节拍发生单元D7根据包含在乐曲数据中的速率时间，每进展四分音符1拍的乐曲，就发生由在该时刻的乐曲的演奏位置(第i拍)和速率时间Temp(i)组成的同步信息，并输出到显示帧确定单元D10中(步骤S41)。

接着，节拍发生单元D7判定乐曲是否结束(步骤S42)。如果乐曲没有结束，则再次返回到(步骤S34)所示的处理。如果乐曲结束，则演奏结束(步骤S43)。

这样，在实施形态14的AV同步重放装置中，借助于用帧内插方法，显示帧确定单元能生成与乐曲数据同步的活动图像的图像数据，使活动图像的重放处理与乐曲演奏所重放处理自动地相合，并能使这些重放处理不断地同步。

实施形态15

图35-图37表示实施形态15的AV同步重放装置。

在本实施形态中，结构上采用与乐曲演奏同步地重放帧的数据长度非恒定的一系列活动图像数据，以代替表示实施形态13的图27的CG图符的重放。其它各部分因与实施形态13相同，所以省略这些重复的说明。

此外，作为前述活动图像数据的具体例，有MPEG(Moving Picture ExpertsGroup)标准等帧不独立的压缩方式的活动图像数据和帧不是固定长度的活动图像数据。

如图35所示，作为进行活动图像的重放处理的设备，设置根据保存活动图像脚本数据的活动图像脚本数据保存单元D8’、根据与活动图像脚本数据保存单元D8’连接的活动图像脚本数据生成AV同步指示数据的AV同步指示数据生成单元D9’，以及与节拍发生单元D7和AV同步指示数据生成单元D9’连接的显示帧确定单元D10’。将保存活动图像数据的活动图像数据保存单元D14’连接到显示帧确定单元D10’中。

显示帧确定单元D10’根据活动图像数据，对显示的各帧分别确定与乐曲数据同步的图像数据，并输出到帧缓存器D12中。

由能改写的记录媒体(例如RAM)构成活动图像脚本数据保存单元D8’和活动图像数据保存单元D14’，在输入开始演奏命令前，利用CD-ROM、DVD或者类似的记录媒体，或者通信线路，分别输入并保持活动图像脚本数据和活动图像数据。

下面，参照图36(a)和图36(b)对活动图像脚本数据和AV同步指示数据具体地进行说明。

图36(a)是表示图35所示的AV同步同步重放装置的乐曲的节拍数、活动图像数据和活动图像脚本数据的关系的说明图。图36(b)表示图35所示的AV同步同步重放装置的乐曲的节拍数、活动图像数据、活动图像脚本数据和AV同步指示数据的关系。

在图36(a)和图36(b)中，横坐标轴表示乐曲演奏开始后的特定音符节拍数。图36(b)将图36(a)中第1拍到第H1拍的部分加以放大后示出。

如图36(a)所示，活动图像脚本数据使在保存在乐曲数据保存单元D1中的乐曲数据中的乐曲节拍数和保存在活动图像数据保存单元D14’的活动图像数据初始帧对应。例如，从乐曲的第1拍到第H1拍为止根据活动图像脚本数据与活动图像数据B1对应。由此，分别指定第N11初始帧在第1拍、第N21初始帧在第H1拍。同样，从乐曲的第H1+1拍到第H2拍为止根据活动图像脚本数据与活动图像数据B2对应。

由此，分别指定第N12号的初始帧在第H1+1拍，第N22号的初始帧在第H2拍。同样，从乐曲的第(H2+1)拍到第H3拍为止根据脚本数据对应于活动图像数据B3。由此，分别指定第N13号的初始帧在第(H2+1)拍，第N23号的初始帧在第H3拍。

此外，称为初始帧的原因在于显示帧确定单元D10’根据此初始帧确定实际在监视器D13显示的帧。

借助于前述那样建立活动图像数据和乐曲的对应关系，例如，当根据乐曲时而用6拍进行100帧的动作，时而用8拍进行100帧的动作时，能用1个活动图像数据使100帧的活动图像数据对应于各种各样动作的进行速度，并因能减少活动图像数据保存单元D14’的存储容量而更加经济。

AV同步指示数据是在根据活动图像脚本数据分割的各活动图像数据中，以前述的四分音符(特定音符)的1拍作为基准，使乐曲数据和活动图像数据建立对关系的数据，按四分音符(特定音符)为1节拍逐拍均等分割，生成分配给各活动图像数据的初始帧。

这样，如图36(b)所示，借助于生成AV同步指示数据，分配到活动图像数据B1中的从第N11开始到第N21为止的初始帧，分别对应于乐曲数据的第2、3、4······拍，分成用于表示在监视器D13上显示的帧的进展位置的帧n21、n31、n41······。

此外，因根据AV同步指示数据指定的帧的数不限于一定是整数，所以前述的帧n21、n31、n41也有不存储在活动图像数据保存单元D14’中的。但是，不是存储的帧在后述的显示帧确定单元D10’的活动图像的重放处理中，利用样条内插等众所周知的数据内插方法，能从活动图像数据保存单元D14’中存储的帧求出，所以没有问题。同样，在活动图像数据B2中，也分成用于表示与乐曲数据的节拍逐一对应的帧的进展位置的帧n22、n32、n42······。

下面，对在显示帧确定单元D10’中，从活动图像数据计算在各帧显示的活动图像数据的具体的计算方法进行说明。

首先，显示帧确定单元D10’将由节拍发生单元D7输入的同步信息的乐曲的演奏位置(第i拍)与AV同步指示数据核对，求得在输入这种同步信息的时刻写入到帧缓存器D12中的活动图像数据帧进展位置fi和在接着的同步信息送来的定时(第i+1拍)中根据AV同步指示数据指定的帧进展位置Fi+1。

此外，显示帧确定单元D10’在从由本次输入的同步信息的乐曲速率时间Temp(i)所示的第i拍到第(i+1)拍为止的时间段之间，并用下面的式(3)算出每个前述的时间间隔ΔT显示并进展的活动图像数据帧进展位置flame(j’)。

flame(j’)＝fi+(Fi+1+fi)×(j’×ΔT/Temp(i))         ···(3)

此外，在式(3)中，j’是从显示帧确定单元D10’输入1个同步信息后到输入接着的同步信息为止，对在帧缓存器D12中写入的帧数进行计数的计数值。也就是说，j’的值在输入同步信息的时刻置成0，然后，每当活动图像数据的帧进展时，递增1，直到等于Temp(i)/ΔT为止。此外，在式(3)中，i和Temp(i)的值在输入接着的第(i+1)拍的同步信息保持相同的值，当输入第(i+1)拍的同步信息时，更新该同步信息的值。

接着，显示帧确定单元D10’用对活动图像数据初始帧采用样条内插而求得的帧进展位置flame(j’)为变量的活动图像数据的函数D(帧进展位置)，算出并确定所显示各帧的活动图像数据。然后，显示帧确定单元D10’将生成的图像数据输出并写入到到帧缓存器D12中。并且，帧缓存器D12将活动图像数据输出到监视器D13中，监视器D13显示活动图像。

此外，显示帧确定单元D10’为了进行活动图像脚本数据是否结束的判断，记录送到帧缓存器D12中的帧进展位置fi。

下面，参照图37对活动图像的重放处理进行说明。此外，因输入演奏开始命令后的乐曲演奏重放处理和节拍发生单元D7的同步信息生成处理与图31所示实施形态13中相同所以省略其说明。

图37表示图35所示的AV同步重放装置的活动图像重放处理。

在图37中，当显示帧确定单元D10’从节拍发生单元D7输入同步信息时(步骤S45)，显示帧确定单元D10’使j’的值为0(步骤S46)。此外，如前所述，j’是显示帧确定单元D10’从输入1个同步信息到输入下一个同步信息为止，对帧缓存器D12中写入的帧数进行计数的计数值。

接着，显示帧确定单元D10’借助于核对从节拍发生单元D7输入的同步信息的乐曲演奏位置和AV同步指示数据，求得在当前时刻(第i拍)和接着输入同步信息的时刻(第i+1拍)的活动图像数据帧进展位置fi和Fi+1。然后，显示帧确定单元D10’在由当前输入的同步信息的乐曲的速率时间Temp(i)表示的第i拍到第i+1拍为止的时间段间，用前述的式(3)算出每前述的时间间隔ΔT秒显示并进展的活动图像数据帧进展位置flame(j’)(步骤S47)。

接着，显示帧确定单元D10’用以帧进展位置flame(j’)为变量的活动图像数据的函数D(帧进展位置)算出所显示各帧的活动图像数据(步骤S48)。

接着，显示帧确定单元D10’将算出的活动图像数据输出到帧缓存器D12中(步骤S49)，帧缓存器D12写入显示的活动图像数据(步骤S50)。然后，监视器D13显示来自帧缓存器D12的活动图像数据(步骤S51)。

此外，显示帧确定单元D10’在进行步骤S49所示的处理时，记录输出到帧缓存器D12的帧的进展位置fi(步骤S52)。显示帧确定单元D10’根据记录的进展位置fi，进行是否显示到脚本数据的最后而结束的判断(步骤S53)。

显示帧确定单元D10’在没有显示到最后的场合，j’的值增加1(步骤S54)，并返回到步骤S47所示的处理。反之，在显示到最后的场合，结束活动图像的重放(步骤S55)。

这样，在实施形态15的AV同步重放装置中，输入乐曲的速率变更指示，并设置变更节拍发生单元所输出同步信息速率信息的速率变更信息输入单元。因此，即使用户在乐曲演奏途中变更乐曲的速率，也能使乐曲演奏与图像重放同步。

实施形态16

图38和图39表示实施形态16。

本实施形态设置输入乐曲的速率变更指示，并变更节拍发生单元D7所输出同步信息的速率时间的速率变更信息输入单元D18。因其它的各部分与表示实施形态15的图35相同，所以省略这些重复的说明。

如图38所示，将速率变更信息输入单元D18连接到节拍发生单元D7中。这种速率变更信息输入单元D18在乐曲的重放(第i拍)中从用户和外部设备输入乐曲的速率变更指示的场合，如下述的式(4)所示，在包含保存在乐曲数据保存单元D1的乐曲数据的始始速率时间Temp(i)上乘以比例常数Cs’，求得新的速率时间Temp(i)。

新的速率时间Temp(i)＝初始的速率时间Temp(i)×Cs’   ···(4)

将新的速率时间Temp(i)从速率变更信息输入单元D18输出到节拍发生单元D7中，用作从节拍发生单元D7输出的同步信息的速率时间。此外，速率变更信息输入单元D18在取得乐曲数据保存单元D1重放的乐曲数据时，由记录媒体或者通信线路同时取得初始速率时间Temp(i)。

下面，参照图39对本实施形态的AV同步重放装置的乐曲演奏重放处理进行说明。此外，关于AV同步指示数据的生成步骤和活动图像的重放处理，因分别与图31所示的实施形态13和图37所示的实施形态15相同，所以省略这些重复的说明。

图39表示图38所示的AV同步重复装置的乐曲演奏重放处理。

如图39所示，在乐曲演奏开始前(步骤61)，乐曲数据保存单元D1和活动图像脚本数据保存单元D8’由记录媒体和通信线路分别取得乐曲数据和活动图像脚本数据。

接着，在步骤S62中，AV同步指示数据生成单元D9’根据来自脚本数据保存单元D8’的脚本数据，生成AV同步指示数据。

乐曲数据保存单元D1一输入演奏开始的命令(步骤S63)，速率变更信息输入单元D18就考察是否输入速率变更指示。

在输入速率变更指示的场合，速率变更信息输入单元D18根据输入的速率变更指示，变更从节拍发生单元D7输出的同步信息的速率时间(步骤S64)。

乐曲数据保存单元D1将存储的乐曲数据顺序地输出到输出波形生成单元D2中。输出波形生成单元D2根据乐曲数据，生成数字形式的演奏声的波形数据(步骤S65)，并逐次输出到声音数据用缓存器D3中。

声音数据用缓存器D3暂时地存储一定量的波形数据(步骤S66)。然后，将波形数据从声音数据用缓存器D3输出到D/A变换器D4中。

D/A变换器D4将输入的波形数据变换成模拟形式的声音信号(步骤S67)。并且，D/A变换器D4将声音信号输出到放大器D5中，并用放大器D5放大声音信号(步骤S68)。接着，由扬声器D6演奏来自放大器D5的声音信号并发出声音(步骤S69)。

声音数据用缓存器D3每当向D/A变换器D4输出波形时，就将该定时通知节拍发生单元D7中(步骤S70)。

接着，节拍发生单元D7根据包含在乐曲数据中的速率时间，每进展四分音符1拍的乐曲，就发生由在该时刻的乐曲演奏位置(第i拍)和速率时间Temp(i)组成的同步信息，并输出到显示帧确定单元D10’中(步骤S71)。

接着，AV同步重放装置判定乐曲是否结束(步骤S72)。如果乐曲没有结束，则再次返回到(步骤S64)所示的处理。如果乐曲结束，则演奏结束(步骤S73)。

这样，在本实施形态的AV同步重放装置中，设置输入乐曲的速率变更指示，并变更节拍发生单元D7所输出同步信息的速率时间的速率变更信息输入单元D18。由此，例如在卡拉OK中即使用户在乐曲演奏途中将乐曲的速率变更成喜欢的速率，也能保持乐曲演奏的处理与活动图像的重放处理的同步。

此外，前述的各实施形态的AV同步重放装置的重放处理，因任何一种实施形态都能计算机程序化，所以利用计算机能执行的记录媒体也能提供本申请的AV同步方法。这里所说的记录媒体是指软盘、CD-ROM、DVD(数字视频光盘)、光磁盘和可换硬盘等。

Claims (22)

1.一种图形显示装置，其特征在于，

在服务器上包括通过网络向终端发送仅记载动作组合顺序的脚本数据的数据发送单元，其中，脚本数据由形状数据、动作数据以及记载动作组合顺序的数据所组成，

在终端上包括：接收由所述数据发送单元发送的脚本数据的数据接收单元；显示立体图符所需的形状数据库；使立体图符动作所需的动作数据库；按照记载在由所述数据接收单元接收到的脚本数据中的顺序，切换动作并显示所述立体图符的动作切换描绘单元；在所述切换绘画单元切换动作时校正前后动作使动作能流畅显示的动作自动校正单元。

2.如权利要求1所述的图形显示装置，其特征在于，

在服务器上包括通过网络发送对数据发送单元发送的脚本数据所记载的各动作间连接部分进行校正的动作校正数据的校正数据发送单元，

并具有接收由所述校正数据发送单元发送的校正数据的校正数据接收单元，和根据由所述校正数据接收单元接收到的动作校正数据，校正前后动作使切换绘画单元切换动作时动作能流畅显示的动作校正单元，以代替终端的动作自动校正单元。

3.如权利要求1所述的图形显示装置，其特征在于，

在服务器上包括动作数据库，和根据动作数据库算出对数据发送单元发送的脚本数据所记载的各动作间连接部分进行校正的动作校正数据，并通过网络用校正数据发送单元进行发送的校正脚本计算单元。

4.一种图形显示方法，其特征在于，

在从服务器向终端指示对立体图符进行图形显示时，

在终端上准备记叙立体图符的活动模式的多个活动模式，

服务器向终端发送记载所述活动模式的时间序列组合顺序的脚本数据，

检测来自服务器的脚本数据，根据这种脚本数据进行动作并进行图形显示的终端，用与执行中和接着执行的活动模式共同的中心姿势的定时或者用与执行中和接着执行的所述动作模式几乎共同的姿势的定时，切换执行的活动模式，并执行场面的切换。

5.一种图形显示装置，其特征在于，

设置记述多个模式的活动的动作群、基于动作群的任何一个模式，对应于场面记述是否使立体图符动作的脚本数据库，以及根据脚本数据库和动作群，控制显示输出的立体图符的动作的特征姿势控制单元，而且，

图符姿势控制单元的结构做成用与执行中和接着执行的活动模式共同的中心姿势定时或者用与执行中和接着执行的所述活动模式几乎共同的姿势的定时，切换执行的活动模式，执行场面的切换。

6.一种图形显示装置，在网络上设置服务器和终端，在终端上进行图形显示，其特征在于，

在所述服务器上设置定义三维图符的形状的图符数据的数据库、定义所述图符的动作的动作数据库，和指定所述图符数据和1个以上的所述动作的时间序列组合的脚本数据，

在所述终端上设置保管所述图符数据的图符数据库、保管所述动作的动作数据库、检索所述脚本数据指定的图符数据是否存在于图符数据库中的数据检索单元，和向所述服务器请求取得不存在于所述图符数据库中的图符数据的数据请求单元。

7.一种图形显示装置，在网络上设置服务器和终端，在终端上进行图形显示，其特征在于，

在所述服务器上设置定义三维图符的形状的图符数据的数据库、定义所述图符的动作的动作数据库，和指定所述图符数据和1个以上的所述动作的时间序列组合的脚本数据，

在所述终端上设置保管所述图符数据的图符数据库、保管所述动作的动作数据库、检索所述脚本数据指定的动作数据是否存在于动作数据库中的数据检索单元，和向所述服务器请求取得不存在于所述动作数据库中的动作数据的数据请求单元。

8.一种声像(AV)同步重放装置，其特征在于，包括

基于乐曲数据进行演奏的乐曲演奏单元，

对应于特定乐曲上的位置的乐曲位置和成为演奏速率的基础的速率信息以及对它们进行更新的时刻，进行暂时存储的同步信息表，

基于所述乐曲演奏单元的演奏，更新所述同步信息表的同步信息更新单元，

由当前时刻和所述同步信息表的内容计算所述乐曲演奏单元当前正在演奏的乐曲位置的乐曲位置计算单元，

暂时存储帧数据的帧缓存器，

基于所述乐曲位置计算单元计算的乐曲位置，根据与乐曲数据关连的CG数据算出与所述乐曲演奏单元同步的帧数据，并输出到所述帧缓存器中的帧输出单元，

将存储在所述帧缓存器中的帧数据作为活动图像进行显示的图像显示单元。

9.如权利要求8所述的声像(AV)同步重放装置，其特征在于，

每当乐曲位置或者速率信息中任何1个变化时，乐曲演奏单元更新同步信息表，按照这样的要求构成同步信息更新单元。

10.如权利要求8所述的声像(AV)同步重放装置，其特征在于，

按照以特定的周期更新同步信息表的要求，构成同步信息更新单元。

11.如权利要求8所述的声像(AV)同步重放装置，其特征在于，

增加从CG数据量预测帧数据输出单元需要的运算时间的运算时间预测单元，而且帧输出单元的结构做成与由乐曲位置计算单元计算的乐曲位置延迟所述运算时间预测单元预测的时间的乐曲位置同步地将帧数据输出到帧缓存器中。

12.如权利要求8所述的声像(AV)同步重放装置，其特征在于，

增加根据乐曲数据预测当前乐曲位置的声音实际成为声音输出前延迟的时间的演奏延迟预测单元，而且同步信息更新单元的结构做成将延迟所述演奏延迟预测单元预测的时间的乐曲位置、速率信息以及更新时间输出到同步信息表中。

13.如权利要求8所述的声像(AV)同步重放装置，其特征在于，

增加根据CG数据量预测图像显示单元能实际显示帧缓存器的数据前的显示延迟时间的图像显示延迟预测单元，而且帧输出单元的结构做成将与由乐曲位置计算单元计算的乐曲位置延迟所述图像显示延迟时间预测单元预测的时间的乐曲位置同步的帧数据输出到帧缓存器中。

14.如权利要求8所述的声像(AV)同步重放装置，其特征在于，

设置在乐曲演奏单元开始特殊重放时，发生特殊重放开始信号的特殊重放开始通知单元、在乐曲演奏单元结束特殊重放时，发生特殊重放结束信号的特殊重放结束通知单元，以及在特殊重放中将乐曲位置实时同步地输出到同步信息表中的特殊重放同步信息更新单元，而且

帧输出单元的结构做成在特殊重放中根据所述特殊重放同步信息更新单元更新的所述同步信息表，将帧数据输出到帧缓存器中。

15.一种声像(AV)同步重放装置，使乐曲数据和活动图像数据同步重放，其特征在于，包括：

重放乐曲数据时，将规定每次特定音符份额的乐曲进展所对应时刻乐曲上的位置的乐曲位置和成为演奏速率的基础的速率信息作为同步信息，并进行输出的节拍发生电路；

以所述特定音符为基准，生成对应于乐曲数据和活动图像数据的进展的AV同步指示数据的AV同步指示数据生成电路；

设帧缓存器将图像输出到图像显示电路中的时间间隔为ΔT时，根据从所述节拍发生电路输入同步信息后，包含在这种同步信息中的速率信息、在输入这种同步信息的时刻写入到帧缓存器中的活动图像数据帧的进展位置、在输入接着的同步信息时由所述AV同步指示数据指定的活动图像数据帧的进展位置，和所述时间间隔ΔT，确定写入到帧缓存器中的活动图像数据的显示帧确定电路。

16.如权利要求15所述的声像(AV)同步重放装置，其特征在于，

设置输入变更速率信息的速率变更输入电路。

17.一种声像(AV)同步重放装置，同步重放乐曲数据和CG图符的活动图像数据，其特征在于，包括：

重放乐曲数据时，将规定每次特定音符份额的乐曲进展所对应时刻乐曲上的位置的乐曲位置和作为演奏速率的基础的速率信息作为同步信息输出的节拍发生电路；

以所述特定音符为基准，生成对应于进行乐曲数据的进展的CG图符活动图像数据的AV同步指示数据的AV同步指示数据生成电路；

设帧缓存器将图像输出到图像显示电路的时间间隔为ΔT时，根据从所述节拍发生电路输入同步信息后，包含在这种同步信息中的速率信息、在输入这种同步信息的时刻写入到帧缓存器中的CG图符活动图像数据帧进展位置、在输入接着的同步信息时由所述AV同步指示数据指定的CG图符活动图像数据帧的进展位置和所述时间间隔ΔT，确定写入到帧缓存器中的CG图符的姿势的图符姿势计算电路。

18.如权利要求17所述的声像(AV)同步重放装置，其特征在于，

设置输入变更速率信息的速率变更输入电路。

19.一种声像(AV)同步重放方法，其特征在于，包括：

在重放乐曲数据时，将规定每次特定音符份额的乐曲进展所对应时刻乐曲上的位置的乐曲位置和成为演奏速率的基础的速率信息作为同步信息进行输出的步骤；

以所述特定音符作为基准，生成对应于进行乐曲数据和活动图像数据进展的AV同步指示数据的步骤；

设帧缓存器将图像输出到图像显示电路的时间间隔为ΔT时，根据从所述节拍发生电路输入同步信息后，包含在这种同步信息中的速率信息、在输入这种同步信息的时刻写入到帧缓存器中的活动图像数据帧的进展位置、在输入接着的同步信息时由所述AV同步指示数据指定的活动图像数据的帧的进展位置和所述时间间隔ΔT，确定写入到帧缓存器中的活动图像数据。

20.如权利要求19所述的声像(AV)同步重放方法，其特征在于，包括：

输入变更速率信息的步骤；

将所述同步信息的速率信息变更成输入后的速率信息的步骤。

21.一种声像(AV)同步重放方法，其特征在于，包括：

在重放乐曲数据时，将规定每次特定音符份额的乐曲进展所对应时刻乐曲上的位置的乐曲位置和成为演奏速率的基础的速率信息作为同步信息进行输出的步骤；

以所述特定音符作为基准，生成对应于乐曲数据和CG图符活动图像数据的AV同步指示数据的步骤；

设帧缓存器将图像输出到图像显示电路的时间间隔为ΔT时，根据从所述节拍发生电路输入同步信息后，包含在这种同步信息中的速率信息、在输入这种同步信息的时刻写入到帧缓存器中的CG图符的活动图像数据帧的进展位置、在输入接着的同步信息时由所述AV同步指示数据指定的CG图符活动图像数据帧的进展位置和所述时间间隔ΔT，确定写入到帧缓存器中的CG图符的姿势。

22.如权利要求21所述的声像(AV)同步重放方法，其特征在于，包括：

输入变更速率信息的步骤；

将所述同步信息的速率信息变更成输入后的速率信息的步骤。

Images