CN102811330B - 对运动图像配上音乐来再生的运动图像再生装置及其方法 - Google Patents

Abstract

本发明提供一种运动图像再生装置，具备图像生成部(4d)、推进程度计算部(4a)、判定部(4b)、推进程度修正部(4c)和生成控制部(4f)。图像生成部(4d)生成对多个帧图像中相邻的两个帧图像进行插补的插补帧图像。推进程度计算部(4a)逐次计算与伴随着拍子信息的规定的音乐同步地被再生的上述多个帧图像中相邻的两个帧图像间的上述规定的音乐的推进程度。判定部(4b)针对上述推进程度判定是否存在伴随拍子变更的变化。推进程度修正部(4c)在判定为上述推进程度存在变化的情况下，生成按照该推进程度的变化变小的方式被修正的推进程度。生成控制部(4f)使上述生成单元生成与修正后的推进程度相应的上述插补帧图像。

Description

对运动图像配上音乐来再生的运动图像再生装置及其方法

技术领域

本发明涉及对运动图像配上音乐来进行再生的运动图像再生装置以及运动图像再生方法。

背景技术

以往，公知有与自动地被演奏的音乐的节拍或小节建立关联地切换多个帧图像并进行再生的技术(参照例如日本特开平5-181460号公报)。

但是，在上述专利文献1的情况下，按照一个节拍量或一小节量的时间的变化来变更各帧图像的显示时间，因此存在不能自然且顺畅地表现帧图像内的运动体的运动的可能性。

此外，还公知有对构成运动图像的多个帧图像中、相邻的帧图像间的图像进行插补来再生的技术。但是，上述再生技术，如果音乐的拍子等在一小节的中途被变更，则该小节中的音乐的推进程度产生变化，存在使插补帧图像的显示内容中产生偏差的可能性。

发明内容

本发明正是鉴于上述问题而提出的，其目的在于提供一种能够考虑音乐的推进程度来对适当的插补帧图像进行再生的运动图像再生装置、以及运动图像再生方法。

为了解决至少一个上述课题，根据本发明的第一技术方案，提供一种运动图像再生装置，具备：生成单元，其生成对在规定的存储单元中存储的多个帧图像中相邻的两个帧图像之间进行插补的插补帧图像；计算单元，其逐次计算与伴随着拍子信息的规定的音乐同步地被再生的上述多个帧图像中相邻的两个帧图像间的上述规定的音乐的推进程度；判定单元，其针对上述推进程度判定是否存在伴随着拍子变更的变化；修正单元，其在判定为上述推进程度存在变化的情况下，按照该推进程度的变化变小的方式对上述推进程度进行修正；和控制单元，其使上述生成单元生成与被该修正单元修正后的推进程度相应的上述插补帧图像。

根据本发明的第二技术方案，提供一种采用了运动图像再生装置的运动图像再生方法，该运动图像再生方法包括：生成步骤，其生成对在规定的存储单元中存储的上述多个帧图像中相邻的两个帧图像之间进行插补的插补帧图像；计算步骤，其逐次计算与伴随拍子信息的规定的音乐同步地被再生的上述多个帧图像中相邻的两个帧图像间的上述规定的音乐的推进程度；判定步骤，其针对上述推进程度判定是否存在伴随着拍子变更的变化；修正步骤，其在判定为上述推进程度存在变化的情况下，按照该推进程度的变化变小的方式对上述推进程度进行修正；和控制步骤，其使上述生成步骤生成与所生成的被修正后的推进程度相应的上述插补帧图像。

根据本发明的第三技术方案，提供一种记录有计算机可读取的程序的记录介质，使计算机作为下述部分发挥功能：生成单元，其生成对在规定的存储单元中存储的多个帧图像中相邻的两个帧图像之间进行插补的插补帧图像；计算单元，其逐次计算与伴随着拍子信息的规定的音乐同步地被再生的上述多个帧图像中相邻的两个帧图像间的上述规定的音乐的推进程度；判定单元，其针对上述推进程度判定是否存在伴随着拍子变更的变化；修正单元，其在判定为上述推进程度存在变化的情况下，按照该推进程度的变化变小的方式对上述推进程度进行修正；和控制单元，其使上述生成单元生成与被该修正单元修正的推进程度相应的上述插补帧图像。

附图说明

本发明通过以下的详细的说明以及附图应该能够被完全地理解。其中，这些说明以及附图是专门用于对本发明进行说明的内容，而不是对本发明的范围进行限定。其中，

图1为表示应用了本发明的一实施方式的运动图像再生装置的概略构成的框图。

图2为表示与图1的运动图像再生装置所进行的事先解析处理相关的动作的一例的流程图。

图3为表示与图1的运动图像再生装置所进行的运动图像再生处理相关的动作的一例的流程图。

图4为表示图3的运动图像再生处理的接续部分的流程图。

图5为用于说明图4的运动图像再生处理的图。

图6为表示变形例1的运动图像再生装置的概略构成的框图。

图7为用于说明图6的运动图像再生装置所进行的编辑处理的图。

具体实施方式

以下，针对本发明采用附图说明具体的形态。其中，发明的范围并不限于图示的例子。

图1为表示应用了本发明的一实施方式的运动图像再生装置100的概略构成的框图。

本实施方式的运动图像再生装置100，逐次计算与规定的音乐同步地被再生的相邻的两个帧图像间的规定的音乐的演奏的推进程度。此外，运动图像再生装置100，在判定为伴随着预订的音乐的拍子的变更而存在与插补帧图像的再生定时相对应的音乐的推进程度的变化的情况下，按照该音乐的推进程度的变化变小的方式进行修正来生成音乐的推进程度，生成与该修正后的音乐的推进程度相对应的插补帧图像。

具体地来说，运动图像再生装置100由例如个人计算机等构成，如图1所示，具备中央控制部1、操作输入部2、存储部3、运动图像处理部4、显示部5和声音输出部6等。

中央控制部1控制运动图像再生装置100的各部分。具体地来说，中央控制部1具备CPU、RAM、ROM(任一个均省略图示)，按照存储到ROM中的运动图像再生装置100用的各种处理程序(省略图示)进行各种控制动作。此时，CPU使各种处理结果保存到RAM内的保存区域内，并按照需要使该处理结果显示在显示部5中。

RAM具备例如用于展开由CPU执行的处理程序等的程序保存区域、和保存输入数据或在上述处理程序被执行时所产生的处理结果等的数据保存区域等。

ROM存储以计算机可读取的程序代码的形式被保存的程序、具体地存储能由运动图像再生装置100执行的系统程序、由该系统程序能执行的各种处理程序、在执行这些各种处理程序时所使用的数据等。

操作输入部2具备由例如用于输入数值、字符等的数据输入键、用于进行数据的选择、移行操作等上下左右移动键或各种功能键等构成的键盘或鼠标等。此外，操作输入部2将通过用户按下的键的按压信号或鼠标的操作信号输出到中央控制部1的CPU。

另外，作为操作输入部2将触摸面板(省略图示)配设到显示部5的显示画面上，也可为按照触摸面板的接触位置来输入各种指示那样的构成。

存储部3由例如半导体的非易失存储器或HDD(Hard Disc Drive，硬盘驱动器)等构成，存储运动图像信息M、演奏信息T等。

运动图像信息M为通过运动图像再生部4f与演奏信息T一起被自动地再生的信息。即、运动图像信息M为将隔开规定的时间间隔而被再生的多个帧图像沿着时间轴连续地排列的信息。

此外，连续地排列的各帧图像为，例如采用公知的被摄体剪切方法，并采用从被摄体存在图像中剪切了包含被摄体的区域后的被摄体剪切图像而作成的图像。具体地，图像生成装置(省略图示)以作为静止图像的被摄体剪切图像作为基准，在该被摄体剪切图像的包含被摄体的区域的被摄体图像内设定多个运动的控制点。而且，图像生成装置在预定空间内使多个控制点的全部或者至少一个移动，通过以移动后的控制点作为基准来使设定在被摄体图像内的规定的图像区域(例如三角形或矩形的区域)移动或者变形，从而逐次生成帧图像。而且，图像生成装置通过沿着时间轴排列所生成的多个帧图像，从而生成运动图像信息M。

另外，使以控制点作为基准的规定的图像区域移动或者变形的处理是公知的技术，因此在此省略详细的说明。

例如，如图5A所示，运动图像信息M由如下部分构成，即示意性地地表示将人的单个手腕弯曲的动作的多个(例如n个；n为自然数)的基准帧图像(例如基准帧图像F1、...、Fk、Fk+1、...、Fn；k为比n小的自然数)。

另外，图5A所示的运动图像信息M是一个例子，并不限于此，动作的内容等能适当任意地变更。

如上那样，存储部3存储有构成运动图像的多个基准帧图像F1、...、Fk、Fk+1、...、Fn。

演奏信息T为通过运动图像再生部4f与运动图像信息M一起自动地演奏音乐的信息。该演奏信息T具有例如拍子、规定拍子等的信息、构成该音乐的多个信息，将这些信息分别与曲名建立对应地进行存储。

此外，各演奏信息T为例如按照MIDI(Musical Instruments DigitalInterface，乐器数字化接口)标准等被规定的数字数据，具体而言，具有规定了该MIDI文件的格式、轨道(track)数或四分音符的分辨率(Tick计数数目)等的头部信息、由对分配给各部分的音源(例如乐器等)所提供的事件(event)以及定时所构成的轨道信息等。作为该轨道信息的事件，存在拍子或者拍子的变更、指示音符开/关(NoteOn/Off)的信息等。

运动图像处理部4具备推进程度计算部4a、判定部4b、推进程度修正部4c、图像生成部4d、生成控制部4e和运动图像再生部4f。

推进程度计算部4a逐次计算相邻的两个基准帧图像Fk、Fk+1间的规定的音乐的演奏的推进程度。

即、推进程度计算部4a计算：与通过运动图像再生部4f基于演奏信息T所演奏的规定的音乐在规定的定时、例如与各小节的头拍同步地被再生的相邻的两个基准帧图像Fk、Fk+1间的规定的音乐的演奏的推进程度。具体地，推进程度计算部4a通过事先解析处理(后述)对MIDI标准的演奏信息T的头部信息以及轨道信息进行解析，取得拍子的设定信息以及四分音符的分辨率(Tick计数数目)。之后，推进程度计算部4a基于拍子设定的转变和四分音符的分辨率(Tick计数数目)，将通过运动图像再生部4f所演奏的规定的音乐的演奏的推移时间变换为Tick计数数目。接下来，推进程度计算部4a基于与规定的音乐的演奏的推移时间相对应的Tick计数数目，按例如百分率计算与规定的定时(例如各小节的第一拍等)同步地被再生的相邻的两个基准帧图像Fk、Fk+1间的规定的音乐的演奏的相对的推进程度。

判定部4b针对与帧图像(插补帧图像)I的再生定时相对应的音乐的推进程度判定是否存在伴随拍子变更的变化，该帧图像(插补帧图像)I对相邻的两个基准帧图像Fk、Fk+1间进行插补。

具体地来说，判定部4b对是否检测到从轨道信息读出拍子变更的事件的情况或者存在来自外部进行的新的拍子信息的变更设定的情况进行判定。如果检测到这种拍子的变更，则对由推进程度计算部4a在规定的定时新计算出的音乐的推进程度和在比该规定的定时提前一个的定时所计算出的上一次的音乐的推进程度进行比较，新计算出的音乐的推进程度相对于上一次的音乐的推进程度变化较大。

在此，举出在音乐的中途拍子变得延迟的情况的例子，参照图5B以及图5C进行说明。

即、如果使与规定的定时(例如各小节的第一拍等)同步的相邻的两个基准帧图像Fk、Fk+1间、即在任一个插补帧图像I的再生定时，进行规定的音乐的拍子(演奏速度)的变更，则存在新计算出的推进程度相对于上一次的推进程度减少的可能性(参照图5B以及图5C)。

例如，假设拍子为BPM＝120，设1小节的演奏时间为2秒，在使基准帧图像Fk、Fk+1之间隔开2秒间隔而同步的情况下，在经过了1秒后的时刻，从使基准帧图像Fk同步的时刻开始的演奏音乐的推进程度成为50％，将显示对基准帧图像Fk以及基准帧图像Fk+1每次加权50％后的大致中间的图像作为插补帧图像I而被显示(参照图5B)。

之后，如果在经过1秒之后拍子立刻被变更为BPM＝60，则从该变更时刻到使基准帧图像Fk+1同步的时刻为止的剩余时间成为2倍(大致2秒)，从使基准帧图像Fk同步的时刻开始的演奏音乐的实质的推进程度成为33.3％(参照图5C)。因此，在变更时刻以后演奏音乐的实质的推进程度成为50％为止的期间中由推进程度计算部4a所新计算出的演奏音乐的推进程度减少，判定部4b判定为新计算出的演奏音乐的推进程度实质上减少。

在这种情况下，如图5C所示，与对基准帧图像Fk以及基准帧图像Fk+1每次加权了50％的插补帧图像I(参照图5B)相比，基准帧图像Fk的权重更大的插补帧图像I通过图像生成部4d生成并显示在显示部5中。

推进程度修正部4c按照使音乐的演奏的推进程度的变化变小的方式进行修正来生成修正后的推进程度。

即、推进程度修正部4c在通过判定部4b判定为插补帧图像I的再生定时的音乐的推进程度伴随着音乐的拍子的变更而减少了的情况下，按照该推进程度的减少的程度变小的方式进行修正。具体地，推进程度修正部4c基于与判定部4b所进行的比较判定相关的上一次(拍子变更前)计算的音乐的推进程度(例如图5B中的50％)，按照推进程度减少的程度变小的方式进行修正来生成修正后的音乐的推进程度。例如推进程度修正部4c将在拍子变更后新计算出的音乐的推进程度和上一次(拍子变更前)的音乐的推进程度相加来将该平均值设为修正后的音乐的推进程度。

另外，音乐的推进程度的修正方法并不限于将新计算出的音乐的推进程度和上一次的音乐的推进程度进行加法运算平均的方法，例如也可按照上一次的推进程度的加权变大的方式进行加权平均。

在此，针对音乐的拍子在中途变慢的情况进行了说明，但当然在音乐的拍子在中途变快的情况下，推进程度修正部4c基于与判定部4b所进行的比较判定相关的上一次计算出的音乐的推进程度，按照推进程度的增加的程度变小的方式进行修正来生成修正后的音乐的推进程度。在这种情况下，推进程度修正部4c也可将新计算出的音乐的推进程度和上一次的音乐的推进程度相加，并将其平均值作为修正后的音乐的推进程度。

图像生成部4d作为生成单元，生成对多个帧图像F1～Fn中、例如相邻的两个基准帧图像Fk、Fk+1之间进行插补的插补帧图像I。

即、图像生成部4d按照相邻的两个基准帧图像Fk、Fk+1间的、规定的音乐的推进程度，改变针对相邻的两个基准帧图像Fk、Fk+1的加权来生成插补帧图像I。具体地来说，图像生成部4d在生成控制部4e的控制下进行驱动，按照由推进程度计算部4a计算出的音乐的推进程度(例如百分率等)或者推进程度修正部4c所进行的修正后的推进程度，生成改变了针对相邻的两个基准帧图像Fk、Fk+1的加权的插补帧图像I。

另外，生成插补帧图像I的处理是公知的技术，因此在此省略详细的说明。

生成控制部4e对图像生成部4d所进行的插补帧图像I的生成进行控制。

具体地，在没有检测到拍子变更的情况下、即没有修正音乐的推进程度的情况下，生成控制部4e使图像生成部4d生成与通过推进程度计算部4a所计算的推进程度相对应的插补帧图像I。此外，生成控制部4e，在通过推进程度修正部4c修正了音乐的推进程度的情况下，使图像生成部4d生成与该修正后的音乐的推进程度相对应的插补帧图像I。具体地，生成控制部4e按照推进程度修正部4c所进行的修正后的音乐的推进程度，使图像生成部4d生成改变了针对相邻的两个基准帧图像Fk、Fk+1的加权的插补帧图像I。

运动图像再生部4f基于演奏信息T自动地再生规定的音乐，并且以该规定的音乐的规定的定时对多个帧图像的每一个帧图像进行再生。

具体地，运动图像再生部4f读入规定的音乐的演奏信息T的数字数据并通过D/A变换器变换为模拟数据，使该规定的音乐自动地进行再生。此时，运动图像再生部4f，按照与规定的定时(例如各小节的第1拍或各拍等)同步的方式再生相邻的两个基准帧图像Fk、Fk+1，并且按照相邻的两个基准帧图像Fk、Fk+1间的规定的音乐的推进程度对通过图像生成部4d所生成的各插补帧图像I进行再生。

显示部5由例如LCD、CRT(Cathode Ray Tube，阴极射线管)等显示器构成，在中央控制部1的CPU的控制下在显示画面上显示各种信息。

即、显示部5，在通过运动图像再生部4f进行运动图像信息M的再生时，将多个帧图像显示在显示画面上。具体地，显示部5在自动地被演奏的音乐的规定的定时以规定的时间间隔切换基准帧图像F1～Fn以及插补帧图像I来进行显示。

声音输出部6由例如LPF(Low Pass Filter，低通滤波器)、放大器、扬声器等构成，在中央控制部1的CPU的控制下进行播放。

即、声音输出部6，在通过运动图像再生部4f进行演奏信息T的再生时，基于通过D/A变换器所变换的模拟数据，经由放大器从扬声器以规定的音色、音高、音长对音乐进行播放。此外，声音输出部6也可对一个音源(例如乐器)的声音进行播放，也可对多个音源的声音同时播放。

接下来，参照图2对事先解析处理进行说明。

在此，图2为表示与事先解析处理相关的动作的一例的流程图。

如图2所示，运动图像处理部4，在存储部3中所存储的演奏信息T中，基于用户对操作输入部2进行的预定操作，读出并取得所指定的演奏信息T。此外，此时，运动图像处理部4基于用户对操作输入部2所进行的预定操作，取得所指定的基准帧图像Fk的同步定时(例如各小节的开始点)(步骤S1)。

接下来，推进程度计算部4a对所取得的MIDI标准的演奏信息T的头部信息进行解析，来对MIDI文件的格式、轨道数、四分音符的分辨率(Tick计数数目；例如Tick＝480等)进行确定(步骤S2)。

接下来，推进程度计算部4a对演奏信息T的轨道信息进行解析，取得与拍子的变更定时相关的信息，并且取得对在所有的轨道中的最初的音符开(NoteOn)以及最后的音符关(NoteOff)的定时进行规定的Tick计数数目(步骤S3)。之后，推进程度计算部4a基于最初的音符开以及最后的音符关的Tick计数数目，在运动图像再生期间设定从最初的音符开的Tick计数数目到最后的音符关的Tick计数数目为止的期间(步骤S4)。

接下来，运动图像处理部4基于四分音符的分辨率、拍子的设定定时以及运动图像再生期间，判定被自动地演奏的音乐是否为从第一拍以外的拍子开始的弱起的音乐(步骤S5)。

在此，如果判定为是弱起的音乐(步骤S5；是)，则运动图像处理部4基于对最初的音符开的定时进行规定的Tick计数数目，判定被演奏的音乐是否从第一小节的第一拍的后面部分之后开始播放(步骤S6)。

在步骤S6中，如果判定为从第一小节的第一拍的后面部分开始播放(步骤S6；是)，则推进程度计算部4a按照运动图像再生的开始定时成为与下一小节的头部(该小节的结束)相当的Tick计数数目的方式对运动图像再生期间进行重新设定(步骤S7)。

另一方面，如果判定为不是从第一小节的第一拍的后面部分开始播放(步骤S6；否)，则推进程度计算部4a按照运动图像再生的开始定时成为与该小节的头部相当的Tick计数数目的方式对运动图像再生期间进行重新设定(步骤S8)。

由此，结束事先解析处理。

接下来，参照图3以及图4，对运动图像再生处理进行说明。

在此，图3以及图4为表示与运动图像再生处理相关的动作的一例的流程图。

运动图像再生处理为如下这样的处理：基于用户所进行的操作输入部2的预定操作指示运动图像再生部4f开始进行运动图像再生，在该运动图像的再生中，每隔预定时间间隔(例如30ms等)被逐次执行该运动图像再生处理。

如图3所示，运动图像处理部4的推进程度计算部4a，从计时器(省略图示)取得距基于演奏信息T被演奏的音乐的再生开始所经过的推移时间(ms)之后(步骤S11)，基于拍子设定的转变和四分音符的分辨率(Tick计数数目)将该推移时间变换为Tick计数数目(步骤S12)。

接下来，推进程度计算部4a基于推移时间的Tick计数数目判定推移时间是否比运动图像再生期间靠前(步骤S13)。

在步骤S13，如果判定为推移时间比运动图像再生期间靠前(步骤S13；是)，则运动图像再生部4f从构成存储在存储部3中的运动图像信息M的多个基准帧图像F1～Fn中取得最初的基准帧图像F1(步骤S14)。

由此，规定的音乐在通过运动图像再生部4f基于演奏信息T被自动地演奏，并且从声音输出部6首先进行播放时，显示部5成为将最初的基准帧图像F1显示在显示画面中的状态。

另一方面，在步骤S13中，如果判定为推移时间并未比运动图像再生期间靠前(步骤S13；否)，则推进程度计算部4a基于推移时间的Tick计数数目判定推移时间是否比运动图像再生期间滞后(步骤S15)。

在此，如果判定为推移时间比运动图像再生期间滞后(步骤S15；是)，则运动图像再生部4f从构成存储在存储部3中的运动图像信息M的多个基准帧图像F1～Fn中取得最后的基准帧图像Fn(步骤S16)。

由此，规定的音乐在通过运动图像再生部4f基于演奏信息T被自动地演奏，并且由声音输出部6播放到了最后的音符关之后，显示部5成为将最后的基准帧图像Fn显示于显示画面的状态。

另一方面，在步骤S15中，判定为推移时间不比运动图像再生期间靠后(步骤S15；否)，则如图4所示，推进程度计算部4a判定基准帧图像Fk是否与全音符同步地被显示(步骤S17)。

在此，如果判定为基准帧图像Fk不与全音符同步显示(步骤S17；否)，则推进程度计算部4a基于推移时间的Tick计数数目对推移时间相当于正在同步的音符(例如四分音符等)中的几个音符的情况进行确定(步骤S18)。具体地，推进程度计算部4a通过推移时间的Tick计数数目除以进行同步的音符的Tick计数数目，从而确定相当于几个该音符。另外，在不能整除的情况下，除法运算的结果也可由例如分数或小数表示。

接下来，推进程度计算部4a基于相当于正在同步的音符中的几个音符的确定结果，按照所确定的音符数(即整数的部分)，从构成在存储部3中存储的运动图像信息M的多个基准帧图像F1～Fn中确定基准帧图像Fk(步骤S19)。接下来，推进程度计算部4a基于相当于正在同步的音符中的几个音符的确定结果，以百分率表示不能被整除的零数部分(例如1/3等)。之后，推进程度计算部4a将该值设定为基准帧图像Fk与相邻的基准帧图像Fk+1之间的规定的音乐的推进程度(步骤S20)。

另一方面，在步骤S17中，如果判定为基准帧图像Fk与全音符同步地进行显示(步骤S17：是)，则推进程度计算部4a基于推移时间的Tick计数数目和拍子设定的转变，确定推移时间为第几小节的第几拍(步骤S21)。接下来，推进程度计算部4a，在任何小节的中途进行了拍子的设定的情况下，视为该一小节结束了，对在步骤S21中确定完成的与推移时间对应的被确定的是小节的哪个定时所涉及的信息进行修正(步骤S22)。另外，不一定需要对与该推移时间对应的被确定的是小节的哪个定时所涉及的信息进行修正的处理。

接下来，推进程度计算部4a，为了除去在演奏开始后至音乐实际上从声音输出部6被播放为止的期间，因此减去至运动图像再生的开始定时为止的小节数量，对确定完成的与推移时间相对应的第几小节的第几拍所涉及的信息进行修正(步骤S23)。

接下来，推进程度计算部4a基于与所确定的推移时间对应的第几小节的第几拍所涉及的信息，以所确定的小节的位置作为基准，从构成在存储部3中存储的运动图像信息M的多个基准帧图像F1～Fn中确定基准帧图像Fk(步骤S24)。接下来，推进程度计算部4a以百分率表示被确定的小节中的拍子的位置，将该值设定为基准帧图像Fk和相邻的基准帧图像Fk+1之间的规定的音乐的推进程度(步骤S25)。

接下来，判定部4b判定新计算的音乐的推进程度相对于上一次的音乐的推进程度是否有伴随着拍子变更的变化(步骤S26)。

该判定处理在每次通过推进程度计算部4a计算推进程度时，即在步骤S20或者步骤S25中在每次设定推进程度时被逐次执行。

在步骤S26中，如果判定为新计算出的音乐的推进程度相对于上一次的音乐的推进程度没有变化(步骤S26；否)，则图像生成部4d按照通过推进程度计算部4a新计算出的音乐的推进程度，生成并取得改变了针对相邻的两个基准帧图像Fk、Fk+1的加权的插补帧图像I(步骤S27)。

由此，规定的音乐通过运动图像再生部4f基于演奏信息T被自动地再生，显示部5在显示画面中显示与被声音输出部6播放的规定的音乐的推进程度相应的插补帧图像I。

另一方面，在步骤S26中，如果判定为针对新计算的音乐的推进程度有伴随拍子变更的变化(步骤S26；是)，则推进程度修正部4c基于与判定部4b所进行的比较判定相关的上一次计算出的推进程度，按照推进程度的变化变小的方式进行修正来生成修正后的推进程度(步骤S28)。具体地来说，推进程度修正部4c将例如新计算出的推进程度和上一次的推进程度进行相加，将该平均值设为修正后的推进程度。

之后，运动图像处理部4将处理转移到步骤S27，图像生成部4d按照推进程度修正部4c所修正后的音乐的推进程度，生成并取得改变了针对相邻的两个基准帧图像Fk、Fk+1的加权的插补帧图像I(步骤S27)。

由此，规定的音乐通过运动图像再生部4f基于演奏信息T被自动地再生，显示部5在显示画面中显示考虑了被声音输出部6播放的规定的音乐的推进程度而生成的插补帧图像I。

如上那样，根据本实施方式的运动图像再生装置100，逐次计算使与规定的音乐的规定的定时同步而被再生的相邻的两个基准帧图像Fk、Fk+1间的规定的音乐的推进程度。此外，运动图像再生装置100在判定为与规定的音乐的插补帧图像I的再生定时相对应的音乐的推进程度存在伴随着拍子变更的变化的情况下，按照该音乐的推进程度的变化变小的方式进行修正来生成修正后的音乐的推进程度。进而，运动图像再生装置100生成与该修正后的音乐的推进程度相应的插补帧图像I，因此能够考虑自动地演奏的音乐的推进程度来对更合适的插补帧图像I进行再生。

即，运动图像再生装置100，即使在自动地演奏的一小节的中途音乐的演奏速度(拍子)被变更并且该小节中的音乐的推进程度变化了的情况下，也能按照音乐的推进程度的变化变小的方式对该音乐的推进程度进行修正。而且，运动图像再生装置100通过生成与修正后的音乐的推进程度相应的插补帧图像I，从而能够使该插补帧图像I的内容和音乐的实质的推进程度之间所产生的偏差更小。其结果，能够再生使因运动体的运动而产生的不自然感能够减轻的更合适的插补帧图像I。

另外，本发明并不限定于上述实施方式，也可在不脱离本发明的主旨的范围中进行各种改良以及设计的变更。

以下，对运动图像再生装置100的变形例进行说明。

<变形例1>

图6为表示变形例1的运动图像再生装置200的概略构成的框图。此外，图7为用于说明变形例1的运动图像再生装置200所进行的编辑处理的图。

如图6所示，变形例1的运动图像再生装置200除了中央控制部1、操作输入部2、存储部3、运动图像处理部4、显示部5、声音输出部6之外，还具备运动图像编辑部7。

另外，变形例1除了下面详细地进行说明的内容之外，其构成与上述实施方式大致相同，故而省略其说明。

运动图像编辑部7通过将以规定的长度为基本单位的运动图像部分信息7a任意地组合来生成期望的编辑完成运动图像信息7b。

即，运动图像编辑部7存储有以例如小节、四分音符等各音符等为基本单位的运动图像部分信息7。该运动图像部分信息7a为由上述实施方式中的基准帧图像Fk、Fk+1或插补帧图像I中的至少一方的图像构成的信息，多个帧图像沿着时间轴来排列。

而且，运动图像编辑部7，通过在显示于显示部5中的运动图像编辑画面Pg内(参照图7)，将基于用户对操作输入部2所进行的预定操作而被指定的预定数目的运动图像部分信息7a(图7中用a1～a4的符号表示)任意地组合，从而生成并存储该预定数目的运动图像部分信息7a沿着时间轴排列的编辑完成运动图像信息7b。

从而，根据变形例1的运动图像再生装置200，通过预先存储多个运动图像部分信息7a，能够简便地生成将这些运动图像部分信息7a任意地组合的用户期望的编辑完成运动图像信息7b。

另外，所生成的编辑完成运动图像信息7b也可用于上述实施方式的运动图像再生处理中。即，运动图像再生部4f也可基于演奏信息T自动地演奏规定的音乐，并且对该规定的音乐在规定的定时构成编辑完成运动图像信息7b的多个帧图像的每一个帧图像进行再生。

此外，在上述实施方式中，例示了个人计算机作为运动图像再生装置100，但这只是一例，并不限定于该例，还能适当地进行任意的变更，也可应用例如便携式电话机等。

进而，使运动图像再生装置100作为Web服务器发挥功能，基于用户对用户端末(省略图示)的预定操作，通过该Web服务器(运动图像再生装置100)生成多个帧图像的图像数据以及演奏信息T作为一个文件，在所有的数据生成完成后，也可将该文件从Web服务器发送到用户端末来使该文件在该用户端末中进行再生。

除此之外，在上述实施方式中具有下述结构，即在中央控制部1的控制下，通过图像生成部4d、推进程度计算部4a、判定部4b、推进程度修正部4c、生成控制部4e进行驱动，从而实现运动图像再生装置100的功能，但并不限定于此。即也可为通过中央控制部1的CPU执行规定的程序等来实现运动图像再生装置100的功能的结构。

即、在存储程序的程序存储器(省略图示)中，预先存储包括生成处理例程、计算处理例程、判定处理例程、修正处理例程、控制处理例程在内的程序。而且，中央控制部1的CPU也可通过生成处理例程生成对多个帧图像F1～Fn中、相邻的两个帧图像Fk、Fk+1之间进行插补的插补帧图像I。此外，中央控制部1的CPU也可通过计算处理例程逐次计算：基于演奏信息T被演奏的规定的音乐在规定的定时同步并再生的多个帧图像F1～Fn中、相邻的两个帧图像Fk、Fk+1间的规定的音乐的推进程度。此外，中央控制部1的CPU也可通过判定处理例程判定：针对与插补帧图像I的再生定时相对应的推进程度是否有伴随拍子变更的变化。此外，中央控制部1的CPU也可通过修正处理例程在判定为推进程度存在变化的情况下，生成按照该推进程度的变化变小的方式被修正的推进程度。此外，中央控制部1的CPU也可通过控制处理例程生成与修正后的推进程度相应的插补帧图像I。

进而，除了ROM或硬盘等之外，也能应用闪速存储器等非易失性存储器、CD-ROM等可移动型记录介质，作为保存了用于执行上述各处理的程序的计算机可读取的介质。此外，也应用载波(carrier wave)作为经由规定的通信线路提供程序数据的介质。

以上虽然说明了本发明的几个实施方式，但本发明的范围并不限定于上述实施方式，而是包括与权利要求书中记载的发明的范围等同的范围。

2011年6月3日申请的、日本专利申请第2011-125633号的、包括说明书、权利要求书、附图、摘要在内的所有的公开通过引用被援引于本申请中。

以上示出并说明了各种典型的实施方式，但本发明并不限定于这些实施方式。因此，本发明的范围仅通过权利要求书的范围来限定。

Claims (3)

1.一种运动图像再生装置，其特征在于，具备：

生成单元(4d)，其生成对在规定的存储单元中存储的多个帧图像中相邻的两个帧图像之间进行插补的插补帧图像；

计算单元(4a)，其逐次计算与伴随着拍子信息的规定的音乐同步地被再生的上述多个帧图像中相邻的两个帧图像之间的上述规定的音乐的推进程度；

判定单元(4b)，其针对上述推进程度判定是否存在伴随着拍子变更的变化；

修正单元(4c)，其在判定为上述推进程度存在变化的情况下，按照该推进程度的变化变小的方式对上述推进程度进行修正；和

控制单元(4f)，其使上述生成单元新生成与被上述修正单元修正后的推进程度相应的插补帧图像。

2.根据权利要求1所述的运动图像再生装置，其特征在于，

上述生成单元新生成和在上述拍子变更前所计算出的推进程度与在上述拍子变更后所计算出的推进程度之间的平均的推进程度相对应的上述插补帧图像。

3.一种采用了运动图像再生装置的运动图像再生方法，该运动图像再生方法的特征在于，包括：

第1生成步骤，生成对在规定的存储单元中存储的上述多个帧图像中相邻的两个帧图像之间进行插补的插补帧图像；

计算步骤，逐次计算与伴随着拍子信息的规定的音乐同步地被再生的上述多个帧图像中相邻的两个帧图像之间的上述规定的音乐的推进程度；

判定步骤，针对上述推进程度判定是否存在伴随着拍子变更的变化；

修正步骤，在判定为伴随着上述拍子变更而上述推进程度发生了变化的情况下，按照该推进程度的变化变小的方式对上述推进程度进行修正；和

第2生成步骤，新生成与修正后的推进程度相应的插补帧图像。