CN103325365B - 音发生装置和方法 - Google Patents

Abstract

一种音发生装置及音发生方法。鼓棒部根据鼓棒部主体的运动，生成发音指示信号，在生成的发音指示信号中附加时间数据，以无线方式，将其发送给中心单元部。中心单元部计算在已接收的发音指示信号中附加的时间数据所示的时间和接收该发音指示信号的时间的差分，每当接收发音指示信号时，制作该差分的直方图，并且根据该直方图，调整基于发音指示信号的发音的定时，在调整后的定时，根据发音指示信号从声音输出部发出规定的乐音。

Description

音发生装置和方法

相关申请的交叉参考

本申请基于申请日为2012年3月19日，申请号为JP特願2012-061691的在先日本专利申请，并且要求该申请的优先权，该申请的全部内容通过引用合并在此。

技术领域

本发明涉及音发生装置和方法。

背景技术

人们知道有下述的方案，其中，使演奏者操作的演奏操作件独立于具有扬声器等的声音输出部的装置，从演奏操作件对具有声音输出部的装置，以无线方式发送发出指示规定的音的信号(发音指示信号)(例如，参照JP特开平08-241081号文献)。

在将这样的方案用于在虚拟的空间以虚拟方式进行乐器演奏的装置的情况下，如果从进行用于发出音的操作到实际的发音的时间过长，或发生偏差(日文：ばらつき)，则对于演奏者产生作为演奏感觉的不自然感。

由此，尽可能地缩短从发音指示信号的发生到实际上从声音输出部产生音的时间并使其稳定，这方面对于乐器而言是演奏者享受演奏的重要因素。

在这方面，在JP特开平08-241081号文献中，公开下述的技术，其中，针对连接有多个音源的计算机音乐系统，生成用于在计算机音乐系统的使用者没有意识到的情况下进行多个音源的同步演奏的方案，通过延迟控制，预先测定多个MIDI音源的MIDI信号的到达时间，对应于到达时间最大的MIDI音源，设定使向其它的MIDI音源的MIDI信号的送出延迟的延迟时间，通过延迟地向各MIDI音源送出MIDI信号，同时进行各MIDI音源的发音。

由于多个MIDI音源的MIDI信号的到达时间是预先可预测的，因此按照在该JP特开平08-241081号文献中记载的方法，可消除MIDI信号的到达时间的偏差，可使流(streaming)接收稳定。

但是，在JP特开平08-241081号文献中记载的技术用于在发送数据时，消除数据发送侧的通信方式等的外部因素所造成的延迟，发音(再现)定时依赖于具有声音输出部的接收侧的装置的定时。

这样的延迟消除技术在演奏操作件侧的系统计时器和具备声音输出部的装置侧所具有的系统计时器之间没有时间的偏差(误差)的情况下，可适当地消除发音定时的偏差，但是实际上，在进行通信的装置内部的系统计时器中具有时间的偏差(误差)的情况下，在JP特开平08-241081号文献中记载的技术无法消除这样的偏差。

发明内容

本发明是针对上述那样的情况而提出的，本发明的目的在于提供在从演奏操作件，对具有声音输出部的装置，以无线方式发送发音指示信号的情况下，尽可能地防止发送侧和接收侧的时间的偏差造成的发音定时的偏差，进行顺利的演奏的音发生装置、方法和存储媒体。

用于解决课题的技术方案

为了解决该课题，本发明的音发生装置的特征在于，包括：接收机构，接收被附加了时间数据的发音指示信号；差分计算机构，每当接收到被附加了上述时间数据的发音指示信号时，计算该接收到的时间数据所示的定时与在上述接收机构中接收到该发音指示信号的定时的差分；直方图制作机构，每当计算出上述差分时，根据该计算出的差分和在过去计算出的差分来制作直方图；以及定时控制机构，每当计算出上述差分时，根据该计算出的差分和上述制作的直方图中的频率最高的差分，控制将上述接收到的发音指示信号向所连接的发音机构供给的定时。

另外，本发明的音发生方法的特征在于，包括：接收被附加了时间数据的发音指示信号；每当接收到被附加了上述时间数据的发音指示信号时，计算该接收到的时间数据所示的定时和接收到该发音指示信号的定时的差分；每当计算出上述差分时，根据该计算出的差分和在过去计算出的差分来制作直方图；以及每当计算出上述差分时，根据该计算出的差分和上述制作的直方图中的频率最高的差分，控制将上述接收到的发音指示信号向所连接的发音机构供给的定时。

附图说明

图1A为表示本发明的音发生装置的一个实施方式的概要的图，图1B为表示本实施方式的虚拟的套鼓(drumset)的图。

图2为表示音发生装置的功能结构的方框图。

图3为图1所示的鼓棒部的立体图。

图4为表示运动传感部的垂直方向的加速度的变化的图。

图5A为表示没有时间戳的发音指示信号的结构例子的图，图5B为表示具有时间戳的发音指示信号的结构例子的图。

图6A为表示时间戳和系统时间的时间差(误差)的曲线图例子，图6B为表示基于图6A所示的最近100个的时间差数据的直方图的一个例子的图。

图7为基于外部原因的延迟的偏差例子的曲线图。

图8A为表示没有延迟时间调整的情况下的发音定时的偏差的图，图8B为进行5ms延迟时间调整的情况下的发音定时的偏差的图，图8C为进行10ms延迟时间调整的情况下的发音定时的偏差的图，图8D为进行15ms延迟时间调整的情况下的发音定时的偏差的图。

图9为表示发音控制处理的流程图。

图10为表示图9所示的直方图更新处理的流程图。

具体实施方式

下面通过图1～图10，对本发明的一个实施方式进行说明。另外，在下述的实施方式中，为了实施本发明，附加技术上优选的各种的限定，但是本发明的范围并不限定在下述的实施方式和图示例子。

(乐音发生装置的概要)

首先参照图1A和图1B，对本发明的乐音发生装置的一个实施方式的整体结构进行说明。

图1A为表示本实施方式的乐音发生装置的装置结构的概要的图。

如图1A所示，本实施方式的乐音发生装置1包括鼓棒部10A、10B、与中心单元部20。另外，为了实现采用2个鼓棒的虚拟的鼓演奏，本实施方式的乐音发生装置1包括2个鼓棒部10A、10B，但是，鼓棒部的数量并不限于此，既可为1个，也可在3个以上。在下面，在没有区分鼓棒部10A、10B的情况下，将两者称为“鼓棒部10”。

鼓棒部10包括在长度方向延伸的杆状的演奏操作件主体，用作演奏者可保持的演奏操作件。即，演奏者通过手持鼓棒部10的一端(根侧)，以手腕等为中心的上挥和下挥动作，进行演奏操作。

为了检测这样的演奏者的演奏操作，在本实施方式中，在鼓棒部10的另一端(前端侧)，设置加速度传感器等的各种传感器(后述的运动传感部14，参照图2)。

鼓棒部10对应于从鼓棒部10的各种传感器(后述的运动传感部14)的检测结果，生成用于使作为发音机构的扬声器等的声音输出部251发出规定的乐音的发音指示信号(音符打开事件(noteonevent))，对其附加作为时间数据的时间戳，并输出给中心单元部20。

中心单元部20为主体装置，该主体装置包括声音输出部251，该声音输出部251是根据通过演奏者的操作而产生的鼓棒部10主体的运动，发出规定的乐音的发音机构。

在本实施方式中，中心单元部20在从鼓棒部10接收发音指示信号(音符打开事件)时，计算附加于其上的时间戳和在中心单元部20侧接收发音指示信号的时间的时间差(差分)，每当接收发音指示信号时，制作该差分的直方图。接着，根据该直方图，调整基于声音输出部251的发音指示信号的发音定时。

(乐音发生装置1的结构)

下面对本实施方式的乐音发生装置1进行具体说明。

图2为表示乐音发生装置1的功能结构的方框图。

首先参照图2，对构成本实施方式的乐音发生装置1的鼓棒部10和中心单元部20的结构进行具体说明。

(鼓棒部10的结构)

如图2所示，各鼓棒部10(图2中的鼓棒部10A、10B)包括鼓棒控制单元11、运动传感部14、数据通信部16、电源电路17、电池18等。

运动传感部14为检测通过演奏者的操作而产生的鼓棒部10(演奏操作件)主体的运动的运动检测机构。

即，运动传感部14为下述的各种传感器，其设置于例如，鼓棒部10的内部，用于检测鼓棒部10的状态(例如，下挥位置，下挥速度，下挥角度等)，运动传感部14输出作为检测结果的规定的传感器值(运动传感器数据)。通过运动传感部14检测的检测结果(运动传感器数据)送给鼓棒控制单元11。

在这里，构成运动传感部14的传感器可采用例如，加速度传感器、角速度传感器和磁性传感器等。

加速度传感器可采用输出在X轴、Y轴、Z轴的2个轴向的各自方向产生的加速度的2轴传感器。另外，可针对X轴、Y轴、Z轴，如图2所示，将与鼓棒部10的长度方向的轴一致的轴作为Y轴，将与设置有加速度传感器的基板(图中未示出)平行，并且与Y轴相正交的轴作为X轴，将与X轴和Y轴相正交的轴作为Z轴。加速度传感器也可获得X轴、Y轴、Z轴的各自成分的加速度，并且计算将各自的加速度合成的传感器合成值。

在本实施方式中，在采用乐音发生装置1而进行演奏的情况下，演奏者保持鼓棒部10的一端(根侧)，进行以手腕等为中心，使鼓棒部10的另一端(另一端侧)上下运动的上挥下挥动作，由此，相对鼓棒部10产生旋转运动。在这里，在鼓棒部10静止的情况下，加速度传感器计算作为传感器合成值的相当于重力加速度1G的值，在鼓棒部10进行旋转运动的情况下，加速度传感器计算作为传感器合成值的大于重力加速度1G的值。另外，传感器合成值通过计算例如，X轴、Y轴、Z轴的成分的加速度的各自的平方的总和的平方根而获得。

另外，角速度传感器可采用例如，具有陀螺仪的传感器。在本实施方式中，角速度传感器如图2所示，输出鼓棒部10的Y轴方向的旋转角501、鼓棒部10的X轴方向的旋转角511。

在这里，由于Y轴方向的旋转角501为演奏者持握鼓棒部10时，从演奏者观看的前后轴的旋转角，因此可将其称为倾滚(roll)角。倾滚角对应于表示X-Y平面以怎样的程度相对X轴而倾斜的角度502，通过演奏者手持鼓棒部10以手腕为轴在左右旋转而产生。

另外，由于X轴方向的旋转角511为在演奏者持握鼓棒部10时，从演奏者观看的左右轴的旋转角，因此可称为俯仰(pitch)角。俯仰角对应于表示X-Y平面以怎样的程度相对Y轴而倾斜的角度512，通过演奏者手持鼓棒部10使手腕在上下方向挥动而产生。

此外，虽然关于这一点的图示省略，角速度传感器也可一并地输出Z轴方向的旋转角。此时，Z轴方向的旋转角具有基本上与X轴方向的旋转角511相同的性质，是演奏者通过手持鼓棒部10在左右方向挥动手腕的方式产生的俯仰角。

还有，磁性传感器可采用可输出图2所示的X轴、Y轴、Z轴的2轴方向的磁性传感器值的传感器。从这样的磁性传感器，针对X轴方向、Y轴方向、Z轴方向的各自方向而输出表示磁铁的北(磁北)的矢量。由于所输出的各轴方向的成分因鼓棒部10的姿势(朝向)而不同，因此可根据这些成分，鼓棒控制单元11计算鼓棒部10的倾滚角、X轴方向和Z轴方向的旋转角。

在这里，参照图4，对通过运动传感部14而检测的检测结果(运动传感器数据)进行说明。另外，在这里，示出上述各种传感器中的加速度传感器的检测结果。

在演奏者使用鼓棒部10而进行演奏的情况下，一般，进行与敲击实际的乐器(例如，鼓)的动作相同的动作。在这样的(演奏)动作中，演奏者首先将鼓棒部10上挥，由此，朝向虚拟的乐器的敲击面(演奏面)而下挥。另外，由于实际上不存在敲击面，因此演奏者在采用鼓棒部10即将敲击虚拟的乐器之前，作用要停止鼓棒部10的动作的力。

图4为表示采用这样的鼓棒部10而进行演奏操作的情况下的运动传感部14的垂直方向的加速度的变化的图，表示从鼓棒部10，送给中心单元部20的运动传感器数据的一个例子。

另外，垂直方向的加速度指相对水平面的垂直方向的加速度，既可从Y轴成分的加速度分解而计算，也可从Z轴成分的加速度(基于倾滚角的不同从X轴方向的加速度)分解而计算。另外，在图4中，负的加速度表示作用于鼓棒部10上的朝下方向的加速度，正的加速度表示作用于鼓棒部10上的朝上方向的加速度。

由于即使在处于鼓棒部10静止的状态(由图4中的a所示的部分)的情况下，重力加速度仍作用于鼓棒部10，因此以与重力加速度相反的方式静止的鼓棒部10的运动传感部14检测垂直朝下，即，负方向的一定的加速度。另外，作用于鼓棒部10上的加速度为0时是鼓棒部10自由下落的状态的时期。

接着，如图4中的b所示的区间那样，如果在鼓棒部10静止的状态，伴随上挥动作，演奏者将鼓棒部10上抬，由于相对重力加速度，在更加相反的方向动作，因此作用于鼓棒部10上的加速度在负方向增加。如果减小在此后要静止而上抬的速度，则加速度从负方向转换到正的方向，上挥动作达到最高速的时刻(参照图4中的p1)的加速度仅仅为重力加速度(即，重力加速度1G)。

接着，如图4中的c所示的区间的那样，如果通过上挥动作，鼓棒部10达到顶点，则演奏者进行鼓棒部10的下挥动作。在下挥动作中，由于鼓棒部10在重力加速度的方向上动作，因此作用于鼓棒部10上的加速度在重力加速度的正方向上增加。然后，如果下挥动作达到最高速，则处于对鼓棒部10再次仅作用重力加速度(即，重力加速度1G)的状态(参照图4中的p2)。

之后，如图4中的d所示的区间的那样，如果再次相对鼓棒部10进行上挥动作，则所施加的加速度在负方向增加，如果要使上挥动作停止，则所施加的加速度从负方向转到正方向。

在继续演奏操作的期间，伴随演奏者的鼓棒部10的上挥动作下挥动作，反复产生图4所示的那样的加速度的变化，通过运动传感部14，检测该加速度的变化。

鼓棒控制单元11由例如，MCU(MicroControlUnit)等构成，CPU(CentralProcessingUnit)、ROM(ReadOnlyMemory)等的存储器，作为计时机构的计时器(系统计时器)等组装于一个集成电路中。另外，进行中心单元部20整体的控制的功能部的结构并不限于在这里列举的结构。例如，也可不为由MCU构成的类型，而为CPU、ROM、计时器等分别装载于衬底等上的类型。

在鼓棒控制单元11的存储器中，存储有鼓棒控制单元11执行的各种处理的处理程序。

鼓棒控制单元11进行鼓棒部10整体的控制，鼓棒控制单元11的各种功能通过CPU和存储于存储器中的程序的共同作用而实现。

在本实施方式中，鼓棒控制单元11包括发音指示生成部111，该发音指示生成部111根据通过运动传感部14获得的检测结果，生成发音指示信号(音符打开事件)。

发音指示生成部111每当演奏者采用鼓棒部10(演奏操作件)，进行演奏操作时，对应于与通过作为检测机构的运动传感部14检测的鼓棒部10(演奏操作件)的位置、运动有关的检测结果(运动传感器数据)，生成发音指示信号(音符打开事件)。

在这里，在音符打开事件(发音指示信号)中，包括击打(shot)定时(发音定时)、音量(即，发音强度(Velocity))、音色(即乐器的种类)等的信息。

通过发音指示生成部111而生成的发音指示信号(音符打开事件)输出给中心单元部20，中心单元部20的主体控制单元21根据该发音指示信号(音符打开事件)，由扬声器等的声音输出部251发出乐音。

具体来说，首先，如果获得与通过运动传感部14而检测的鼓棒部10(演奏操作件)的位置、运动有关的检测结果(运动传感器数据)，则发音指示生成部111根据加速度传感器所输出的加速度(或传感器合成值)，检测鼓棒部10的虚拟的乐器的打击定时(击打定时)。

在这里，参照图4，对发音指示生成部111的击打定时的检测进行说明。

如前述的那样，图4为表示采用鼓棒部10进行演奏操作的情况下的运动传感部14的垂直方向的加速度的变化的图。

由于演奏者设想到在虚拟的乐器中敲打鼓棒部10的瞬间产生乐音，因此希望在乐音发生装置1中也可在演奏者设想的定时产生乐音。于是，在本实施方式中，在演奏者对虚拟的乐器的打击面敲打鼓棒部的瞬间或再稍稍提前一点地产生乐音。

即，在本实施方式中，发音指示生成部111检测在进行下挥动作后开始上挥动作的瞬间，作为演奏者在虚拟的乐器的打击面上敲打鼓棒部10的瞬间。即，发音指示生成部111在图4中的d所示的区间，将从静止状态，换言之从所施加的加速度仅仅为重力加速度的时刻(参照图4中的p2)进一步在负方向增加了规定值后的A点作为击打定时(发音定时)而检测。

而且，发音指示生成部111按照检测到该击打定时时进行发音的方式生成音符打开事件(发音指示信号)。

另外，发音指示生成部111根据与通过运动传感部14检测的鼓棒部10的运动有关的检测结果(运动传感器数据)，检测演奏者的鼓棒部10(演奏操作件)的下挥动作的速度、强度，鼓棒部10下挥后的位置、角度等。具体来说，例如，根据磁性传感器等的检测结果，判断鼓棒部10下挥后的位置为3个演奏区域ar1～ar3中的哪个演奏区域，根据加速度传感器等的检测结果，由下挥时的加速度等，判断打击的强度等。

在本实施方式中，在鼓棒控制单元11的图中未示出的ROM等的存储机构中，与在运动传感部14中已识别的演奏区域建立对应，存储虚拟的套鼓D(参照(图1B))的位置坐标数据。

在运动传感部14中可识别的演奏区域的数量，所建立对应的乐器的数量、种类没有特别的限制，但是，在本实施方式中，如图1A所示，虚拟地将演奏者的前面的空间分割为3个，设定演奏区域ar1～ar3(参照图1A)。另外，按照例如，在演奏区域ar1中为“踩镲”，在演奏区域ar2中为“小军鼓”，在演奏区域ar3中为“低音桶鼓”的方式，构成在本实施方式设想的虚拟的套鼓D(参照图1B)的打击乐器与各乐器的空间上的演奏区域ar1～ar3(参照图1A)的位置坐标等建立对应，并存储于ROM等的存储机构中。

另外，与各演奏区域ar1～ar3建立对应的乐器的种类并不限定于上述例子，演奏者等也可事后地变更、设定与各演奏区域ar1～ar3建立对应的乐器的种类。

而且，发音指示生成部111根据该虚拟的套鼓D的位置坐标数据和由运动传感部14的检测结果(例如，通过地磁性传感器等检测的方位等)指定的位置坐标数据，指示鼓棒部10打击的乐器，并且判断该乐器按照怎样的程度的速度、强度，在哪个定时被叩打等，根据该判断结果，生成发音指示信号(音符打开事件)，该发音指示信号指示以与叩打的速度、强度相对应的音量，在规定的击打定时发出规定的乐音。在发音指示生成部111中产生的发音指示信号(音符打开事件)可与可分别区分鼓棒部10A、10B的识别信息(鼓棒识别信息)建立对应，并且附加作为表示发送了该发音指示信号的时间的时间数据的时间戳，将其输出给中心单元部20。

图5A表示没有附加时间戳的发音指示信号(音符打开事件)的数据结构例子，图5B表示附加时间戳的发音指示信号(音符打开事件)的数据结构例子。

如图5A所示，在发音指示信号(音符打开事件)中没有附加时间戳的情况下，对例如第1字节部分分配表示音色(即，表示哪个乐器的音的乐音的种类)、表示进行击打的定时的数据等，对第2字节部分分配表示音量的发音强度(Velocity)等的数据。

此外，如图5B所示，在发音指示信号(音符打开事件)中附加有时间戳的情况下，与没有附加时间戳的情况相同，对第1字节部分和第2字节部分，分配音色、音量(发音强度(Velocity))、击打定时等的，确定发音本身的内容的数据，将第3字节部分和第4字节部分的14比特(bit)量分配给时间戳的数据。另外，图5B所示的“时间戳高(timestampHigh)”、“时间戳低(timestampLow)”分别为时分信息、秒信息。另外，发音指示信号(音符打开事件)的数据结构并不限于在这里列举的类型。

返回到图2，数据通信部16至少在其与中心单元20之间进行规定的无线通信。规定的无线通信可通过任意的方法而进行，在本实施方式中，通过红外线通信，进行其与中心单元20之间的无线通信。另外，基于数据通信部16的无线通信的方式并没有特别的限定。

在本实施方式中，数据通信部16用作下述的操作件通信机构，该机构在通过发音指示生成部111而生成的发音指示信号中附加时间数据，通过无线方式，发送给作为主体装置的中心单元部20。

另外，鼓棒部10的内部设置有电池18，电池18经由电源电路17，对鼓棒部10的各动作部进行供电。

电池18既可为一次电池，也可为可充电的二次电池。另外，内置电池18的方式不是必须的，也可为经由缆线等从外部接受供电的结构。

(中心单元部20的结构)

下面，如图2所示，中心单元部20包括主体控制单元21、音源数据存储部22、时间差数据存储部23、操作部24、音频电路25、声音输出部251、数据通信部26、电源电路27、电池28等。

音源数据存储部22存储各种音色的波形数据(即，各乐器的音源数据)，例如，低音鼓、踩镲、小军鼓、低音桶鼓、钹等的，构成在本实施方式中设想的假定套鼓D(参照图1B)的打击乐器的波形数据。在本实施方式中，另外，存储于音源数据存储部22中的音色的波形数据并不限定于这些打击乐器，例如，长笛、萨克斯管、小号等的管乐器，钢琴等的键盘乐器，吉他等的弦乐器的音色的波形数据也可存储于音源数据存储部22中。

此外，在时间差数据存储部23中，设置有作为时间缓存器的区域以及存储时间差的直方图数据的区域，该作为时间缓存器的区域保存附加于发音指示信号中的时间戳本身，和/或在后述的主体控制单元21中计算出的、在发音指示信号(音符打开事件)中附加的时间数据(时间戳)中所示的时间和中心单元部20的主体控制单元21的计时器的时间(系统计时器的时间)的时间差(差分、误差)等。在本实施方式中，时间缓存器经常存储最近100个的数据，按照如果获得新的数据(直方图、时间差数据)，则删除已存储的数据中的1个最旧的数据，而替换为新的数据的方式，所存储的数据内容动态地变化。

在本实施方式中，发音指示信号的时间戳与中心单元部20的系统计时器的时间差每当获得发音指示信号(音符打开事件)时计算，已计算的时间差依次存储于时间差数据存储部23中。

主体控制单元21由例如，MCU(MicroControlUnit)等构成，CPU(CentralProcessingUnit)、ROM(ReadOnlyMemory)等的存储器，作为计时机构的计时器(系统计时器)等组装于一个集成电路中。

主体控制单元21进行中心单元部20整体的控制。主体控制单元21的各种功能通过CPU和存储于存储器中的程序的共同作用而实现。另外，进行中心单元部20的整体的控制的功能部的结构并不限于在这里列举的类型。例如，也可不为由MCU构成的类型，而为CPU、ROM、计时器等分别装载于衬底等上的类型。

在主体控制单元21的存储器中，存储有主体控制单元21执行的各种处理的处理程序。另外，在存储器中，存储有可分别区分鼓棒部10A、10B的识别信息(鼓棒部识别信息)，主体控制单元21将附加于从各鼓棒部10A、10B送来的信息中的鼓棒部识别信息与存储于存储器中的鼓棒部识别信息进行对照，由此，可确定信息(信号)发送方的鼓棒部10A、10B。

另外，在本实施方式中，主体控制单元21用作下述的发音定时调整机构，该机构计算在发音指示信号(音符打开事件)中附加的时间数据(时间戳)所示的时间和在作为主体通信机构的数据通信部26中接收到该发音指示信号的时间的差分，每当接收发音指示信号时，制作该差分的直方图，并且根据该直方图，调整基于作为发音机构的声音输出部251的发音指示信号的发音的定时。

图6A为附加于发音指示信号(音符打开事件)中的时间数据(时间戳)所示的时间与在中心单元部20的数据通信部26中接收到该发音指示信号的时间的差分(时间差、误差)的曲线图。

在本实施方式中，鼓棒部10的鼓棒控制单元11包括构成系统计时器的时钟输入的独立的振子。另外，同样地，中心单元部20的主体控制单元21也包括构成系统计时器的时钟输入的独立的振子。由此，在作为信号发送方的鼓棒部10的系统计时器和作为信号接收侧的中心单元部20的系统计时器中，不可避免地产生偏差(误差)。

例如，在发送侧的鼓棒控制单元11和接收侧的主体控制单元21均将日差5秒的表用作系统计时器的情况下，在发送侧的鼓棒控制单元11和接收侧的主体控制单元21之间，在24小时中，具有最大10秒的误差，这意味着在几乎等于普通的曲1曲量的长度的5分钟的期间，产生35msec的偏差。由于一般来讲人在时间差为10msec以上时可感觉到该时间差，因此对于乐器的演奏而言，在5分钟的期间产生35msec的偏差是不能够忽略的时间差。

如图6A所示，在发送侧的鼓棒控制单元11的系统计时器和接收侧的主体控制单元21的系统计时器之间产生的时间差(误差)呈现基本直线地增加的位移。

这样，在发送侧和接收侧的系统时钟具有时间差的情况下，即使在通过某方法，两者的时间对准的情况下，伴随时间的推移，还会再次产生时间差(误差)。

在本实施方式中，主体控制单元21计算附加于发音指示信号(音符打开事件)中的时间数据(时间戳)所示的时间和在作为主体通信机构的数据通信部26中接收到该发音指示信号的时间的差分(时间差、误差)，每当接收发音指示信号时，制作该差分(时间差)的直方图。

另外，新获得的发音指示信号的时间戳数据、新计算的时间差数据存储于时间差数据存储部23的时间缓存器中。

图6B表示在主体控制单元21中制作的时间差的直方图的一个例子。

在图6B所示的直方图中，作为时间戳所示的时间和主体控制单元21的系统计时器的时间差(误差)，表明15msec的时间差(误差)的频率最高。

在本实施方式中，如图6A所示，主体控制单元21根据最近100个的时间差数据，制作直方图。主体控制单元21每当接收新的发音指示信号(音符打开事件)，获得时间戳时，计算该发音指示信号的时间戳所示的时间和主体控制单元21的系统计时器的时间差(误差)。另外，如果新获得时间差数据，则主体控制单元21删除存储于时间缓存器中的时间差数据中的最旧的数据，从构成直方图的数据中扣除，将新获得的时间差数据代替它，而存储于时间缓存器中，并且根据更新的时间差数据，制作(更新)直方图。

另外，用于直方图的制作的时间差数据的数量并不限于最近100个的量，也可根据更多的数据而制作直方图。

主体控制单元21根据该直方图，调整基于发音机构的声音输出部251的发音指示信号的发音定时。

此外，在本实施方式中，主体控制单元21还考虑通信状况、通信方式等造成的外部原因的通信时间的延迟(delay)，进行发音的定时的调整。

图7为表示通信状况、通信方式等造成的外部原因的通信时间的延迟(delay)的一个例子的曲线图，与图6A相同，为按照时间轴而表示在几乎等于普通的曲1曲量的长度的5分钟的期间，产生的通信时间的延迟的曲线图。

如图7所示，外部原因造成的通信时间的延迟，不一定伴随时间的推移直线地增加，而随机地产生。

在实际的信号的发送接收中，在图6A所示的发送侧和接收侧的系统计时器的时间差造成的偏差中，对应于图7所示的通信方式等的外部原因造成的通信时间的延迟，生成整体的通信时间的偏差。

图7所示的外部原因造成的通信时间的延迟可通过求出例如，频率、平均值的方式而应对。

在本实施方式中，主体控制单元21根据一定时间量的数据，计算外部原因造成的通信时间的延迟的频率，将其在后述的发音定时调整处理中作为属于设定延迟的“指定时间”(参照图9)而考虑。

图8A～图8D为表示没有进行主体控制单元21的发音定时调整处理的情况下和进行发音定时调整处理的情况下的发音定时的偏差的曲线图。

图8A为没有进行任何的调整的情况下，发音定时发生较大的偏差。图8B为进行5ms延迟调整的情况下，图8C为进行10ms延迟调整的情况下，图8D为进行15ms延迟调整的情况下，伴随延迟调整时间的增加，整体的时间慢，但是，对应于延迟发音的情况，使整体延迟，发音定时的偏差大大改善，成为人的耳朵无法感觉的程度的误差的范围的偏差。

返回到图2，操作部24接收基于演奏者的输入操作的输入信息。作为输入信息，包括例如，发出的乐音的音量、发出的乐音的音色的变更、演奏动作的开始、结束的指示等。

另外，中心单元部20包括音频电路32和由扬声器等构成的音声输出部251。

在音频电路32中，基于发音指示信号的乐音数据从主体控制单元21输出，音频电路32将从主体控制单元21输出的乐音数据变换为模拟信号，对经变换的模拟信号进行放大，输出给声音输出部251。

声音输出部251为例如扬声器等，为发出基于在主体控制单元21中产生的乐音数据的乐音的发音机构。音声输出部251在作为发音定时调整机构的主体控制单元21进行调整后的定时，根据发音指示信号，发出规定的乐音。

此外，声音输出部251并不限于扬声器，还可为将声音输出给耳机等的输出端子等。

还有，数据通信部26至少在其与鼓棒部10之间，进行规定的无线通信。规定的无线通信可通过任意的方法而进行，在本实施方式中，通过红外线通信，进行其与鼓棒部10之间的无线通信。另外，基于数据通信部16的无线通信的方式没有特别的限定。

在本实施方式中，数据通信部26用作主体通信机构，通过无线方式，从作为演奏操作件的鼓棒部10接收附加有时间数据的发音指示信号。

另外，中心单元部20内置有电池28，电池28经由电源电路27，对中心单元部20的各动作部进行供电。

电池28既可为一次电池，也可为可充电的二次电池。另外，内置电池28的方式不是必须的，也可为经由缆线等，从外部接收供电的结构。

(乐音发生装置1的处理)

下面参照图9和图10，对乐音发生装置1的处理进行说明。图9为表示发音调整处理的流程图，图10为表示直方图更新处理的流程图。

如图9所示，如果中心单元部20的主体控制单元21从鼓棒部10，接收发音指示信号(音符打开事件)(步骤S1)，则从该发音指示信号(音符打开事件)，提取作为时间数据的时间戳(步骤S2)。

主体控制单元21在提取时间戳时，读取系统计时器(步骤S3)，计算时间戳所示的时间，与系统计时器的时间的时间差(步骤S4)。所计算的时间差数据存储于时间缓存器中。如果计算鼓棒部10侧(即，发送侧)和中心单元部20侧(即，接收侧)的系统计时器的时间差，则主体控制单元21进行直方图的更新处理(步骤S5)。

图10表示主体控制单元21的直方图更新处理的流程图。

在本实施方式中，如果新计算时间差，则主体控制单元21从时间缓存器中读取存储于时间差数据存储部23的时间缓存器中的时间差数据中的，最旧的时间差数据(步骤S11)，从直方图的该数据中扣除该最旧的引间差数据(步骤S12)。另外，代替该最旧的时间差数据，新获得的本次的(最新的)时间差数据存储于时间缓存器中(步骤S13)。接着，主体控制单元21根据该更新的时间差数据，通过最近100个的时间差数据，制作直方图，进行直方图的更新(步骤S14)。

如果直方图的更新处理完成，则返回到图9，主体控制单元21判断本次新计算的时间差(直方图所示的时间和系统计时器的时间的时间差)是否早于更新的直方图的最大频率的时间差(例如，在图6(B)的直方图的情况下，为15msec)加上“指定时间”(即，考虑了外部因素造成的延迟时间的规定的设定延迟)后的时间(步骤S6)。

接着，在判定本次新计算的时间差不早于更新的直方图的最大频率的时间差加上“指定时间”后的时间(即，相同或晚于)的情况下(步骤S6，“否”)，马上按照该发音指示信号，从声音输出部251发出规定的乐音(步骤S7)。另一方面，在判定本次新计算的时间差早于更新的直方图的最大频率的时间差加上“指定时间”后的时间的情况下(步骤S6，“是”)，不进行发音而等待提早的时间差的量(步骤S8)。在提早量的时间经过后，按照该发音指示信号，从声音输出部251发出规定的乐音(步骤S7)。即，在该情况下，通过主体控制单元21判断的延迟时间(直方图的最大频率的时间差加上“指定时间”后的时间)与发音指示信号所示的发音定时相加，从声音输出部251发出规定的乐音。

如上述那样，如果采用本实施方式的乐音发生装置1，则根据鼓棒部10主体的运动，生成发音指示信号，在生成的发音指示信号中附加时间数据，通过无线方式发送给中心单元部20，中心单元部20计算附加于接收到的发音指示信号中的时间数据所示的时间和接收了该发音指示信号的时间的差分，每当接收发音指示信号时，制作该差分的直方图，并且根据该直方图，调整基于发音指示信号的发音的定时，在调整后的定时，根据发音指示信号，从声音输出部251发出规定的乐音。

由此，即使在作为发送侧的鼓棒部10的系统计时器，与作为接收侧的中心单元部20侧的系统计时器的时间发生偏差的情况下，仍可减小该时间差的发音定时的偏差。由此，可使从演奏者进行演奏操作，到发出乐音的时间基本一定，例如，即使在打击乐器中连续击打打击面的情况那样的以快节奏进行演奏操作的情况下等，也不会感觉到不自然，能够在没有不适感的情况下进行演奏。

特别是在发送侧的鼓棒部10具有多个的情况下，如果通过各自的鼓棒部10的操作，发音定时产生偏差，则对演奏者产生不适感。在此方面，如本实施方式那样，可通过考虑时间差来调整发音定时，由此防止本是同时叩打的演奏操作却进行具有时间差的发音等的不良状况，从而能够进行没有不适感的自然的演奏。

另外，在本实施方式中，作为发音定时调整机构的主体控制单元21根据直方图，每当各发音指示信号时，判断使基于发音指示信号的发音延迟的延迟时间，将已判断的延迟时间与发音指示信号所示的发音定时相加，从作为发音机构的声音输出部251，发出规定的乐音。由此，可考虑在直方图中出现的最大频率的延迟时间，调整发音定时，可将基于时间差的发音定时的偏差抑制在最小限度，可实现没有不适感的演奏。

此外，以上对本发明的实施方式进行了说明，但是，显然，本发明并不限定于上述各实施方式，在不脱离其实质的范围内，可进行各种的变形。

例如，在上述实施方式中，不仅考虑鼓棒部10(信号发送侧)和中心单元部20(信号接收侧)的系统计时器的时间差，而且考虑外部因素造成的延迟时间(即，在直方图中的最大频率的值中加上“指定时间”)，进行发音定时的调整，但是，在发音定时的调整中，考虑外部因素造成的延迟时间不是必须的，还可仅仅根据信号发送侧和信号接收侧的系统计时器的时间差，进行发音定时的调整。

还有，在本实施方式中，作为通过作为检测机构的运动传感部14而获得的运动传感器数据，仅仅列举了通过加速度传感器测定的加速度的数据，但是，运动传感器数据的内容并不限于此，例如，也可通过陀螺仪测定角加速度，并采用该测量值。

再有，在本实施方式中，对在鼓棒部10上没有围绕平行轴的旋转的情况进行了说明，但是，同样对于这些旋转等，也可通过角加速度传感器等测定而应对。

在本实施方式中，乐音发生装置1为下述的结构，其包括鼓棒部10的运动传感部14，作为检测基于演奏者的演奏操作的鼓棒部10(演奏操作件)的状态(例如，下挥位置、下挥速度、下挥角度等)的检测机构，但是，检测机构并不限于在这里列举的类型，例如，运动传感部14也可包括压力传感器等，除了各种图像传感器之外，还可以适用激光、超声波、其它的可测定距离、角度的各种传感器。

另外，在本实施方式中，作为虚拟的打击乐器，以虚拟的套鼓D(参照图1B)为例而进行了说明，但是，并不限于此，本发明可用于通过鼓棒部10的下挥动作来发出乐音的木琴等的其它的乐器。

此外，在本实施方式中，以作为发音机构的声音输出部251设置于中心单元部20的内部的情况为例而进行了说明，发音机构也可独立于中心单元部20而构成。在此情况下，按照下述方式构成，该方式为：发音机构和中心单元部20通过有线或无线方式连接，按照来自中心单元部20的指示信号，发音机构进行规定的发音。

还有，在本实施方式中，以演奏操作件为杆状的鼓棒部10的情况为例子，但是，演奏操作件并不限于此，也可为箱型，鼓棒以外的形状的类型，还可将例如，便携电话机等的便携终端装置用作演奏操作件。

由于乐音发生装置1通过借助演奏操作件进行叩打空间的演奏动作来发出规定的乐器的音，实际上演奏操作件不打击乐器的打击面，因此即使在将便携终端装置等的精密的电子设备用作演奏操作件的情况下，也没有演奏操作件破损的危险。

以上对本发明的几个实施方式进行了说明，本发明的范围并不限定于上述实施方式，包括在权利要求书中记载的发明的范围和其等同的范围。

Claims (3)

1.一种音发生装置，其特征在于，包括：

接收机构，接收被附加了时间数据的发音指示信号；

差分计算机构，每当接收到被附加了上述时间数据的发音指示信号时，计算该接收到的时间数据所示的定时与在上述接收机构中接收到该发音指示信号的定时的差分；

直方图制作机构，每当计算出上述差分时，根据该计算出的差分和在过去计算出的差分来制作直方图；以及

定时控制机构，每当计算出上述差分时，根据该计算出的差分和上述制作的直方图中的频率最高的差分，控制将上述接收到的发音指示信号向所连接的发音机构供给的定时，

上述定时控制机构判断上述计算出的差分是否大于上述频率最高的差分，在判定为大于的情况下，将上述接收到的发音指示信号立即向上述发音机构供给，并且，在判定为不大于的情况下，在将接收到上述发音指示信号的定时加上上述频率最高的差分后得到的定时，将上述接收到的发音指示信号向上述发音机构供给。

2.根据权利要求1所述的音发生装置，其特征在于，

上述音发生装置还包括能够由演奏者保持的演奏操作件；

上述演奏操作件包括：

运动检测机构，检测该演奏操作件主体的运动；

发音指示生成机构，根据通过上述运动检测机构检测出的上述演奏操作件主体的运动，生成将发音指示提供给上述发音机构的发音指示信号；以及

发送机构，在通过上述发音指示生成机构生成的上述发音指示信号中附加表示发送的定时的时间数据后加以发送。

3.一种音发生方法，其特征在于，包括：

接收被附加了时间数据的发音指示信号；

每当接收到被附加了上述时间数据的发音指示信号时，计算该接收到的时间数据所示的定时和接收到该发音指示信号的定时的差分；

每当计算出上述差分时，根据该计算出的差分和在过去计算出的差分来制作直方图；

每当计算出上述差分时，根据该计算出的差分和上述制作的直方图中的频率最高的差分，控制将上述接收到的发音指示信号向所连接的发音机构供给的定时；以及

判断上述计算出的差分是否大于上述频率最高的差分，在判定为大于的情况下，将上述接收到的发音指示信号立即向上述发音机构供给，并且，在判定为不大于的情况下，在将接收到上述发音指示信号的定时加上上述频率最高的差分后得到的定时，将上述接收到的发音指示信号向上述发音机构供给。