CN102648606B - 终端装置、声音输出方法以及信息处理系统 - Google Patents

Abstract

在声音输出终端装置(100)中，缓存器控制部(122)依照在指示接受部(120)中所设定指示的声音输出模式来调节抖动缓存器(128)的缓存器大小。当指示接受部(120)收到要求声音输出的低延迟的声音输出模式的设定指示时，缓存器控制部(122)缩小抖动缓存器(128)的缓存器大小。另外，缓存器控制部(122)依照所设定指示的声音输出模式，控制中间缓存器向抖动缓存器(128)发送声音包的定时。

Description

终端装置、声音输出方法以及信息处理系统

技术领域

本发明涉及终端装置，尤其涉及一种接收声音包而进行声音输出的终端装置、以及具有声音输出终端装置的系统。

背景技术

利用了蓝牙(Bluetooth)(注册商标)协议的近距离无线通信系统正被开发并被实用化。在这样的近距离无线通信系统中，能够不使用线缆而在个人计算机、打印机、数字照相机等电子设备之间进行连接。近年来，利用了蓝牙协议的耳机也正在被开发。无线耳机不需要与音源之间进行连接的线缆，因此其具有的一个优点是，在例如用户聆听音乐时，能够从线缆缠绕等繁琐中解放出来。

现有技术文献

专利文献

专利文献1：日本特开2003-309541号公报

发明内容

发明要解决的课题

便携式的游戏装置正在普及，用户能够在电车内、室外等各种环境下享受游戏的乐趣。在为了聆听游戏声音而使用无线耳机时，经由耳机而输出的游戏声音相对于显示在游戏装置的显示器上的游戏图像必然会产生延迟。在动作类游戏、节奏类游戏等游戏中，游戏进展较快，游戏声音相对于游戏图像延迟较大并不理想。另一方面，在RPG类游戏等游戏中，游戏的进展比较缓慢，针对游戏声音相对于游戏图像的延迟的要求并不那样苛刻。另外，如音乐再现的应用那样不要求声音与图像的同步时，往往允许声音相对于图像的延迟。

因此，本发明的目的在于，提供这样一种技术，其根据需要调整被无线发送的声音包从被发送到被输出声音为止的时间。

用于解决课题的手段

为了解决上述问题，本发明一个方案的终端装置包括：接收声音包的接收部；暂时存储接收到的声音包的抖动缓存器；调节抖动缓存器的缓存器大小的缓存器控制部；对从抖动缓存器输出的声音包进行解码的声音解码部；以及接受声音输出模式的设定指示的指示接受部。缓存器控制部依照在指示接受部中所设定指示的声音输出模式，调节抖动缓存器的缓存器大小。

本发明的另一方案是一种声音输出方法。该声音输出方法包括：接受声音输出模式的设定指示的步骤；依照所设定指示的声音输出模式，调节暂时存储声音包的抖动缓存器的缓存器大小的步骤；接收声音包的步骤；将接收到的声音包提供给被调节了缓存器大小的抖动缓存器的步骤；以及对从抖动缓存器输出的声音包进行解码的步骤。

本发明的另一方案是一种信息处理系统。该信息处理系统包括对显示器输出图像的信息处理装置，和接收从信息处理装置无线发送的声音包而输出声音的声音输出终端装置。信息处理装置包括：生成图像信号和声音信号的应用处理部；处理所生成的图像信号而从显示器输出图像的图像信号处理部；处理所生成的声音信号而生成声音包的声音信号处理部；以及发送声音包的发送部。声音输出终端装置包括：接收声音包的接收部；暂时存储接收到的声音包的抖动缓存器；调节抖动缓存器的缓存器大小的缓存器控制部；对从抖动缓存器输出的声音包进行解码的声音解码部；以及接受声音输出模式的设定指示的指示接受部。缓存器控制部依照在指示接受部中所设定指示的声音输出模式来调节抖动缓存器的缓存器大小。

以上结构要素的任意组合、以及将本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间进行转换后得到的方案作为本发明的方案也是有效的。

附图说明

图1是表示本发明实施例的信息处理系统的图。

图2是蓝牙的状态转变图。

图3是表示本实施例的信息处理装置的外观结构的图。

图4是表示信息处理装置的功能块的图。

图5是表示本实施例的声音输出终端装置的外观结构的图。

图6是表示声音输出终端装置的功能块的图。

图7是表示通过缓存器控制部进行调节的抖动缓存器的缓存器大小的图。

具体实施方式

图1示出本发明实施例的信息处理系统1。信息处理系统1包括执行应用的信息处理装置10，以及接收从信息处理装置10无线发送来的声音包而输出声音的声音输出终端装置100。

信息处理装置10执行应用而生成图像信号和声音信号。例如可以是信息处理装置10执行游戏应用，生成游戏图像信号和游戏声音信号。信息处理装置10具有显示器，对图像信号进行处理而使图像从显示器输出。另一方面，信息处理装置10将声音信号转换为声音包，将其向声音输出终端装置100进行无线发送。声音输出终端装置100例如可以是无线耳机，对接收到的声音包进行解码而输出声音。信息处理装置10和声音输出终端装置100例如使用蓝牙协议而无线连接。

图2示出蓝牙的状态转变图。如图2所示，蓝牙终端的状态能够分为等待阶段、同步建立阶段、通信连接阶段。

在信息处理装置10和声音输出终端装置100的电源刚接通后或切断了通信连接时，信息处理装置10和声音输出终端装置100进入“等待”状态。在“等待”状态中，并不进行数据的收发。在同步建立阶段中存在如下两个状态：信息处理装置10针对周边的包含声音输出终端装置100的终端设备进行连接问询，即“询问”的状态；信息处理装置10和声音输出终端装置100分别相互识别而进行“呼叫”的状态。在“询问”状态中，信息处理装置10针对位于附近的终端设备广播IQ(询问)包。接收到IQ包的声音输出终端装置100将包含蓝牙地址和时钟信息的FHS(Frequency Hop Synchronization)包返回给信息处理装置10。

例如信息处理装置10呼叫声音输出终端装置100时，信息处理装置10从声音输出终端装置100接受FHS包，在掌握到存在怎样的声音输出终端装置100后，对特定的声音输出终端装置100发送ID包。当从特定的声音输出终端装置100返回针对ID包的响应时，信息处理装置10将FHS包发送给声音输出终端装置100，将自己的地址和时钟通知给声音输出终端装置100。由此，信息处理装置10和声音输出终端装置100能够共用相同的跳频模式(hopping pattern)。在声音输出终端装置100呼叫信息处理装置10的情况下，交换以上处理中的动作主体。

当进行“呼叫”时，在声音输出终端装置100和信息处理装置10之间形成微微网(Piconet)，进入到“连接”状态。微微网指的是蓝牙终端之间接近时，终端之间暂时地形成的网络，最大能够8台蓝牙终端参加到1个微微网。在1个微微网中，进行了呼叫的装置作为母机(主机)发挥作用，最大能够与7台子机(从机)连接。当变为“连接”状态时，用于通信连接设定的控制包被收发，由此能够进行“数据传送”。在信息处理系统1中，声音输出终端装置100进行呼叫而成为主机时，在声音输出终端装置100与信息处理装置10之间切换主机与从机的作用。通过该切换，信息处理装置10变为主机，声音输出终端装置100变为从机。

图3表示本实施例的信息处理装置10的外观结构。信息处理装置10具有可滑动地连接的上侧壳体20和下侧壳体30。图3中表示了将下侧壳体30相对于上侧壳体20滑动，设于下侧壳体30的前面的操作键露出于外部的打开状态的信息处理装置10。

在上侧壳体20的前面设有显示器23。在下侧壳体30的前面设有方向键31a、31b、31c、31d(以下在统称时称为“方向键31”)、模拟板(analog pad)32、扬声器33、开始按钮34、选择按钮35、操作按钮36a、36b、36c、36d(以下在统称时称为“操作按钮36”)。

信息处理装置10也可以是便携式游戏机。用户使信息处理装置10处于打开状态，执行游戏应用。用户一边把持信息处理装置10一边操作方向键31、操作按钮36等而享受游戏。在显示器23显示游戏图像，游戏声音被发送到以蓝牙协议连接着的声音输出终端装置100。

图4示出信息处理装置10的功能块。信息处理装置10具有操作输入接受部40、应用处理部42、图像信号处理部44、声音信号处理部46以及通信部48。操作输入接受部40接受用户进行的方向键31、操作按钮36的操作输入。应用处理部42执行游戏应用，反映来自用户的操作输入而使游戏进行，生成游戏的图像信号和声音信号。该图像信号和声音信号本来应该是同步地分别被作为游戏图像、游戏声音而输出的。

图像信号被提供给图像信号处理部44，图像信号处理部44处理图像信号，从显示器23输出图像。声音信号被提供给声音信号处理部46，声音信号处理部46处理声音信号而生成声音包。声音信号处理部46依照MTU(Maximum Transmission Unit：最大传输单位)确定声音包的大小。在此，MTU是表示通信部48在1次的数据传送中能够发送的包数据的最大值的值。在信息处理装置10与声音输出终端装置100之间形成的微微网中，若声音输出终端装置100的MTU小于信息处理装置10的MTU，则声音信号处理部46按照声音输出终端装置100的MTU的大小确定声音包的大小。通信部48将由声音信号处理部46所生成的声音包发送给声音输出终端装置100。

图5示出本实施例的声音输出终端装置100的外观结构。图5的(a)是声音输出终端装置100的主视图，图5的(b)是声音输出终端装置100的右视图，图5的(c)是声音输出终端装置100的俯视图。声音输出终端装置100具有操作开关102、电源按钮104、模式切换开关106、USB(Universal SerialBus)插口108以及耳机端子110。操作开关102由用户所操作，用于调整游戏声音的音量。模式切换开关106由用户操作，用于指示声音输出模式的设定。USB插口108为对声音输出终端装置100进行充电而设置，通过插入到与PC连接的USB线缆的连接器，从而声音输出终端装置100被充电。耳机端子110被插入耳机的连接器。

在本实施例中，用户操作模式切换开关106设定是通常模式和低延迟模式中的哪一者。通常模式是通常的声音输出模式，低延迟模式是与通常模式相比要求声音输出的低延迟的声音输出模式。在低延迟模式中实现声音输出的低延迟，具有输出声音相对于输出图像的延迟被降低的优点，另一方面，在通常模式中，具有与低延迟模式相比能够降低断音的可能性、或者省电效果高等优点。用户根据所要执行的应用设定声音输出模式。

图6示出声音输出终端装置100的功能块。声音输出终端装置100具有指示接受部120、缓存器控制部122、通信部124、中间缓存器(Media Buffer)126、抖动缓存器128、声音解码部130以及扬声器132。声音输出终端装置100的功能通过CPU、存储器、载入到存储器中的程序等实现，在此描述通过它们的合作而实现的功能块。因此，本领域技术人员当理解，这些功能块能够仅由硬件、仅由软件、或者软硬件的组合等各种方式来实现。

在包通信系统中，由于包传送的延迟时间发生变动，因此在实时通信中，传送延迟的晃动(抖动)会对通信品质带来很大影响。作为针对抖动的解决方案，在声音包的接收终端设有用于吸收抖动的缓存器(抖动缓存器)。在接收终端中，当抖动缓存器储存了预定的缓存器大小的量的声音包时，预定时间量的声音包被从抖动缓存器读出到声音解码部，进行声音再现。本实施例的声音输出终端装置100也从信息处理装置10实时地发送声音包，因此构成为具有用于吸收抖动的抖动缓存器128。抖动缓存器128是FIFO形式的存储器。

通信部124接收从信息处理装置10发送的声音包。抖动缓存器128暂时存储声音包。在通信部124与抖动缓存器128之间设有暂时存储由通信部124接收到的声音包而发送到抖动缓存器128的中间缓存器126。缓存器控制部122管理中间缓存器126和抖动缓存器128，控制各自的动作。声音解码部130对从抖动缓存器128输出的预定时间量的声音包进行解码，扬声器132输出声音。

中间缓存器126将由通信部124接收到的声音包以预定的周期发送到抖动缓存器128。由此容易进行抖动缓存器128中的缓冲处理，能够进行将缓存器大小取为声音包的输出阈值的控制。中间缓存器126是以将声音包周期性地发送到抖动缓存器128的目的而设置的，因此不需要暂时存储许多声音包。因此，中间缓存器126的大小小于抖动缓存器128的大小。缓存器控制部122控制中间缓存器126向抖动缓存器128发送声音包的定时(timing)，具体而言，设定中间缓存器126向抖动缓存器128发送声音包的周期。

在本实施例的声音输出终端装置100中，从中间缓存器126发送的声音包的存储量达到抖动缓存器128的缓存器大小时，从抖动缓存器128向声音解码部130输出预定时间量的声音包。这样，抖动缓存器128的缓存器大小将对用于解码声音包的定时带来影响。因此，通过减小缓存器大小，能够减小声音再现所带来的延迟。因此，缓存器控制部122依照由用户所指示的声音输出模式调节抖动缓存器128的缓存器大小。

当用户使模式切换开关106变动时，指示接受部120接受模式切换开关106的变动作为声音输出模式的设定指示。模式切换开关106在第一位置和第二位置之间变动。当模式切换开关106从第一位置变动到第二位置时，指示接受部120接受低延迟模式的设定指示；当从第二位置变动到第一位置时，接受通常模式的设定指示。

当指示接受部120收到通常模式的设定指示时，缓存器控制部122将抖动缓存器128的缓存器大小取为M(字)。另一方面，指示接受部120收到低延迟模式的设定指示时，缓存器控制部122将抖动缓存器128的缓存器大小取为N(字)(N＜M)。在低延迟模式中，缓存器控制部122使抖动缓存器128的缓存器大小与通常模式的情况相比缩小。

图7示出由缓存器控制部122调节的抖动缓存器128的缓存器大小。在通常模式中，缓存器大小被设定为M字，在低延迟模式中，缓存器大小被设定为N字。在本实施例的声音输出终端装置100中，声音包的存储量达到由缓存器大小所确定的数据量时，预定时间量的声音包(在图示的例子中，L字量的声音包)输出到声音解码部130(L≤N)。因此，在低延迟模式中，通过缩小抖动缓存器128的缓存器大小，与通常模式相比，能够省略(M-N)字量的声音包存储到抖动缓存器128所需的时间，能够以低延迟输出声音。将N/M的值例如设为1/4以下，从而与通常模式相比能够有效地实现低延迟的声音输出。

也可以是，缓存器控制部122根据在指示接受部120中所设定指示的声音输出模式，调节中间缓存器126向抖动缓存器128发送声音包的定时。当指示接受部120收到通常模式的设定指示时，缓存器控制部122将中间缓存器126向抖动缓存器128发送声音包的周期设为T1。另一方面，当指示接受部120收到低延迟模式的设定指示时，缓存器控制部122将中间缓存器126向抖动缓存器128发送声音包的周期设为T2(T2＜T1)。在低延迟模式中，与通常模式时相比，缓存器控制部122缩短设定中间缓存器126的声音包的发送周期。

在低延迟模式中使中间缓存器126的声音包的发送周期变短，则声音包存储到抖动缓存器128中的速度提高。因此，与通常模式的情况相比，抖动缓存器128中声音包的存储量达到缓存器大小的定时提前，因此能够使声音包从抖动缓存器128输出到声音解码部130的定时也提前，能够低延迟地输出声音。

另外也可以是，缓存器控制部122依照在指示接受部120中所设定指示的声音输出模式调整MTU。当指示接受部120收到通常模式的设定指示时，缓存器控制部122将MTU设定为X(字节)。另一方面，当指示接受部120收到低延迟模式的设定指示时，缓存器控制部122将MTU设定为Y(字节)(Y＜X)。在低延迟模式中，缓存器控制部122与通常模式的情况相比较小地设定MTU。

当在低延迟模式中将MTU设定为较小时，从信息处理装置10向声音输出终端装置100发送的声音包的到达定时提前。因此，与通常模式的情况相比，声音包存储到抖动缓存器128中的定时提前，因此能够使声音包从抖动缓存器128输出到声音解码部130的定时提前，能够低延迟地输出声音。

当然，改变MTU后，需要重新设定信息处理装置10与声音输出终端装置100之间的通信连接。因此，当改变了MTU时，暂时切断通信连接，使用新的MTU，重新设定信息处理装置10与声音输出终端装置100之间的通信连接。MTU的信息是在信息处理装置10与声音输出终端装置100之间呼叫时被收发的。

以上说明了在低延迟模式下缓存器控制部122执行抖动缓存器128的缓存器大小的设定、中间缓存器126的声音包发送周期的设定、以及MTU的设定的情况。为了实现低延迟的声音输出，优选这3个设定全都被执行，但也可以是执行其中的一个或其中的两个。优选在3者均未被执行的情况下，抖动缓存器128的缓存器大小的设定被执行。另外，当使抖动缓存器128的缓存器大小变小时，通过缩短中间缓存器126的声音包发送周期，能够更有效地实现低延迟的声音输出。抖动缓存器128的缓存器大小的设定、中间缓存器126的声音包发送周期的设定能够同时执行而不会进行通信连接的重新设定，因此也可以将它们合并执行。

以上，基于实施例说明了本发明。本领域技术人员当理解该实施例是个例示，可以对其各结构要素、各处理过程的组合进行各种各样的变形，并且这样的变形例也包含在本发明的范围内。

在实施例中，信息处理装置10执行了游戏应用。此外，对于图像与声音连动的应用，例如再现电影等影像内容的应用等对图像与声音同步输出的要求较高的应用，也能有效地适用本实施例的信息处理装置10。

另外，在实施例中，在低延迟模式下，是将抖动缓存器128的缓存器大小设定为N字的，但也可以是缓存器控制部122根据通信环境而将N字作为基准来变动缓存器大小。尤其是在通信环境较差的情况下，通过将缓存器大小设定在N字～2N字的范围内，能够吸收抖动并与通常模式相比实现声音输出的低延迟。

标号说明

1...信息处理系统、10...信息处理装置、40...操作输入接受部、42...应用处理部、44...图像信号处理部、46...声音信号处理部、48...通信部、100...声音输出终端装置、102...操作开关、104...电源按钮、106...模式切换开关、108...USB插口、110...耳机端子、120...指示接受部、122...缓存器控制部、124...通信部、126...中间缓存器、128...抖动缓存器、130...声音解码部、132...扬声器。

工业可利用性

本发明能够适用于声音输出技术。

Claims (5)

1.一种终端装置，其特征在于，包括：

接收声音包的接收部，

暂时存储接收到的声音包的抖动缓存器，

在上述接收部与上述抖动缓存器之间，存储由上述接收部接收到的声音包并将其发送给上述抖动缓存器的中间缓存器，

调节上述抖动缓存器的缓存器大小的缓存器控制部，

解码从抖动缓存器输出的声音包的声音解码部，以及

接受声音输出模式的设定指示的指示接受部；

其中，上述缓存器控制部依照在上述指示接受部中所设定指示的声音输出模式，来调节上述抖动缓存器的缓存器大小，并且控制上述中间缓存器向上述抖动缓存器发送声音包的定时，

当上述指示接受部收到要求声音输出的低延迟的声音输出模式的设定指示时，上述缓存器控制部使上述中间缓存器向上述抖动缓存器发送声音包的周期变短。

2.根据权利要求1所述的终端装置，其特征在于：

当上述指示接受部收到要求声音输出的低延迟的声音输出模式的设定指示时，上述缓存器控制部缩小上述抖动缓存器的缓存器大小。

3.根据权利要求1或2所述的终端装置，其特征在于，

当上述指示接受部收到要求声音输出的低延迟的声音输出模式的设定指示时，上述缓存器控制部使1次数据传送中所能发送的包数据的最大值即MTU变小。

4.一种声音输出方法，其特征在于，包括：

接受声音输出模式的设定指示的步骤，

根据所设定指示的声音输出模式，调节暂时存储声音包的抖动缓存器的缓存器大小的步骤，

根据所设定指示的声音输出模式，控制由暂时存储声音包的中间缓存器向抖动缓存器发送声音包的定时的步骤，

接收声音包的步骤，

将接收到的声音包提供给中间缓存器的步骤，

将在中间缓存器中存储的声音包在被控制的定时提供给被调节了缓存器大小的抖动缓存器的步骤，以及

对从抖动缓存器输出的声音包进行解码的步骤，

在根据所设定指示的声音输出模式，控制由中间缓存器向抖动缓存器发送声音包的定时的步骤中，当收到要求声音输出的低延迟的声音输出模式的设定指示时，使上述中间缓存器向上述抖动缓存器发送声音包的周期变短。

5.一种信息处理系统，具有对显示器输出图像的信息处理装置，和接受从信息处理装置无线发送的声音包而输出声音的声音输出终端装置，该信息处理系统的特征在于，

上述信息处理装置包括：

生成图像信号和声音信号的应用处理部，

处理所生成的图像信号，从显示器输出图像的图像信号处理部，

处理所生成的声音信号，生成声音包的声音信号处理部，以及

发送声音包的发送部；

上述声音输出终端装置包括：

接收声音包的接收部，

暂时存储接收到的声音包的抖动缓存器，

在上述接收部与上述抖动缓存器之间，存储由上述接收部接收到的声音包并将其发送给上述抖动缓存器的中间缓存器，

调节上述抖动缓存器的缓存器大小的缓存器控制部，

对从抖动缓存器输出的声音包进行解码的声音解码部，以及

接受声音输出模式的设定指示的指示接受部；

其中，上述缓存器控制部依照在上述指示接受部中所设定指示的声音输出模式，调节上述抖动缓存器的缓存器大小，并且控制上述中间缓存器向上述抖动缓存器发送声音包的定时，

当上述指示接受部收到要求声音输出的低延迟的声音输出模式的设定指示时，上述缓存器控制部使上述中间缓存器向上述抖动缓存器发送声音包的周期变短。