CN110621384B - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN110621384B
CN110621384B CN201880032205.4A CN201880032205A CN110621384B CN 110621384 B CN110621384 B CN 110621384B CN 201880032205 A CN201880032205 A CN 201880032205A CN 110621384 B CN110621384 B CN 110621384B
Authority
CN
China
Prior art keywords
vibration
sound
intensity
section
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880032205.4A
Other languages
English (en)
Other versions
CN110621384A (zh
Inventor
中川亚由美
中川佑辅
山野郁男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110621384A publication Critical patent/CN110621384A/zh
Application granted granted Critical
Publication of CN110621384B publication Critical patent/CN110621384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes

Abstract

[问题]用于提供一种能够通过对于每种类型的声音输出单元适当地设定振动强度来增强用户体验的技术。[解决方案]该信息处理设备提供有控制单元。该控制单元确定输出声音的声音输出单元的类型，并且使由振动单元产生的振动的强度根据声音输出单元的确定的类型而变化。

Description

信息处理设备、信息处理方法和程序
技术领域
本技术涉及控制振动强度等的技术。
背景技术
近年来，诸如偏心电机的振动部通常安装在游戏控制器上。控制器被配置为在预定时机振动(例如，参见下面的专利文献1)。
例如，在游戏的视频中敌人攻击盟友角色的情况下，控制器随着这样的时机而振动。通过使控制器与游戏的视频一起振动，与仅显示视频的情况相比，可以增强用户体验。
引用列表
专利文献
专利文献1：日本专利申请公开第2009-037582号
发明内容
技术问题
游戏声音从诸如扬声器和耳机的声音输出部输出。声音强度对于每种类型的声音输出部不同。另一方面，无论声音输出部的类型如何，控制器的振动强度都被认为是相同的。在这种情况下，存在用户体验劣化的问题。
本技术鉴于上述情况做出，并且本技术的目的是提供一种技术，其通过适当地设定对于每种类型的声音输出部的振动强度来增强用户体验。
解决问题的方案
为了实现该目的，根据本技术的信息处理装置包括控制部。控制部确定输出声音的声音输出部的类型并根据确定的声音输出部的类型改变振动部的振动强度。
这样，可以对于每种类型的声音输出部适当地设定振动强度。结果，可以增强用户体验。
在信息处理装置中，控制部可以根据从声音输出部输出的声音的强度来改变振动部的振动强度。在这种情况下，控制部可以改变振动强度，使得声音强度越强，振动强度越强，或者声音强度越弱，振动强度越弱。或者，控制部可以改变振动强度，使得声音强度越强，振动强度越弱，或者声音强度越弱，振动强度越强。
在信息处理装置中，控制部可以根据振动部的振动强度改变从声音输出部输出的声音的强度。
这样，可以根据振动强度适当地改变声音强度。
在信息处理装置中，控制部可以根据改变的振动强度改变从声音输出部输出的声音的强度。
在信息处理装置中，当改变的振动强度达到振动的最大值时，控制部可以改变声音强度。
这样，用户感觉到的振动强度可以是伪强的。
在信息处理装置中，控制部可以根据环境声音的声音强度来改变振动部的振动强度。
这样，可以根据环境声音的强度适当地改变振动强度。
在信息处理装置中，控制部可以根据环境声音的声音强度来改变从声音输出部输出的声音的强度。
这样，可以根据环境声音的强度适当地改变声音强度。
在信息处理装置中，控制部可以根据振动部的振动来改变视频。
这样，可以根据振动适当地改变视频。
在信息处理装置中，控制部可以根据振动部的振动来改变视频内对象的尺寸或对象的动作的幅度。
在信息处理装置中，控制部可以根据振动部的振动来改变视频的场景。
这样，可以根据振动适当地改变视频的场景。
在信息处理装置中，控制部可以根据视频的场景改变振动部的振动。
这样，可以根据视频的场景适当地改变振动。
在信息处理装置中，用于收集用户的语音的麦克风可以根据振动部的振动而振动，并且控制部可以根据是否使用麦克风来改变振动强度。
这样，可以根据是否使用麦克风来适当地改变振动强度。
在信息处理装置中，控制部可以基于振动部的振动获取关于用户的身体变化的信息，并且可以根据用户的身体变化改变用于使振动强度改变的值。
这样，可以根据用户的身体变化适当地改变振动强度。
在信息处理装置中，控制部可以根据从声音输出部输出的声音的强度来改变由振动部的振动产生的振动声音的强度。
这样，可以根据声音强度适当地改变振动声音的强度。
在信息处理装置中，振动部可以布置在振动器上，并且控制部可以获取关于用户握持振动器的状态的信息，并且根据关于握持振动器的状态的信息改变振动部的振动强度。
这样，可以根据握持振动器的状态适当地改变振动声音的强度。
在信息处理装置中，控制部可以获取关于从声音输出部输出的声音的强度或振动部的振动强度的灵敏度的灵敏度信息，并且可以根据灵敏度信息来改变振动部的振动强度。
这样，可以根据灵敏度适当地改变振动强度。
根据本技术的信息处理方法包括确定输出声音的声音输出部的类型；根据声音输出部的确定的类型改变振动部的振动强度。
根据本技术的程序包括使计算机执行以下步骤：确定输出声音的声音输出部的类型；根据声音输出部的确定的类型改变振动部的振动强度。
发明的有益效果
如上所述，根据本技术，可以提供通过适当地设定对于每种类型的声音输出部的振动强度来增强用户体验的技术。
附图说明
[图1]示出根据本技术的第一实施方式的游戏系统的图。
[图2]示出游戏系统的配置的框图。
[图3]示出控制器的控制部的处理的流程图。
[图4]示出在用户位置处确定环境声音的声音强度的处理的流程图。
[图5]示出根据第二实施方式的处理的流程图。
[图6]示出根据第三实施方式的处理的流程图。
[图7]示出视频改变时的示例的图。
[图8]示出视频改变时的示例的图。
[图9]示出根据第四实施方式的处理的流程图。
[图10]示出选择具有低振动频率的场景作为视频的下一场景的示例的图。
[图11]示出根据第五实施方式的用于聊天的麦克风的图。
[图12]示出根据第六实施方式的处理的流程图。
[图13]示出每个振动信号的示例的图。
具体实施方式
在下文中，将参照附图描述本技术的实施方式。
<<第一实施方式>>
<总体配置和每个部件的配置>
图1是示出根据本技术的第一实施方式的游戏系统100的图。图2是示出游戏系统100的配置的框图。
如图1和图2所示，游戏系统100包括输出装置10和游戏装置50(信息处理装置)。游戏装置50包括游戏装置主体20和控制器30。
输出装置10例如是具有调谐器功能的电视装置。注意，输出装置10可以是不具有调谐器功能的监视器。游戏装置50可以是游戏专用机器、PC(个人计算机)等。
输出装置10包括控制部11、存储部12、通信部13、显示部14和扬声器15(声音输出部)。
输出装置10的控制部11包括CPU(中央处理单元)等。输出装置10的控制部11基于存储在存储部12中的各种程序执行各种计算，并综合地控制输出装置10的每个部件。
输出装置10的存储部12包括：非易失性存储器，其中存储处理输出装置10的控制部11所需的各种程序和各种数据项；以及易失性存储器，用作输出装置10的控制部11的工作区域。
显示部14包括例如液晶显示器、EL(电致发光)显示器等。显示部14允许视频根据从游戏装置主体20发送的视频信号显示在屏幕上。扬声器15根据从游戏装置主体20发送的声音信号输出游戏的声音。
尽管图1所示的示例示出了显示部14和扬声器15被集成的情况，但是可以单独地包括显示部14和扬声器15。
输出装置10的通信部13被配置为能够与游戏装置主体20执行有线或无线通信。输出装置10的通信部13接收从游戏装置主体20发送的视频信号和声音信号。
另外，输出装置10的通信部13被配置为能够与耳机40(声音输出部：包括耳机)执行有线或无线通信。耳机40依照输出装置10的控制根据从游戏装置主体20发送的声音信号输出游戏声音。
输出装置10被配置为使得当允许声音从扬声器15输出时，不允许声音从耳机40输出。相反，输出装置10被配置为使得当允许声音从耳机40输出时，不允许声音从扬声器15输出。
游戏装置主体20包括控制部21、存储部22、通信部23和光盘驱动器24。
光盘驱动器24从其中记录游戏程序的光盘(DVD(数字多功能光盘)、蓝光光盘等)读取游戏程序，并将游戏程序输出到控制部21。游戏装置主体20具有光盘的装载/卸载机构(未示出)。通过装载/卸载机构，光盘装载到游戏装置主体20并从游戏装置主体20卸载。注意，可以从网络上的服务器装置下载游戏程序。
游戏装置主体20的控制部21包括CPU(中央处理单元)等。游戏装置主体20的控制部21基于存储在存储部22中的各种程序执行各种计算，并且综合地控制游戏装置主体20的每个部件。
游戏装置主体20的存储部22包括：非易失性存储器，其中存储处理游戏装置主体20的控制部21所需的各种程序和各种数据项；以及易失性存储器，用作游戏装置主体20的控制部21的工作区域。
游戏装置主体20的通信部23被配置为能够与控制器30和输出装置10执行有线或无线通信。顺便提及，游戏装置主体20的通信部23可以被配置为能够与网络上的服务器装置(未示出)通信。
游戏装置主体20的通信部23基于通过游戏装置主体20的控制部31的控制将游戏的视频信号和声音信号发送到输出装置10。
另外，游戏装置主体20的通信部23接收从控制器30发送的操作信号，并将操作信号输出到游戏装置主体20的控制部21。游戏装置主体20的控制部21使操作内容响应于操作信号而被反映。
控制器30包括控制部31、存储部32、操作部33、通信部34、振动部35和麦克风36。
控制器30的控制部31包括CPU(中央处理单元)等。控制器30的控制部31基于存储在存储部32中的各种程序执行各种计算，并且综合地控制控制器30的每个部件。
控制器30的存储部32包括：非易失性存储器，其中存储处理控制器30的控制部31所需的各种程序和各种数据项；以及易失性存储器，用作控制器30的控制部31的工作区域。
操作部33包括诸如十字键和操纵杆的游标键、按钮等。操作部33根据用户的操作产生操作信号，并将操作信号输出到控制器30的控制部31。
控制器30的通信部34被配置为能够与游戏装置主体20执行有线或无线通信。控制器30的通信部34基于通过控制器30的控制部31的控制将操作部33产生的操作信号发送到游戏装置主体20。
振动部35包括偏心电机、音圈电机(VCM)等。振动部35被配置为能够基于输入电压改变振动强度(包括振动幅度和振动频率)。
麦克风36被布置用于收集用户周围的环境声音，将环境声音转换为电信号，并且将电信号输出到控制部31。这里，环境声音是从扬声器15或者耳机40输出的除了关于游戏视频的游戏声音之外的声音。
环境声音包括从各种电子装置(诸如空调、风扇、洗衣机、清洁器、电加热器、电视装置(在输出装置10是电视装置的情况下的其它电视装置)、音频装置等)输出的声音。另外，环境声音包括从水龙头流动的水声、使用气体时产生的声音、关于基础设施的声音(诸如道路上的驾驶车辆的声音)、人类说话的声音、以及关于生物的声音(诸如动物的叫声)。此外，环境声音包括救护车、消防车或警车的警报声、婴儿哭声、诸如狗叫声的突然声音等。
<关于动作的描述>
接着，将描述游戏系统100的处理。在关于处理的描述中，特别地，将主要描述控制器30的控制部31的处理。图3是示出控制器30的控制部31的处理的流程图。
首先，控制器30的控制部31确定声音输出部的类型(步骤101)。具体地，控制器30的控制部31确定输出当前游戏声音的声音输出部是扬声器15还是耳机40。
注意，当确定声音输出部的类型时，控制器30的控制部31经由游戏装置主体20将对于表示声音输出部的类型的识别信息的获取请求发送到输出装置10。然后，控制器30的控制部31基于从输出装置10发送的识别信息确定声音输出部的类型。
接着，控制器30的控制部31根据来自控制器30的存储部32的声音输出部的类型获取校正因子k1(步骤102)。这里，校正因子k1是用于根据声音输出部的类型校正(改变)振动部35的振动强度的值(用于乘法的值)。校正因子k1根据声音输出部的类型预先确定。校正因子k1与声音输出部的类型相关联地预先存储在控制器30的存储部32中。注意，该实施方式中的校正因子k1是正数。
这里，在当前声音输出部是扬声器15并且从扬声器15输出游戏声音的情况下以及在当前声音输出部是耳机40并且从耳机40输出游戏声音的情况下，用户感觉到的声音强度(包括声压和声音频率)不同。注意，假设在输出装置10上设定的音量的幅度(例如100级的音量值)是相同的。在这种情况下，用户经常并且通常感觉从扬声器15输出的游戏的声音强度弱于从耳机40输出的游戏的声音强度。
校正因子k1的值与用户对于每种类型的声音输出部感觉到的游戏的声音强度有关。根据该实施方式，在音量相同的情况下，在其中用户感觉到游戏的声音强度强的声音输出部上设定较大的校正因子k1。
根据该实施方式，在音量相同的情况下，用户感觉到从耳机40输出的游戏的声音强度比从扬声器15输出的游戏的声音强度强。因此，耳机40的校正系数k1被设定为大于扬声器15的校正系数k1。例如，扬声器15的校正系数k1为1，耳机40的校正系数k1为1.2。
这里，根据该实施方式，其简单地确定声音输出部是扬声器15还是耳机40。换言之，在两者之间简单选择。另一方面，存在各种类型的扬声器15和各种类型的耳机40。因此，对于每种类型的扬声器15和耳机40，可以考虑用户感觉到的声音强度有多大，并且可以为每种类型的扬声器15和耳机40准备校正因子k1。
为了确定用户对于每种类型的扬声器15和耳机40感觉到的游戏的声音强度有多大，控制器30的控制部31可以获取关于扬声器15或耳机40的电阻值的信息。
或者，在游戏系统100中，可以执行用户选择扬声器15和耳机40的每种类型和每种形状的处理。在这种情况下，例如，用于选择扬声器15和耳机40的每种类型和每种形状的图像显示在输出装置10的显示部14上。通过操作控制器30的操作部33，用户可以选择扬声器15和耳机40的每种类型和每种形状。
在获取校正因子k1之后，控制器30的控制部31基于从麦克风36获取的声音信息确定环境声音的声音强度(包括声压和声音频率)(步骤103)。环境声音的声音强度可以是从当前时间之前的预定时间(例如，约几秒)到当前时间的声音强度的平均值，或者可以是当前时间的那个时刻的声音强度。
这里，在从扬声器15输出游戏声音的情况下，除了环境声音，从麦克风36获取的声音还包括从扬声器15输出的游戏声音。因此，控制器30的控制部31通常取出环境声音(例如，通过滤波取出环境声音)并且根据从游戏声音和环境声音获取的混合声音来确定环境声音的声音强度。
在确定环境声音的声音强度之后，接着，控制器30的控制部31根据来自控制器30的存储部32的环境声音的声音强度获取校正因子k2(步骤104)。
这里，校正因子k2是用于根据环境声音的声音强度来校正(改变)振动部35的振动强度的值(用于乘法的值)。校正因子k2根据环境声音的声音强度预先确定。校正因子k2与环境声音的声音强度相关联地预先存储在控制器30的存储部32中。注意，该实施方式中的校正因子k2是正数。
这里，在环境声音的声音强度较强的情况下以及在环境声音的声音强度较弱的情况下，用户感觉到的声音强度是不同的。在这种情况下，与环境声音的声音强度(大声)时相比，环境声音的声音强度弱(安静)时用户感觉到游戏的声音强度更强。
校正因子k2的值与用户根据环境声音的声音强度感觉到的游戏的声音强度有关。具体地，环境声音的声音强度越弱(越安静)，即，用户感觉到游戏声音越强，校正因子k2的值越大。例如，在环境声音为0(或几乎为0)的情况下，校正因子k2为1。当环境声音变强时，校正因子k2的值被设定为0.9、0.8......(注意，校正因子k2具有下限值并且不变为0)。
另外，即使环境声音的声音强度相同，在游戏声音从扬声器15输出的情况下以及在游戏声音从耳机40输出的情况下，用户感觉到的环境声音的强度也不同。具体地，如果环境声音的声音强度相同，则与当用户从扬声器15听到游戏声音时相比，当用户佩戴耳机40并且从耳机40听到游戏声音时用户感觉到环境声音的声音强度较弱。
因此，对于从扬声器15输出的游戏声音的校正因子k2的值可以与对于从耳机40输出的游戏声音的校正因子k2的值不同。在这种情况下，在环境声音的声音强度相同的情况下，在其中用户感觉到环境声音的声音强度较弱的声音输出部处(即在其中用户感觉到游戏声音较强的声音输出部处)对校正因子k2设定较大值。在这种情况下，例如，对于从耳机40输出的声音的校正因子k2被设定为大于对于从扬声器15输出的声音的校正因子k2。
在获取校正因子k2之后，接着，控制器30的控制部31确定当前游戏的声音强度(步骤105)。
在这种情况下，通常，控制器30的控制部31经由游戏装置主体20向输出装置10发送关于当前从声音输出部输出多少游戏声音强度的信息的获取请求。控制器30的控制部31基于从输出装置10接收的信息确定游戏的声音强度。
注意，从扬声器15输出游戏声音，当前游戏的声音强度可以基于由麦克风36获取的关于游戏声音的信息来确定。另外，当前游戏的声音强度可以通过使用从输出装置10获取的信息和从麦克风36获取的信息两者来确定。
在确定当前游戏的声音强度之后，控制部31基于当前游戏的声音强度计算振动部35的振动强度(步骤106)。根据该实施方式，振动部35的振动强度的值被设定为使得当前游戏的声音强度越强，振动强度越强。例如，当前游戏的声音强度与要确定的振动强度的比值被设定为总是恒定的。比值r可以例如由每个游戏或每个平台的游戏设计者设定，或者可以由用户设定。
在计算出振动强度之后，控制器30的控制部31将振动强度乘以校正因子k1和校正因子k2，并计算校正的振动强度(步骤107)。
这里，如上所述，校正因子k1的较高值被设定在其中用户感觉到游戏的声音强度较强的声音输出部上。因此，根据该实施方式，通过将振动强度的值乘以校正因子k1，振动强度被校正(改变)，使得在其中用户感觉到游戏声音较强的声音输出部处振动强度更强。
另外，如上所述，校正因子k2的较高值被设定为使得环境声音的声音强度越弱，即，用户感觉到游戏声音越强。因此，通过将振动强度的值乘以校正因子k2，振动强度被校正(改变)，使得环境声音的声音强度越弱，即，用户感觉到的游戏声音越强，振动强度越强。
注意，如从描述理解地，校正因子k1和校正因子k2的共同之处在于，振动强度被校正使得用户感觉到的游戏的声音强度越强，振动部35的振动越强。
在控制器30的控制部31计算校正的振动强度之后，控制器30的控制部31确定当前是否是使振动部35振动的时机(步骤108)。振动部35是否振动的指令从游戏装置主体20发送。控制器30的控制部31根据该指令确定当前是否是使振动部35振动的时机。
在当前是使振动部35振动的时机的情况下(步骤108中的“是”)，控制器30的控制部31使振动部35以校正后的振动强度振动(步骤109)，并且进入下一步骤110。当振动部35振动时，整个控制器30以根据振动部35的振动的强度振动，并且该振动传递给用户的手。注意，在该示例中，振动强度在所有时机改变以使振动部35振动。然而，振动强度可以在时机中的一个处改变。
在当前不是使振动部35振动的时机的情况下(步骤108中的“否”)，控制器30的控制部31不使振动部35振动，并进入下一步骤110。
在步骤110中，控制器30的控制部31确定输出游戏声音的声音输出部的类型是否改变。注意，在声音输出部的类型改变的情况下，表示声音输出部的类型改变的信号经由游戏装置主体20从输出装置10发送到控制器30。
在声音输出部的类型改变的情况下(步骤110中的“是”)，控制部31返回到步骤101以确定声音输出部的类型。另一方面，声音输出部的类型不改变(步骤110中的“否”)，控制部31返回步骤103以确定环境声音的声音强度。
[动作等]
这里，如果控制器30的振动强度相对于游戏的声音强度较弱，则控制器30的振动被游戏声音中断，并且用户可能感觉到比实际振动弱的振动。另外，如果控制器30的振动强度相对于游戏的声音强度弱，则用户可能感觉到游戏声音和控制器30的振动是分开的。
另一方面，根据该实施方式，振动部35的振动强度(控制器30的振动强度)关于游戏的声音强度适当地设定。具体地，振动部35的振动强度被改变，使得游戏的声音强度越高，振动部35的振动强度越高。
这样，可以防止用户感觉到控制器30的振动强度相对于游戏的声音强度较弱。因此，可以防止用户感觉到控制器30的振动被游戏声音中断，使得难以感觉到振动并且防止用户感觉到游戏声音和控制器30的振动分开。此外，通过使振动部35的振动强度随着游戏的声音强度变强而更强，用户可以感觉到游戏声音和控制器30的振动相互配合。因此，根据该实施方式，可以增强用户体验。
另外，根据该实施方式，声音输出部的类型被确定，并且振动部35的振动强度根据确定的声音输出部的类型被校正(改变)。这样，可以适当地设定对于每种类型的声音输出部的振动强度。结果，可以增强用户体验。
具体地，根据该实施方式，振动部35的振动强度被校正(改变)，使得振动部35的振动在其中用户感觉到游戏的声音强度较强的声音输出部处变强。这样，可以适当地改变振动部35的振动强度以及用户实际感觉到的游戏的声音强度。此外，可以增强用户体验。
另外，根据该实施方式，环境声音的声音强度被确定，并且振动部35的振动强度根据所确定的环境声音的声音强度被校正(改变)。这样，可以根据环境声音的声音强度适当地设定振动强度。结果，可以增强用户体验。
具体地，根据该实施方式，振动强度被校正(改变)，使得环境声音的声音强度越弱，即，用户感觉到的游戏声音越强，振动强度越强。这样，可以适当地改变振动部35的振动强度以及用户实际感觉到的游戏的声音强度。此外，可以增强用户体验。
<第一实施方式的修改>
以上描述了游戏的声音强度越强，振动部35的振动越强(换言之，游戏的声音强度越弱，振动部35的振动强度越弱)。另一方面，可以改变振动强度，使得游戏的声音强度越强，振动部35的振动强度越弱(换言之，游戏的声音强度越弱，振动部35的振动强度越强)。
这里，在输出游戏声音的时机与振动部35振动的时机匹配的情况下，例如，在振动部35随着脚步声振动的情况下，可以感觉到振动比实际的振动强度更强。例如，在这种情况下，可以改变振动强度，使得游戏的声音强度越强，振动部35的振动越弱。
通过采用振动部随着脚步声振动的示例，振动部35的振动强度变弱，不是在脚步声的声音强度较弱的情况下，而是在脚步声的声音强度较强的情况下。在这种情况下，可以防止用户感到不适，因为在声音和振动的时机匹配的情况下以及在声音和振动的时机不匹配的情况下，用户感觉到的振动强度不同。
注意，对于振动部35的振动强度根据声音输出部的类型被校正(改变)的情况以及振动部35的振动强度根据环境声音的声音强度被校正(改变)的情况下，类似情况符合。
换言之，在输出游戏声音的时机与振动部35振动的时机匹配的情况下，振动强度可以被校正(改变)，使得振动强度在其中用户感觉到游戏声音较强的声音输出部处较弱。
另外，在输出游戏声音的时机与振动部35振动的时机匹配的情况下，振动强度可以被校正(改变)，使得环境声音的声音强度越强，即，用户感觉到游戏声音越强，振动强度越弱。
这里，将具体描述基于游戏的声音强度来改变振动部的振动强度的方法。注意，在本说明书中，“声音强度”包括从声音输出部输出的声音强度和用户感觉到的声音强度两者。另外，“振动强度”包括振动部的振动强度和用户感觉到的振动强度两者。
用户实际感觉到的声音强度与声压和声音频率有关。另外，用户的手实际感觉到的振动强度与振动幅度和振动频率有关。
因此，大致分为四种根据游戏的声音强度改变振动部的振动强度的方法。注意，可以组合四种方法(1)至(4)中的两种或更多种方法。
(1)振动部35的振动幅度根据游戏声音的声压而改变，(2)振动部35的振动频率根据游戏声音的声压而改变，(3)振动部35的振动幅度根据游戏声音的频率而改变，以及(4)振动部35的振动频率根据游戏声音的频率而改变。
这里，关于声音频率，已知人类可听范围是约20Hz至20kHz并且声音最大灵敏度点为约3kHz。换言之，如果声压相同，则当声音频率接近3kHz的声音最大灵敏度点时，用户感觉到声音强度较强。因此，在(3)和(4)中考虑游戏声音的频率的情况下，使用该关系。
另外，关于振动频率，已知人手具有约200Hz的振动最大灵敏度点。换言之，如果振动幅度相同，则当其接近200Hz的振动最大灵敏度点时，用户感觉到振动强度较强。因此，在(2)和(4)中考虑振动频率的情况下，使用该关系。注意，对于除手之外的部分，振动最大灵敏度点可以不同于200Hz。
顺便提及，在(2)和(4)的情况下，通常使用音圈电机作为振动部35(因为振动频率容易控制)。另一方面，在(1)和(3)的情况下，作为振动部35，可以使用音圈电机或者可以使用偏心电机。
另外，在(2)和(4)的情况下，通过考虑振动部35的特性，振动部35可以通过使用在振动变为最大的共振点附近的频带而振动。
这里，取决于用户握持控制器30(振动器的示例)的状态(控制器30的姿势，用户抓握控制器30的力)，使控制器30振动的方式改变并且用户感觉到的振动强度可能不同。
在这种情况下，可以通过使用诸如加速度传感器、角速度传感器和压力传感器的各种传感器来检测关于用户握持控制器30的状态的信息。在这种情况下，控制器30的控制部可以从各种传感器获取信息，并且可以根据该信息改变振动部35的振动强度。
另外，用户感觉到的声音强度和振动强度取决于年龄和个人而不同(例如，对于年轻人来说容易听到蚊子声)。因此，控制器30的控制部31可以获取从声音输出部输出的声音强度的灵敏度或者与振动部35的振动强度的灵敏度有关的灵敏度信息，并且可以基于灵敏度信息改变振动部35的振动强度。
灵敏度信息的示例包括关于用户年龄的信息、每个用户的声音灵敏度、关于振动灵敏度的信息等。例如，可以从用户信息获取关于用户年龄的信息。另外，例如，通过经由为每个游戏产生声音和振动而确定用户对于该声音和振动的灵敏度有多少，可以获取对于每个用户的声音灵敏度和关于振动灵敏度的信息。
(环境声音)
以上描述了收集环境声音的麦克风36布置在游戏控制器30处。或者，麦克风36可以布置在游戏装置主体20、输出装置10等处。
这里，麦克风36获取的环境声音的声音强度可以与用户位置(具体地，耳朵位置)处的环境声音的声音强度不同。这是因为麦克风36的位置与用户位置之间存在距离。具体地，如果麦克风36布置在游戏装置主体20或输出装置10处，则用户位置与麦克风36之间的距离变远。因此，由麦克风36获取的环境声音的声音强度可能与用户位置处的环境声音的声音强度大不相同。
因此，可以考虑由麦克风36获取的环境声音的声音强度与用户位置处的环境声音的声音强度之间的差异，并且该用户位置处的环境声音的声音强度可以被确定。
图4是示出在用户位置处确定环境声音的声音强度的处理的流程图。
控制器30的控制部31首先基于关于由麦克风36获取的环境声音的声音强度的信息来确定麦克风36的位置处的环境声音的声音强度(步骤201)。注意，如果麦克风布置在游戏装置主体20、输出装置10等处，则控制器30每隔预定时间例如从游戏装置主体20、输出装置10等接收关于由麦克风36获取的声音的信息。注意，步骤201中的处理与如上所述的步骤103中的处理基本相同。
接着，控制器30的控制部31确定用户位置、麦克风的位置和环境声音的声音产生源(空调、洗衣机等)的位置之间的空间位置关系)(步骤202)。
用户位置基于由例如布置在游戏装置主体20、输出装置10等处的相机(未示出，通常两个或更多个地布置)获取的图像确定。此时，用户的耳朵位置可以基于面部检测来确定。
麦克风36的位置还基于由例如布置在游戏装置主体20、输出装置10等处的相机获取的图像确定。例如，在麦克风36布置在游戏装置主体20并且相机布置在输出装置10处的情况下，游戏装置主体20出现在由相机获取的图像上。因此，游戏装置主体20的位置被确定为麦克风36的位置。
声音产生源的位置还基于由例如布置在游戏装置主体20、输出装置10等处的相机获取的图像确定。在这种情况下，只要声音产生源出现在图像上，就可以确定声音产生源的位置。注意，假设声音产生源定位得偏离相机的视角。在这种情况下，声音方向性和声音强度可以从由麦克风36获取的声音信息确定，并且可以确定声音产生源相对于麦克风的位置的位置关系。或者，也可以测量距光学传感器等的距离。
另外，还假设游戏装置主体20和输出装置10与诸如空调和洗衣机的其它电子装置联接作为系统。因此，在这种情况下，表示联接作为系统的其它电子装置运行的信息可以被二次用作用于确定声音产生源的位置的信息。
在控制器30的控制部31确定三者之间的空间位置关系之后，控制器30的控制部31基于麦克风36的位置处的环境声音的声音强度和该三者之间的空间位置关系确定用户位置处的环境声音的声音强度(步骤203)。
例如，在麦克风36的位置与声音产生源之间的距离短于用户位置与声音产生源之间的距离的情况下，用户位置处的环境声音的声音强度比麦克风36的位置处的环境声音弱。相反，在麦克风36的位置与声音产生源之间的距离长于用户位置与声音产生源之间的距离的情况下，用户位置处的环境声音的声音强度比麦克风36的位置处的环境声音强。通过使用该关系，控制器30的控制部31根据麦克风36获取的环境声音的声音强度确定在用户位置处环境声音的声音强度。
注意，在环境声音的声音强度在用户位置处被确定的情况下，获取根据环境声音的声音强度的校正因子k2。通过校正因子k2，可以校正振动部35的振动强度。
这里，可以根据环境声音的声音强度来改变从声音输出部输出的游戏的声音强度。在这种情况下，通常改变游戏的声音强度，使得环境声音的声音强度越强，游戏声音越强。
在这种情况下，例如，控制器30的控制部31对游戏装置主体20和输出装置10发出指令，使得在环境声音的声音强度超过预定阈值的情况下游戏声音根据环境声音的声音强度变强。这样，在环境声音的声音强度较强(大声)的情况下，游戏的声音强度将自动变强。另外，由于游戏的声音强度变强，振动部35的振动强度将随之变强。
此外，在确定环境声音的类型之后，可以根据环境声音的类型确定要执行的处理。在这种情况下，例如，如果环境声音是总是产生的声音，诸如空调的声音，则改变游戏的声音强度使得游戏声音变强。另一方面，如果环境声音是突然的声音(诸如救护车的声音)，则它不会移动到其中振动很重要的游戏场景(关于场景，参见稍后描述的第四实施方式)并且它切换其中振动不重要的场景。当突然的环境声音结束时，可以执行诸如移动到其中振动很重要的原始场景的处理。
<<第二实施方式>>
接着，将描述本技术的第二实施方式。主要地，将在第二实施方式中描述与第一实施方式不同的点。
这里，如上所述，根据第一实施方式，振动强度被改变使得游戏的声音强度越强，振动强度越强。在这种情况下，如果游戏的声音强度变强，则振动强度达到最大值。假设振动强度不能强于此。
根据第二实施方式，当(改变的)振动强度因此达到最大值时，执行改变游戏的声音强度的处理(即，根据振动强度，改变声音强度)。
图5是示出根据第二实施方式的处理的流程图。图5的步骤301至308和315与图3的步骤101至108和110相同。
在控制器30的控制部31计算通过将基于当前游戏的声音强度计算的振动强度乘以校正因子k1和k2而校正的振动强度之后，控制器30的控制部31确定当前是否是使振动部35振动的时机(步骤308)。
在当前是使振动部35振动的时机的情况下(步骤308中的“是”)，控制器30的控制部31确定校正后的振动强度是否超过振动部35的振动强度的最大值(步骤309)。
在校正后的振动强度超过振动部35的振动强度的最大值的情况下(步骤309中的“是”)，控制器30的控制部31指示游戏装置主体20和输出装置10暂时减弱游戏的声音强度(步骤310)。顺便提及，要减弱的游戏声音可以是整个游戏声音或整个游戏声音的一部分，例如背景音乐。顺便提及，如果诸如背景音乐的声音的一部分减弱，则可以使声音强度为0。
在发出减弱声音强度的指令之后，接着，控制器30的控制部31以振动强度的最大值使振动部35振动(步骤311)。
在步骤309中，在校正后的振动强度低于振动部35的振动强度的最大值的情况下(步骤309中的“否”)，控制器30的控制部31确定当前游戏的声音强度是否在游戏装置主体20中被减弱(步骤312)。
在游戏的声音强度减弱的情况下(步骤312中的“是”)，控制器30的控制部31指示游戏装置主体20和输出装置10将游戏的声音强度返回到原始强度(步骤313)并进入下一步骤314。
在步骤312中，在游戏的声音强度没有减弱的情况下(步骤312中的“否”)，即，游戏的声音强度是原始强度，控制器30的控制部31跳过步骤313进入步骤314。
在步骤314中，控制器30的控制部31以校正的振动强度使振动部35振动。
根据第二实施方式，在振动部35的振动强度达到最大值并且不能强于该最大值的情况下，游戏的声音强度减弱。这样，用户感觉到的振动部35的振动强度可以是伪强的。
以上描述了当振动部35的振动强度达到最大值时，改变从声音输出部输出的游戏的声音强度。另一方面，当用户改变振动部35的振动强度时，可以根据振动强度改变从声音输出部输出的游戏的声音强度。
在这种情况下，在输出装置10的显示部14上显示用户任意设定的菜单屏幕，例如振动部35的振动强度(例如，三个级)。控制器30的控制部31根据在菜单屏幕上任意设定的振动部30的振动强度改变从声音输出部输出的游戏的声音强度。在这种情况下，控制部31可以改变声音强度，使得振动强度越强，游戏的声音强度越强，或者可以改变声音强度，使得振动强度越强，游戏的声音强度越弱。
根据振动部35的振动强度大致分为四种改变游戏的声音强度的方法。注意，可以组合四种方法(1)至(4)中的两种或更多种方法。
(1)游戏声音的声压根据振动部35的振动幅度改变，(2)游戏声音的声压根据振动部35的振动频率改变，(3)游戏声音的频率根据振动部35的振动幅度改变，以及(4)游戏声音的频率根据振动部35的振动频率改变。
<<第三实施方式>>
接着，将描述本技术的第三实施方式。这里，在控制器30经常振动并且振动较强的情况下，用户习惯于强振动并变得不敏感。用户可能感觉到比实际振动强度弱的振动。
在用户习惯于振动并且感觉到比实际振动强度弱的振动的情况下，假设在游戏的视频中显示了大的动作，例如，同时，控制器30振动。在这种情况下，用户可能感觉到用户实际感觉到的振动强度与视频中的大动作不匹配，并且用户可能感到奇怪。
根据第三实施方式，在这种情况下，执行根据振动频率和振动强度(即，根据振动)改变视频的处理，从而防止用户感到奇怪。
图6是示出根据第三实施方式的处理的流程图。
首先，控制器30的控制部31在预定时间内确定振动部35的振动频率(步骤401)。这里，预定时间指的是从当前时间之前(例如，几十秒到几分钟之前)的预定时间到当前时间的时间。
接着，控制器30的控制部31计算在预定时间内振动部35的振动强度的平均值(步骤402)。这里，预定时间指的是从当前时间之前(例如，几十秒到几分钟之前)的预定时间到当前时间的时间。
接着，控制器30的控制部31确定振动部35在预定时间内的振动频率是否超过预定阈值(步骤403)。在振动部35的振动频率超过预定阈值的情况下(步骤403中的“是”)，控制器30的控制部31确定振动部35在预定时间内的振动强度的平均值是否超过预定阈值(步骤404)。
在振动部35的振动强度的平均值超过预定阈值的情况下(步骤404中的“是”)，控制器30的控制部31指示游戏装置主体20改变视频(步骤405)。在这种情况下，游戏装置主体20根据该指令临时改变视频。
这里，在振动部35在预定时间内的振动频率超过预定阈值并且振动部35在预定时间内的振动强度的平均值超过预定阈值的情况指的是控制器30经常振动并且振动较强的情况。在这种情况下，用户习惯于强振动并且感觉到比实际振动弱的振动。
图7和图8示出了视频改变时的示例。图7示出了飞机飞行的视频。原始视频在图7的左侧，改变后的视频在图7的右侧。如图7所示，改变后的视频中的飞机(对象)的尺寸小于原始视频中飞机的尺寸。
图8示出了拳击手击打对手的视频。原始视频在图8的左侧，改变后的视频在图8的右侧。如图8所示，改变后的视频中的拳击手(对象)的动作幅度小于原始视频中拳击手的动作幅度。
在步骤405中，当发出改变视频的指令时，在图7的右侧和图8的右侧示出的视频显示在显示部14的屏幕上。
在步骤403中，在振动部35的振动频率低于预定阈值的情况下(步骤403中的“否”)，控制器30的控制部31进行到步骤406。类似地，在步骤404中，在振动部35的振动强度的平均值低于预定阈值的情况下(步骤404中的“否”)，控制器30的控制部31进入步骤406。
在步骤406中，控制器30的控制部31确定当前是否改变视频。在当前改变视频的情况下(步骤406中的“是”)，控制器30的控制部31指示游戏装置主体20将视频返回到原始视频。游戏装置主体20根据该指令将视频返回到原始视频。
在步骤407中，当发出将视频返回到原始视频的指令时，在显示部14的屏幕上显示图7的左侧或图8的左侧所示的视频。
根据第三实施方式，在用户习惯于强振动并且感觉到振动比实际振动强度弱的情况下，视频被改变，例如，飞机的尺寸减小并且拳击手的动作减少。因此，可以防止用户感到奇怪。
<<第四实施方式>>
接着，将描述本技术的第四实施方式。
如上所述，在控制器30经常振动并且振动较强的情况下，用户习惯于强振动并变得不敏感。用户可能感觉到振动比实际振动强度弱。
根据第四实施方式，为了返回习惯于强振动并且对原始敏感感觉变得不敏感的用户的感觉，执行根据振动频率和振动强度(即，根据振动)改变视频场景的处理。
图9是示出根据第四实施方式的处理的流程图。
首先，控制器30的控制部31在预定时间内确定振动部35的振动频率(步骤501)。这里，预定时间指的是从当前时间之前(例如，几十秒到几分钟之前)的预定时间到当前时间的时间。
接着，控制器30的控制部31计算在预定时间内振动部35的振动强度的平均值(步骤502)。这里，预定时间指的是从当前时间之前(例如，几十秒到几分钟之前)的预定时间到当前时间的时间。
接着，控制器30的控制部31确定当前是否是切换视频的场景的时机(步骤503)。当前，如果不是切换视频场景的时机(步骤503中的“否”)，则控制器30的控制部31返回到步骤501。
另一方面，如果当前是切换视频场景的时机(步骤503中的“是”)，则控制器30的控制部31确定振动部35在预定时间内的振动频率是否超过预定阈值(步骤504)。
如果振动部35的振动频率超过预定阈值(步骤504中的“是”)，则控制器30的控制部31确定振动部35在预定时间内的振动强度的平均值是否超过预定阈值(步骤505)。
如果振动部35的振动强度的平均值超过预定阈值(步骤505中的“是”)，则控制器30的控制部31指示游戏装置主体20选择具有低振动频率的场景作为视频的下一个场景(步骤506)。注意，在步骤506中，控制器30的控制部31可以指示选择具有弱振动强度的场景。
图10是示出选择具有低振动频率的场景作为视频的下一场景的示例的图。在图10的左侧，示出了视频的前一场景，并且在图10的右侧，示出了视频的下一场景。
在图10的左侧示出的前一场景是飞机飞行且振动频率高的场景。图10右侧所示的下一场景是静止场景，并且振动频率低(完全没有振动)。可以根据预定时间内的振动频率、振动强度的平均值等来改变静止场景的内容和长度。
在步骤504中，如果振动部35的振动频率低于预定阈值(步骤504中的“否”)，则控制器30的控制部31进行到步骤507。类似地，在步骤505中，如果振动部35的振动强度的平均值低于预定阈值(步骤505中的“否”)，则控制器30的控制部31进入步骤507。
在步骤507中，控制器30的控制部31指示游戏装置主体20照常选择下一场景。根据该指令，游戏装置主体20照常选择下一场景。在这种情况下，图10右侧所示的静止场景不显示在显示部14的屏幕上。
根据第四实施方式，在用户习惯于强振动并且感觉到振动比实际振动弱的情况下，视频的场景被改变并且具有低振动频率(或者低振动强度)的场景被选择为下一场景。因此，习惯于强振动并且对原始敏感感觉变得不敏感的用户的感觉可以返回到原始的敏感感觉。
根据第四实施方式，描述了这样的情况：为了返回习惯于强振动并且对原始敏感感觉不敏感的用户的感觉，具有低振动频率(或低振动)的场景被选择为下一场景。另一方面，在下一场景是使得振动频率高并且振动重要的情况下，可以执行防止当前用户感觉变得不敏感的处理。
在这种情况下，例如，如果振动在当前场景中不重要，则当前场景的振动频率降低并且振动强度降低(即，振动根据视频的场景而改变)。
这里，可能存在控制部31当前不确定下一场景是否具有高振动频率并且振动是否重要的情况。例如，在角色扮演游戏等中，当前场景可以分化为多个场景，诸如振动高且重要的场景A和振动低且不重要的场景B。在这种情况下，不确定下一个场景是否是振动高且重要的场景A还是振动低且不重要的场景B。
因此，在这种情况下，可以假设用户基于用户信息更可能选择场景A和场景B中的哪一个。通过该假设，如果确定用户更可能选择场景A，则降低当前场景的振动频率或减弱振动强度。
<<第五实施方式>>
接着，将描述本技术的第五实施方式。
图11是示出根据第五实施方式的用于聊天的麦克风60的图。
图11中所示的用于聊天的麦克风60是通过悬挂在耳朵上使用的类型的麦克风，并且利用线连接到控制器30。用于聊天的麦克风60收集用户的语音并将收集的语音转换为电信号。
用于聊天的麦克风60用于在用户玩通信游戏等时与一起玩该游戏的其它用户聊天。另外，用于聊天的麦克风60可以用于在游戏中输入命令。
例如，在图11所示的用于聊天的麦克风60的情况下，如果控制器30振动，则用于聊天的麦克风60也可以根据控制器30的振动而振动。在这种情况下，如果振动强度较强，则振动声音可能变成噪声并且可能与从用于聊天的麦克风60输出的信号重叠。
因此，与不使用用于聊天的麦克风60时相比，当使用用于聊天的麦克风60时，控制器30的控制部31可以减弱振动强度。这样，可以防止噪声与从用于聊天的麦克风60输出的信号重叠。
注意，可以通过VAD(语音活性检测)来检测确定用户的语音是否被校正(是否使用麦克风)。另外，当振动强度减弱时，振动频率分量的频率分量例如100Hz或更高可以考虑到人的可听范围而降低。
这里，例如，假设用户通过使用用于聊天的麦克风60来执行战斗通信游戏并与一起玩该通信游戏的盟友用户进行聊天。在这种情况下，用户可能忙于与盟友聊天并且可能意识不到战斗对手即敌人正在靠近。
因此，例如，在游戏处于敌人正在靠近的关键阶段的情况下，可以执行加强振动强度的处理。
在这种情况下，当使用用于聊天的麦克风60时，控制器30的控制部31使得振动强度比不使用用于聊天的麦克风60时的振动强度更强。这允许忙于聊天的用户意识到游戏处于敌人正在靠近的关键阶段。注意，在发生振动从而注意到敌人正在靠近的情况下，振动强度可以由控制敌人的用户任意设定。
如从以上描述理解地，控制器30的控制部31可以根据是否使用用于聊天的麦克风60来改变振动强度是足够的。
<<第六实施方式>>
接着，将描述本技术的第六实施方式。
这里，如果振动部35振动，则可能产生振动声音并且用户可能不喜欢振动声音。
例如，如果游戏的声音强度较弱，则用户可能关心振动声音。另一方面，如果游戏的声音强度较强，则用户可能不太关心相当强的振动声音。根据第六实施方式，使用这种关系使得振动声音的强度根据游戏的声音强度而改变。
图12是示出根据第六实施方式的处理的流程图。
首先，控制器30的控制部31确定当前游戏的声音强度(步骤601)。此时的处理与图3的步骤105中的处理相同。
接着，控制器30的控制部31根据当前游戏的声音强度调节输出到振动部35的振动信号的频率分量(步骤602)。此时，控制器30的控制部31调节振动信号的频率分量，使得游戏的声音强度越弱，人类可听范围的预定范围内的频率分量越少(20Hz至20kHz)。
为了调节振动信号的频率分量，例如，使用低通滤波器和带通滤波器。具体地，低通滤波器和带通滤波器切割预定范围内的频率分量，并且减小预定范围内的频率分量。
要切割的频率范围(预定范围)是用户关心的振动声音的频率范围。这里，人类可听范围是20Hz至20kHz，但是还认为用户关心的振动声音的频率与人类可听范围不完全匹配。例如，还认为用户不关心在20Hz至100Hz、20Hz至200Hz等的范围内的振动声音。
因此，要切割的频率范围(预定范围)被设定为例如100Hz或更高、200Hz或更高等。在这种情况下，例如，低通滤波器的截止频率被设定为100Hz、200Hz等。低通滤波器被配置为能够切割100Hz或更多、200Hz或更多的频率。
可以根据游戏的声音强度来设定要切割的频率范围(预定范围)的宽度。例如，可以设定要切割的频率范围，使得游戏的声音强度越弱，其宽度越宽。
注意，要切割的频率范围(预定范围)的宽度可以与人类可听范围(20Hz至20kHz)匹配。在这种情况下，可以通过带通滤波器来切割人类可听范围内的频率分量。
另外，取决于控制器30的壳体的结构，可以改变通过使振动部35振动而产生的振动声音的特性。因此，对于控制器30的类型，要切割的频率范围(预定范围)的宽度可以不同。
图13是示出每个振动信号的示例的图。图13中所示的三个图示出了当前游戏的声音强度从顶部开始依次为0、50或100时的每个振动信号的示例。注意，图13示出了通过具有设定为200Hz的截止频率的低通滤波器来调节振动信号的频率分量。
参照图13的底部图，在当前游戏的声音强度是100(最大值)的情况下，不调节振动信号的频率分量。换言之，在游戏的声音强度较强的情况下，不调节频率分量，因为用户不关心相当强的振动声音。
参照图13的中间图，在当前游戏的声音强度为50的情况下，振动信号通过低通滤波器(200Hz的截止频率)以切割200Hz或更大的频率分量。换言之，在当前游戏的声音强度为50的情况下，切割200Hz或更大的频率分量，因为用户可能关心振动声音。
参照图13的顶部图，在当前游戏的声音强度为0的情况下，振动信号通过低通滤波器(200Hz的截止频率)以切割200Hz或更大的频率分量。顺便提及，在游戏的声音强度为0的情况下，应用低通滤波器比在游戏的声音强度为50的情况下更强。具体地，在当前游戏的声音强度为0的情况下，用户对振动声音变得敏感。因此，200Hz或更大的频率分量被大大切割。
返回到图12，在调节振动信号的频率分量之后，控制器30的控制部31将其中振动分量被调节的振动信号输出到振动部35(步骤603)。
根据第六实施方式，通过使振动部35振动产生的振动声音的强度根据游戏的声音强度而改变。具体地，根据第六实施方式，振动部35的振动频率被改变，使得游戏的声音强度越弱，人类可听范围(20Hz至20kHz)的预定范围内的频率分量越少。这允许用户意识到振动声音。
这里，大致分为四种根据游戏的声音强度改变振动声音的强度的方法。注意，可以组合四种方法(1)至(4)中的两种或更多种方法。
(1)振动部35的振动幅度根据游戏声音的声压而改变，(2)振动部35的振动频率根据游戏声音的声压而改变，(3)振动部35的振动幅度根据游戏声音的频率而改变，以及(4)振动部35的振动频率根据游戏声音的频率而改变。
顺便提及，在(2)和(4)的情况下，音圈电机通常用作振动部35(因为振动频率容易控制)。注意，在(1)和(3)的情况下，作为振动部35，可以使用音圈电机或者可以使用偏心电机。
类似于第一实施方式，同样在第六实施方式中，可以考虑环境声音。另外，类似于第五实施方式，同样在第六实施方式中，可以考虑是否正在聊天。应理解，本技术中描述的各个实施方式可以彼此组合。
<<各种修改>>
例如，为了确定振动是否合适，控制器30等可以包括基于振动测量用户的身体变化(出汗变化、心率变化、脑波变化、面部表情变化)的传感器(相机、加速度传感器、脑波传感器等)。
在这种情况下，控制器30的控制部31可以从传感器获取关于用户的身体变化的信息，并且根据用户的身体变化改变用于使振动强度改变的值(例如，比值r、校正因子k1、校正因子k2，或者等)。这允许振动强度为更加足够的强度。
以上主要描述了控制器30的控制部31执行各种处理的情况。另一方面，处理可以由游戏装置主体20、输出装置10或网络上的服务器装置执行。
在以上描述中，游戏装置50被示出为应用本技术的示例。另一方面，本技术适用于各种电子装置，诸如移动电话(包括智能手机)、手持式游戏主机、便携式音频播放器、平板电脑(PC：个人计算机)和虚拟现实装置。
在以上描述中，游戏系统100被示出为应用本技术的示例。另一方面，本技术适用于任何系统，只要该系统包括三个部件，通常是视频、声音和振动。例如，本技术适用于虚拟现实系统。
本技术还可以具有以下结构。
(1)一种信息处理装置，包括：
控制部，确定输出声音的声音输出部的类型并根据声音输出部的确定的类型改变振动部的振动强度。
(2)根据(1)所述的信息处理装置，其中，
控制部根据从声音输出部输出的声音的强度改变振动部的振动强度。
(3)根据(2)所述的信息处理装置，其中，
控制部改变振动强度，使得声音强度越强，振动强度越强，或者声音强度越弱，振动强度越弱。
(4)根据(2)所述的信息处理装置，其中，
控制部改变振动强度，使得声音强度越强，振动强度越弱，或者声音强度越弱，振动强度越强。
(5)根据(1)至(4)中任一项所述的信息处理装置，其中，
控制部根据振动部的振动强度改变从声音输出部输出的声音的强度。
(6)根据(2)所述的信息处理装置，其中，
控制部根据改变的振动强度改变从声音输出部输出的声音的强度。
(7)根据(6)所述的信息处理装置，其中，
当改变的振动强度达到振动的最大值时，控制部改变声音强度。
(8)根据(1)至(7)中任一项所述的信息处理装置，其中，
控制部根据环境声音的声音强度改变振动部的振动强度。
(9)根据(1)至(8)中任一项所述的信息处理装置，其中，
控制部根据环境声音的声音强度改变从声音输出部输出的声音的强度。
(10)根据(1)至(9)中任一项所述的信息处理装置，其中，
控制部根据振动部的振动改变视频。
(11)根据(10)所述的信息处理装置，其中，
控制部根据振动部的振动改变视频内对象的尺寸或对象的动作的幅度。
(12)根据(1)至(11)中任一项所述的信息处理装置，其中，
控制部根据振动部的振动改变视频的场景。
(13)根据(1)至(12)中任一项所述的信息处理装置，其中，
控制部根据视频的场景改变振动部的振动。
(14)根据(1)至(13)中任一项所述的信息处理装置，其中，
用于收集用户的语音的麦克风根据振动部的振动而振动，以及
控制部根据是否使用麦克风来改变振动强度。
(15)根据(1)至(14)中任一项所述的信息处理装置，其中，
控制部基于振动部的振动获取关于用户的身体变化的信息，并根据用户的身体变化改变用于使振动强度改变的值。
(16)根据(1)至(15)中任一项所述的信息处理装置，其中，
控制部根据从声音输出部输出的声音的强度改变由振动部的振动产生的振动声音的强度。
(17)根据(1)至(16)中任一项所述的信息处理装置，其中，
振动部布置在振动器上，以及
控制部获取关于用户握持振动器的状态的信息，并根据关于握持振动器的状态的信息改变振动部的振动强度。
(18)根据(1)至(17)中任一项所述的信息处理装置，其中，
控制部获取关于从声音输出部输出的声音的强度或振动部的振动强度的灵敏度的灵敏度信息，并根据该灵敏度信息改变振动部的振动强度。
(19)一种信息处理方法，包括：
确定输出声音的声音输出部的类型；以及
根据声音输出部的确定的类型改变振动部的振动强度。(20)一种使计算机执行以下步骤的程序：
确定输出声音的声音输出部的类型；以及
根据声音输出部的确定的类型改变振动部的振动强度。
附图标记列表
10输出装置
13显示部
14扬声器
20游戏装置主体
30控制器
31控制部
33操作部
35振动部
36麦克风
40耳机
50游戏装置
60用于聊天的麦克风
100游戏系统。

Claims (16)

1.一种信息处理装置，包括：
振动部，其被配置成对应于内容的再现而进行振动；以及
控制部，其被配置成：
确定输出声音信号的声音输出部的类型；
控制所述振动部以改变振动部的振动强度，其中，基于所述声音输出部的类型来改变所述振动部的振动强度；
确定所述声音输出部的位置处的环境声音的声音强度；
确定用户位置、所述声音输出部的位置、和环境声音的声音产生源的位置之间的空间位置关系；
基于下述各项确定所述用户位置处的环境声音的声音强度：在所述声音输出部的位置处的环境声音的声音强度，以及所述空间位置关系；以及
基于在所述用户位置处的环境声音的声音强度改变所述振动部的振动强度。
2.根据权利要求1所述的信息处理装置，其中，
所述控制部还被配置成控制所述振动部，以基于所述声音信号的强度改变所述振动部的振动强度。
3.根据权利要求2所述的信息处理装置，其中，
所述振动部的振动强度被改变为使得所述声音信号的强度越强，所述振动部的振动强度越强，或者所述声音信号的强度越弱，所述振动部的振动强度越弱。
4.根据权利要求2所述的信息处理装置，其中，
所述振动部的振动强度被改变为使得所述声音信号的强度越强，所述振动部的振动强度越弱，或者所述声音信号的强度越弱，所述振动部的振动强度越强。
5.根据权利要求1所述的信息处理装置，其中，
所述控制部还被配置成：
确定环境声音的声音强度；以及
控制所述振动部基于环境声音的声音强度改变所述振动部的振动强度。
6.根据权利要求1所述的信息处理装置，其中，
所述控制部还被配置成：
确定环境声音的声音强度；以及
控制所述振动部基于环境声音的声音强度改变所述声音信号的强度。
7.根据权利要求1所述的信息处理装置，其中，
所述控制部还被配置成控制所述显示屏幕，以改变在所述显示屏幕上显示的视频的场景，以及
在所述显示屏幕上显示的视频的场景基于所述振动部的振动强度而改变。
8.根据权利要求1所述的信息处理装置，其中，
所述控制部还被配置成控制所述振动部，以基于在所述显示屏幕上显示的视频的场景改变所述振动部的振动强度。
9.根据权利要求1所述的信息处理装置，还包括麦克风，其被配置成基于所述振动部的振动而振动，
其中，所述控制部还被配置成控制所述振动部，以基于所述麦克风的使用状态来改变所述振动部的振动强度。
10.根据权利要求1所述的信息处理装置，其中，
所述控制部还被配置成：
获取关于用户身体状态的变化的信息，其中，基于所述振动部的振动获取所述信息；
基于所获取的信息改变与所述振动部的振动强度相关联的特定值；以及
控制所述振动部，以基于所述特定值的变化来改变所述振动部的振动强度。
11.根据权利要求1所述的信息处理装置，其中，
所述控制部还被配置成控制所述振动部，以改变由所述振动部的振动产生的振动声音的强度，以及
所述振动声音的强度基于所述声音信号的强度而改变。
12.根据权利要求1所述的信息处理装置，其中，
所述振动部布置在振动器上，以及
所述控制部还被配置成：
获取关于所述振动器的状态的信息，其中，所述状态指示由用户握持所述振动器；以及
控制所述振动部，以基于关于所述振动器的状态的信息改变所述振动部的振动强度。
13.根据权利要求1所述的信息处理装置，其中，
所述控制部还被配置成：
获取从所述声音输出部输出的声音信号的强度的灵敏度信息以及所述振动部的振动强度的灵敏度信息中的一个；以及
控制所述振动部，以基于所述声音信号的强度的灵敏度信息和所述振动强度的灵敏度信息中的一个来改变所述振动部的振动强度。
14.根据权利要求1所述的信息处理装置，其中，所述控制部还被配置成：
控制显示屏幕，以：
显示包括对象的视频，以及
改变在所述显示屏幕上显示的视频中的对象的尺寸，其中，基于所述振动部的振动强度的变化来改变所述对象的尺寸。
15.一种信息处理方法，包括：
控制振动部对应于内容的再现而进行振动；
确定输出声音信号的声音输出部的类型；
控制所述振动部以改变振动部的振动强度，其中，基于所述声音输出部的类型来改变所述振动部的振动强度；
确定所述声音输出部的位置处的环境声音的声音强度；
确定用户位置、所述声音输出部的位置、和环境声音的声音产生源的位置之间的空间位置关系；
基于下述各项确定所述用户位置处的环境声音的声音强度：在所述声音输出部的位置处的环境声音的声音强度，以及所述空间位置关系；以及
基于在所述用户位置处的环境声音的声音强度改变所述振动部的振动强度。
16.一种非暂态计算机可读介质，其上存储有计算机可执行指令，当所述指令由计算机执行时使计算机执行操作，所述操作包括：
控制振动部对应于内容的再现而进行振动；
确定输出声音信号的声音输出部的类型；
控制所述振动部以改变振动部的振动强度，其中，基于所述声音输出部的类型改变所述振动部的振动强度；
确定所述声音输出部的位置处的环境声音的声音强度；
确定用户位置、所述声音输出部的位置、和环境声音的声音产生源的位置之间的空间位置关系；
基于下述各项确定所述用户位置处的环境声音的声音强度：在所述声音输出部的位置处的环境声音的声音强度，以及所述空间位置关系；以及
基于在所述用户位置处的环境声音的声音强度改变所述振动部的振动强度。
CN201880032205.4A 2017-05-22 2018-05-10 信息处理设备、信息处理方法和程序 Active CN110621384B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017101119 2017-05-22
JP2017-101119 2017-05-22
PCT/JP2018/018048 WO2018216480A1 (ja) 2017-05-22 2018-05-10 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN110621384A CN110621384A (zh) 2019-12-27
CN110621384B true CN110621384B (zh) 2024-04-09

Family

ID=64395657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880032205.4A Active CN110621384B (zh) 2017-05-22 2018-05-10 信息处理设备、信息处理方法和程序

Country Status (4)

Country Link
US (1) US20200086215A1 (zh)
JP (1) JP7172999B2 (zh)
CN (1) CN110621384B (zh)
WO (1) WO2018216480A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113181632A (zh) * 2021-04-22 2021-07-30 网易（杭州）网络有限公司 一种信息提示方法、装置、存储介质及计算机设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU734018B2 (en) * 1995-10-09 2001-05-31 Nintendo Co., Ltd. Three-dimension image processing system
US6805633B2 (en) * 2002-08-07 2004-10-19 Bally Gaming, Inc. Gaming machine with automatic sound level adjustment and method therefor
JP3988608B2 (ja) * 2002-10-07 2007-10-10 日本電気株式会社 バイブレータ制御機能付き無線電話機及び無線電話機のバイブレータ制御方法
US7894177B2 (en) * 2005-12-29 2011-02-22 Apple Inc. Light activated hold switch
JP2006034791A (ja) * 2004-07-29 2006-02-09 Aruze Corp 遊技機およびシミュレーションゲームプログラム
US20080254837A1 (en) * 2007-04-10 2008-10-16 Sony Ericsson Mobile Communication Ab Adjustment of screen text size
KR101498623B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US9582178B2 (en) * 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
JP6000642B2 (ja) * 2012-05-22 2016-10-05 京セラ株式会社 電子機器
US10013670B2 (en) * 2012-06-12 2018-07-03 Microsoft Technology Licensing, Llc Automatic profile selection on mobile devices
US9319150B2 (en) * 2012-10-29 2016-04-19 Dell Products, Lp Reduction of haptic noise feedback in system
WO2015128985A1 (ja) * 2014-02-27 2015-09-03 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
JP6341417B2 (ja) * 2014-06-10 2018-06-13 任天堂株式会社 振動生成システム、振動生成プログラム、および振動生成方法
JP6361872B2 (ja) * 2014-07-09 2018-07-25 任天堂株式会社 振動生成システム、振動生成装置、振動信号生成プログラム、および振動生成方法
US9788101B2 (en) * 2014-07-10 2017-10-10 Deutsche Telekom Ag Method for increasing the awareness of headphone users, using selective audio
US9667907B2 (en) * 2014-09-13 2017-05-30 Vicente Diaz System and method for haptic integration and generation in multimedia devices
JP6761225B2 (ja) * 2014-12-26 2020-09-23 和俊 尾花 手持ち型情報処理装置
JP2016126422A (ja) * 2014-12-26 2016-07-11 人詩 土屋 手持ち型情報処理装置
JPWO2016186041A1 (ja) * 2015-05-15 2017-12-14 フィールズ株式会社 振動式入力装置
US9842476B2 (en) * 2015-09-25 2017-12-12 Immersion Corporation Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference
US10328345B2 (en) * 2016-07-26 2019-06-25 Nintendo Co., Ltd. Vibration control system, vibration control method, and non-transitory computer-readable storage medium with executable vibration control program stored thereon
KR102651705B1 (ko) * 2017-02-23 2024-03-28 삼성전자주식회사 전자 장치에서 진동 제공 방법 및 장치

Also Published As

Publication number Publication date
JPWO2018216480A1 (ja) 2020-03-26
US20200086215A1 (en) 2020-03-19
JP7172999B2 (ja) 2022-11-16
CN110621384A (zh) 2019-12-27
WO2018216480A1 (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
US9349264B2 (en) Haptic effects broadcasting during a group event
CN106970772A (zh) 用于触觉反馈元件的控制器
JP6322830B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
US11565172B2 (en) Information processing apparatus, information processing method, and information processing apparatus-readable recording medium
EP2703951B1 (en) Sound to haptic effect conversion system using mapping
US20200186912A1 (en) Audio headset device
US9219961B2 (en) Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus
CN109429132A (zh) 耳机系统
CN113132841B (zh) 降低耳机闭塞效应的方法及相关装置
US10238964B2 (en) Information processing apparatus, information processing system, and information processing method
US9276541B1 (en) Event-based presentation and processing of content
KR20180126474A (ko) 시스템, 단말 장치, 방법 및 기록 매체
CN112534381A (zh) 触觉反馈呈现装置的预驱动
JP6757420B2 (ja) 音声制御装置、音声制御方法及びプログラム
WO2017115545A1 (ja) コントローラ、入出力装置、及び通信システム
CN107749306B (zh) 一种振动优化的方法及移动终端
CN110621384B (zh) 信息处理设备、信息处理方法和程序
JPWO2020090223A1 (ja) 情報処理装置、情報処理方法及び記録媒体
EP3757722B1 (en) Information processing device, information processing method, and computer program
CN108711434A (zh) 车辆降噪方法及装置
JP5860629B2 (ja) 音源定位制御プログラムおよび音源定位制御装置
US10923098B2 (en) Binaural recording-based demonstration of wearable audio device functions
WO2020100583A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
US11276282B2 (en) Information processing apparatus, information processing method, and recording medium
WO2023281820A1 (ja) 情報処理装置、情報処理方法、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant