CN117784952A - 信息处理系统、信息处理装置、程序以及控制方法 - Google Patents
信息处理系统、信息处理装置、程序以及控制方法 Download PDFInfo
- Publication number
- CN117784952A CN117784952A CN202311213465.0A CN202311213465A CN117784952A CN 117784952 A CN117784952 A CN 117784952A CN 202311213465 A CN202311213465 A CN 202311213465A CN 117784952 A CN117784952 A CN 117784952A
- Authority
- CN
- China
- Prior art keywords
- sound
- information processing
- vibration
- input device
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 32
- 230000004044 response Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 46
- 230000005236 sound signal Effects 0.000 description 35
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000005674 electromagnetic induction Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000030279 gene silencing Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
Abstract
本发明涉及信息处理系统、信息处理装置、程序以及控制方法。提高根据接触提示振动的输入设备的使用感。输入设备具备振动部,信息处理装置具备触摸传感器以及显示部,触摸传感器和上述显示部重叠,信息处理装置或者输入设备的控制器根据输入设备对触摸传感器的接触,将合成振动成分和声音成分得到的驱动信号供给到振动部,并基于信息处理装置的声学环境来决定声音成分的输出特性。本实施方式也能够以信息处理系统、信息处理装置、程序、控制方法中的任意一种方式实现。
Description
技术领域
本发明涉及具备信息处理系统、信息处理装置、程序以及控制方法的输入设备的控制。
背景技术
触觉笔(haptic pen)是具有触觉反馈功能(haptics feedback)的数字笔。数字笔是用于向信息处理装置显示以及记录手写文字等的输入设备。数字笔也被称为电子笔、智能笔、指示笔等。触觉反馈通过根据对显示文字等的触摸面板的接触使振动体振动来实现。通过具备触觉反馈功能,尝试提高书写感觉。在触觉笔中,也尝试模拟通过书写工具对纸的机械式的接触而产生的振动。
例如,在专利文献1中记载了一种交互式指示笔,包括具有第一端部的指示笔主体,第一端部构成为在用户使用时提供第一功能以及第二功能。交互式指示笔还包括控制器,该控制器构成为使第一端部驱动,以便将第一端部和交互式显示器装置的电极矩阵电容耦合。电容耦合与第一功能相关,第二功能根据自动地感知使用第一功能的用户的意图而无需明确的用户输入,成为无效。交互式指示笔还具有触觉致动器,包含在指示笔主体中,并且与第二功能相关,使第二功能无效包括阻止触觉致动器的动作。
专利文献1:日本特开2017-228173号公报
专利文献2:日本特开2019-185339号公报
然而,仅通过模拟振动再现与圆珠笔等机械式的书写工具相同的感觉一般较困难。在书写时,除了振动以外,也产生声音等其它种类的刺激。认为用户综合这些来感知书写感觉。因此,触觉笔的使用感未必会提高。
发明内容
本发明是为了解决上述的课题而完成的,本发明的一方式所涉及的信息处理系统具备信息处理装置和输入设备,上述输入设备具备振动部,上述信息处理装置具备触摸传感器以及显示部,上述触摸传感器和上述显示部重叠,上述信息处理装置或者上述输入设备的控制器根据上述输入设备对上述触摸传感器的接触,将合成振动成分和声音成分得到的驱动信号供给到上述振动部,基于上述信息处理装置的声学环境来决定上述声音成分的输出特性。
在上述的信息处理系统中,上述控制器也可以根据对上述输入设备的音量设定来决定上述声音成分的强度。
在上述的信息处理系统中,上述控制器也可以在设定消音模式时停止上述声音成分的输出。
在上述的信息处理系统中,上述信息处理装置也可以具备扬声器,上述控制器在来自上述扬声器的音量超过规定的基准音量时停止上述声音成分的输出。
在上述的信息处理系统中,上述信息处理装置也可以具备对周围的声音进行收音的收音部,上述控制器基于上述收音部所拾取的声音的强度来决定上述声音成分的强度。
本发明的第二方式所涉及的信息处理装置具备控制器、触摸传感器以及显示部,上述触摸传感器和上述显示部重叠,上述控制器根据输入设备对上述触摸传感器的接触,将合成振动成分和声音成分得到的驱动信号供给到上述输入设备的振动部,并基于本装置的声学环境来决定上述声音成分的输出特性。
本发明的第三方式所涉及的程序是用于使计算机作为上述的信息处理装置发挥功能的程序。
本发明的第四方式所涉及的控制方法是信息处理系统中的控制方法,上述信息处理系统具备信息处理装置和输入设备,上述输入设备具备振动部,上述信息处理装置具备触摸传感器以及显示部,上述触摸传感器和上述显示部重叠,上述信息处理装置或者上述输入设备的控制器执行:根据上述输入设备对上述触摸传感器的接触,将合成振动成分和声音成分得到的驱动信号供给到上述振动部的步骤;以及基于上述信息处理装置的声学环境来决定上述声音成分的输出特性的步骤。
根据本发明的实施方式,与振动一起提示与声学环境相应的声音,能够提高输入设备的使用感。
附图说明
图1是表示本实施方式所涉及的信息处理系统的外观结构例的立体图。
图2是表示本实施方式所涉及的信息处理系统的示意结构例的框图。
图3是表示本实施方式所涉及的信息处理系统的硬件结构例的框图。
图4是表示本实施方式所涉及的信息处理系统的功能结构的一个例子的框图。
图5是表示本实施方式所涉及的振动产生器的输出特性的一个例子的图。
图6是表示本实施方式所涉及的声音成分的控制方法的第一例的图。
图7是表示本实施方式所涉及的声音成分的控制方法的第二例的图。
图8是表示本实施方式所涉及的声音成分的控制方法的第三例的图。
图9是表示本实施方式所涉及的声音输出控制方法的例子的流程图。
图10是表示本实施方式所涉及的信息处理系统的功能结构的另一例的框图。
附图标记说明
S1…信息处理系统;1…信息处理装置;10…控制部;11…处理器;12…主存储器;13…闪存;20…触摸屏;21…显示部;22…触摸传感器;24…音频系统;25…麦克风;26…扬声器;27…基带芯片;28…第二通信部;29…无线通信部;30…输入设备;31…无线通信部;32…MCU;33…DAC;34…放大器;35…振动产生器;40…存储部;50…设备控制部;55…振动部;101…输入处理部;102…显示处理部;103…声音设定部;104…声音处理部;110…振动控制部;221…接触检测部;222…设备检测部;510…振动控制部。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。首先,对本实施方式所涉及的信息处理系统S1的结构例进行说明。在以下的说明中,以信息处理装置1是平板终端、输入设备30是具有触觉提示功能的数字笔的情况为主。数字笔是笔形状的操作介质,可以构成为书写设备。在本申请中,有时将数字笔仅称为“笔”。图1是表示本实施方式所涉及的信息处理系统S1的外观结构例的立体图。信息处理系统S1具备信息处理装置1和输入设备30。
信息处理装置1具有厚度比宽度以及高度薄的平板状的形状。信息处理装置1具有壳体CS1,在壳体CS1的一个主面(在以下的说明中,有时称为“表面”)具有触摸屏20。触摸屏20覆盖壳体CS1的表面。触摸屏20的外周由壳体CS1支承。在壳体CS1收容有信息处理装置1的其它部件。
输入设备30由用户把持,通过一边与触摸屏20的表面接近或接触一边移动,从而用于文字、符号、图形等的数据输入或者编辑。触摸屏20具备显示部21和触摸传感器22(后述)。显示部21在设置于其表面的显示画面DF可视觉确认地显示各种信息。触摸传感器22与显示部21的表面重叠地配置。触摸传感器22检测输入设备30对该表面的输入动作。信息处理装置1监视输入动作的有无,确定检测到输入动作的位置,执行基于输入动作的数据输入或者编辑。信息处理装置1例如使与触摸传感器22接触的接触位置的轨迹显示于显示画面DF。
输入设备30具备振动部55(后述)。信息处理装置1检测本装置的声学环境,并基于检测到的声学环境来决定声音成分的输出特性。
信息处理装置1例如按照对输入设备30的音量设定来决定声音成分的强度。信息处理装置1也可以对与本装置连接、能够提示声音的可提示设备的全部一并设定是否需要声音输出。在该情况下,信息处理装置1将是否需要声音输出也应用于输入设备30。
接下来,对本实施方式所涉及的信息处理系统S1的示意结构例进行说明。图2是表示本实施方式所涉及的信息处理系统S1的示意结构例的框图。信息处理系统S1具备信息处理装置1和输入设备30。
信息处理装置1具备控制部10、触摸传感器22以及无线通信部29。触摸传感器22检测对显示画面DF的接触或者在一定距离内的接近(悬停),并且确定其位置,作为输入设备30的输入动作。触摸传感器22生成包括表示检测到的接触或接近、以及其位置的检测信息的输入数据,并将生成的输入数据输出到控制部10。触摸传感器22也可以检测与输入设备30接触的位置即接触位置处的压力作为接触压力,将检测到的接触压力的信息包含在输入数据中并输出到控制部10。触摸传感器22也可以检测输入设备30的长边方向相对于显示画面DF所成的角度作为笔角度。触摸传感器22也可以将检测到的笔角度的信息包含在输入数据中并输出到控制部10。
控制部10控制信息处理装置1的整体功能。控制部10具备显示处理部102、声音设定部103、声音处理部104以及振动控制部110。
声音设定部103例如显示声音设定画面(未图示)作为显示部21的显示画面DF(图1)。声音设定画面是用于设定用于提示声音的提示用设备和音量的画面。声音设定画面表示与自身连接并能够提示声音的可提示设备,按照每个可提示设备配置用于指示音量调整量的画面部件。音量调整量相当于对声音信号的增益。
声音设定部103也可以按照每个可提示设备设定表示是否需要声音输出的声音提示模式。声音提示模式例如有通常模式、消音模式等。通常模式是基于获取到的声音信号能够提示声音的动作方式。消音模式是不提示基于获取到的声音信号的声音的动作方式。消音模式也被称为静音模式。也可以在信息处理装置1的可提示设备中共用地设定声音提示模式。
声音设定部103例如基于来自触摸传感器22的输入数据选择可提示设备的任意一个作为提示用设备,设定对提示用设备的音量调整量。作为可提示设备,例如包括扬声器26(后述)和输入设备30。声音设定部103将表示所选择的提示用设备和音量调整量的声音设定信息输出到声音处理部104。声音设定信息也可以包含声音提示模式的信息。
声音设定部103也可以比对各个可提示设备的声音提示模式优先应用信息处理装置1的可提示设备共用的消音模式。即,在设定消音模式作为可提示设备共用的声音提示模式的情况下,通知消音模式,作为对作为提示用设备的输入设备30的声音设定信息。
声音设定部103也可以无论是否选择输入设备30作为提示用设备,都能够设定对输入设备30的音量调整量。输入设备30无论是否被选择为可提示设备,都可以允许能够根据对触摸传感器22的接触而生成接触音。在设定对输入设备30的音量调整量的情况下,声音设定部103将表示对输入设备30的音量调整量的声音设定信息作为声学环境信息经由无线通信部29输出到输入设备30。声音设定信息也能够视为传递信息处理装置1的声学环境的信息。
声音设定部103的功能例如可以通过执行操作系统(OS:Operating System)的设备设定API(Application Programming Interface:应用程序接口)函数来实现。声音设定部103的功能也可以通过按照应用程序(application program,在本申请中,有时称为“应用”)调出该API函数来实现。另外,在本申请中,程序的执行包括执行在程序中描述的各种指令所指示的处理的含义。
在指示声音的提示时,声音处理部104获取声音信号。声音的提示例如可以通过表示来自触摸传感器22的声音再生按钮的按下的输入数据来指示。声音处理部104也可以使用以下任意一种方法来获取声音信号:从信息处理装置1的外部输入声音信号、预先存储的声音信号的读取、声音信号的合成等。声音处理部104也可以作为声音设定部103所涉及的应用的功能的一部分来实现。该应用例如可以是声音通话应用、录音再生应用、声音合成应用、声音分发应用等中的任意一个。
从声音设定部103向声音处理部104输入声音设定信息。声音处理部104通过声音设定信息所指示的音量调整量来调整获取到的声音信号的音量。声音处理部104将音量调整后的声音信号输出到声学环境信息所指示的提示用设备。此外,在声音设定信息中指示消音模式(静音模式)的情况下,声音处理部104停止获取到的声音信号的输出,直到接下来指示解除消音模式为止。
此外,声音设定部103也可以将从麦克风25输入的声音信号的音量决定为周围音量。声音设定部103也可以将表示所决定的周围音量的信息包含在声学环境信息中并经由无线通信部29输出到输入设备30。
另外,在声音设定部103中选择扬声器26作为提示用设备的情况下,声音处理部104也可以将音量调整后的声音信号输出到声音设定部103。声音设定部103将从声音处理部104输入的音量调整后的声音信号的音量决定为扬声器音量。声音设定部103也可以将表示所决定的扬声器音量的信息包含在声学环境信息中并经由无线通信部29输出到输入设备30。
显示处理部102按照来自触摸传感器22的输入数据所指示的输入动作进行数据输入或者编辑。显示处理部102例如确定按照一定时间输入的输入数据所指示的接触位置,形成接触位置的时间序列。显示处理部102基于所形成的接触位置的时间序列来生成移动轨迹并显示于显示部21。
振动控制部110基于表示来自触摸传感器22的输入动作的输入数据将用于振动部55的振动的控制的信息提供给输入设备30。振动控制部110的功能例如也可以通过执行输入设备30的设备驱动程序来实现。
振动控制部110根据表示对触摸传感器22的接触的输入数据,来检测接触位置的信息和接触压力的信息的一方或双方作为振动控制信息。振动控制部110将检测到的振动控制信息经由无线通信部29输出到输入设备30。振动控制部110也可以根据输入数据推断显示画面DF上的输入设备30的接触位置的移动方向与输入设备30的长边方向所成的角度作为方位角。振动控制部110例如能够将从之前的时刻的接触位置向该时刻的接触位置的位移的方向决定为输入设备30的移动方向。振动控制部110能够将输入数据所示的笔角度决定为该时刻的输入设备30的长边方向的方向。振动控制部110也可以将表示推断出的方位角的信息包含在振动控制信息中并输出到输入设备30。
无线通信部29使用规定的通信方式与输入设备30无线收发各种数据。
接下来,对输入设备30的示意结构例进行说明。输入设备30具备无线通信部31、设备控制部50以及振动部55。
无线通信部31使用规定的通信方式与信息处理装置1无线收发各种数据。
设备控制部50统一控制输入设备30的功能。例如,从信息处理装置1使用无线通信部31向设备控制部50输入声学环境信息和振动控制信息。设备控制部50使用声学环境信息和振动控制信息来合成用于使振动部55振动的驱动信号(驱动信号合成)。设备控制部50将合成的驱动信号输出到振动部55。
设备控制部50参照预先设定的基准振动波形信息,基于基准振动控制信息来生成表示振动成分的振动信号。基准振动波形信息是表示作为基准的振动波形的信息。通过设备控制部50使用基准振动控制信息来调整振动成分的特性。设备控制部50参照预先设定的基准声音波形信息,基于声音设定信息来生成表示声音成分的声音信号。通过设备控制部50使用声学环境信息来调整声音成分的输出特性。后述驱动信号的生成例子。
振动部55按照从设备控制部50输入的驱动信号进行振动。振动部55的振动中的声音成分产生声波,作为声音来提示。振动部55的振动中的振动成分作为振动来提示。
一般而言,人的可听频带为20Hz-20kHz左右,对500Hz-2kHz频带的灵敏度比对其它频带的灵敏度高。在更低的频带中,灵敏度降低。与此相对,关于人的触觉,对10-100Hz频带的灵敏度比对其它频带的灵敏度高。在更高的频带中,灵敏度降低。在500Hz以上的频率中,几乎察觉不到振动。振动信号以约200Hz以下的低频成分为主。与此相对,声音信号以约200Hz以上的高频成分为主。
接下来,对本实施方式所涉及的信息处理系统S1的硬件结构例进行说明。图3是表示本实施方式所涉及的信息处理系统S1的硬件结构例的框图。信息处理系统S1具备信息处理装置1和输入设备30。信息处理装置1具备:处理器11、主存储器12、闪存13、触摸屏20、音频系统24、麦克风25、扬声器26、基带芯片27、第二通信部28以及无线通信部29。
处理器11控制整个信息处理装置1的功能。作为处理器11,例如应用一个以上的CPU(Central Processing Unit:中央处理器)。处理器11执行规定的程序,并与主存储器12和其它硬件协作,起到作为控制部10的功能。
主存储器12是作为处理器11的作业区域、即执行程序、各种设定数据的读入区域、通过执行程序而获取的处理数据的写入区域被利用的可写入存储器。主存储器12例如包括多个DRAM(Dynamic Random Access Memory:动态随机存取存储器)芯片而构成。执行程序包括OS、用于控制周边设备等的各种设备驱动程序、各种服务/实用程序、应用等。
在闪存13中预先存储OS、各种设备驱动程序、各种服务/实用程序、应用以及各种数据。
显示部21显示基于从处理器11输出的显示数据的各种显示画面。显示部21例如可以是液晶显示器、有机电致发光显示器等中的任意一个。
触摸传感器22具备接触检测部221和设备检测部222。
接触检测部221检测与显示画面DF接触的物体(在本申请中,主要是输入设备30)及其接触位置。接触检测部221检测与显示画面DF接触的物体的接触压力。接触检测部221例如是静电电容压力传感器。接触检测部221也可以检测接触的物体的倾斜即、笔角度。在接触检测部221为3轴的压力传感器的情况下,能够使用相对于各个轴向的压力的方向余弦来确定笔角度。
设备检测部222虽然未达到接触,但将接近自身的输入设备30及其位置检测为接近位置。设备检测部222例如具备电磁感应传感器。电磁感应传感器检测通过接近而在谐振电路LC1(后述)中产生的交流的感应磁场。电磁感应传感器能够通过是否存在该谐振频率下的检测到的磁场的大小超过恒定值的位置,来检测输入设备30的接近的有无。电磁感应传感器能够将检测到的磁场的大小超过恒定值的位置确定为输入设备30的接近位置。
音频系统24进行对声音信号的处理、输入、输出、记录、再生、编码以及解码等处理。音频系统24例如具备音频IC(Integrated Circuit:集成电路)。在音频系统24连接有麦克风25和扬声器26。能够从处理器11、麦克风25或者基带芯片27向音频系统24输入声音信号。音频系统24读出自身记录的声音信号。音频系统24能够将获取到的声音信号输出到扬声器26或者处理器11。输出到处理器11的声音信号能够经由基带芯片27并经由第二通信部28或者无线通信部29输出到输入设备30。
麦克风25对到达自身的声音进行收音,并将拾取到的声音的声音信号输出到音频系统24。
扬声器26基于从音频系统24输入的声音信号提示声音。
基带芯片27是用于控制使用了第二通信部28的通信的专用IC。基带芯片27例如实现使用了4G(第四代无线通信系统)、5G(第五代无线通信系统)等公用无线通信系统、由IEEE802.11规定的区域内无线通信网络等的通信。基带芯片27按照来自处理器11的控制,使用第二通信部28与经由通信网络的其它设备可收发各种数据地连接,收发各种数据。
第二通信部28是用于与无线通信网络连接的无线通信模块。第二通信部28具备收发电波的天线。
无线通信部29是用于与输入设备30收发无线数据的无线通信模块。无线通信部29例如能够使用由IEEE802.15.1规定的无线PAN(Personal Area Network:个人局域网)方式作为通信方式。
输入设备30是具有长度比直径大的细长的形状的操作介质。输入设备30具备:无线通信部31、MCU32、振动部55以及谐振电路LC1。
无线通信部31是用于与信息处理装置1的无线通信部29收发无线数据的无线通信模块。
MCU(Micro Controller Unit:微控制器)32统一控制输入设备30的功能。MCU32具备处理器、ROM、RAM等存储器、各种输入输出接口。MCU32与信息处理装置1独立运行。MCU32执行规定的程序,起到作为上述的设备控制部50的功能。
从信息处理装置1使用无线通信部31向MCU32输入声音设定信息和振动控制信息。MCU32使用声音设定信息和振动控制信息的一方或者双方合成驱动信号。MCU32将合成的驱动信号输出到振动部55。
振动部55具备DAC33、放大器34以及振动产生器35。
DAC(Digital-to-Analog Converter:数模转换器)33将从MCU32输入的数字的驱动信号转换为模拟的驱动信号。DAC33将转换后的模拟的驱动信号输出到放大器34。
放大器(amplifier)34调整从DAC33输入的驱动信号的振幅,并将调整振幅后的驱动信号输出到振动产生器35。
振动产生器35是按照从放大器34输入的驱动信号产生振动的致动器。振动产生器35例如具备压电元件等压电振子。
谐振电路LC1是产生以恒定的谐振频率进行谐振的电流的电路。谐振电路LC1例如通过将线圈和电容器串联连接而构成。谐振电路LC1通过自身产生的交流电流,产生在该谐振频率下极性变动的磁场。通过所产生的磁场,通过触摸传感器22的设备检测部222检测输入设备30的接近。
接下来,对本实施方式所涉及的信息处理系统S1的功能结构例进行说明。
图4是表示本实施方式所涉及的信息处理系统S1的功能结构例的框图。在图4的例子中,以与图2、图3的差异点为主进行说明。对于与图2、图3的共同点,标注相同的附图标记,只要没有特殊说明,则引用上述的说明。
信息处理系统S1具备信息处理装置1和输入设备30。
信息处理装置1具备控制部10、触摸屏20、无线通信部29以及存储部40。存储部40例如通过主存储器12和闪存13来实现。
控制部10具备:输入处理部101、显示处理部102、声音设定部103、声音处理部104以及振动控制部110。
输入设备30具备无线通信部31、设备控制部50以及振动部55。
输入处理部101控制来自触摸传感器22的输入。输入处理部101的功能例如通过处理器11执行触摸传感器22的设备驱动程序来实现。输入处理部101按照OS的指令将从触摸传感器22输入的输入数据输出到振动控制部110。
输入设备30在设备控制部50中具备振动控制部510。
振动控制部510基于如上述那样使用无线通信部31输入的声学环境信息和振动控制信息来控制振动部55的振动。在通过振动控制信息通知对触摸传感器22的接触时,振动控制部510生成包含声音成分和振动成分的驱动信号。振动控制部510将生成的驱动信号输出到振动部55。
振动控制部510基于通过振动控制信息传递的对触摸传感器22的接触状态来控制驱动信号整体的输出特性。例如在包含接触位置的信息作为接触状态的情况下,接触位置的移动速度越高,振动控制部510使振动成分或者驱动信号整体的振幅越大。振动控制部510也可以在包含接触压力的信息作为接触状态的情况下,接触压力越高,使振动成分或者驱动信号整体的振幅越大。振动控制部510也可以在声学环境信息中包含对输入设备30的音量调整量(笔音量)的信息的情况下,基于该音量调整量来调整声音成分的音量。另外,在声学环境信息中包含表示作为声音提示模式的消音模式的信息的情况下,振动控制部510停止声音成分的输出。在停止声音成分的输出时,在输出驱动信号之前,振动控制部510在驱动信号中不包含声音成分而包含振动成分。
振动控制部510也可以在声学环境信息中包含表示扬声器音量的信息的情况下,基于该扬声器音量来控制声音成分的输出特性。例如,在扬声器音量大于规定的扬声器音量的基准音量的情况下,振动控制部510停止声音成分的输出。
振动控制部510也可以在声学环境信息中包含表示周围音量的信息的情况下,基于该周围音量来控制声音成分的输出特性。例如,在周围音量大于规定的周围音量的基准音量的情况下,振动控制部510停止声音成分的输出。
接下来,示出本实施方式所涉及的振动产生器35的输出特性的一个例子。图5是表示本实施方式所涉及的振动产生器35的输出特性的一个例子的图。图5的横轴、纵轴分别表示频率(Hz)和振幅(Gmrs:有效加速度)。作为振幅,示出对于每个频率的一定的驱动功率而在振动产生器35中产生的有效加速度的振幅。表示振幅的值越大则振动部55越高效地振动。振幅大致在100Hz处成为极大。在频率比100Hz低的低频中,频率越低,振幅越小,在频率比100Hz高的高频中,频率越高,振幅越小。其中,高频中的振幅的降低比低频缓慢。这表示在主要被感知为声音而未被感知为振动的高频中能够提示声音。振动控制部510能够主要调整高频的输出特性的振幅来控制声音成分的输出特性。
接下来,对声音成分的控制方法的例子进行说明。图6是表示本实施方式所涉及的声音成分的控制方法的第一例的图。
在第一例中,在振动控制部510中预先设定基准波形信号和控制表(未图示)。基准波形信号是包含振动成分和声音成分的时间序列的信号。振动控制部510具备可变滤波器和可变放大器。在控制表中预先设定表示可变滤波器的滤波系数与声音成分的输出特性的对应关系的信息、表示移动速度和接触压力的集合与增益的对应关系的信息。
振动控制部510在生成驱动信号时,读取所设定的基准波形信号,并供给到可变滤波器。振动控制部510参照控制表,决定与由声学环境信息通知的输出特性对应的滤波系数,并对可变滤波器设定所决定的滤波系数。从可变滤波器向可变放大器输出声音调整信号,该声音调整信号表示声音成分被调整为具有所设定的输出特性的波形。
振动控制部510基于由振动控制信息通知的接触状态来确定接触位置的移动速度和接触压力。振动控制部510参照控制表,决定与所确定的移动速度和接触压力的集合对应的增益,并对可变放大器设定所决定的增益。从可变滤波器向振动部55输出以所设定的增益调整振幅后的驱动信号。
接下来,对声音成分的控制方法的例子进行说明。图7是表示本实施方式所涉及的声音成分的控制方法的第二例的图。
在第二例中,在振动控制部510中设定控制表(未图示),并且获取表示声音波形的声音信号和表示振动波形的振动信号。
振动控制部510代替针对于基准波形的可变滤波器,对于声音波形、振动波形各个,具备声音成分用的可变电阻元件(以下,称为“声音用可变电阻元件”)、振动成分用的可变电阻元件(以下,称为“振动用可变电阻元件”)以及加法器。在控制表中包含表示声音用可变电阻元件的电阻值与声音成分的输出特性的对应关系的信息、表示振动用可变电阻元件的电阻值与声音成分的输出特性的对应关系的信息、表示移动速度和接触压力的集合与增益的对应关系的信息。表示振动用可变电阻元件的电阻值与声音成分的输出特性的对应关系的信息不是必须的,但也可以以调整驱动信号中的声音成分的相对的比率为目的来设定。
振动控制部510参照控制表,确定对与由声学环境信息通知的输出特性对应的声音用可变电阻元件、振动用可变电阻元件各自的电阻值,并对声音用可变电阻元件、振动用可变电阻元件设定分别确定的电阻值。振动控制部510将获取到的声音信号和振动信号分别输出到声音用可变电阻元件和振动用可变电阻元件。振动控制部510从声音用可变电阻元件和振动用可变电阻元件向加法器输出分别调整了振幅的声音信号和振幅信号。
加法器将所输入的声音信号和振幅信号相加来生成驱动信号,并将生成的驱动信号输出到可变放大器。
振动控制部510与第一例同样地参照控制表,对可变放大器设定增益,并使用可变放大器调整驱动信号的增益。
此外,在第二例中,也可以代替声音用可变电阻元件和振动用可变电阻元件,而使用声音成分用的衰减器或放大器、以及振动成分用的衰减器或放大器。
在第二例中,也可以将预先在振动控制部510中设定的基准声音波形信号和基准振动波形信号用作处理对象的声音信号和振动信号。基准声音波形不一定限于在书写时通过笔和纸的摩擦而产生的摩擦音的声音波形,也可以使用警告声、其它通知声。另外,在该结构中,声音信号和振动信号的输出特性能够独立地控制。因此,振动控制部510可以将从信息处理装置1输入的声音信号用作处理对象的声音信号,也可以将自身独自合成的声音信号用作处理对象的声音信号。输入或者合成的声音信号可以通过声音设定部103作为提示用设备将输入设备30指定为输出目的地。
振动控制部510也可以独自合成振动信号。振动控制部510例如在振动控制信息具有方位角的信息的情况下,也可以合成与方位角对应的振动信号作为处理对象的振动信号。在该情况下,在振动控制部510中预先存储基准波形信息和合成表。基准波形信息是表示针对于预先决定的多个基准方位角的每一个的基准波形的信息。可以在0°~180°之间设定为三个以上基准方位角。合成表是表示每个基准方位角的对于关于基准波形的方位角的合成比的数据表。振动控制部510参照合成表,按照每个基准方位角决定针对于所通知的方位角的合成比。振动控制部510能够生成将决定的合成比作为权重系数的、基准方位角间的振动波形的加权和作为振动信号。
接下来,对声音成分的控制方法的例子进行说明。图8是表示本实施方式所涉及的声音成分的控制方法的第三例的图。
在第三例中,在振动控制部510中设定控制表(未图示),并且预先设定多个驱动信号的波形图案。各个波形图案至少包含振动成分,各个声音成分的输出特性不同。在控制表中包含表示移动速度和接触压力的集合与增益的对应关系的信息。在控制表中也可以不包含与声音信号的输出特性相关的信息。
振动控制部510读出多个波形图案中的与由声学环境信息通知的输出特性对应的波形图案,并将读出的波形图案所涉及的驱动信号输出到可变放大器。振动控制部510与第一例同样地参照控制表,对可变放大器设定增益,并使用可变放大器来调整驱动信号的增益。
此外,在振动控制部510中,上述的基准波形信号、基准声音波形信号、基准振动波形信号、驱动信号(波形图案)分别储存于具有规定的文件形式(例如,WAVE形式)的数据文件中来存储。
接下来,对本实施方式所涉及的声音输出控制方法的例子进行说明。图9是表示本实施方式所涉及的声音输出控制方法的例子的流程图。
(步骤S102)输入设备30的振动控制部510等待从信息处理装置1输入的声学环境信息。振动控制部510通过在声学环境信息中是否包含音量调整量的信息来判定是否对笔音量进行了设定变更。在判定为进行了设定变更时(步骤S102是),进入步骤S104的处理。在判定为未进行设定变更时(步骤S102否),进入步骤S106的处理。
(步骤S104)振动控制部510基于由声学环境信息通知的音量调整量来调整声音成分的音量(笔音量变更)。
(步骤S106)振动控制部510通过在声学环境信息中是否包含表示消音模式(静音模式)的信息,来判定是否设定消音模式作为声音提示模式。在判定为设定消音模式时(步骤S106是),进入步骤S114的处理。在判定为未设定消音模式时(步骤S106否),进入步骤S108的处理。
(步骤S108)在声学环境信息中包含表示扬声器音量的信息的情况下,振动控制部510判定扬声器音量是否大于规定的基准音量。在判定为大于时(步骤S108是),进入步骤S114的处理。在判定为不大于时(步骤S108否),进入步骤S110的处理。
(步骤S110)在声学环境信息中包含表示周围音量的信息的情况下,振动控制部510判定周围音量是否大于规定的基准音量。在判定为大于时(步骤S110是),进入步骤S114的处理。在判定为不大于时(步骤S110否),进入步骤S112的处理。
(步骤S112)振动控制部510将包含声音成分的驱动信号输出到振动部55。振动部55提示基于驱动信号所包含的声音成分的声音(笔声音输出)。然后,返回到步骤S102的处理。
(步骤S114)振动控制部510将不包含声音成分包含振动成分的驱动信号输出到振动部55。振动部55按照驱动信号进行振动,停止声音的提示(笔声音输出停止)。然后,返回到步骤S102的处理。
如图4所示,上述的例子获取输入设备30具备振动控制部510,基于从信息处理装置1输入的声学环境信息和振动控制信息生成驱动信号的情况,但并不限于此。
如图10所例示那样,信息处理装置1的振动控制部110也可以不将声学环境信息和振动控制信息输出到输入设备30,而利用与上述的振动控制部510相同的方法,基于该声学环境信息和振动信号信息生成驱动信号。在振动控制部110中预先设定用于该处理的参数、其它数据。振动控制部110将生成的驱动信号使用无线通信部29输出到输入设备30。在输入设备30中,设备控制部50将从信息处理装置1使用无线通信部31输入的驱动信号输出到振动部55。在该例子中,在输入设备30中,也可以省略振动控制部510。
另外,在上述的例子中,以信息处理装置1为平板终端装置的情况为主,但并不限于此。信息处理装置1也可以是多功能移动电话机(包含所谓的智能手机)、个人计算机等使用触摸屏输入信息的其它形态的信息通信设备。
如以上说明那样,本实施方式所涉及的信息处理系统S1具备信息处理装置1和输入设备30。输入设备30具备振动部55。信息处理装置1具备触摸传感器22以及显示部21,触摸传感器22和显示部21重叠。信息处理装置1或者输入设备30的控制器(例如,处理器11、MCU32的任意一方或者双方)根据输入设备30对触摸传感器22的接触,将合成振动成分和声音成分得到的驱动信号供给到振动部,并基于信息处理装置1的声学环境来决定声音成分的输出特性。
根据该结构,基于信息处理装置1的声学环境决定声音成分的输出特性,振动部根据对输入设备30的接触,并按照驱动信号的振动成分而振动,并且按照声音成分提示声音。所提示的声音的输出特性基于声学环境来决定。因此,根据对触摸传感器22的接触而振动的输入设备30的使用感提高。
控制器也可以根据对输入设备30的音量设定(例如,音量调整量)来决定声音成分的强度(例如,振幅)。
根据该结构,能够按照对输入设备30的音量设定使输入设备30以所希望的强度提示声音。
控制器也可以在设定消音模式(即,静音模式)时停止声音成分的输出。
根据该结构,在设定消音模式时,停止来自输入设备30的声音的提示。
信息处理装置1具备也可以扬声器26,控制器在来自扬声器26的音量超过规定的基准音量时停止声音成分的输出。
根据该结构,在扬声器26的音量大于基准音量时,停止输入设备30的声音的提示。在由于来自扬声器26的声音而无法收听或者变得困难的情况下,避免来自输入设备30的声音的提示。
信息处理装置1也可以具备对周围的声音进行收音的收音部(例如,麦克风25),控制器基于收音部收音的声音的强度来决定声音成分的强度(例如,在超过基准音量的情况下,停止声音成分的输出)。
根据该结构,以基于收音部拾取的周围的声音的强度而决定的强度从输入设备30提示声音。因此,用户能够不进行特殊的操作而以与环境声的音量对应的音量收听从输入设备30提示的声音。
以上,参照附图对本发明的实施方式进行了详述,但具体的结构并不限于上述的实施方式,也包含不脱离本发明的主旨的范围的设计等。在上述的实施方式中说明的各结构能够任意地组合。
Claims (8)
1.一种信息处理系统,具备信息处理装置和输入设备,上述输入设备具备振动部,上述信息处理装置具备触摸传感器以及显示部,上述触摸传感器和上述显示部重叠,
上述信息处理装置或者上述输入设备的控制器根据上述输入设备对上述触摸传感器的接触,将合成振动成分和声音成分得到的驱动信号供给到上述振动部,
基于上述信息处理装置的声学环境来决定上述声音成分的输出特性。
2.根据权利要求1所述的信息处理系统,其中,
上述控制器按照对上述输入设备的音量设定来决定上述声音成分的强度。
3.根据权利要求1所述的信息处理系统,其中,
上述控制器在设定消音模式时停止上述声音成分的输出。
4.根据权利要求1所述的信息处理系统,其中,
上述信息处理装置具备扬声器,
在来自上述扬声器的音量超过规定的基准音量时,上述控制器停止上述声音成分的输出。
5.根据权利要求1所述的信息处理系统,其中,
上述信息处理装置具备对周围的声音进行收音的收音部,
上述控制器基于上述收音部所拾取的声音的强度来决定上述声音成分的强度。
6.一种信息处理装置,
具备控制器、触摸传感器以及显示部,
上述触摸传感器和上述显示部重叠,
上述控制器根据输入设备对上述触摸传感器的接触,将合成振动成分和声音成分得到的驱动信号供给到上述输入设备的振动部,
上述控制器基于本装置的声学环境来决定上述声音成分的输出特性。
7.一种程序,
用于使计算机作为权利要求6所述的信息处理装置发挥功能。
8.一种控制方法,是信息处理系统中的控制方法,上述信息处理系统具备信息处理装置和输入设备,上述输入设备具备振动部,上述信息处理装置具备触摸传感器以及显示部,上述触摸传感器和上述显示部重叠,
上述信息处理装置或者上述输入设备的控制器执行:
根据上述输入设备对上述触摸传感器的接触,将合成振动成分和声音成分得到的驱动信号供给到上述振动部的步骤;以及
基于上述信息处理装置的声学环境来决定上述声音成分的输出特性的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-156154 | 2022-09-29 | ||
JP2022156154A JP2024049739A (ja) | 2022-09-29 | 2022-09-29 | 情報処理システム、情報処理装置、プログラム、および、制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117784952A true CN117784952A (zh) | 2024-03-29 |
Family
ID=90380352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311213465.0A Pending CN117784952A (zh) | 2022-09-29 | 2023-09-20 | 信息处理系统、信息处理装置、程序以及控制方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240111477A1 (zh) |
JP (2) | JP2024049739A (zh) |
CN (1) | CN117784952A (zh) |
-
2022
- 2022-09-29 JP JP2022156154A patent/JP2024049739A/ja active Pending
-
2023
- 2023-08-09 US US18/446,477 patent/US20240111477A1/en active Pending
- 2023-09-20 CN CN202311213465.0A patent/CN117784952A/zh active Pending
-
2024
- 2024-02-21 JP JP2024024834A patent/JP2024050999A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2024049739A (ja) | 2024-04-10 |
US20240111477A1 (en) | 2024-04-04 |
JP2024050999A (ja) | 2024-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10026276B2 (en) | Haptic system with increased LRA bandwidth | |
JP5208362B2 (ja) | 電子機器 | |
CN104460983B (zh) | 取向可调节的多通道触觉设备 | |
CN117500611A (zh) | 用于致动器参数的系统内估计的方法和系统 | |
KR20080058121A (ko) | 휴대단말기에서의 촉각형 사용자 인터페이스 제공 장치 및방법 | |
CN109032556B (zh) | 发声控制方法、装置、电子装置以及存储介质 | |
KR20150104808A (ko) | 피드백을 출력하는 전자 장치 및 방법 | |
CN109144460B (zh) | 发声控制方法、装置、电子装置以及存储介质 | |
CN108712571A (zh) | 显示屏发声的方法、装置、电子装置及存储介质 | |
JP2007115157A (ja) | キー操作感覚付与方法及び携帯情報装置 | |
JP7293462B1 (ja) | 情報処理システム、情報処理装置、及び制御方法 | |
EP3462285A1 (en) | Haptic pitch control | |
CN117784952A (zh) | 信息处理系统、信息处理装置、程序以及控制方法 | |
CN108900689B (zh) | 发声控制方法、装置、电子设备及存储介质 | |
JP7474363B1 (ja) | 情報処理システム | |
CN109062536B (zh) | 屏幕发声方法、装置、电子装置及存储介质 | |
CN109144459B (zh) | 发声控制方法、装置、电子装置以及存储介质 | |
JP7434633B1 (ja) | 情報処理装置、情報処理システム、入力デバイスおよび制御方法 | |
JP7348368B1 (ja) | 情報処理システム、情報処理装置、プログラム、および、制御方法 | |
US20200371592A1 (en) | Sensing and compensating for non-linear haptic vibration | |
US11641546B2 (en) | Frequency-domain haptic waveform compensation for haptic transducers | |
CN113778229A (zh) | 信号控制系统、显示设备、控制方法、装置及存储介质 | |
CN109144462A (zh) | 发声控制方法、装置、电子装置及计算机可读介质 | |
WO2020176343A1 (en) | Systems, devices and methods for single actuator audio haptic systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |