CN112119622A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

[技术问题]提供了可以使用声音和振动作为主要信息通道来呈现对另一空间中要感知的对象的真实存在的更真实的感受的信息处理装置、信息处理方法和程序。[技术方案]信息处理装置包括控制单元，该控制单元实行控制，以获取在另一空间中感测的振动信息和声音信息，并且从与该另一空间不同的空间中的感知呈现区域输出该振动信息和该声音信息，以使该另一空间中要感知的对象的存在通过触觉和听觉被感知。

Description

信息处理装置、信息处理方法和程序

技术领域

本公开涉及信息处理装置、信息处理方法和程序。

背景技术

近年来，存在联合电影和影像内容来呈现声音和振动的方法。

例如，以下专利文献1和专利文献2关于设置在屏幕或显示器前方的椅子，公开了用于振动椅子以进一步增强对屏幕或显示器上的场景的真实感的振动装置(用于体感声学设备的椅子)的技术。由于椅子根据场景声学地振动，观众可以亲身感受该振动并拥有更强烈的真实感。

引用清单

专利文献

专利文献1：JP 3066637 B2

专利文献2：JP 3484494 B2

发明内容

技术问题

然而，如上所述的振动设备在用于娱乐的应用中使用影像作为主要信息通道。

另一方面，尽管传统上已经公开了诸如视频电话的使用声音和影像的通信系统，但是仍难以三维地和空间地识别通信伙伴和通信连接目标中的空间的存在和真实存在。

另外，即使将上述用于提供真实感的振动设备应用到使用视频电话等的交互式通信时，意识也倾向于集中在诸如屏幕上的远程地点的场景的视觉信息上。因此，仍难以在三维上和空间上更真实地感受通信伙伴的存在或迹象以及通信连接目标中空间的状态。

因此，本公开提出了可以使用声音和振动作为主要信息通道来呈现对另一空间中要感知的对象的真实存在的更真实的感受的信息处理装置、信息处理方法和程序。

问题的解决方案

根据本公开，提供了信息处理装置，该信息处理装置包括：控制单元，该控制单元实行控制，以获取在另一空间中感测的振动信息和声音信息，并将该振动信息和该声音信息从与该另一空间不同的空间中的感知呈现区域输出，以使该另一区域中要感知的对象的存在将通过触觉和听觉被感知。

根据本公开，提供了信息处理方法，该信息处理方法包括通过处理器来：获取在另一空间中感测的振动信息和声音信息；以及实行控制，以将该振动信息和该声音信息从与该另一空间不同的空间中的感知呈现区域输出，以使该另一区域中要感知的对象的存在将通过触觉和听觉被感知。

根据本公开，提供了使计算机作用为控制单元的程序，该控制单元实行控制，以获取在另一空间中感测的振动信息和声音信息，并将该振动信息和该声音信息从与该另一空间不同的空间中的感知呈现区域输出，以使该另一区域中要感知的对象的存在将通过触觉和听觉被感知。

发明的有益效果

如上所述，根据本公开，可以使用声音和振动作为主要信息通道来呈现对另一空间中要感知的对象的真实存在的更真实的感受。

注意，上述效果不必是限制性的，并且本说明书中描述的任何效果或者可以从本说明书中理解的其他效果可以与上述效果一起展示或代替上述效果展示。

附图说明

图1是用于描述根据本公开的实施例的信息处理系统的概况的图。

图2是示出了根据本实施例的信息处理系统的整体配置的示例的图。

图3是示出了根据本实施例的信息处理装置的配置的示例的框图。

图4是用于描述根据本实施例的信息处理装置的各种传感器和致动器的布置配置的示例的图。

图5是用于描述根据本实施例的信息处理装置的各种传感器和致动器的布置配置的示例的图。

图6是用于描述根据本实施例的信息处理装置的各种传感器和致动器的布置配置的示例的图。

图7是用于描述根据本实施例的信息处理装置的各种传感器和致动器的布置配置的示例的图。

图8是示出了根据本实施例的交互式通信中的输出控制处理的流程的示例的序列图。

图9是示出了根据本实施例的信息处理装置的配置的另一示例的图。

图10是用于描述根据本实施例的根据用户位置的连接感受的调整的图。

具体实施方式

在下文中，将参考附图来详细地描述本公开的优选实施例。注意，在本说明书和附图中，具有大致相同的功能的配置的部件由相同的附图标记表示，并且将省略重复的描述。

另外，将按以下顺序进行描述。

1.根据本公开的一个实施例的信息处理系统的概况

2.信息处理装置1的配置

2-1.内部配置

2-2.外部配置

3.操作处理

4.补充

4-1.实时感的呈现

4-2.回声和啸声的抑制

4-3.平整表面的周边空间的信息传输

4-4.内容的混合

5.另一配置的示例

6.总结

<<1.根据本公开的一个实施例的信息处理系统的概况>>

图1是用于描述根据本公开的实施例的信息处理系统的概况的图。如图1所示，根据本实施例的信息处理系统通过使用例如，在办公桌或桌子上的其中设置有麦克风、振动传感器、扬声器和振动呈现单元(振动致动器)的通信装置(信息处理装置1)，使用声音和振动作为主要信息通道来实现交互式通信。

可以设置多个麦克风、振动传感器、扬声器和振动呈现单元。

例如，如图1所示，设置在空间b中的信息处理装置1B的顶板上的多个传感器(未示出)检测当用户C正在桌子边吃饭时产生的声音和振动(例如，将水壶20放置在桌子上的动作)，并且该信息从设置在空间a中的信息处理装置1A的顶板上的多个扬声器和振动呈现单元输出。此时，在信息处理装置1A中，在与在信息处理装置1B中实际产生声音和振动的位置相同的位置处再现声音和振动。

空间a中的用户A和用户B可以通过听觉和从放置在桌子的顶板上手掌等获得的触觉(该顶板的振动)，来获得远程地点中的用户的动作(例如，将水壶20放置在桌子上的动作)和对象(例如，水壶20)好像实际呈现在用户面前的感觉(遥现(telepresence)感)。从彭菲尔德(Penfield)的脑图上也很明显，由于诸如手指、手、手腕、前臂和肘部的部分在人大脑的感觉区域中占很大比例，因此可以说这些部分是可以更真实的感受诸如根据本实施例的伙伴用户或对象的待感测对象的存在的部分。因此，在本实施例中，由于用户可以通过使用以容易地将手掌或手臂放置在其上的桌子的顶板形式的装置来获得诸如手掌、手腕或手臂的部分上的触觉，所以用户可以更有效地感受伙伴用户或对象的存在。

在桌子上检测和再现的信息不限于将水壶20放置在桌子上的动作，而是可以变化，例如，当放置杯子时产生的声音和振动、当将水倒入杯子中时产生的声音和振动以及在使用刀或叉吃饭的期间产生的声音和振动。在伙伴桌子(信息处理装置1B)处的这些各种类型的声音和振动随时间被检测和传输，并在用户侧的相应桌子(信息处理装置1B)处再现。

与传统上倾向于专注在视觉影像效果(例如，高分辨率、高动态范围、颜色再现性以及通过射线再现的三维表达)的遥现通信方法相比，在这种方法中，用户可以通过组合未相对重视的听觉声音效果(诸如三维声源和声场的再现以及三维感受的表达)以及通过手掌等的触觉振动效果(诸如平整表面上的振动分布的再现、分辨率的感觉以及瞬态响应)，通过更无意识的周边可视区域的感觉而不是中央视野，来真实地感受伙伴用户、对象、空间中的气氛的感觉。

即，在本实施例中，通过振动和声音，可以“识别”不可见的对象的尺寸、重量、材料(原材料)、质地、形状和运动等(另一空间中的气氛以及伙伴用户和对象的存在)，即，可以想象该对象。例如，当在人面前的桌子上产生铅笔滚动的声音和振动时，即使铅笔实际上不可见，人也会想象铅笔滚动，或者当产生放置水壶的沉重声音和振动时，人会想象正将装有大量水的玻璃水壶放置在桌子上。可以认为，想象这些场景是因为大脑中积累的诸如在他/她一生中曾经听到的声音的信息被适当地调用了。可以通过有意地阻断“影像”的信息通道来有效地产生这种“识别”。在有“影像”的情况下，人的大脑会由于集中在“影像”上而变得紧张，并且变得不太可能通过他/她自己的大脑来想象场景，而且人会有意识地识别他/她正在通过屏幕观看远程地点中空间的场景(损害真实感)。另一方面，在没有“影像”的情况下，避免了意识集中到一个点，并且大脑会变得放松。因此，人可以以更周边的视野的感觉来从声音和振动中想象场景。由于声音和振动是从实际存在于用户面前的桌子产生的，所以可以更真实地识别存在，就好像在用户面前呈现不可见的对象一样。

在图1所示的示例的情况下，例如，用户A可以感受到好像用户C在用户A面前并一起吃饭的存在和迹象。另外，用户B可以感受到好像用户C与用户B重叠，并且可以从用户C的视角感受周围的气氛。

注意，空间a的信息也由信息处理装置1A感测，并由空间b中的信息处理装置1B再现，借以实现交互式通信。

另外，不用说，也可以组合视觉效果(例如，通过显示声源位置处的对象或效果)。然而，当效果变得过度时，如上所述，可以由人“容易地感测伙伴用户、对象或空间”的状态可能被阻碍，并且因此，实行控制使得该效果被最佳地控制是重要的。尽管可以直接使用脑电图或生物感测来检测人体状况，但还假定有测量问题。因此，可以将尽可能地事先学习作为变化的迹象的这种行为等以及通过简单的方法启用的模式检测利用于最佳控制的实行。

如上所述，在本实施例中，可以使用声音和振动作为主要信息通道来呈现对另一空间中要感知的对象的真实存在的更真实的感受。

随后，将参考图2来描述根据本实施例的信息处理系统的整体配置。图2是示出了根据本实施例的信息处理系统的整体配置的示例的图。

如图2所示，根据本实施例的信息处理系统包括信息处理装置1A、信息处理装置1B和服务器2。

信息处理装置1(信息处理装置1A和信息处理装置1B)的概况如上参考图1所述。

服务器2可以获取关于各个信息处理装置1和用户的信息。另外，服务器2可以积累在信息处理装置1之间交换的通信内容(感测数据)。另外，服务器2可以控制信息处理装置1之间的通信连接或断开，或者可以控制交互式通信。

注意，信息处理装置1A和信息处理装置1B可以经由网络3直接地发送和接收数据，并不受服务器2的控制而实现交互式通信。

上面已经描述了根据本公开的实施例的信息处理系统。随后，将参考附图描述包括在根据本实施例的信息处理系统中的信息处理装置1的具体配置。

<<2.信息处理装置1的配置>>

<2-1.内部配置>

图3是示出了根据本实施例的信息处理装置1的配置的示例的框图。如图3所示，信息处理装置1包括控制单元10、通信单元11、输入单元12、输出单元13和存储单元14。

控制单元10作用为算术处理设备和控制设备，并根据各种程序来控制信息处理装置1中的整体操作。例如，控制单元10由诸如中央处理单元(CPU)或微处理器的电子电路实现。另外，控制单元10可以包括存储要使用的程序或算术参数等的只读存储器(ROM)以及临时存储适当变化的参数等的随机存取存储器(RAM)。

另外，根据本实施例的控制单元10还作用为通信控制单元101、输出控制单元102和连接感受调整单元103。

通信控制单元101适当地实行将输入单元12获取的感测数据从通信单元发送到通信目标装置的控制以及从通信单元接收从通信目标装置发送的感测数据的通信控制等，借以实现交互式通信。

输出控制单元102实行控制，以从输出单元13输出从通信目标装置发送的感测数据。通信装置的形状(即，图1所示的桌子的顶板的形状)优选是与通信伙伴侧的通信装置的形状相同。然而，在形状与通信伙伴侧的形状不同的情况下，输出控制单元102根据形状的差异来适当地校正感测数据。另外，为了交互式通信状态中的回声消除(抑制)或(振动)啸声消除(抑制)，输出控制单元102可以使用预定的滤波器来执行信号处理。

连接感受调整单元103实行控制，以根据用户状态或用户的明确指示等来调整与通信伙伴的连接感受。“连接感受的调整”是对于对象、伙伴用户的存在或迹象以及空间的气氛等，是以较高的真实感来共享还是以较低的真实感来共享的调整。在期望以较高的真实感来共享的情况下，提高输出信息(声音和振动)的清晰度和再现性。另一方面，在期望以较低的真实感来共享的情况下，即，在期望非积极但模糊地知道伙伴侧的状态的情况下，例如，输出信息(声音和振动)的清晰度和再现性被降低到即使对话的内容或详细的动作未被传达，也可以粗略传达谁在场以及气氛是否愉悦(语音的语气或振动的柔和度)的程度。输出信息的这种调整可以通过滤波器控制或波形控制等来执行。

(通信单元11)

通信单元11以有线或无线的方式连接到网络3，并且向网络上的服务器2或诸如另一信息处理装置1(通信目标装置)的外部设备发送数据以及从网络上的服务器2或诸如另一信息处理装置1(通信目标装置)的外部设备接收数据。通信单元11通过例如有线/无线局域网(LAN)、Wi-Fi(注册商标)、蓝牙(注册商标)、移动通信网络(长期演进(LTE)或第三代移动通信系统(3G))来与外部设备通信连接。

(输入单元12)

输入单元12检测至信息处理装置1的输入信息，并将该信息输出到控制单元10。输入单元12包括振动传感器121和麦克风122。例如，多个振动传感器121被设置在桌子的顶板上，并检测在该顶板上产生的振动。例如，多个麦克风122被设置在桌子的顶板上，并检测用户的语音以及在顶板上产生的声音和动作声音等。另外，输入单元12可以检测由用户输入到信息处理装置1的操作。

(输出单元13)

输出单元13从信息处理装置1向用户呈现输出信息。输出单元13包括振动呈现单元131和扬声器132。例如，多个振动呈现单元131被设置在桌子的顶板上，并再现通信目标的通信装置的桌子的顶板上产生的振动。另外，例如，多个扬声器132被设置在桌子的顶板上，并再现通信目标的通信装置的桌子的顶板上产生的声音、动作声音以及用户的语音等。

(存储单元14)

存储单元14由存储用于由控制单元10处理的程序、算术参数等的只读存储器(ROM)以及临时存储适当变化的参数等的随机存取存储器(RAM)来实现。

上面已经具体描述了根据本实施例的信息处理装置1的配置。注意，信息处理装置1的配置不限于图3所示的示例。例如，信息处理装置1的配置的至少部分可以被设置在外部设备中，或者控制单元10的功能的至少部分可以由服务器2实现。

<2-2.外部配置>

随后，将参照图4至图7来描述根据本实施例的信息处理装置1的各种传感器(振动传感器121和麦克风122)、振动呈现单元131和扬声器132的布置配置。

如图1所示，根据本实施例的信息处理装置1由作为示例的具有诸如办公桌或桌子的形状的通信装置实现，并且具有在其上布置有各种传感器和致动器的平整顶板。通过将各种传感器、振动呈现单元131和扬声器132以特定的模式(例如，相等的间隔)布置，可以更有效地检测和呈现对象、空间以及用户的动作。

在此，将描述具体的装置配置和布置模式的一些示例。注意，用于通信的两个桌子的顶板的形状优选是相同的，因为可以提高再现性，但是形状也可以不同。在形状不同的情况下，可以通过适当地校正输出信息的位置(声源位置和振动位置)，例如，通过匹配用户周围的身体相关位置，来获得等效的效果。

图4是用于描述根据本实施例的信息处理装置1的各种传感器和致动器的布置配置的示例的图。如图4所示，在信息处理装置1的顶板是正方形的情况下，扬声器132a至扬声器132d(例如，全频扬声器)被布置在顶板的前表面的四个角处，并且四个振动呈现单元(131a至131d)以相等的间隔被布置在顶板的后表面上，并且四个输入单元12(振动传感器121和麦克风122)被布置在顶板的后表面上的中央。如图4所示，例如，四个扬声器132和输入单元12可以被布置为分布到通过以十字形状来划分顶板的后表面而形成的四个正方形。注意，顶板的材料没有特别地限制，并且可以是木材、金属或玻璃等。

顶板的形状不限于正方形，并且例如可以是如图5所示的矩形。在这种情况下，在信息处理装置1-1的顶板的前表面上，两个扬声器132a和132b被布置在长边上一侧的角处，并且在顶板的后表面上，两个振动呈现单元131a和131b被布置在通过划分后表面而获得的两个正方形的中央，并且在顶板的后表面上，两个输入单元12a和12b被布置在插入它们之间的隔板的一端侧上。

替代地，如图6所示，例如，在信息处理装置1-2的顶板的前表面上，两个扬声器132a和132b可以被布置在对角线的角处，并且在顶板的后表面上，两个振动呈现单元131a和131b可以被布置在通过划分后表面而获得的两个正方形的中央，并且在顶板的后表面上，两个输入单元12a和12b可以被布置在插入它们之间的隔板的相对侧上的两端侧上。

此外，如图7所示，可以增加传感器和致动器的数量，以增加密度。如图7所示，例如，在信息处理装置1-3的顶板的前表面上，八个扬声器132a至132h可以以相等的间隔被布置，并且在顶板的后表面上，八个振动呈现单元131a至131h可以被布置在通过划分后表面而获得的八个正方形的中央，并且在顶板的后表面上，八个输入单元12a至12h可以被布置在正方形的角处。

尽管上面已经描述了布置的一些示例，但是根据本实施例的输入单元12、振动呈现单元131和扬声器132的布置不限于这些示例。在任何情况下，优选的是，能够在尽可能地减少输入单元12的INPUT(输入)与振动呈现单元131和扬声器132的OUTPUT(输出)之间的干扰(泄露)的同时检测并呈现声音和振动的空间分布的平衡良好的布置。注意，不仅可以通过硬件布置来减少干扰，也可以通过信号处理的噪声抑制以及多个元件之间的阵列处理(麦克风阵列等)的组合来减少干扰。

另外，桌子的顶板的形状不限于四边形，并且可以是诸如三角形或五边形的多边形、诸如椭圆形或正圆形的圆形、包括曲线的其他形状或者包括曲线和直线的形状。

<<3.操作处理>>

随后，将参考图8来具体地描述根据本实施例的信息处理系统的操作处理。图8是示出了根据本实施例的交互式通信中的输出控制处理的流程的示例的序列图。

如图8所示，首先，一个信息处理装置1发出连接请求，并且当另一信息处理装置1接受该连接请求时，在两个装置之间建立了通信连接(步骤S103至步骤S106)。注意，可以经由服务器2建立通信连接。

接下来，各个信息处理装置1通过输入单元12感测声音和振动(步骤S109和步骤S112)，并且相互发送和接收感测的声音信息和振动信息(步骤S115)。

接下来，当桌子表面之间有形状差异时，各个信息处理装置1根据形状差异来执行校正(步骤S118和步骤S121)。具体地，信息处理装置1的输出控制单元102基于从通信伙伴的装置接收的桌子表面的形状信息来计算形状差异，并且校正声源位置和振动位置(例如，调整与用户的相关位置)。

接下来，各个信息处理装置1的输出控制单元102实行控制，以从输出单元13输出通信伙伴侧的信息(步骤S124和步骤S127)。结果，在通信伙伴侧的桌子表面上产生的振动和声音被再现，并且用户可以更真实地感受伙伴用户的存在或对象的真实存在。

接下来，各个信息处理装置1识别用户状态(步骤S130和步骤S133)，并且相互发送和接收用户状态(步骤S136)。

接下来，各个信息处理装置1的连接感受调整单元103根据伙伴用户的状态来调整与伙伴侧的连接感受，并控制通信伙伴侧的信息的输出(步骤S139和步骤S142)。可以根据伙伴用户的状态来调整连接感受(即，真实感)的水平。例如，在两个用户都坐在椅子上的情况下，增加真实感，并且在伙伴用户远离桌子的情况下，降低真实感，即，降低连接感受，以便呈现周围环境信息。此外，根据本实施例的信息处理系统可以在用户接近用作通信装置的桌子的情况下，向预定的通信伙伴侧发出连接请求，并且当伙伴用户也接近桌子时(假定连接被接受)，建立通信连接。

然后，当一个信息处理装置1发出断开请求且另一信息处理装置1接受该断开请求时，两个装置之间的通信连接结束(步骤S145至步骤S148)。注意，可以通过根据用户状态的连接感受的调整来自动执行通信连接的这种断开。即，在一用户离开桌子的情况下，可以发出断开请求，并且在伙伴用户也离开桌子的情况下(假定断开被接受)，可以结束通信连接。

如上所述，在本实施例中，可以通过“连接感受的调整”来控制连接状态。在传统的通信装置中，需要连接状态的ON/OFF(开/关)操作，并且一旦连接，所有信息不管用户状态如何就以相同的质量发送。这会使用户不适，并且不能维持无意识的恒定连接状态。相反，在本实施例中，通过根据用户状态执行连接感受的调整，即使用户不特别地执行任何操作，也可以根据诸如接近桌子或坐下的积极的动作以优选的再现性来与伙伴侧进行通信连接。因此，可以轻易地维持无意识的恒定连接状态。

上面已经描述了根据本实施例的操作处理的流程的示例。注意，图8所示的操作处理是示例，并且本公开不限于图8所示的示例。例如，本公开不限于图8所示的步骤的顺序。可以并行地处理、以相反的顺序处理或可以跳过至少一些步骤。

<<4.补充>>

<4-1.实时感的呈现>

根据本实施例的信息处理系统不限于实时交互式通信，并且还可以通过将存储的一个空间中过去的声音和振动再现到其他空间中(或通过将过去的记录再现到同一空间中)来启用与过去的人的通信(感知过去的人)。

此时，通过添加伪交互效果，即使在非实时通信(在不同时间记录的声音和振动数据)中，信息处理装置1也可以呈现实时感受。例如，在基于过去的记录来呈现将棋游戏的情况下，可以设置“暂停”，直到下一将棋棋子被放置，或者可以根据(真实)用户操作来控制记录的声音和振动数据的输出时间。

<4-2.回声和啸声的抑制>

在根据本实施例的信息处理装置1中，在实时交互式通信的状态下，声音和振动信息通过顶板和装置结构，在麦克风122和扬声器132之间以及振动传感器121和振动呈现单元131之间等之间泄漏、放大和谐振，并且系统变得不稳定。因此，通过装置中的信号处理来执行诸如回声消除和谐振消除的机械噪声抑制处理或噪声抑制处理，以实现高质量通信。

作为具体的抑制处理，可以优化和应用诸如半双工自适应切换方法、全双工噪声消除方法以及通过自适应滤波器的回声消除的常规声音处理方法。另外，还有通过陷波滤波器来抑制由系统的谐振频率产生的特定频率的电平的方法。此外，还有估计假定的交互式通信系统及其使用环境的特性，并针对该特性以高速优化自适应滤波器的高速H-Infinity滤波器技术。

在根据本实施例的信息处理装置1中，在一些情况下，通过空气传播的振动被反馈到振动传感器121引起啸声，放大特定谐振频率的电平，并产生噪声或异常振动。因此，可以将在上述声音处理中使用的回声消除方法扩展到振动传感器121和振动呈现单元131，并不仅在声音通道中而且在振动通道中使用自适应滤波器技术来实现交互式的高质量传输。

另外，当来自通信目标的感测数据正从输出单元13输出时(当打开振动呈现单元131或扬声器132时)，信息处理装置1实行控制(切换控制)，使得感测不由输入单元12执行(关闭振动传感器121和麦克风122或者抑制检测电平)，从而可以更有效地消除回声和啸声。可以适当确定哪个要优先。例如，可以让在一定时间段内说话或发出声音的人优先。

此外，可以通过如图4至图7所示的特定的模式布置来抑制噪声或对各个模式执行最佳抑制处理。

<4-3.平整表面的周边空间的信息传输>

在上述实施例中，传感器和致动器被布置在诸如桌子的顶板的平整表面上。然而，根据传感器和致动器的布置(例如，在地板、天花板或楼梯上)，也可以传达包括桌子的顶板在内的更宽的周边空间的状态(例如，二楼的脚步声)。

利用该配置，可以将无法通过仅使用视觉或听觉的传统通信设备表达或传输的信息传达给伙伴，并且用户可以更自然地感受地点的气氛。因此，可以在跨桌子或远程协作的通信中降低用户诸如心理和身体的压力的负荷，并且可以产生更自然、舒适和创造性的结果。

<4-4.内容的混合>

在根据本实施例的信息处理装置1中，主要将声音和振动描述为信息呈现的类型。然而，本实施例不限于这些，而是也可以呈现诸如风(暖风、冷风、强风和弱风)、气味以及水(水滴、水蒸气以及吹入的雨等)的环境信息。

在根据本实施例的交互式通信中，更真实并更现实地检测和呈现实际存在的空间的信息。然而，在一些情况下，与该空间完全不同的地点(例如，度假酒店的休息室或高山的山顶)中的状况或气氛被组合，以适当地将来自真实伙伴空间的感测数据与另一空间的环境数据(例如，海滩上的风和波浪的声音或者森林中的清新的气氛、空气和气味)组合，并且结果，可以使该地点中的通信更丰富和更舒适。

在这种虚拟信息呈现中，传统上，仅可以切换是否将所有信息呈现为虚拟信息，就像虚拟现实(VR)装置。然而，在本实施例中，通过在实时实际存在的信息上以任意的平衡来叠加各种环境(包括虚拟环境)的信息，可以呈现各种感觉(气氛和状况)。

<<5.其他配置示例>>

根据本实施例的通信装置(信息处理装置1)的配置不限于以办公桌或桌子等的顶板(平整表面)为中心的配置，而是还可以将振动呈现单元131和扬声器132布置在诸如建筑空间中的隔板、支柱、窗边的窗台或窗框的区域中，以便呈现通信伙伴侧的环境声音或虚拟环境声音以及通信伙伴侧的实时室内对话或声音等。在下文中，将参考图9进行具体描述。

图9是示出了根据本实施例的信息处理装置的配置的另一示例的图。如图9所示，信息处理装置110具有包括具有允许放置手的宽度的窗台111(平整表面部分)以及布置在窗台111的两侧上的支柱112a和支柱112b的窗框型配置。窗台111设置有振动呈现单元131，并且与上述实施例类似地，可以向放置在该窗台111上的手掌或手臂等呈现振动，以便可以感知另一空间中的气氛和存在(对象振动、风振动和车辆振动等)。窗台111可以进一步设置有扬声器132。窗台111的振动呈现单元131和扬声器132的布置配置可以是参考图4至图7所述的配置。

支柱112a和支柱112b设置有振动呈现单元131和扬声器132，并且可以通过呈现声音和振动来感知另一空间中的气氛和存在(对象振动、风振动、车辆振动、声音、诸如风、鸟和树的自然的声音以及说话语音等)。

窗台111以及支柱112a和支柱112b进一步设置有输入单元12，以启用交互式通信。

另外，设置在支柱112a和支柱112b中的振动呈现单元131和扬声器132的布置不受特别地限制，而是例如，平面波线阵列扬声器132b设置在支柱112a和支柱112b的前侧，以及扬声器132a和扬声器132c设置在支柱112a和支柱112b的内侧表面(支柱112a和支柱112b彼此面对的表面)的上部和下部。信息处理装置110可以使用具有高度差异的扬声器132a和扬声器132c来适当地输出声音，例如，上扬声器132a可以输出上环境声音，并且下扬声器132c可以输出室内对话语音和声音。

另外，例如，支柱112a和支柱112b设置有多个振动呈现单元131a和131b。来自设置在支柱112a和支柱112b的下部中的振动呈现单元131b的振动被传输到地板表面，并且用户也可以从脚感受该振动。另外，当支柱112a和支柱112b的上端与天花板接触时，设置在支柱112a和支柱112b的上部中的振动呈现单元131a的振动也被传输到天花板，并且可以使用户更立体地感受另一空间的状态。

输入单元12、振动呈现单元131和扬声器132的布置基本上没有特别的限制。在使用相同元件的几何布置或使用不同元件的有机和随机的布置中，与使用如上所述的自适应滤波器等的信号处理相结合，可以消除回声和啸声，并且可以记录和呈现(再现)期望的远程地点之间的声音和振动的二维/三维分布。

另外，关于该布置，可以在诸如窗台111之类的对象的表面上或者在空中的任意区域中限定特定分区，可以在该分区中或在该分区周围安装INPUT/OUTPUT元件，以记录和呈现(再现)该分区中的各种类型的振动，并且可以执行用于抑制在INPUT/OUTPUT元件中产生的传输环路中的回声和啸声等的信号处理以及外壳设计的优化。

如上所述，窗框型信息处理装置110通过使用垂直构建的支柱112，可以不仅以平面方式(二维地)而且以立体方式(三维地)来呈现声音和振动，从而可以更真实地感受另一空间中的气氛和迹象。同样在这种情况下，可以如以上实施例中一样通过增加诸如气味、风和水的信息通道的数量来增强真实感。

另外，如图9所示，窗框型信息处理装置110可以实际上被布置在窗附近。例如，当用户接近窗并将他/她的手放置在窗台111向外看时，可以通过声音和振动等来呈现另一空间的气氛。窗台111的宽度和深度不受特别地限制，并且例如，窗台111可以具有与实际的窗相符合的宽度。

替代地，可以将仅支柱112安装为诸如房间隔板的内部元件。

使用以上配置，在本实施例中，可以形成在其中三维地呈现声音和振动的空间，借以更真实地再现另一空间中的气氛和存在。

(连接感受的调整)

根据本实施例的信息处理装置110可以根据用户相对于该装置的相对位置信息(距离或方向)和状态(睡觉、醒着、说话或看电视等)来自动调整与通信目标的连接感受。例如，在用户远离该装置的情况下，信息处理装置110实行控制，以用低水平的连接感受来呈现周围环境信息，并且在用户逐渐接近该装置并将他/她的手掌放在窗台111上的情况下，信息处理装置110实行例如交互式控制，以转换到具有较高的真实感的信息呈现。

图10是用于描述根据本实施例的根据用户位置的连接感受的调整的图。如图10所示，可以根据距装置的距离来设置分区，并阶段地控制要呈现的信息(声音和振动等)的电平。

例如，如图10所示，在分区3中只能把握模糊的气氛(不能清晰地听到的声音以及弱振动等)。然而，当用户接近信息处理装置110并进入诸如分区2和分区1的邻近分区时，通信目标空间中的声音和振动信息被更清晰地呈现，并且由用户体验的连接感受的水平增加(即，可以获得高真实感)。

注意，在用户状态的感测中，可以通过振动传感器121检测走路产生的振动来确定用户是否接近，或者可以通过麦克风122检测用户的脚步声或语音来确定用户是否接近。替代地，可以设置使用红外线的人体传感器等来检测用户的接近。

信息处理装置110可以基于感测用户状态的结果来动态地切换对连接感受的调整，或者还可以呈现由装置侧实际限制的区域中的声音(使用定向扬声器和区域限定的波前合成扬声器等)和振动，并向多个用户呈现相似的交互式效果(即，例如，向分区3中的用户呈现低真实感，并向分区1中的用户呈现高真实感)。

另外，在各个分区中，可以执行分离处理，使得传输信号不会彼此过度干扰。例如，通过施加诸如设置在图4的桌子的顶板的后表面上的隔板构件之类的处理，可以避免分区之间的过度干扰和信息的混合。另外，当用户触摸分区之间的中间区域时，通过在适当地连接分区的区域中产生声音和振动的分布，可以向用户呈现振动正从哪一侧来(对象存在在哪一侧)或振动正蔓延多远的感觉。

在本实施例中，可以通过利用固定到建筑结构或与建筑结构集成的装置的形状来三维地呈现信息。在传统的交互式通信系统中，由于信息是在基本独立的外壳(诸如智能手机或可穿戴终端)被手握住或被穿戴在身体上的状态下呈现的，所以难以将周边的环境和气氛一起记录和重现。在本实施例中，由于包括以桌子、窗框和支柱形式的建筑上的结构元件，并且呈现信息的地点基本上是固定的，所以可以更自然和稳定地记录和再现周边空间。

<<6.总结>>

如上所述，在根据本公开的实施例的信息处理系统中，可以使用声音和振动作为主要信息通道来呈现对另一空间中要感知的对象的真实存在的更真实的感受。

另外，在本实施例中，通过使用声音和振动作为主要信息通道，并且特别是通过采用将手的手掌放置在办公桌或桌子状装置的顶板(平整表面)上的形式，可以提供对真实存在的更细腻和真实的感受。

另外，在本实施例中，通过布置在二维/三维空间中的多个元件组来记录(感测)声音通道和振动通道，将声音通道和振动通道传输到伙伴侧，并再现(呈现)。因此，执行通信的用户可以更真实地、三维地和空间地感受伙伴用户和空间的存在和真实存在。

注意，在上述实施例中，将诸如桌子的顶板的物理区域提及为呈现振动的感知呈现区域，但是本公开不限于这种区域。通过风或水的释放来提供触觉的区域(非接触区域)也可以包括在感知呈现区域(更具体地，触觉力区域)中。

另外，在上述实施例中，在桌子的顶板上设置多个振动呈现单元131，借以可以在不同的振动位置处呈现振动，但本实施例不限于多个振动呈现单元131，而是可以设置一个振动呈现单元131(振动元件)。例如，通过改变顶板的接头，即使只有一个振动元件，也可以在多个地点处呈现振动，或以不同的振动的类型来呈现振动。

尽管上面已经参考附图详细描述了本公开的优选实施例，但是本技术不限于这样的示例。显然，本公开的技术领域的普通技术人员可以在权利要求书中描述的技术思想的范围内想到各种变型或修改，并且应当理解，这种变型和修改也自然属于本公开的技术范围。

例如，也可以创建用于使并入上述信息处理装置1或服务器2的硬件(诸如CPU、ROM和RAM等)发挥信息处理装置1或服务器2的功能的计算机程序。另外，还提供存储计算机程序的计算机可读存储介质。

另外，本说明书中描述的效果仅仅是说明性或示例性的，而不是限制性的。即，本公开的技术除了上述效果以外或替代上述效果，还可以展示对本领域技术人员来说是从本说明书的描述中显而易见的其他效果。

注意，本技术也具有以下配置。

(1)一种信息处理装置，包括控制单元，该控制单元实行控制以

获取在另一空间中感测的振动信息和声音信息，以及

从与该另一空间不同的空间中的感知呈现区域输出该振动信息和声音信息，以使该另一空间中要感知的对象的存在通过触觉和听觉被感知。

(2)如(1)中的信息处理装置，其中，

该另一空间是通信目标空间，并且

控制单元实时地将通信目标空间的振动信息和声音信息从感知呈现单元中输出。

(3)如(1)中的信息处理装置，其中，

该另一空间是过去的空间，并且

该控制单元将存储的过去的振动信息和声音信息从该感知呈现区域中输出。

(4)如(1)至(3)中任一项的信息处理装置，其中，

该感知呈现区域是桌子，并且

在该桌子的顶板上设置声音输出单元和振动呈现单元。

(5)如(4)中的信息处理装置，其中，振动信息和声音信息是通过设置在存在于该另一空间中的桌子的顶板中的传感器来感测由要感测的对象在顶板上随时间产生的实际振动和声音而获得的数据。

(6)如(5)中的信息处理装置，其中，存在于该另一空间中的桌子的顶板的形状与存在于该空间中的桌子的顶板的形状相似。

(7)如(5)中的信息处理装置，其中，在存在于另一空间中的桌子的顶板的形状与存在于该空间中的桌子的顶板的形状有差异的情况下，控制单元实行控制，以在根据形状的差异校正振动信息和声音信息之后，输出振动信息和声音信息。

(8)如(1)至(7)中任一项的信息处理装置，其中，

该感知呈现区域是窗框型单元，该窗框型单元包括平整表面部分以及布置在该平整表面部分的两侧的支柱，并且

平整表面部分和支柱中的每一个设置有声音输出单元和振动呈现单元。

(9)如(8)中的信息处理装置，其中，该支柱设置有

在内表面上的第一声音输出单元，以及

在前表面上的第二声音输出单元。

(10)如(1)至(9)中任一项的信息处理装置，其中，要感知的对象是实际对象、人或自然现象。

(11)如(5)至(7)中任一项的信息处理装置，其中，

该另一空间是通信目标空间，

该感知呈现区域是桌子，并且

该控制单元实行控制以

实时地从设置在桌子的顶板上的声音输出单元和振动呈现单元输出从通信目标空间获取并且用于使存在于该另一空间中要感知的第一对象的存在通过触觉和听觉被感知的振动信息和声音信息，以及

将通过设置在存在于该空间的桌子的顶板上的传感器来感测由该顶板上要感知的第二对象随时间产生的实际振动和声音而获得的数据发送到通信目标空间。

(12)如(11)中的信息处理装置，其中，当从该通信目标空间获取的振动信息和声音信息正从声音输出单元和振动呈现单元输出时，控制单元实行控制，以抑制传感器的感测。

(13)一种信息处理方法，包括通过处理器实行控制以：

获取另一空间中感测的振动信息和声音信息；以及

从与该另一空间不同的空间中的感知呈现区域输出该振动信息和声音信息，以使该另一空间中要感知的对象的存在通过触觉和听觉被感知。

(14)一种使计算机作用为控制单元的程序，所述控制单元实行控制以

获取另一空间中感测的振动信息和声音信息，以及

从与该另一空间不同的空间中的感知呈现区域输出该振动信息和声音信息，以使该另一空间中要感知的对象的存在通过触觉和听觉被感知。

附图标记清单

1、110 信息处理装置

10 控制单元

101 通信控制单元

102 输出控制单元

103 连接感受调整单元

11 通信单元

12 输入单元

121 振动传感器

122 麦克风

13 输出单元

131 振动呈现单元

132 扬声器

14 存储单元

111 窗台

112 支柱

Claims (14)

1.一种信息处理装置，包括控制单元，所述控制单元实行控制以

获取在另一空间中感测的振动信息和声音信息，以及

从与所述另一空间不同的空间中的感知呈现区域输出所述振动信息和所述声音信息，以使所述另一空间中要感知的对象的存在通过触觉和听觉被感知。

2.如权利要求1所述的信息处理装置，其中，

所述另一空间是通信目标空间，并且

所述控制单元实时地将所述通信目标空间的振动信息和声音信息从所述感知呈现单元中输出。

3.如权利要求1所述的信息处理装置，其中，

所述另一空间是过去的空间，并且

所述控制单元将存储的过去的振动信息和声音信息从所述感知呈现区域中输出。

4.如权利要求1所述的信息处理装置，其中，

所述感知呈现区域是桌子，并且

在所述桌子的顶板上设置声音输出单元和振动呈现单元。

5.如权利要求4所述的信息处理装置，其中，所述振动信息和所述声音信息是通过设置在存在于所述另一空间中的桌子的顶板中的传感器来感测由要感测的对象在所述顶板上随时间产生的实际振动和声音而获得的数据。

6.如权利要求5所述的信息处理装置，其中，存在于所述另一空间中的桌子的顶板的形状与存在于所述空间中的桌子的顶板的形状相似。

7.如权利要求5所述的信息处理装置，其中，在存在于所述另一空间中的桌子的顶板的形状与存在于所述空间中的桌子的顶板的形状有差异的情况下，所述控制单元实行控制，以在根据形状的差异校正振动信息和声音信息之后，输出振动信息和声音信息。

8.如权利要求1所述的信息处理装置，其中，

所述感知呈现区域是窗框型单元，所述窗框型单元包括平整表面部分以及布置在所述平整表面部分的两侧的支柱，并且

平整表面部分和支柱中的每一个设置有声音输出单元和振动呈现单元。

9.如权利要求8所述的信息处理装置，其中，所述支柱设置有在内表面上的第一声音输出单元，以及

在前表面上的第二声音输出单元。

10.如权利要求1所述的信息处理装置，其中，所述要感知的对象是实际对象、人或自然现象。

11.如权利要求5所述的信息处理装置，其中，

所述另一空间是通信目标空间，

所述感知呈现区域是桌子，并且

所述控制单元实行控制以

实时地从设置在所述桌子的顶板上的声音输出单元和振动呈现单元输出从所述通信目标空间获取并且用于使存在于所述另一空间中要感知的第一对象的存在通过触觉和听觉被感知的振动信息和声音信息，以及

将通过设置在存在于所述顶板上的传感器来感测由所述空间的桌子的顶板上要感知的第二对象随时间产生的实际振动和声音而获得的数据发送到所述通信目标空间。

12.如权利要求11所述的信息处理装置，其中，当从所述通信目标空间获取的振动信息和声音信息正从声音输出单元和振动呈现单元输出时，所述控制单元实行控制，以抑制传感器的感测。

13.一种信息处理方法，包括通过处理器实行控制以：

获取另一空间中感测的振动信息和声音信息；以及

从与所述另一空间不同的空间中的感知呈现区域输出所述振动信息和所述声音信息，以使所述另一空间中要感知的对象的存在通过触觉和听觉被感知。

14.一种使计算机作用为控制单元的程序，所述控制单元实行控制以

获取另一空间中感测的振动信息和声音信息，以及

从与所述另一空间不同的空间中的感知呈现区域输出所述振动信息和所述声音信息，以使所述另一空间中要感知的对象的存在通过触觉和听觉被感知。

Images