CN117813573A - 信息处理系统、控制方法和控制程序 - Google Patents

信息处理系统、控制方法和控制程序 Download PDF

Info

Publication number
CN117813573A
CN117813573A CN202280056103.2A CN202280056103A CN117813573A CN 117813573 A CN117813573 A CN 117813573A CN 202280056103 A CN202280056103 A CN 202280056103A CN 117813573 A CN117813573 A CN 117813573A
Authority
CN
China
Prior art keywords
vibration
signal
unit
operator
vibration signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280056103.2A
Other languages
English (en)
Inventor
横山谅
杉本実夏
中川佑辅
伊藤镇
中川亚由美
永野京二郎
山野郁男
山崎贵義
福马洋平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117813573A publication Critical patent/CN117813573A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Abstract

一种信息处理系统包括以下单元。信号生成单元303基于由设置在衬垫型扬声器10上的麦克风110测量的振动以及放置在衬垫型扬声器10上的物体的检测结果,生成振动信号。信号输出单元392基于由信号生成单元303生成的振动信号,使振动器120振动。

Description

信息处理系统、控制方法和控制程序
技术领域
本公开涉及信息处理系统、控制方法和控制程序。
背景技术
近年来,从针对传染病的对策、经费削减等的观点来看,引入居家办公作为员工工作模式的企业正在增加。居家办公的员工通过在他/她自己的终端装置上远程访问公司内服务器以使用存储在服务器中的数据等来进行工作。此外,居家办公的员工经常使用他/她自己的终端装置,通过各种应用程序以在线的方式进行会议、商洽等。
诸如这种居家办公等的远程环境中的通信主要使用声音和视频来进行。例如,对于远程进行会议的情况,由麦克风拾取的声音和由摄像机拍摄的视频被输出到会议的其他参加者的终端。会议的参加者在视频中确认各个参加者的面部表情,并且基于作为声音输出的发言内容来推进会议。
由此,作为将各种信息传达给在线连接的其他人的技术,已经提出了以下技术。例如,已经提出了一种技术,其收集与摄像机拍摄的视频数据内的视频事件相关联的关联数据,基于所收集的关联数据,根据视频事件的类型来选择特征参数,并且根据所选择的特征参数来生成触觉效果。此外,已经提出了一种技术,其将作为标签信息的触觉信息与时间戳一起添加到媒体文件,基于媒体文件再现声音数据或视频内容,并输出作为标签信息添加的触觉信息。
引文列表
专利文献
专利文献1:JP 2018-73424A
专利文献2:JP 2011-501575 A
发明内容
发明要解决的问题
然而,在工作模式从办公室工作转变为居家办公的情况下,可能难以仅通过声音和摄像机拍摄的视频来掌握人的感觉。因此,在远程环境中,提供给其他人的通信往往不充分。
因此,本公开提供了一种在远程环境中活化与其他人的通信的信息处理系统、控制方法和控制程序。
问题的解决方案
根据本公开,信号生成单元基于由设置在衬垫(mat)上的振动传感器测量的振动和放置在衬垫上的物体的检测结果来生成振动信号。信号输出单元基于由所述信号生成单元生成的所述振动信号使振动机构振动。
附图说明
图1是根据第一实施方式的远程通信系统的示意图。
图2是衬垫型扬声器的示意性透视图。
图3是根据第一实施方式的远程通信系统的框图。
图4是示出用于执行远程通信的应用程序的操作屏幕的示例的图。
图5是示出物体放置在顶板上的状态的图。
图6是示出物体放置在顶板上的摄像机的视角之外的状态的图。
图7是用于说明添加振动效果的图。
图8是示出使用意图指示立方体进行意图传达的示例的图。
图9是由根据第一实施方式的远程通信系统进行的振动信号的发送处理的流程图。
图10是根据第二实施方式的远程通信系统的框图。
图11是示出安装有传感器的按钮布置在顶板上的状态的图。
图12是根据第三实施方式的远程通信系统的框图。
图13是由根据第三实施方式的远程通信系统进行的内容选择处理的流程图。
图14是根据第四实施方式的远程通信系统的框图。
图15是由根据第四实施方式的远程通信系统进行的包括设备选择的振动信号生成处理的流程图。
图16是根据第六实施方式的远程通信系统的框图。
图17是在使发送侧的衬垫型扬声器的周围照亮的情况下的图。
图18是在改变发送侧的衬垫型扬声器的照明的情况下的图。
图19是强调显示发送侧的衬垫型扬声器的特定位置的情况的图。
图20是使与操作者通信的人的衬垫型扬声器的周围照亮的情况的图。
图21是使与操作者通信的人的衬垫型扬声器的照明改变的情况的图。
图22是强调显示与操作者通信的人的衬垫型扬声器的特定位置的情况的图。
图23是根据第七实施方式的远程通信系统的框图。
图24A是从桌子的相反侧观察到的放置在桌子上的衬垫型扬声器的平面图。
图24B是衬垫型扬声器的侧视图。
图24C是从桌子侧观察到的放置在桌子上的衬垫型扬声器的平面图。
图25是示出用于与多个人远程通信的用户界面的示例的图。
图26是所接收的振动信号的根据发送源的输出处理的流程图。
图27是根据要发送的振动信号的发送目的地的发送处理的流程图。
图28是终端装置的硬件配置图。
具体实施方式
下面将参考附图详细描述本公开的实施方式。注意,在以下的各实施方式中,相同的部分由相同的附图标记和符号表示,并且将省略其重复描述。
[第一实施方式]
(根据第一实施方式的系统配置)
图1是根据第一实施方式的远程通信系统的示意图。在工作模式从办公室工作转变为居家办公的情况下,仅通过声音和摄像机拍摄的视频,可能难以掌握人的感觉。对于与其他人的通信而言,理解其他人的感觉或理解其他人的情况是重要的,但是在远程环境中,难以掌握她/他的感觉和情况,因此,与其他人的通信被认为会变得困难。
例如,在远程环境中,聊天的机会趋于减少。调查结果表明,当人们在办公室中时,回答为聊天频率为每天三次的人的数量最多,而在远程环境中,回答为聊天频率大约为三天一次的人数量最多。
此外,在远程环境中,人自己发起聊天的机会也趋于减少。例如,在关于聊天时自己发起聊天的比率的调查中,回答为在办公室工作或居家办公的任一工作模式中约为20%的人的数量最多。然而,该调查显示出以下结果,与在办公室工作相比,在远程环境中,回答为20%的人数减少,回答为0%的人数增加。
由此,在远程环境中,对于每个人而言进行聊天存在很大的心理障碍,使得与其他人的简单交谈变得困难。减少的聊天可能导致各种不利影响,例如难以询问某人的建议和难以获得与工作相关的各种信息,从而可能导致诸如工作效率降低等不利影响。
因此,为了在远程环境中活化与其他人的通信,在根据本实施方式的远程通信系统1中,如图1所示,除了用于进行通信的终端装置30之外,还布置有衬垫型扬声器10和摄像机20。衬垫型扬声器10和摄像机20都与终端装置30相连接。
图2是衬垫型扬声器的示意性透视图。如图2所示,衬垫型扬声器10包括顶板101和通信机构102。如图1所示,允许将各种物体放置在顶板101上。
图3是根据第一实施方式的远程通信系统的框图。顶板101设置有麦克风110。此外,通信机构102设置有通话用按钮和振动器120。
使用衬垫型扬声器10执行远程通信的操作者使用设置在顶板101处的麦克风110将声音传达给通话另一端的人。此外,麦克风110还用作振动传感器,并且在物体布置在顶板101上的情况下,检测所布置的物体的重量、布置位置、接触速度等。
另外,当操作者使他/她的手指与通信机构102的振动器120接触时,操作者可以从手指感觉到振动。此外,即使在手指与振动器120分离的状态下,由于空气的振动等,操作者也可以感觉到振动器120的振动。另外,也可以在振动器120中添设偏心马达等,使得操作者可以在手指分离的状态下更容易地感觉到振动。另外,操作者按压设置在通信机构102中的通话用按钮,使得操作者可以通过使用设置在顶板101处的麦克风110与正与操作者远程通信的人交谈,并且声音被传达给该人。
摄像机20从与顶板101相面对的一侧拍摄图像。摄像机20优选地不拍摄位于顶板101之外的区域的图像,并且更优选地具有用于拍摄顶板101的整个表面的图像的视角。由摄像机20拍摄的图像被发送到终端装置30。
由此,作为信息处理系统的远程通信系统1包括用作衬垫的衬垫型扬声器10、用作振动机构的振动器120和终端装置30。此外,衬垫包括用作振动传感器的麦克风110。此外,摄像机20拍摄放置在顶板101处的物体的图像。
(终端装置的配置)
接下来,将参考图3描述作为信息处理装置的终端装置30的细节。如图3所示,终端装置30包括接触检测单元301、信号输出单元302、信号生成单元303、图像分析单元304、通信控制单元305、输入装置306、输入/输出控制单元307和显示装置308。终端装置30经由网络连接到由与操作者远程通信的人使用的终端装置31。
输入装置306例如是键盘或鼠标。此外,显示装置308例如是监视器。操作者参照显示在显示装置308上的屏幕,利用输入装置306向终端装置30输入命令。
图4是示出用于执行远程通信的应用程序的操作屏幕的示例的图。例如,在显示装置308上显示如图4所示的操作屏幕200。操作者利用输入装置306在显示装置308上显示的操作屏幕200上选择与操作者远程通信的一个或多个人,并开始远程通信。
此外,操作者使用输入装置306来操作用于打开和关闭视频的发送接收的按钮201,并且选择是否执行相互发送和接收由摄像机20拍摄的视频。当打开按钮201时,在由操作者操作的终端装置30和由通话另一端的人操作的终端装置31之间发送和接收摄像机20的图像。从终端装置31发送的摄像机20的图像在操作屏幕200上被显示为图像202。另外,当打开按钮201时,在由操作者操作的终端装置30和由通话另一端的人操作的终端装置31之间相互发送和接收基于由顶板101中的麦克风110收集的振动而产生的振动。
回到图3继续描述。输入/输出控制单元307接收由操作者利用输入装置306输入的命令或指示。例如,当利用输入装置306打开图4中的按钮201时,输入/输出控制单元307指示通信控制单元305将摄像机20的图像和振动发送到终端装置31。
此外,输入/输出控制单元307从通信控制单元305接收从终端装置31经由网络发送来的摄像机20的图像输入。然后,输入/输出控制单元307在显示装置308上显示所获取的图像。
接触检测单元301接收由麦克风110收集的声音输入。另外,在物体放置在顶板101上的情况下,接触检测单元301从麦克风110接收由接触引起的压力振动输入。图5是示出物体放置在顶板上的状态的图。例如,如图5所示,当将物体210放置在顶板101上时,麦克风110收集当时周围的声音以及放置时产生的声音。此外,麦克风110检测当物体210接触顶板101时产生的压力振动。接触检测单元301接收由麦克风110收集的声音和压力振动。
回到图3继续描述。当从麦克风110接收到声音输入时,接触检测单元301通过使用麦克风110的振动传感器的功能来确定物体是否与顶板101发生接触。当物体不与顶板101发生接触时,接触检测单元301将由麦克风110收集的声音输出到信号生成单元303。然后,接触检测单元301指示信号生成单元303生成限定于由麦克风110收集的声音的信号。
另一方面,当检测到物体与顶板101的接触时,接触检测单元301确定从前一次接触开始是否已经经过了一定时间段,例如1到2秒。这是为了防止不必要的检测到由颤动引起的接触。
当从前一次接触开始没有经过一定时间段时,确定发生颤动,并且接触检测单元301将由麦克风110收集的声音输出到信号生成单元303。然后,接触检测单元301指示信号生成单元303生成限定于由麦克风110收集的声音的信号。
另一方面,当从前一次接触开始经过了一定时间段时,接触检测单元301确定物体被放置在顶板101上。然后,接触检测单元301将由麦克风110收集的声音输出到信号生成单元303。此外,接触检测单元301指示信号生成单元303添加基于摄像机20的图像的振动效果。
图像分析单元304接收由摄像机20拍摄的从与顶板101处的物体放置表面相面对的一侧的图像的输入。然后,图像分析单元304分析摄像机20的图像以识别放置在顶板101上的物体。
例如,图像分析单元304获取大量的数据,每个所述数据是通过将示出布置在顶板101上的特定物体的图像与特定物体的名称相组合而获得的,并且使用所获得的数据作为训练数据来执行机器学习,以生成图像识别模型。然后,图像分析单元304将摄像机20的图像输入到图像识别模型,用于识别图像中拍摄的物体。此后,图像分析单元304将放置在顶板101上的物体的识别结果输出到信号生成单元303。由图像分析单元304识别的物体还包括包含动作的物体,诸如“按压顶板101的手”或“旋转的顶部”。
此时,当物体位于摄像机20的视角之外的位置时,作为识别的结果,图像分析单元304向信号生成单元303输出指示物体不存在的通知。此外,当难以识别物体是什么时,作为识别的结果,图像分析单元304向信号生成单元303输出指示识别失败的通知。
例如,在图5中,图像分析单元304接收由摄像机20拍摄的物体210的图像的输入。然后,图像分析单元304通过图像分析来确定物体210是什么。此时,在能够识别物体210时,图像分析单元304将其识别结果输出到信号生成单元303。另一方面,当难以识别物体210是什么时,图像分析单元304向信号生成单元303输出指示物体210的识别失败的通知。图6是示出物体放置在顶板上的摄像机的视角之外的状态的图。如图6所示,当物体210存在于视角之外时,图像分析单元304不识别顶板101上的物体210。在这种情况下,图像分析单元304将指示不存在物体210的通知输出到信号生成单元303。
此外,图像分析单元304将由摄像机20拍摄的图像输出到通信控制单元305。然而,由摄像机20拍摄的图像也可以直接输入到通信控制单元305。
回到图3继续描述。信号生成单元303预先为每个物体保存振动模式信息,所述振动模式信息表示该物体与对应于该物体的振动模式的组合。作为每个物体和振动模式的组合,例如,存在物体(如果是枪)与表示枪射击的振动的组合,或者存在物体(如果呈星形)与表示“闪烁”等声音效果的振动的组合。记录在该振动模式信息中的物体包括能够被图像分析单元304识别的物体。
信号生成单元303从接触检测单元301接收由麦克风110收集的声音输入。同时,信号生成单元303接收限定于声音的信号生成的指定或者添加振动效果的信号生成的指定。此外,信号生成单元303从图像分析单元304接收图像的识别结果的输入。
当指示限定于声音的信号生成时,信号生成单元303将所获取的声音转换为振动信号。此外,信号生成单元303通过使转换后的振动信号通过低通滤波器来执行滤波处理,以削除由不必要的声音数据引起的振动。然后,信号生成单元303将振动信号输出到通信控制单元305。
另一方面,当指示添加振动效果的信号生成时,信号生成单元303根据图像的识别结果确定是否已经成功执行了图像识别、不存在物体、或者识别失败。当图像的识别结果指示物体不存在或者通知识别失败时,信号生成单元303执行限定于由麦克风110收集的声音的信号生成。换句话说,信号生成单元303将获取的声音转换为信号振动。此外,信号生成单元303通过使转换后的振动信号通过低通滤波器来执行滤波处理,以削除由不必要的声音数据引起的振动。然后,信号生成单元303将振动信号输出到通信控制单元305。
另一方面,当已经成功地执行了图像识别时,信号生成单元303将所获取的声音转换为振动信号。接下来,信号生成单元303通过使用音调移位等来调整通过转换声音获得的振动信号。接下来,信号生成单元303从振动模式信息中获取与所获取的图像的识别结果相对应的振动模式。然后,信号生成单元303将获取的振动模式添加到通过转换声音获得的振动信号,以将振动效果应用于通过转换声音获得的振动信号。此后,信号生成单元303将已经应用了振动效果的振动信号输出到通信控制单元305。
换句话说,信号生成单元303基于由设置在衬垫上的振动传感器测量的振动和放置在所述衬垫上的物体的检测结果来生成振动信号。更具体地,信号生成单元303基于由振动传感器测量的振动和由图像分析单元304对物体的识别结果来生成振动信号。更具体地,信号生成单元303根据由振动传感器测量的振动生成基本振动信号,基于物体的识别结果生成附加振动,并且通过将附加振动添加到基本振动信号来生成所述振动信号。这里,基本振动信号是根据由麦克风110收集的声音生成的振动信号,并且附加信号是具有与图像的识别结果相对应的振动模式的振动信号。
图7是用于说明添加振动效果的图。例如,如图7的视图左侧所示,当具有枪的形状的物体211被布置在顶板101上时,信号生成单元303接收表示“枪”的识别结果的输入作为物体211的识别结果。在这种情况中,信号生成单元303从振动模式信息中获取表示枪射击的振动模式。此外,如图7的视图中央所示,当具有手的形状的物体212被布置在顶板101上时,信号生成单元303接收表示“按压顶板101的手”的识别结果的输入作为物体212的识别结果。在这种情况中,信号生成单元303从振动模式信息中获取表示当用手按压顶板101时的诸如“松软”或“敲击”等触觉的振动模式。此外,如图7的视图右侧所示,当具有纸张形状的物体213被布置在顶板101上时,信号生成单元303接收表示“纸张”的识别结果的输入作为物体213的识别结果。在这种情况中,信号生成单元303从振动模式信息中获取表示当递送纸张时诸如“刷刷地”或“哗哗地”等感觉的振动模式。然后,信号生成单元303将所获取的振动模式作为振动效果添加到根据由麦克风110拾取的声音生成的振动信号中。
这里,在本实施方式中,当物体存在于摄像机20的视角之外时,信号生成单元303已经生成限定于由麦克风110收集的声音的信号,但是也可以执行其他处理。例如,当物体存在于摄像机20的视角之外时,信号生成单元303可以不输出任何内容作为振动信号。另外,信号生成单元303也可以将根据由麦克风110收集的声音生成的振动信号减弱并输出减弱的振动信号。
此外,信号生成单元303已经直接根据由麦克风110收集的声音生成振动信号。然而,除此之外,还可以根据声音估计动作等,从而将对应于所估计动作的振动模式作为振动效果应用于振动信号。
这里,在本实施方式中,已经描述了由信号生成单元303预先保存振动模式信息的情况,但是获取振动模式的方法不限于此。例如,振动模式信息可以保存在诸如布置在云中的服务器等外部装置中,使得信号生成单元303可以从外部装置下载每种振动模式以供使用。另外,信号生成单元303可以将识别结果发送到外部装置,以便从外部装置接收与外部装置所选择的识别结果相对应的振动模式,以用作振动效果。
回到图3继续描述。通信控制单元305从信号生成单元303接收振动信号的输入。然后,通信控制单元305将所获取的振动信号经由网络发送到与操作者远程通信的人的终端装置31。此外,通信控制单元305从图像分析单元304接收由摄像机20拍摄的图像的输入。然后,通信控制单元305将由摄像机20拍摄的图像经由网络发送到与操作者远程通信的人的终端装置31。换言之,通信控制单元305将由信号生成单元303生成的振动信号发送至另一终端装置31。
这里,由通信控制单元305将由摄像机20拍摄的图像发送给与操作者远程通信的人也使得操作者可以通过摄像机20的图像将意图传达给与操作者远程通信的人。图8是示出使用意图指示立方体进行意图传达的示例的图。意图指示立方体220是其各个表面用作白板以用笔在各个表面上写入的立方体物体。由操作者在各个表面上写入的意图指示立方体220被布置在顶板101上。在意图指示立方体220的各个表面之中的与摄像机20相面对的表面上的写入被摄像机20拍摄,并作为图像传达给与操作者远程通信的人。由此,与操作者远程通信的人可以将意图指示立方体220的与摄像机20相面对的表面上的写入理解为操作者的意图指示。例如,操作者在意图指示立方体220的各个表面上写入对于聊天的感兴趣程度、可聊天时间、或者忙碌时间。然后,操作者根据自身的情况选择要由摄像机20拍摄的表面,并将意图指示立方体220放置在顶板101上,由此易于与正与操作者远程通信的人聊天。
回到图3继续描述。此外,通信控制单元305经由网络接收从与操作者远程通信的人的终端装置31发送的振动信号和摄像机图像的输入。然后,通信控制单元305将从与操作者远程通信的人的终端装置31发送的摄像机图像输出到输入/输出控制单元307。此外,通信控制单元305将振动信号输出到信号输出单元302。
信号输出单元302从通信控制单元305接收振动信号的输入。然后,信号输出单元302将振动信号输出到振动器120,以使振动器120振动。换言之,信号输出单元302基于从另一终端装置31发送的振动信号,使振动机构振动。
通过这种配置,振动器120接收由与操作者远程通信的人的终端装置31发送的振动信号,并根据放置在该与操作者远程通信的人的顶板101上的物体产生添加了振动效果的振动。操作者可以感觉到由振动器120产生的振动,通过振动识别显示在显示装置308上的由与操作者远程通信的人放置在顶板101上的物体,并且获得关于与操作者远程通信的人的更多信息。
如上所述,作为信息处理系统的远程通信系统1包括多个用作信息处理装置的终端装置30。终端装置30包括衬垫、振动机构、信号生成单元303、将由信号生成单元303生成的振动信号发送到另一信息处理装置31的通信控制单元305、以及基于从另一信息处理装置31发送的振动信号使振动机构振动的信号输出单元302。
[根据第一实施方式的振动信号的发送过程]
图9是根据第一实施方式的由远程通信系统进行的振动信号的发送过程的流程图。接下来,将参考图9描述由根据本实施方式的远程通信系统1进行的振动信号的发送过程。
接触检测单元301从麦克风110接收声音(步骤S1)。
当接收到声音时,接触检测单元301确定是否已经检测到物体与顶板101的接触(步骤S2)。
当检测到物体的接触时(步骤S2:肯定),接触检测单元301确定从前一次振动开始是否已经经过了一定时间段(步骤S3)。
当从前一次振动开始已经经过了一定时间段时(步骤S3:肯定),信号生成单元303从接触检测单元301接收声音以及用于生成添加振动效果的信号的指示。此外,信号生成单元303从图像分析单元304接收由摄像机20拍摄的图像的识别结果的输入。然后,信号生成单元303确定是否已经能够识别出放置在顶板101上的物体(步骤S4)。
当已经能够识别出放置在顶板101上的物体时(步骤S4:肯定),信号生成单元303将声音转换为振动信号,并进一步调整振动信号(步骤S5)。
接下来,信号生成单元303从振动模式信息中获取与由图像分析单元304对放置在顶板101上的物体的识别结果相对应的振动模式。接下来,信号生成单元303将所获取的振动模式添加到振动信号,以将振动效果应用于振动信号(步骤S6)。然后,振动信号的发送过程进入步骤S9。
另一方面,当没有检测到物体的接触时(步骤S2:否定),当从前一次振动开始还没有经过一定时间段时(步骤S3:否定),或者当难以识别物体或者物体存在于摄像机20的视角之外时(步骤S4:否定),信号生成单元303执行后续处理。信号生成单元303将由麦克风110收集的声音转换为振动信号(步骤S7)。
接下来,信号生成单元303使所生成的振动信号通过低通滤波器,进行滤波处理(步骤S8)。然后,振动信号的发送过程进入步骤S9。
信号生成单元303将振动信号输出到通信控制单元305。通信控制单元305将所获取的振动信号经由网络发送到与操作者远程通信的人的终端装置31(步骤S9)。
这里,在本实施方式中,终端装置30已经将振动信号发送到与操作者远程通信的人的终端装置31,但是,除了这种配置之外,由麦克风110收集的声音也可以被发送到与操作者远程通信的人的终端装置31。此外,在终端装置30包括除麦克风110之外的声音收集装置或除摄像机20之外的图像获取装置的情况下,由所述声音收集装置或图像获取装置获得的声音或图像可以被发送到与操作者远程通信的人的终端装置31。
此外,在本实施方式中,当作为振动信号源的物体被布置在顶板101上时,终端装置30生成振动信号并将生成的振动信号发送到终端装置30。然而,在远程通信系统中,振动信号可以由另一装置生成。
例如,在诸如布置于云上的服务器等外部装置上,布置信号生成单元303。然后,终端装置30将由麦克风110收集的声音或摄像机20的图像发送到外部装置。外部装置的信号生成单元303使用从终端装置30接收的由麦克风110收集的声音或摄像机20的图像,生成应用了与识别结果相对应的振动效果的振动信号。然后,外部装置将生成的振动信号发送到终端装置31。可替代地,外部装置30可以将生成的振动信号发送到终端装置30,使得终端装置30将振动信号发送到终端装置31。
另外,例如,包括由振动信号振动的振动器120的终端装置31的信号生成单元303可以生成振动信号。在该配置中,终端装置30将由麦克风110收集的声音或摄像机20的图像发送到终端装置31。终端装置31的信号生成单元303使用从终端装置30接收的由麦克风110收集的声音或摄像机20的图像,生成应用了与识别结果相对应的振动效果的振动信号。然后,终端装置31的信号输出单元302输出所生成的振动信号以使振动器120振动。
换句话说,作为信息处理系统的远程通信系统1包括:信号生成单元303,其基于由设置在衬垫上的振动传感器测量的振动和放置在衬垫上的物体的检测结果,来生成振动信号;以及信号输出单元302,其基于由信号生成单元303生成的所述振动信号,使振动机构振动。
如上所述,当物体被放置在顶板上时,根据本实施方式的远程通信系统将与放置在顶板上的物体的图像相对应的振动模式作为振动效果添加到根据由麦克风拾取的声音产生的振动信号中。然后,已经应用了振动效果的振动信号被发送到与操作者远程通信的人的终端装置,以使衬垫型扬声器的振动器振动。
在简单地将放置物体时获得的声音转换成振动信号并传输到与操作者远程通信的人的终端装置以使振动器振动的情况下,提供单调振动。同时,通过发送根据与放置的物体及其外观相关的信息的振动模式,可以由与操作者远程通信的人再现难以通过基于声音的振动信号表现的振动,从而使与操作者远程通信的人感觉到与布置的物体相关的更多信息。因此,可以通过在远程通信中使用更多的信息来相互通信,从而实现活化的通信。
(变形例)
在上述的第一实施方式中,在由图像分析单元304识别物体失败时,信号生成单元303已经生成限定于由麦克风110收集的声音的信号,但是也可以使用物体的外观来添加振动效果。在下文中,将描述通过使用物体的外观来添加振动效果的情况。
当识别物体失败时,图像分析单元304识别物体的外观,诸如该物体的颜色、物体相对于基准尺寸的大小、或物体的移动,并将物体的外观作为外观信息来进行通知。另外,在识别物体失败时,图像分析单元304将顶板101上的物体的数量作为外观信息来进行通知。
在识别物体失败时,信号生成单元303从图像分析单元304获取诸如该物体的颜色、物体相对于基准尺寸的大小、或物体的移动等物体的外观的识别结果,作为外观信息。然后,信号生成单元303获取根据所获取的外观信息的振动模式,并将所获取的振动模式作为振动效果添加到根据由麦克风110收集的声音生成的振动信号中。
例如,当物体的颜色呈黑色时,信号生成单元303添加表示声音的振动模式作为振动效果,诸如表示重量较重的“咚咚声”。同时,当物体的颜色呈白色时,信号生成单元303添加表示声音的振动模式作为振动效果,诸如表示重量较轻的“叩叩声”。此外,当物体的大小大于基准尺寸时,信号生成单元303添加表示声音的振动模式作为振动效果,诸如表示重量较重的“咚咚声”。同时,当物体的大小小于基准尺寸时,信号生成单元303添加表示声音的振动模式作为振动效果,诸如表示重量较轻的“叩叩声”。此外,当物体正在旋转时,信号生成单元303添加表示旋转的振动模式作为振动效果,诸如重复短促振动的旋转。同时,当物体直线行进时,信号生成单元303添加表示直线行进的振动模式作为振动效果,诸如长时间连续振动的直线行进。
此外,在识别物体失败时,信号生成单元303从图像分析单元304获取关于顶板101上的物体的数量的信息,作为外观信息。在该配置中,信号生成单元303获取与由所获取的外观信息表示的物体数量相对应的振动模式,并添加所述振动模式作为振动效果。
例如,当存在多个物体时,信号生成单元303添加表示声音的振动模式作为振动效果,诸如表示放置多个物体的“咔嗒,咔嗒,咔嗒,咔嗒,咔嗒,咔嗒”。同时,当存在一个物体时,信号生成单元303添加表示声音的振动模式作为振动效果,诸如表示放置一个物体的“咔嗒”。
以这种方式,在由图像分析单元304识别物体失败时,信号生成单元303基于物体的外观生成所述振动信号。
如上所述,当识别物体失败时,根据本变形例的远程通信系统根据从该物体获得的外观信息获取振动模式,并添加所获取的振动模式作为振动效果。由此,即使当无法识别物体时,表示顶板上的物体的概要的振动也可以被发送到与操作者远程通信的人,并且可以向与操作者远程通信的人提供可能是对话机会的更多信息。因此,可以活化通信。
[第二实施方式]
图10是根据第二实施方式的远程通信系统的框图。根据本实施方式的远程通信系统1被配置为基于操作者的意图向与操作者远程通信的人传达特定的振动。除了第一实施方式中的各单元之外,根据本实施方式的远程通信系统1进一步包括安装有传感器的按钮40。在下文中,将省略与第一实施方式中的单元类似的各单元的操作的描述。
图11是示出将安装有传感器的按钮布置在顶板上的状态的图。例如,安装有传感器的按钮40可以布置在已放置在顶板101上的物体上,如图11所示。安装有传感器的按钮40包括安装在按钮402上的加速度传感器401。
当操作者按压安装有传感器的按钮40时,加速度传感器401检测到安装有传感器的按钮40被操作者按压。然后,将用于通知加速度传感器401的检测结果的信号输出到信号生成单元303。
信号生成单元303从安装有传感器的按钮40接收加速度传感器401的检测结果的输入。然后,信号生成单元303从振动模式信息中获取根据加速度传感器401的检测结果的振动模式。在该配置中,表示安装有传感器的按钮40被按压的预先确定的振动模式被记录在振动模式信息中。
然后,信号生成单元303将与加速度传感器401的检测结果相关联的振动模式作为振动效果添加到根据由麦克风110收集的声音生成的振动信号中。此后,信号生成单元303将振动信号输出到通信控制单元305,与加速度传感器401的检测结果相关联的振动效果已被应用于所述振动信号。
这里,信号生成单元303可以使根据由麦克风110收集的声音生成的振动信号静音。在这种情况下,信号生成单元303采用与加速度传感器401的检测结果相关联的振动模式作为振动信号。
如上所述,作为信息处理装置的远程通信系统进一步包括安装有传感器的按钮40,所述安装有传感器的按钮40是安装有检测预定动作的传感器的机构。然后,当执行预定动作时,信号生成单元303从安装有传感器的机构接收用于指示检测到预定动作的通知,并生成预先确定的预定振动信号。
通信控制单元305将从信号生成单元303输入的应用了与加速度传感器401的检测结果相对应的振动效果的振动信号,经由网络发送到与操作者远程通信的人的终端装置31。此外,通信控制单元305经由网络接收振动信号,所述振动信号已应用了当与操作者远程通信的人按压安装有传感器的按钮40时与加速度传感器401的检测结果相对应的振动效果。然后,通信控制单元305将应用了振动效果的振动信号输出到信号输出单元302,所述振动效果对应于当与操作者远程通信的人按压安装有传感器的按钮40时加速度传感器401的检测结果。
信号输出单元302将振动信号发送到振动器120并使振动器120振动,所述振动信号已应用了当与操作者远程通信的人按压安装有传感器的按钮40时与加速度传感器401的检测结果相对应的振动效果。这种配置使得操作者可以感觉到由与操作者远程通信的人按压安装有传感器的按钮40而产生的振动。
如上所述,在根据本实施方式的远程通信系统中,通过使用设置在按钮上的传感器等,可以将特定的振动传达给与操作者远程通信的人。这种配置使得可以通过振动向与操作者通信的人传达特定的感情,从而实现更活化的通信。
[第三实施方式]
图12是根据第三实施方式的远程通信系统的框图。根据本实施方式的远程通信系统1从成为产生振动信号的源的多个物体中选择具有较高优先级的物体,并基于所选择的物体应用振动效果。除了第一实施方式中的各单元之外,根据本实施方式的远程通信系统1进一步包括内容选择单元309。在下文中,将省略与第一实施方式中的单元类似的各单元的操作的描述。
当在顶板101上放置多个物体时,或者当在顶板101上执行诸如在笔记本中书写句子等工作时,图像分析单元304识别多个物体,诸如铅笔、纸张、执行写笔记的手、以及触摸顶板101的另一只手。在这种情况下,图像分析单元304将多个物体的识别结果输出到内容选择单元309。
当由接触检测单元301检测到在从前一次接触顶板101开始经过一定时间段之后物体与顶板101的接触时,内容选择单元309接收由麦克风110收集的声音的输入以及用于生成添加振动效果的信号的指示。接下来,内容选择单元309从图像分析单元304接收根据摄像机20的图像获得的多个物体的识别结果的输入。
这里,内容选择单元309从所识别的多个物体中优先选择具有对于与操作者通信的人容易理解的振动的物体作为成为产生振动效果的源的目标。在本实施方式中,内容选择单元309具有优先级表,表中预先分配了每个物体的优先级。例如,基于由操作者对以前发送的振动进行的评估而创建该优先级表。然后,内容选择单元309从所识别的多个物体中选择具有优先级表中的最高优先级的物体作为成为产生振动效果的源的目标。这里,内容选择单元309可以按优先级降序选择预定数量的物体。然后,内容选择单元309将由麦克风110收集的声音与所选择的物体的识别结果一起输出到信号生成单元303。
例如,如果操作者在顶板101上在笔记本中书写句子,则表示记笔记声音的振动模式对于与操作者通信的人来说是容易理解的。因此,内容选择单元309从由图像分析单元304识别的铅笔、纸张、记笔记的手和触摸顶板101的另一只手中,选择记笔记的手的识别结果。
换句话说,当多个独立物体被检测为放置在衬垫上的物体时,内容选择单元309使用预先确定的每个独立物体的优先级来选择一个或多个独立物体。
另外,内容选择单元309可以使用声谱结果来选择具有对于与操作者通信的人容易理解的振动的物体。例如,内容选择单元309可以对由麦克风110收集的声音执行谱分析,排除稳定的声音,识别时间序列中的特征声音,并选择与所述声音相对应的物体作为成为产生振动效果的源的目标。此外,除了麦克风110之外,内容选择单元309还可以使用来自诸如振动设备、惯性测量单元(IMU)传感器和加速度传感器等其他传感器等的信息,来选择具有对于与操作者通信的人容易理解的振动的物体。
信号生成单元303接收由麦克风110收集的声音的输入以及由内容选择单元309选择的物体的识别结果。然后,信号生成单元303根据获取的声音生成振动信号并调整振动信号,然后将与物体的识别结果相对应的振动模式添加到振动信号,并生成已经应用了振动效果的振动信号。此后,信号生成单元303将已经应用了所生成的振动效果的振动信号输出到通信控制单元305。
[根据第三实施方式的内容选择处理]
图13是根据第三实施方式的远程通信系统的内容选择处理的流程图。接下来,将参考图13描述由根据本实施方式的远程通信系统1进行的内容选择处理的流程。
内容选择单元309接收由麦克风110收集的声音的输入以及用于生成添加振动效果的信号的指示(步骤S11)。
接下来,内容选择单元309从图像分析单元304获取多个物体的图像的识别结果(步骤S12)。
接下来,内容选择单元309查阅优先级表(步骤S13)。
内容选择单元309从已获得识别结果的多个物体中选择具有优先级表中指示的最高优先级的物体,作为成为产生振动效果的源的物体(步骤S14)。
此后,内容选择单元309将声音与所选择的物体的识别结果一起输出到信号生成单元303(步骤S15)。
如上所述,当识别出多个物体时,根据本实施方式的远程通信系统优先从所述物体中选择被确定为具有对于与操作者通信的人容易理解的振动模式的物体作为成为产生振动效果的源的目标。该配置使得与操作者远程通信的人可以更容易理解操作者侧的状态,从而实现活化的通信。
[第四实施方式]
图14是根据第四实施方式的远程通信系统的框图。根据本实施方式的远程通信系统1选择被配置为可获取与要传送的振动相关的最多信息的设备,以基于从所选择的设备获得的信息来获取振动模式。除了第一实施方式中的各单元之外,根据本实施方式的远程通信系统1进一步包括设备选择单元310。在下文中,将省略与第一实施方式中的单元类似的各单元的操作的描述。
例如,当操作者吃放置在顶板101上的苹果时,由位于操作者嘴部的麦克风获得的声音比由作为设置在顶板101处的麦克风110的设备获得的声音更准确地表现吃苹果。因此,优选的是选择可以容易获得要传送的期望振动模式的设备,并且通过使用来自该设备的信息来生成振动模式。在本实施方式中,布置了由操作者佩戴的耳机41和另一个外部麦克风42。换句话说,作为信息处理装置的远程通信系统1包括多个信息获取装置,诸如摄像机20、耳机41和外部麦克风42。
当由接触检测单元301检测到在从前一次与顶板101接触开始经过一定时间段之后物体与顶板101的接触时,设备选择单元310接收由麦克风110收集的声音的输入以及用于生成添加振动效果的信号的指示。接下来,设备选择单元310从图像分析单元304接收图像的识别结果的输入。此外,设备选择单元310接收来自耳机41和外部麦克风42的声音的输入。
接下来,设备选择单元310确定在从麦克风110、耳机41和外部麦克风42获得的声音中是否包括要传送的内容。例如,当拿起布置在顶板101上的苹果之后几秒后听到声音时,设备选择单元310确定存在要传送的内容。当不包括要传送的内容时,设备选择单元310向信号生成单元303输出来自麦克风110的声音和图像的识别结果以及用于生成添加振动效果的信号的指示。
另一方面,当存在要传送的内容时,设备选择单元310选择具有较高声压的设备。例如,在吃东西的声音的情况下,设备选择单元310选择耳机41,因为靠近操作者嘴部的耳机41具有最高的声压。这里,在本实施方式中,已经基于每个设备的声压进行了设备的选择,但是设备选择单元310也可以选择被配置为可获取所选择内容中的特征频带的设备。此外,设备选择单元310可以选择多个设备。由此,设备选择单元310从多个信息获取装置中选择一个或多个特定信息获取装置。
然后,设备选择单元310将来自麦克风110的声音、由耳机41收集的声音以及图像的识别结果输出到信号生成单元303。这里,在本实施方式中,设备选择单元310已经从声音收集装置中选择了用于获得作为成为生成振动模式的源的内容的设备,但是除此之外,除了摄像机20之外,还可以设置多个图像获取装置,以便从所述多个图像获取装置中选择被配置为获得与要传送的内容相关的最多信息的设备。
信号生成单元303从设备选择单元310获取来自麦克风110的声音、由耳机41收集的声音以及图像的识别结果的输入。然后,信号生成单元303基于来自麦克风110的声音生成振动信号并调整振动信号。此外,获取与由耳机41收集的声音对应的振动模式和与图像的识别结果对应的振动模式。此外,信号生成单元303将与由耳机41收集的声音相对应的振动模式和与图像的识别结果相对应的振动模式作为振动效果添加到振动信号中。换句话说,信号生成单元303基于由设备选择单元310选择的特定信息获取装置所获得的获取信息来生成振动信号。
[根据第四实施方式的信号生成过程]
图15是由根据第四实施方式的远程通信系统执行的包括设备选择的振动信号生成处理的流程图。接下来,将参考图15描述根据本实施方式的远程通信系统1的振动信号生成处理的流程。
设备选择单元310接收由麦克风110收集的声音的输入以及用于生成添加振动效果的信号的指示(步骤S21)。
接下来,设备选择单元310获取图像的识别结果以及来自耳机41和外部麦克风42的声音(步骤S22)。
接下来,设备选择单元310确定是否存在要传送的内容(步骤S23)。当不存在要传送的内容时(步骤S23:否定),设备选择单元310向信号生成单元303输出由麦克风110收集的声音和图像的识别结果以及用于生成添加振动效果的信号的指示。此后,振动信号生成处理进入步骤S25。
另一方面,当存在要传送的内容时(步骤S23:肯定),设备选择单元23从麦克风110、耳机41和外部麦克风42中选择具有最高声压的设备。然后,设备选择单元23获取由所选择的设备收集的信息(步骤S24)。然后,设备选择单元310向信号生成单元303输出来自麦克风110的声音、图像的识别结果和由所选择的设备收集的信息,以及用于生成添加振动效果的信号的指示。
信号生成单元303基于来自麦克风110的声音生成振动信号并调整振动信号(步骤S25)。
接下来,信号生成单元303获取与图像的识别结果对应的振动模式。此外,当接收到来自由设备选择单元310选择的设备的声音时,信号生成单元303获取与所述声音对应的振动模式。然后,信号生成单元303将所获取的振动模式作为振动效果添加到振动信号中(步骤S26)。
如上所述,根据本实施方式的远程通信系统选择被配置为可获取与要传送的内容相关的最多信息的设备,应用与从所述设备获得的信息相对应的振动模式作为振动效果。这种配置可以将更适于表示操作者的动作或物体的振动传送给与操作者通信的人,从而实现活化的通信。
[第五实施方式]
在图3的框图中示出了根据本实施方式的远程通信系统1。根据本实施方式的远程通信系统1根据顶板101的状态和周围环境来调整要发送和接收的振动。在下文中,将省略与第一实施方式中的单元类似的各单元的操作的描述。
需要考虑操作者可能将可能由振动引起困扰的物体或阻碍振动的物体放置在顶板101上。例如,需要考虑不稳定的物体、活体、吸收振动的物体等。此外,还需要考虑如果使顶板101振动,操作者可能受到困扰。例如,需要考虑操作者正在顶板101上睡觉,或者操作者正在执行如果在顶板101上产生振动则可能受到困扰的工作,或者操作者正与另一人员在共同的桌子上工作。此外,连续发送根据由麦克风120收集的声音产生的振动信号可能导致振动器120的振动过多。在这些情况下,优选的是通过使顶板101不振动、减少振动等来抑制振动。
因此,根据本实施方式的图像分析单元304通过机器学习等预先掌握可能由振动引起困扰的物体或阻碍振动的物体、或者可能由振动引起困扰的状态。然后,当作为对由摄像机20拍摄的图像识别的结果,确定可能由振动引起困扰的物体或阻碍振动的物体存在于顶板101上时,图像分析单元304指示信号输出单元302抑制振动。此外,在可能由振动引起困扰的状态的情况下,图像分析单元304也类似地指示信号输出单元302抑制振动。
这里,在本实施方式中,图像分析单元304已经利用对于摄像机20的图像的识别结果进行了振动抑制,但是触发抑制振动不限于此。例如,可以基于来自布置在顶板101上的麦克风100、附加布置的重量传感器等的信息,来确定可能由振动引起困扰的物体、阻碍振动的物体或可能由振动引起困扰的状态。此外,图像分析单元304可以使用来自布置在室内的另一摄像机或另一麦克风、振动传感器、IMU传感器、加速度传感器、终端装置30上已启动的应用的信息等来确定可能由振动引起困扰的状态。
当通过来自与操作者远程通信的人的终端装置31的信号使振动器120振动时,信号输出单元302减弱或停止振动以抑制振动。
这里,在本实施方式中,在接收侧的终端装置30中抑制振动,但是在发送侧的终端装置30中也可以抑制振动。例如,可以从期望抑制振动的振动信号的接收侧向振动信号的发送侧通知振动抑制的请求,使得在发送侧的终端装置30中信号生成单元303在生成振动信号时抑制信号。
此外,当由麦克风110收集的声音持续特定的一定时间段时,信号生成单元303停止生成振动信号。另外,当从拍摄房间内部图像的另一摄像机获取图像并对所获取的图像进行图像识别、并且根据图像识别的结果确定声音持续预定时间段或更长时间时,信号生成单元303可以停止生成振动信号。例如,当作为图像识别的结果识别出真空吸尘器时,信号生成单元303确定使用真空吸尘器的声音持续预定时间段或更长时间,并且基于真空吸尘器的声音停止生成振动信号。
此外,在使用声源分离技术从由麦克风110收集的声音中去除稳定的声音等以提取出要传送的声音之后,信号生成单元303可以使用该提取的声音生成振动信号。
如上所述,根据本实施方式的远程通信系统根据顶板上的物体、周围环境等来调整要接收的振动和要发送的振动。该配置可以抑制过度的振动发送或在不适当的时刻发送和接收振动,由此能够减轻远程通信中的不适感,并使通信平滑。
[第六实施方式]
图16是根据第六实施方式的远程通信系统的框图。根据本实施方式的远程通信系统1根据操作者的动作自动确定交谈意愿,并将意欲交谈的意愿呈现给与操作者远程通信的人。此外,根据来自操作者的输入,向与操作者远程通信的人呈现意欲交谈的意愿。除了第一实施方式中的各单元之外,根据本实施方式的终端装置30进一步包括动作确定单元311。在下文中,将省略与第一实施方式中的单元类似的各单元的操作的描述。
动作确定单元311经由输入/输出控制单元307获取与操作者使用输入装置306执行的操作相关的操作信息。操作者使用输入装置306执行的操作的示例包括关闭工作中的文件、完成电子邮件发送、完成远程会议、取消会议日程安排、浏览互联网、执行耗时的工作以及未在打字等。
另外,动作确定单元311连接到外部传感器43,并且获取与由所述外部传感器43获取的操作者的动作相关的信息。外部传感器43例如是拍摄操作者的图像的另一摄像机。操作者的动作的示例包括例如看着衬垫型扬声器10、坐在椅子上经过一小时或更长时间、坐在椅子上、吃点心或喝饮料、以及摊开备忘录但没有写任何东西。例如,动作确定单元311利用摄像机的图像执行图像识别,以识别操作者的动作,并且对所识别的操作者的动作进行鉴别。
这里,动作确定单元311预先具有表示由操作者利用输入装置306进行的每个操作以及对应于操作者的每个动作的交谈意愿的权重。这里,假设越高的权重表示越高的交谈意愿。例如,当用户正在上网时,权重增加,并且当用户正在进行耗时的工作时,权重降低。然后,动作确定单元311将此时刻时已进行的由操作者使用输入装置306进行的各操作以及操作者的动作的权重相加,并计算关于操作者的当前的交谈意愿的权重。
这里,动作确定单元311预先保存交谈意愿的基准值,以确定当权重等于或大于所述基准值时交谈意愿高,而当权重小于所述基准值时交谈意愿低。接下来,动作确定单元311将计算出的当前交谈意愿的权重与所述基准值进行比较。
在当前交谈意愿的权重等于或大于所述基准值时,动作确定单元311确定交谈意愿高。然后,动作确定单元311向通信控制单元305和输入/输出控制单元307指示执行向与操作者远程通信的人呈现意欲交谈的意愿的处理。另一方面,在当前交谈意愿的权重小于所述基准值时,动作确定单元311确定交谈意愿低,并且不通知交谈意愿。
动作确定单元311也可以明确地向与操作者远程通信的人呈现交谈意愿。例如,动作确定单元311指示通信控制单元305在显示在终端装置30上的该终端装置30的摄像机20的屏幕上显示表示可以通话的图标,或者从与操作者远程通信的人的终端装置31输出弹出框声音。另外,动作确定单元311指示通信控制单元305执行显示,以使显示在终端装置30上的该终端装置30的摄像机20的屏幕的亮度发生闪烁变化。
此外,动作确定单元311也可以和缓地向与操作者远程通信的人呈现交谈愿望。例如,动作确定单元311使通信控制单元305和输入/输出控制单元307显示期望交谈的操作者和与操作者远程通信的人之间的共同话题。此外,动作确定单元311指示通信控制单元305逐渐增加要发送给与操作者远程通信的人的终端装置30的音量。此外,动作确定单元311向信号生成单元303通知用于逐渐增强要发送给与操作者远程通信的人的终端装置30的振动的指示。此外,动作确定单元311指示通信控制单元305逐渐增大针对与操作者远程通信的人的终端装置31的该终端装置30的摄像机20的图像的视角。此外,动作确定单元311指示信号生成单元303针对与操作者远程通信的人的终端装置31生成使存在于衬垫型扬声器10上的物体振动以移动的信号。此外,动作确定单元311也可以使通信控制单元305将终端装置30的摄像机20的图像中的摇摆的树的图像发送到与操作者远程通信的人的终端装置31,并且可以指示信号生成单元303生成根据所述树的摇摆使振动器120振动的振动信号。此外,动作确定单元311也可以使通信控制单元305将在终端装置30的摄像机20的图像内移动预定吉祥物的命令发送到与操作者远程通信的人的终端装置31,并且可以指示信号生成单元303生成用于根据吉祥物的移动进行振动的振动信号。
由此,动作确定单元311确定操作者的操作或所述操作者的动作,并且使信号生成单元303根据确定结果向另一终端装置31发送预定信号,并且生成基于确定结果的振动信号。
响应于来自动作确定单元311的指示,信号生成单元303根据动作确定单元311对操作者的操作或动作的确定结果,生成与确定结果相对应的振动信号。
输入/输出控制单元307从输入装置306接收来自操作者的用于呈现交谈意愿的指示。然后,输入/输出控制单元307利用另一视觉效果或光向与操作者远程通信的人呈现交谈意愿。
例如,在衬垫型扬声器10附近布置光源43。光源43的示例包括例如布置在衬垫型扬声器10周围的LED、用于照射整个衬垫型扬声器10的照明、用于照射衬垫型扬声器10的聚光灯、用于分割地照射衬垫型扬声器10的多个光源等。图17是使发送侧的衬垫型扬声器的周围照亮的情况的图。此外,图18是使发送侧的衬垫型扬声器的照明改变的情况的图。此外,图19是强调显示发送侧的衬垫型扬声器的特定位置的情况的图。
操作者使用输入装置306来输入用于使衬垫型扬声器10周围的光源43闪烁的指示。输入/输出控制单元307接收来自操作者的指示,并且如图17的状态50所示,使终端装置30的衬垫型扬声器10周围的光源43闪烁。该配置使得与操作者远程通信的人的终端装置31上显示的屏幕51上的、终端装置30的摄像机20的图像52闪烁。这种配置可以积极地传达意欲交谈的意愿。
另外,操作者使用输入装置306输入用于根据操作者的情绪设置照射衬垫型扬声器10的光源43的照明的亮度或色调的指示。输入/输出控制单元307接收来自操作者的指示,并且改变照射衬垫型扬声器10的光源43的照明的亮度或色调。如图18所示,该配置对与操作者远程通信的人的终端装置31中显示的对方屏幕51中的终端装置30的摄像机20的图像52的亮度和色调进行改变。这种配置可以和缓地传达意欲交谈的意愿。
另外,操作者使用输入装置306输入用于将光源43的聚光灯照射到衬垫型扬声器10的特定位置的指示。输入/输出控制单元307接收来自操作者的指示,并且控制光源43以用聚光灯照射衬垫型扬声器10的特定位置。如图19所示,该配置利用聚光灯照射与操作者远程通信的人的终端装置31中显示的对方屏幕51中的终端装置30的摄像机20的图像52中的特定位置。这种配置可以将指示的是什么传达给与操作者通信的人。这里,操作者也可以将他/她的手伸向衬垫型扬声器10,用他/她的手指指示特定的位置,但是在这种情况下,除了该特定位置之外的区域被他/她的手臂隐藏。与此不同,通过用聚光灯照射特定位置,可以显示特定位置而不隐藏其他区域。
此外,来自操作者的输入可以改变与操作者远程通信的人的光源43。图20是使与操作者通信的人的衬垫型扬声器的周围照亮的情况的图。此外,图21是使与操作者通信的人的衬垫型扬声器的照明改变的情况的图。此外,图22是强调显示与操作者通信的人的衬垫型扬声器的特定位置的情况的示意图。
操作者使用输入装置306选择在图20所示的终端装置30的显示装置308上显示的屏幕54中的与操作者远程通信的人的摄像机20的图像中的LED图标55,输入用于使与操作者远程通信的人的衬垫型扬声器10周围的光源43照亮的指示。输入/输出控制单元307接收来自操作者的指示,经由通信控制单元305将用于使与操作者远程通信的人的衬垫型扬声器10周围的光源43闪烁的指示发送到与操作者远程通信的人的终端装置31。如图20的状态56所示,该配置使得与操作者远程通信的人的衬垫型扬声器10周围的光源43闪烁。这种配置可以积极地传达意欲交谈的意愿。
此外,操作者使用输入装置306,操作在图21所示的终端装置30的显示装置308上显示的屏幕54中的与操作者远程通信的人的摄像机20的图像中的照明滑动条57。输入/输出控制单元307接收来自操作者的指示,经由通信控制单元305将用于使与操作者远程通信的人的衬垫型扬声器10周围的光源43的照明的亮度改变的指示发送到与操作者远程通信的人的终端装置31。该配置改变了照射与操作者远程通信的人的衬垫型扬声器10的照明的亮度。这种配置可以和缓地传达意欲交谈的意愿。
另外,如图22所示,操作者使用输入装置306,用指针58指定在终端装置30的显示装置308上显示的屏幕54中的与操作者远程通信的人的摄像机20的图像中的特定位置。输入/输出控制单元307接收来自操作者的指示,经由通信控制单元305将用于控制光源43用聚光灯照射与操作者远程通信的人的衬垫型扬声器10的特定位置的指示发送到与操作者远程通信的人的终端装置31。利用这种配置,如状态59所示,与操作者远程通信的人的衬垫型扬声器10的特定位置60被聚光灯照亮。这种配置可以将指的是什么传达给与操作者通信的人。
如上所述,根据本实施方式的远程通信系统基于由操作者使用输入装置进行的应用程序的操作或者基于操作者的动作,自动确定交谈意愿,并且如果操作者具有意欲交谈的意愿,则向与操作者远程通信的人呈现意欲交谈的意愿。另外,根据本实施方式的远程通信系统根据由操作者使用输入装置所输入的指示来控制终端装置30的衬垫型扬声器附近的光源或与操作者通信的人的衬垫型扬声器附近的光源。这种配置可以向与操作者远程通信的人通知交谈意愿或操作者想要谈话的时间,便于对方进行谈话。因此,可以活化通信。
[第七实施方式]
图23是根据第七实施方式的远程通信系统的框图。为了与多个人进行远程通信,根据本实施方式的远程通信系统1被配置为以可对每个人进行识别的方式执行振动信号的发送/接收。根据本实施方式的衬垫型扬声器10包括一个麦克风110和四个振动器121至124。在下面的描述中,当没有特别区分各个振动器121至124时,振动器121至124被称为振动器120。进一步包括动作确定单元311。在下文中,将省略与第一实施方式中的单元类似的各单元的操作的描述。
图24A是从桌子的相对侧观察的放置在桌子上的衬垫型扬声器的平面图。在下文中,在这种状态下可见的一侧被称为顶板101的正面。图24B是衬垫型扬声器的侧视图。图24C是从桌子侧观察的放置在桌子上的衬垫型扬声器的平面图。在下文中,在这种状态下可见的一侧被称为顶板101的背面。
麦克风110设置在顶板101的背面的中央处。麦克风110是振动传感器。
振动器121至124均是振动致动器,并且设置在顶板101的背面的四个角处。在本实施方式中,振动器121至124也分别用作衬垫型扬声器10的台座。顶板101的正面的区域131至134存在于与各振动器121至124相面对的位置处,并且每个区域都是与每个振动器121至124相对应的区域。
与操作者远程通信的不同人员被分别分配给区域131至134。操作者使用终端装置30的输入装置306来启动区域分配应用。图25是示出用于与多个人进行远程通信的用户界面的示例的图。当区域分配应用启动时,在显示装置308上显示图25所示的设置用户界面140。在设置用户界面140上,显示表示顶板101的正面的图像,并且在四个角处显示表示区域131至134的图标141至144。
操作者使用输入装置306来选择每一个图标141至144,以选择将分配给对应的区域131至134的与操作者远程通信的人。例如,操作者选择图标141以将由人员A操作的终端装置31A分配给区域131。此外,操作者选择图标142以将由人员B操作的终端装置31B分配给区域132。此外,操作者选择图标143以将由人员C操作的终端装置31C分配给区域133。此外,操作者选择图标144以将由人员D操作的终端装置31D分配给区域134。在下文中,将描述将终端装置31A至31D分配给区域131至134的示例。
输入/输出控制单元307从输入装置306接收关于每一个区域131至133的分配信息的输入。然后,输入/输出控制单元307将关于每一个区域131至133的分配信息输出到通信控制单元305。
此外,在远程通信期间,输入/输出控制单元307使显示装置308显示图25的用户界面150。除了屏幕的共享按钮、声音的共享按钮和退出按钮之外,用户界面150还包括振动共享按钮151。操作者可以操作振动共享按钮151以切换振动共享,即,切换是否执行振动信号的发送/接收。这里,将描述打开振动共享按钮151以执行振动信号的发送/接收。
图像分析单元304对由摄像机20拍摄的图像执行识别。然后,确定操作者是否触摸顶板101的区域131至134中的任何一个区域。当操作者触摸顶板101的区域131至134中的任何一个区域时,与操作者通过触摸选择的区域131至134中的任何一个区域相关的信息被输出到信号生成单元303和通信控制单元305。
信号生成单元303从输入/输出控制单元307获取关于每一个区域131至133的分配信息,并存储该信息。然后,信号生成单元303从接触检测单元301接收用于生成振动信号的指示。此时,当选择了区域131至134中的任何一个区域时,从图像分析单元304接收与从区域131至134中选择的任何一个区域相关的信息的输入。然后,信号生成单元303选择与从区域131至134中选择的区域相对应的终端装置31A至31D中的任一个,并且将所选择的装置设置为振动信号的发送目的地。
例如,当从图像分析单元304接收到指示选择了区域131的通知时,信号生成单元303将分配了区域131的终端装置31A设置为振动信号的发送目的地。此外,当从图像分析单元304接收到指示选择了区域132的通知时,信号生成单元303将分配了区域132的终端装置31B设置为振动信号的发送目的地。此外,当从图像分析单元304接收到指示选择了区域133的通知时,信号生成单元303将分配了区域133的终端装置31C设置为振动信号的发送目的地。此外,当从图像分析单元304接收到指示选择了区域134的通知时,信号生成单元303将分配了区域134的终端装置31D设置为振动信号的发送目的地。以这种方式,信号生成单元303基于检测结果确定振动信号的发送目的地,并且使通信控制单元305发送振动信号。
当在发送振动信号时已选择区域131至134中的任何一个区域时,通信控制单元305接收已设置发送目的地的振动信号的输入。然后,通信控制单元305向该振动信号中设置的发送目的地发送振动信号。
另外,通信控制单元305从输入/输出控制单元307获取关于每一个区域131至133的分配信息,并存储该信息。然后,当从终端装置31A至31D中的任一个接收到振动信号的输入时,通信控制单元305识别该振动信号的发送源。当发送源是终端装置31A时,通信控制单元305将振动信号输出到信号输出单元302,并且指示信号输出单元302使与区域131对应的振动器121振动。此外,当发送源是终端装置31B时,通信控制单元305将振动信号输出到信号输出单元302,并且指示信号输出单元302使与区域132对应的振动器122振动。当发送源是终端装置31C时,通信控制单元305将振动信号输出到信号输出单元302,并且指示信号输出单元302使与区域133对应的振动器123振动。当发送源是终端装置31D时,通信控制单元305将振动信号输出到信号输出单元302,并且指示信号输出单元302使与区域134对应的振动器124振动。
信号输出单元302接收振动信号的输入和指示是否使振动器121到124的哪一个振动的指示的输入。然后,信号输出单元302将振动信号输出到振动器121至124中的所指示的振动器120,并使所指示的振动器120振动。操作者可以根据顶板101上的区域131至134中的振动位置,容易地了解来自作为与操作者远程通信的人的人员A至人员D中的哪个人的振动已经到达。以这种方式,基于从另一终端装置31发送的振动信号,信号输出单元302使多个振动器120中与另一终端装置31对应的振动器120振动。
这里,在本实施方式中,已经在顶板101上布置了四个致动器,并且已经分配了四个区域131至134,但是可以通过使用触觉超分辨率技术,来分配数量大于区域131至134的分配区域。
此外,在本实施方式中,在选择振动信号的发送目的地时,分析摄像机20的图像以确定发送目的地。然而,本实施方式不限于此,并且例如,触摸板可以用作顶板101以获取关于触摸区域的信息,使得信号生成单元303可以确定发送目的地。另外,可以在顶板101上布置三个或更多个加速度传感器,使得信号生成单元303可以基于从各加速度传感器获取的振动强度的平衡度来确定发送目的地。此外,可以布置检测顶板101的倾斜的倾斜传感器,使得信号生成单元303可以基于倾斜方向确定发送目的地。
[根据第七实施方式的振动信号输出处理]
图26是接收到的振动信号的根据发送源的输出处理的流程图。接下来,将参考图26描述由根据本实施方式的远程通信系统1执行的接收到的振动信号的根据发送源的输出处理的流程。
通信控制单元305接收经由网络发送来的振动信号(步骤S101)。
接下来,通信控制单元305确定所接收的振动信号是否是来自终端装置31A的信号(步骤S102)。当接收到的振动信号是来自终端装置31A的信号时(步骤S102:肯定),通信控制单元305指示信号输出单元302使振动器121振动。信号输出单元302从振动器121输出振动信号(103)。
另一方面,当接收到的振动信号不是来自终端装置31A的信号时(步骤S102:否定),通信控制单元305确定接收到的振动信号是否是来自终端装置31B的信号(步骤S104)。当接收到的振动信号是来自终端装置31B的信号时(步骤S104:肯定),通信控制单元305指示信号输出单元302使振动器122振动。信号输出单元302从振动器122输出振动信号(步骤S105)。
另一方面,当接收到的振动信号不是来自终端装置31B的信号时(步骤S104:否定),通信控制单元305确定接收到的振动信号是否是来自终端装置31C的信号(步骤S106)。当接收到的振动信号是来自终端装置31C的信号时(步骤S106:肯定),通信控制单元305指示信号输出单元302使振动器123振动。信号输出单元302从振动器123输出振动信号(步骤S107)。
另一方面,当接收到的振动信号不是来自终端装置31B的信号时(步骤S106:否定),通信控制单元305指示信号输出单元302使振动器124振动。信号输出单元302从振动器124输出振动信号(步骤S108)。
[根据第七实施方式的振动信号的发送过程]
图27是根据要发送的振动信号的发送目的地的发送处理的流程图。接下来,将参考图27描述由根据本实施方式的远程通信系统1进行的根据要发送的振动信号的发送目的地的发送处理的流程。
信号产生单元303从接触检测单元301接收用于生成振动信号的指示(步骤S201)。
接下来,信号生成单元303生成振动信号,并确定使用图像分析单元304的识别结果生成的振动信号是否是送往终端装置31A的信号(步骤S202)。当所获取的振动信号是送往终端装置31A的信号时(步骤S202:肯定),信号生成单元303将振动信号的发送目的地设置为终端装置31A。通信控制单元305从信号生成单元303获取振动信号,并将振动信号发送到作为设置的发送目的地的终端装置31A(步骤S203)。
另一方面,当所生成的振动信号不是送往终端装置31A的信号时(步骤S202:否定),信号生成单元303确定所生成的振动信号是否是送往终端装置31B的信号(步骤S204)。当所生成的振动信号是送往终端装置31B的信号时(步骤S204:肯定),信号生成单元303将振动信号的发送目的地设置为终端装置31B。通信控制单元305从信号生成单元303获取振动信号,并将振动信号发送到作为设置的发送目的地的终端装置31B(步骤S205)。
另一方面,当所产生的振动信号不是送往终端装置31B的信号时(步骤S204:否定),信号产生单元303确定所产生的振动信号是否是送往终端装置31C的信号(步骤S206)。当所生成的振动信号是送往终端装置31C的信号时(步骤S206:肯定),信号生成单元303将振动信号的发送目的地设置为终端装置31C。通信控制单元305从信号生成单元303获取振动信号,并将振动信号发送到作为设置的发送目的地的终端装置31C(步骤S207)。
另一方面,当所获取的振动信号不是送往终端装置31C的信号时(步骤S206:否定),信号生成单元303将振动信号的发送目的地设置为终端装置31D。通信控制单元305从信号生成单元303获取振动信号,并将振动信号发送到作为设置的发送目的地的终端装置31D(步骤S208)。
如上所述,根据本实施方式的终端装置根据振动信号的发送源,具有顶板上的不同的待振动位置。另外,根据本实施方式的终端装置根据指定的顶板上的位置将振动信号发送到不同的发送目的地。该配置可以利用振动来实现与多个人的通信,从而识别每条信息的发送源。此外,可以选择性地与正与操作者通信的多个人中的特定人通信。因此,便于与各个人的通信,从而能够使用远程通信进行活化的通信。
注意,在上述的各实施方式中,振动器布置在衬垫型扬声器上,但是振动器的布置位置不限于此,例如,振动器也可以布置在诸如智能电话或智能手表等终端装置内,以振动终端装置本身。
(硬件配置)
可以由硬件或软件执行上述一系列处理步骤。在通过软件执行一系列处理步骤的情况下,将构成软件的程序安装在计算机上。这里,计算机的示例包括结合在专用硬件中的计算机、配置为通过安装各种程序来执行各种功能的通用计算机等。
图28是终端装置的硬件配置图。终端装置30由图28所示的计算机900实现。在计算机900中,中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903经由总线904彼此连接。
输入/输出接口910也连接到总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接到输入/输出接口910。
输入单元911包括例如键盘、鼠标、麦克风、触摸屏、输入终端等。输出单元912例如包括显示器、扬声器、输出终端等。存储单元913包括例如硬盘、RAM盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动可移除介质921,诸如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中,CPU 901经由输入/输出接口910和总线904将例如存储在存储单元913中的程序加载到RAM 903中以供执行,并执行上述一系列处理步骤。RAM903还适当地存储CPU 901执行各种处理所需的数据。
例如,可以将CPU 901执行的程序记录在作为封装介质等的可移动介质921中,并应用该程序。在该配置中,当将可移除介质921安装到驱动器915中时,程序可以经由输入/输出接口910安装在存储单元913中。
此外,还可以经由有线或无线传输介质(诸如局域网、因特网和数字卫星广播)来提供该程序。在该配置中,允许程序由通信单元914接收并安装在存储单元913中。
另外,允许将程序预先安装在ROM 902或存储单元913中。
上面已经描述了本公开的实施方式,但是本公开的技术范围不严格限于上述实施方式,并且可以在不脱离本公开的精神和范围的情况下进行各种修改和变形。此外,不同实施方式和变形例的组成元件可以彼此适当地组合。
注意,本文描述的效果仅仅是示例,并不限于该描述,并且可以提供其他效果。
注意,本技术还可以具有以下配置。
(1)一种信息处理系统,包括:
信号生成单元,所述信号生成单元基于由设置在衬垫上的振动传感器测量的振动以及放置在所述衬垫上的物体的检测结果,生成振动信号;以及
信号输出单元,所述信号输出单元基于由所述信号生成单元生成的所述振动信号,使振动机构振动。
(2)根据(1)所述的信息处理系统,进一步包括
多个信息处理装置,
其中,每个所述信息处理装置包括:
所述衬垫;
所述振动机构;
所述信号生成单元;
通信控制单元,所述通信控制单元将由所述信号生成单元生成的所述振动信号发送到另一信息处理装置;以及
所述信号输出单元,所述信号输出单元基于从所述另一信息处理装置发送的所述振动信号,使所述振动机构振动。
(3)根据(1)所述的信息处理系统,进一步包括
图像分析单元,所述图像分析单元分析对放置在所述衬垫上的所述物体进行拍摄的摄像机的图像以识别所述物体,
其中,所述信号生成单元基于由所述振动传感器测量的所述振动以及由所述图像分析单元对所述物体的识别结果,生成所述振动信号。
(4)根据(3)所述的信息处理系统,其中
所述信号生成单元
根据由所述振动传感器测量的所述振动生成基本振动信号,
基于所述物体的所述识别结果生成附加振动,以及
将所述附加振动添加到所述基本振动信号以生成所述振动信号。
(5)根据(3)或(4)所述的信息处理系统,其中,在所述图像分析单元对所述物体的识别失败时,所述信号生成单元基于所述物体的外观生成所述振动信号。
(6)根据(1)至(5)中任一项所述的信息处理系统,其中
所述信号生成单元从安装有检测预定动作的传感器的机构接收指示检测到所述预定动作的通知,并且生成预先确定的预定振动信号。
(7)根据(1)至(6)中任一项所述的信息处理系统,进一步包括:
内容选择单元,所述内容选择单元多个独立物体被检测为放置在衬垫上的物体时,使用预先确定的每个所述独立物体的优先级来选择一个或多个所述独立物体,
其中,所述信号生成单元基于由所述内容选择单元选择的所述独立物体的检测结果,生成所述振动信号。
(8)根据(1)至(7)中任一项所述的信息处理系统,进一步包括:
设备选择单元,所述设备选择单元从多个信息获取装置中选择一个或多个特定的信息获取装置,
其中,所述信号生成单元基于从由所述设备选择单元选择的所述特定的信息获取装置获得的获取信息,生成所述振动信号。
(9)根据(1)至(8)中任一项所述的信息处理系统,其中,所述信号输出单元基于放置在所述衬垫上的所述物体的检测结果,抑制由所述振动信号引起的所述振动机构的振动。
(10)根据(1)至(9)中任一项所述的信息处理系统,进一步包括:
动作确定单元,所述动作确定单元确定操作者的操作或所述操作者的动作,以执行根据确定结果发送预定信号的处理和基于所述确定结果使所述信号生成单元生成所述振动信号的处理中的一者或两者,
其中,所述信号生成单元在接收到来自所述动作确定单元的指示时,生成与所述确定结果相对应的振动信号。
(11)根据(1)至(10)中任一项所述的信息处理系统,其中,所述信号生成单元基于所述检测结果确定所述振动信号的发送目的地。
(12)根据(1)至(11)中任一项所述的信息处理系统,其中
所述振动机构包括多个振动器,并且
所述信号输出单元使所述多个振动器中与所述振动信号对应的振动器振动。
(13)一种控制方法,包括:
基于由设置在衬垫上的振动传感器测量的振动以及放置在所述衬垫上的物体的检测结果,生成振动信号;以及
基于生成的所述振动信号,使振动机构振动。
(14)一种使计算机执行以下处理的控制程序:
基于由设置在衬垫上的振动传感器测量的振动以及放置在所述衬垫上的物体的检测结果,生成振动信号;以及
基于生成的所述振动信号,使振动机构振动。
附图标记列表
1远程通信系统
10衬垫型扬声器
20摄像机
30,31,31A至31D终端装置
40安装有传感器的按钮
41耳机
42外部麦克风
43光源
44外部传感器
101顶板
102通信机构
110麦克风
120至124振动器
301接触检测单元
302信号输出单元
303信号生成单元
304图像分析单元
305通信控制单元
306输入装置
307输入/输出控制单元
308显示装置
309内容选择单元
310设备选择单元
311动作确定单元

Claims (14)

1.一种信息处理系统,包括:
信号生成单元,所述信号生成单元基于由设置在衬垫上的振动传感器测量的振动以及放置在所述衬垫上的物体的检测结果,生成振动信号;以及
信号输出单元,所述信号输出单元基于由所述信号生成单元生成的所述振动信号,使振动机构振动。
2.根据权利要求1所述的信息处理系统,进一步包括
多个信息处理装置,
其中,每个所述信息处理装置包括:
所述衬垫;
所述振动机构;
所述信号生成单元;
通信控制单元,所述通信控制单元将由所述信号生成单元生成的所述振动信号发送到另一信息处理装置;以及
所述信号输出单元,所述信号输出单元基于从所述另一信息处理装置发送的所述振动信号,使所述振动机构振动。
3.根据权利要求1所述的信息处理系统,进一步包括
图像分析单元,所述图像分析单元分析对放置在所述衬垫上的所述物体进行拍摄的摄像机的图像以识别物体,
其中,所述信号生成单元基于由所述振动传感器测量的所述振动以及由所述图像分析单元对所述物体的识别结果,生成所述振动信号。
4.根据权利要求3所述的信息处理系统,其中
所述信号生成单元
根据由所述振动传感器测量的所述振动生成基本振动信号,
基于所述物体的所述识别结果生成附加振动,以及
将所述附加振动添加到所述基本振动信号中以生成所述振动信号。
5.根据权利要求3所述的信息处理系统,其中,在所述图像分析单元对所述物体的识别失败时,所述信号生成单元基于所述物体的外观生成所述振动信号。
6.根据权利要求1所述的信息处理系统,其中
所述信号生成单元从安装有检测预定动作的传感器的机构接收指示检测到所述预定动作的通知,并且生成预先确定的预定振动信号。
7.根据权利要求1所述的信息处理系统,进一步包括:
内容选择单元,所述内容选择单元在多个独立物体被检测为放置在所述衬垫上的物体时,使用预先确定的每个所述独立物体的优先级来选择一个或多个所述独立物体,
其中,所述信号生成单元基于由所述内容选择单元选择的所述独立物体的检测结果,生成所述振动信号。
8.根据权利要求1所述的信息处理系统,进一步包括:
设备选择单元,所述设备选择单元从多个信息获取装置中选择一个或多个特定的信息获取装置,
其中,所述信号生成单元基于从由所述设备选择单元选择的所述特定的信息获取装置获得的获取信息,生成所述振动信号。
9.根据权利要求1所述的信息处理系统,其中,所述信号输出单元基于放置在所述衬垫上的物体的检测结果,抑制由所述振动信号引起的所述振动机构的振动。
10.根据权利要求1所述的信息处理系统,进一步包括:
动作确定单元,所述动作确定单元确定操作者的操作或所述操作者的动作,以执行根据确定结果发送预定信号的处理和基于所述确定结果使所述信号生成单元生成所述振动信号的处理中的一者或两者,
其中,所述信号生成单元在接收到来自所述动作确定单元的指示时,生成与所述确定结果对应的振动信号。
11.根据权利要求1所述的信息处理系统,其中,所述信号生成单元基于所述检测结果确定所述振动信号的发送目的地。
12.根据权利要求1所述的信息处理系统,其中
所述振动机构包括多个振动器,并且
所述信号输出单元使所述多个振动器中的与所述振动信号对应的振动器振动。
13.一种控制方法,包括:
基于由设置在衬垫上的振动传感器测量的振动以及放置在所述衬垫上的物体的检测结果,生成振动信号;以及
基于生成的所述振动信号,使振动机构振动。
14.一种使计算机执行以下处理的控制程序:
基于由设置在衬垫上的振动传感器测量的振动以及放置在所述衬垫上的物体的检测结果,生成振动信号;以及
基于生成的所述振动信号,使振动机构振动。
CN202280056103.2A 2021-10-12 2022-10-04 信息处理系统、控制方法和控制程序 Pending CN117813573A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-167513 2021-10-12
JP2021167513 2021-10-12
PCT/JP2022/037069 WO2023063161A1 (ja) 2021-10-12 2022-10-04 情報処理システム、制御方法及び制御プログラム

Publications (1)

Publication Number Publication Date
CN117813573A true CN117813573A (zh) 2024-04-02

Family

ID=85988556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280056103.2A Pending CN117813573A (zh) 2021-10-12 2022-10-04 信息处理系统、控制方法和控制程序

Country Status (2)

Country Link
CN (1) CN117813573A (zh)
WO (1) WO2023063161A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
JP2010099197A (ja) * 2008-10-22 2010-05-06 Yamaha Corp
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
JP6668170B2 (ja) * 2016-06-07 2020-03-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、およびコンピュータプログラム
US10102723B2 (en) 2016-10-31 2018-10-16 Immersion Corporation Dynamic haptic generation based on detected video events

Also Published As

Publication number Publication date
WO2023063161A1 (ja) 2023-04-20

Similar Documents

Publication Publication Date Title
EP3047356B1 (en) Configuration of a touch screen display for conferencing
US20160327922A1 (en) A control device and control method for performing an operation based on the current state of a human as detected from a biometric sample
US10735858B2 (en) Directed audio system for audio privacy and audio stream customization
JP2012040655A (ja) ロボット制御方法、プログラム、及びロボット
JPH0983630A (ja) 電話装置
JP2539153B2 (ja) 仮想会議システム用端末装置及び仮想会議システム
EP3044942B1 (en) Determination of ambient sound processed audio information
JP5929698B2 (ja) 通信システムおよびプログラム
WO2016157993A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2010119393A1 (en) An ambient telephone communication system, a movement member, method, and computer readable medium therefor
JP2778488B2 (ja) アウェアネス制御装置
CN117813573A (zh) 信息处理系统、控制方法和控制程序
JP7106097B2 (ja) テレプレゼンスシステム
CN117813814A (zh) Web会议系统、终端装置以及web会议方法
JP2022072454A (ja) 仮想イベントシステム、情報処理装置、出力制御方法及びプログラム
KR102240861B1 (ko) 복수의 단말기들 간의 상호작용에 의한 헬스케어 디바이스 핏팅값 자동 설정 방법 및 이의 시스템
US11216233B2 (en) Methods and systems for replicating content and graphical user interfaces on external electronic devices
WO2022201944A1 (ja) 配信システム
JP6933163B2 (ja) 通信装置、通信システム、通信方法およびプログラム
JP2012146215A (ja) 電子機器および電子機器の制御プログラム
Rantala et al. User experiences of mobile audio conferencing with spatial audio, haptics and gestures
JP2018060297A (ja) 会議端末、マイク選択方法、及び、プログラム
CN117714426A (zh) 用于视听会议中的可穿戴音频设备的动态音频馈送
JP5977597B2 (ja) 情報処理装置、通信システム、通信方法、およびプログラム
CN111095186A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication