CN110291768B - 信息处理装置、信息处理方法和信息处理系统 - Google Patents

信息处理装置、信息处理方法和信息处理系统 Download PDF

Info

Publication number
CN110291768B
CN110291768B CN201880011785.9A CN201880011785A CN110291768B CN 110291768 B CN110291768 B CN 110291768B CN 201880011785 A CN201880011785 A CN 201880011785A CN 110291768 B CN110291768 B CN 110291768B
Authority
CN
China
Prior art keywords
information
user
voice
conversation
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880011785.9A
Other languages
English (en)
Other versions
CN110291768A (zh
Inventor
藤田知史
足立裕昭
广濑洋二
德久文彬
青山龙
八木泉
石田明宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Mobile Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Mobile Communications Inc filed Critical Sony Mobile Communications Inc
Publication of CN110291768A publication Critical patent/CN110291768A/zh
Application granted granted Critical
Publication of CN110291768B publication Critical patent/CN110291768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16Communication-related supplementary services, e.g. call-transfer or call-hold
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【问题】基于关于用户终端的环境信息来控制代理说话处理。【方案】提供了一种信息处理设备,该信息处理设备包括交谈控制单元,其基于从用户终端获取的关于用户终端的环境信息来控制语音交谈处理中的代理说话处理。此外,提供了一种信息处理方法,该信息处理方法包括处理器从用户终端获取关于用户终端的环境信息的特征,以及基于获取的环境信息来控制语音交谈处理中的代理说话处理的特征。此外,提供了一种信息处理系统,该信息处理系统包括:用户终端,其能够获取关于用户终端的环境信息;以及服务器,其包括交谈控制单元,所述交谈控制单元基于从用户终端获取的关于用户终端的环境信息来控制语音交谈处理中的代理说话处理。

Description

信息处理装置、信息处理方法和信息处理系统
技术领域
本公开涉及一种信息处理装置、信息处理方法和信息处理系统。
背景技术
近年来,与包括多个用户的群组中的交谈以及用户之间的交谈相关的技术已经被开发。在群组中开始交谈时,用户需要选择作为交谈目标的用户或群组。
例如,专利文档1公开了允许用户通过连续地按下移动电话的按压通话(PTT)键并且讲出交谈目标的用户或群组的名称来选择交谈目标的技术。
引文列表
专利文档
专利文档1:日本专利申请公开No.2012-16040
发明内容
本发明将解决的问题
然而,在专利文档1中公开的技术中,需要让用户操纵移动电话来选择要加入群组的另一个用户并且创建和编辑群组。因此,在诸如移动电话的用户终端的这样的分组中,由于过程而施加于用户的负担很大。
本公开提出了一种能够基于关于用户终端的环境信息来控制代理说话处理的、新颖的和改进的信息处理装置、信息处理方法和信息处理系统。
问题的解决方案
根据本公开,提供了一种信息处理装置,该信息处理装置包括:交谈控制单元,其基于从用户终端获取的关于该用户终端的环境信息来控制语音交谈处理中的代理说话处理。
此外,根据本公开,提供了一种由处理器执行的信息处理方法,该信息处理方法包括:从用户终端获取关于该用户终端的环境信息;并且基于获取的环境信息来控制语音交谈处理中的代理说话处理。
此外,根据本公开,提供了一种信息处理系统,该信息处理系统包括:用户终端,其能够获取关于该用户终端的环境信息;以及服务器,其包括交谈控制单元,所述交谈控制单元基于从所述用户终端获取的关于所述用户终端的环境信息来控制语音交谈处理中的代理说话处理。
本发明的效果
如上所述,根据本公开,可以基于关于用户终端的环境信息来控制代理说话处理。
注意,上述效果不一定是限制性的,并且本说明书中阐述的任何效果或从本说明书可以领会的其他效果可以与上述效果一起实现或者代替上述效果实现。
附图说明
图1是用于描述根据本公开的实施例的信息处理系统的概览的视图。
图2是例示说明根据本公开的实施例的信息处理系统的示意性配置的视图。
图3是例示说明根据本公开的第一实施例的信息处理系统的配置的框图。
图4是例示说明根据第一实施例的服务器的处理的流程的示例的流程图。
图5是例示说明基于手势的分组处理的第一个示例的示意图。
图6是例示说明基于手势的分组处理的第二个示例的示意图。
图7是例示说明根据第一实施例的分组处理单元执行的基于关于情境的信息的分组处理的示例的示意图。
图8是例示说明根据第一实施例的服务器的处理的流程的另一个示例的流程图。
图9是例示说明根据本公开的第二实施例的与语音通信的开始相关的处理的流程的示例的流程图。
图10是例示说明根据第二实施例的与基于语音信息中包括的内容的分析结果的、语音通信的开始相关的处理的示例的示意图。
图11是例示说明根据第二实施例的基于用户的方向的、交谈目标的选择处理的第一个示例的示意图。
图12是例示说明根据第二实施例的基于用户的方向的、交谈目标的选择处理的第二个示例的示意图。
图13是例示说明根据第二实施例的基于生物计量信息的、交谈目标的选择处理的示例的示意图。
图14是例示说明根据第二实施例的基于从另一个设备获得的传感器信息的、交谈目标的选择处理的示例的示意图。
图15是例示说明根据第二实施例的基于用户的头部的运动的代理说话处理的第一个示例的示意图。
图16是例示说明根据第二实施例的基于用户的头部的运动的代理说话处理的第二个示例的示意图。
图17是例示说明根据第二实施例的基于关于情境的信息的代理说话处理的示例的示意图。
图18是例示说明根据本公开的第三实施例的信息处理系统的配置的框图。
图19是用于描述根据本公开的第四实施例的辅助功能的示例的示意图。
图20是用于描述根据第四实施例的辅助功能的另一个示例的示意图。
图21是用于描述根据本公开的第五实施例的延迟抑制功能的示意图。
图22是例示说明根据本公开的信息处理装置的硬件配置的视图。
具体实施方式
在下文中,将参照附图来详细地描述本公开的优选实施例。注意,在本说明书和附图中,具有基本上相同的功能配置的组件将用相同的标号来表示,并且重叠的描述将被省略。
注意,将按以下次序给出描述。
1.概述
2.第一实施例
2.1.配置示例
2.2.服务器的处理示例
2.3.分组处理示例
3.第二实施例
3.1.语音通信的开始处理
3.2.交谈目标的选择处理
3.3.与交谈目标的语音通信中的语音输出处理
4.第三实施例
5.第四实施例
6.第五实施例
7.硬件配置
8.总结
<<1.概述>>
图1是用于描述根据本公开的实施例的信息处理系统的概览的视图。如图1所示,根据本实施例的信息处理系统是用于使多个用户通过云服务器C0用语音互相交谈的系统。具体地说,如图1所示,用户1001、1002和1003可以使用佩戴在他们的耳朵上的小型终端100A、100B、100C(在下文中,共称为小型终端100,除非它们彼此有特别区分)、通过云服务器C0、用语音互相交谈。此外,在根据本实施例的信息处理系统中,可以通过对佩戴在耳朵上的小型终端100执行各种操纵来对交谈目标(诸如用户或包括多个用户的群组)执行各种种类的处理。
图2是例示说明根据本公开的实施例的信息处理系统1的示意性配置的视图。如图2所示,根据本实施例的信息处理系统1包括小型终端100(100A、100B和100C)、移动终端200(200A、200B和200C)、通信网络300和服务器400。
小型终端100是语音输入/输出装置的示例。具体地说,小型终端10是可以佩戴在用户的耳朵上的装置,诸如耳机。小型终端100包括例如扬声器和麦克风以便让用户实现交谈。此外,小型终端100包括各种传感器、输入单元(诸如按钮)等,并且可以被用户操纵。此外,小型终端100通过近场通信连接。注意,小型终端100和移动终端200可以通过有线通信互相连接。通过这样的连接,用户可以通过操纵小型终端100来操纵移动终端200的功能和应用。
注意,在另一实施例中,小型终端100可能不是可以佩戴在用户的耳朵上的终端。例如,小型终端的样子没有限制,只要小型终端100包括扬声器和麦克风以便让用户实现交谈即可。
移动终端200通过例如信息处理终端(诸如移动电话、智能电话、平板、笔记本个人计算机(PC)或游戏机)来实现。移动终端200连接到例如小型终端100和通信网络300。此外,移动终端200还包括例如显示各种类型的信息的显示单元和接收对于移动终端200的输入的操纵单元。显示单元和操纵单元可以彼此成一体地形成,例如,像触摸面板那样。
此外,移动终端200具有可以通过用户的操纵(包括通过小型终端100的操纵)而被执行的各种功能和应用。注意,这样的功能和应用可以通过服务器400来实现。移动终端200的功能和应用包括例如电子邮件、短消息、社交网络服务、摄影、音乐回放、浏览功能、地图显示、行程安排、情境分析功能等。
服务器400通过通信网络300连接到移动终端200。服务器400执行与移动终端200的功能或应用相对应的处理。例如,服务器400从移动终端200A获取音频数据,并且将处理的音频数据发送给其他的移动终端200B和200C。
注意,小型终端100、移动终端200和服务器400是信息处理装置的示例。此外,小型终端1000和移动终端200是用户终端或设备的示例。换句话说,信息处理装置、用户终端和设备可以是单独的设备,或者可以是单个设备。例如,在以下实施例中的每个实施例中,将描述服务器400是信息处理装置、小型终端100是用户终端、并且移动终端200是不同于用户终端的设备的情况。
此外,根据另一实施例的信息处理系统1可以包括移动终端200和服务器400。换句话说,只要通过根据以下实施例的信息处理系统1实现的功能是在不使用小型终端100的情况下运用的,信息处理系统1就可能没有必要包括小型终端100。在这种情况下,移动终端200是用户终端。
此外,根据另一实施例的信息处理系统1可以包括小型终端100和服务器400。换句话说,只要通过根据以下实施例的信息处理系统1实现的功能是在不使用移动终端200的情况下运用的,信息处理系统1就可能没有必要包括移动终端200。在这种情况下,小型终端100是用户终端。例如,小型终端100可以直接连接到通信网络300。
此外,服务器400可以通过多个信息处理装置(比如云服务器)来实现。此外,代替服务器400,一个或多个移动终端200可以被实现为信息处理装置。在这种情况下,通信网络300可以配置对等(P2P)型网络,而不是配置如图2所示的客户端服务器型网络。换句话说,信息处理系统1可以包括小型终端100和移动终端200。此外,代替服务器400,小型终端100可以被实现为信息处理装置。在这种情况下,信息处理系统1可以包括小型终端100。
<<2.第一实施例>>
<2.1.配置示例>
接着,将描述根据本公开的第一实施例的信息处理系统1的详细配置。图3是例示说明根据本公开的第一实施例的信息处理系统1的配置的框图。因为各装置之间的配置是如上所述那样的,所以在下文中将描述各装置的配置。
首先,小型终端100包括控制单元110、通信单元120、传感器单元130、扬声器140、麦克风150和操纵单元160。
控制单元110用作算数处理设备和控制设备,并且总体上控制小型终端100的操作。控制单元110通过例如诸如中央处理单元(CPU)或微处理器的电子电路来实现。此外,控制单元110可以包括存储所用程序、计算参数等的只读存储器(ROM)和暂时存储适当地改变的参数等的随机存取存储器(RAM)。
控制单元110对从例如通信单元120、传感器单元130、麦克风150或操纵单元160中的至少任何一个获取的信息进行处理,并且将处理的信息输出到通信单元120或扬声器140中的至少任何一个。
通信单元120可以通过近场通信接口(诸如Bluetooth(注册商标)或ZigBee(注册商标))来实现。通信单元120与另一个装置(诸如移动终端120)执行通信。在小型终端100中,使用小容量蓄电池(未例示)。因此,例如,可以使用省电的近场通信接口,诸如Bluetooth Low Energy。
注意,小型终端100和移动终端200可以通过配对而互相连接。配对是通过搜索存在于无线电波到达的范围内的设备并且允许用户在检测到的设备之中选择他/她想要连接到的设备而执行的。关于配对,小型终端100和移动终端200可以被配置为通过使用例如认证码等来对对方执行认证。
传感器单元130包括一个或多个传感器设备,并且产生传感器信息。根据本实施例的传感器单元130包括接近传感器131、加速度传感器132、陀螺传感器131和生物计量认证传感器134。
接近传感器131通过红外传感器、接触传感器、超声传感器、电磁波传感器等来实现,并且具有检测将被检测到的目标的接近度或接触的功能。具体地说,控制单元110基于根据本实施例的接近传感器131检测到的信号来确定小型终端100是否被佩戴在用户的耳朵上。
加速度传感器132具有检测施加于小型终端100的加速度的功能。加速度传感器132可以通过例如已知的加速度传感器(诸如半导体式或光学式)来实现。
陀螺传感器133具有检测小型终端100的手势、角速率、角加速度等的功能。陀螺传感器133可以通过例如已知的陀螺仪或陀螺传感器(诸如电容式、压电式或piezo式)来实现。
注意,从接近传感器131、加速度传感器132和陀螺传感器133获得的传感器信息意指关于小型终端100的运动的信息。
生物计量认证传感器134具有检测关于活体的触摸小型终端100的预定地方的部分的特征的信息(生物计量信息)的功能。生物计量认证传感器134可以通过例如已知的指纹传感器、静脉传感器等来实现。
地磁传感器135具有检测小型终端100的方位的功能。
扬声器140具有基于控制单元100处理的语音信息输出语音的功能。例如,扬声器140可以基于通过通信单元120从移动终端200获取的语音信息输出语音。注意,在本说明书中,语音信息不限于用户说出的语音,而是意指基于所有的声音产生的信息(换句话说,关于声音的信息)。此外,语音信息是传感器信息的示例。
麦克风150具有收集声音以产生语音信息并且将语音信息输出到控制单元110的功能。例如,麦克风150收集用户说出的语音以产生语音信息,并且将语音信息输出到控制单元110。在这种情况下,控制单元110可以将语音信息发送给移动终端200。
操纵单元160具有检测通过用户在小型终端100上执行的操纵而产生的信号。操纵单元160可以通过例如机械按钮或转盘、电容或电阻触摸面板等来实现。在按钮作为操纵单元160提供的情况下,安装的按钮的数量、按钮的布置位置等没有特别限制。
注意,小型终端100可以进一步包括安装在其中的相机模块、全球导航卫星系统(GNSS)模块、另一个传感器等。
接着,移动终端200包括控制单元210、通信单元220、传感器单元230、扬声器240、麦克风250、相机模块260、GNSS模块270和显示操纵单元280。此外,移动终端200还可以包括存储单元(未例示)。
控制单元210用作算数处理设备和控制设备,并且总体上控制移动终端200的操作。控制单元210通过例如诸如CPU或微处理器的电子电路来实现。此外,控制单元210可以包括存储所用程序、计算参数等的ROM和暂时地存储适当地改变的参数等的RAM。
此外,控制单元210对从计算单元220、传感器单元230、麦克风250、相机模块260、GNSS模块270或显示操纵单元280中的至少任何一个获取的信息(例如,环境信息)进行处理,并且将处理的信息输出到通信单元220、扬声器240或显示操纵单元280中的至少任何一个。更具体地说,控制单元210控制通信单元220通过通信单元220将从小型终端100等获取的信息(例如,环境信息)发送给服务器400。此外,控制单元210可以适当地将获取的或处理的信息存储在存储单元(未例示)中。注意,这样的存储单元可以通过例如诸如硬盘驱动器(HDD)、固态驱动器(SSD)或闪存的储存器来实现。
通信单元220具有与小型终端100和服务器400执行通信的功能。例如,通信单元220可以通过近场通信接口(诸如Bluetooth(注册商标)或ZigBee(注册商标))来实现。在这种情况下,通信单元220通过近场通信与另一个装置(诸如小型终端100)执行通信。
此外,通信单元220可以通过例如通信接口(诸如有线/无线局域网(LAN)、Wi-Fi(注册商标))或移动通信网络(长期演进(LTE)或第三代(3G)移动通信)来实现。在这种情况下,通信单元220以有线的或无线的方式与另一个装置(诸如服务器400)执行通信。
传感器单元230包括一个或多个传感器设备,并且产生传感器信息。根据本实施例的传感器单元230包括加速度传感器231和陀螺传感器232。加速度传感器231和陀螺传感器232的功能类似于上述加速度传感器132和陀螺传感器133的功能,它们的描述因此被省略。注意,从加速度传感器231和陀螺传感器232获得的传感器信息意指关于移动终端200的运动的信息。
扬声器240具有基于控制单元210处理的语音信息输出语音的功能。例如,扬声器240可以通过通信单元220、基于从小型终端100或服务器400获取的语音信息输出语音。
麦克风250具有收集声音以产生语音信息并且将语音信息输出到控制单元110的功能。例如,麦克风250将通过收集用户说出的语音而产生的语音信息输出到控制单元210。在这种情况下,控制单元210可以将语音信息发送给小型终端100或服务器400。这样的语音信息是传感器信息的示例。
相机模块260通过图像捕捉设备等(诸如电荷耦合设备(CCD)或互补金属氧化物半导体(COMS))来实现。相机模块260具有捕捉真实空间的图像以产生图像信息(诸如静态图像、运动图像或延时图像)的功能。
GNSS模块270具有产生移动终端200的位置信息的功能。例如,GNSS模块270使用诸如全球定位系统(GPS)的系统来定位移动终端200,并且基于定位结果来产生移动终端200的位置信息。这样的位置信息是传感器信息的示例。
显示操纵单元280具有显示信息的显示功能和从用户接收操纵的操纵功能。显示操纵单元280可以通过例如触摸面板等来实现。此外,显示操纵单元280可以是其中显示功能和操纵功能像显示器和按钮那样彼此分开实现的单元。
接下来,服务器400包括控制单元410和通信单元420。此外,服务器400还可以包括存储单元(未例示)。
控制单元410用作算数处理设备和控制设备,并且总体上控制服务器400的操作。控制单元410通过例如诸如CPU或微处理器的电子电路来实现。此外,控制单元410可以包括存储所用程序、计算参数等的ROM和暂时地存储适当地改变的参数等的RAM。
此外,控制单元410对从通信单元420获取的信息进行处理,并且将处理的信息输出到通信单元420。控制单元410可以适当地将获取的或处理的信息存储在存储单元(未例示)中。注意,这样的存储单元可以通过例如诸如HDD、SSD或闪存的储存器来实现。稍后将描述控制单元410的特定的功能配置。
通信单元420通过例如通信接口(诸如有线/无线局域网(LAN)、Wi-Fi(注册商标))或移动通信网络(长期演进(LTE)或第三代(3G)移动通信)来实现。通信单元420以有线的或无线的方式与另一个装置(诸如移动终端200)执行通信。
在小型终端100包括如上所述的能够以有线的或无线的方式执行通信的通信接口的情况下,通信单元420还可以与小型终端100执行通信。
根据本实施例的控制单元410包括信息分析单元411、情境分析单元412、分组处理单元413和通信控制单元414。
(信息分析单元)
信息分析单元411具有对从移动终端200获取的传感器信息或图像信息进行分析的功能。例如,信息分析单元411可以对作为传感器信息的示例的语音信息、关于用户终端的运动的信息或位置信息进行分析,并且输出分析结果。
语音信息的分析结果的示例可以包括语音信息中包含的语音的内容的相似性。已知的语音分析技术可以用于对这样的语音信息进行分析。关于用户终端的运动的信息的分析结果的示例可以包括小型终端100或移动终端200在预定时间内的运动的相似性。
此外,信息分析单元411可以对图像信息进行分析,并且输出分析结果。已知的图像分析技术可以用于对图像信息进行分析。
注意,这样的传感器信息可以是由小型终端100获取的传感器信息(包括语音信息),或者可以是由移动终端200获取的传感器信息(包括语音信息和位置信息)。在这种情况下,移动终端200对应于用户终端,从移动终端200获得的传感器信息对应于第一传感器信息。此外,小型终端100对应于不同于用户终端的设备,从小型终端100获得的传感器信息对应于第二传感器信息。
此外,信息分析单元411可以对从除了小型终端100和移动终端200之外的设备获取的传感器信息进行分析。这样的传感器信息可以是例如由安装在预定空间中的环境传感器产生的传感器信息。这样的环境传感器可以是例如温度传感器、湿度传感器、照度传感器、声音传感器、距离测量传感器、红外线传感器、超声传感器等。在这种情况下,小型终端100或移动终端200中的任何一个对应于用户终端,环境传感器对应于不同于用户终端的设备。
通过信息分析单元411的分析而获得的分析结果输出到分组处理单元413。注意,对于不需要信息分析单元411对其进行分析的信息(诸如位置信息),信息分析单元411可能没有必要对其执行分析处理。在这种情况下,通过通信单元420获取的位置信息等可以直接输入到分组处理单元413。
(情境分析单元)
情境分析单元412具有根据从用户终端获得的环境信息对使用用户终端的用户的情境进行分析以获取关于情境的信息的功能。这里,情境意指使用用户终端的用户的处境(换句话说,情境感知)。具体地说,情境分析单元412根据从移动终端200获得的环境信息(包括信息分析单元411分析并处理的信息)对拥有移动终端200的用户的情境进行分析。然后,情境分析单元412将情境的分析结果作为关于情境的信息输出。注意,已知的技术可以用于通过情境分析单元412来对情境执行分析处理。
情境分析单元412从例如时间信息、位置信息、传感器信息等中的至少一个对情境进行分析。具体地说,情境分析单元412可以从以下事实分析用户正在跑步:位置信息按时间序列改变,从传感器信息来看用户的运动很大,并且安装在移动终端200中的跑步相关应用正在启动。
此外,情境分析单元412可以基于过去的环境信息的历史来对情境进行分析。具体地说,情境分析单元412可以从过去的位置信息的历史对用户的行为进行分析,并且从分析结果对用户的情境进行分析。
此外,例如,如下表1所示,以下情境可以从环境信息分析得到。注意,表1仅示出了情境的分析示例。此外,情境分析单元412可以基于用户的直接输入信息以及环境信息来对情境进行分析。
[表1]
Figure BDA0002165797880000131
关于通过情境分析单元412的分析而获得的情境的信息被输出到分组处理单元413。注意,例如,小型终端100或移动终端200可以通过情境分析单元412具有这样的功能。在这种情况下,例如,小型终端100或移动终端200中的任何一个都可以从小型终端100和移动终端200获取的环境信息对使用小型终端100或移动终端200的用户的情境进行分析以获取关于情境的信息。
(分组处理单元)
分组处理单元413具有基于从用户终端获取的关于用户终端的环境信息对用户终端进行分组的功能。具体地说,分组处理单元413基于从移动终端200获取的关于移动终端200的环境信息将移动终端200分组为交谈目标。
这里提到的分组意指作为交谈目标对使用移动终端200或服务器400执行的功能或应用的用户所用的移动终端200进行分组。该分组处理包括用于产生包括多个用户所用的移动终端200的群组或者将用户所用的移动终端加入已经产生的群组中的处理。
例如,如图2所示,服务器400从移动终端200A至200C获取环境信息,如果作为环境信息的分析结果确定环境信息彼此相似,则分组处理单元413产生包括移动终端200A至200C的群组。此外,在移动终端200A和200B已经包括在一个群组中的情况下,如果作为服务器400从移动终端200C获取的环境信息的分析结果确定移动终端200C与该一个群组相关,则分组处理单元413将移动终端200C加入所述一个群组中。
此外,移动终端200的分组处理可以基于在预定时间内获得的环境信息来执行。例如,分组处理单元413可以仅基于在预定时间内使用作为触发的用户的行为或动作而产生的环境信息来执行分组。通过使用在预定时间内产生的相似的环境信息,产生用户预期的群组变得容易。
注意,例如,分组处理单元413可以在开始分组处理之前通过移动终端200或小型终端100向用户呈现环境信息的产生时序。更具体地说,分组处理单元413可以通过从小型终端100输出的语音或显示在移动终端200的显示操纵单元280上的图像向用户呈现产生环境信息的时序。通过该配置,可以执行更可靠的分组。
此外,分组处理单元413可以基于从移动终端200适当地获取的环境信息来执行用于将任何移动终端200加入现有的群组中的处理。通过该配置,可以在任何时序将移动终端200加入现有的群组中。
此外,移动终端200的分组处理可以在存在于预定的空间内的移动终端200上执行。例如,在分组处理中,分组处理单元413可以仅基于从存在于同一空间内的移动终端200获得的环境信息来执行分组。通过该配置,产生用户预期的群组变得容易。
此外,不管移动终端200所在的位置或地方如何,分组处理单元413都可以执行分组处理。通过该配置,可以在任何时序将移动终端200加入现有的群组中。
注意,分组处理单元413可以在产生包括移动终端200的群组或者将移动终端200加入现有的群组中之前向使用移动终端200的用户呈现指示是产生群组、还是将移动终端200加入现有的群组中的信息。通过该配置,可以阻止产生非预期的群组和将移动终端加入非预期的群组中。
此外,分组处理单元413可以限制将被预先分组的目标移动终端200。通过该配置,可以阻止与非预期的用户相关的移动终端200加入群组。例如,将被分组的目标可以限于与移动终端200的联系电话数据库中包括的联系电话相关的移动终端200。
此外,分组处理单元413可以基于关于通过情境分析单元412的分析而获得的情境的信息来执行分组处理。
注意,稍后将描述分组处理的特定示例。
此外,关于用户终端的环境信息包括上述传感器信息、图像信息和位置信息。换句话说,关于用户终端的环境信息意指通过移动终端200或小型终端100中提供的传感器、麦克风、各种模块等获取的空间信息或时间信息。图像信息是通过用户终端(移动终端200)捕捉存在于移动终端200周围的对象的图像而获得的图像信息,因此对应于关于用户终端的环境信息。此外,这样的环境信息还可以包括时间信息。此外,这样的环境信息还可以包括诸如安装在小型终端100或移动终端200中的功能或应用的信息。这样的信息包括所述功能或应用中包括的内容或关于所述功能或应用的开始状态的信息。
注意,关于用户终端的环境信息不包括通过用户触摸或靠近显示操纵单元280而直接输入和产生的信息(例如,直接输入到显示操纵单元280的字符信息或通过触摸、划动、滑动等产生的操纵信息)。
(通信控制单元)
通信控制单元414具有控制与语音通信相关的处理的功能。具体地说,通信控制单元414控制与多个移动终端200之间的语音通信相关的处理。
例如,通信控制单元414执行用于构建分组处理单元413分组的群组中的移动终端200之间的语音通信的处理。通过这样的处理,可以在使用包括在同一群组中的移动终端200的用户之间进行交谈。
注意,将在本公开的第二实施例中描述通信控制单元414执行的特定的处理示例。
<2.2.服务器的处理示例>
接着,将描述根据本公开的第一实施例的服务器400的处理示例。图4是例示说明根据本实施例的服务器400的处理的流程的示例的流程图。
如图4所示,服务器400首先从设备获取环境信息(步骤S101)。具体地说,通信单元420从移动终端200获取环境信息(诸如传感器信息)。
接着,服务器400对获取的环境信息进行分析(步骤S103)。具体地说,信息分析单元411对从移动终端200获取的传感器信息等进行分析,并且将分析结果输出到分组处理单元413。
接着,服务器400基于分析结果来执行所述设备的分组处理(步骤S105)。具体地说,分组处理单元413基于信息分析单元411对传感器信息的分析结果等对移动终端200进行分组。此外,通信控制单元414在通过分组处理产生或编辑的群组中包括的移动终端200之间构建语音通信。
<2.3.分组处理示例>
接着,将描述分组处理单元413执行的分组处理的特定示例。
(通过检测相似的声音的分组处理)
例如,可以通过检测相似的声音来执行分组处理。具体地说,在从多个移动终端200获取的关于声音的信息的分析结果彼此相似(也就是说,相似的声音被检测到)的情况下,分组处理单元413可以将发送关于声音的信息的移动终端200分组到同一群组中。
例如,在具有移动终端200的多个用户存在于同一空间(预定空间)中的情况下,假定用户已经基本上同时地说出相同的措辞(例如,“干杯”等)。在这种情况下,移动终端200(或小型终端100)首先基于说话获取语音信息,服务器400从每个移动终端200获取语音信息。然后,如果作为语音信息的分析,信息分析单元411确定语音信息彼此相似,则这些用户所拥有的相应的移动终端200被分组到同一群组中。
注意,例如,可以使用口号、欢呼或特定的音乐来代替上述用户的说话。分组处理中所用的声音的类型和内容没有特别限制,只要语音容易被检测到相似的声音即可。
(通过捕捉相似的对象的图像的分组处理)
此外,例如,可以通过捕捉相似的对象的图像来执行分组处理。具体地说,在从多个移动终端200获取的图像信息的分析结果彼此相似(也就是说,相似的对象的图像被捕捉到)的情况下,分组处理单元413可以将发送这样的图像信息的移动终端200分组到同一群组中。
注意,上述相似的对象可以是例如用户的脸、地标、符号标记等。此外,相似的对象可能不一定是相同的对象。例如,分组处理单元413可以基于其中预定商店里提供的食物是对象的图像信息来执行分组。通过该配置,可以为食物产生一个群组。
此外,在分组处理中,用作环境信息的图像信息的产生时序没有特别限制。例如,分组处理单元413可以基于通过在预定时间内捕捉相似的对象的图像而获得的图像信息来对一个群组执行分组处理。此外,分组处理单元413可以基于通过不管在任何图像捕捉时序捕捉相似的对象的图像而获得的图像信息来对一个群组执行分组处理。
(通过检测相似的手势的分组处理)
此外,例如,可以通过检测相似的手势来执行分组处理。具体地说,在从多个移动终端200获取的以及加速度传感器231或陀螺传感器232检测到的和获得的传感器信息的分析结果彼此相似(也就是说,相似的手势的图像被检测到)的情况下,分组处理单元413可以将发送这样的传感器信息的移动终端200分组到同一群组中。
图5和图6是例示说明基于手势的分组处理的示例的示意图。首先,参照图5,一个用户1004拿着多个移动终端200A至200D。然后,用户1004在拿着移动终端200A至200D时摇动移动终端200A至200D。该摇动动作是手势。
在这种情况下,移动终端200A至200D全都通过加速度传感器231等来检测相似的运动。在这种状态下,当移动终端200A至200D中的每个将检测到的传感器信息发送给服务器400时,信息分析单元411分析传感器信息彼此相似。在这种情况下,分组处理单元413将移动终端200A至200D分组到同一群组1100(在图5中用虚线区域表示)中。因此,仅通过摇动移动终端200A至200D,移动终端200A至200D就可以被容易地分组。
此外,参照图6,用户1005至1008在彼此靠近的状态下分别拿着移动终端200A至200D。然后,用户1005至1008在拿着移动终端200A至200D时基本上同时地(在预定时间内)摇动移动终端200A至200D。
在这种情况下,类似于上述,移动终端200A至200D通过加速度传感器等来检测相似的运动。在这种状态下,当移动终端200A至200D中的每个将检测到的传感器信息发送给服务器400时,信息分析单元411分析传感器信息彼此相似。在这种情况下,分组处理单元413将移动终端200A至200D分组到同一群组1101(在图6中用虚线区域表示)中。因此,仅通过摇动移动终端200A至200D,移动终端200A至200D就可以被容易地分组。
注意,上述相似的手势的运动没有特别限制。此外,在分组处理中,用作环境信息的传感器信息的产生时序没有特别限制。例如,分组处理单元413可以基于通过在预定时间内检测到相似的手势而获得的传感器信息来对一个群组执行分组处理。此外,分组处理单元413可以基于通过不管手势时序检测到相似的手势而获得的传感器信息来对一个群组执行分组处理。
(基于环境信息的历史的分组处理)
此外,例如,可以基于环境信息的历史来执行分组处理。具体地说,在从多个移动终端200获取的环境信息的历史的分析结果彼此相似(也就是说,环境信息的相似的历史被获得)的情况下,分组处理单元413可以将发送这样的环境信息的移动终端200分组到同一群组中。
例如,分组处理单元414可以基于从多个移动终端200获取的位置信息的历史来执行分组处理。如果从位置信息的历史确定多个移动终端200持续地处于靠近状态,则分组处理单元413可以将移动终端200分组到同一群组中。此外,除了位置信息之外,分组处理单元413还可以基于通过近场通信获得的靠近信息的历史来执行分组处理。通过该配置,可以在不需要用户的说话、手势等的情况下对靠近彼此的用户的移动终端200进行分组。
此外,分组处理单元413可以基于从安装在预定空间(诸如房间)中的环境传感器获得的传感器信息的历史来执行分组处理。通过该配置,可以在不需要用户的说话、手势等的情况下对存在于同一环境中的用户的移动终端200进行分组。
(基于关于情境的信息的分组处理)
此外,例如,可以基于关于情境的信息来执行分组处理。图7是例示说明根据本实施例的分组处理单元412执行的基于关于情境的信息的分组处理的示例的示意图。如图7所示,例如,假定每个佩戴小型终端100A至100C的用户1009至1011(各用户拥有移动终端200A至200C(未例示))正在跑步。
在这种情况下,情境分析单元412首先从从移动终端200A至200C获取的环境信息(包括信息分析单元411分析的信息)分析每个用户的情境。在这种情况下,情境分析单元412分析每个用户正在跑步。这样的信息被输出到分组处理单元413。
然后,分组处理单元413将与被分析正在跑步的每个用户相关的移动终端200A至200C分组到同一群组1102中。通过该配置,如图7所示,正在远处跑步的用户1009至1011仅通过跑步就可以互相连接以互相交谈。
这里,将描述执行基于关于情境的信息的分组处理的情况下的服务器40中的处理的流程。图8是例示说明根据本实施例的服务器400的处理的流程的另一个示例的流程图。
如图8所示,服务器400首先从设备获取环境信息(步骤S201)。具体地说,通信单元420从移动终端200获取诸如传感器信息的环境信息。
接着,服务器400对获取的环境信息进行分析(步骤S203)。具体地说,信息分析单元411对从移动终端200获取的传感器信息等进行分析,并且将分析结果输出到情境分析单元412和分组处理单元413。
接着,服务器400从环境信息和环境信息的分析结果分析情境(步骤S205)。具体地说,情境分析单元412对从信息分析单元411获取的分析结果、从移动终端200获取的传感器信息等进行分析,以分析拥有移动终端200的用户的情境。然后,情境分析单元412将作为情境的分析结果的关于情境的信息输出到分组处理单元413。
接着,服务器400基于关于情境的信息来执行设备的分组处理(步骤S207)。具体地说,分组处理单元413基于情境分析单元412对情境的分析结果对移动终端200进行分组。此外,通信控制单元414在通过分组处理产生或编辑的群组中包括的移动终端200之间构建语音通信。
(群组名称的产生)
此外,分组处理单元413可以基于环境信息来产生群组的标识信息,群组是通过分组处理产生的。这里提到的标识信息包括例如群组的名称。
群组的名称可以是与例如用于分组处理的环境信息相关的名称。具体地说,在基于关于情境的信息执行分组处理的情况下,群组的名称可以是与情境相关的名称。例如,在基于指示用户正在跑步的情境执行分组处理的情况下,群组的名称可以是“跑步群”等。就这种情况而言,具有分组的移动终端200的用户在不设置群组的名称的情况下容易地掌握该用户所拥有的移动终端200所属的群组的属性。
如上所述,在根据本实施例的信息处理系统1中,多个移动终端200的分组处理是基于环境信息执行的。通过该配置,用户可以在不通过输入字符等来创建或指定他/她想要参与的交谈目标的群组的情况下容易地创建群组或加入群组。因此,可以减轻由于交谈目标的分组而导致的用户的负担。
此外,在根据本实施例的信息处理系统1中,可以基于从环境信息获得的情境来执行分组处理。通过该配置,用户被自动地分配到交谈目标的群组。因此,可以进一步减轻由于交谈目标的分组而导致的用户的负担。
注意,根据本实施例的群组意指参与信息处理系统1中的多个用户执行的语音通信的交谈目标的群组,但是分组处理单元413分组的群组不限于多个这样的用户之间的语音通信。例如,与社交网络服务、通过文本的聊天、邮件列表等相关的群组等也可以是分组处理单元413执行的分组处理的目标。
本公开的第一实施例已经在上文中进行了描述。
<<3.第二实施例>>
接着,将描述本公开的第二实施例。在本实施例中,除了根据以上实施例的分组处理之外,还将描述与通信控制单元执行的语音通信相关的处理的示例。这里提到的语音通信意指在一对一用户之间构建的语音通信和在包括多个用户的群组内构建的语音通信。在这样的语音通信中,所述多个用户可以互相交谈。
注意,因为根据本实施例的信息处理系统1的配置与根据以上实施例的信息处理系统1的配置是相同的,所以这样的配置的描述被省略。此外,通过信息分析单元411和情境分析单元412获得的分析结果被输出到通信控制单元414。
根据本实施例的通信控制单元414可以基于关于用户终端的环境信息来控制与语音通信相关的处理。如以上实施例中所描述的,这里提到的环境信息包括传感器信息、图像信息、位置信息、时间信息、功能或应用中包括的内容、关于功能或应用的开始状态的信息等。此外,从用户佩戴的小型终端100获得的传感器信息对应于通过附连到用户的或用户佩戴的设备检测到的和获得的第三传感器信息。此外,根据本实施例的通信控制单元414可以基于关于使用用户终端的用户的情境的信息、从环境信息获得的关于用户的情境的信息来控制与语音通信相关的处理。
在下文中,语音通信的开始处理、交谈目标的选择处理和与交谈目标的语音通信中的语音输出处理将被描述为与语音通信相关的处理的示例。
<3.1.语音通信的开始处理>
根据本实施例的通信控制单元414执行例如与语音通信的开始相关的处理。与语音通信的开始相关的处理是指用于将多个用户之间的语音通信切换到有效状态的处理。一般来说,就通信量而言,语音通信优选地只有当所述多个用户中的任何一个正在交谈时才是有效的。因此,根据本实施例的通信控制单元414在用户不在交谈的情况下将语音通信设置为空闲状态,并且在预定信息被作为触发输入的情况下执行与这样的语音通信的开始相关的处理。
例如,通信控制单元414可以基于在语音通信中输入的语音的分析信息来控制与语音通信的开始相关的处理。具体地说,信息分析单元411首先对输入到小型终端100或移动终端200的语音执行声纹分析。然后,通信控制单元414在作为分析结果,输入的语音是拥有小型终端100或移动终端200的用户的语音的情况下执行用于开始语音通信的处理。关于声纹分析的已知技术可以用作这样的声纹分析。
图9是例示说明根据本实施例的与语音通信的开始相关的处理的流程的示例的流程图。如图9所示,服务器400首先获取语音信息(步骤S301)。具体地说,通信单元420从移动终端200获取语音信息。
接着,服务器400检测语音段(步骤S303)。具体地说,信息分析单元411从语音信息中包括的时间序列语音信号区分语音段(被辨识为语音的段)和除了语音段之外的段,并且仅提取语音段。
接着,服务器400对提取的语音段进行分析(步骤S305)。具体地说,信息分析单元411对提取的语音段执行声纹分析。声纹分析的结果被输出到通信控制单元414。
接着,服务器400决定分析结果是否满足预定条件(步骤S307)。具体地说,通信控制单元414决定输入的语音是否是用户说出的语音。在决定输入的语音是用户说出的语音(在步骤S307中为是)的情况下,通信控制单元414执行用于开始语音通信的处理(步骤S309)。另一方面,在决定输入的语音不是用户说出的语音(在步骤S307中为否)的情况下,通信控制单元414允许语音通信仍处于空闲状态,而不执行用于开始语音通信的处理。
如上所述,可以通过提取语音段并且对提取的语音段执行声纹分析来基于用户的说话开始语音通信。在这种情况下,例如,即使噪声或另一个人的语音进入小型终端100等的扬声器,也可以阻止语音通信自动地开始。
此外,通信控制单元414可以基于声源位置的分析结果来控制与语音通信的开始相关的处理。具体地说,信息分析单元411首先对输入到小型终端100或移动终端200的语音的声源位置进行分析。可以通过已知的方法来基于例如通过小型终端100等中提供的多个扬声器获得的多个语音信息对这样的声源位置进行分析。然后,通信控制单元414在作为声源位置的分析结果确定输入的声源位置是拥有小型终端100或移动终端200的用户的嘴的情况下执行用于开始语音通信的处理。通过该配置,可以基于用户的说话来开始语音通信。
此外,通信控制单元414可以基于语音信息中包括的内容的分析结果来控制与语音通信的开始相关的处理。具体地说,信息分析单元414首先对输入到小型终端100或移动终端200的语音的内容进行分析。然后,通信控制单元414在作为语音的内容的分析结果、确定输入的语音包括预定内容的情况下执行用于开始语音通信的处理。
图10是例示说明根据本实施例的基于语音信息中包括的内容的分析结果与语音通信的开始相关的处理的示例的示意图。如图10所示,假定佩戴小型终端100的用户1013已经说出“你知道吗,XX先生”。这个“你知道吗?”是与语音通信的开始相关的触发的措辞。在这种情况下,信息分析单元411基于用户1013的说话对语音信息进行分析,并且确定作为触发的措辞包括在这样的语音信息中。通信控制单元414从指示作为触发的措辞包括在内的确定结果执行用于开始语音通信的处理。通过该配置,用户仅通过说出特定的词语就可以容易地开始语音通信。注意,作为触发的措辞没有特别限制。
此外,与作为交谈目标的用户、群组等相对应的措辞可以被预设为触发。通过该配置,可以不仅开始语音通信,而且还容易地选择语音通信的交谈目标。
注意,上述基于声纹分析或声源位置的分析的处理不限于与语音通信的开始相关的处理。例如,所述处理或分析也可以用于在使用利用小型终端100或移动终端200的服务中释放或启用安全性。
此外,通信控制单元414可以基于例如从小型终端100中提供的接近传感器131获得的关于小型终端100的佩戴状态的信息来执行与语音通信的开始相关的处理。具体地说,当小型终端100被佩戴在用户的耳朵上时,接近传感器131检测小型终端100的佩戴状态。因此,通信控制单元414基于检测到的指示小型终端100已经被佩戴的信息来执行用于开始语音通信的处理。通过该配置,用户一佩戴小型终端100,他/她就可以立即开始语音通信中的交谈。
此外,通信控制单元414可以基于例如关于拥有移动终端200的用户的情境的信息来执行与语音通信的开始相关的处理。具体地说,通信控制单元414在关于指示用户处于他/她可以交谈(例如,在会议结束的情况下)的处境的情境的信息被获得的情况下执行用于开始语音通信的处理。通过该配置,当用户处于可以使用户交谈的处境时,可以使用户立即开始交谈。
<3.2.交谈目标的选择处理>
此外,根据本实施例的通信控制单元414执行例如与语音通信的交谈目标的选择相关的处理。与语音通信的交谈目标的选择相关的处理是指用于选择一个用户或包括多个用户的一个群组中的作为交谈目标的任何一个并且在用户他/她自己的移动终端200和选择的用户或群组中的移动终端200之间构建语音通信的处理。根据本实施例的通信控制单元414基于例如语音通信中的语音信息、环境信息(诸如传感器信息)、从环境信息获得的关于情境的信息等来执行用于选择交谈目标的处理。注意,因为用于基于语音信息选择交谈目标的处理已经在上文中进行了描述,所以在下文中将描述基于环境信息和关于情境的信息来选择交谈目标的处理。
(基于环境信息的交谈目标的选择处理)
例如,通信控制单元414可以基于从小型终端100等获得的传感器信息来控制用于选择交谈目标的处理。具体地说,信息分析单元411首先对从小型终端100等获得的传感器信息进行分析。然后,通信控制单元414基于环境信息的分析结果来选择交谈目标。
这里提到的环境信息是例如传感器信息。这样的传感器信息包括例如从小型终端100中包括的加速度传感器132、陀螺传感器133、地磁传感器135等获得的关于小型终端100的运动、方位或姿势的信息。在这种情况下,通信控制单元414根据小型终端100的运动、方位或姿势来选择交谈目标。换句话说,佩戴小型终端100的用户可以根据他/她的头部或身体的方向来选择交谈目标。
图11是例示说明根据本实施例的基于用户的方向的、交谈目标的选择处理的第一个示例的示意图。如图11所示,用户1014正戴着小型终端100。在这种情况下,用户1014的头部的方向被小型终端100中提供的加速度传感器132、陀螺传感器133、地磁传感器135等检测。例如,在用户1014面对向前的方向D1的情况下,通信控制单元414可以基于检测到的指示用户1014的头部的方向是向前的方向D1的信息来将用户1015选为交谈目标。类似地,在用户1014面对向后的方向D2的情况下,群组1103可以被选为交谈目标。此外,在用户1014面对向右的方向D3的情况下,群组1104可以被选为交谈目标。此外,在用户1014面对向左的方向D4的情况下,用户1016可以被选为交谈目标。
例如,如果与基于用户1014的方位D1至D4相对应的交谈目标预先被确定,则可以根据用户1014的头部的方向来选择交谈目标。因此,用户1014可以通过在面对预定方向时说出词语来容易地与期望的交谈目标进行交谈。
此外,如图11所示,还可以选择与用户1014的头部的方向是向上的方向D5或向下的方向D6的情况相对应的交谈目标。
此外,可以根据交谈目标的位置以及用户的位置和方向来选择交谈目标。例如,在用户1014面对向前的方向D1并且用户1015存在于向前的方向D1上的情况下,通信控制单元414可以将用户1015选为交谈目标。类似地,在用户1014面对向后的方向D2并且群组1103存在于向后的方向D2上的情况下,群组1103可以被选为交谈目标。此外,在用户1014面对向右的方向D3并且群组1104存在于向右的方向D3上的情况下,群组1104可以被选为交谈目标。此外,在用户1014面对向左的方向D4并且用户1016存在于向左的方向上的情况下,用户1016可以被选为交谈目标。
此外,在用户1014面对向上的方向D5或向下的方向D6并且其他用户或群组存在于向上的方向D5或向下的方向D6上的情况下,其他用户或群组可以被选为交谈目标。此外,在当从用户看时多个用户或群组存在于水平方向上的相同方位上时,通信控制单元414可以根据用户的头部的仰角(向上的方向或向下的方向)来将这些用户或群组中的任何一个选为交谈目标。
这样的选择处理不限于用于将存在于附近的用户或群组设置为交谈目标的处理。图12是例示说明根据本实施例的基于用户的方向的、交谈目标的选择处理的第二个示例的示意图。如图12所示,例如,假定用户1017位于美国的中西部,群组1105位于美国的西北部,用户1018位于美国的南部,群组1106位于美国的东部。在这种情况下,通信控制单元414执行基于用户1017和1018以及群组1105和1106所拥有的移动终端200的位置信息以及用户1017佩戴的小型终端100的传感器信息来选择交谈目标的处理。具体地说,在用户1017a面对南部的情况下,用户1018可以被选为交谈目标。此外,在用户1017b面对西部的情况下,群组1105可以被选为交谈目标。此外,在用户1017c面对东部的情况下,群组1106可以被选为交谈目标。
如上所述,通过使用用户他/她自己和交谈目标的移动终端200等的位置信息、连同用户的方向,可以更直观地选择交谈目标。
此外,这样的传感器信息可以是例如从小型终端100中提供的生物计量认证传感器134获得的生物计量信息。在这种情况下,通信控制单元414可以基于从生物计量认证传感器134获得的生物计量信息来选择交谈目标。
图13是例示说明根据本实施例的基于生物计量信息的、交谈目标的选择处理的示例的示意图。如图13所示,用户1019将手指F1压在佩戴在他/她的耳朵上的小型终端100的生物计量认证传感器134(指纹传感器)上。在这种情况下,生物计量认证传感器134检测手指F1的指纹,检测到的信息被作为生物计量信息从小型终端100发送给服务器400。这里,假定生物计量信息包括指示手指F1是用户1019的右手的食指F1的信息。在这种情况下,通信控制单元414选择与用户1019的右手的食指F1相对应的交谈目标,并且与该交谈目标构建语音通信。
例如,如果与用户1014的每个手指相对应的交谈目标预先被确定,则用户1014仅通过将与交谈目标相对应的手指压在生物计量认证传感器134上就可以选择交谈目标。因此,用户1014可以容易地选择期望的交谈目标。
此外,这样的传感器信息可以是例如从除了小型终端100和移动终端200之外的设备(另一个设备)获得的传感器信息。在这种情况下,通信控制单元414可以基于从另一个设备获得的传感器信息来选择交谈目标。
图14是例示说明根据本实施例的基于从另一个设备获得的传感器信息的、交谈目标的选择处理的示例的示意图。如图14所示,假定用户在他/她的右手RH的每个手指上佩戴环形设备500a至500e。在这种情况下,假定佩戴在右手RH的食指上的环形设备500b已经被用户的左手LH选择(例如,通过操纵,诸如按下环形设备500b上提供的按钮的操纵)。在这种情况下,环形设备500b检测选择,检测到的信息被作为传感器信息从环形设备500b发送给服务器400。与发送相关的通信可以是从环形设备500b、通过小型终端100或移动终端200的通信,或者可以是环形设备500b和服务器400之间的直接通信。在这种情况下,通信控制单元414选择与环形设备500b相对应的交谈目标,并且与该交谈目标构建语音通信。
例如,如果与佩戴在用户的每个手指上的环形设备500相对应的交谈目标预先被确定,则用户仅通过选择与交谈目标相对应的环形设备500就可以选择交谈目标。因此,用户1014可以容易地选择期望的交谈目标。
注意,在图14所示的示例中,环形设备500被佩戴在用户的右手RH的每个手指上,但是本技术不限于这样的示例。例如,环形设备500可以仅被佩戴在用户的手的手指中的任何一个上,并且可以基于环形设备500检测到的信息(例如,环形设备500的操作或环形设备500上的操纵)来选择交谈目标。
此外,图14中例示说明了环形设备500用作另一个设备的示例,但是本技术不限于这样的示例。例如,除了环形设备500之外,手镯式设备(诸如智能手表)、项链式设备、佩戴在躯干上的类型的设备、嵌入在身体中的设备等也可以用作另一个设备。此外,作为从另一个设备获得的传感器信息,可以使用从可作为另一个设备安装的已知的传感器获得的任何信息。此外,除了传感器信息之外,时间信息、位置信息等也可以被合成地使用。
(基于关于情境的信息的、交谈目标的选择处理)
此外,例如,通信控制单元414可以基于关于情境的信息来执行用于选择交谈目标的处理。具体地说,情境分析单元412首先从环境信息等分析使用移动终端200的用户的情境,并且输出关于情境的信息。然后,通信控制单元414基于关于情境的信息来选择交谈目标。
例如,假定情境分析单元412已经从指示现在是工作日的白天的位置信息和指示用户在办公室里的位置信息分析了指示使用移动终端200的用户正在工作的情境。在这种情况下,通信控制单元414可以将与工作相关联的用户或群组选为交谈目标。另一方面,在除了所述情境之外的情境被分析的情况下,通信控制单元414可以将与隐私相关联的用户或群组(例如,家庭等)选为交谈目标。通过该配置,可以自动地选择适合于用户的处境的交谈目标。
注意,根据情境的交谈目标可以例如由用户预先设置。此外,根据情境的交谈目标可以自动地设置,例如,通过基于用户的过去的语音通信历史和环境信息(诸如时间信息或位置信息)的机器学习等来自动地设置。
<3.3.与交谈目标的语音通信中的语音输出处理>
此外,根据本实施例的通信控制单元414执行例如与交谈目标的语音通信中的语音输出处理。与交谈目标的语音通信中的语音输出处理包括例如对于语音通信中的交谈目标的代理说话处理。对于语音通信中的通信目标的代理说话处理是指用于在用户难以对交谈目标说出词语的情况下将包括预定内容的语音传送给交谈目标、而不是用户(换句话说,代理说话)的处理。根据本实施例的通信控制单元414基于例如环境信息(诸如传感器信息)、从环境信息获得的情境、语音通信中的语音信息等来执行代理说话处理。
(基于环境信息的代理说话处理)
例如,通信控制单元414可以基于从小型终端100等获得的环境信息(诸如传感器信息)来控制代理说话处理。更具体地说,信息分析单元411首先对从小型终端100等获得的传感器信息进行分析。然后,通信控制单元414基于传感器信息的分析结果来执行代理说话处理。
这样的传感器信息包括例如从小型终端100中包括的加速度传感器132、陀螺传感器133等获得的关于小型终端100的运动的信息。在这种情况下,通信控制单元414通过小型终端100的运动来执行代理说话处理。换句话说,佩戴小型终端100的用户可以根据他/她的头部的运动来执行代理说话。
图15和16是例示说明根据本实施例的基于用户的头部的运动的代理说话处理的示例的示意图。首先,如图15所示,用户1020正戴着小型终端100。在这种情况下,用户1020的头部的运动被小型终端100中提供的加速度传感器132、陀螺传感器133检测。具体地说,如图15所示,假定用户1020在纵向方向上摇动他/她的头部。在这种情况下,通信控制单元414基于检测到的指示用户1020在纵向方向上摇动他/她的头部的信息来执行代理说话处理。这种情况下的代理说话包括与对于来自交谈目标的语音消息的“YES”相对应的内容。例如,内容“OK!”的语音可以通过代理说话处理被传送给交谈目标。
同时,如图16所示,用户1021正戴着小型终端100。在这种情况下,用户1021的头部的运动被小型终端100中提供的加速度传感器132、陀螺传感器133检测。具体地说,如图16所示,假定用户1021在横向方向上摇动他/她的头部。在这种情况下,通信控制单元414基于检测到的指示用户1020在横向方向上摇动他/她的头部的信息来执行代理说话处理。这种情况下的代理说话包括与对于来自交谈目标的语音消息的“NO”相对应的内容。例如,内容“NO!”的语音可以通过代理说话处理被传送给交谈目标。
根据这样的代理说话处理,用户可以用没有说话的语音与交谈目标交谈或对交谈目标作出回复。因此,即使在用户不能说出词语的环境中,也可以仅用手势(诸如用户的头部的摇动)来容易地将意图传送给交谈目标。
注意,代理说话中的语音信息可以是通过用户预先记录的语音产生的语音信息,或者可以是通过提取用户在过去的语音通信中的说话产生的语音而产生的语音信息。
此外,这样的传感器信息包括例如从小型终端100中包括的接近传感器131获得的关于小型终端100的佩戴状态的信息。在这种情况下,通信控制单元414根据小型终端100的佩戴状态来执行代理说话处理。
例如,当小型终端100被佩戴在用户的耳朵上时,假定接近传感器131已经检测到小型终端100的佩戴状态。在这种情况下,通信控制单元414基于检测到的指示小型终端100已经被佩戴的信息来执行代理说话处理。具体地说,通信控制单元414执行包括从用户已经佩戴小型终端100的事实指示用户在线的内容的代理说话处理。通过该配置,交谈目标可以容易地知道用户在线。
另一方面,假定接近传感器131已经检测到小型终端100没有被佩戴在用户的耳朵上的处境。在这种情况下,当从交谈目标接收到语音消息时,通信控制单元414执行包括指示小型终端100没有被佩戴的处境的内容(例如,“小型终端没有被佩戴”等)的代理说话处理。通过该配置,交谈目标可以知道用户处于他/她不能交谈的状态。
此外,这样的传感器信息可以是例如从除了小型终端100之外的设备(另一个设备)获得的信息。如上所述,传感器信息可以是例如从附连到用户的或被用户佩戴的另一个可佩戴设备(诸如环形设备、手镯式设备(诸如智能手表)、项链式设备、佩戴在躯干上的类型的设备、嵌入在身体中的设备等)获得的传感器信息(例如,第三传感器信息)。在这种情况下,通信控制单元414可以基于从另一个设备获得的传感器信息来执行代理说话处理。
注意,在基于传感器信息的代理说话处理中,可能存在基于非预期的手势等的处理被执行的情况。因此,例如,在语音通信的状态是预定状态的情况下,通信控制单元414可能不能执行代理说话处理。所述预定状态包括例如用户他/她自己正在说出词语的状态和其他方没有说出词语的状态。在这种情况下,例如,通信控制单元414不发送与代理说话相关的语音信息,或者不再现与在交谈目标中接收的代理说话相关的语音信息。
(基于关于情境的信息的代理说话处理)
此外,例如,通信控制单元414可以基于关于情境的信息来控制代理说话处理。具体地说,情境分析单元412首先从环境信息等分析使用移动终端200的用户的情境,并且输出关于情境的信息。然后,通信控制单元414基于关于情境的信息来执行代理说话处理。
图17是例示说明根据本实施例的基于关于情境的信息的代理说话处理的示例的示意图。如图17所示,假定佩戴小型终端100A的用户1022在开会,并且语音消息(1)已经通过语音通信从佩戴小型终端100B的用户1023接收到用户1022。在这种情况下,环境信息(例如,包括位置信息、行程安排信息等)从用户1022所拥有的移动终端200(未例示)发送给服务器400。服务器400从环境信息分析情境以获取关于指示用户1022在开会的情境的信息。在这种情况下,通信控制单元414将代理语音消息(2)传送给用户1023的小型终端100B。例如,代替用户1022,虚拟代理可以将措辞“在开会。我们可以在30分钟后交谈”传送给用户1023。通过该配置,用户1022可以在不主动地回答的情况下对用户1023做出响应。
注意,例如,当在从交谈目标接收到语音消息之后满足预定条件时,可以执行基于关于情境的信息的代理说话处理。所述预定条件包括例如其中用户对小型终端100或移动终端200的操纵或操作在预定时间内尚未被检测到的条件。
(基于在语音通信中输入的语音的分析信息的代理说话处理)
例如,通信控制单元414可以基于在语音通信中输入的语音的分析信息来控制代理说话处理。更具体地说,信息分析单元411首先对输入到小型终端100等的语音信息进行分析。然后,通信控制单元414基于语音信息的分析结果来执行代理说话处理。
例如,特有的语音(诸如用户的咳嗽、干咳或含漱声)可以用于代理说话处理。在这种情况下,信息分析单元411对这些特有的语音进行分析。然后,通信控制单元414基于语音的分析结果来执行代理说话处理。具体地说,假定在佩戴小型终端100的用户在开会的情况下语音消息已经被从交谈目标接收到。在这种情况下,当用户干咳时,从干咳推导的语音被输入到小型终端100,并且被发送给服务器400。然后,语音被信息分析单元411分析,通信控制单元414执行与干咳相对应的代理说话处理。例如,通信控制单元414将内容“在开会。我将在稍后联系你”的代理语音消息传送给交谈目标。通过该配置,即使用户没有说出措辞,用户预期的语音消息也可以被发送给另一方。
注意,这些特有的语音可以通过例如诸如机器学习的技术来决定。特有的语音的模式和代理说话的内容之间的关联可以由用户设置,或者可以通过学习自动地设置。
代理说话处理的示例已经在上文中进行了描述。注意,用于代理说话处理中的代理说话的语音没有特别限制。例如,用于代理说话的语音可以是通过记录用户预先读出的预定消息而获得的语音,或者可以是从预先通过文本到讲话(TTS)技术记录的用户的语音再现的语音。此外,用于代理说话的语音不限于仅用户的语音,并且可以是另一个人的语音(例如,名人的语音)等。此外,用于代理说话的语音可以是与获取的情境相对应的语音。例如,在指示用户在火车上的情境被分析的情况下,通信控制单元414可以将颠簸的火车的声音作为代理说话发送给交谈目标。此外,除了颠簸的火车的声音之外,通信控制单元414还可以将语音消息“A先生在火车上”发送给交谈目标。在这种情况下,通信控制单元414可以将颠簸的火车的声音以比语音消息“A先生在火车上”的声音音量小的声音音量作为该语音消息的背景音乐(BGM)与该语音消息组合,并且将组合该声音的语音消息发送给交谈目标。通过该配置,交谈目标方可以直观地掌握用户的处境。
此外,可以根据语音通信中的语音信息的分析结果来选择发送给交谈目标的语音。例如,在通过代理说话的语音被发送给用户或作为用户的上级的群组的情况下,很可能的是正式的措辞将包括在语音信息中。因此,在信息分析单元411对语音信息进行分析以决定许多正式的措辞包括在语音信息中的情况下,通信控制单元414可以将正式的语音消息发送给交谈目标(例如,通信控制单元414将内容“我明白了”的声音作为肯定回答传送给交谈目标)。另一方面,在通过代理说话的语音被发送给用户或作为用户的平级或下级的群组的情况下,很可能的是随意的措辞将包括在语音信息中。因此,在信息分析单元411对语音信息进行分析以决定许多随意的措辞包括在语音信息中的情况下,通信控制单元414可以将随意的语音消息发送给交谈目标(例如,通信控制单元414将内容“OK!”的声音作为肯定的回答传送给交谈目标)。通过该配置,在代理说话处理中,交谈可以被更自然地进行。
注意,与交谈目标的语音通信中的语音输出处理不限于对于语音通信中的交谈目标的代理说话处理。例如,通信控制单元414可以基于环境信息来执行与语音通信中的语音的调整相关的处理。
例如,通信控制单元414可以基于关于情境的信息来执行与语音通信中的语音的调整相关的处理。例如,假定信息分析单元411已经对语音通信中的语音信息进行了分析以确定与用户关联程度低的对话正被执行。在这种情况下,通信控制单元414可以执行用于控制小型终端100的处理以便降低用户所佩戴的小型终端100的扬声器140的声音音量。
这里,可以基于例如参与语音通信的用户的数量、在语音通信中检测到的用户名的数量、用户的说话机会的数量、通过用户的手势等的说话机会的数量或对话内容来确定与用户的关联程度的水平。
此外,例如,假定信息分析单元411已经对语音通信中的语音信息进行了分析以从来自用户所佩戴的小型终端100的语音信息确定用户在有噪声的环境中。在这种情况下,通信控制单元414可以执行用于控制小型终端100的处理以便提高用户所佩戴的小型终端100的扬声器140的声音音量。
通过这样的配置,可以自动地基于用户的处境来调整语音。
此外,通信控制单元414可以单独地执行用于控制小型终端100或移动终端200的处理以便将来自说话目标的语音消息记录在代理说话处理中。通过该配置,用户可以再次确认他/她不能做出响应的语音消息。
本公开的第二实施例已经在上文中进行了描述。注意,根据本实施例的通信控制单元414的功能可以与第一实施例组合。
<<4.第三实施例>>
接着,将描述本公开的第三实施例。图18是例示说明根据本公开的第三实施例的信息处理系统1A的配置的框图。在图18所示的服务器400A中,不同于根据第一实施例的服务器400,控制单元410A不包括分组处理单元413。换句话说,服务器400A没有作为分组处理单元413的功能。
因此,根据本实施例的服务器400A实现根据上述第二实施例的服务器400的通信控制单元414的各种功能。换句话说,根据本实施例的通信控制单元414基于关于用户终端的环境信息来控制与语音通信相关的处理。这样的语音通信是预定用户或群组中的移动终端200之间的通信。
同样地在根据本实施例的服务器400A的配置中,根据本实施例的通信控制单元414可以运用根据上述第二实施例的通信控制单元414的功能。换句话说,即使服务器400A没有与分组处理相关的功能,服务器400A也可以控制与语音通信相关的各种类型的处理。
本公开的第三实施例已经在上文中进行了描述。
<<5.第四实施例>>
接着,将描述根据本公开的第四实施例。在本实施例中,将描述通信控制单元414执行的辅助功能。辅助功能是与语音通信的处境的说明和在多个用户之间的或群组中的语音通信中的交谈中对于用户的响应相关的功能。通过这样的辅助功能,可以更准确地掌握交谈的处境并且使对话内容更丰富。
辅助功能通过语音通信中的语音来向每个用户呈现信息。具体地说,信息分析单元411首先对关于语音通信的信息进行分析。关于语音通信的信息包括语音通信中的用户的参与处境或语音通信中的语音信息。然后,通信控制单元414基于关于语音通信的信息的分析结果来适当地用语音向用户等呈现信息。
此外,例如,通信控制单元414可以执行用于用语音向参与语音通信群组的所有用户呈现信息的处理。此外,通信控制单元414可以执行用于用语音仅向参与语音通信群组的用户之中的满足预定条件的用户呈现信息的处理。
将描述辅助功能的示例。图19是用于描述根据本实施例的辅助功能的示例的示意图。如图19所示,假定佩戴小型终端100的用户1024参与预定群组中的交谈。首先,假定用户1024已经参与预定群组中的交谈。在这种情况下,信息分析单元411确定用户1024已经加入语音通信的群组。然后,通信控制单元414用语音向用户1024呈现关于参与该群组的用户的信息。在图19所示的示例中,语音“XX先生、YY先生和ZZ先生参加了这个群”通过小型终端100被发送给用户1024。
此外,假定另一个用户已经在用户1024的交谈期间参与了预定群组。在这种情况下,信息分析单元411确定另一个用户已经加入语音通信的群组。然后,通信控制单元414用语音向用户1024呈现新的用户已经参与群组的事实。在图19所示的示例中,语音“DD先生刚刚加入这个群”通过小型终端100被发送给用户1024。
如上所述,通过用语音向用户呈现基于语音通信的用户的参与处境的信息,可以在进行交谈时容易地掌握群组的用户的参与处境。注意,例如,最初参与群组的用户的参与处境可以仅呈现给新近参与群组的用户。此外。关于新近参与的用户的信息可以呈现给最初参与群组的每个用户。
此外,将描述辅助功能的另一个示例。图20是用于描述根据本实施例的辅助功能的另一个示例的示意图。如图20所示,假定佩戴小型终端100的用户1025正在语音通信中与另一个用户(DD女士)进行交谈。首先,假定另一个用户已经发送与明天的天气相关的语音消息(1),用户1025已经回答他/她没有掌握明天的天气(语音消息(2))。在这种情况下,例如,假定用户1025说出“嘿,助理”。这样的说话的措辞用作调用辅助功能的触发。可以例如通过信息分析单元411对于语音信息的分析来提取用于调用辅助功能的这样的措辞。
随后,如果用户1025问关于明天的天气的问题,则语音“明天将下雨”通过辅助功能(Assi.)被传送给用户1025和另一个用户(例如,另一个用户(DD女士)对于辅助功能在语音消息(4)中呈现的信息的评论)。
如上所述,通过用语音向每个用户呈现基于与语音通信中的辅助功能相关的语音信息的信息(例如,对于问题的响应),可以使交谈中的对话内容更丰富。注意,在图20所示的示例中,辅助功能用语音向每个用户呈现信息,但是语音信息可以仅呈现给特定的用户。例如,在仅用户他/她自己想要知道特定的信息的情况下或者在将信息仅传送给特定的用户时,可以运用通信控制单元414的辅助功能。
此外,通信控制单元414可以作为辅助功能用语音向用户呈现语音通信中的过去的交谈的内容等。例如,通信控制单元414可以用语音向新近加入语音通信的群组的用户呈现用户加入语音通信的群组之前的交谈内容或该交谈内容的总结。通过该配置,新近加入群组的用户可以立即赶上交谈的主题。注意,交谈内容的总结可以由例如信息分析单元411产生。此外,交谈内容的总结可以代替语音显示在例如显示单元等上。例如,在小型终端100是手表类型并且具有显示单元的情况下,交谈内容的总结可以用字符显示在小型终端100的显示单元上。此外,在小型终端100没有显示单元的情况下,交谈内容的总结可以用字符显示在移动终端200的显示操纵单元280上。
此外,在作为辅助功能、用户加入预定群组的情况下,通信控制单元414可以用语音来提供在从另一个群组接收到语音消息的情况下是否将交谈目标移到另一个群组。例如,在对于参与与“业余爱好”相关的语音通信的群组中的用户开始与“工作”相关的语音通信的群组中的对话时,通信控制单元414可以用语音呈现“你想要移到“工作”群吗?”。此外,通信控制单元414可以基于用户对于这样的呈现的响应来执行控制以切换交谈目标的群组。通过该配置,用户可以在一个群组中交谈时容易地切换到与另一个群组的交谈。
注意,可以基于群组的重要性来执行语音通信的群组的移动。例如,在“工作”群的重要性高于“业余爱好”群的情况下,通信控制单元414可以向用户呈现在“工作”群中正在开始对话,并且将用户的交谈目标从“业余爱好”群移到“工作”群。通过该配置,可以避免用户不能参与更重要的交谈的缺陷。
本公开的第四实施例已经在上文中进行了描述。注意,根据本实施例的通信控制单元414的功能可以与第一实施例、第二实施例、第三实施例和第四实施例组合。
<<6.第五实施例>>
接着,将描述本公开的第五实施例。在本实施例中,将描述通信控制单元414的延迟抑制功能。延迟抑制功能意指抑制在说话源处说话的开始时间点和直到说话源和说话目的地之前的语音通信被构建的时间点之间发生的延迟的功能。由语音通信的构建引起的延迟可以通过这样的延迟抑制功能减小以使交谈中的说话的延迟保持为基于发送速率的延迟。在这种情况下,即使用户从开始语音通信时的时间点开始说出词语,语音也几乎立即被传送给交谈目标。通过该配置,用户可以具有好像他/她具有面对面的方式的对话的体验,并且可以在语音通信中更容易地进行交谈。注意,根据本实施例的延迟抑制功能是由服务器400实现的,但是在另一个实施例中,延迟抑制功能可以由小型终端100或移动终端200实现。
在下文中,将描述根据本实施例的延迟抑制功能。图21是用于描述根据本实施例的延迟抑制功能的示意图。参照图21,语音首先从作为说话源(发送者)的用户说出。在这种情况下,当关于用户的语音的语音信息被发送给服务器400时,信息分析单元411通过已知的语音段检测手段来提取语音段S1、S2和S3。
注意,在这样的语音通信中,由于语音通信的构建而导致的延迟(延迟)在说话源和说话目的地(接收者)之间发生。因此,语音信息首先在延迟已经过去时的时间点到达说话目的地。
因此,通信控制单元414仅将提取的语音段S1、S2和S3发送给说话目的地(接收者)的用户的移动终端200。在这种情况下,如图21所示,语音信息被处理以使得语音段S1、S2和S3在时间序列上是连续的。
通过该配置,在语音段之间出现的非语音段被省略,延迟因此可以由于被省略的非语音段而减小。通过重复地执行这样的延迟抑制处理,可以减小由于语音通信的构建而导致的延迟。
本公开的第五实施例已经在上文中进行了描述。注意,根据本实施例的通信控制单元414的功能可以与第一实施例、第二实施例、第三实施例和第四实施例组合。
<<7.硬件配置>>
本公开的实施例已经在上文中进行了描述。上述各种处理是通过下面描述的软件和硬件之间的合作实现的。
图22是例示说明实现根据本公开的小型终端100、移动终端200或服务器400的信息处理装置900的硬件配置的视图。信息处理装置900包括CPU 901、ROM 902、RAM 903和主机总线904。此外,信息处理装置900进一步包括桥接器905、外部总线906、接口907、输入设备908、输出设备909、存储设备(HDD)910、驱动器911和通信设备912。
CPU 901用作算数处理单元和控制单元,并且根据各种程序来总体上控制信息处理装置900中的操作。此外,CPU 901可以是微处理器。ROM 902存储CPU 901所用的程序、计算参数等。RAM 903暂时存储CPU 901的执行中所用的程序、在执行中适当地改变的参数等。CPU 901、ROM 902和RAM 903通过主机总线904(包括CPU总线等)互相连接。小型终端100的控制单元110的功能可以通过CPU 901、ROM 902和RAM 903之间的合作来实现(同样适用于移动终端200和服务器400)。
主机总线904通过桥接器905连接到外部总线906,诸如外围组件互连/接口(PCI)总线。注意,主机总线904、桥接器905和外部总线906无需单独配置,主机总线904、桥接器905和外部总线905的功能可以在单个总线上实现。
输入设备908包括用户通过其输入信息的输入手段(诸如触摸面板、按钮、麦克风和开关)以及输入控制电路,输入控制电路基于用户的输入产生输入信号,并且将产生的输入信号输出到CPU 901。信息处理装置900的用户可以将各种数据输入到信息处理装置900,并且通过操作输入设备908来指示信息处理装置900执行处理操作。
输出设备909包括例如显示设备,诸如阴极射线管(CRT)显示设备、液晶显示(LCD)设备和有机发光二极管(OLED)设备、灯。而且,输出设备909包括音频输出设备,诸如扬声器和耳机。输出设备909输出例如再现的内容。具体地说,显示设备将各种信息(诸如再现的视频数据)显示为文本或图像。另一方面,音频输出设备将再现的音频数据等转换为音频,并且输出音频。
存储设备910是用于存储数据的设备。存储设备910可以包括存储介质、将数据记录在存储介质中的记录设备、从存储介质读取数据的读取设备、删除记录在存储介质中的数据的删除设备等。存储设备910包括例如HDD、SDD等。存储设备910驱动硬盘,并且存储CPU901执行的程序和各种数据。移动终端200的存储单元(未示出)的功能可以由存储设备910实现(同样适用于服务器400)。
驱动器911是用于存储介质的读取器/写入器,并且从外部安装在信息处理装置900上。驱动器911读取记录在可移除存储介质913(诸如安装的磁盘、光盘、磁光盘或半导体存储器)中的信息,并且将读取的信息输出到RAM 903。此外,驱动器911还可以将信息写入到可移除存储介质913。
通信设备912是例如包括用于连接到通信网络914的通信设备等的通信接口。这样的通信接口的示例包括近场通信接口(诸如Bluetooth(注册商标)或ZigBee(注册商标))、或诸如有线/无线LAN、Wi-Fi(注册商标)或移动通信网络(LTE或3G)的通信接口。小型终端100的通信单元120的功能可以由通信设备912实现(同样适用于移动终端200和服务器400)。
<<8.总结>>
在上文中,已经参照附图详细描述了本公开的优选实施例,但是本公开的技术范围不限于这样的实施例。对于本公开的领域的技术人员来说将显而易见的是,在权利要求中描述的技术构思的范围内可以设想各种修改或更改,并且自然地理解这些修改或更改也落在本公开的技术范围内。
注意,本说明书的信息处理装置(例如,服务器400)的处理中的各步骤不一定必须按作为流程图描述的次序、按时间序列进行处理。例如,信息处理装置的处理中的各步骤可以按与作为流程图描述的次序不同的次序进行处理,或者可以并行处理。
此外,还可以创建用于使嵌入在信息处理装置中的硬件(诸如CPU、ROM和RAM)运用与上述信息处理装置的每个配置的功能等同的功能的计算机程序。此外,其中存储所述计算机程序的可读记录介质也被提供。
此外,本说明书中所描述的效果仅仅是说明性的或示例性的,而非限制性的。也就是说,除了上述效果之外,或者代替上述效果,根据本公开的技术可以实现本领域技术人员从本说明书的描述显而易见的其他效果。
注意,以下配置也落在本公开的技术范围内。
(1)
一种信息处理装置,包括:分组处理单元,所述分组处理单元基于从用户终端获取的关于用户终端的环境信息对用户终端进行分组。
(2)
根据以上(1)所述的信息处理装置,其中,所述环境信息包括用户终端检测到的和获得的第一传感器信息,并且
所述分组处理单元基于通过对第一传感器信息进行分析而获得的分析结果来对用户终端进行分组。
(3)
根据以上(2)所述的信息处理装置,其中,所述第一传感器信息包括以下中的至少任一个:关于声音的信息、关于用户终端的运动的信息、或用户终端的位置信息。
(4)
根据以上(1)至(3)中任一项所述的信息处理装置,其中,所述环境信息包括通过由用户终端捕捉对象的图像而产生的图像信息,并且
所述分组处理单元基于通过对图像信息进行分析而获得的分析结果来对用户终端进行分组。
(5)
根据以上(1)至(4)中任一项所述的信息处理装置,其中,所述分组处理单元基于关于使用用户终端的用户的情境的信息来对用户终端进行分组,所述关于用户的情境的信息是从环境信息获得的。
(6)
根据以上(1)至(5)中任一项所述的信息处理装置,其中,所述环境信息包括不同于用户终端的设备检测到的和获得的第二传感器信息。
(7)
根据以上(1)至(6)中任一项所述的信息处理装置,其中,所述分组处理单元基于环境信息的历史来对用户终端进行分组。
(8)
根据以上(1)至(7)中任一项所述的信息处理装置,其中,所述分组处理单元基于环境信息来产生群组的标识信息,所述群组是通过分组处理产生的。
(9)
根据以上(1)至(8)中任一项所述的信息处理装置,其中,所述分组处理单元对与通过用户终端的语音通信相关的群组执行分组,
所述信息处理装置进一步包括控制与语音通信相关的处理的通信控制单元。
(10)
根据以上(9)所述的信息处理装置,其中,所述通信控制单元基于关于用户终端的环境信息来控制与语音通信相关的处理。
(11)
根据以上(10)所述的信息处理装置,其中,所述通信控制单元基于关于使用用户终端的用户的情境的信息来控制与语音通信相关的处理,关于用户的情境的所述信息是从环境信息获得的。
(12)
根据以上(10)或(11)所述的信息处理装置,其中,所述通信控制单元基于通过检测附连到用户的或用户佩戴的设备而获得的第三传感器信息来控制与语音通信相关的处理。
(13)
根据以上(12)所述的信息处理装置,其中,附连到用户的或用户佩戴的所述设备包括用于语音通信的语音输入/输出设备。
(14)
根据以上(10)至(13)中任一项所述的信息处理装置,其中,所述通信控制单元基于在语音通信中输入的语音的分析信息来控制与语音通信相关的处理。
(15)
根据以上(10)至(14)中任一项所述的信息处理装置,其中,所述与语音通信相关的处理包括与语音通信的开始相关的处理。
(16)
根据以上(10)至(15)中任一项所述的信息处理装置,其中,所述与语音通信相关的处理包括与语音通信的通信目标的选择相关的处理。
(17)
根据以上(10)至(16)中任一项所述的信息处理装置,其中,所述与语音通信相关的处理包括与在与交谈目标的语音通信中输出的语音相关的处理。
(18)
根据以上(17)所述的信息处理装置,其中,与在与交谈目标的语音通信中输出的语音相关的处理包括对于语音通信中的交谈目标的代理说话处理。
(19)
一种由处理器执行的信息处理方法,包括:
从用户终端获取关于用户终端的环境信息;并且
基于获取的环境信息来对用户终端进行分组。
(20)
一种信息处理系统,包括:
用户终端,所述用户终端能够获取关于用户终端的环境信息;以及
服务器,所述服务器包括分组处理单元,所述分组处理单元基于从用户终端获取的关于用户终端的环境信息来对用户终端进行分组。
引用符号列表
1 信息处理系统
100 小型终端
110 控制单元
120 通信单元
130 传感器单元
131 接近传感器
132 加速度传感器
133 陀螺传感器
134 生物计量认证传感器
135 地磁传感器
140 扬声器
150 麦克风
160 操纵单元
200 移动终端
210 控制单元
220 通信单元
230 传感器单元
231 加速度传感器
232 陀螺传感器
240 扬声器
250 麦克风
260 相机模块
270 GNSS模块
280 显示操纵单元
300 显示操纵单元
400 服务器
410 控制单元
411 信息分析单元
412 情境分析单元
413 分组处理单元
414 通信控制单元
420 通信单元

Claims (11)

1.一种信息处理装置,包括:
分组处理单元,所述分组处理单元基于从用户终端获取的关于用户终端在预定时间内的环境信息对用户终端进行分组;
信息分析单元,所述信息分析单元对所获取的环境信息进行分析;以及
交谈控制单元,所述交谈控制单元基于分析结果来选择交谈目标并控制语音交谈处理中的代理说话处理,其中所述代理说话处理是指用于在用户难以对交谈目标说出词语的情况下将包括预定内容的语音传送给交谈目标的处理。
2.根据权利要求1所述的信息处理装置,其中,所述交谈控制单元基于从所述用户终端获取的手势的内容来控制代理说话处理,所述手势的内容是从所述环境信息获得的。
3.根据权利要求1所述的信息处理装置,其中,所述交谈控制单元基于从所述用户终端获取的所述用户终端的佩戴状态来控制代理说话处理,所述用户终端的佩戴状态是从所述环境信息获得的。
4.根据权利要求1所述的信息处理装置,其中,所述交谈控制单元基于关于使用所述用户终端的用户的情境的信息来控制代理说话处理,关于用户的情境的所述信息是从所述环境信息获得的。
5.根据权利要求1所述的信息处理装置,其中,所述环境信息包括所述用户终端检测到的和获得的第一传感器信息,并且
所述交谈控制单元基于通过对第一传感器信息进行分析而获得的分析结果来控制代理说话处理。
6.根据权利要求5所述的信息处理装置,其中,所述第一传感器信息包括以下中的至少任一个:关于所述用户终端检测到的声音的信息、关于所述用户终端的运动的信息、或所述用户终端的位置信息。
7.根据权利要求1所述的信息处理装置,其中,所述交谈控制单元基于在语音通信中输入的语音的分析信息来控制代理说话处理。
8.根据权利要求1所述的信息处理装置,其中,所述交谈控制单元基于从所述用户终端获取的关于所述用户终端的环境信息来执行控制以确定是否将语音信息发送给交谈目标。
9.根据权利要求8所述的信息处理装置,其中,发送给交谈目标的所述语音信息是根据使用所述用户终端的用户的情境的信息。
10.一种由处理器执行的信息处理方法,包括:
从用户终端获取关于所述用户终端的环境信息;
基于所获取的关于用户终端在预定时间内的环境信息对用户终端进行分组;
对所获取的环境信息进行分析;并且
基于分析结果来选择交谈目标并控制语音交谈处理中的代理说话处理,其中所述代理说话处理是指用于在用户难以对交谈目标说出词语的情况下将包括预定内容的语音传送给交谈目标的处理。
11.一种信息处理系统,包括:
用户终端,所述用户终端能够获取关于用户终端的环境信息;以及
服务器,所述服务器包括分组处理单元、信息分析单元以及交谈控制单元,其中所述分组处理单元基于所获取的关于用户终端在预定时间内的环境信息对用户终端进行分组,所述信息分析单元对所获取的环境信息进行分析,并且所述交谈控制单元基于分析结果来选择交谈目标并控制语音交谈处理中的代理说话处理,其中所述代理说话处理是指用于在用户难以对交谈目标说出词语的情况下将包括预定内容的语音传送给交谈目标的处理。
CN201880011785.9A 2017-02-24 2018-01-24 信息处理装置、信息处理方法和信息处理系统 Active CN110291768B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-033964 2017-02-24
JP2017033964 2017-02-24
PCT/JP2018/002130 WO2018155052A1 (ja) 2017-02-24 2018-01-24 情報処理装置、情報処理方法および情報処理システム

Publications (2)

Publication Number Publication Date
CN110291768A CN110291768A (zh) 2019-09-27
CN110291768B true CN110291768B (zh) 2021-11-30

Family

ID=63252686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880011785.9A Active CN110291768B (zh) 2017-02-24 2018-01-24 信息处理装置、信息处理方法和信息处理系统

Country Status (5)

Country Link
US (1) US11217253B2 (zh)
EP (1) EP3576392A4 (zh)
JP (1) JP6786700B2 (zh)
CN (1) CN110291768B (zh)
WO (1) WO2018155052A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113767358A (zh) * 2019-05-31 2021-12-07 苹果公司 基于环境呈现通信数据
WO2024009743A1 (ja) * 2022-07-08 2024-01-11 パイオニア株式会社 情報提供装置、情報提供方法、プログラム及び記録媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010034695A (ja) * 2008-07-25 2010-02-12 Toshiba Corp 音声応答装置及び方法
CN102415066A (zh) * 2009-04-23 2012-04-11 高通股份有限公司 无线通信系统中的基于语境的消息接发
CN103929523A (zh) * 2014-03-26 2014-07-16 广东明创软件科技有限公司 智能处理来电的方法及其移动终端
CN104935727A (zh) * 2015-04-24 2015-09-23 广东小天才科技有限公司 一种智能穿戴设备接听电话的方法及装置
CN105100482A (zh) * 2015-07-30 2015-11-25 努比亚技术有限公司 一种实现手语识别的移动终端、系统及其通话实现方法
CN106453047A (zh) * 2016-09-30 2017-02-22 珠海市魅族科技有限公司 快捷回复方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3925430B2 (ja) * 1996-12-27 2007-06-06 株式会社日立製作所 電話装置
TW391092B (en) 1996-12-27 2000-05-21 Hitachi Ltd Cellular mobile telephone apparatus and method for transmitting a response message to an caller
JP4442007B2 (ja) * 2000-03-30 2010-03-31 Kddi株式会社 移動端末にグループ通信を提供するシステム
US7489771B2 (en) * 2002-11-02 2009-02-10 Verizon Business Global Llc Systems and methods for implementing call pickup in a SIP environment
JP2004112820A (ja) 2003-10-31 2004-04-08 Kyocera Corp 携帯テレビ電話端末
JP4241484B2 (ja) 2004-04-14 2009-03-18 日本電気株式会社 携帯端末装置、着信応答メッセージ送信方法およびサーバ装置
US7292872B2 (en) 2004-07-22 2007-11-06 Sony Ericsson Mobile Communications Ab Mobile phone push-to-talk voice activation
US9137770B2 (en) * 2005-09-15 2015-09-15 Qualcomm Incorporated Emergency circuit-mode call support
US20070121902A1 (en) * 2005-11-03 2007-05-31 Andrei Stoica Transfer of live calls
KR20070071880A (ko) 2005-12-30 2007-07-04 브이케이 주식회사 이동통신 단말기의 청아용 대언모드 제공 방법
JP2009094893A (ja) 2007-10-10 2009-04-30 Ntt Docomo Inc 自動発呼システム及び自動発呼方法
JP4719804B2 (ja) 2009-09-24 2011-07-06 富士通東芝モバイルコミュニケーションズ株式会社 携帯端末
JP5822742B2 (ja) 2012-01-30 2015-11-24 株式会社日立製作所 配電線監視制御システムおよび配電線監視制御方法
US9204263B2 (en) * 2012-05-23 2015-12-01 Mark A. Lindner Systems and methods for establishing a group communication based on motion of a mobile device
CN103095912B (zh) * 2012-12-24 2015-04-29 广东欧珀移动通信有限公司 一种移动终端自动拨打电话的方法及系统
CN103973724A (zh) 2013-01-25 2014-08-06 索尼公司 社交网络的组网方法和装置
CN103973859A (zh) 2013-01-29 2014-08-06 腾讯科技(深圳)有限公司 一种拨号方法、装置及移动终端
CN103248762A (zh) * 2013-04-16 2013-08-14 广东欧珀移动通信有限公司 一种快捷拨号的方法、装置及手机
JP2015154180A (ja) 2014-02-13 2015-08-24 富士通株式会社 呼出し方法、情報処理装置および呼出しプログラム
EP3125189A4 (en) * 2014-03-25 2018-01-17 Sony Corporation Server, client, control method and memory medium
WO2016081809A1 (en) 2014-11-20 2016-05-26 Superchat, LLC Multi-network chat system
CN105306652A (zh) * 2015-11-13 2016-02-03 上海斐讯数据通信技术有限公司 一种基于智能手机加速度传感器的拨号方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010034695A (ja) * 2008-07-25 2010-02-12 Toshiba Corp 音声応答装置及び方法
CN102415066A (zh) * 2009-04-23 2012-04-11 高通股份有限公司 无线通信系统中的基于语境的消息接发
CN103929523A (zh) * 2014-03-26 2014-07-16 广东明创软件科技有限公司 智能处理来电的方法及其移动终端
CN104935727A (zh) * 2015-04-24 2015-09-23 广东小天才科技有限公司 一种智能穿戴设备接听电话的方法及装置
CN105100482A (zh) * 2015-07-30 2015-11-25 努比亚技术有限公司 一种实现手语识别的移动终端、系统及其通话实现方法
CN106453047A (zh) * 2016-09-30 2017-02-22 珠海市魅族科技有限公司 快捷回复方法和装置

Also Published As

Publication number Publication date
US11217253B2 (en) 2022-01-04
JPWO2018155052A1 (ja) 2019-12-19
EP3576392A4 (en) 2019-12-18
CN110291768A (zh) 2019-09-27
EP3576392A1 (en) 2019-12-04
WO2018155052A1 (ja) 2018-08-30
JP6786700B2 (ja) 2020-11-18
US20200098373A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
CN108363706B (zh) 人机对话交互的方法和装置、用于人机对话交互的装置
US20170060850A1 (en) Personal translator
KR20180057366A (ko) 이동 단말기 및 그 제어방법
WO2017028424A1 (zh) 在聊天界面实现游戏的方法、装置及终端设备
US20180040317A1 (en) Information processing device, information processing method, and program
US20180124225A1 (en) Wireless Earpiece with Walkie-Talkie Functionality
JP6729571B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8958569B2 (en) Selective spatial audio communication
CN105677023B (zh) 信息呈现方法及装置
US20190019512A1 (en) Information processing device, method of information processing, and program
US9977510B1 (en) Gesture-driven introduction system
US20180054688A1 (en) Personal Audio Lifestyle Analytics and Behavior Modification Feedback
JP2022109048A (ja) 情報処理装置及びプログラム
CN110291768B (zh) 信息处理装置、信息处理方法和信息处理系统
KR102140740B1 (ko) 이동단말기, 이동단말기용 거치대 그리고 이들의 구동방법
CN109388699A (zh) 输入方法、装置、设备及存储介质
US10278033B2 (en) Electronic device and method of providing message via electronic device
WO2016157993A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018120241A1 (zh) 识别通话对象身份的方法和终端设备
CN114327197A (zh) 消息发送方法、装置、设备及介质
EP3288035B1 (en) Personal audio analytics and behavior modification feedback
CN106231258A (zh) 数据传输方法、终端及装置
US11899911B2 (en) Message composition interfaces for use with wearable multimedia devices
US11948578B2 (en) Composing electronic messages based on speech input
US20240242721A1 (en) Composing electronic messages based on speech input

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant