CN109147824A - 电子设备、情绪信息取得系统及取得方法、以及存储介质 - Google Patents

电子设备、情绪信息取得系统及取得方法、以及存储介质 Download PDF

Info

Publication number
CN109147824A
CN109147824A CN201810649657.9A CN201810649657A CN109147824A CN 109147824 A CN109147824 A CN 109147824A CN 201810649657 A CN201810649657 A CN 201810649657A CN 109147824 A CN109147824 A CN 109147824A
Authority
CN
China
Prior art keywords
information
user
acquisition unit
emotional
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810649657.9A
Other languages
English (en)
Inventor
野村敬
野村敬一
樱井智也
铃木英男
南刚
内田修平
北村繁树
水野公靖
末永尚史
濑尾宗隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN109147824A publication Critical patent/CN109147824A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72451—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephone Function (AREA)
  • Electric Clocks (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种电子设备、情绪信息取得系统及取得方法、以及存储介质。根据本申请，能够取得更准确的情绪信息。智能手表(1)具备：声音输入部(110)，其输入用户的声音并转换为声音信息；以及CPU(101)，其基于通过声音输入部(110)而转换的声音信息来取得情绪信息，并取得与用户相关的信息或环境信息，CPU(101)从基于所取得的与用户相关的信息或环境信息而确定的规定的定时的声音信息中取得情绪信息。

Description

电子设备、情绪信息取得系统及取得方法、以及存储介质
相关申请的交叉引用
本申请基于并且要求于2017年6月23日提交的日本专利申请号2017-123200的优先权，其全部公开内容(包括说明书，权利要求书，附图和摘要)通过参考并入本文。
技术领域
本发明涉及一种电子设备、情绪信息取得系统、存储介质以及情绪信息取得方法。
背景技术
一直以来，提供有对由用户所输入的声音进行解析并对该用户的情绪进行识别，并且对所识别出的情绪进行有效利用的各种产品、服务等。
例如日本特开平9-292964号公报那样，提供有如下的技术：基于通过声音输入单元而输入的声音信息等，取得表示是否满足经由互联网而提供的服务、或者用户是严厉的性格还是温和的性格等情绪信息。
发明内容
发明所要解决的课题
然而，从声音输入单元所输入并取得的声音信息中，存在包含不适于取得情绪信息的声音的情况，并且当从所取得的全部的声音信息中取得情绪信息时，存在该情绪信息不一定会准确地显示出用户的情绪的情况。
在此，本发明的目的在于，提供一种可取得更准确的情绪信息的电子设备、情绪信息取得系统、存储介质以及情绪信息取得方法。
本发明的一个方式提供一种电子设备，其特征在于，具备：声音输入单元，其输入用户的声音并转换成声音信息；第一取得单元，其基于由所述声音输入单元所转换的声音信息来取得情绪信息；以及第二取得单元，其取得与用户相关的信息或环境信息，所述第一取得单元从基于由所述第二取得单元所取得的与用户相关的信息或环境信息而确定的规定的定时的声音信息中，取得情绪信息。
本发明的一个方式提供一种情绪信息取得系统，其特征在于，所述情绪信息取得系统，由终端装置与经由网络而与所述终端装置连接的服务器装置组成，所述情绪信息取得系统具备：声音输入单元，其输入用户的声音并转换成声音信息；第一取得单元，其基于由所述声音输入单元所转换的声音信息来取得情绪信息；以及第二取得单元，其取得与用户相关的信息或环境信息，所述第一取得单元从基于由所述第二取得单元所取得的与用户相关的信息或环境信息而确定的规定的定时的声音信息中，取得情绪信息。
本发明的一个方式提供一种计算机可读取的存储介质，其特征在于，所述计算机可读取存储介质存储使计算机作为声音输入单元、第一取得单元、以及第二取得单元来发挥作用的程序，所述声音输入单元输入用户的声音并转换成声音信息，所述第一取得单元基于由所述声音输入单元所转换的声音信息来取得情绪信息，所述第二取得单元取得与用户相关的信息或环境信息，所述第一取得单元从基于由所述第二取得单元所取得的与用户相关的信息或环境信息而确定的规定的定时的声音信息中，取得情绪信息。
本发明的一个方式提供一种情绪信息取得方法，其特征在于，包括：输入用户的声音并转换成声音信息的声音输入工序；基于所转换的声音信息来取得情绪信息的第一取得工序；以及取得与用户相关的信息或环境信息的第二取得工序，在所述第一取得工序中，从基于由所述第二取得工序所取得的与用户相关的信息或环境信息而确定的规定的定时的声音信息中，取得情绪信息。
发明效果
根据本发明，能够提供一种可取得更准确的情绪信息的电子设备、情绪信息取得系统、存储介质以及情绪信息取得方法。
附图说明
图1为表示本实施方式的情绪信息取得系统的概要构成图。
图2为表示智能手表的功能构成的框图。
图3为表示智能手机的功能构成的框图。
图4为表示本实施方式所涉及的情绪信息取得处理的一个示例的流程图。
图5为表示变形例所涉及的情绪信息取得处理的一个示例的流程图。
具体实施方式
参考附图解释本发明的实施方式。
【用于实施发明的方式】
以下，利用附图对用于实施本发明的形式进行说明。但，虽然在以下所述的实施方式中为了实施本发明而附加了技术性优选的各种的限定，但发明的范围并不局限于以下的实施方式以及图示例。
《情绪信息取得系统100的构成》
首先，参照图1对本实施方式的构成进行说明。图1为本实施方式的情绪信息取得系统100的概要构成图。
本实施方式的情绪信息取得系统100为，从基于与用户相关的信息或环境信息而确定的规定的定时的声音信息中取得情绪信息的系统。
如图1所示，情绪信息取得系统100被构成为具备智能手表(电子设备)1和智能手机2，并且各装置通信连接。另外，本实施方式中采用了以具备智能手机2的方式构成，但并不局限于此。即，也可以代替智能手机2，或者除了智能手机2以外，具备例如平板终端、导航终端、PC(personal computer，个人计算机)等终端装置、服务器装置等，也可以不具备智能手机2。
《智能手表1的构成》
接下来，对智能手表1的内部构成进行说明。图2中图示了智能手表1的内部构成。
图2如所示、智能手表1被构成为，具备CPU(Central Processing Unit，中央处理器)101、操作输入部102、RAM(Random Access Memory，随机存取存储器)103、显示部104、存储部105、通信部106、计时部107、卫星电波接收模块108、输出部109、声音输入部(声音输入单元)110、测量部111，并且各部经由总线112而连接。
CPU101对存储部105中所存储的系统程序进行读取，并在RAM103的工作区域展开，并且根据该系统程序对各部进行控制。此外，CPU101对存储部105中所存储的处理程序进行读取并在工作区域展开，并执行后述的情绪信息取得处理等的各种处理，并且作为第一取得单元、第二取得单元、声音输入控制单元以及通知单元来发挥作用。此外，CPU101被构成为，可执行用于对由用户进行的跑步、骑自行车、游泳、徒步旅行、钓鱼、滑雪·滑雪板、冲浪等活动时、日常生活中的各种数据进行记录并分析的应用程序。
操作输入部102被构成为具有按钮开关102a～102c和被设置在显示部104上的触摸传感器等，并且接受用户的输入操作而将操作内容转换为电信号并向CPU101进行输出。
RAM103为易失性存储器。此外，RAM103具有对所执行的各种程序、这些各种程序所涉及的数据等进行存储的工作区域。
显示部104由LCD(Liquid Crystal Display，液晶显示器)，CRT(Cathode RayTube，阴极射线管)等构成，并且根据来自CPU101的显示控制信号来实施画面显示。如上所述，显示部104的显示画面上设置有触摸传感器。
存储部105由具有磁记录介质的HDD(Hard Disk Drive，硬盘驱动器)等构成。存储部105中存储有由CPU101所执行的系统程序、处理程序、Web服务器程序等应用程序、以及执行这些程序所需的数据等。处理程序中包含有用于执行后述的情绪信息取得处理等的各种处理的程序。
这些程序以计算机可读的程序代码的形式被存储在存储部105中。CPU101依次执行按照该程序代码的动作。
此外，存储部105对由用户所输入的各种数据、从智能手机2所发送的各种数据进行存储。例如，存储部105构成为，可存储所取得的声音信息、情绪信息等。
通信部106实施与经由规定的无线通信线路(例如，Blue tooth(注册商标)等的无线PAN(Personal Area Network，个人局域网))而连接的智能手机等便携装置、PC等外部设备的信息的通信控制。并且，通信部106例如预先实施被称为配对的通信设定处理，从而通过无线信号与通信对方交换彼此的设备信息、认证密钥的数据。由此，之后，即使每次不实施通信设定处理，例如，若智能手表1与智能手机2远离至电波无法到达的范围，则通信连接也会被解除，另一方面，若靠近至电波到达的范围，则会自动地通信连接。
计时部107被构成为具备例如计时器、计时电路等，并且对当前的时刻进行计时并取得时刻信息。并且，计时部107将取得的时刻信息向CPU101进行输出。
卫星电波接收模块108具有图示省略的天线，并且对来自GPS(GlobalPositioning System，全球定位系统)等的定位系统所涉及的定位卫星的电波进行捕捉、接收、解调，并将取得的当前位置信息、时刻信息向CPU101进行输出。卫星电波接收模块108可独立于智能手表1整体的电源操作，实现基于用户的操作个别地开启关闭电源供给的控制。
输出部109被构成为具有产生振动的振动电机、扬声器等，并且基于从CPU101发送出的信号输出振动、声音。
声音输入部110由麦克风等构成，并且将由用户所输入的声音转换为由电信号构成的声音信息并向CPU101进行输出。
测量部111具有各种传感器，并且获得规定的测量结果。作为测量部111，并没有特别地限定，例如，通过将从各种传感器所输出的信号向CPU101进行输出，从而能够取得例如气温、湿度、气压、高度、方位、步数、脉搏率等。此外，测量部111也可以作为如下部件，即，对对于智能手表1瞬间所产生的加速度等进行检测并输出至CPU101，从而对用户造成强烈冲击的情况进行检测。
《智能手机2的构成》
接下来，对智能手机2的内部构成进行说明。图3图示了智能手机2的内部构成。
如图3所示，智能手机2被构成为具备CPU201、操作输入部202、RAM203、显示部204、存储部205、通信部206、计时部207、卫星电波接收模块208、输出部209，各部经由总线210而连接。
CPU201、操作输入部202、RAM203、显示部204、存储部205、通信部206、计时部207、卫星电波接收模块208以及输出部209分别与智能手表1的CPU101、操作输入部102、RAM103、显示部104、存储部105、通信部106、计时部107、卫星电波接收模块108以及输出部109的构成相同，在此以不同的部分为主进行说明。
CPU201对存储部205中所存储的系统程序进行读取并在RAM203的工作区域展开，并且根据该系统程序对各部进行控制。此外，CPU201对存储部205中所存储的处理程序进行读取并在工作区域展开，并且执行各种处理。
存储部205由具有磁记录介质的HDD等构成。存储部205中存储有由CPU201执行的系统程序、处理程序、Web浏览器等应用程序、执行这些程序所需的数据等。该处理程序中包含用于执行各种处理的程序。
通信部206与配对的智能手表1、通信网络上的服务器装置(图示省略)等外部设备实施通信，并对数据进行发送接收。
《智能手表1的动作》
参照图4对由本实施方式的智能手表1所实施的情绪信息取得处理进行说明。图4为表示本实施方式所涉及的情绪信息取得处理的一个示例的流程图。
本实施方式的情绪信息取得处理所实施的定时并没有特别地限定，例如，在对活动时的各种数据进行记录及分析的活动用应用程序的执行过程中一起实施，并在该活动用应用程序结束的同时结束。
如图4所示，首先，CPU101基于由卫星电波接收模块108或测量部111所取得的信息来取得与用户相关的信息以及环境信息(步骤S101)。在此，作为与用户相关的信息，是根据每个用户的不同而不同的信息，例如包括移动距离、移动速度、步数、脉搏率、经过时间、有无冲击、预先由用户所输入的信息、基于这些而导出的各种信息等。作为所导出的各种信息，例如，可列举出卡路里消耗量等，卡路里消耗量基于由用户预先输入的自身的体重、由用户所选择的运转的种类、从该运动的开始时起的经过时间等进行计算。此外，作为环境信息，是基于不会根据每个用户的不同而不同的外部环境的信息，例如，包括当前时刻、气温、湿度、气压、高度、方位、潮汐、基于它们而导出的各种信息等。
接下来，CPU101对由步骤S101的处理所取得的环境信息是否满足预先设定的条件进行判断(步骤S102)。该规定的条件根据执行过程中的所述活动用应用程序的种类而预先设定，例如，可列举出气温、湿度或气压在预先设定的值以上、移向预先设定的特定的状态等。作为移向特定的状态，例如，可列举出钓鱼中移向了基于潮汐等信息而导出的好钓时、该好钓时已结束等。
当判断为环境信息满足规定的条件时(步骤S102：是)，CPU101实施后述的步骤S104的处理。
当判断为环境信息不满足规定的条件时(步骤S102；否)，CPU101对由步骤S101的处理所取得的与用户相关的信息是否达成了预先设定的目标进行判断(步骤S103)。该目标根据执行过程中的所述活动用应用程序的种类而预先设定，例如，列举用户的移动距离在预先设定的距离以上、用户的步数在预先设定的步数以上、用户的卡路里消耗量在预先设定的值以上、经过时间在预先设定的时间以上、用户的当前位置到达了预先设定的地点、用户的当前位置进入了以预先设定的地点为中心的规定距离范围内、预先设定的特定的行动已结束、移向了预先设定的特定的状态等。作为特定的行动结束，例如，可列举出预先设定的竞技、比赛或训练的结束、滑雪/滑雪板的滑行结束等。此外，作为移向特定的状态，例如，可列举出预先设定的競技、比赛或训练的开始、钓鱼中预先设定的钓鱼收获的达成、滑雪/滑雪板的滑行开始等。所述目标既可以是预先由用户的操作输入而设定的、也可以是由CPU101设定的。
当判断为与用户相关的信息达成了目标时(步骤S103；是)，CPU101对用户实施促使对声音输入部110的声音输入的通知，并且将声音输入部110设定为开启(步骤S104)。例如，CPU101以如下方式实施通知，即，使促使声音输入的画面显示在显示部104上，或使输出部109输出促使声音输入的振动、声音。作为显示在显示部104上的画面，可以是显示用户想要搭话的图像、图标，例如，用户所喜欢的角色人物、动物、用户的家人的图像等。此外，CPU101通过将声音输入部110设定为开启，从而开始取得声音信息，因此能够根据判断为与用户相关的信息或环境信息满足规定的条件的定时来取得声音信息。由此，能够在用户容易发生情绪变化的定时取得声音信息，从而能够取得更准确的情绪信息。此外，能够抑制所取得的声音信息中包含不适于取得情绪信息的声音，因此可降低声音信息的解析负荷。
接下来，CPU101对是否经过了规定时间进行判断(步骤S105)。
具体而言，CPU101利用计时部107对从由步骤S104的处理向用户进行通知时起的经过时间进行计时，并对该经过时间是否超过预先设定的规定时间进行判断。
当判断为未经过规定时间时(步骤S105；否)，CPU101再次实施步骤S105的处理。
当判断为经过了规定时间时(步骤S105；是)，CPU101将声音输入部110设定为关闭(步骤S106)。由此，CPU101取得将声音输入部110设定为开启时起至设定为关闭时为止的声音信息。
接下来，CPU101对是否存在由用户实施的声音输入进行判断(步骤S107)。具体而言，CPU101对所取得的声音信息进行解析，并对是否包含用户的声音进行判断。
当判断为存在声音输入时(步骤S107；是)，CPU101从声音信息取得情绪信息(步骤S108)。作为情绪信息的取得方法，可采用现有的公知技术，由此，CPU101对基于由用户所输入的声音的声音信息进行解析，并取得表示该用户的情绪的情绪信息。本实施方式中，情绪信息表示输入了声音的用户的情绪为“痛苦·愤怒”、“焦虑”、“安然”以及“喜悦”中的任一状态。CPU101使所取得的情绪信息存储在存储部105中，之后，再实施所述步骤S101的处理。
当判断为无声音输入时(步骤S107；否)，CPU101再次实施所述步骤S101的处理。
在此，当由所述步骤S103的处理判断为与用户相关的信息未达成目标时(步骤S103；否)，CPU101基于由步骤S101的处理所取得的与用户相关的信息对用户是否发生了异常进行判断(步骤S109)。例如，由测量部111检测出对用户造成了强烈冲击的情况下，CPU101判断为用户发生了异常。
当判断为用户未发生异常时(步骤S109；否)，CPU101再次实施步骤S101的处理。
当判断为用户发生了异常时(步骤S109；是)，CPU101实施步骤S110～S113的处理。步骤S110～S113的处理与所述步骤S104～S107的处理相同，因此省略该说明。
由步骤S113的处理判断为存在声音输入时(步骤S113；是)，CPU101实施所述步骤S108的处理。
当由步骤S113的处理判断为不存在声音输入时，CPU101将基于与用户相关的信息的规定信息向外部装置进行发送(步骤S114)。这是由于可预想到判断为用户发生了异常的情况下、不存在声音输入的情况下，用户发生了的异常为无法发声的程度，因此CPU101通过作为所述规定信息，将用户的当前位置、移动路线、脉搏率等向外部装置发送，从而可向外部谋求用户的救助、帮助。作为规定信息发送地的外部装置，例如，可列举出预先设定的其他的用户的智能手机2等。
向外部装置发送规定信息之后，CPU101结束情绪信息取得处理。
采用以上方式，实施情绪信息取得处理。
另外，虽然所述情绪信息取得处理采用了在活动用应用程序的执行过程中实施的方式，但并不局限于此，也可以在智能手表1通常使用时实施。在该情况下，也可以采用如下方式，例如，CPU101每日取得表示用户的上下班、上下学的路径等的信息以作为与用户相关的信息，并由所述步骤S102的处理对所取得的信息是否与过去所取得的信息不同进行判断。也就是说，也可以采用如下方式，即，表示用户的上下班、上下学的路径等的信息与过去所取得的信息不同的情况下，用户的情绪也不同的可能性高，因此由所述步骤S102的处理判断为满足条件，并取得情绪信息。
此外，即使所述步骤S104的处理中判断为环境信息满足了规定的条件的情况、以及判断为与用户相关的信息达成了目标的情况中的任一种情况下，均实施同样的通知，但并不局限于此。例如，也可以根据判断为环境信息满足规定的条件的情况、判断为与用户相关的信息达成了目标的情况，实施不同的通知。此外，例如，也可以根据环境信息所满足的条件、与用户相关的信息所达成的目标的内容，实施不同的通知。
此外，同样地，也可以根据环境信息所满足的条件、与用户相关的信息所达成的目标，使由所述步骤S105的处理所判断的时间的长短发生变化。
此外，虽然在所述步骤S108的处理中采用了从声音信息取得情绪信息的方式，但并不局限于此。例如，也可以采用如下方式，即，在由步骤S109的处理判断为用户发生了异常的情况下，不仅从声音信息取得情绪信息，而且向用户通知对于异常发生的应对方案。此外，也可以根据所取得的情绪信息使该应对方案发生变化。
此外，虽然所述步骤S109的处理中采用如下方式，即，在由测量部111检测到对用户造成了强烈的冲击的情况下，CPU101判断为用户发生了异常，但并不局限于此。例如，也可以采用如下方式，即，在用户的移动速度为零、即用户未移动的状态持续了规定时间以上的情况下、用户的当前位置偏离了预先设定的路线并经过了规定时间以上的情况下、所检测出的用户的脉搏率偏离正常值的范围的情况下等，判断为用户发生了异常。
此外，虽然在所述步骤S110～S113的处理中实施与所述步骤S104～S107的处理相同的处理，但并不局限于此。例如，也可以采用如下方式，即，使由所述步骤S110的处理实施的通知与由所述步骤S104的处理实施的通知不同，还可以采用如下方式，即，使由所述步骤S111的处理判断的时间的长短与由所述步骤S105的处理判断的时间的长短不同。
此外，虽然由所述步骤S113的处理判断为不存在声音输入的情况下，CPU101实施步骤S114的处理，并结束情绪信息取得处理，但并不局限于此。也就是说，也可以采用如下方式，即，CPU101在判断为不存在声音输入的情况下，不实施步骤S114的处理，而再次实施步骤S101的处理。
此外，虽然在所述步骤S114的处理中采用了向预先设定的其他的用户的智能手机2发送规定信息的方式，但并不局限于此。例如，也可以向其他的用户的智能手表1、PC或平板终端等发送规定信息，还可以向保安公司、警察、消防局等的终端发送规定信息。
《本实施方式的技术效果》
根据本实施方式，智能手表1具备输入用户的声音并转换成声音信息的声音输入部110；以及基于由声音输入部110转换成的声音信息来取得情绪信息，取得与用户相关的信息或环境信息的CPU101，由于CPU101从基于所取得的与用户相关的信息或环境信息而确定的规定的定时的声音信息中取得情绪信息，因此能够在用户的情绪变化的可能性高的定时取得情绪信息，因而能够取得更准确的情绪信息。
此外，CPU101基于所取得的与用户相关的信息或环境信息将声音输入部110设定为开启或关闭，因此能够抑制所取得的声音信息中包含不适于取得情绪信息的声音，从而能够取得更准确的情绪信息。此外，由于能够限制所取得的声音信息，因此能够降低解析声音信息并取得情绪信息时的解析负荷。
此外，由于CPU101基于所取得的与用户相关的信息或环境信息，并根据判断为满足了预先设定的条件的定时，从声音信息中取得情绪信息，因此能够在用户的情绪发生变化的可能性更高的定时取得情绪信息。
此外，CPU101在每个规定期间取得与用户相关的信息，并且根据判断为所取得的与用户相关的信息与过去所取得的与用户相关的信息不同的定时，从声音信息中取得情绪信息，因此能够在用户的情绪发生变化的可能性更高的定时取得情绪信息。
此外，CPU101基于所取得的与用户相关的信息或环境信息，对用户实施促使对声音输入部110的声音输入的通知，根据实施通知的定时，从声音信息中取得情绪信息，因此能够更可靠地取得包括适于取得用户的情绪信息的声音在内的声音信息。
《变形例》
对所述的实施方式的情绪信息取得系统100的变形例进行说明。以下说明以外的方面采用与所述实施方式的情绪信息取得系统100同样的构成方式。
变形例所涉及的情绪信息取得系统与所述实施方式的情绪信息取得系统100在以下方面不同。即，变形例所涉及的情绪信息取得系统如图5所示那样实施情绪信息取得处理。图5为表示变形例所涉及的情绪信息取得处理的一个示例的流程图。
首先，CPU101将声音输入部110设定为开启(步骤S201)。由此，CPU101开始取得声音信息。
接下来，CPU101基于由卫星电波接收模块108或测量部111所取得的信息来取得与用户相关的信息以及环境信息(步骤S202)。
接下来，CPU101对由步骤S202所取得的环境信息是否满足预先设定的规定的条件进行判断(步骤S203)。
当判断为环境信息满足规定的条件时(步骤S203；是)，CPU101实施后述的步骤S205的处理。
当判断为环境信息不满足规定的条件时(步骤S203；否)，CPU101对由步骤S202的处理所取得的与用户相关的信息是否达成了预先设定的目标进行判断(步骤S204)。
当判断为与用户相关的信息未达成预先设定的目标时(步骤S204；否)，CPU101省略后述的步骤S205～S211的处理而实施步骤S212的处理。
当判断为与用户相关的信息达成了预先设定的目标时(步骤S204；是)，CPU101对是否经过了规定时间进行判断(步骤S205)。具体而言，CPU101利用计时部107对如下的经过时间进行计时并对该经过时间是否超过了预先设定的规定时间进行判断，所述经过时间为，从由步骤S203的处理判断为环境信息满足规定的条件时、或者由步骤S204的处理判断为与用户相关的信息达成了目标时起的经过时间。
当判断为未经过规定时间时(步骤S205；否)，CPU101再次实施步骤S205的处理。
当判断为经过了规定时间时(步骤S205；是)，CPU101对是否存在由用户进行的声音输入进行判断(步骤S206)。具体而言，CPU101实时对所取得的声音信息进行解析，并对是否包含用户的声音进行判断。
当判断为存在声音输入时(步骤S206；是)，CPU101从由步骤S203的处理判断为环境信息满足规定的条件时、或者由步骤S204的处理判断为与用户相关的信息达成了目标时起，至由步骤S205的处理判断为经过了规定时间时为止的声音信息中，取得情绪信息(步骤S207)。此外，CPU101使所取得的情绪信息存储在存储部105中，并实施后述的步骤S212的处理。
当判断为不存在声音输入时(步骤S206；否)，CPU101对用户实施促使对声音输入部110的声音输入的通知(步骤S208)。
接下来，CPU101对是否经过了规定时间进行判断(步骤S209)。
具体而言，CPU101利用计时部107对从由步骤S208的处理向用户实施了通知时起的经过时间进行计时，并对该经过时间是否超过了预先设定的规定时间进行判断。
当判断为未经过规定时间时(步骤S209；否)，CPU101再次实施步骤S209的处理。
当判断为经过了规定时间时(步骤S209；是)，CPU101对是否存在由用户进行的声音输入进行判断(步骤S210)。具体而言，CPU101实时对所取得的声音信息进行解析，并对是否包含用户的声音进行判断。
当判断为存在声音输入时(步骤S210；是)，CPU101从由步骤S208的处理向用户实施通知时起，至由步骤S209的处理判断为经过了规定时间时为止的声音信息中，取得情绪信息(步骤S211)。此外，CPU101使所取得的情绪信息存储在存储部105中，并实施后述的步骤S212的处理。
当判断为不存在声音输入时(步骤S210；否)，CPU101省略所述步骤S211的处理，并实施后述的步骤S212的处理。
接下来，CPU101对用户是否输入了结束操作进行判断(步骤S212)。具体而言，例如，CPU101在输入了将声音输入部110设定为关闭的操作的情况下、输入了结束活动用应用程序的操作的情况下，判断为输入了结束操作。
当判断为未输入结束操作时(步骤S212；否)，CPU101再次实施步骤S202的处理。
当判断为输入了结束操作时(步骤S212；是)，CPU101将声音输入部110设定为关闭(步骤S213)，并结束情绪信息取得处理。
采用以上方式实施情绪信息取得处理。
另外，所述变形例所涉及的情绪信息取得处理中，采用了未判断用户是否发生了异常的方式，但并不局限于此。也就是说，也可以采用如下方式，即，CPU101采用与所述实施方式的情绪信息取得处理的步骤S109同样方式，对用户是否发生了异常进行判断。在该情况下，也可以采用如下方式，即，在判断为用户发生了异常、且在规定时间没有由用户进行的声音输入的情况下，以与所述实施方式的情绪信息取得处理的步骤S114同样的方式，向外部装置发送规定信息。
此外，虽然所述变形例所涉及的情绪信息取得处理采用如下方式，即，由步骤S201的处理开始取得声音信息，并由步骤S207的处理从判断为与用户相关的信息或环境信息满足了规定的条件时起，至判断为经过了规定时间时为止的声音信息中，取得情绪信息，并由步骤S211的处理从向用户实施通知时起，至判断为经过了规定时间时为止的声音信息中，取得情绪信息的方式，但并不局限于此。例如，也可以采用如下方式，即，通过由步骤S201的处理，CPU101开始取得声音信息并且开始解析所取得的声音信息，从而与声音信息的取得一起实施情绪信息的取得。在该情况下，也可以不实施步骤S206的处理。此外，也可以采用如下方式，即，通过由步骤S207的处理，CPU101从所取得的情绪信息中，提取出从判断为与用户相关的信息或环境信息满足规定的条件时起至判断为经过了规定时间时为止的情绪信息，并取得所提取的情绪信息。此外，也可以采用如下方式，即，在实施步骤S206的处理的情况下，由步骤S211的处理，CPU101从所取得的情绪信息中，提取出从向用户实施了通知时起至判断为经过了规定时间时为止的情绪信息，并取得所提取出的情绪信息。
此外，虽然所述变形例所涉及的情绪信息取得处理采用了从步骤S201至步骤S213为止的声音信息的取得过程中，由步骤S207或S211取得情绪信息的方式，但并不局限于此。例如，也可以采用如下方式，即，由步骤S205的处理判断为经过了规定时间，之后，CPU101使表示从判断为与用户相关的信息或环境信息满足了规定的条件时起至判断为经过了规定时间时为止的期间的信息存储在存储部105中，而不实施步骤S206～S211的处理。并且，也可以采用如下方式，即，在步骤S213的处理之后的任意的定时，CPU101基于表示该期间的信息，来解析判断为与用户相关的信息或环境信息满足规定的条件时起至判断为经过了规定时间时为止的声音信息，并取得情绪信息。
此外，虽然采用在由所述步骤S206的处理判断为未存在声音输入的情况下CPU101实施步骤S208～S211的处理的方式，但并不局限于此。即，CPU101也可以在判断为不存在声音输入的情况下不实施步骤S208～S211的处理而实施步骤S212的处理。
此外，所述步骤S207的处理中采用了如下方式，即，基于与用户相关的信息或环境信息而确定的规定的定时，即，从判断为与用户相关的信息或环境信息满足了规定的条件时起至判断为经过了规定时间时为止的声音信息中，取得情绪信息，但并不局限于此。例如，也可以采用如下方式，即，由于在所述变形例所涉及的情绪信息取得处理中，预先开始取得声音信息，因此CPU101不仅在基于与用户相关的信息或环境信息而确定的规定的定时，而且分别从与该定时相比规定时间前、以及与该定时相比规定时间后的各声音信息取得情绪信息。由此，能够确认出随着时间经过的用户的情绪信息的推移。而且，也可以采用如下方式，即，CPU101基于从这些各声音信息中所取得的各情绪信息，取得综合的情绪信息。
(变形例的技术效果)
以上，根据变形例，由于CPU101预先开始取得声音信息，并从判断为与用户相关的信息或环境信息满足了规定的条件时的声音信息中取得情绪信息，因此不仅所述实施方式中所获得的技术效果，还能够更可靠地取得适于取得情绪信息的声音信息。
而且，根据变形例，在不实施对于用户的通知来取得情绪信息的情况下，能够防止通过实施该通知用户的情绪会发生轻微变化，从而能够取得更准确的情绪信息。
此外，CPU101分别从基于所取得的与用户相关的信息或环境信息所确定的规定的定时、与该定时相比规定时间前、以及与该定时相比规定时间后的各声音信息中取得情绪信息，在基于所取得的各情绪信息来取得综合的情绪信息的情况下，能够确认出该定时的前后一定期间中的综合的用户的情绪。此外，在该情况下，与仅从该定时的声音信息中取得情绪信息的情况相比，能够取得更准确地表示用户的情绪的情绪信息。
《其他》
另外，所述实施方式以及变形例中的表述为本发明所涉及的优选的情绪信息取得系统的一个示例，并不局限于此。
例如，虽然所述的实施方式以及变形例中采用了构成情绪信息取得系统100的智能手表1实施所述情绪信息取得处理的方式，但并不局限于此。例如，智能手机2等其他的终端装置也可以实施所述情绪信息取得处理，在该情况下，例如，也可以是智能手机2等其他的终端装置具备声音输入部、测量部。此外，例如，也可以是智能手表1与智能手机2等、终端装置彼此合作来实施所述情绪信息取得处理。此外，例如，也可以是智能手表1、智能手机2等终端装置与经由网络连接的服务器装置(图示省略)合作来实施所述情绪信息取得处理，在该情况下，例如，也可以是终端装置向服务器装置输出所取得的声音信息，并且服务器装置从所输入的声音信息中取得情绪信息并将其输出至终端装置。如此，在采用了由终端装置彼此、或终端装置以及服务器装置组成的系统的情况下，使哪一装置具备对用户的声音进行输入并转换成声音信息的声音输入单元、基于由声音输入单元所转换的声音信息来取得情绪信息的第一取得单元、取得与用户相关的信息或环境信息的第二取得单元等各单元，可根据情绪信息取得系统的构成进行任意地选择。
此外，也可以是被搭载在汽车等移动单元上的电子设备实施所述情绪信息取得处理。在该情况下，例如，也可以基于所取得的情绪信息对用户实施促使安全驾驶的通知等。
此外，虽然所述实施方式以及变形例中采用如下方式，即，智能手表1的CPU101基于由卫星电波接收模块108所取得的信息，取得与用户相关的信息、尤其是用户的当前位置信息，但并不局限于此。例如，也可以通过利用室内位置技术等，网络位置信息来取得当前位置信息。
此外，虽然在所述的实施方式以及变形例中采用如下方式进行通知，即，与用户相关的信息或环境信息满足了规定的条件时对于用户在显示部104上显示促使声音输入的画面，或者使输出部109输出促使声音输入的振动、声音，但并不局限于此。例如，CPU101还可以将声音、影像、纸介质等输出至智能手表1以外的外部设备，例如，智能手机2、未图示的音乐播放器、头戴式显示器、打印机等来进行通知。
此外，虽然所述的实施方式以及变形例中，采用以情绪信息为“痛苦·愤怒”、“焦虑”、“安然”以及“喜悦”这4类来表示用户的情绪，但并不局限于此。例如，情绪信息也可以采用以两个或三个分类来表示用户的情绪，还可以采用五个以上的分类来表示用户的情绪。此外，例如，情绪信息也可以以多种分类来表示用户的情绪，并且表示该情绪的强度。
此外，在所述的实施方式中公开了作为本发明所涉及的程序的计算机可读取介质而使用了硬盘、半导体的非易失性存储器等的示例，但并不局限于该示例。作为其他的计算机可读取介质，可应用CD-ROM等便携式记录介质。此外，作为经由通信线路来提供本发明所涉及的程序的数据的介质，还可应用载波。
对本发明的几个实施方式进行了说明，但本发明的范围并不局限于上述的实施方式，包括权利要求书所记载的发明的范围和其均等的范围。

Claims (9)

1.一种电子设备，其特征在于，具备：
声音输入单元，其输入用户的声音并转换成声音信息；
第一取得单元，其基于由所述声音输入单元所转换的声音信息来取得情绪信息；以及
第二取得单元，其取得与用户相关的信息或环境信息，
所述第一取得单元从基于由所述第二取得单元所取得的与用户相关的信息或环境信息而确定的规定的定时的声音信息中，取得情绪信息。
2.如权利要求1所述的电子设备，其特征在于，
还具备声音输入控制单元，所述声音输入控制单元基于由所述第二取得单元所取得的与用户相关的信息或环境信息，将所述声音输入单元设定为开启或关闭。
3.如权利要求1所述的电子设备，其特征在于，
所述第一取得单元，基于由所述第二取得单元所取得的与用户相关的信息或环境信息，根据判断为满足了预先设定的条件的定时，从声音信息中取得情绪信息。
4.如权利要求1至3中任一项所述的电子设备，其特征在于，
所述第二取得单元在每个规定期间取得与用户相关的信息，
所述第一取得单元，根据判断为由所述第二取得单元所取得的与用户相关的信息与过去所取得的与用户相关的信息不同的定时，从声音信息中取得情绪信息。
5.如权利要求1至3中任一项所述的电子设备，其特征在于，
还具备通知单元，所述通知单元基于由所述第二取得单元所取得的与用户相关的信息或环境信息，对用户实施促使向所述声音输入单元的声音输入的通知，
所述第一取得单元，根据由所述通知单元实施了通知的定时，从声音信息中取得情绪信息。
6.如权利要求1至3中任一项所述的电子设备，其特征在于，
所述第一取得单元，分别从基于由所述第二取得单元所取得的与用户相关的信息或环境信息而确定的规定的定时、与该定时相比规定时间前、以及与该定时相比规定时间后的各声音信息中取得情绪信息，并基于所取得的各情绪信息取得综合的情绪信息。
7.一种情绪信息取得系统，其特征在于，
所述情绪信息取得系统，由终端装置与经由网络而与所述终端装置连接的服务器装置组成，
所述情绪信息取得系统具备：
声音输入单元，其输入用户的声音并转换成声音信息；
第一取得单元，其基于由所述声音输入单元所转换的声音信息来取得情绪信息；以及
第二取得单元，其取得与用户相关的信息或环境信息，
所述第一取得单元，从基于由所述第二取得单元所取得的与用户相关的信息或环境信息而确定的规定的定时的声音信息中，取得情绪信息。
8.一种计算机可读取的存储介质，其特征在于，
所述计算机可读取存储介质存储使计算机作为声音输入单元、第一取得单元、以及第二取得单元来发挥作用的程序，
所述声音输入单元输入用户的声音并转换成声音信息，所述第一取得单元基于由所述声音输入单元所转换的声音信息来取得情绪信息，所述第二取得单元取得与用户相关的信息或环境信息，
所述第一取得单元，从基于由所述第二取得单元所取得的与用户相关的信息或环境信息而确定的规定的定时的声音信息中，取得情绪信息。
9.一种情绪信息取得方法，其特征在于，包括：
输入用户的声音并转换成声音信息的声音输入工序；
基于所转换的声音信息来取得情绪信息的第一取得工序；以及
取得与用户相关的信息或环境信息的第二取得工序，
在所述第一取得工序中，从基于由所述第二取得工序所取得的与用户相关的信息或环境信息而确定的规定的定时的声音信息中，取得情绪信息。
CN201810649657.9A 2017-06-23 2018-06-22 电子设备、情绪信息取得系统及取得方法、以及存储介质 Pending CN109147824A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-123200 2017-06-23
JP2017123200A JP7073640B2 (ja) 2017-06-23 2017-06-23 電子機器、感情情報取得システム、プログラム及び感情情報取得方法

Publications (1)

Publication Number Publication Date
CN109147824A true CN109147824A (zh) 2019-01-04

Family

ID=64692733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810649657.9A Pending CN109147824A (zh) 2017-06-23 2018-06-22 电子设备、情绪信息取得系统及取得方法、以及存储介质

Country Status (3)

Country Link
US (1) US10580433B2 (zh)
JP (1) JP7073640B2 (zh)
CN (1) CN109147824A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
KR102348693B1 (ko) * 2017-10-24 2022-01-10 삼성전자주식회사 어플리케이션 프로그램을 제어하는 전자 장치 및 그 제어 방법
AU2019376682A1 (en) 2018-11-09 2021-05-27 Akili Interactive Labs, Inc, Facial expression detection for screening and treatment of affective disorders

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1943218A (zh) * 2004-02-17 2007-04-04 语音信号科技公司 多模态嵌入界面的可替换定制的方法和设备
US20140052441A1 (en) * 2011-04-26 2014-02-20 Nec Casio Mobile Communications, Ltd. Input auxiliary apparatus, input auxiliary method, and program
WO2014181524A1 (ja) * 2013-05-09 2014-11-13 ソフトバンクモバイル株式会社 会話処理システム及びプログラム
US20140379352A1 (en) * 2013-06-20 2014-12-25 Suhas Gondi Portable assistive device for combating autism spectrum disorders
CN105726045A (zh) * 2016-01-28 2016-07-06 惠州Tcl移动通信有限公司 一种情绪监控方法及其移动终端
CN106528859A (zh) * 2016-11-30 2017-03-22 英华达（南京）科技有限公司 一种数据推送系统及方法
CN106843458A (zh) * 2016-12-12 2017-06-13 北京光年无限科技有限公司 一种用于智能机器人的人机交互方法及装置

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5765134A (en) * 1995-02-15 1998-06-09 Kehoe; Thomas David Method to electronically alter a speaker's emotional state and improve the performance of public speaking
JPH09292964A (ja) 1996-04-24 1997-11-11 Sanyo Electric Co Ltd オンライン情報システム
JP2003110703A (ja) 2001-10-02 2003-04-11 Sony Corp 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム
EP1300831B1 (en) * 2001-10-05 2005-12-07 Sony Deutschland GmbH Method for detecting emotions involving subspace specialists
US6959080B2 (en) * 2002-09-27 2005-10-25 Rockwell Electronic Commerce Technologies, Llc Method selecting actions or phases for an agent by analyzing conversation content and emotional inflection
JP3984207B2 (ja) * 2003-09-04 2007-10-03 株式会社東芝 音声認識評価装置、音声認識評価方法、及び音声認識評価プログラム
JP2005185630A (ja) 2003-12-26 2005-07-14 Casio Comput Co Ltd 養育補助装置、感情緩和制御装置及びプログラム
US8214214B2 (en) * 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
US7912720B1 (en) * 2005-07-20 2011-03-22 At&T Intellectual Property Ii, L.P. System and method for building emotional machines
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
US8150692B2 (en) * 2006-05-18 2012-04-03 Nuance Communications, Inc. Method and apparatus for recognizing a user personality trait based on a number of compound words used by the user
JP5225847B2 (ja) * 2006-09-08 2013-07-03 パナソニック株式会社 情報処理端末、音楽情報生成方法、およびプログラム
US8571853B2 (en) * 2007-02-11 2013-10-29 Nice Systems Ltd. Method and system for laughter detection
US8965762B2 (en) * 2007-02-16 2015-02-24 Industrial Technology Research Institute Bimodal emotion recognition method and system utilizing a support vector machine
JP5026887B2 (ja) 2007-08-10 2012-09-19 花王株式会社 感情を判定するための方法
SG151123A1 (en) * 2007-09-13 2009-04-30 St Electronics Training & Simu A decision analysis system
JP2009265852A (ja) 2008-04-23 2009-11-12 Sharp Corp 回答記憶携帯端末及び回答記憶方法
US20100041958A1 (en) * 2008-04-24 2010-02-18 Searete Llc Computational system and method for memory modification
US8259992B2 (en) * 2008-06-13 2012-09-04 International Business Machines Corporation Multiple audio/video data stream simulation method and system
JP4900739B2 (ja) * 2009-09-04 2012-03-21 カシオ計算機株式会社 電子写真立て、その制御方法及びプログラム
US8417524B2 (en) * 2010-02-11 2013-04-09 International Business Machines Corporation Analysis of the temporal evolution of emotions in an audio interaction in a service delivery environment
US20110282662A1 (en) * 2010-05-11 2011-11-17 Seiko Epson Corporation Customer Service Data Recording Device, Customer Service Data Recording Method, and Recording Medium
US9058816B2 (en) * 2010-07-06 2015-06-16 Rmit University Emotional and/or psychiatric state detection
WO2012089906A1 (en) * 2010-12-30 2012-07-05 Nokia Corporation Method, apparatus and computer program product for emotion detection
US20120209606A1 (en) * 2011-02-14 2012-08-16 Nice Systems Ltd. Method and apparatus for information extraction from interactions
WO2012120656A1 (ja) * 2011-03-08 2012-09-13 富士通株式会社 通話支援装置、通話支援方法
EP2707872A2 (en) * 2011-05-12 2014-03-19 Johnson Controls Technology Company Adaptive voice recognition systems and methods
CN102332263B (zh) * 2011-09-23 2012-11-07 浙江大学 一种基于近邻原则合成情感模型的说话人识别方法
JP5772448B2 (ja) * 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析システムおよび音声解析装置
KR101850026B1 (ko) * 2011-11-07 2018-04-24 한국전자통신연구원 음성 인식 단문 메시지 서비스 기반의 사용자 맞춤 광고 장치, 및 음성 인식 단문 메시지 서비스 기반의 사용자 맞춤 광고 노출 방법
CN103543979A (zh) * 2012-07-17 2014-01-29 联想(北京)有限公司 一种输出语音的方法、语音交互的方法及电子设备
US9020822B2 (en) * 2012-10-19 2015-04-28 Sony Computer Entertainment Inc. Emotion recognition using auditory attention cues extracted from users voice
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
TWI489451B (zh) * 2012-12-13 2015-06-21 Univ Nat Chiao Tung 基於語音情感辨識之音樂播放系統及其方法
JP2014123239A (ja) 2012-12-21 2014-07-03 Hitachi Ltd 渋滞情報配信システム、サーバ、車載端末、及びプログラム
KR102050897B1 (ko) * 2013-02-07 2019-12-02 삼성전자주식회사 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법
US20150154002A1 (en) * 2013-12-04 2015-06-04 Google Inc. User interface customization based on speaker characteristics
US20150287403A1 (en) * 2014-04-07 2015-10-08 Neta Holzer Zaslansky Device, system, and method of automatically generating an animated content-item
US9412393B2 (en) * 2014-04-24 2016-08-09 International Business Machines Corporation Speech effectiveness rating
WO2015168606A1 (en) * 2014-05-02 2015-11-05 The Regents Of The University Of Michigan Mood monitoring of bipolar disorder using speech analysis
EP3591577A1 (en) * 2014-05-22 2020-01-08 Sony Corporation Information processing apparatus, information processing method, and program
US9652678B2 (en) * 2014-05-23 2017-05-16 Samsung Electronics Co., Ltd. Method and device for reproducing content
JP6053847B2 (ja) 2014-06-05 2016-12-27 Ｃｏｃｏｒｏ Ｓｂ株式会社 行動制御システム、システム及びプログラム
CN105615902A (zh) * 2014-11-06 2016-06-01 北京三星通信技术研究有限公司 情绪监控方法和装置
US9533687B2 (en) * 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US9916846B2 (en) * 2015-02-10 2018-03-13 Nice Ltd. Method and system for speech detection
WO2016133319A1 (en) * 2015-02-16 2016-08-25 Samsung Electronics Co., Ltd. Method and device for providing information
CN106161990B (zh) * 2015-04-28 2019-11-12 腾讯科技（北京）有限公司 一种图像处理方法和装置
WO2016195474A1 (en) * 2015-05-29 2016-12-08 Charles Vincent Albert Method for analysing comprehensive state of a subject
KR102344063B1 (ko) * 2015-06-29 2021-12-28 엘지전자 주식회사 이동 단말기
KR20170027999A (ko) * 2015-09-03 2017-03-13 삼성전자주식회사 사용자 단말 장치, 시스템 및 그 제어 방법
JPWO2017064891A1 (ja) * 2015-10-13 2018-08-02 ソニー株式会社 情報処理システム、情報処理方法、および記憶媒体
KR102453603B1 (ko) * 2015-11-10 2022-10-12 삼성전자주식회사 전자 장치 및 그 제어 방법
US10755704B2 (en) * 2015-11-17 2020-08-25 Sony Interactive Entertainment Inc. Information processing apparatus
CN105334743B (zh) * 2015-11-18 2018-10-26 深圳创维－Rgb电子有限公司 一种基于情感识别的智能家居控制方法及其系统
US9711056B1 (en) * 2016-03-14 2017-07-18 Fuvi Cognitive Network Corp. Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills
US9836055B1 (en) * 2016-06-03 2017-12-05 Internaitonal Business Machines Corporation Mobile audio input device controller
US20170351330A1 (en) * 2016-06-06 2017-12-07 John C. Gordon Communicating Information Via A Computer-Implemented Agent
US10726836B2 (en) * 2016-08-12 2020-07-28 Kt Corporation Providing audio and video feedback with character based on voice command
US10074368B2 (en) * 2016-08-17 2018-09-11 International Business Machines Corporation Personalized situation awareness using human emotions and incident properties
US11086391B2 (en) * 2016-11-30 2021-08-10 At&T Intellectual Property I, L.P. Methods, and devices for generating a user experience based on the stored user information
WO2018119924A1 (zh) * 2016-12-29 2018-07-05 华为技术有限公司 一种调节用户情绪的方法及装置
CN107053191B (zh) * 2016-12-31 2020-05-08 华为技术有限公司 一种机器人，服务器及人机互动方法
JP6863779B2 (ja) 2017-03-09 2021-04-21 東京都公立大学法人 ドアシステム、およびドアシステムを用いた監視方法
JP6922284B2 (ja) * 2017-03-15 2021-08-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
KR102363794B1 (ko) * 2017-03-31 2022-02-16 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1943218A (zh) * 2004-02-17 2007-04-04 语音信号科技公司 多模态嵌入界面的可替换定制的方法和设备
US20140052441A1 (en) * 2011-04-26 2014-02-20 Nec Casio Mobile Communications, Ltd. Input auxiliary apparatus, input auxiliary method, and program
WO2014181524A1 (ja) * 2013-05-09 2014-11-13 ソフトバンクモバイル株式会社 会話処理システム及びプログラム
US20140379352A1 (en) * 2013-06-20 2014-12-25 Suhas Gondi Portable assistive device for combating autism spectrum disorders
CN105726045A (zh) * 2016-01-28 2016-07-06 惠州Tcl移动通信有限公司 一种情绪监控方法及其移动终端
CN106528859A (zh) * 2016-11-30 2017-03-22 英华达（南京）科技有限公司 一种数据推送系统及方法
CN106843458A (zh) * 2016-12-12 2017-06-13 北京光年无限科技有限公司 一种用于智能机器人的人机交互方法及装置

Also Published As

Publication number Publication date
US20180374498A1 (en) 2018-12-27
JP2019008113A (ja) 2019-01-17
US10580433B2 (en) 2020-03-03
JP7073640B2 (ja) 2022-05-24

Similar Documents

Publication Publication Date Title
US8581954B2 (en) Mobile communication terminal that delivers vibration information, and method thereof
CN104506649B (zh) 通知消息推送方法及装置
CN108319657B (zh) 检测强节奏点的方法、存储介质和终端
RU2629427C1 (ru) Способ и устройство для трансляции информации
CN105389304B (zh) 事件提取方法及装置
CN109147824A (zh) 电子设备、情绪信息取得系统及取得方法、以及存储介质
CN105072242B (zh) 一种语音提示的方法及移动终端
JP2014529368A (ja) デスクトップにアプリケーションコンポーネントを自動表示する方法及び装置
CN104184887A (zh) 消息提醒方法、装置及终端设备
JP6134411B1 (ja) 情報処理装置、情報処理システム、情報処理方法、および、情報処理プログラム
CN101739384A (zh) 多功能电子装置及其使用方法
CN105406882A (zh) 终端设备控制方法及装置
CN105532634A (zh) 超声波驱蚊方法、装置及系统
CN105336107A (zh) 震动报警方法及装置
CN105141758A (zh) 终端控制方法及装置
CN111723855A (zh) 一种学习知识点的显示方法、终端设备及存储介质
CN109246291A (zh) 移动终端和睡眠提醒方法、装置
CN106817492A (zh) 红包活动提醒的方法和装置
CN106354571A (zh) 消息提醒方法及装置
CN111327914A (zh) 一种互动方法和相关装置
JP2017211948A (ja) 収集装置、収集方法、及び収集プログラム
CN113672303A (zh) 一种应用程序启动方法、电子设备、存储介质
CN110399474B (zh) 一种智能对话方法、装置、设备及存储介质
CN104364736A (zh) 电子设备
CN106603650B (zh) 共享位置信息的方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination