CN113532464A - 控制方法、个人认证装置和记录介质 - Google Patents

控制方法、个人认证装置和记录介质 Download PDF

Info

Publication number
CN113532464A
CN113532464A CN202110834437.5A CN202110834437A CN113532464A CN 113532464 A CN113532464 A CN 113532464A CN 202110834437 A CN202110834437 A CN 202110834437A CN 113532464 A CN113532464 A CN 113532464A
Authority
CN
China
Prior art keywords
information
emotion
user
unit
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110834437.5A
Other languages
English (en)
Inventor
米田亚旗
楠龟弘一
式井慎一
N·塞拉万
内田真司
伊藤达男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN113532464A publication Critical patent/CN113532464A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484—Personalized, e.g. from learned user behaviour or user-defined profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures

Abstract

本发明提供基于推定出的情绪而提示更适合于用户的信息的控制方法、个人认证装置和记录介质。本发明的一技术方案涉及的控制方法，是存储有预定用户的认证信息的个人认证装置的控制方法，包括：基于由传感器取得的物理量来推定对象用户怀有的情绪；基于由传感器取得的物理量或由提示部向所述对象用户提示的提示信息，生成确定使所述对象用户产生推定出的所述情绪的对象物的确定信息；基于推定出的所述情绪、生成的所述确定信息、以及所述预定用户的认证信息，判定所述对象用户是否为所述预定用户。

Description

控制方法、个人认证装置和记录介质
本申请是于2016年8月29日提交的申请号为201610756340.6、名称为“信息提示装置的控制方法和信息提示装置”的专利申请的分案申请。
技术领域
本发明涉及控制方法、个人认证装置和记录介质。
背景技术
已公开有如下的装置：预先给予被试验者刺激，学习被试验者对于所给予的刺激的生物信息的变化，并基于学习到的生物信息的变化来推定被试验者的心理状态(参照专利文献1)。
在先技术文献
专利文献1：日本特开2009-18047号公报
发明内容
但是，专利文献1所公开的装置停留在推定被试验者的心理状态。由于仅是推定被试验者的心理状态的话，使用户等成为该心理状态的对象是不清楚的，因此存在能够向用户等提供的服务受到了限定这一问题。
所以，本发明提供一种基于推定出的情绪而提示更适合于用户的信息的控制方法等。
本发明的一技术方案涉及的控制方法，是存储有预定用户的认证信息的个人认证装置的控制方法，包括：基于由传感器取得的物理量来推定对象用户怀有的情绪；基于由传感器取得的物理量或由提示部向所述对象用户提示的提示信息，生成确定使所述对象用户产生推定出的所述情绪的对象物的确定信息；基于推定出的所述情绪、生成的所述确定信息、以及所述预定用户的认证信息，判定所述对象用户是否为所述预定用户。
再者，这些概括或具体的技术方案，既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质而实现，也可以通过系统、方法、集成电路、计算机程序和记录介质的任意组合而实现。
本发明的控制方法能够基于推定出的情绪而提示更适合于用户的信息。
附图说明
图1是表示实施方式1中的信息提示装置的功能模块的框图。
图2是表示实施方式1中的信息提示装置的控制方法的流程图。
图3是表示实施方式2中的信息提示装置的使用场景的说明图。
图4是表示实施方式2中的信息提示装置的功能模块的框图。
图5是表示实施方式2中的信息提示装置的控制方法的流程图。
图6是表示实施方式2中的信息提示装置的动作的决定所使用的动作决定表的说明图。
图7是表示实施方式3中的信息提示装置的使用场景的说明图。
图8是表示实施方式3中的信息提示装置的功能模块的框图。
图9是表示实施方式3中的信息提示装置的控制方法的流程图。
图10是表示实施方式3中的顾客状况的分析方法的说明图。
图11是表示实施方式3中的顾客状况表的说明图。
图12是表示实施方式3中的待客方针的说明图。
图13是表示实施方式3中的待客方针的提示的一例的说明图。
图14是表示实施方式3中的信息提示装置的使用场景的变形例的说明图。
图15是表示实施方式4中的信息提示装置的使用场景的说明图。
图16是表示实施方式4中的信息提示装置的功能模块的框图。
图17是表示实施方式4中的信息提示装置的控制方法的流程图。
图18是表示实施方式4中的偏好向量的导出方法的说明图。
图19是表示实施方式4中的食物的决定方法的说明图。
图20是表示实施方式4中的食物的提示的一例的说明图。
图21是表示实施方式5中的信息提示装置的使用场景的说明图。
图22是表示实施方式5中的信息提示装置的功能模块的框图。
图23是表示实施方式5中的信息提示装置的控制方法的流程图。
图24是表示实施方式5中的语言选择表的一例的说明图。
图25是表示实施方式5中的语言选择表的变形例的说明图。
标号说明
1、2、3、3A、4、5 信息提示装置
10、12 传感器
11、11A、11B、11C、11D 情绪推定部
13、13A、13B、13C、13D 对象确定部
14、14A、14B、14C、14D 控制部
16 提示部
20 摄像头
22 道路状况取得部
24、44 心情推定部
26 动作决定部
28 引导生成部
42 摄像头位置取得部
46 方针决定部
51 商品
51A、53A 图像
53 价格显示
55 图表
57、71、73 文字列
62 偏好判定部
64 食物决定部
80 人种确定部
82 理解度判定部
84 语言决定部
DA、DB 餐具
P 点
T1 动作决定表
T2 心情表
T3 提示信息表
T4、T5 语言选择表
U 用户
具体实施方式
本发明的一技术方案涉及的信息提示装置的控制方法，基于由传感器取得的物理量来推定用户怀有的情绪，基于由传感器取得的物理量或由所述信息提示装置具备的提示部向所述用户提示的信息，生成确定使所述用户产生推定出的所述情绪的对象的确定信息，使用通过执行预定处理而取得的信息来控制由所述信息提示装置进行的提示，所述预定处理使用了推定出的所述情绪和生成的所述确定信息。
根据上述技术方案，信息提示装置取得用户的情绪和使用户怀有该情绪的对象，并基于这些而进行信息的提示。在此，信息提示装置不仅取得用户的情绪，还取得使用户怀有该情绪的对象，因此与仅取得用户的情绪的情况相比，能够向用户提示更合适的信息。像这样，信息提示装置能够基于推定出的情绪而提示更适合于用户的信息。
再者，可设想一种推定由预定对象引起的用户的情绪的装置。但是，这样的装置仅推定用户对于预定对象的情绪，也就是不推定对于上述对象以外的对象的情绪，因此仍然没有改变所能提供的服务受到限定。本发明涉及的信息提示装置能够推定用户的情绪并进行确定其对象的处理，基于该情绪和对象而向用户提示更合适的信息。
例如可以设置成：在所述预定处理的执行中，通过执行选择处理或生成处理而取得所述信息，所述选择处理从人怀有的情绪和使该人产生所述情绪的对象的1个以上的组分别与候选信息相关联的表中选择一个信息，所述生成处理使用所述用户怀有的情绪和所述对象而生成信息。
根据上述技术方案，信息提示装置能够使用选择处理或生成处理而更具体地生成用于控制提示的信息。
例如可以设置成：所述情绪包含正面情绪和负面情绪，在所述预定处理的执行中，在推定出的所述情绪为负面情绪时，取得为了消除所述对象而向所述用户提示的提示信息，在推定出的所述情绪为正面情绪时，取得为了维持所述情绪而向所述用户提示的提示信息，在所述提示的控制中，将取得的所述提示信息通过所述信息提示装置进行提示。
根据上述技术方案，信息提示装置基于用户的情绪及其对象，向用户提示用于改变或维持用户情绪的信息。具体而言，在认为用户的情绪为负面、且用户不适于维持该情绪的情况下，向用户提示用于消除使用户产生该情绪的对象的信息。另一方面，在认为用户的情绪为正面、且用户适于维持该情绪的情况下，向用户提示用于维持用户情绪的信息。像这样，信息提示装置能够提示更适合于用户的信息。
例如可以设置成：所述信息提示装置为车辆的导航装置，所述导航装置具备存储有表的存储器，在所述表中，人怀有的情绪和表示作为所述对象的该人的视线方向的信息的1个以上的组分别与关于所述导航装置的路线引导或语音输出的控制信息相关联，在所述确定信息的生成中，基于根据由作为所述传感器的摄像头取得的作为所述物理量的图像而得到的表示所述用户视线方向的信息，生成确定所述对象的所述确定信息，在所述预定处理的执行中，通过选择在所述表中与推定出的所述情绪和由生成的所述确定信息确定的所述对象的组相关联的所述控制信息，取得所述信息，在所述提示的控制中，依照选择出的所述控制信息来控制所述导航装置的路线引导或语音输出。
根据上述实施方式，信息提示装置作为车辆的导航装置，向用户提示基于用户的情绪和视线方向而取得的信息。一般而言，用户的视线朝向作为引起该情绪的对象的事物。由此，通过不仅确定用户的情绪，还根据用户的视线方向确定使用户怀有该情绪的对象，与仅推定该情绪的情况相比，能够提示更合适的信息。
例如可以设置成：在所述表中，将所述导航装置的所述控制信息，与所述人怀有的所述情绪、表示所述人的视线方向的所述信息、以及由所述导航装置取得的关于道路状况的信息的组相关联，在所述预定处理中，由所述导航装置取得关于道路状况的道路信息，通过选择在所述表中与推定出的所述情绪、由生成的所述确定信息确定的所述对象、以及取得的所述道路信息的组相关联的所述控制信息，取得所述控制信息。
根据上述技术方案，信息提示装置除了用户的情绪和视线方向以外，还能够基于道路状况而向用户提示合适的信息。
例如可以设置成：所述对象是商品的性质和所述商品的价格的每一个，在所述确定信息的生成中，基于根据由作为所述传感器的摄像头取得的作为所述物理量的图像而得到的所述用户的视线延长线上是否存在所述商品或所述商品的价格显示，生成表示所述性质和所述价格之中的一者的所述确定信息，在所述预定处理的执行中，基于推定出的所述情绪和生成的所述确定信息而生成用于促进所述用户的购买行为的提示信息，由此取得所述信息，在所述提示的控制中，将生成的所述提示信息进行提示。
根据上述技术方案，信息提示装置作为提示待客方针的装置，向用户提示基于用户对商品的性质和价格显示的情绪而取得的信息。一般而言，在用户对商品的性质和价格分别满意的情况下会进行购买行为，而如果对商品的性质和价格的任一者或两者不满意则不会产生购买行为。因此具有下述优点：能够通过分析用户对于商品的性质和价格的情绪，生成促进购买行为的信息，从而引导用户的购买行为。
例如可以设置成：在所述情绪的推定和所述确定信息的生成中，(a)推定所述用户对于作为所述对象的所述性质而怀有的满意度来作为所述情绪，并且生成表示所述性质的所述确定信息，(b)推定所述用户对于作为所述对象的所述价格而怀有的满意度来作为所述情绪，并且生成表示所述价格的所述确定信息，在所述预定处理的执行中，基于通过所述(a)和所述(b)分别推定出的所述情绪和生成的所述确定信息，生成为了促进所述用户的购买行为而应该向所述用户提示的提示信息。
根据上述技术方案，信息提示装置基于用户对于商品的性质和价格显示的满意度，取得能够使用户对于不满意的商品的性质和/或价格显示感到满意的信息并向用户提供。由此，能够具体地引导用户的购买行为。
例如可以设置成：所述对象是多个第一食物的每一个，在所述情绪的推定中，对于所述多个第一食物的每一个推定所述用户怀有的好感度来作为所述情绪，在所述确定信息的生成中，生成根据由作为所述传感器的摄像头取得的作为所述物理量的图像而得到的、表示所述用户吃了所述多个第一食物之中的哪一个的信息来作为所述确定信息，在所述预定处理的执行中，通过生成更优先包含作为向所述用户提供的候选的多个第二食物之中、属性接近根据所述用户怀有的好感度而算出的所述用户的偏好的第二食物的提示信息，取得所述信息，在所述提示的控制中，将生成的所述提示信息进行提示。
根据上述技术方案，信息提示装置作为将向用户提供的食物进行提示的装置，基于用户的情绪和用户吃的食物来分析用户的偏好，将表示比较接近用户偏好的食物的信息向用户提示。由此，信息提示装置能够使用户的情绪良好。
例如可以设置成：所述信息提示装置具备存储器，所述存储器存储有所述多个第一食物各自的每个属性的属性值，在所述预定处理的执行中，基于所述用户对所述多个第一食物分别怀有的好感度，导出将所述多个第一食物各自的每个属性的用户的偏好作为各成分的偏好向量，生成更优先包含所述多个第二食物之中、将该第二食物的每个属性的属性值作为各成分的属性向量与所述偏好向量的内积值小的第二食物的所述提示信息。
根据上述技术方案，信息提示装置能够通过使用了食物的每个属性的属性值的向量运算，具体分析用户的偏好并决定提供的食物。
例如可以设置成：所述对象是通过所述提示部的语音输出而向所述用户提示的一种语言的语音数据，在所述情绪的推定中，推定所述用户对于所述提示部提示的所述语音数据而表现出的理解度来作为所述情绪，在所述确定信息的生成中，生成确定所述提示部提示的所述语音数据的信息来作为所述确定信息，在所述预定处理的执行中，在推定出的所述理解度低于预定的情况下取得与所述一种语言不同的语言的语音数据，在所述提示的控制中，将取得的该语音数据通过所述提示部进行语音输出。
根据上述技术方案，信息提示装置能够作为进行多种语言的语音向导的装置，基于用户对于语言的情绪，决定用户能够理解的语音而进行语音向导。在此，能够通过使用所推定的用户对于信息提示装置向用户提示的语言的情绪，更适当地判定用户能够理解的语言。
例如可以设置成：所述信息提示装置具备存储器，所述存储器存储有分别是一种语言的语音引导数据的多个语音引导数据，在所述预定处理的执行中，(a)在推定出的所述理解度低于预定的情况下，通过选择所述存储器中存储的所述多个语音引导数据之中、与所述提示部提示的所述语音引导数据的所述一种语言不同的语言的语音引导数据来确定语音引导数据，(b)在推定出的所述理解度为预定以上的情况下，判定为所述提示部提示的所述一种语言是所述用户能够理解的语言。
根据上述技术方案，信息提示装置能够基于用户对于语言的理解度来具体判定用户能够理解的语言。
另外，本发明的一技术方案涉及的信息提示装置，具备：情绪推定部，其基于由传感器取得的物理量来推定用户怀有的情绪；对象确定部，其基于由传感器取得的物理量或由所述信息提示装置向所述用户提示的信息，生成确定使所述用户产生推定出的所述情绪的对象的确定信息；以及控制部，其使用通过执行预定处理而取得的信息来控制由所述信息提示装置进行的提示，所述预定处理使用了推定出的所述情绪和生成的所述确定信息。
由此，发挥与上述同样的效果。
再者，这些概括或具体的技术方案，既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质而实现，也可以通过系统、方法、集成电路、计算机程序或记录介质的任意组合而实现。
以下，参照附图对实施方式进行具体说明。
再者，以下说明的实施方式都表示概括或具体的例子。以下的实施方式中所示的数值、形状、材料、构成要素、构成要素的配置位置和连接方式、步骤、步骤的顺序等只是一例，其主旨并不限定本发明。另外，对于以下的实施方式中的构成要素之中表示最上位概念的独立权利要求没有记载的构成要素，作为任意的构成要素进行说明。
(实施方式1)
在实施方式1中，对基于推定出的情绪而提示更适合于用户的信息的信息提示装置等进行说明。
图1是表示本实施方式中的信息提示装置1的功能模块的框图。
如图1所示，信息提示装置1具备情绪推定部11、对象确定部13、控制部14和提示部16。另外，信息提示装置1可以具备传感器10和12。
传感器10是情绪推定部11所使用的传感器的一例，具体例有通过可见光或红外线拍摄而取得图像的摄像头、心率计、血压计等。再者，传感器10不是信息提示装置1必需的结构。
情绪推定部11是基于由传感器取得的物理量来推定用户U怀有的情绪的处理部。情绪推定部11在上述中使用的传感器例如为传感器10，但不限定于此。情绪推定部11可以从信息提示装置1的外部取得由传感器取得的物理量。情绪推定部11例如可对通过传感器的摄像头拍摄而取得的作为物理量的图像中的用户U的表情进行分析，由此推定用户U怀有的情绪。在此，通过分析表情(更具体而言为眼睛、嘴和鼻子等部位的特征点的位置)而得到情绪的方法可采用公知技术。
传感器12是对象确定部13使用的传感器的一例，具体例为通过可见光或红外光拍摄而取得图像的摄像头。再者，传感器12不是信息提示装置1必需的结构。
对象确定部13是基于由传感器取得的物理量或由信息提示装置1具备的提示部16向用户U提示的信息，确定使用户U产生情绪推定部11推定出的上述情绪的对象的处理部。再者，对象确定部13在上述中使用的传感器例如为传感器12，但不限定于此。对象确定部13可以从信息提示装置1的外部取得由传感器取得的物理量。对象确定部13例如对通过作为传感器的摄像头的拍摄而取得的作为物理量的图像中的用户U的视线方向进行分析，由此确定上述对象。在此，基于图像来分析用户U的视线方向的方法可采用公知技术。
控制部14是使用通过执行预定处理而取得的信息来对信息提示装置1的提示、即提示部16的提示进行控制的处理部，所述预定处理使用了情绪推定部11推定出的上述情绪和对象确定部13生成的上述确定信息。
提示部16是基于控制部14的控制而进行预定信息的提示的输出接口。具体而言，提示部16通过显示画面(未图示)的图像的显示或扬声器的语音的输出而进行提示。
再者，情绪推定部11、对象确定部13、控制部14和提示部16的一部分或全部，既可以通过信息提示装置1具备的处理器(未图示)执行程序而以软件实现，也可以通过专用电路而以硬件实现。另外，上述构成要素用于处理的信息，存储于信息提示装置1所具备的存储器(memory，未图示)或存储件(storage，未图示)。
图2是表示本实施方式中的信息提示装置1的控制方法的流程图。
在步骤S101中，传感器10取得物理量。再者，也可以使用信息提示装置1的外部的传感器来代替传感器10，该情况下，在本步骤中，信息提示装置1取得由外部的传感器取得的物理量。
在步骤S102中，情绪推定部11基于由传感器10(或外部的传感器)取得的物理量来推定用户怀有的情绪。
在步骤S103中，传感器12取得物理量。再者，与上述同样地，可以使用信息提示装置1的外部的传感器来代替传感器12，该情况下，在本步骤中，信息提示装置1取得由外部的传感器取得的物理量。
在步骤S104中，对象确定部13基于由传感器12(或外部的传感器)取得的物理量或由提示部16向用户U提示的信息，生成确定使用户U产生在步骤S102中推定出的上述情绪的对象的确定信息。
在步骤S105中，使用通过执行预定处理而取得的信息来控制由信息提示装置1进行的提示，所述预定处理使用了在步骤S102中推定出的上述情绪和在步骤S104中生成的上述确定信息。
再者，在上述预定处理的执行中，可以取得用于使用户U的情绪从推定出的情绪变化或维持的提示信息来作为上述信息。该情况下，在上述提示的控制中，将取得的提示信息通过信息提示装置1(提示部16)进行提示。
另外，在上述预定处理的执行中，可以通过执行选择处理或生成处理而取得上述信息，所述选择处理从人怀有的情绪和使该人产生情绪的对象的1个以上的组分别与候选信息相关联的表中选择一个信息，所述生成处理使用人怀有的情绪和上述对象而生成信息。在上述生成处理中，采用预定的算法并使用人怀有的情绪和上述对象而生成信息。
另外，上述情绪包括正面情绪和负面情绪，在上述预定处理的执行中，可以在推定出的情绪为负面情绪时，取得为了消除对象而向用户U提示的提示信息，在推定出的情绪为正面情绪时，取得为了维持情绪而向用户U提示的提示信息。该情况下，在上述提示的控制中，可以将取得的提示信息通过信息提示装置1进行提示。“为了消除对象而向用户U提示的提示信息”也可以称为“用于使用户U的负面情绪转变为正面情绪的信息”。
如以上那样，本实施方式的信息提示装置1取得用户的情绪和使用户产生该情绪的对象，进行基于这些的信息的提示。在此，信息提示装置1不仅取得用户的情绪，还取得使用户产生该情绪的对象，因此与仅取得用户情绪的情况相比，能够向用户提示更合适的信息。像这样，信息提示装置1能够基于推定出的情绪而提示更适合于用户的信息。
另外，信息提示装置1能够利用选择处理或生成处理而更具体地生成用于控制提示的信息。
另外，信息提示装置1基于用户的情绪及其对象，向用户提示用于改变或维持用户情绪的信息。具体而言，在认为用户的情绪为负面、且用户不适于维持该情绪的情况下，向用户提示用于消除使用户产生该情绪的对象的信息。另一方面，在认为用户的情绪为正面、且用户适于维持该情绪的情况下，向用户提示用于维持用户情绪的信息。像这样，信息提示装置1能够提示更适合于用户的信息。
(实施方式2)
在实施方式2中，对基于推定出的情绪而提示更适合于用户的信息的信息提示装置等进行更具体的说明。本实施方式的信息提示装置2是将实施方式1的信息提示装置1中的结构和处理应用于车辆的导航装置的例子。
图3是表示本实施方式中的信息提示装置2的使用场景的说明图。图4是表示本实施方式中的信息提示装置2的功能模块的框图。
信息提示装置2如图3所示推定驾驶员即用户U的情绪，并且基于用户U的视线方向来确定使用户U产生该情绪的对象，向用户U提示合适的信息。该信息既可以是在用户U的情绪为负面情绪时用于转变负面情绪的信息，也可以是在用户U的情绪为正面情绪时用于维持该情绪的信息。
如图3所示，信息提示装置2具备情绪推定部11A、对象确定部13A、控制部14A、提示部16、摄像头20和道路状况取得部22。再者，情绪推定部11A、对象确定部13A、控制部14A和摄像头20分别是信息提示装置1的情绪推定部11、对象确定部13、控制部14和传感器10和12的具体例。
摄像头20是拍摄用户U的脸部的可见光摄像头或红外线摄像头(参照图3)。摄像头20作为取得作为物理量的图像的传感器发挥作用。
情绪推定部11A是基于作为传感器的摄像头20取得的图像中的用户U的表情来推定用户U怀有的情绪的处理部。在此，用户U怀有的情绪包括正面情绪和负面情绪。正面情绪是表示健康活跃的状态的情绪，具体有清醒、兴奋或幸福之类的情绪。负面情绪是正面情绪的相反情绪，是表示没有活力的消极状态的情绪，具体有愤怒、悲伤或恐惧之类的情绪。
对象确定部13A是基于作为传感器的摄像头20取得的图像来确定使用户U产生情绪推定部11A推定出的情绪的对象的处理部。更具体而言，对象确定部13A取得用户U的视线方向作为上述对象。对象确定部13A例如在提取了由摄像头取得的图像中的用户U的脸部之后，通过分析用户U的脸部朝向和眼球的位置来确定用户U的视线方向。该情况下，用户U的视线指向的事物被确定为上述对象。视线方向例如判定为向下、向前或向旁边的任一种。向下相当于用户U注视导航装置的显示屏的情况，向前相当于用户U注视车辆的行进方向的情况，向旁边相当于用户U注视景色或副驾驶席的情况。在此，根据图像中的脸的朝向和眼球的位置而得到视线方向的方法可采用公知技术。
控制部14A是使用通过执行预定处理而取得的信息来对提示部16的提示进行控制的处理部，所述预定处理使用了情绪推定部11A推定出的情绪和对象确定部13A生成的确定信息。控制部14A具备心情推定部24、动作决定部26和引导生成部28作为其内部结构。
心情推定部24是推定用户U的心情的处理部。心情推定部24基于情绪推定部11A推定出的用户U的情绪、对象确定部13A生成的确定信息以及道路状况取得部22取得的拥堵信息来推定用户U的心情。
动作决定部26是基于心情推定部24推定出的用户U的心情而决定信息提示装置2(导航装置)进行的动作的处理部。动作决定部26使用存储器存储的动作决定表T1来决定例如路线引导或语音输出等动作。
引导生成部28是基于动作决定部26的控制而生成车辆的路线引导信息的处理部。引导生成部28基于存储的地图数据和由GPS(全球定位系统；Global Positioning System)等取得的当前位置信息，生成对车辆此后行进的道路进行引导的引导信息。
提示部16是基于控制部14A的控制而进行预定信息的显示或语音输出的输出接口。提示部16具体为导航装置的显示屏即液晶显示器。
道路状况取得部22是从外部取得表示车辆周围道路的状况(也称为道路状况)的信息的处理部。车辆周围道路的状况具体为包含车辆周围道路是否堵塞、车辆当前行驶的道路的宽度、位于车辆周围的地标、以及车辆周围街道的种类(商业区或餐饮区等)等的信息。道路状况取得部22例如能够通过VICS(注册商标)(道路交通情报通信系统；VehicleInformation and Communication System)取得拥堵信息。另外，能够基于存储的地图数据和由GPS等取得的当前位置信息而取得道路的宽度、地标和街道种类等信息。
以下，对如以上那样构成的信息提示装置2的处理进行说明。
图5是表示本实施方式中的信息提示装置2的控制方法的流程图。图6是表示用于决定本实施方式中的信息提示装置2的动作的动作决定表T1的说明图。参照这些附图来说明信息提示装置2的动作。
在步骤S201中，通过摄像头20的拍摄取得包含用户U的脸部的图像。
在步骤S202中，情绪推定部11A根据摄像头20取得的图像中的用户U的表情来推定用户U怀有的情绪。
在步骤S203中，对象确定部13A基于摄像头20取得的图像中的用户U的视线方向而生成确定用户U的情绪的对象的确定信息。
在步骤S204中，道路状况取得部22取得车辆周围道路的状况。
在步骤S205中，心情推定部24基于在步骤S201中推定出的用户U的情绪、在步骤S202中生成的确定信息、以及在步骤S204中取得的道路状况，使用动作决定表T1来推定用户U的心情(参照图6)。
如图6所示，在动作决定表T1中，相对于人即驾驶员的情绪(负面或正面)、驾驶员的视线方向(向下、向前或向旁边)和道路状况的组，将推定出的该驾驶员的心情与动作决定部26决定的动作预先关联。作为驾驶员的视线方向的向下、向前或向旁边分别对应于作为引起驾驶员的情绪的对象的导航装置的显示屏(信息提示装置2的提示部16)、行进方向的风景或周围的状况。
例如，驾驶员具有负面情绪，视线向下，且道路拥堵中，与“讨厌堵车。没有其它路线吗？”这样的心情相关联，并且与“近路的探索”这样的动作相关联。
心情推定部24在取得情绪推定部11A推定出的用户U的情绪、对象确定部13A确定的用户U的视线方向(相下、向前或向侧面)和道路状况取得部22确定的道路状况时，选择在动作决定表T1中与它们的组相关联的心情，从而推定用户U的心情。在上述的例子中，推定为用户U怀有“讨厌堵车。没有其它路线吗？”这样的心情。
回到图4，在步骤S206中，动作决定部26基于在步骤S205中推定的用户U的心情，使用动作决定表T1而决定信息提示装置2的动作。动作决定部26在心情推定部24推定用户U的心情时，选择在动作决定表T1中与该心情相关联的动作，由此决定信息提示装置2的动作。在上述的例子中，决定为“近路的探索”这样的动作，信息提示装置2探索与当前由引导生成部28引导的路线不同的拥堵少的路线，并生成用于路线引导的图像。
在步骤S207中，提示部16基于在步骤S206中决定的动作，作为信息提示装置2的动作，控制用于路线引导的图像或语音输出。
再者，动作决定表T1可以对于驾驶员的情绪和视线方向的组预先关联该驾驶员的被推定的心情和动作决定部26决定的动作。即动作决定表T1可以不包含道路状况。该情况下，心情推定部24基于情绪和视线方向的组来决定动作。由此，即使是无法取得道路状况的情况下，也能够向用户U提示合适的信息。
再者，心情推定部24基于情绪、视线方向和道路信息的组而决定了动作，但该组也可以包含提取了与此时的天气、正在播放的音乐等相关的驾驶员的偏好的信息。
另外，情绪推定部11A可以不仅推定驾驶员的情绪，还推定同行乘客的情绪。特别是副驾驶席的同行乘客与驾驶员为异性的情况，在驾驶员怀有正面情绪，意识(视线、对话)朝向副驾驶席时，动作决定部26可以如以下这样决定动作：(a)副驾驶席的同行乘客怀有正面情绪的情况下，引导能够绕道兜风的路线、或引导能够在一起的设施(饭店等)；或(b)副驾驶席的同行乘客怀有负面情绪的情况下，选择直接回家的路线。
另外，情绪推定部11A可以推定与正面和负面不同的情绪。例如，作为情绪判定清醒和困倦的程度的情况下，如果清醒则播放通过学习而判定出的平缓的歌曲，如果困倦程度大则播放通过学习而判定出的能产生正面情绪的歌曲。
另外，可以推定车辆从一定时间的停车状态刚变为行驶状态之后的情绪，从而与停车时的设施相关联，学习对于设施的偏好，或向设施反馈顾客满意度。例如可以推定车辆从加油站驶出时的驾驶员的情绪，将对加油站的满意度反馈给店铺。
另外，可以利用于在车辆共享(car sharing)的车辆中推定驾驶员的情绪，从而学习对于车辆的偏好、或将得到许多满意度的车辆更多地共享等的市场营销中。
如以上那样，本实施方式的信息提示装置作为车辆的导航装置，将基于用户的情绪和视线方向而取得的信息向用户提示。一般而言，用户的视线朝向作为引起其情绪的对象的事物。由此，通过不仅推定用户的情绪，还根据用户的视线方向来确定使用户怀有该情绪的对象，与仅推定其情绪的情况相比，能够提示更合适的信息。
另外，信息提示装置除了用户的情绪和视线方向以外，还可以基于道路状况而向用户提示合适的信息。
(实施方式3)
在实施方式3中，对基于推定出的情绪而提示更适合用户的信息的信息提示装置等进行更具体的说明。本实施方式的信息提示装置3是将实施方式1的信息提示装置1中的结构和处理应用于将针对想要购买商品的用户的待客方针进行提示的装置的例子。
图7是表示本实施方式中的信息提示装置3的使用场景的说明图。图8是表示本实施方式中的信息提示装置3的功能模块的框图。
信息提示装置3例如配置于店铺，将用户U对于图7所示的商品51和商品51所附带的价格显示53的每一个的满意度作为情绪进行推定。并且，信息提示装置3基于推定出的满意度，将促进用户U的购买行为的信息作为待客方针向销售员提示。也就是说，信息提示装置3在用户U怀有对于商品51的性质或价格不满意的情绪时，将以接近满意的方式使情绪转变的信息进行提示，在用户U怀有对于商品51的性质和价格满意的情绪时，提示维持该情绪的信息。
如图8所示，信息提示装置3具备情绪推定部11B、对象确定部13B、控制部14B、提示部16、摄像头20和摄像头位置取得部42。再者，情绪推定部11B、对象确定部13B、控制部14B以及摄像头20分别是信息提示装置1的情绪推定部11、对象确定部13、控制部14以及传感器10和12的具体例。
摄像头20是拍摄用户U的可见光摄像头或红外线摄像头(参照图7)。摄像头20作为取得作为物理量的图像的传感器发挥作用。
摄像头位置取得部42是从存储器或外部取得表示设置有摄像头20的位置的信息的处理部。
情绪推定部11B是基于作为传感器的摄像头20所取得的图像中的用户U的表情来推定用户U怀有的情绪的处理部。在此，用户U怀有的情绪包括对商品的性质或价格满意的程度即满意度。满意度例如由1表示满意，由0表示不满意(完全不满意)，由0到1之间的数值表示满意与不满意之间的满意度。根据表情计算满意度的方法可采用公知技术。
对象确定部13B是基于作为传感器的摄像头20所取得的图像来确定使用户U产生情绪推定部11B推定出的情绪的对象的处理部。更具体而言，对象确定部13B从摄像头20所取得的图像中取得用户U的视线方向，基于在取得的用户U的视线延长线上是否存在商品51或商品51的价格显示53，生成表示商品的性质和价格之中的一者的确定信息。另外，对象确定部13B从摄像头位置取得部42取得设置有摄像头20的位置的位置信息，确定用户U的视线所朝向的商品是多个商品(未图示)之中的哪个商品。
例如，在图7的(a)的情况下，情绪推定部11B推定为用户U对于商品的性质满意，算出比较接近1的满意度。对象确定部13B生成商品的性质和价格之中、表示商品的性质的确定信息。
另外，例如图7的(b)的情况下，情绪推定部11B推定为用户U对于商品的价格不满意，算出比较接近0的满意度。对象确定部13B生成商品的性质和价格之中、表示商品的价格的确定信息。
控制部14B是使用通过执行预定处理而取得的信息来对提示部16的提示进行控制的处理部，所述预定处理使用了情绪推定部11B推定出的情绪和对象确定部13B生成的确定信息。控制部14B具备心情推定部44和方针决定部46作为其内部结构。
心情推定部44是推定用户U的心情的处理部。心情推定部44由情绪推定部11B和对象确定部13B取得用户U对于商品的性质和价格的每一个的满意度，使用存储器存有的心情表T2来推定用户U的心情。
方针决定部46是取得心情推定部44推定的用户U的心情，并使用存储器存有的提示信息表T3来决定待客方针的处理部。
提示部16是基于控制部14B的控制而进行预定信息的显示或语音输出的输出接口。
下面，对如以上那样构成的信息提示装置3的处理进行说明。
图9是表示本实施方式中的信息提示装置3的控制方法的流程图。图10是表示本实施方式中的顾客状况的分析方法的说明图。图11是表示本实施方式中的顾客状况表的说明图。图12是表示本实施方式中的待客方针的说明图。图13是表示本实施方式中的待客方针的提示的一例的说明图。参照这些附图来说明信息提示装置3的动作。
在步骤S301中，通过摄像头20的拍摄取得包含用户U的脸部的图像。此时，用户U的视线朝向商品51(图7的(a))。
在步骤S302中，对象确定部13B从在步骤S301取得的图像中取得用户U的视线朝向商品51，生成表示商品的确定信息。
在步骤S303中，情绪推定部11B根据摄像头20取得的图像中的用户U的表情来推定用户U对商品的品质怀有的满意度。
在步骤S304中，通过摄像头20的拍摄取得包含用户U的脸部的图像。此时，用户U的视线朝向价格显示53(图7的(b))。
在步骤S305中，对象确定部13B从在步骤S304中取得的图像中取得用户U的视线朝向价格显示53，生成表示价格显示的确定信息。
在步骤S306中，情绪推定部11B根据摄像头20取得的图像中的用户U的表情来推定用户U对于商品的价格怀有的满意度。
在步骤S307中，心情推定部44推定用户U的心情(参照图10和图11)。
在图10中，用户U对于商品和价格的每一个的满意度，作为以商品和价格各自的满意度为坐标轴的图表表示。将在步骤S303中的取得的满意度作为“商品”轴，将在步骤S306中取得的满意度作为“价格”轴，由此示出的点P与用户U对于商品51的满意度相关联。例如，根据图7的(a)和(b)而推定的用户U的满意度由图10的点P表示。
图11是将点P位于图10所示的图表的第1象限～第4象限的哪一个与用户U的心情预先关联而表示的心情表T2。例如，点P位于第2象限与用户U怀有对商品的性质满意、但对商品的价格不满意这样的心情相关联。
回到图9，在步骤S308中，方针决定部46基于在步骤S307中心情推定部44推定出的心情来进行待客方针的决定，由此生成用于促进用户U的购买行为的提示信息(参照图12)。
图12是将点P位于图10所示的图表的第1象限～第4象限的哪一个与用于促进用户U的购买行为的提示信息预先关联而表示的提示信息表T3。例如，点P位于第2象限与解决关于价格的课题、即消除用户U怀有的对价格的不满的待客方针相关联。该情况下，具体而言，作为有效的待客方针，可示出提议商品打折或赠送优惠券(福利特权)等。
方针决定部46根据点P位于图10所示的图表的第1象限～第4象限的哪一个，从提示信息表T3选择待客方针(及其具体例)，由此生成提示信息。
回到图9，在步骤S309中，提示部16基于控制部14B的控制来提示提示信息(参照图13)。
图13中示出了由提示部16提示提示信息的一例。图13所示的例子是用于对接待用户U的销售员显示的提示信息的例子。提示部16将表示用户U对商品的性质和价格分别的满意度的图表55、和显示待客方针的文字列57进行提示。具有下述优点：销售员通过观看提示部16所提示的图表55，能够了解用户U对于商品的性质和价格分别的满意度，并且通过观看文字列57，能够了解为促进用户U的购买行为可以采取怎样的方针待客。
再者，上述中，以用户U在见到商品51的实物的状态下进行购物的情况为例进行了说明，但在通过信息终端的网上购物中也发挥同样的功能。
图14是表示本实施方式中的信息提示装置3的使用场景的变形例的说明图。
图14所示的信息提示装置3A是具备信息提示装置3的功能并且向用户U提供网上购物的功能的装置。
信息提示装置3A通过提示部16显示商品51的图像51A和商品51的价格显示的图像53A。另外，通过摄像头20取得包含进行网上购物的用户U的脸部的图像。
在该情况下，信息提示装置3A与信息提示装置3同样地能够了解到用户U对商品的性质和价格分别的满意度。并且，能够基于这些满意度而进行用于促进用户U的购买行为的处理。
再者，情绪推定部11B的表情判定并不限于使用图像中的特征点。情绪推定部11B可以使用放射温度计测定鼻子的表面温度，通过温度上升推定舒适的情绪或通过温度下降推定不快的情绪。
另外，对象确定部13B进行的视线方向的判定除了使用可见光摄像头的图像处理以外，还可以使用红外线摄像头。
另外，对象确定部13B进行的对象的确定利用了用户U的视线的检测，但也可以利用用户U的手接触或用户U的脸部靠近等姿势。
另外，心情推定部44分类为第1象限～第4象限这4个象限，但也可以更细地分类或更粗地分类。
另外，方针决定部46在决定待客方针时使用了商品信息，但也可以不使用商品信息，而是根据被分类为4个象限的顾客状况来决定待客方针。另外，成为对象的商品51可以是像某种类的牛仔裤这样的个别的商品，也可以是商品类别(裤子、衬衫或外套等的服装分类，或是商品、食品、餐具或家具等的商品分类)。
另外，也可以与脸部图像认证相结合，将用户U确定为一名顾客之后，利用该顾客的过去的购买历史来选择推荐商品或服务，由此决定待客方针。
另外，也可以通过脸部图像认证将用户U确定为一名顾客之后，由网络上的服务器管理购买历史和确定的顾客的心情，以使得在该顾客出现在其它店铺的情况下，能够提供基于同样的待客方针的待客。
如以上那样，本实施方式的信息提示装置作为提示待客方针的装置，将基于用户对商品的性质和价格显示的情绪而取得的信息向用户提示。一般而言，在用户对商品的性质和价格分别满意的情况下会进行购买行为，如果对商品的性质和价格的任一者或两者不满意则不会导致购买行为。因此具有下述优点：通过分析用户对商品的性质和价格的情绪，生成促进购买行为的信息，从而能够导致用户的购买行为。
另外，信息提示装置基于用户对商品的性质和价格显示的满意度，取得可使对于不满意的商品的性质和/或价格显示感到满意的信息并向用户提供。由此，能够具体地引导用户的购买行为。
(实施方式4)
在实施方式4中，对基于推定出的情绪而提示更适合于用户的信息的信息提示装置等进行更具体的说明。本实施方式的信息提示装置4是将实施方式1的信息提示装置1中的结构和处理应用于决定向人提供的食物的装置的例子。
图15是表示本实施方式中的信息提示装置4的使用场景的说明图。图16是表示本实施方式中的信息提示装置4的功能模块的框图。
信息提示装置4将被提供了如图15所示的食物A和食物B的用户U的进餐行为时的用户U的好感度作为情绪进行推定。并且，信息提示装置4基于推定出的好感度，将用户U对食物的偏好的分析和推荐接下来向用户U提供的食物向食物提供者提示。即信息提示装置4通过接下来向用户U提供的食物而使用户U的好感度上升、或在好感度已经比较高的情况下维持好感度。
如图16所示，信息提示装置4具备情绪推定部11C、对象确定部13C、控制部14C、提示部16以及摄像头20。再者，情绪推定部11C、对象确定部13C、控制部14C和摄像头20分别是信息提示装置1的情绪推定部11、对象确定部13、控制部14以及传感器10和12的具体例。
摄像头20是拍摄用户U的可见光摄像头或红外线摄像头(参照图15)。摄像头20作为取得作为物理量的图像的传感器发挥作用。更具体而言，摄像头20通过拍摄而取得包括用户U、食物A和B、以及分别装有食物A和B的餐具DA和DB的图像。
情绪推定部11C是基于作为传感器的摄像头20取得的图像中的用户U表情来推定用户U怀有的情绪的处理部。在此，用户U怀有的情绪包括喜欢食物、觉得食物好吃或对食物满意之类的对食物的好感度即青睐度。根据表情算出青睐度的方法可采用公知技术。
对象确定部13C是基于作为传感器的摄像头20取得的图像来确定使用户U产生情绪推定部11C所推定出的情绪的处理部。更具体而言，对象确定部13C基于对摄像头20通过拍摄而取得的图像的分析，判断用户U吃了餐具DA中盛有的食物A或吃了餐具DB中盛有的食物B。并且，生成表示用户U吃的食物(食物A和B的任一者)的确定信息。在图像的分析中，例如对餐具DA和餐具DB的颜色或形状、用户U的嘴的位置进行判断，并基于物体从哪个餐具被送到用户U的嘴中，确定用户U吃的食物。
根据上述，情绪推定部11C和对象确定部13C推定用户U对食物A和B分别怀有的青睐度，并且生成表示怀有该青睐度的食物A或B的确定信息。
控制部14C是使用通过执行预定处理而取得的信息来对提示部16的提示进行控制的处理部，所述预定处理使用了情绪推定部11C推定出的情绪和对象确定部13C生成的确定信息。控制部14C具备偏好判定部62和食物决定部64作为其内部结构。
偏好判定部62是判定用户U对食物的偏好的处理部。偏好判定部62从情绪推定部11C和对象确定部13C取得用户U对食物A和B分别的青睐度，基于取得的青睐度并采用预定的计算方法判定用户U对食物的偏好。
食物决定部64是基于偏好判定部62判定的用户U对食物的偏好并采用预定的计算方法，从存储器存有的多个候选中决定接下来要向用户U提供的食物的处理部。
提示部16是基于控制部14C的控制而进行预定信息的显示或语音输出的输出接口。
下面，对如以上那样构成的信息提示装置4的处理进行说明。
图17是表示本实施方式中的信息提示装置4的控制方法的流程图。图18是表示本实施方式中的偏好向量的导出方法的说明图。图19是表示本实施方式中的食物的决定方法的说明图。图20是表示本实施方式中的食物的提示的一例的说明图。
在步骤S401中，摄像头20取得包含用户U、食物A和B以及餐具DA和DB的图像。此时，取得用户U将食物A从餐具DA送入嘴中的情形(例如图15的(a))的图像。
在步骤S402中，对象确定部13C根据在步骤S401中取得的图像而判断用户U吃了食物A。由此，对象确定部13C确定引起用户U怀有的情绪的对象是食物A，生成表示食物A的确定信息。
在步骤S403中，情绪推定部11C根据在步骤S401中取得的图像中的用户U的表情来推定用户U怀有的情绪。由于是用户U将食物A送入嘴中的情形，因此情绪推定部11C推定的情绪是用户U对食物A怀有的情绪，更具体而言是对食物A的青睐度。
在步骤S404、S405和S406中，与上述同样地基于由摄像头20取得的用户U将食物B从器具DB送入嘴中的情形(例如图15的(b))的图像，通过对象确定部13C和情绪推定部11C取得用户U对食物B的青睐度。
在步骤S407中，偏好判断部62生成表示用户U对食物的偏好的偏好向量(参照图18)。
图18中示出了由用户U对食物A和B的青睐度导出用户U的偏好向量(多维向量)的导出方法。
作为前提，对于食物A和B分别预先确定各属性的属性值。属性例如包括像肉或蔬菜这样来自于食物的材料的属性、和像甜或辣这样来自于食物的味道的属性。各属性的属性值是表示该属性的大小的指标，例如取0以上且1以下的值。例如，作为材料含有许多肉的食物的“肉”的属性的属性值为相对高的值(例如0.8)。另外，不太甜的食物的“甜”的属性的属性值为相对低的值(例如0.3)。再者，也将以各属性为各成分的向量称为属性向量。
偏好判定部62将在步骤S403和步骤S406中推定出的食物A和B各自的青睐度作为权重，取食物A和B的各属性值的加权平均数，由此生成偏好向量。所生成的偏好向量是具有属性的个数相同的维度，以属性值的加权平均数为各成分的向量。例如，在食物A和B各自的“肉”的属性的属性值分别为0.8和0.2，且用户U对食物A的青睐度为0.9、对食物B为0.1时，偏好向量的“肉”的成分算出为0.8×0.9+0.2×0.1＝0.74。关于其它属性和成分也是同样的。偏好向量的各成分表示用户U对具有各属性的食物而具有青睐的程度，因此可以说偏好向量表示用户U的偏好。
回到图17，在步骤S408中，食物决定部64决定接下来要向用户U提供的食物。具体而言，食物决定部64基于多个食物候选的每一个的属性向量与在步骤S408中算出的偏好向量的内积值，决定接下来要向用户U提供的食物(参照图19)。
图19中示出了基于属性向量与偏好向量的内积值来决定食物的方法。
作为前提，信息提示装置4存有向用户U提供的食物的候选即多个食物候选(图19中的食物C和D)。对于食物C和D，与食物A和B同样地预先确定各属性的属性值。
食物决定部64生成更优先包含属性接近用户的偏好的食物的提示信息。更具体而言，食物决定部64算出在步骤S407中生成的偏好向量与食物C和D的属性向量的内积值(在该例中分别为1.801和0.998)。并且，通过优先选择具有更大的内积值的食物(在该例中为食物C)，决定为接下来要向用户U提供的食物。属性向量与偏好向量的内积值大，表示各向量的成分为比较接近的值，因此通过如上述那样决定，从多个食物候选之中选择接近用户U的偏好的食物。
回到图17，在步骤S409中，提示部16基于控制部14C的控制，提示在步骤S408中决定的接下来要向用户U提供的食物(参照图20)。
图20中示出了由提示部16提示的提示信息的一例。图20所示的例子，示出了显示用户U的偏好在作为食物候选的食物C和D之中更接近食物C的文字列71、和显示食物C的食谱的文字列73。看到这些文字列的食物提供者，能够认为接下来向用户U提供食物C是合适的，并且能够在食物C的提供时了解到其食谱。再者，也可以只显示文字列71和文字列73的任一者。
再者，情绪推定部11C的表情判定不限于使用图像处理。也可以使用放射温度计测定鼻子的表面温度，根据温度上升判定为舒适的情绪，根据温度下降判定为不快的情绪。
另外，对象确定部13C的视线方向的判定除了使用可见光摄像头的图像处理以外，也可以使用红外线摄像头。
另外，对象确定部13C的对象的确定，利用了用户U的视线的检测，但也可以利用用户U的手接触、或用户U的脸靠近等姿势。
另外，对象确定部13C通过确定盛有食物的餐具来进行食物的判定，但也可以通过确认送入用户U的嘴中的物体本身来进行判定。例如食物是拉面的情况下，构成物会有汤、面、叉烧、笋和葱等，因此可以将这五种基于送入口中的物体的形状和颜色来进行判定。
另外，如果信息提示装置4是不仅决定接下来要提供的食物，还在确定了用户U的偏好之后，基于该偏好进行商品推荐的系统，则能够应用于任何事物。信息提示装置4例如能够应用于下述系统：在电脑上向用户U提供各种商品，根据电脑附带的摄像头所取得的图像来判定此时的用户U的情绪，由此提示用户U真正想要的商品。
另外，上述中对青睐度即正面情绪相对高的对象物进行重点评价(增大对象物的多维向量的权重)，但也可以相反地对青睐度低即负面情绪相对高的对象物进行重点评价。该情况下，能够判定使用者讨厌的对象。例如，在教室中，如果对作为学生具有负面情绪的对象物的学习科目进行重点评价，则能够判定学生的弱项科目，能够实现反复对该科目进行说明等更有效的教育。该情况下，可以使对象确定部13C与演示软件联动，根据向学生说明的演示文稿的页面来确定对象物。这样的话，具有能够通过演示文稿的页面与学生的情绪的组合来判定学生的弱项科目这一优点。
如以上那样，本实施方式的信息提示装置作为提示向用户提供的食物的装置，基于用户的情绪和用户吃的食物来分析用户的偏好，并将显示比较接近用户偏好的食物的信息向用户提示。由此，信息提示装置能够使用户的情绪良好。
另外，信息提示装置能够通过使用了食物的各属性的属性值的向量运算，具体分析用户的偏好，并决定要提供的食物。
(实施方式5)
在实施方式5中，对基于推定出的情绪而提示更适合于用户的信息的信息提示装置等进行更具体的说明。本实施方式的信息提示装置5是将实施方式1的信息提示装置1中的结构和处理应用于进行多种语言的信息提供(例如导游)的装置的例子。
图21是表示本实施方式中的信息提示装置5的使用场景的说明图。图22是表示本实施方式中的信息提示装置5的功能模块的框图。
如图21所示，信息提示装置5将用户U对于多种语言各自的语音提示的理解度作为情绪进行推定。并且，信息提示装置5基于推定出的理解度来确定用户U能够理解的语言，并采用用户U能够理解的语言进行信息提供。即信息提示装置5通过向用户U提供的信息的语言而使用户U的理解度上升，或者在理解度已经比较高的情况下进行维持。
如图22所示，信息提示装置5具备情绪推定部11D、对象确定部13D、控制部14D、提示部16、摄像头20和人种确定部80。再者，情绪推定部11D、对象确定部13D、控制部14D以及摄像头20分别是信息提示装置1的情绪推定部11、对象确定部13、控制部14以及传感器10的具体例。
摄像头20是拍摄用户U的可见光摄像头或红外线摄像头(参照图21)。摄像头20作为取得作为物理量的图像的传感器发挥作用。更具体而言，摄像头20通过拍摄而取得包含用户U的脸部的图像。
情绪推定部11D是基于作为传感器的摄像头20所取得的图像中的用户U的表情来推定用户U怀有的情绪的处理部。在此，用户U怀有的情绪包括能够理解或无法理解提示部16提示的语言这样的对语言的理解度。理解度例如由1表示能理解的状态，由0表示不理解的状态，由0到1之间的数值表示在此之间的理解度。根据表情计算理解度的方法可采用公知技术。
对象确定部13D是基于由提示部16向用户U提示的信息而确定使用户U产生情绪推定部11D推定出的情绪的对象的处理部。更具体而言，对象确定部13D取得提示部16提示的语音的语种作为上述对象，生成表示该语种的信息。
控制部14D是使用通过执行预定处理而取得信息来对提示部16的提示进行控制的处理部，所述预定处理使用了情绪推定部11D推定出的情绪和对象确定部13D生成的确定信息。控制部14D具备理解度判定部82和语言决定部84作为其内部结构。
理解度判定部82是判定用户U对提示部16所提示的语音的语言的理解度的处理部。理解度判定部82取得情绪推定部11D推定的理解度，并且从对象确定部13D取得表示语种的信息。而且，将情绪推定部11D取得的理解度判定为用户U对于提示部16所提示的语音的语言的理解度。
语言决定部84是基于理解度判定部82所判定的用户U的理解度与预定值的大小比较而确定用户U能否理解提示部16提示的语言的处理部。另外，语言决定部84在提示部16所提示的语言是用户U无法理解的语言的情况下，使用存储器存有的语言选择表T4或T5来决定接下来要向用户U提示的语音的语言。在决定接下来要向用户U提示的语音的语言时，可以使用从人种确定部80得到的人种信息。
提示部16是基于控制部14D的控制而将预定语言的信息提供通过语音进行输出的输出端口。
人种确定部80是确定用户U的人种的处理部。人种确定部80提取摄像头20所取得的图像中包含的用户U的脸部、体格、肤色等特征，生成确定用户U的人种(黄色人种、白色人种等)的人种信息。人种确定部80生成的人种信息向语言决定部84提供。再者，人种确定部80不是信息提示装置5必需的构成要素。
下面，对如以上那样构成的信息提示装置5进行说明。
图23是表示本实施方式中的信息提示装置5的控制方法的流程图。图24是表示本实施方式中的语言选择表T4的说明图。
在步骤S501中，通过摄像头20取得包含用户U的脸部的图像。
在步骤S502中，人种确定部80基于摄像头20所取得的图像中包含的用户U的脸部(更具体而言为眼睛、嘴和鼻子等部位的特征点的位置)、体格以及肤色等，确定用户U的人种，并生成人种信息。在此，用户U的人种确定为白色人种。
在步骤S503中，语言决定部84从人种确定部80取得人种信息时，作为由人种信息确定的人种的人所说的语言，从预先确定的多种语言之中选择一种语言，由此决定向用户U提供的信息的语言。参照图24对语言的决定方法进行详细说明。
图24示出了从多种语言中选择语言时所使用的语言选择表T4。语言选择表T4中，对各人种以预定的顺序显示推测为该人种的人能够理解的语言。该顺序可以是任意顺序，但例如如果设为以该人种的人多数能够理解的语言的顺序从上向下显示的顺序，则具有能够更快确定用户U能够理解的语言这一优点。
在上述步骤S503中，语言决定部84将语言选择表T4所记载的人种信息之中与从人种确定部80取得的人种信息相对应的语言以从上向下的顺序确定。例如，在从人种确定部80取得表示白色人种的人种信息的情况下，语言决定部84选择语言选择表T4所记载的“英语”。
在步骤S504中，提示部16将在步骤S503中决定的语言的语音数据通过语音输出而提示。
在步骤S505中，通过摄像头20取得包含用户U的脸部的图像。
在步骤S506中，情绪推定部11D和对象确定部13D根据在步骤S505中由摄像头20取得的图像中的用户U的表情而推定用户U对于在步骤S504中提示的信息的理解度。
在步骤S507中，语言决定部84判定在步骤S506中推定的理解度是否为预定值(例如0.8)以上。在理解度为预定值以上的情况下(在步骤S507中为是)向步骤S508推进，在理解度低于预定值的情况下(在步骤S507中为否)向步骤S509推进。
在步骤S508中，语言决定部84判定为用户U能够理解在步骤S504中向用户U提示的信息的语言。语言决定部84之后可以继续使用该语言向用户U提供信息。
在步骤S509中，语言决定部84将向用户U提供的信息的语言决定为另一种语言。在决定另一种语言时，使用语言选择表T4。如果是在步骤S503中对白色人种选择了英语之后，则语言决定部84能够将在语言选择表T4中记载于英语下方的法语决定为接下来要向用户U提供的语言。然后，信息提示装置5返回步骤S504继续进行处理。
通过以上那样的一系列的处理，信息提示装置5确定用户U能够理解的语言，然后能够通过确定的语言进行信息提供。
再者，上述中示出了作为语言选择表T4使用对各人种关联语言的表，但也可以使用没有与各人种进行关联的语言选择表T5(参照图25)。使用语言选择表T5的情况下，信息提示装置5进行语言的选择，不确定用户U的人种。这样的话，能够使用更简单的语言选择表T5来决定向用户U提供的信息的语言，因此具有减少处理量、减少处理消耗的电力这些效果。再者，该情况下，不需要人种确定部80和确定用户U的人种的处理(步骤S501～S502)。
再者，上述中通过推定在信息提示装置5引起的事件之后用户U的情绪的变化，确定引起用户U的情绪的对象。特别是在提示了问候语之类的不具有特别意义的语言之后用户U具有负面情绪时，判定为根本无法理解语言的状况，从而改变提示的语言。
在此，事件也可以是其它事件。例如对游客提示推荐的景点，判定之后的游客的表情。如果游客具有负面情绪，则认为该景点不是游客的偏好，因此进一步推荐其它景点。判定游客对景点的偏好的方法可采用使用实施方式4的多维向量的方法。
另外，事件可以不只是讲话，也可以是动作。
另外，信息提示装置5的用途并不限定于用于导游的信息提供。也可以是学习型机器人，推定机器人进行的讲话、动作之后的用户U的情绪，判定该情绪是正面还是负面的，从而结合用户U的偏好来学习机器人的动作方式。
另外，信息提示装置5的用途也可以是生物体认证系统。该情况下，信息提示装置5预先学习用户U的偏好。并且，使用基于该偏好的情绪的变化作为用户U的生物体认证之一。例如，首先通过脸部认证缩小认证候选。然后为了确认是否真是本人，进行与本人的偏好结合的图像的提示。例如，对于具有喜欢猫但讨厌狗这样的偏好的人，让其观看猫的可爱图像，推定该时刻下的情绪。如果是本人的话，则应该推定为正面情绪。另外，让其观看狗的图像时，应该推定为负面情绪。像这样，通过对象物(猫或狗)与情绪的组合，能够判定是否为本人。该方法不仅通过脸部，还深入到该人物的心理层面进行判定，在这一点上比以往的生物体认证优秀。该情况下，可以在使用者与生物体认证系统之间设置针对用于认证的特殊情绪的协定。例如，可以将提示狗的图像时感到愤怒这样的通常较为罕见的情绪变化协定作为认证密钥。
另外，信息提示装置5的用途也可以是海关的罪犯的判定。在海关搜查罪犯时，可以通过提问和提示该提问后的情绪变化的组合，统计负面情绪是因什么样的提问而产生的，由此进行罪犯的判定。
另外，信息提示装置5的用途也可以是社交游戏。可以在遇到其它用户的人物之后的情绪为正面的情况下，由于对该人物抱有好感，从而变更游戏内容以发生与该人物两人的事件。另外，可以根据对于对方的人物的好感而改变自己的人物的显示。另外，可以在社交游戏的战斗事件时的情绪非常积极的情况下，提高自己的人物的能力。
如以上那样，本实施方式的信息提示装置作为进行多种语言的语音向导的装置，能够基于用户对语言的情绪而决定用户能够理解的语音并进行语音向导。在此，通过使用所推定的用户对信息提示装置向用户提示的语言的情绪，能够更适当地判定用户能够理解的语言。
另外，信息提示装置能够基于用户对语言的理解度而具体判定用户能够理解的语言。
再者，上述各实施方式中，各构成要素可以由专用的硬件构成，或通过执行适合于各构成要素的软件程序而实现。各构成要素可以通过CPU或处理器等程序执行部读取并执行硬盘或半导体存储器等记录介质所记录的软件程序而实现。在此，实现上述各实施方式的信息提示装置等的软件有以下程序。
即，该程序是计算机执行信息提示装置的控制方法，该控制方法基于由传感器取得的物理量推定用户怀有的情绪，基于由传感器取得的物理量或由所述信息提示装置所具备的提示部向所述用户提示的信息而生成确定使所述用户产生推定出的所述情绪的对象的确定信息，使用通过执行预定处理而取得的信息来对控制所述信息提示装置进行的提示，所述预定处理使用了推定出的所述情绪和生成的所述确定信息。
以上，基于实施方式对一个或多个技术方案涉及的信息提示装置等进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，本领域技术人员想到的各种变形实施于本实施方式而得到的实施方式、将不同的实施方式中的构成要素组合而构建的实施方式，都可以包含在一个或多个技术方案的范围内。
产业可利用性
本发明能够利用于基于推定的情绪来提示更适合于用户的信息的信息提示装置。具体而言，能够利用于车辆的导航装置、提示针对顾客的待客方针的装置、决定向人提供的食物的装置、进行多种语言的信息提供的装置等。

Claims (14)

1.一种控制方法，是存储有预定用户的认证信息的个人认证装置的控制方法，包括：
基于由传感器取得的物理量来推定对象用户怀有的情绪；
基于由传感器取得的物理量或由提示部向所述对象用户提示的提示信息，生成确定使所述对象用户产生推定出的所述情绪的对象物的确定信息；
基于推定出的所述情绪、生成的所述确定信息、以及所述预定用户的认证信息，判定所述对象用户是否为所述预定用户。
2.根据权利要求1所述的控制方法，
所述认证信息是基于所述预定用户的偏好的信息。
3.根据权利要求2所述的控制方法，
所述信息包括第1情绪和第1信息，所述第1信息包含使作为所述用户的第1用户产生所述第1情绪的第1对象物，
在推定出的所述情绪是所述第1信息所包含的所述第1情绪、且所述确定出的对象物是所述第1信息所包含的所述第1对象物的情况下，在所述判定中判定为所述对象用户是所述预定用户。
4.根据权利要求2所述的控制方法，
所述预定用户的偏好是预先学习的。
5.根据权利要求1所述的控制方法，
所述预定用户的认证信息是多个预定用户的多个认证信息，
所述控制方法还包括：
利用包含所述对象用户的脸部的图像进行脸部认证，进行所述多个预定用户的缩选；
在所述判定中，判定所述对象用户是否为缩选后的所述多个预定用户中的1人。
6.根据权利要求3所述的控制方法，
所述提示部，作为所述提示信息，提示使所述预定用户产生所述第1情绪的所述第1对象物的第1图像。
7.根据权利要求6所述的控制方法，
在所述提示部提示所述第1对象物的第1图像时，推定所述情绪。
8.根据权利要求2所述的控制方法，
所述信息包括第1情绪、第1信息、第2情绪和第2信息，所述第1信息包含使所述预定用户产生所述第1情绪的第1对象物，所述第2情绪与所述第1情绪不同，所述第2信息包含使所述预定用户产生所述第2情绪的第2对象物，
所述第2对象物与所述第1对象物不同，
所述控制方法还包括：
在推定出所述情绪后，基于由所述传感器取得的新的物理量来推定用户怀有的新的情绪；
基于由所述传感器取得的新的物理量或由提示部向所述对象用户提示的新的提示信息，生成确定使所述对象用户产生推定出的所述新的情绪的第2对象物的新的确定信息；
在所述推定出的情绪是所述第1信息所包含的所述第1情绪、所述确定出的对象物是所述第1信息所包含的所述第1对象物、所述推定出的新的情绪是所述第2信息所包含的所述第2情绪、且确定出的所述新的对象是所述第2信息所包含的所述第2对象物的情况下，判定为所述对象用户是预定用户。
9.根据权利要求8所述的控制方法，
所述提示部，作为所述提示信息，提示使所述预定用户产生所述第1情绪的所述第1对象物的第1图像，
作为所述新的提示信息，提示使所述预定用户产生所述第2情绪的所述第2对象物的第2图像。
10.根据权利要求9所述的控制方法，
在所述提示部提示所述第1对象物的第1图像时，推定所述情绪，
在所述提示部提示所述第2对象物的第2图像时，推定所述新的情绪。
11.根据权利要求1所述的控制方法，
所述推定、所述生成和所述判定中的至少一者，由个人认证装置的处理器执行。
12.一种个人认证装置，是存储预定用户的个人信息的个人认证装置，具备推定部、生成部和判定部，
所述推定部基于由传感器取得的物理量来推定对象用户怀有的情绪，
所述生成部基于由传感器取得的物理量或由提示部向所述对象用户提示的提示信息，生成确定使所述对象用户产生推定出的所述情绪的对象物的确定信息，
所述判定部基于推定出的所述情绪、生成的所述确定信息、以及所述预定用户的认证信息，判定所述对象用户是否为所述预定用户。
13.根据权利要求12所述的个人认证装置，
所述推定部、所述生成部和所述判定部中的至少一者，包含处理器。
14.一种记录介质，是记录有程序的记录介质，
所述程序使存储有预定用户的认证信息的计算机所具备的处理器执行以下处理：
基于由传感器取得的物理量来推定对象用户怀有的情绪；
基于由传感器取得的物理量或由提示部向所述对象用户提示的提示信息，生成确定使所述对象用户产生推定出的所述情绪的对象物的确定信息；
基于推定出的所述情绪、生成的所述确定信息、以及所述预定用户的认证信息，判定所述对象用户是否为所述预定用户。
CN202110834437.5A 2015-10-08 2016-08-29 控制方法、个人认证装置和记录介质 Pending CN113532464A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562238878P 2015-10-08 2015-10-08
US62/238878 2015-10-08
JP2016092835 2016-05-02
JP2016-092835 2016-05-02
CN201610756340.6A CN106562792B (zh) 2015-10-08 2016-08-29 信息提示装置的控制方法和信息提示装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610756340.6A Division CN106562792B (zh) 2015-10-08 2016-08-29 信息提示装置的控制方法和信息提示装置

Publications (1)

Publication Number Publication Date
CN113532464A true CN113532464A (zh) 2021-10-22

Family

ID=58498636

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610756340.6A Active CN106562792B (zh) 2015-10-08 2016-08-29 信息提示装置的控制方法和信息提示装置
CN202110834437.5A Pending CN113532464A (zh) 2015-10-08 2016-08-29 控制方法、个人认证装置和记录介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610756340.6A Active CN106562792B (zh) 2015-10-08 2016-08-29 信息提示装置的控制方法和信息提示装置

Country Status (3)

Country Link
US (2) US10691197B2 (zh)
JP (1) JP6689720B2 (zh)
CN (2) CN106562792B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017054241A (ja) * 2015-09-08 2017-03-16 株式会社東芝 表示制御装置、方法及びプログラム
JP6956225B2 (ja) * 2015-10-08 2021-11-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御方法、個人認証装置、及び、記録媒体
CN106562792B (zh) * 2015-10-08 2021-08-06 松下电器（美国）知识产权公司 信息提示装置的控制方法和信息提示装置
EP3529707A4 (en) * 2016-10-20 2020-08-05 RN Chidakashi Technologies Pvt. Ltd. EMOTIONALLY INTELLIGENT COMPANION DEVICE
JP6422477B2 (ja) * 2016-12-21 2018-11-14 本田技研工業株式会社 コンテンツ提供装置、コンテンツ提供方法およびコンテンツ提供システム
JP6780033B2 (ja) * 2017-02-08 2020-11-04 日本電信電話株式会社 モデル学習装置、推定装置、それらの方法、およびプログラム
CN107153954A (zh) * 2017-05-15 2017-09-12 田智龙 一种智能购物系统
US10474423B2 (en) * 2017-06-14 2019-11-12 GM Global Technology Operations LLC Systems and methods for soundscape selection in autonomous vehicles
JP6991452B2 (ja) * 2017-06-27 2022-01-12 カワサキモータース株式会社 疑似感情生成方法並びに走行評価方法および走行評価システム
EP3611055B1 (en) * 2017-06-30 2021-02-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Multimedia information push method and apparatus, storage medium, and electronic device
JP6931794B2 (ja) * 2017-07-19 2021-09-08 パナソニックＩｐマネジメント株式会社 眠気推定装置及び覚醒誘導装置
CN109394203A (zh) * 2017-08-18 2019-03-01 广州市惠爱医院 精神障碍康复期情绪监测与干预方法
JP2019047234A (ja) * 2017-08-31 2019-03-22 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム
CN107600072A (zh) * 2017-08-31 2018-01-19 上海科世达-华阳汽车电器有限公司 一种多乘客共同偏好参数的获取方法及系统
US10791111B2 (en) * 2017-10-25 2020-09-29 International Business Machines Corporation Multi-step authentication using objective and subjective credentials
JP6713490B2 (ja) * 2018-02-07 2020-06-24 本田技研工業株式会社 情報提供装置及び情報提供方法
JP6598901B2 (ja) * 2018-03-01 2019-10-30 東芝エレベータ株式会社 エレベータの音声案内装置
CN108594991A (zh) * 2018-03-28 2018-09-28 努比亚技术有限公司 一种帮助用户调节情绪的方法、装置和计算机存储介质
CN110322262B (zh) * 2018-03-30 2023-06-20 阿里巴巴集团控股有限公司 门店信息处理方法、装置及门店系统
WO2019207896A1 (ja) * 2018-04-25 2019-10-31 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
KR20190131163A (ko) * 2018-05-16 2019-11-26 현대자동차주식회사 감정 지도 작성 방법, 감정 지도 장치 및 감정 지도 작성 장치를 포함한 차량
CN108922564B (zh) * 2018-06-29 2021-05-07 北京百度网讯科技有限公司 情绪识别方法、装置、计算机设备及存储介质
CN109871807B (zh) * 2019-02-21 2023-02-10 百度在线网络技术（北京）有限公司 人脸图像处理方法和装置
JP7370531B2 (ja) * 2019-02-26 2023-10-30 株式会社日立製作所 応答装置および応答方法
JP2020154948A (ja) * 2019-03-22 2020-09-24 本田技研工業株式会社 サーバ及び車両
EP4053792A4 (en) * 2019-10-30 2022-12-14 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND ARTIFICIAL INTELLIGENCE MODEL MAKING METHOD
CN111178293A (zh) * 2019-12-31 2020-05-19 上海能塔智能科技有限公司 识别用户对车辆满意度的处理方法、装置、设备与介质
US11055119B1 (en) * 2020-02-26 2021-07-06 International Business Machines Corporation Feedback responsive interface
JP2021140624A (ja) * 2020-03-09 2021-09-16 株式会社Subaru データ収集装置
JP2021162542A (ja) * 2020-04-03 2021-10-11 株式会社Subaru 運転支援装置及びデータ収集システム
WO2021230100A1 (ja) * 2020-05-13 2021-11-18 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
DE112020006934T5 (de) * 2020-05-20 2023-01-19 Mitsubishi Electric Corporation Informationsverarbeitungsvorrichtung, verfahren zur emotionseinschätzung und programm zur gefühlseinschätzung
WO2022181079A1 (ja) * 2021-02-26 2022-09-01 Ｎｅｃソリューションイノベータ株式会社 価格設定支援装置、反射体付き表示装置、価格表示システム装置、価格設定支援方法、表示処理方法、価格表示方法、プログラム及び記録媒体
JPWO2022181080A1 (zh) * 2021-02-26 2022-09-01
WO2022201383A1 (ja) 2021-03-24 2022-09-29 株式会社I’mbesideyou 動画像分析プログラム
JP2022169357A (ja) * 2021-04-27 2022-11-09 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム
WO2023166596A1 (ja) * 2022-03-02 2023-09-07 三菱電機株式会社 推論装置、情報処理システム、および、推論方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050114142A1 (en) * 2003-11-20 2005-05-26 Masamichi Asukai Emotion calculating apparatus and method and mobile communication apparatus
JP2005293209A (ja) * 2004-03-31 2005-10-20 Ntt Data Corp 個人認証装置、情報端末、個人認証方法、およびプログラム
US20100328492A1 (en) * 2009-06-30 2010-12-30 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses
WO2011031932A1 (en) * 2009-09-10 2011-03-17 Home Box Office, Inc. Media control and analysis based on audience actions and reactions
US20110182480A1 (en) * 2010-01-26 2011-07-28 Hitachi, Ltd. Biometric authentication system
KR20120098151A (ko) * 2011-02-28 2012-09-05 부경대학교 산학협력단 스마트폰 환경을 위한 상황인식 기반 보안 시스템
US20130132088A1 (en) * 2011-11-18 2013-05-23 Hyun-Jun Kim Apparatus and method for recognizing emotion based on emotional segments
US20130216095A1 (en) * 2012-02-17 2013-08-22 Fujitsu Frontech Limited Verification object specifying apparatus, verification object specifying program, and verification object specifying method
KR20130099418A (ko) * 2012-02-29 2013-09-06 한국과학기술원 사용자의 반응에 기반한 동적 콘텐츠 재생 제어 방법 및 장치
US20140347265A1 (en) * 2013-03-15 2014-11-27 Interaxon Inc. Wearable computing apparatus and method

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4931865A (en) * 1988-08-24 1990-06-05 Sebastiano Scarampi Apparatus and methods for monitoring television viewers
JPH09107592A (ja) * 1995-10-06 1997-04-22 Namco Ltd ゲーム装置
US6190314B1 (en) * 1998-07-15 2001-02-20 International Business Machines Corporation Computer input device with biosensors for sensing user emotions
US6275806B1 (en) * 1999-08-31 2001-08-14 Andersen Consulting, Llp System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
US7181693B1 (en) * 2000-03-17 2007-02-20 Gateway Inc. Affective control of information systems
US6497577B2 (en) * 2001-01-08 2002-12-24 Janet M. Kanter Systems and methods for improving emotional awareness and self-mastery
US7231657B2 (en) * 2002-02-14 2007-06-12 American Management Systems, Inc. User authentication system and methods thereof
US6882971B2 (en) * 2002-07-18 2005-04-19 General Instrument Corporation Method and apparatus for improving listener differentiation of talkers during a conference call
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
US7091867B2 (en) * 2004-02-20 2006-08-15 Agilent Technologies, Inc. Wavelength selectivity enabling subject monitoring outside the subject's field of view
JP4481682B2 (ja) * 2004-02-25 2010-06-16 キヤノン株式会社 情報処理装置及びその制御方法
JP2006006355A (ja) * 2004-06-22 2006-01-12 Sony Corp 生体情報の処理装置および映像音響再生装置
JP4794846B2 (ja) * 2004-10-27 2011-10-19 キヤノン株式会社 推定装置、及び推定方法
US8214214B2 (en) * 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
US8184132B2 (en) * 2005-03-01 2012-05-22 Panasonic Corporation Electronic display device medium and screen display control method used for electronic display medium
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP5055781B2 (ja) * 2006-02-14 2012-10-24 株式会社日立製作所 会話音声分析方法、及び、会話音声分析装置
JP4441887B2 (ja) 2006-03-31 2010-03-31 株式会社デンソー 自動車用ユーザーもてなしシステム
JP4085130B2 (ja) * 2006-06-23 2008-05-14 松下電器産業株式会社 感情認識装置
JP2008070965A (ja) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd 車両制御装置および車両制御方法
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
WO2008134625A1 (en) * 2007-04-26 2008-11-06 Ford Global Technologies, Llc Emotive advisory system and method
CN101686815B (zh) * 2007-06-27 2011-03-30 松下电器产业株式会社 人的状态推定装置以及方法
JP2009018047A (ja) 2007-07-12 2009-01-29 Toyota Motor Corp 心理状態推定装置
US9582805B2 (en) * 2007-10-24 2017-02-28 Invention Science Fund I, Llc Returning a personalized advertisement
US8125314B2 (en) * 2008-02-05 2012-02-28 International Business Machines Corporation Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream
JP4919172B2 (ja) * 2008-03-31 2012-04-18 株式会社エクォス・リサーチ 車両案内装置
US8401248B1 (en) * 2008-12-30 2013-03-19 Videomining Corporation Method and system for measuring emotional and attentional response to dynamic digital media content
KR101014321B1 (ko) * 2009-02-24 2011-02-14 한국전자통신연구원 최소 분류 오차 기법을 이용한 감정 인식 방법
JP2010220151A (ja) * 2009-03-19 2010-09-30 Nomura Research Institute Ltd コンテンツ配信システム、コンテンツ配信方法及びコンピュータプログラム
US20100253689A1 (en) * 2009-04-07 2010-10-07 Avaya Inc. Providing descriptions of non-verbal communications to video telephony participants who are not video-enabled
US8384754B2 (en) * 2009-06-17 2013-02-26 Verizon Patent And Licensing Inc. Method and system of providing lighting for videoconferencing
CN101690666B (zh) * 2009-10-13 2011-05-04 北京工业大学 汽车驾驶员驾驶工作负荷测量方法
CN201631208U (zh) * 2009-10-20 2010-11-17 张晓平 一种车载驾驶员反应灵敏度测试装置
US20110096137A1 (en) * 2009-10-27 2011-04-28 Mary Baker Audiovisual Feedback To Users Of Video Conferencing Applications
US20130194066A1 (en) * 2011-06-10 2013-08-01 Aliphcom Motion profile templates and movement languages for wearable devices
KR101830767B1 (ko) * 2011-07-14 2018-02-22 삼성전자주식회사 사용자의 감정 인식 장치 및 방법
US9762719B2 (en) * 2011-09-09 2017-09-12 Qualcomm Incorporated Systems and methods to enhance electronic communications with emotional context
US8903176B2 (en) * 2011-11-14 2014-12-02 Sensory Logic, Inc. Systems and methods using observed emotional data
JP5096610B2 (ja) 2011-12-01 2012-12-12 オリンパスイメージング株式会社 ガイド装置およびガイド方法
US9311825B2 (en) * 2011-12-22 2016-04-12 Senstream, Inc. Biometric sensing and processing apparatus for mobile gaming, education, and wellness applications
JP5729345B2 (ja) * 2012-04-10 2015-06-03 株式会社デンソー 感情モニタリングシステム
US9548054B2 (en) * 2012-05-11 2017-01-17 Mediatek Inc. Speaker authentication methods and related methods of electronic devices using calendar data
US9521258B2 (en) * 2012-11-21 2016-12-13 Castel Communications, LLC Real-time call center call monitoring and analysis
CN104871531A (zh) * 2012-12-20 2015-08-26 皇家飞利浦有限公司 监控等候区
JP6122735B2 (ja) * 2013-08-28 2017-04-26 ヤフー株式会社 情報処理装置、判定方法および判定プログラム
JP2015111357A (ja) 2013-12-06 2015-06-18 株式会社ニコン 電子機器
JP2015130045A (ja) 2014-01-07 2015-07-16 日本放送協会 料金提示装置及び料金提示システム
US9549068B2 (en) * 2014-01-28 2017-01-17 Simple Emotion, Inc. Methods for adaptive voice interaction
JP2016009453A (ja) 2014-06-26 2016-01-18 オムロン株式会社 顔認証装置および顔認証方法
US9495008B2 (en) * 2014-06-27 2016-11-15 Amazon Technologies, Inc. Detecting a primary user of a device
CN104386063B (zh) * 2014-09-19 2017-07-11 奇瑞汽车股份有限公司 基于人工智能的驾驶辅助系统
US20160131905A1 (en) * 2014-11-07 2016-05-12 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
WO2016072120A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 情報処理システム、制御方法、および記憶媒体
US9747573B2 (en) * 2015-03-23 2017-08-29 Avatar Merger Sub II, LLC Emotion recognition for workforce analytics
US10169827B1 (en) * 2015-03-27 2019-01-01 Intuit Inc. Method and system for adapting a user experience provided through an interactive software system to the content being delivered and the predicted emotional impact on the user of that content
US9600715B2 (en) * 2015-06-26 2017-03-21 Intel Corporation Emotion detection system
US11194405B2 (en) * 2015-10-08 2021-12-07 Panasonic Intellectual Property Corporation Of America Method for controlling information display apparatus, and information display apparatus
CN106562792B (zh) 2015-10-08 2021-08-06 松下电器（美国）知识产权公司 信息提示装置的控制方法和信息提示装置
US10289900B2 (en) * 2016-09-16 2019-05-14 Interactive Intelligence Group, Inc. System and method for body language analysis
CN109804400B (zh) * 2016-09-30 2022-10-18 本田技研工业株式会社 信息提供装置和移动体
US20190303967A1 (en) * 2018-03-30 2019-10-03 Panasonic Intellectual Property Management Co., Ltd. System and method to characterize a user of a handheld device
US20190385711A1 (en) * 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050114142A1 (en) * 2003-11-20 2005-05-26 Masamichi Asukai Emotion calculating apparatus and method and mobile communication apparatus
JP2005293209A (ja) * 2004-03-31 2005-10-20 Ntt Data Corp 個人認証装置、情報端末、個人認証方法、およびプログラム
US20100328492A1 (en) * 2009-06-30 2010-12-30 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses
WO2011031932A1 (en) * 2009-09-10 2011-03-17 Home Box Office, Inc. Media control and analysis based on audience actions and reactions
US20110182480A1 (en) * 2010-01-26 2011-07-28 Hitachi, Ltd. Biometric authentication system
KR20120098151A (ko) * 2011-02-28 2012-09-05 부경대학교 산학협력단 스마트폰 환경을 위한 상황인식 기반 보안 시스템
US20130132088A1 (en) * 2011-11-18 2013-05-23 Hyun-Jun Kim Apparatus and method for recognizing emotion based on emotional segments
US20130216095A1 (en) * 2012-02-17 2013-08-22 Fujitsu Frontech Limited Verification object specifying apparatus, verification object specifying program, and verification object specifying method
KR20130099418A (ko) * 2012-02-29 2013-09-06 한국과학기술원 사용자의 반응에 기반한 동적 콘텐츠 재생 제어 방법 및 장치
US20140347265A1 (en) * 2013-03-15 2014-11-27 Interaxon Inc. Wearable computing apparatus and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨钢: "浅谈人脸识别技术在智能电视系统中的应用", 电子技术, 25 April 2014 (2014-04-25), pages 64 - 66 *

Also Published As

Publication number Publication date
CN106562792B (zh) 2021-08-06
US20170102765A1 (en) 2017-04-13
JP2017201499A (ja) 2017-11-09
US20200272225A1 (en) 2020-08-27
CN106562792A (zh) 2017-04-19
US10691197B2 (en) 2020-06-23
JP6689720B2 (ja) 2020-04-28
US11275431B2 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
CN106562792B (zh) 信息提示装置的控制方法和信息提示装置
US20180322145A1 (en) Information processing device, system, information processing method, and program
US11494390B2 (en) Crowd-based scores for hotels from measurements of affective response
Gopaldas et al. An intersectional approach to diversity research
CN106294489B (zh) 内容推荐方法、装置及系统
US20170262959A1 (en) Browsing interface for item counterparts having different scales and lengths
JP6956225B2 (ja) 制御方法、個人認証装置、及び、記録媒体
CN106462598A (zh) 信息处理设备、信息处理方法与程序
EP3651103A1 (en) Device, system and method for providing service relating to advertising and product purchase by using artificial-intelligence technology
US20210145340A1 (en) Information processing system, information processing method, and recording medium
KR20190084567A (ko) 음식과 관련된 정보를 처리하기 위한 전자 장치 및 방법
KR101905501B1 (ko) 컨텐츠를 추천하는 방법 및 장치
US20110298810A1 (en) Moving-subject control device, moving-subject control system, moving-subject control method, and program
US20150049953A1 (en) Emotion and appearance based spatiotemporal graphics systems and methods
WO2016123777A1 (zh) 一种基于生物特征的对象呈现、推荐方法和装置
KR20210131415A (ko) 인터렉티브 방법, 장치, 디바이스 및 기록 매체
CN108388570A (zh) 对视频进行分类匹配的方法、装置和挑选引擎
US20200005784A1 (en) Electronic device and operating method thereof for outputting response to user input, by using application
Park et al. Designing across senses: A multimodal approach to product design
CN111465949A (zh) 信息处理设备、信息处理方法和程序
CN106951433B (zh) 一种检索方法及装置
KR20210129714A (ko) 인터렉티브 방법, 장치, 디바이스 및 기록 매체
CN113111252A (zh) 用于在导航期间向用户推荐信息的装置和方法
US20200098012A1 (en) Recommendation Method and Reality Presenting Device
CN112166473A (zh) 活动支援方法、程序及活动支援系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination