CN114461062A - 信息处理系统、控制方法和计算机可读存储介质 - Google Patents

信息处理系统、控制方法和计算机可读存储介质 Download PDF

Info

Publication number
CN114461062A
CN114461062A CN202210044035.XA CN202210044035A CN114461062A CN 114461062 A CN114461062 A CN 114461062A CN 202210044035 A CN202210044035 A CN 202210044035A CN 114461062 A CN114461062 A CN 114461062A
Authority
CN
China
Prior art keywords
information
emotion
interaction
value
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210044035.XA
Other languages
English (en)
Inventor
末吉隆彦
盐野崎敦
岩波宏
井原圭吾
宫岛靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN114461062A publication Critical patent/CN114461062A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/04—Payment circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6263—Protecting personal data, e.g. for financial or medical purposes during internet communication, e.g. revealing personal data from cookies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0609—Buyer or seller confidence or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D9/00—Recording measured values

Abstract

本公开涉及信息处理系统、控制方法和计算机可读存储介质。信息处理系统包括：检测单元，被配置为检测与第一对象和第二对象之间的交互有关的信息；和生成单元，被配置为基于与所述交互有关的信息生成第一对象的情感值和第二对象的情感值，其中，第一对象为人并且第二对象为物件，并且所述交互包括第一对象对于第二对象的行为。

Description

信息处理系统、控制方法和计算机可读存储介质
本申请是申请日为2015年8月4日、申请号为“201580059299.0”(国际阶段申请号为PCT/JP2015/072053)、发明名称为“信息处理系统、控制方法和计算机可读存储介质”的发明专利申请的分案申请。
技术领域
本公开涉及信息处理设备、控制方法和存储介质。
背景技术
近来，从生物信息等估计人在特定时间的情感，并且将情感用于内容数据搜索、信息推荐等。
例如，下面的专利文献1公开了一种用于基于诸如心跳和血压的生物信息来获得指示情感度的情感参数并且将情感参数转换成一维情感货币的技术。
引用列表
专利文献
专利文献1：JP 2005-124909A
发明内容
技术问题
然而，在上述专利文献1和先前技术中，主要基于生物信息来估计人类情感(愉快/不愉快)，但是没有提及物件的虚拟心理状态。
例如，甚至对于同一物品，在用户带有感情小心使用物件的情况以及用户粗暴对待物件的情况下，用户可能对于该物件具有不同的想法和感情。然而，不存在用于对此进行测量并且向第三方客观通知测量结果的技术。
以该方式，即使在物件是相同物品的情况下，物件可能除了其功能和设计以外还具有个体价值。
因此，本公开提出了一种可以基于对象之间的交互来用数值表示对象的情感值的信息处理设备、控制方法和存储介质。
针对问题的解决方案
根据本公开，提出了一种信息处理系统，该信息处理系统包括：检测单元，被配置为检测与第一对象和第二对象之间的交互有关的信息；和生成单元，被配置为基于与所述交互有关的信息生成第一对象的情感值和第二对象的情感值，其中，第一对象为人并且第二对象为物件，并且所述交互包括第一对象对于第二对象的行为。
根据本公开，提出了一种控制方法，包括：检测与第一对象和第二对象之间的交互有关的信息；和基于与所述交互有关的信息生成第一对象的情感值和第二对象的情感值，其中，第一对象为人并且第二对象为物件，并且所述交互包括第一对象对于第二对象的行为。
根据本公开，提出了一种计算机可读存储介质，该存储介质中存储有程序，该程序使得计算机执行一种控制方法，该方法包括：检测与第一对象和第二对象之间的交互有关的信息；和基于与所述交互有关的信息生成第一对象的情感值和第二对象的情感值，其中，第一对象为人并且第二对象为物件，并且所述交互包括第一对象对于第二对象的行为。
发明的有益效果
如上所述，根据本公开，可以基于对象之间的交互来用数值表示对象的情感值。
注意，上述效果不一定是限制性的。在具有上述效果的情况下或替代上述效果，可以实现本说明书中描述的效果中的任一效果或者可以从本说明书领会的其他效果。
附图说明
图1是根据本公开的实施例的信息处理系统的概况的说明图。
图2是示出了根据本实施例的感测装置的配置的示例的框图。
图3是示出了根据本实施例的情感服务器的配置的示例的框图。
图4是示出了根据本实施例的信息处理系统的操作处理的序列图。
图5是根据第一应用示例的个人信用信息提供系统的整体配置的说明图。
图6是示出了根据第一应用示例的个人信用信息提供服务器的配置的示例的框图。
图7是根据第一应用示例的情感服务器的对象DB的数据的示例的图示。
图8是根据第一应用示例的情感服务器的情感信息DB的数据的示例的图示。
图9是示出根据第一应用示例的信用排名显示处理的流程图。
图10是根据第一应用示例的信誉排名画面的示例的图示。
图11是示出了根据第一应用示例的显示关于每个对象属性的信誉信息的处理的流程图。
图12是根据第一应用示例的目标人对于房屋的相对情感值的计算的说明图。
图13是根据第一应用示例的针对每个对象属性的信誉信息显示画面的示例的图示。
图14是示出根据第一应用示例的按时间顺序的信誉显示处理的流程图。
图15是根据第一应用示例的按时间顺序信誉显示画面的示例的图示。
图16是根据第二应用示例的拍卖系统的整体配置的说明图。
图17是示出了根据第二应用示例的拍卖服务器的配置的框图。
图18是根据第二应用示例的存储在拍卖服务器的物品和用户信息DB中的展出物品的数据的示例的图示。
图19是根据第二应用示例的情感服务器的情感信息DB的数据的示例的图示。
图20是示出了根据第二应用示例的根据展出物品的情感值进行的列表显示处理的流程图。
图21是根据第二应用示例的取决于展出物品的情感值的列表显示画面的示例的图示。
图22是示出了根据第二应用示例的显示与展出物品的情感值有关的详细信息的处理的流程图。
图23是根据第二应用示例的展出物品的相对/绝对情感值的计算的说明图。
图24是根据第二应用示例的与展出物品有关的详细信息的显示画面的示例的图示。
图25是示出了根据第二应用示例的显示与参展方的情感值有关的详细信息的处理的流程图。
图26是根据第二应用示例的与参展方的情感值有关的详细信息的显示画面的示例的图示。
图27是根据第三应用示例的环境调整系统的整体配置的说明图。
图28是根据第三应用示例的通过移动对象进行的环境调整的示例的说明图。
图29是示出了根据第三应用示例的移动对象的配置的示例的框图。
图30是示出了根据第三应用示例的环境调整服务器的配置的示例的框图。
图31是示出了根据第三应用示例的环境调整处理的流程图。
图32是示出了根据第三应用示例的覆盖范围改变处理的流程图。
图33是根据本实施例的交互评估数据的示例的图示。
图34是根据第三应用示例的交互评估的其他数据的示例的图示。
图35是根据第四应用示例的遥现(telepresence)系统的整体配置的说明图。
图36是根据第四应用示例的障子(shoji)图像的显示的示例的说明图。
图37是示出了根据第四应用示例的通信控制装置的配置的示例的框图。
图38是示出了根据第四应用示例的遥现控制处理的流程图。
图39是示出了根据第四应用示例的开度设置操作处理的流程图。
图40是根据第四应用示例的交互评估数据的示例的图示。
图41是通过从图40所示的交互评估值的示例提取用于情感值计算的数据而获得的数据的示例的图示。
图42是根据第五应用示例的临场感再现系统的整体配置的说明图。
图43是示出了根据第五应用示例的再现信息生成装置的配置的示例的框图。
图44是示出了根据第五应用示例的存在信息生成处理的流程图。
图45是根据第五应用示例的拍摄对象识别的说明图。
图46是根据第五应用示例的交互评估数据的示例的图示。
图47是从图46所示的交互评估数据的示例提取的且用于情感值计算的数据的示例的图示。
图48是示出了根据第五应用示例的再现控制装置的配置的示例的框图。
图49是示出了根据第五应用示例的使用情感值的回放处理的流程图。
图50是根据第五应用示例的被布置成根据情感值而对应于各个拍摄对象的图像效果的示例的图示。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施例。在本说明书和附图中，用相同的附图标记来表示具有基本上相同的功能和结构的结构元件，并且将省略对这些结构元件的重复说明。
将按以下顺序给出描述。
1.根据本公开的实施例的信息处理系统的概述
2.基本配置和操作处理
2-1.感测装置
2-2.情感服务器
2-3.操作处理
3.应用示例
3-1.个人信用信息提供系统
3-2.拍卖系统
3-3.环境调整系统
3-4.遥现系统
3-5.临场感再现系统
4.结论
<<1.根据本公开的实施例的信息处理系统的概述>>
首先，将描述图1所示的根据本公开的实施例的信息处理系统100的概况。如图1所示，在根据本实施例的信息处理系统100中，所有的人和物件被定义为对象，并且在对象(Obj.A至Obj.D)中的每一个上设置有用于检测对象间交互的感测装置1(10A至10D)。例如，由诸如手表型装置的可佩戴装置实现的感测装置1A附接至人Obj.A。此外，在房屋Obj.B中设置有能够检测门的开/关、人的进/出、房屋的维修等的感测装置1B。此外，在车Obj.C中设置有能够检测里程、使用计数、驾驶小心程度、洗车等的感测装置1C。此外，能够检测使用时间、存放状态、拍摄对象类型、漏水、冲击、维护操作的次数等的感测装置1D附接至摄像装置Obj.D。
由感测装置1检测到的交互通过网络3发送至情感服务器2。例如，人Obj.A与房子房屋Obj.B、车Obj.C和摄像装置Obj.D进行的交互(门的开/关、维修、驾驶、存放等)分别由感测装置1A至1D检测并被发送至情感服务器2。具体地，当人与房屋进行了特定交互时，在人这一侧的感测装置1A和在房屋侧的感测装置1B检测相应的交互(对其他对象执行的交互和由其他对象执行的交互)。此外，检测到的交互不限于人与物件之间的交互，并且可以检测物件之间的交互。
情感服务器2累积从感测装置1接收到的交互，并且对交互进行分析以计算每个对象的情感值。由情感服务器2计算出的情感值用于各种服务。同时，由于存在必要的情感值根据服务的属性而不同的情况，因此情感服务器2发送用数值表示对与每种服务的每次交互的评估的评估值，并且可以在服务侧通过预定计算方法、基于交互评估值来计算情感值。
以该方式，可以将所有的人和物件定义为对象，并且基于根据本实施例的信息处理系统100中的对象之间的交互来提供与用数值表示每个对象的值的新指标对应的情感值。作为本公开的背景，下面对这样的情感值的有用性进行描述。
(背景)
由于基于新自由市场原则的全球经济近期过度膨胀，成熟社会需要价值经济的新指标。具体地，正在讨论新制造的物件的“情感价值”。一般而言，由制造商投入物件的深刻的思想、意图、背景、技术等被称为情感价值，并且执行使用该情感价值的每个地区的人的动作。此外，带有感情的用户对物件的处理是物件的无形特殊价值，并且可能是超出其货币价值的价值。然而，过去在信息科学领域未使用这样的“情感值”。
在这方面，根据装置小型化、电池技术和网络技术的新近进展，事物被连接的物联网(IOT)时代已经开始。在未来的物联网时代，可以假设，物件和人在不加以区分的情况下连接的时代(已通过图灵测试的物件与人交互)到来。在该情况下，可以利用人和物件(包括服务)之间在不加以区分的情况下的所有交互的历史来限定人和物件的“情感价值”的相关性。
鉴于以上所述，本实施例提出了用数值表示人和物件的伪“情感价值”的情感值。由于情感价值由多维矢量来表示，因此认为维度减少或者矢量被转换成简单的标量值并使用，使得容易处理矢量以优化每种服务或物品的情感价值并使用优化的情感价值。可以预期，在未来情感值将连同货币一起成为价值经济和经济概念的新指标。因此，对于情感值而预期储存(累积)、交换媒介(调解物件A和物件B的交换的功能)以及人和物件的价值的度量(情感价值被给予所有物品和服务，并且物件的价值由货币价值和情感价值确定)的功能。
上面描述了根据本实施例的信息处理系统100的概况。接下来，将依次描述信息处理系统100中所包括的感测装置1和情感服务器2的配置以及信息处理系统100的操作处理。
<<2.基本配置>>
<2-1.感测装置>
图2是示出了根据本实施例的感测装置1的配置的示例的框图。如图2所示，感测装置1包括传感器11、交互提取单元12和通信单元13。
(传感器)
传感器11具有感测对象之间的交互的功能。例如，传感器11由湿度传感器、温度传感器、振动传感器、红外传感器、摄像装置、触觉传感器、陀螺仪传感器、照度传感器、人类传感器(human sensor)、大气传感器(例如，尘埃传感器和污染物传感器)、速度传感器、计数测量传感器等来实现。
(交互提取单元)
交互提取单元12用作用于基于从传感器11提取的感测数据来检测与第一对象和第二对象之间的交互有关的信息的检测单元。例如，交互提取单元12可以基于感测门的开/关的传感器的感测数据来提取诸如门开/关的次数、开/关的冲击/强度以及人的进/出的交互。
此外，交互提取单元12可以基于感测目标对象已被拆卸、复位处理已被执行、故障状态已被修好(无差错)、零件已被更换等的传感器的感测数据来提取诸如目标对象的维修和维护的交互。
另外，当目标对象是汽车、自行车、摩托车等时，交互提取单元12可以基于感测距离测量值、发动机RPM测量值、轮胎更换频率、制动定时、污染、位置信息、燃料再填充频率等的传感器的感测数据来提取目标对象的交互，诸如里程、使用计数、驾驶小心程度和洗车。
此外，交互提取单元12可以基于感测启动时间、启动定时、安装状态、环境空气、湿度、温度、漏水、冲击等的传感器的感测数据来提取目标对象的交互，诸如优先度、感情程度和存放状态。
(通信单元)
通信单元13通过网络3将与由交互提取单元12提取的交互有关的信息发送至情感服务器2。
上述感测装置1配备有包括中央处理单元(CPU)、只读存储器(ROM)、随机存储存储器(RAM)和非易失性存储器的微型计算机以控制感测装置1的每个部件。
<2-2.情感服务器的配置>
图3是示出了根据本实施例的情感服务器2的配置的示例的框图。如图3所示，情感服务器2包括通信单元21、控制器20、对象DB 22和情感信息DB 24。
(通信单元)
通信单元21通过网络从附接至/安装在每个对象(人或物件)上的感测装置1接收与交互相关的信息(以下称为交互信息)。此外，根据外部装置的请求，通信单元21发送存储在情感信息DB 24中的交互评估或由情感值计算单元20e计算出的情感值。
(控制器)
控制器20控制情感服务器2的每个部件。此外，控制器20由包括CPU、ROM、RAM和非易失性存储器的微型计算机来实现。此外，根据本实施例的控制器20用作交互存储控制器20a，评估单元20b、对象管理单元20c、相关对象搜索单元20d和情感值计算单元20e。
交互存储控制器20a控制从附接至/安装在对象上的感测装置1接收到的交互信息存储在情感信息DB 24中。
评估单元20b对存储在情感信息DB 24中的交互进行评估。虽然对交互评估方法没有特别限制，但是例如，评估单元20b根据针对执行/接收交互的对象以特定评估指标所确定的标准来执行计算和评估，并且将得分(具体地在-1.0至1.0的范围内)分配给对象。评估结果与交互相关，并且被存储在情感信息DB 24中。
对象管理单元20c执行管理，诸如对存储在对象DB 22中的关于对象的信息的登记、改变和删除。
相关对象搜索单元20d针对从外部装置请求的对象ID而在对象DB22和情感信息DB24中搜索产生了交互的对象作为相关对象。
情感值计算单元20e基于累积在情感信息DB 24中的交互信息的情感值来计算对象的情感值。以下将描述详细的情感值计算方法。
(对象DB)
对象DB 22是存储每个对象的对象ID的存储单元。此外，除了对象ID以外，对象DB22还存储关于对象的各种类型的信息，诸如产品名称、产品类型、制造商ID、型号以及制造日期和时间。
(情感信息DB)
情感信息DB 24是存储对象之间的交互和对交互的评估的存储单元。
<2-3.操作处理>
接下来，将参照图4描述根据本实施例的信息处理系统100的操作处理。图4是示出了根据本实施例的信息处理系统100的操作处理的序列图。
如图4所示，首先，当设置有感测装置1A的对象A与设置有感测装置1B的对象B进行特定交互时，感测装置1A的交互提取单元12在步骤S103中获取交互，然后，在步骤S106中通过通信单元13将所获取的交互发送至情感服务器2。
此外，设置在进行了交互的对象B上的感测装置1B执行相同的处理。也就是说，感测装置1B的交互提取单元12在步骤S109中获取交互，然后，在步骤S112中将所获取的交互发送至情感服务器2。
因此，当在对象之间进行交互时，从两个对象获取交互，并且将获取的交互发送至情感服务器2。
然后，情感服务器2的交互存储控制器20a在步骤S115中将从每个感测装置1A发送的交互存储在情感信息DB 24中，然后，在S118中通过评估单元20b执行交互评估。此外，评估单元20的交互评估与该交互相互关联并被存储在情感信息DB 24中。
此外，在步骤S121中，情感服务器2的情感值计算单元20e根据需要、基于交互评估来计算对象的情感值。
以上描述了根据本实施例的操作处理。考虑到，将基于由本实施例的情感服务器2收集的交互历史计算的对象的情感值作为指示对象的价值的新指标来用于各种服务。在下文中，使用多个应用示例来描述根据本实施例的使用情感值的各种服务系统。
<<3.应用示例>>
<3-1.个人信用信息提供系统>
首先，参照图5至图15来将情感值当作信誉(可信度)并且用在个人信用信息提供系统101中的情况描述为第一应用示例。
通常，根据资产、负债、信用卡合同期限等计算的信誉被提供作为提供个人信誉的信用信息提供服务。相比之下，在本实施例中将个人情感值用作信誉信息。此外，可以通过根据特定条件(时间或对象属性)过滤迄今为止与同人有关的对象的交互的历史，来使用各种度量可视化人的信誉。例如，人的个性，比如某人曾在过去有不良行为并且粗暴对待物件但现在是小心对待物件的好人，某人鲁莽地驾驶汽车而小心翼翼地对待个人计算机等，被表示为情感值。
图5是根据第一应用示例的个人信用信息提供系统101的整体配置的说明图。如图5所示，个人信用信息提供系统101包括个人信用信息提供服务器4和情感服务器2。
情感服务器2从作为个人信用信息提供系统101的成员的用户Obj.A、用户Obj.A通常与其进行交互的房屋Obj.B、汽车Obj.C和摄像装置Obj.D获取交互信息。
此外，图5所示的用户Obj.A和用户当被登记为个人信用信息提供系统10中的成员时与唯一ID相互关联并被登记。
本文中，假设用户获取用户Obj.A的信用信息的情况。如图5所示，用户指定搜索条件，诸如用户Obj.A的ID(即，对象ID)以及在需要时指定时间段(例如，开始时间或结束时间)和相关对象的属性(例如，物品类别和制造商名称)，并且请求个人信用信息提供服务器4显示用户Obj.A的信用信息。
个人信用信息提供服务器4根据用户的请求、基于用户Obj.A的ID和搜索条件(例如，时间段、相关对象的属性等)从情感服务器2获取情感值。在该情况下，还可以获取与用户Obj.A进行了交互的相关对象(房屋Obj.B、汽车Obj.C和摄像装置Obj.D)的情感值。
此外，个人信用信息提供服务器4基于所获取的情感值将用户Obj.A的信誉信息提供给用户。当未指定诸如时间段、相关对象的属性等的搜索条件时，显示用户Obj.A的综合信誉信息。此外，当指定了时间段时，显示用户Obj.A在所指定的时间段内的信誉信息。此外，当指定了相关对象的属性时，根据与在与对象Obj.A有关的对象当中的、与所指定的对象属性匹配的对象的交互而显示信誉信息。
此外，信誉信息显示方法可以包括：显示情感值自身作为信誉值或者通过将情感值表示为曲线图或条形图来可视化情感值。
以上描述了根据第一应用示例的个人信用信息提供系统101的概况。同时，用户可以不加入用户Obj.A加入的同一个人信用信息提供系统101，并且可以例如利用信用卡公司来获取用户Obj.A的信用信息。在该情况下，信用卡公司的管理服务器(未示出)访问个人信用信息提供系统101的个人信用信息提供服务器4以获取用户Obj.A的信用信息。
(3-1-1.配置)
接下来，将参照图6描述个人信用信息提供系统101中所包括的个人信用信息提供服务器4的配置。
图6是示出了根据本实施例的个人信用信息提供服务器4的配置的示例的框图。如图6所示，个人信用信息提供服务器4包括控制器40、通信单元41以及物品和用户信息DB(数据库)42。
(通信单元)
通信单元41通过网络连接至用户的终端(未示出)，接收用户的请求，并且根据请求将信用信息发送给用户。此外，通信单元41通过网络连接至情感服务器2，并且获取目标对象的情感值和相关对象的情感值。
(控制器)
控制器40控制个人信用信息提供服务器4的每个部件。此外，控制器40由包括CPU、ROM、RAM和非易失性存储器的微型计算机来实现。此外，根据本实施例的控制器40用作相关物品搜索单元40a、情感值请求单元40b、结果生成单元40c、显示控制器40d和对象管理单元40e。
相关物品搜索单元40a在物品和用户信息DB 42中搜索用户指定的与检查目标人有关的物品。例如，与检查目标人有关的物品是作为检查目标人拥有的物品的、先前与检查目标人相关联的物品。
情感值请求单元40b从情感服务器2请求由用户指定的检查目标人的情感值。具体地，情感值请求单元40b通过通信单元41将检查目标人的对象ID以及(当搜索条件存在时)搜索条件(时间段、相关对象的属性、相关对象的对象ID等)发送至情感服务器2。
结果生成单元40c基于由情感值请求单元40b从情感服务器2获取的检查目标人的情感值来生成检查目标人的信誉的检查结果。具体地，例如，结果生成单元40c生成显示检查目标人的信誉信息的结果画面。
显示控制器40d控制由结果生成单元40c生成的结果画面通过请求源的用户终端显示。例如，显示控制器40d控制用于显示结果画面的信息通过通信单元41发送至用户终端。
对象管理单元40e执行管理，诸如对存储在物品和用户信息DB 42中的关于物品和用户(对象的示例)的信息的登记、修改和删除。
(物品和用户信息DB)
物品和用户信息DB 42是用于存储关于物品和用户的信息的存储单元。用户例如是被登记作为个人信用信息提供系统101中的成员的用户。此外，物品和用户信息包括每个物品和每个用户的对象ID。
以上描述了根据本应用示例的个人信用信息提供服务器4的配置。同时，参照图3描述了个人信用信息提供系统101中所包括的情感服务器2的配置，因此，本文中省略了对其的描述。
[数据配置的示例]
接下来，将参照图7和图8描述用于计算在个人信用信息提供系统101中使用的情感值的情感信息DB 24的数据的示例和情感服务器2的对象DB 22的数据的示例。
图7是根据第一应用示例的情感服务器2的对象DB 22的数据的示例的图示。如图7所示，用于标识各个对象的对象ID、对象类型、制造商ID、型号、序号以及制造日期和时间(对象生成日期和时间)是相关联的并且被存储在情感服务器2的对象DB 22中。
图8是根据第一应用示例的情感服务器2的情感信息DB 24的数据的示例的图示。关于在对象之间发生的交互的信息存储在情感信息DB 24中。如上所述，当在对象之间发生交互时，交互由双方的对象检测。在图8所示的数据的示例中，针对每个对象而创建在每个对象中生成的交互信息的数据流。本文，针对数据流，当发生交互时的对应对象被称为相关对象。
如图8所示，发生了交互的对象的对象ID、交互日期和时间及时段、相关对象ID、交互类型、交互的细节以及交互评估值是相关联的并且被存储在情感服务器2的情感信息DB24中。
例如，在图8所示的数据的示例的第一行中，具有对象ID：18000555的人于2000年6月21日与具有对象ID：5505的汽车进行了交互“驾驶”，交互的细节为“访问/制动操作：小心，方向盘操作：慢”，并且将交互评估值1赋予该交互。此外，在第二行中，具有对象ID：5505的汽车于2000年6月21日从具有对象ID：18000555的人接收交互“驾驶”，交互的细节为“燃料效率：好，制动磨损：小”，并且将交互评估值1赋予该交互。以该方式，在一侧的对象与在另一侧的对象进行的交互可以由这两个对象来感测。
如图8所示，除了上述驾驶以外，感测的交互类型可以是所有权的改变、购买、交换、维护、清洗等。
就驾驶交互而言，当坐在驾驶员座位上的人例如由附接至汽车的传感器11识别，并且感测到汽车的移动同时人处于驾驶员座位上时，感测到汽车由坐在驾驶员座位上的人驾驶的事实。
对于维护交互，房屋的所有者对房屋进行了维护的事实可以例如基于由设置在房屋中的传感器11感测到的振动和声音的记录、设置在房屋的每个地方中的摄像装置(传感器11的示例)的图片和通过附接至用户的身体的传感器11的运动分析以及附加地基于对登记的改造公司服务器中的记录的参考等来检测。
(3-1-2.显示处理)
接下来，将参照图9至图15描述个人信用信息提供系统101的显示处理。
[信用排名显示]
图9是根据第一应用示例的信用排名显示处理的流程图。如图9所示，首先，在步骤S203中，用户指定检查目标人的范围。具体地，通过用户终端提出对个人信用信息提供服务器4的检查目标人的信誉的请求。
然后，在步骤S206中，个人信用信息提供服务器4的情感值请求单元40b基于目标人的对象ID来从情感服务器2请求目标人的情感值。目标人的对象ID可以由用户来指定或者从物品和用户信息DB 42获取。否则，可以根据由个人信用信息提供服务器4指定的目标人的姓名等而从在情感服务器2侧的对象DB 22获取目标人的对象ID。
随后，在步骤S209中，情感服务器2的情感值计算单元20e基于与所指定的目标人关联的交互评估值来计算情感值。例如，情感值计算单元20e基于目标人与其他对象之间的交互的评估值的总和来计算目标人的总情感值。否则，情感值计算单元20e可以基于目标人和其他对象之间的交互的评估值的平均值来计算目标人的总情绪值，或者执行按时间顺序的加权、然后基于总和或平均值来计算总情绪值。
当请求多个目标人的情感值时，重复前述步骤S206和S209，直到所有目标人的情感值的计算结束为止(S212)。
此后，当计算出所有目标人的情感值时(在S212中为“是”)时，在步骤S215中，个人信用信息提供服务器4的结果生成单元40c将情感值当作信誉，对目标人进行排序并且生成信誉排名画面。本文中，结果生成单元40c基于目标人的总信誉来生成排名画面。
本文中，图10中示出了信誉排名画面的示例。如图10所示，在排名画面45中基于个人总信誉来按顺序显示检查目标人。具体地，排名画面45包括按信誉的降序排列的目标人信息框46a、46b和46c。目标人信息框46a、46b和46c包括目标人的姓名和根据信誉来指示排名的星号指示符。
此外，可以在目标人信息框46a、46b和46c中显示与排名基础对应的信誉的数值(即，情感值)。此外，例如，当选择了目标人信息框46c中所包括的箭头461时，显示关于目标人△△△△的每个对象属性的信誉信息。下面将参照图11至图13描述关于每个对象属性的信誉信息的显示。此外，例如，当选择了目标人信息框46c中所包括的目标人姓名462时，显示关于目标人△△△△的按时间顺序的信誉信息。下面将参照图14和图15描述按时间顺序的信誉信息的显示。
返回参照图9，在步骤S218中，显示控制器40d控制由结果生成单元40c生成的结果(排名画面)通过请求源的用户终端显示。
[关于每个对象属性的信誉信息的显示]
图11是示出了根据第一应用示例的显示关于每个对象属性的信誉信息的处理的流程图。如图11所示，首先，在步骤S223中，个人信用信息提供服务器4基于目标人的对象ID而从情感服务器2请求情感值。
然后，在步骤S226中，情感服务器2的相关对象搜索单元20d获取与目标人的对象ID相关联的相关物品的对象ID(相关对象ID)。本文中，与目标人的对象ID相关联的相关物品指的是与目标人发生了交互的另一对象(称为相关对象)。此外，相关对象搜索单元20d可以基于由用户指定的且包括在搜索条件中的对象属性，针对与目标人发生了交互的其他对象来搜索与指定的对象属性(即，对象类型)匹配的对象。
随后，在步骤S229中，情感服务器2的情感值计算单元20e从情感信息DB 24获取与相关对象ID关联的交互评估值。
此后，在步骤S231中，情感值计算单元20e基于相关物品的交互评估值来计算相关物品的情感值。本文中，所计算出的情感值是目标人与相关物品之间的相对情感值。在下文中，将参照图12描述计算相关物品的情感值的示例。
图12是根据第一应用示例的计算目标人对于房屋的相对情感值的说明图。如图12所示，首先，从情感信息DB 24中仅提取关于目标人(对象ID：18000555)与房屋(对象ID：11401)进行的交互的信息。然后，如图12所示，情感值计算单元20e根据所提取的交互信息、基于初始评估值除以已过年数的商与预定加权因子的乘积与以下结果的总和来计算目标人与房屋之间的相对情感值，所述结果为每次维护的评估值除以各自的维护间隔的商与预定加权因子的乘积的和。
返回参照图11，当存在多个相关物品时，重复前述步骤S229和S231直到对所有相关物品的情感值的计算结束为止(S234)。
随后，当对所有相关物品的情感值的计算结束时(在S234中为“是”)，个人信用信息提供服务器4的结果生成单元40c将由情感值请求单元40b从情感服务器2获取的相关物品的相对情感值当作信誉，并且生成关于每个对象属性的信誉信息的显示画面。然后，显示控制器40d控制关于每个对象属性的信誉信息的显示画面通过请求源的用户终端显示。
本文中，图13中示出了关于每个对象属性的信誉信息的显示画面的示例。当选择了图10所示的排名画面45的目标人信息框46c中所包括的箭头461时，图10中所示的排名画面45的目标人信息框46c切换至图13所示的关于每个对象属性的信誉信息的显示画面47，并且基于目标人△△△△与其他对象之间的交互评估值的相对情感值被显示作为信誉。
如图13所示，例如，除了针对房屋属性的信誉信息显示画面47a以外，还可以显示针对汽车属性的信誉信息显示画面47b和针对摄像装置属性的信誉信息显示画面47c。此外，信誉可以通过曲线图等来表示，并且还显示取决于信誉的建议。因此，在搜索寄宿家庭、房间共享或汽车共享等的对应方中，例如，除了对应方的总信誉以外，还可以单独识别针对物件属性的信誉度(对待物件的方式)。
[按时间顺序的信誉显示]
图14是示出了按时间顺序的信誉显示处理的流程图。如图14所示，首先，在步骤S243中，个人信用信息提供服务器4基于目标人的对象ID而从情感服务器2请求情感值。
然后，在步骤S246中，情感服务器2的相关对象搜索单元20d获取与目标人的对象ID相关联的相关物品的对象ID(相关对象ID)。本文中，与目标人的对象ID相关联的相关物品指的是与目标人发生了交互的对象(也称为相关对象)。
在步骤S249中，情感值计算单元20e针对一个相关对象ID而按时间顺序对目标人的交互进行分类，并且获取目标人的按时间顺序的评估值。
随后，在步骤S251中，情感值计算单元20e基于评估值来计算目标人与相关对象之间的按时间顺序的情感值。本文中，在已对按时间顺序的交互评估值进行加权之后，情感值计算单元20e可以基于按时间顺序的交互评估值的总和、其平均值、总和/平均值来获取按时间顺序的评估值。
然后，情感值计算单元20e将目标人的按时间顺序的情感值相加以获取总情感值。
此后，当存在多个相关物品时，重复前述步骤S249和S251直到所有相关物品的情感值的计算结束为止(S257)。
当所有相关物品的情感值的计算结束时(在S257中为“是”)，在步骤S260中，个人信用信息提供服务器4的结果生成单元40c将由情感值请求单元40b从情感服务器2获取的情感值当作信誉，并且生成目标人的按时间顺序的信誉信息的显示画面。然后，显示控制器40d控制所生成的目标人的按时间顺序的信誉信息的显示画面通过请求源的用户终端显示。
本文中，在图15中示出了目标人的按时间顺序的信誉信息的显示画面的示例。当选择了图10中所示的排名画面45的目标人信息框46c中所包括的目标人名称462时，图10中所示的排名画面45的目标人信息框46c被切换至在图15的左边示出的信誉信息显示画面48，并且显示目标人△△△△的当前信誉。此外，当选择了信誉信息显示画面48的时间顺序显示按钮481时，画面切换至在图15的右边所示的按时间顺序信誉信息显示画面49。按时间顺序信誉信息显示画面49显示目标人对于所有物件的按时间顺序的信誉(按时间顺序的总信誉)。此外，在按时间顺序信誉信息显示画面49上显示的按时间顺序的信誉信息不限于图15所示的对于所有物件的按时间顺序的信誉，并且按时间顺序信誉信息显示画面49可以显示对于每个对象属性的按时间顺序的信誉。
以上描述了根据第一应用示例的个人信用信息提供系统101。同时，虽然在图10中示出了人的信誉排名，但是本应用示例不限于此，并且例如可以显示人和物件混合的信誉排名。在搜索帮助者时，例如，当检查目标被指定为“帮助者”时，可以显示人和物件(机器人)二者的排名。
<3-2.拍卖系统>
接下来，参照图16至图26，将情感值被认为指示参展方的可信度、关于展出物品的意图、处理侧的小心程度等并且用于拍卖系统102中的情况描述作为第二应用示例。
由于在拍卖时展出由特定用户使用的物件，因此一般而言，用户期望基于根据用户与物件之间的关系计算的物件的情感值来确定价格。同时，根据本实施例的情感值可以用作展出物件的用户(参展方)的可信度的基础。在本实施例中，情感价值可以被转换为被称为“情感值”的值并被使用。此外，可以通过参考基于针对除了展出物件以外的物件的交互评估值的情感值、根据参展方是通常小心对待物件的人还是粗暴对待物件的人来确定参展方的可信度和他或她对待物件的小心程度。
图16是根据第二应用示例的拍卖系统102的整体配置的说明图。如图16所示，拍卖系统102包括拍卖服务器5和情感服务器2。
情感服务器2从作为拍卖系统102的成员的用户Obj.A以及用户Obj.A通常与其进行交互的房屋Obj.B、汽车Obj.C和摄像装置Obj.D获取交互信息。
此外，图16所示的用户Obj.A和用户当被登记作为拍卖系统102的成员时分别与唯一ID相关联并被登记。此外，用户Obj.A当在拍卖系统102展出物品时将物品的唯一对象ID发送至拍卖服务器5。拍卖服务器5基于展出对象的对象ID而从情感服务器2请求相应对象的情感值。本文中，拍卖服务器5还从情感服务器2请求作为相应对象的参展方的用户Obj.A的情感值。此外，当相应对象是具有特定型号和物品名称的物品时，可以从拍卖服务器5的物品和用户信息DB 42(参见图6)获取关于具有相同型号和物品名称的其他展出物品的信息，并且基于所获取的物品的对象ID而从情感服务器2请求情感值。
当展出新物品时或者当拍卖服务用户在检查要购买的物品的同时向拍卖服务器5指定了物品时，执行由拍卖服务器5从情感服务器2对情感值的这种获取。
然后，拍卖服务器5可以将所获取的情感值当作物品的信誉(小心程度、物品是否被小心对待、情感等)，并且基于所获取的情感值来按情感值的顺序对物品进行排序以显示更小心对待的物品和其用户具有更高程度的感情的物品。
以上描述了根据第二应用示例的拍卖系统102的概况。
(3-2-1.配置)
接下来，将参照图17描述拍卖系统102中所包括的拍卖服务器5的配置。
图17是示出了根据本实施例的拍卖服务器5的配置的示例的框图。如图17所示，拍卖服务器5包括控制器50、通信单元51以及物品和用户信息DB 52。
(通信单元)
通信单元51通过网络连接至用户的终端(未示出)，接收用户的请求，并且根据该请求将展出物品和参展方的情感值发送给用户。此外，通信单元41通过网络连接至情感服务器2，并且获取目标对象的情感值和相关对象的情感值。
(控制器)
控制器50控制拍卖服务器5的每个部件。此外，控制器50由包括CPU、ROM、RAM和非易失性存储器的微型计算机来实现。此外，根据本实施例的控制器50用作相关物品搜索单元50a、情感值请求单元50b、结果生成单元50c、显示控制器50d和对象管理单元50e。
相关物品搜索单元50a在物品和用户信息DB 42中搜索与检查目标物品有关的物品。与检查目标物品有关的物品例如是与检查目标物品具有相同型号和名称的物品。
情感值请求单元50b从情感服务器2请求检查目标物品的情感值。具体地，情感值请求单元50b通过通信单元51向情感服务器2发送检查目标物品的对象ID、当存在相关物品时相关物品的对象ID以及检查目标物品的参展方的对象ID。
结果生成单元50c基于由情感值请求单元50b从情感服务器2获取的检查目标物品等的情感值来生成检查目标物品等的情感值的结果。具体地，例如，结果生成单元50c生成显示检查目标物品的情感值的结果画面。
显示控制器50d控制由结果生成单元50c生成的结果画面通过请求源的用户终端显示。例如，显示控制器50d控制用于显示结果画面的信息通过通信单元51发送至用户终端。
对象管理单元50e执行管理，诸如对存储在物品和用户信息DB 42中的关于物品和用户(对象的示例)的信息的登记、修改和删除。
(物品和用户信息DB)
物品和用户信息DB 52是存储关于物品和用户的信息的存储单元。用户例如是被登记作为拍卖系统102中的成员的用户。此外，物品和用户信息包括每个物品和每个用户的对象ID。
本文中，在图18中示出了存储在物品和用户信息DB 52中的展出物品信息的数据的示例。如图18所示，用于标识各个展出物品的展出ID、类型ID、物品的对象ID、参展方的对象ID、展出日期和时间、拍卖结束日期和时间、当前价格、出价列表和物品描述是关联的并存储在物品和用户信息DB 52中。
上面描述了根据本应用示例的拍卖服务器5的配置。同时，已经参照图3描述了拍卖系统2中所包括的情感服务器2的配置，因此本文中将省略对其的描述。
[数据配置的示例]
接下来，将参照图19描述用于计算拍卖系统102中所使用的情感值的情感服务器2的情感信息DB 24的数据的示例。同时，在本应用示例中所使用的对象DB 22的数据的示例与图7所示的示例相同，因此，本文中将省略对其的描述。
图19是根据第二应用示例的情感服务器2的情感信息DB 24的数据的示例的图示。关于在对象之间发生的交互的信息存储在情感信息DB 24中。在图19所示的数据的示例中，发生了交互的对象的对象ID、交互的日期和时间以及时段、相关对象ID、交互类型、交互的详情以及交互评估值是关联的并且被存储。
当在对象之间发生交互时，针对两个对象而提取交互，并且评估单元20b对每次交互进行评估。虽然针对两个对象而提取的交互评估值在图19所示的示例中是相同的，但是本应用示例不限于此，并且交互评估值可以不同。例如，当提取由用户(对象ID：1930213)与数字摄像装置(对象ID：384)进行的交互“操作”时，对珍视摄像装置并因而小心操作摄像装置的用户进行正面评估，而对被强制操作、粗暴放置等的摄像装置进行负面评估。以该方式，可以根据交互方向来执行不同的评估。
同时，每次交互的提取和评估的示例如下。
例如，对于驾驶交互，基于由附接至加速踏板、制动踏板和方向盘的传感器感测的感测数据来分析交互的详情，诸如小心驾驶和鲁莽驾驶。此外，通过将加速器、制动器和方向盘操作的输入值输入至评估函数来在-1.0至1.0的范围内获得驾驶交互的评估值。
此外，对于操作摄像装置等的交互，用传感器来感测摄像装置的快门按钮的按压力、旋转转盘的速度/由于过度旋转而引起的返回次数、当放置摄像装置时的冲击以及当放入包中时向身体施加的冲击等。评估单元20b基于由传感器感测的感测数据对每个值进行加权以计算评估值。此外，评估单元20b将所计算出的值归一化至-1.0至1.0的范围。
此外，对于存放摄像装置等的交互，通过感测来提取存放地点的温度、湿度和含尘度(可用灰尘传感器来感测)。基于这样的值在存放期间的变化，评估单元20b用数值表示摄像装置等的存放状态是有利的还是不利的。此外，可以对每个参数进行加权以计算评估值。评估单元20b将所计算出的值归一化至-1.0至1.0的范围。
(3-2-2.显示处理)
接下来，将参照图20至图26描述拍卖系统102的显示处理。
[列表显示]
图20是示出了根据第二应用示例的根据展出物品的情感值进行的列表显示处理的流程图。如图20所示，首先，在步骤S303中，用户指定为检查目标的展出物品。
然后，在步骤S306中，拍卖服务器5的情感值请求单元50b在物品和用户信息DB 52中搜索由用户指定的物品。本文中，也可以搜索与关于由相关物品搜索单元50a搜索的相应物品的信息有关的物品(具有相同型号和名称的其他展出物品)。
随后，在步骤S309中，情感值请求单元50b基于每个物品的对象ID而向情感服务器2请求目标人的情感值。
此后，在步骤S312中，情感服务器2的情感值计算单元20e基于与所指定的物品的对象ID关联的交互评估值来计算情感值。
当请求多个物品的情感值时，重复前述步骤S309和S312直到对所有物品的情感值的计算结束为止(S315)。
此后，当对所有物品的情感值的计算结束时(在S315中为是)，在步骤S318中，拍卖服务器5的结果生成单元50c按情感值的顺序对物品进行排序，并且基于情感值生成展出物品排名画面。本文中，结果生成单元40c基于目标物品的总情感值(绝对情感值)来生成排名画面。
本文中，在图21中示出了基于展出物品的情感值的列表显示画面的示例。如图21所示，列表显示画面55基于各个物品的总情感值(绝对情感值)而按顺序显示检查目标物品。除了由用户指定的展出物品以外，检查目标物品包括与由用户指定的展出物品具有相同型号和名称的展出物品(相关物品)。因此，除了所指定的展出物品以外，用户可以识别类型与所指定的展出物品相同的展出物品的情感值。
例如，列表显示画面55包括按情感值的降序排列的目标物品信息框56a、56b和56c。目标物品信息框56a、56b和56c各自包括目标物品的参展方的名称和指示基于情感值的排名的星号指示符。此外，可以在目标物品信息框56a、56b和56c中显示与排名的基础对应的情感值。
此外，例如，当选择了目标物品信息框56a中所包括的箭头561时，显示与由参展方○○○○展出的物品的情感值有关的详细信息。下面将参照图22至图24描述与物品的情感值有关的详细信息的显示。此外，例如，当选择了目标物品信息框56c中所包括的参展方名称562时，显示与参展方△△△△的情感值有关的详细信息。下面将参照图23至图24描述与参展方的情感值有关的详细信息的显示。
返回参照图20，在步骤S321中，显示控制器50d控制由结果生成单元50c生成的结果(列表显示画面)通过请求源的用户终端显示。
[与展出物品的情感值有关的详细信息的显示]
图22是示出了根据第二应用示例的显示与展出物品的情感值有关的详细信息的处理的流程图。如图22所示，首先，在步骤S333中，个人信用信息提供服务器4从展出ID获取展出物品的对象ID，并且从情感服务器2请求展出物品的情感值。
随后，在步骤S336中，情感服务器2的情感值计算单元20e从对象DB 22获取与物品的对象ID相对应的对象的详细内容(物品类型、制造商、制造日期和时间等)。
然后，在步骤S339中，情感值计算单元20e通过使用物品的对象ID进行过滤来从情感信息DB 24获取目标物品的所有交互评估值(参照图23)。
此后，在步骤S341中，情感值计算单元20e针对各个相关对象ID来对所获取的、目标物品的所有交互评估值进行分类。本文中，相关对象ID指的是与目标对象进行了交互的对象，一般地，对应于目标物品的所有者。
然后，在步骤S344中，情感值计算单元20e选择一个相关对象ID。
随后，在步骤S347中计算所选择的相关对象ID与目标物品之间的相对情感值。也就是说，情感值计算单元20e针对在前述步骤S344中选择的相关对象ID，根据在前述步骤S341中针对各个相关对象ID分类的情感值来计算交互评估值。
随后，重复前述步骤S344和S347，直至对与目标物品对应的(具有与目标物品的交互关系的)所有相关对象ID的相对情感值的计算结束为止(S351)。
然后，在步骤S352中，情感值计算单元20e基于目标物品的所有交互评估值来计算目标物品的绝对情感值。在下文中，将参照图23描述展出物品的相对/绝对情感值的计算的示例。
图23是根据第二应用示例的展出物品的相对/绝对情感值的计算的说明图。如图23所示，首先，通过使用展出物品(对象ID：384)进行过滤来从情感信息DB 24获取与展出物品有关的所有交互信息。
然后，情感值计算单元20e基于所获取的交互信息来计算物品的绝对情感值和针对各个相关对象ID(对象ID：1930213、4649和5963084)的情感值(相对情感值)。相关对象ID是物品的过去所有者的对象ID。
物品的绝对情感值是基于迄今为止的物品的交互历史的情感值的总数。具体地，例如，如图23所示，基于针对各个交互类型的平均值与取决于交互类型(操作和存放)的权重a的乘积的总和来计算物品的绝对情感值。
此外，物品的绝对情感值是基于物品的每个过去所有者的交互历史的情感值。图23示出了计算对象ID：5963084(所有者)与数字摄像装置(对象ID：384))之间的相对情感值的数学表达式作为示例。如图23所示，使用针对相关对象ID：5963084的交互历史(图23所示的数据的示例的第三行和第四行)、基于针对交互类型的平均值与取决于交互类型(操作和存放)的权重a的乘积的总和来计算物品与相关对象ID之间的相对情感值。
返回参照图22，在步骤S354中，拍卖服务器5的结果生成单元50c生成如下画面，该画面将针对相关对象ID按时间顺序的相对情感值、主要交互的内容和物品的绝对情感值(总情感值)显示作为由情感值请求单元50b从情感服务器2获取的关于物品的情感值的详细信息。然后，显示控制器50d通过请求源的用户终端对所生成的详细信息显示画面进行控制。
本文中，图24中示出了与展出物品的情感值有关的详细信息的显示画面的示例。当选择了图21中所示的列表显示画面55的目标物品信息框46a中所包括的箭头561时，图21中所示的列表显示画面55的目标物品信息框46a被切换至图24中所示的关于展出物品的详细信息的显示画面57，并且显示与由参展方○○○○展出的物品的情感值有关的详细信息。
图24中所示的详细信息显示画面57显示了由参展方○○○○按时间序列展出的物品的过去所有者的相对情感值(0.92、-0.56和0.80)，并且还显示了物品的总情感值(绝对情感值)。因此，用户可以识别迄今为止如何对待物品以及过去的所有者如何看待物品。以该方式，基于迄今为止的处理方式而客观地指示情感价值的情感值被指定为物品的新值。
[与参展方的情感值有关的详细信息的显示]
图25是示出了显示与参展方的情感值有关的详细信息的处理的流程图。如图25所示，首先，在步骤S363中，个人信用信息提供服务器4从展出ID获取参展方的对象ID，并且从情感服务器2请求参展方的情感值。
随后，在步骤S366中，情感服务器2的情感值计算单元20e从对象DB 22获取与参展方的对象ID相对应的对象的详细内容(姓名、性别、年龄等)。
然后，在步骤S369中，情感值计算单元20e通过使用参展方的对象ID进行过滤来从情感信息DB 24获取参展方的所有交互评估值(迄今为止的交互信息历史)。
此后，在步骤S371中，情感值计算单元20e针对各个相关对象ID来对所获取的、参展方的所有交互评估值进行分类。本文中，相关对象ID指的是与目标人具有交互关系的对象，一般地，对应于由参展方拥有的物品和由参展方展出的其他物品。
然后，在步骤S374中，情感值计算单元20e针对各个相关对象来计算情感值(相对情感值)，计算情感值的和(绝对情感值)，并且将该和发送至拍卖服务器5。拍卖服务器5的结果生成单元50c生成如下画面，该画面将各个相关对象ID的相对情感值、主要交互的内容和参展方的绝对情感值(总情感值)显示作为由情感值请求单元50b从情感服务器2获取的与参展方的情感值有关的详细信息。然后，显示控制器50d控制所生成的详细信息显示画面通过请求源的用户终端显示。同时，参展方的总情感值(绝对情感值)可以是各个相关对象的情感值(相对情感值)的总和或各个相关对象的情感值的平均值，或者可以通过对交互类型应用权重、然后对评估值进行求和或对评估值求平均来计算。
本文中，图26中示出了与参展方的情感值有关的详细信息的显示画面的示例。当选择了图21中所示的列表显示画面55的目标物品信息框46c中所包括的参展方名称562时，图21中所示的列表显示画面55的目标物品信息框46c被切换至图26中所示的关于参展方的详细信息的显示画面58，并且显示与参展方△△△△的情感值有关的详细信息。
图26中所示的详细信息显示画面58显示了针对参展方△△△△的物品的相对情感值(-0.32、0.12和-0.3)，并且另外显示了参展方的总情感值(绝对情感值)。因此，用户可以通过针对参展方处理的可信度和小心程度检查除了展出物品以外的物件的情感值，来确定参展方是通常小心对待物件的人还是通常粗暴对待物件的人。可以在对展出物品成功出价之前通过检查参展方的情感值来识别参展方的个性。
同时，详细信息显示画面58可以显示由参展方设置为可共享信息的其他信息(年龄、性别等)作为关于参展方的信息。
上面描述了根据第二应用示例的拍卖系统102。
<3-3.环境调整系统>
接下来，参照图27至图34将情感值用于在本地调整移动用户的周围环境的环境调整系统103的情况描述为第三应用示例。
图27是根据第三应用示例的环境调整系统103的整体配置的说明图。
如图27所示，环境调整系统103包括：移动对象6，其跟踪用户以改变用户的周围环境；以及环境调整服务器7，其对移动对象6进行控制。环境调整服务器7经由接入点等与移动对象6进行通信，并且执行对移动对象6的移动控制等。如图1所示，移动对象6可以是多个移动对象6a至6c，并且可以使用作为基点安装在户外的基站来移动。
环境调整服务器7经由网络3连接至情感服务器2和热图(heat map)服务器75，并且获取移动对象6的移动控制所需的信息。例如，环境调整服务器7可以从情感服务器2获取用户的情感值，并且根据情感值来执行环境调整控制。
另外，环境调整服务器7可以通过使移动对象6跟踪用户并且根据用户的情感来局部地改变周围环境，来为用户提供更舒适的环境。
移动对象6可以由如图27所示的小飞行无人机来实现，并且可以在跟踪移动用户时飞行。图28是本应用示例的由移动对象6进行的环境调整的示例的说明图。如图28所示，移动对象6可以飞行并跟踪移动用户、同时保持在用户上方以用作雨伞或阳伞，以使得用户例如不暴露于雨或直射阳光下，从而局部地改变用户的周围环境。此外，移动对象6可以根据需要改变覆盖范围。例如，如图28所示，可以通过延伸以环形从移动对象6的中心延伸的板状构件651来加宽覆盖范围。
同时，移动对象6不限于图27所示的飞行对象，并且例如可以是在地面上移动同时跟踪用户的机器人型移动对象、或者在水中的移动对象。
上面描述了根据本公开的环境调整系统103的概况。
(3-3-1.配置)
接下来，将依次描述根据本应用示例的包括在环境调整系统103中的移动对象6和环境调整服务器7的配置。顺便提及，已参照图3描述了情感服务器2的配置，因此本文中将省略对其的描述。
[移动对象6的配置]
图29是根据本应用示例的移动对象6的配置的示例的图示。如图29所示，移动对象6包括通信单元61、目标对象传感器62、移动对象控制器63、环境传感器64和变换控制器65。
通信单元61向/从环境调整服务器7发送/接收数据。例如，通信单元61将通过目标对象传感器62和环境传感器64获取的传感器信息发送至环境调整服务器7，并且从环境调整服务器7接收包括移动控制和转换控制的指示的控制信息。
目标对象传感器62是获取与跟踪目标对象有关的信息的感测单元。本文中，例如，跟踪目标对象对应于在室外移动的用户。目标对象传感器62例如包括摄像装置62a、红外摄像装置62b、无线信号接收器62c或麦克风阵列62d，并且获取与用户有关的信息。
移动对象控制器63具有对移动对象6的移动进行控制的功能。具体地，移动对象控制器63包括动力驱动单元63a和姿态控制器63b。动力驱动单元63a例如由推进器、轮子或行走的腿来实现，并且进行操作以根据移动对象控制器63的控制来跟踪目标用户。此外，姿态控制器63b通过陀螺仪传感器等来感测移动对象6的姿态，并且对动力驱动单元63a进行控制以调整移动对象6的倾斜和高度。根据本公开的移动对象控制器63可以通过控制移动对象6的飞行路线和高度来局部地改变用户的周围环境，以使得移动对象6例如对于用户而言变成防雨或阳光的盖子。
环境传感器64是获取与周围环境有关的信息的感测单元。具体地，环境传感器64例如通过纬度-经度定位单元64a或高度传感器64b获取环境信息。环境传感器64的具体示例不限于此，并且根据需要，环境传感器64还可以包括温度传感器、湿度传感器等。
变换控制器65执行变换移动对象6的形状的控制，以在挡雨或阳光时扩展覆盖范围。
上述移动对象6配备有包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储器的微型计算机以控制移动对象6的每个部件。
[环境调整服务器的配置]
图30是示出了根据本实施例的环境调整服务器7的配置的示例的框图。如图30所示，环境调整服务器7包括通信单元71、控制器70和用户DB 72。
通信单元71向/从外部装置发送/接收数据。具体地，例如，通信单元71从移动对象6接收目标对象信息和环境信息，并且将用于控制移动对象6的移动的控制信息发送至移动对象6。此外，通信单元71经由网络3从情感服务器2和热图服务器75获取预定数据。
控制器70对环境调整服务器7的每个部件进行控制。具体地，控制器70控制移动对象6跟踪目标用户以根据用户的情感来改变目标用户的周围环境。此外，控制器70由包括CPU、ROM、RAM和非易失性存储器的微型计算机来实现。
本文中，控制器70用作用户设置和管理单元70a、目标对象检测单元70b、情感估计单元70c、环境信息获取单元70d、热图生成/获取单元70e、情感值计算单元70f和移动对象控制器70g。
用户设置和管理单元70a对使用本系统的用户的信息的登记、改变和删除进行管理。例如，用户的信息包括用户的姓名、标识号、面部图像、年龄、性别、爱好、口味、家庭住址、工作地点、行为模式等。
目标对象检测单元70b基于从移动对象6发送的目标对象传感器信息来检测位于移动对象6附近的人、由人携带的对象等。具体地，目标对象检测单元70b可以例如通过对从移动对象6发送的捕获图像进行分析并且将捕获图像与登记在用户DB 72中的用户的面部图像进行比较，来检测目标用户。否则，目标对象检测单元70b可以基于由移动对象6从无线通信装置(诸如用户佩戴的智能带)接收的用户标识信息来检测目标用户。
情感估计单元70c对由目标对象检测单元70b检测的目标用户的情感进行估计。具体地，情感估计单元70c例如基于生物信息(脉搏、体温、排汗量、脑波等)来估计目标用户的情感。生物信息由用户佩戴的智能带获取，被发送至移动对象6，并且从移动对象6发送至环境调整服务器7。
此外，情感估计单元70c可以基于目标用户的属性(性别、年龄、身高、体重、个性、职业等)、爱好和品位以及周围环境来估计目标用户的情感。
环境信息获取单元70d通过通信单元71从移动对象6获取与周围环境有关的信息。具体地，环境信息获取单元70d获取由移动对象6的环境传感器64感测的数据(纬度、经度、高度等)作为环境信息。此外，环境信息获取单元70d可以根据移动对象6的位置(纬度和经度信息)从预定服务器获取周围地理信息、建筑物信息等作为环境信息。
热图生成/获取单元70e基于情感估计单元70c的估计结果和从环境信息获取单元70d输出的环境信息来生成地理上描绘情感的情感热图。更具体地，热图生成/获取单元70e基于多个用户的情感的估计结果来生成指示在特定地点是否存在具有特定情感的许多用户的情感热图。
此外，热图生成/获取单元70e基于从环境信息获取单元70d输出的环境信息(纬度、经度、高度、地理信息、建筑物信息等)来生成目标用户的当前地点的周围的环境热图。
以该方式生成的热图可以存储在网络上的热图服务器75中或者存储在环境调整服务器7的存储单元(未示出)中。此外，可以定期地更新热图。
此外，热图生成/获取单元70e可以生成情感热图与环境热图的综合热图。
情感值计算单元70f针对由目标对象检测单元70b检测到的目标用户的所有物和与目标用户一起的人(相关对象)来计算情感值(即，相对情感值)。具体地，情感值计算单元70f从情感服务器2获取与目标用户的对象ID关联的交互评估值，并且针对基于交互评估的每个交互评估值来计算目标用户的相对情感值。
例如，将经常维护他或她拥有的手表的目标用户的交互的评估和在专门设计用于该手表的盒中保存手表的交互的评估存储在情感服务器2中，并且情感值计算单元70f获取目标用户的这样的交互评估并且计算情感值。虽然评估值计算方法没有被具体限制，但是例如可以按照交互类型对目标用户与特定对象(相关对象)的交互进行分类，并且可以根据交互类型、使用加权函数来对与特定对象的所有交互的评估求平均。可以从用户DB 72获取目标用户的对象ID。
移动对象控制器70h基于从热图生成/获取单元70e输出的综合热图来确定在目标用户移动的路线上需要环境改变的区域，并且对移动对象6进行控制以改变用户的周围环境。确定需要环境改变的区域是基于综合热图的值是否大于预定阈值来执行的。以该方式，通过使用通过对情感热图和环境热图进行综合而获得的综合热图，可以通过例如在目标用户经过用户容易在雨中淋湿的地方时使移动对象6跟踪目标用户来局部地改变目标用户的周围环境以避雨，由此使得目标用户能够处于舒适状态。
此外，当移动对象6改变了目标用户的周围环境时，移动对象控制器70h可以根据由情感值计算单元70f获得的针对目标用户的所有物或与目标用户一起的人的情感值(重视程度)来执行对通过移动对象6扩展覆盖范围或在目标用户之前覆盖目标用户的所有物或与目标用户一起的人的控制。
以上详细描述了包括在本应用示例中的每个装置的配置。同时，虽然在本应用示例中描述了环境调整服务器7的情感值计算单元70f计算情感值的原理，但是可以在情感服务器2侧执行情感值的计算。
(3-3-2.操作处理)
接下来，将参照图31和图32描述根据本应用示例的操作处理。
[环境调整处理]
图31是示出了环境调整处理的流程图。如图31所示，首先，在步骤S403中，环境调整服务器7获取当前地点的环境信息、目标用户的目的地和目的地到达时间信息。
随后，在步骤S406中，环境调整服务器7的情感评估单元70c获取用户的属性、爱好、嗜好、生物信息等。
接下来，在步骤S409中，情感估计单元70c对用户的情感进行估计。也就是说，情感估计单元70c可以基于用户的属性、爱好、品位、生物信息等来估计用户在从当前位置至目的地的路线上、在当前环境下的情感。例如，当用户是30多岁的女性，从过去的行为历史、对话、文字等提取用户通常携带阳伞的事实，并且从购买历史提取已购买防晒霜和太阳伞的事实时，估计出该女性具有担心紫外线、直射阳光和晒伤的感觉(不愉快的情感)。
随后，在步骤S412中，环境调整服务器7的控制器70基于估计结果来确定是否需要环境改变。具体地，例如，当用户具有担心紫外线、直射阳光和晒伤的感觉(不愉快的情感)时，如果当前位置和目的地的天气晴朗并且暴露于直射阳光，则控制器70确定需要环境改变。
之后，当需要环境改变时(在S412中为“是”)时，在步骤S415中，移动对象控制器70g对移动对象6进行控制以改变目标用户的周围环境。具体地，移动对象控制器70g使得移动对象6跟踪目标用户以在避开雨或阳光的位置飞行。
然后，在步骤S418中，环境调整服务器7确定用户是否已到达目的地。当用户已到达目的地时，环境调整操作结束，因此，例如移动对象控制器70g控制移动对象6返回预定基站。
当用户尚未到达目的地时(在S418中为“否”)时，在步骤S421中，环境调整服务器7通过目标对象检测单元70b和环境信息获取单元70d获取用户的当前位置信息和当前位置的环境信息。重复S415。
[覆盖范围改变处理]
接下来，将参照图32描述改变移动对象6的覆盖范围的处理。本应用示例可以基于目标用户的情感值来改变覆盖范围。因此，可以根据目标用户的感受来执行环境调整，诸如优先覆盖通常对于目标用户而言重要的物件或覆盖对于目标用户而言重要的人。
图32是示出了范围改变处理的流程图。如图32所示，首先，在步骤S433中，环境调整服务器7的情感值计算单元70f确定目标用户的对象ID。
然后，在步骤S436中，目标对象传感器62和环境传感器64感测关于移动对象6的周围的信息以获取关于目标用户的信息和关于周围环境的信息。
随后，在步骤S439中，重复前述步骤S436直至在步骤S439中能够检测到所确定的目标用户。
当检测到目标用户时(在S439中为“是”)时，在步骤S442中，目标对象检测单元70b检测与目标用户一起移动的对象(诸如，婴孩车或行李)或者与目标用户一起移动的人。
随后，在步骤S445中，情感值计算单元70f获取所检测到的对象或人的对象ID。该对象ID(也称为相关对象ID)可以预先登记在用户DB72中，或者可以通过相关对象搜索单元20d基于由移动对象6的摄像装置62a获取的捕获图像的分析结果而查询情感服务器2，来在对象DB 22中搜索该对象ID。
然后，在步骤S448中，情感值计算单元70f指定目标用户的对象ID和与目标用户一起移动的对象或人的对象ID，并且从情感服务器2获取目标用户与该对象或人之间的交互评估值。例如，通过对目标用户与其他人之间的谈话和邮件或者目标用户对于对象的行为(诸如存放、维护、佩戴和欣赏)的评估值进行归一化而获得交互评估值。本文中，将参照图33和图34描述用于情感值计算的特定交互评估数据的示例。
图33是根据本应用示例的交互评估数据的示例的图示。图33是在移动对象6用作雨伞时使用的交互评估的示例。当目标用户(对象ID：70007)在与同事(对象ID：70008)在外面午餐之后试图回去工作时下雨的情况被假定为该状况。在该情况下，移动对象控制器70g从情感服务器2获取如图33所示的交互评估值，以便确定移动对象6是否将在使除了目标用户外的同事避免淋雨时飞行(移动对象6将遮蔽多少、当遮蔽两个人时是否同样地遮蔽两个人或者相比于一侧而优先遮蔽另一侧等)。
图33所示的交互评估示例包括交互(例如，在发生交互时的谈话、邮件和工作场所外接触)的评估值。谈话交互是例如基于以下各项来评估的：基于通过语音识别的用户的谈话语音语调的好感度；基于通过语音识别和句法分析而识别的谈话内容的亲密级别(在该情况下是否执行了关于个人问题而非关于工作问题的谈话)；用户的基于图像分析的微笑程度；基于图像分析的两个人目光接触的次数等。此外，使用基于句法分析的邮件书写的亲密程度、尊重程度、邮件的件数等来评估邮件交互。此外，通过经由位置信息或其他传感器检测交互是工作中交互或工作外交互以及基于人员工作外在一起的时间、他们彼此靠近的时间和当进行谈话时的谈话交互评估来评估工作场所外接触的交互。
在图33所示的示例中，从目标用户(对象ID：70007)的角度对同事(对象ID：70008)的评估慢慢提高，因此，测量到高好感度。此外，从同事(对象ID：70008)的角度对目标用户(对象ID：70007)的评估也慢慢提高，但是低于从目标用户(对象ID：70007)的角度对同事(对象ID：70008)的评估，因此，可以识别到目标用户和同事对彼此评估不同。
当目标用户(对象ID：70007)呼叫移动对象6时，由于从计算出的高情感值识别到目标用户(对象ID：70007)对同事(对象ID：70008)具有好感的事实，因此移动对象控制器70g对移动对象6进行控制以覆盖同事与目标用户，但是控制取决于在计算情感值时取决于交互类型的评估权重。
图34是根据本应用示例的交互评估数据的另一示例的图示。图34是在移动对象6用作阳伞时使用的交互评估的示例。当目标用户(对象ID：8165)佩戴他或她当作珍宝并且作为来自他的或她的父亲的纪念品的古董手表(对象ID：80075)时阳光强烈的情况被假设为情境。手表对目标用户很重要，并且因此目标用户想要相比于他或她的身体优先覆盖手表(以使得手表不暴露于直射阳光)。
图34所示的交互评估示例包括交互(例如。在发生交互时的存放、维护、佩戴和欣赏)的评估值。对于存放交互，基于保存地点的光的强度(暗度级别)、湿度和温度，这样的值的平均值以及恒定保存程度来确定评估。在该示例中，使用专门设计的盒子并且因此对其的评估很高。此外，由于用户在炎热的夏季时段将手表保存在专门设计的保存盒中，因此对其评估赋予更大权重，因此，比在其他保存时段内高得多(在第一行和第二行中为0.5，虽然正常为0.3)。此外，当在晚饭后无维护的情况下保存手表时，保存的评估降低，因此保存顺序也影响评估。此外，虽然对特定物件的感情随着其保存时段增加而消失，并且由此其评估可能降低，但是假设在保存期间的时间因素不影响对于手表的评估，这是因为手表对用户而言非常重要。
此外，基于维护内容的预定指标、维修专家的评估或其它客观排名指标等来评估维护。例如，在迄今为止使用的内容(诸如在商店处的彻底检修或维护)的情况下，评估提高。
根据用户外出佩戴手表的事件(目的地)的重要性、特异性等来评估佩戴维护。例如，在用户通常不参加的特殊事件的情况下，佩戴手表的评估很高。同时，当用户参与每年举行多次的新闻发布会时佩戴手表的评估较低。此外，当用户佩戴手表时光的强度、温度、湿度、与其他人的靠近程度等也会影响评估值。
此外，通过使用图片对每个部分是否被分开并通过维护处理而维护的分析来对维护交互进行评估。
对于欣赏的评估，基于用户欣赏手表的时间和用户在此时的面部表情来检测欣赏交互，并且取决于根据脑波等的快乐程度、松弛程度来评估欣赏交互。此外，当通过语音识别、句法分析等检测到例如用户在欣赏手表时的动作(例如，明确地向朋友说明该手表是纪念品)时，评估变高。
情感值计算单元70f基于与佩戴在用户的身体上的物件的这种交互的评估来计算用户对于物件的意图和关于物件的看法作为情感值。此外，移动对象控制器70g基于情感值来确定佩戴在用户的身体上的手表的重要性，并且控制移动对象6相比于目标用户优先覆盖手表而免于阳光直射。
随后，返回至图32，在步骤S451中，情感值计算单元70f计算目标用户对于对象/人的情感值。虽然情感值计算公式不受具体限制，但是例如可以根据交互类型对目标用户与特定对象(相关对象)的交互进行分类，并且根据交互类型、使用加权函数来对针对特定对象的交互评估进行求平均(称为如下公式1)。
(公式1)
Ave(ωintA·(Ave(EintA·TW(t)))，ωintB·(Ave(EintB·TW(t)))，ωintC·(Ave(EintC·TW(t)))，...)
这里
ωintA：交互A的权重
EintA：交互A的评估值
TW(t)：针对评估值的经过时间的加权函数
上述公式1对应于基于人之间的交互评估值来计算情感值的情况，并且使用针对评估值的过去时间的加权函数TW(t)。t指定交互时间(或评估时间)，并且根据从进行交互时起经过的时间来执行加权。这是因为在人之间的关系的情况下，最近的交互被认为比过去的交互更重要。
接下来，在步骤S454中，移动对象控制器70g基于由情感值计算单元70f计算出的情感值来确定是否需要改变覆盖范围。具体地，当目标用户相对于对象/人的相对情感值高于阈值时，移动对象控制器70g确定与目标用户一起覆盖对象/人或者在目标用户之前覆盖对象/人。
当需要改变覆盖范围时(在S454中为“是”)，在步骤S457中，移动对象控制器70g指示移动对象6改变覆盖范围。
根据本应用示例，如上所述，例如当目标用户行走、同时携带重要古董时，移动对象6可以覆盖古董，uo使得古董不暴露于太阳或雨中。当目标用户与儿童和朋友在一起时，他们可以共享覆盖范围。
<3-4.遥现系统>
接下来，参照图35至图41将在控制远程场所的通信的遥现系统104中设置了隐私级别时使用情感值的情况描述为第四应用示例。
图35是根据第四应用示例的遥现系统104的整体配置的说明图。如图35所示，根据本应用示例的遥现系统104可以连接多个空间(例如，房间R1和房间R2)，并且将一个空间的图片提供至另一空间以实现远程空间中的用户之间的通信。具体地，遥现系统104用安装在房间R1中的高清晰度摄像装置和麦克风阵列获取用户A在房间R1中的状态，并且通过安装在房间R2中的显示部82a-2和扬声器输出所获取的状态。类似地，遥现系统104用安装在房间R2中的高清晰度摄像装置和麦克风阵列获取用户B在房间R2中的状态，并且通过安装在房间R1中的显示部82a-1和扬声器输出所获取的状态。
以该方式，用高清晰度摄像装置来拍摄双方的状态，并且将双方的状态提供给对方，因此，甚至位于远程的用户也可以执行更为现实和密切的通信。然而，需要用于控制用户隐私的装置。
根据本应用示例的遥现系统104可以通过在遥现系统中根据对方自动地设置隐私级别而适当地保持隐私。具体地，可以通过根据设置的隐私级别掩蔽提供给对方的图片来应对不希望显示房间的图片的一部分而无需关断和单方面关闭通信的用户需求。
在本应用示例中，使用与指示对方的个性和可信度的预定指标对应的情感值来设置这样的隐私级别。
例如，当用户B的情感值高时，可以认为用户B是高度可信的人，因此，遥现系统104将用户A相对于用户B的隐私级别设置为较低并且扩展暴露给用户B的图片的区域。相反，当用户B的情感值低时，可以认为用户B不是高度可信的人，因此，遥现系统104将用户A相对于用户B的隐私级别设置为较高，并且减小对用户B开放的图片的区域或者控制通信以将其关断。
本文中，根据所设置的隐私级别对向对方开放的图片(用户A的捕获图像)的区域的控制是通过使用预定装置对图片进行掩蔽来实现的。作为图片掩蔽手段，例如，可以通过将图像叠加在开放图片(用户A的捕获图像)上以隐藏开放图片的至少一部分来适当地保护用户A的隐私。在本应用示例中，例如障子(shoji)图像用作叠加图像。由于障子是通过水平移动而打开和关闭的，因此障子是表现操作障子的人的意图的装置。也就是说，在障子的情况下，停止在稍微打开状态不是不稳定的，并且表现操作与关于铰链转动的门和窗区分的门的人的意图(打开到一定程度)。用户B可以根据由障子图像隐藏的开放图片的程度(虚拟障子的打开程度，即开度)来直观地识别用户A愿意共享的程度。
隐私级别被设置为这样的障子图像的虚拟障子的开度。也就是说，当隐私级别降低时开度增大，而当隐私级别提高时开度减小。此外，障子图像的开度(隐私级别)可以由通信源和通信目的地共享。因此，用户A可以通过观看显示在显示部82a-1上的障子图像的开度来直观地识别他的或她的隐私级别被设置为何种程度。
图36是根据本应用示例的障子图像的示例的说明图。如图36所示，在用户A所在的房屋R1中的墙壁的表面上设置有显示部82a、摄像装置82b和麦克风阵列82c。显示部82a被布置成使得其还作为房间R2的墙壁的表面的下端靠近地板，以在房间R2的捕获图像821和障子图像822显示在显示部82a上时实现仿佛障子实际设置在房屋R1的墙壁上并且远程房间R2在附近的呈现和体验。此外，作为示例，摄像装置82b和麦克风阵列82c设置在显示部82a上方。
显示部82a显示从房间R2发送的捕获图像821和掩蔽捕获图像821的障子图像822。障子图像822在叠加在捕获图像821上的同时显示，并且根据隐私级别来调整其开度。
上面描述了根据本应用示例的遥现系统104的概况。虽然在图36所示的示例中将障子图像822用作隐私控制手段的示例，但是本应用示例不限于此，并且可以以相同的方式使用例如窗帘、卷帘、竹帘(misu)、百叶窗、毛玻璃、液晶快门等的图像。当隐私控制手段是窗帘图像、卷帘图像、竹帘图像或百叶窗图像时，隐私级别被设置为其开度。当隐私控制手段是毛玻璃图像或液晶快门图像时，隐私级别被设置为其透明度。
此外，在上述遥现系统104中，房间R1的数据发送和接收由第一通信控制装置(未视示出出)来控制，并且房间R2的数据发送和接收由第二通信控制装置(未视出)来控制。第一通信控制装置和第二通信控制装置通过网络连接，并且向/从彼此发送/接收数据。
(3-4-1.配置)
接下来，将参照图37描述遥现系统104中所包括的通信控制装置的配置。图37是示出了根据第四应用示例的通信控制装置8的配置的示例的框图。通信控制装置8控制通过遥现系统104连接的空间中的数据的发送和接收。
如图37所示，根据本实施例的通信控制装置8包括控制器80、通信单元81、遥现单元82、各种传感器83、日历和时钟单元85以及存储单元87。
[控制器80]
控制器80对通信控制装置8的每个部件进行控制。控制器80由包括CPU、ROM、RAM和非易失性存储器的微型计算机来实现。具体地，控制器80用作对应用户信息获取单元80a、情感值计算单元80b、开度设置单元80c、遥现控制单元80d、姿势检测单元80e和情感信息获取单元80f。
对应用户信息获取单元80a获取与通信目的地的对应用户有关的信息。
情感值计算单元80b基于对应用户的对象ID而从情感服务器2获取与对应用户关联的交互评估值，并且计算对应用户的情感值。对应用户的对象ID可以通过对应用户信息获取单元80a或通过查询特定服务器来获取或者预先登记在存储单元87中。情感值计算单元80b将所计算出的对应用户的情感值输出至开度设置单元80c。
开度设置单元80c将取决于对应用户的隐私级别设置为开度。具体地，当对应用户根据由情感值计算单元80b计算出的情感值而更加可信时，开度设置单元80c设置较低隐私级别，即，虚拟障子的更高开度。
遥现控制单元80d对遥现单元82进行控制，并且实现目标空间与通信目的地空间之间的遥现。具体地，遥现控制单元80d对由遥现单元82的摄像装置82b拍摄的捕获图像和由麦克风阵列82c收集的声音进行控制，以将其从通信单元81发送至通信目的地的通信控制装置。本文中，遥现控制单元80d控制将捕获图像根据由开度设置单元80c设置的开度进行掩蔽。具体地，遥现控制单元80d可以执行根据所设置的开度将障子图像叠加在捕获图像上的处理，并且将经处理的图像发送至通信目的地或者将所设置的开度与捕获图像一起发送至通信目的地。
此外，遥现控制单元80d对从通信目的地的通信控制装置接收到的捕获图像821进行控制以将其显示在显示部82a上，并且以相同的方式控制所接收的声音通过扬声器82d再现。当与通信目的地共享隐私级别时，遥现控制单元80d根据由开度设置单元80c设置的开度来调整所显示的障子图像822叠加在捕获图像821上的位置。
姿势检测单元80e基于由包括在各种传感器83中的深度传感器83a获取的深度信息来检测用户的姿势。例如，检测打开/关闭障子的姿势。因此，用户可以任意地改变障子图像822的开度。
情感信息获取单元80f对用户的情感进行评估并且基于由下面将描述的生物传感器83d检测到的生物信息、从由可见光摄像装置获取的捕获图像检测到的面部表情、从通过麦克风获取的语音检测到的谈话内容来获取情感信息。
[通信单元81]
通信单元81向/从外部装置发送/接收数据。例如，通信单元81在遥现控制单元80d的控制下将由遥现单元82的摄像装置82b拍摄的捕获图像、由麦克风阵列82c收集的声音、由开度设置单元80c设置的开度等发送至通信目的地的通信控制装置。此外，通信单元81从通信目的地的通信控制装置接收在通信目的地的空间中获取的捕获图像和声音。
此外，通信单元81连接至情感服务器2，并且获取与目标用户的对象ID相关联的交互评估值。
[各种传感器83]
各种传感器83包括用于获取目标空间的环境信息、用户在目标空间中的行为信息、情感信息等的多个传感器。具体地，根据本实施例的各种传感器83包括深度传感器83a、个人传感器83b、行为传感器83c、生物传感器83d、位置信息获取单元83e、高度传感器83f、空气污染传感器83g、温度和湿度传感器83h、噪声传感器83i等。
[遥现单元82]
遥现单元82包括显示部82a、摄像装置82b、麦克风阵列82c和扬声器82d。如图36所示，显示部82a显示通信目的地的空间的捕获图像821和根据由开度设置单元80c设置的开度叠加的障子图像822。此外，扬声器82d输出通信目的地的空间的声音。本文中，扬声器82d可以以取决于由开度设置单元80c设置的开度的音量输出声音。摄像装置82b捕获目标空间(通信源的空间)的图像，并且捕获的图像被发送至通信目的地的通信控制装置。麦克风阵列82c收集目标空间的声音，并且声音数据被发送至通信目的地的通信控制装置。
[日历和时钟单元85]
日历和时钟单元85获取当前日期和时间，并且将所获取的日期和时间信息输出至控制器80。
[存储单元]
存储单元87存储由控制器80执行的各种处理的程序和用在各种处理中的数据，例如，用户的属性信息、对象ID等。
已描述了根据本应用示例的通信控制装置8的配置。同时，通信控制装置8不限于上述部件。例如，通信控制装置8可以包括物理障子单元，并且使用被布置成覆盖显示部82a的物理障子作为用于根据隐私级别掩蔽图片的装置。
此外，可以在情感服务器2侧而不是通信控制装置8的情感值计算单元80b侧执行情感值的计算。
此外，虽然在本应用示例中将用于控制通过遥现所连接的空间的通信控制装置3说明作为通过网络连接的系统，但是根据本公开的遥现系统不限于此，并且空间的通信可以例如由单个服务器来控制。在该情况下，服务器具有图37所示的通信控制装置8的控制器80中所包括的功能部件。此外，在每个空间中设置有遥现单元82和各种传感器83。
(3-4-2.操作处理>
接下来，将详细描述根据本应用示例的遥现系统104的操作处理。
[遥现控制]
图38是示出了根据本应用示例的遥现控制处理的流程图。如图38所示，首先，在步骤S503中，通信源的通信控制装置8的遥现控制单元80d执行与通信目的地的通信控制装置的遥现控制单元连接的处理。
然后，在步骤S506中，通信控制装置8的开度设置单元80c设置障子的开度。下面将参照图39描述控制开度的设置的详情。
随后，在步骤S509中，遥现控制单元80d通过摄像装置82b和麦克风阵列82c获取要发送至通信目的地的用户的捕获图像(图片)和声音，并且控制将所获取的捕获图像和声音根据设置的开度进行掩蔽。具体地，遥现控制单元80d可以执行根据所设置的开度将障子图像叠加在捕获图像上的处理，并且将经处理的图像发送至通信目的地或者例如将所设置的开度与捕获图像一起发送至通信目的地。
此后，在步骤S512中，遥现控制单元80d对从通信目的地的通信控制单元接收到的图像和声音进行控制，以通过显示部82a和扬声器32d在根据所设置的开度掩蔽图像和声音的状态下将其输出。
然后，当命令通信终止时(在S515中为“是”)，遥现控制单元80d终止与通信目的地的通信。
[控制开度的设置]
接下来，将详细描述图38的步骤S506中所示的障子的开度的设置。图39是示出了根据本应用示例的设置开度的操作处理的流程图。如图39所示，首先，在步骤S523中，通信控制装置8的开度设置单元80c将障子开度设置为先前登记的初始状态。
然后，在步骤S526中，情感值计算单元80b获取对应用户的对象ID。可以通过对应用户信息获取单元80a从通信目的地的通信控制装置获取对应用户的对象ID。
随后，当可以获取对应用户的对象ID时(在S529中为“是”)，在步骤S532中，情感值计算单元80b从情感服务器2获取与对应用户的对象ID关联的交互评估值。
此后，在步骤S535中，情感值计算单元80b基于所获取的交互评估值来计算情感值。本文中，将参照图40至图41详细描述情感值和从情感服务器2获取的交互评估值的计算。
图40是根据本应用示例的交互评估数据的示例的图示。图40所示的数据的示例是情感值计算单元80b从情感服务器2获取的与指定的对应用户(这里为用户B)的对象ID关联的交互评估。
随后，情感值计算单元80b针对其他对象(相关对象)而从图40所示的过去交互评估的累积数据仅提取对应用户(这里为具有对象ID：5505的用户B)的交互评估，并且计算情感值。图41是如上所述从图40所示的交互评估值数据的示例提取的且用于情感值计算的数据的示例的图示。
同时，如上所述，通过附接至/安装在对象上和对象周围的感测装置来感测诸如“手表/观看/浏览对象/投出对象/”的交互。例如，当从附接至电视机和房间的摄像装置传感器的捕获图像的分析结果检测到用户B持续观看电视机所位于的方向的事实时，并且当从电视机操作历史检测到在用户B位于房间中的时间段内电视机工作并输出图像的事实时，感测到“用户B正在看电视”/“电视正由用户B观看”的交互。另外，当从附接至电视机和房间的摄像装置传感器的捕获图像的分析结果检测到用户B投出物体的运动或者对象从用户B的手的分离和移动时，并且当从附接至电视机的振动传感器感测到电视机的壳体被物体击中时，感测到“将物体投向电视机”/“被投出”的交互。
此外，当从附接至电话和房间的摄像装置传感器的捕获图像的分析结果检测到用户B用手握持电话机的听筒的情景时，并且当从电话机操作历史检测到用户B拨打电话的事实时，感测到拨打电话的交互。此外，当附接至电话的振动传感器检测到冲击被施加至电话的事实时，并且当设置在电话机中的麦克风检测到拉线的声音时，感测到拨打电话、同时拉线的交互。
接下来，将描述由情感值计算单元80b计算用户B的情感值Q1的示例。例如，根据如下公式2来计算情感值Q1。
(公式2)
Figure BDA0003471428160000411
这里，
an：针对交互类型n的系数，-1≤an≤1
∑Qn：交互类型n的评估的总数
上述公式2表示通过将针对每个交互类型的评估值的和乘以取决于交互类型的系数并且将所有交互类型的总和除以交互的总数来计算情感值Q1。这里，在如下公式3中表示向上述公式1应用图41所示的交互评估。
(公式3)
Figure BDA0003471428160000412
以该方式，情感值计算单元80b可以获得如上述公式3所表示的用户B的情感值Q1。
所计算出的对应用户的情感值表示对应用户的可信度。虽然即使在当通信对方在遥现系统104中可信任时隐私较低的情况下用户也是安心的，但是可以通过在对方不可信任时提高隐私来适当保持用户的隐私。因此，使用表示对应用户的可信度的情感值是有效的。
返回参照图39，在步骤S538中，开度设置单元80c基于由情感值计算单元80b计算出的情感值来计算和设置与隐私级别对应的障子开度，并且将所设置的开度输出至遥现控制器80d。
上面描述了在根据本应用示例的遥现系统104中使用情感值。
<3-5.临场感再现系统>
接下来，将参照图42至图50来将在播放现有运动图像时使用情感值、基于拍摄者与拍摄对象之间的关系来添加新呈现的临场感再现系统105描述作为第五应用示例。
图42是根据本应用示例的临场感再现系统105的整体配置的说明图。如图42所示，临场感再现系统105包括：再现信息生成装置9，其根据获取的内容数据生成临场感再现信息；以及回放控制装置95，其在基于临场感再现信息回放内容数据时为观看者(用户)再现生成内容数据时的临场感。再现信息生成装置9和回放控制装置95可以通过网络连接。
再现信息生成装置9使用情感值来生成用于添加表现对拍摄对象的感觉的新呈现的抽象的临场感再现信息，所述情感值对应于指示内容数据创建者(例如。拍摄者)对拍摄对象的感觉以及它们之间的关系的预定指标。
回放控制装置95执行装置控制以及图像效果和声音效果的生成，以使得在基于与内容数据相关联的临场感再现信息来回放内容数据时再现生成内容数据时的临场感(背景)。由于临场感回放信息被抽象化，因此回放控制装置95可以根据可用装置的特征以及可以生成的效果来执行再现处理。
(3-5-1.再现信息生成侧的配置和操作处理)
接下来，将参照图43至图47来描述再现信息生成装置9的配置和操作处理。
[再现信息生成装置9的配置]
图43是示出了根据本应用示例的再现信息生成装置9的配置的示例的框图。如图43所示，再现信息生成装置9包括控制器90、通信单元91、内容存储单元92和临场感再现信息存储单元93。
(控制器)
控制器90对再现信息生成装置9的每个部件进行控制。控制器90由包括CPU、ROM、RAM和非易失性存储器的微型计算机来实现。具体地，如图2所示，控制器90用作内容分析单元90a、内容附加信息提取单元90b、详细天气和地点信息搜索单元90、拍摄对象识别单元90d、情感值获取单元90e、临场感再现信息生成单元90f和存储控制器90g。
内容分析单元90a执行对于内容数据(诸如运动图像)的图像分析和声音分析。内容数据可以存储在内容存储单元92中，或者可以通过通信单元91接收。内容分析单元90a包括图像特征值提取单元901、振动特征值提取单元902和声音特征值提取单元903。
图像特征值提取单元901具有基于图像分析提取图像特征值的功能。振动特征值提取单元902具有基于图像分析提取振动特征值的功能。此外，声音特征值提取单元903具有基于声音分析而提取声音特征值的功能。这样的特征值可以针对运动图像的每个帧来提取或者针对预定数量的帧来提取。
内容附加信息提取单元90b从内容数据中提取附加信息。附加信息是当(在运动图像的情况下拍摄期间)生成内容数据时存储的信息，并且可以是例如日期信息(在运动图像的情况下为拍摄日期)、内容数据的时间信息和位置信息(纬度、经度和高度)、当生成内容数据时获取的传感器信息等。
详细天气和地点信息搜索单元90基于由内容附加信息提取单元90b提取的内容数据的日期、时间和地点来搜索关于内容生成地点的详细天气信息和详细地点信息。详细的天气信息可以是天气、温度、湿度、风向、风力、降雨量等。详细的地点信息可以是站名称、设施名称、地点名称、建筑物类型等。详细天气和地点信息搜索单元90c访问网络上的搜索服务器(反向地理编码(reverse geo-coding)系统、事件日历服务器等)，以搜索这样的详细天气和地点信息。
拍摄对象识别单元90d基于由内容分析单元90a的图像特征值提取单元901提取的图像特征值或由声音特征值提取单元903提取的声音特征值来识别内容数据的拍摄对象。
情感值获取单元90e获取内容数据创建者(在运动图像的情况下为拍摄者)和拍摄对象的情感值。具体地，情感值获取单元90e基于创建者的对象ID和拍摄对象的对象ID来向情感服务器2请求获取情感值。当从情感服务器2发送创建者与拍摄对象之间的交互的评估时，情感值获取单元90e基于交互评估来计算创建者对于拍摄对象的相对情感值(指示创建者对拍摄对象的感觉的指标)。可以在情感服务器2中执行情感值计算。在该情况下，情感值获取单元90e通过通信单元91从情感服务器2获取所计算出的情感值。
创建者的对象ID可以嵌入内容数据中作为元数据，并且由内容附加信息提取单元90b提取。拍摄对象的对象ID可以嵌入内容数据中作为元数据，并且由内容附加信息提取单元90b提取。否则，可以基于由拍摄对象识别单元90d识别的拍摄对象的特征值来获取拍摄对象的对象ID。可以将拍摄对象特征与对象ID的匹配存储在再现信息生成装置9的存储单元(未示出)中或者存储在情感服务器2的对象DB 22中。情感值获取单元90e可以通过将拍摄对象特征值发送至情感服务器2来获取拍摄对象的对象ID。
临场感再现信息生成单元90f生成用于在播放内容数据时将内容数据的临场感(背景)提供给观看者(用户)的信息。
存储控制器90g可以将由临场感再现信息生成单元90f生成的临场感再现信息嵌入存储在内容存储单元92中的内容数据中，或者将临场感再现信息与内容数据相关联地存储在临场感再现信息存储单元93中作为单独文件。
通信单元91向/从外部装置发送/接收数据。例如，通信单元91连接至情感服务器2，并且接收与对象ID相对应的交互评估。此外，通信单元91连接至回放控制装置95，并且发送其中嵌入有临场感再现信息的内容数据或者内容数据和与内容数据相关联的临场感再现信息。
内容存储单元92存储内容数据。所存储的内容数据可以是通过通信单元91接收的数据。
临场感再现信息存储单元93将所生成的临场感再现信息与内容数据相关联地存储作为单独文件。
[再现信息生成装置9的操作处理]
接下来，将参照图44描述再现信息生成装置9的再现信息生成处理。图44是示出了根据本应用示例的再现信息生成处理的流程图。
首先，如图44所示，在步骤S603中，情感值获取单元90e获取运动图像的前导帧(leading frame)。
然后，在步骤S606中，情感值获取单元90e从拍摄对象识别单元90d获取目标帧的拍摄对象识别结果。拍摄对象识别单元90d基于通过目标帧的图像分析而提取的图像特征值来识别该帧中的拍摄对象。例如，如图45所示，通过对通过拍摄者P进行的拍摄而生成的运动图像的帧97的图像分析来识别拍摄对象S1、S2和S3。
然后，在步骤S609中，情感值获取单元90e获取与由拍摄对象识别单元90d识别的目标帧的拍摄对象对应的对象ID。
当不能获取拍摄对象的对象ID时(在S609中为否)，在步骤S612中，情感值获取单元90e将拍摄者的对象ID和拍摄对象的属性发送至情感服务器2。
随后，在步骤S615中，情感值获取单元90e从情感服务器2接收拍摄对象的对象ID的候选。情感服务器2例如通过相关对象搜索单元20d、针对与拍摄者具有交互历史的对象搜索与拍摄对象的属性相同或类似的相关对象，并且将相关对象的对象ID发送至再现信息生成装置9作为候选。
然后，如果存在从情感服务器2发送的多个对象ID候选(在S618中为“是”)，则在步骤S621中，情感值获取单元90e从多个候选当中选择与拍摄对象对应的一个对象ID。
随后，在步骤S624中，情感值获取单元90e将拍摄对象的对象ID发送至情感服务器2。
此后，在步骤S627中，情感值获取单元90e获取拍摄者与拍摄对象之间的相对情感值，并且与拍摄对象在帧中的位置相关联地存储所获取的相对情感值。拍摄者与拍摄对象之间的相对情感值可以在情感服务器2中计算或由情感值获取单元90e基于从情感服务器2接收到的拍摄者与拍摄对象之间的交互的评估来计算。
随后，如果在目标帧中存在其他拍摄对象(在S630中为“是”)，则从步骤S609开始重复处理。因此，例如获取图14所示的、指示拍摄者P(父亲，对象ID：312039)对于拍摄对象S1(妻子，对象ID：105384093)、拍摄对象S2(孩子，对象ID：15122014)和拍摄对象S3(玩具，对象ID：101960)的情感或感觉的相对情感值。
本文中，将参照图46和图47详细描述情感值获取单元90e对相对情感值的计算。图46是根据本实施例的交互评估的数据的示例的图示。基于由情感值获取单元90e指定的拍摄者的对象ID和每个拍摄对象的对象ID而从情感服务器2发送图46所示的交互评估。
例如，在图46所示的数据的示例的第一行中，拍摄者P(对象ID：312039)于2013年12月24日对与拍摄对象S1(对象ID：105384093)对应的妻子执行的交互“给予配饰”被给予为0.7的评估。在第二行中，由拍摄者P(对象ID：312039)于2013年12月24日对与拍摄对象S1(对象ID：105384093)对应的妻子执行的交互“被给予配饰”被给予为1.00的评估。以该方式，由一方的对象对另一方的对象进行的交互可以由双方的对象来检测。
如图46所示，除了上述给予以外，所检测到的交互类型可以是存放、身体爱抚、谈话、播放等。
从例如信用卡的使用历史和网上购物的购买历史、在邮件中和社交媒体上书写的内容、由设置在房间中或对象上的摄像装置获得的捕获图像的识别、由设置在房间中或对象上的麦克风获得的声音的识别等检测给予的交互。对给予的交互的评估由情感服务器2的评估单元20b来执行。例如，评估单元20b基于给予礼物的人的通常购买历史以及礼物的金额与他的或她的收入的比率来提取支出程度，基于对与销售人员的谈话的识别来提取对礼物的肯定程度，基于在网上购物期间的网页浏览时间和从页面转变至产品选择的时间等来提取真诚度，将预定的权重分配给这样的值，并且将这些值归一化至-1.0至1.0的范围以产生评估值。
此外，例如，从对象位置、移动历史、对通过设置在房间中或对象上的摄像装置获得的捕获图像的识别等检测存放交互。评估单元20b将权重分配给存放地点、存放地点的湿度、大气中的灰尘量等，并且将这些值归一化至-1.0至1.0的范围，以产生评估值。
此外，例如，基于经由双方的可穿戴装置对人体交流中的触摸的确定、通过摄像装置的图像识别、双方的加速度传感器的运动模式等来检测身体爱抚交互。评估单元20b将权重分配给从通过笑脸识别而获得的微笑程度、通过语音识别而获得的笑声和谈话的内容所获取的各个指标，并且将结果值归一化至-1.0到1.0的范围，以产生评估值。
此外，例如，基于语音识别、语音音调、对在邮件中和社交媒体中书写的内容的分析(句法分析和语义分析)等来检测谈话交互。评估单元20b使用包括在谈话中的单词、上下文、语音音调等来确定谈话的内容的肯定/浮动模式的程度，并且最终将结果值归一化至-1.0到1.0的范围，以产生评估值，这是因为评估的总和根据单词的数量和谈话的内容而改变。
此外，例如基于对附接至玩具的近场通信芯片与附接至孩子的近场通信芯片之间的连接的检查、双方的加速度传感器的运动等来检测玩耍交互。当无法通过连接检查和运动来识别“玩耍”时，如果玩具是另一方的对象，则由于玩具用于玩耍，因此识别出“玩耍”交互。评估单元20b基于双方的交互时间的测量结果以及通过捕获的图像和声音进行的笑脸检测和笑声检测来获得孩子针对玩具的评价值。此外，可以通过测量对待玩具的粗暴程度以及对待是否超出玩具的使用的规定模式来获得从玩具的角度出发的评估值。虽然当婴儿粗暴对待玩具时从玩具的角度出发的评估值减小，但是当对应方是婴儿时，可以在最后获得评估值的步骤中通过减小从玩具的观点出发的评估值的权重因子或者校正评估值来调整评估值。
随后，当通过情感值获取单元90e计算指示拍摄者对各个拍摄对象的情感和感受的相对情感值时，情感值获取单元90e从图46所示的交互评估数据中仅提取拍摄者与每个拍摄对象之间的交互评估。图47是从图46所示的交互评估数据的示例中提取的用于情感值计算的数据的示例的图示。如图47所示，提取了拍摄者(对象ID：312039)与拍摄对象S1至S3(对象ID：105384093、15122014和101960)之间的交互评估。
例如，情感值获取单元90e使用目标对象的评估的总和、通过将目标拍摄对象的交互类型乘以权重因子然后与目标拍摄对象的评估相加而获得的总和、或者通过将总和除以交互的次数而获得平均值来获得拍摄者与拍摄对象之间的相对情感值。
返回参照图44，在步骤S633中，情感值获取单元90e计算整个帧的情感值。具体地，例如，使用帧中的拍摄对象的相对情感值的总和或通过将总和除以拍摄对象的数量而获得的平均值来获取情感值。
然后，在步骤S636中，情感值获取单元90e存储目标帧的情感值(拍摄对象的相对情感值和整个帧的情感值)。
此后，在步骤S639中处理目标帧进行至下一帧，并且当仍存在新的帧时(在S642中为“是”)，从步骤S606开始重复处理。
已描述了作为临场感再现信息的根据本实施例的情感值计算。虽然在上述实施例中计算每个拍摄对象与拍摄者之间的相对情感值，但是本公开不限于此，并且可以计算每个拍摄对象的绝对情感值或者可以根据需要计算拍摄对象之间的相对情感值。使用拍摄对象的所有交互评估的总和、通过将交互类型乘以权重因子并且然后与目标拍摄对象的所有评估相加而获得的总和、或者通过将总和除以交互的次数而获得的平均值来获得每个拍摄对象的绝对值。此外，使用拍摄对象之间的交互评估的总和、通过将交互类型乘以权重因子并且然后与拍摄对象之间的交互评估相加而获得的总和、或者通过将总和除以交互的次数而获得的平均值来获得拍摄对象之间的相对情感值。
(3-5-2.回放侧的配置和操作处理)
接下来，将参照图48至图50描述回放控制装置95的配置和操作处理。回放侧可以基于由再现信息生成装置9生成的抽象的临场感再现信息、根据包括在回放侧中的装置的特性来自由地确定再现方法。
[再现控制装置95的配置]
图48是示出了根据本应用示例的回放控制装置95的配置的示例的框图。如图48所示，回放控制装置95包括内容获取单元951、临场感再现信息获取单元952、临场感再现效果指定单元953、图像效果生成单元954、声音效果生成单元955、装置控制器956、解码器单元957和内容输出控制器958。
内容获取单元951获取要播放的内容数据。例如，内容获取单元951从云(例如，再现信息生成装置9的内容存储单元92)获取内容数据。
临场感再现信息获取单元952获取与要播放的内容数据对应的临场感再现信息。例如，假定临场感再现信息已嵌入内容数据中，或者已存储在云上作为与内容数据分开的文件。
临场感再现效果指定单元953指定将根据由临场感再现信息获取单元952获取的临场感再现信息和设置在回放侧的装置的特性来回放存在(由临场感再现信息指示的上下文)的装置。例如，可以将输出图像和声音的电视装置、空调装置、芳香剂喷射装置、振动装置、照明装置、鼓风装置等当作包括在再现侧中的装置。
图像效果生成单元954根据临场感再现效果指定单元953的指令来生成用于再现临场感的图像效果。
声音效果生成单元955根据临场感再现效果指定单元953的指令来生成用于再现临场感的声音效果。
装置控制器956根据临场感再现效果指定单元353的指令对各个装置进行控制以用户(观看者)提供临场感。
解码器单元957对由内容获取单元951获取的内容数据进行解码，并且将解码后的内容数据输出至内容输出控制器958。
内容输出控制器958输出经解码器单元957解码的内容数据。具体地，当内容数据是运动图像时，例如，内容输出控制器958对电视机装置进行控制以播放运动图像。此外，内容输出控制器958以由图像效果生成单元954生成的图像效果播放运动图像，或者输出由声音效果生成单元955生成的声音效果。
[回放控制装置95的操作处理]
接下来，将参照图49描述回放控制装置95的回放处理。如上所述，临场感再现信息包括指示拍摄者对拍摄对象的情感和感觉的相对情感值。可以通过在回放侧根据相对情感值进行呈现来利用拍摄者对于拍摄对象的感觉提供观看拍摄对象的新体验。
图49是示出了根据本实施例的使用情感值的回放处理的流程图。如图49所示，首先，在步骤S653中，临场感再现效果指定单元953获取整个当前回放帧的情感值T。整个回放帧的情感值T可以是从由临场感回放信息获取单元952获取的临场感再现信息获得的。整个回放帧的情感值T对应于在图44的步骤S633中描述的整个目标帧的情感值。
然后，在步骤S656中，临场感再现效果指定单元953确定整个先前帧的情感值T与整个当前帧的情感值T之间的差是否等于或大于预定值。
随后，当情感值差等于或大于预定值时(在步骤S656中为“是”)，在步骤S659中，临场感再现效果指定单元953确定是否经过了最小装置控制应用时间。这是出于避免在短时间内切换装置控制的目的。
如果经过了最小装置控制应用时间(在S659中为“是”)，则在步骤S662中，临场感再现效果指定单元953指示装置控制器956根据情感值T执行装置控制。例如，执行取决于情感值的物理呈现，诸如振动的产生、烟雾的排放和照明的改变。
然后，在步骤S665中，临场感再现效果指定单元953确定是否经过了最小图像效果应用时间。这是出于避免在短时间内切换图像效果的目的。
如果经过了最小图像效果应用时间(在S665中为“是”)，则在步骤S668中临场感再现效果指定单元953指示图像效果生成单元954根据情感值T应用整个图像的效果。例如，整个图像的效果是增亮图像的整个色泽或者使图像的色调略微发红。
然后，在步骤S671中，临场感再现效果指定单元953确定是已经过了最小背景音乐(BGM))应用时间。这是出于避免在短时间内切换BGM的目的。
如果经过了最小BGM应用时间(在S671中为“是”)，则在步骤S674中，临场感再现效果指定单元953指示声音效果生成单元955根据情感值T播放BGM。例如，当感情值T为高时播放欢快的BGM，而当情感值T为低时播放阴沉的BGM。
然后，在步骤S677中，临场感再现效果指定单元953获取从当前回放帧识别的每个拍摄对象的情感值和每个拍摄对象在画面中的位置(即，在帧中的位置)。每个拍摄对象的情感值是包括在临场感再现信息中的拍摄者对于每个拍摄对象的相对情感值。
随后，在步骤S680中，临场感再现效果指定单元953指示图像效果生成单元954根据拍摄对象类型和情感值选择图像效果和叠加的图像，并且指示内容输出控制器958在与拍摄对象对应的位置处显示所选择的图像效果。本文中，将参照图50描述被布置成根据情感值而对应于拍摄对象的图像效果的示例。
根据从在图50的左侧所示的帧98识别的拍摄对象S1、S2和S3的相对情感值，临场感再现效果指定单元953如在图50的右侧所示的帧99中一样分别对应于拍摄对象S1至S3布置图像效果E1至E3。例如，如果拍摄对象S1是母亲、拍摄对象S2是孩子并且拍摄对象S3是玩具，则选择针对家庭和孩子的图像效果。另外，如果相对情感值为高，则选择愉快和明亮的图像效果。此外，与拍摄对象对应的布置可以是围绕拍摄对象的图像效果的布置，以使得图像效果和拍摄对象不交叠。因此，在执行拍摄时拍摄者的感觉、拍摄时的气氛等通过新添加的呈现来表示，由此再现在拍摄期间的临场感。
虽然在S662、S668、S674和S680中描述了取决于情感值的呈现(装置控制、图像效果和BGM)，但是本实施例不限于此，并且当在临场感再现信息中描述了根据拍摄对象的相对情感值评估的拍摄者的抽象主观表现时，可以执行取决于主观表现的呈现。
此外，当运动图像回放未到达运动图像终点时(在步骤S683中为“否”)，重复S653至S680的处理。
上面描述了根据本应用示例的临场感再现系统105中的情感值的使用。
<4.结论>
如上所述，在根据本公开的实施例的信息处理系统中，可以基于对象之间的交互来将对象的情感值表示为数值。具体地，可以通过测量物件与用户之间的交互并且在服务器中将历史存储作为与物件和用户相关联的特定多维向量来计算与物件相关联的情感值、与用户关联的情感值以及物件与用户之间的相对情感值。
这样的情感值可以用在个人信用信息提供系统101、拍卖系统102、环境调整系统103、遥现系统104和临场感再现系统105中。
上面参照附图描述了本公开的优选实施例，但是本技术不限于上述示例。本领域的技术人员可以在所附权利要求的范围内发现各种替换和修改，并且应当理解，各种替换和修改自然会落入本公开的技术范围内。
例如，可以累积交互信息，并且每当累积交互信息时可以计算其评估和情感值，或者可以根据需要计算累积的交互信息的评估和情感值。
此外，可以在上述设备中所包括的硬件(诸如CPU、ROM和RAM)中准备用于运用每个设备的功能的计算机程序。此外，还提供了存储有计算机程序的计算机可读存储介质。
此外，在本说明书中描述的效果仅是说明性或例示的效果，并且不是限制性的。也就是说，在上述效果下或取代上述效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述显而易见的其他效果。
另外，还可以将本技术配置如下。
(1)一种信息处理系统，包括：
检测单元，所述检测单元检测与第一对象和第二对象之间的交互有关的信息；以及
生成单元，所述生成单元能够基于与所述交互有关的信息来生成所述第一对象的情感值和所述第二对象的情感值。
(2)根据(1)所述的信息处理系统，其中，所述生成单元能够基于与一个对象和多个其他对象之间的交互有关的信息来生成绝对数值情感值，并且基于与所述一个对象和特定对象之间的交互有关的信息来生成相对值。
(3)根据(1)或(2)所述的信息处理系统，还包括：
存储控制器，所述存储控制器将与所述交互有关的信息与所述第一对象和所述第二对象中的每一个相关联，并且将所述信息存储在存储单元中，
其中，所述生成单元基于存储在所述存储单元中的、与所述交互有关且与特定对象相关联的信息的历史来生成所述特定对象的情感值。
(4)根据(1)至(3)中任一项所述的信息处理系统，其中，即使当所述第一对象是人且所述第二对象是物件时，所述生成单元也能够基于与所述交互有关的信息来生成所述第一对象的情感值和所述第二对象的情感值。
(5)根据(1)至(4)中任一项所述的信息处理系统，其中，当所述第一对象和所述第二对象之间的交互已发生时，所述检测单元检测与双向交互有关的信息。
(6)根据(1)至(5)中任一项所述的信息处理系统，包括：
信用信息提供服务器，所述信用信息提供服务器将所述情感值当作个人信誉并且提供个人信用信息。
(7)根据(1)至(6)中任一项所述的信息处理系统：包括：
商业交易服务器，所述商业交易服务器将所述情感值当作参展方的可信度或展出物品的价值，并且提供所述参展方或所述展出物品的情感值。
(8)根据(1)至(7)中任一项所述的信息处理系统，包括：
环境调整服务器，当通过移动对象在跟踪目标用户的同时移动来调整所述目标用户的周围环境时，所述环境调整服务器根据所述目标用户的情感值或与所述目标用户有关连的对象的情感值来控制环境调整。
(9)根据(1)至(8)中任一项所述的信息处理系统，包括：
通信控制装置，所述通信控制装置根据通信目的地装置的用户的情感值来自动设置隐私级别，并且在通信源装置的用户的图片被发送至所述通信目的地装置时，控制将所述通信源装置的用户的图片根据自动设置的隐私级别进行掩蔽。
(10)根据(1)至(9)中任一项所述的信息处理系统，包括：
再现信息生成装置，所述再现信息生成装置基于从内容数据中提取的拍摄对象的感情值来生成抽象的临场感再现信息，并且控制将所生成的临场感再现信息与所述内容数据相关联地存储。
(11)一种控制方法，包括：
检测与第一对象和第二对象之间的交互有关的信息；以及
能够基于与所述交互有关的信息来生成所述第一对象的情感值和所述第二对象的情感值。
(12)一种存储介质，所述存储介质中存储有程序，所述程序使得计算机用作：
检测单元，所述检测单元检测与第一对象和第二对象之间的交互有关的信息；以及
生成单元，所述生成单元能够基于与所述交互有关的信息来生成所述第一对象的情感值和所述第二对象的情感值。
附图标记列表
100 信息处理系统
101 个人信用信息提供系统
102 拍卖系统
103 环境调整系统
104 遥现系统
105 临场感再现系统
1 感测装置
11 传感器
12 交互提取单元
13 通信单元
2 情感服务器
20 控制器
20a 交互存储控制器
20b 评估单元
20c 对象管理单元
20d 相关对象搜索单元
20e 情感值计算单元
21 通信单元
22 对象DB
24 情感信息DB
3 网络
4 个人信用信息提供系统
5 拍卖服务器
6 移动对象
7 环境调整服务器
8 通信控制装置
9 再现信息生成装置
95 回放控制装置

Claims (14)

1.一种信息处理系统，包括：
检测单元，被配置为检测与第一对象和第二对象之间的交互有关的信息；和
生成单元，被配置为基于与所述交互有关的信息生成第一对象的情感值和第二对象的情感值，
其中，第一对象为人并且第二对象为物件，并且所述交互包括第一对象对于第二对象的行为。
2.根据权利要求1所述的信息处理系统，其中，所述行为包括第一对象使用、维护或维修第二对象或者改变第二对象的所有权。
3.根据权利要求2所述的信息处理系统，其中，第一对象使用第二对象包括第一对象驾驶第二对象。
4.根据权利要求2所述的信息处理系统，其中，第一对象维护第二对象包括第一对象清洗或存放第二对象。
5.根据权利要求2所述的信息处理系统，其中，第一对象改变第二对象的所有权包括第一对象购买或交换第二对象。
6.根据权利要求1所述的信息处理系统，其中，所述生成单元能够基于与一个第一对象和多个第二对象之间的交互有关的信息来生成绝对数值情感值，并且基于与所述一个第一对象和特定第二对象之间的交互有关的信息来生成相对值。
7.根据权利要求1所述的信息处理系统，还包括：
存储控制器，被配置为将与所述交互有关的信息与第一对象和第二对象中的每一个相关联，并且将该信息存储在存储单元中，
其中，所述生成单元基于存储在所述存储单元中的、与所述交互有关且与特定对象相关联的信息的历史来生成特定对象的情感值。
8.根据权利要求1所述的信息处理系统，还包括：
信用信息提供服务器，被配置为将情感值当作个人信誉并且提供个人信用信息。
9.根据权利要求1所述的信息处理系统，还包括：
商业交易服务器，被配置为将情感值当作参展方的可信度或展出物品的价值，并且提供所述参展方或所述展出物品的情感值。
10.根据权利要求1所述的信息处理系统，还包括：
环境调整服务器，被配置为：当通过移动对象在跟踪目标用户的同时进行移动来调整目标用户的周围环境时，根据目标用户的情感值或与目标用户有关连的对象的情感值来控制环境调整。
11.根据权利要求1所述的信息处理系统，还包括：
通信控制装置，被配置为：根据通信目的地装置的用户的情感值来自动设置隐私级别，并且在通信源装置的用户的图片被发送至通信目的地装置时，控制将通信源装置的用户的图片根据自动设置的隐私级别进行掩蔽。
12.根据权利要求1所述的信息处理系统，还包括：
再现信息生成装置，被配置为：基于从内容数据中提取的拍摄对象的情感值来生成抽象的临场感再现信息，并且控制将所生成的临场感再现信息与所述内容数据相关联并进行存储。
13.一种控制方法，包括：
检测与第一对象和第二对象之间的交互有关的信息；和
基于与所述交互有关的信息生成第一对象的情感值和第二对象的情感值，
其中，第一对象为人并且第二对象为物件，并且所述交互包括第一对象对于第二对象的行为。
14.一种计算机可读存储介质，所述存储介质中存储有程序，所述程序使得计算机执行一种控制方法，所述方法包括：
检测与第一对象和第二对象之间的交互有关的信息；和
基于与所述交互有关的信息生成第一对象的情感值和第二对象的情感值，
其中，第一对象为人并且第二对象为物件，并且所述交互包括第一对象对于第二对象的行为。
CN202210044035.XA 2014-11-07 2015-08-04 信息处理系统、控制方法和计算机可读存储介质 Pending CN114461062A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-227004 2014-11-07
JP2014227004 2014-11-07
PCT/JP2015/072053 WO2016072117A1 (ja) 2014-11-07 2015-08-04 情報処理装置、制御方法、および記憶媒体
CN201580059299.0A CN107111359B (zh) 2014-11-07 2015-08-04 信息处理系统、控制方法和计算机可读存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580059299.0A Division CN107111359B (zh) 2014-11-07 2015-08-04 信息处理系统、控制方法和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114461062A true CN114461062A (zh) 2022-05-10

Family

ID=55908849

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580059299.0A Active CN107111359B (zh) 2014-11-07 2015-08-04 信息处理系统、控制方法和计算机可读存储介质
CN202210044035.XA Pending CN114461062A (zh) 2014-11-07 2015-08-04 信息处理系统、控制方法和计算机可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580059299.0A Active CN107111359B (zh) 2014-11-07 2015-08-04 信息处理系统、控制方法和计算机可读存储介质

Country Status (5)

Country Link
US (3) US11010726B2 (zh)
EP (1) EP3217349A4 (zh)
JP (3) JP6561996B2 (zh)
CN (2) CN107111359B (zh)
WO (1) WO2016072117A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11940170B2 (en) * 2014-11-07 2024-03-26 Sony Corporation Control system, control method, and storage medium

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016123587A1 (en) * 2015-01-30 2016-08-04 Doshi Suraaj System and apparatus to effect behavioral change
KR20160109242A (ko) * 2015-03-10 2016-09-21 한국전자통신연구원 객체 중심의 서비스 제공 장치 및 방법
WO2017022306A1 (ja) * 2015-08-05 2017-02-09 ソニー株式会社 情報処理システム、及び情報処理方法
KR20180070659A (ko) 2015-12-21 2018-06-26 구글 엘엘씨 메시징 애플리케이션들을 위한 자동적인 제안들 및 다른 콘텐츠
US10530723B2 (en) 2015-12-21 2020-01-07 Google Llc Automatic suggestions for message exchange threads
US10511450B2 (en) 2016-09-20 2019-12-17 Google Llc Bot permissions
US10547574B2 (en) 2016-09-20 2020-01-28 Google Llc Suggested responses based on message stickers
US10416846B2 (en) * 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
JP6947189B2 (ja) * 2016-12-20 2021-10-13 ソニーグループ株式会社 情報処理装置および情報処理方法
JP2018169930A (ja) * 2017-03-30 2018-11-01 株式会社ゼンリンデータコム 情報提供システム及び情報提供方法
JP6909961B2 (ja) 2017-04-21 2021-07-28 パナソニックＩｐマネジメント株式会社 表示方法、プログラム、及び、表示システム
WO2018212822A1 (en) 2017-05-16 2018-11-22 Google Inc. Suggested actions for images
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
KR102387400B1 (ko) * 2017-08-08 2022-04-15 라인 가부시키가이샤 통화 중 감정을 인식하여 인식된 감정을 활용하는 방법 및 시스템
JP6885858B2 (ja) * 2017-12-15 2021-06-16 ヤフー株式会社 推定装置、推定方法、及び推定プログラム
JP6865153B2 (ja) * 2017-12-15 2021-04-28 ヤフー株式会社 推定装置、推定方法、及び推定プログラム
JP7469044B2 (ja) * 2018-01-23 2024-04-16 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
US11057332B2 (en) * 2018-03-15 2021-07-06 International Business Machines Corporation Augmented expression sticker control and management
JP7080079B2 (ja) * 2018-03-19 2022-06-03 本田技研工業株式会社 情報提供装置およびその制御方法
KR20190131163A (ko) * 2018-05-16 2019-11-26 현대자동차주식회사 감정 지도 작성 방법, 감정 지도 장치 및 감정 지도 작성 장치를 포함한 차량
US20200068169A1 (en) * 2018-08-21 2020-02-27 Richard Dean Nehrboss Methods and Subsystems for Utilizing Home Safety Sensors within a Telepresence Platform
JPWO2020116060A1 (ja) * 2018-12-05 2021-10-14 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN111290001A (zh) * 2018-12-06 2020-06-16 杭州海康威视数字技术股份有限公司 一种基于gps坐标的目标统筹方法、装置及设备
JP7175810B2 (ja) * 2019-03-20 2022-11-21 ヤフー株式会社 選択装置、選択方法及び選択プログラム
CN110647046B (zh) * 2019-09-29 2022-08-02 青岛海尔科技有限公司 基于智能家居操作系统的路线更新方法及装置
JP2021117840A (ja) * 2020-01-28 2021-08-10 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7127096B2 (ja) * 2020-10-14 2022-08-29 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7176019B2 (ja) * 2021-01-29 2022-11-21 株式会社 みずほ銀行 認証システム、認証方法及び認証プログラム
SE545609C2 (en) * 2022-02-04 2023-11-14 Assa Abloy Ab Alerting a difference in user sentiment of a user using a door
WO2023233490A1 (ja) * 2022-05-30 2023-12-07 日本電信電話株式会社 情報処理装置、算出方法及び算出プログラム
CN115095205B (zh) * 2022-06-24 2023-12-26 普智城市科技(深圳)有限公司 一种基于云服务的智能型立体停车设备

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728715B2 (en) * 1996-01-23 2010-06-01 En-Gauge, Inc. Remote monitoring
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
JPH11259129A (ja) * 1998-03-09 1999-09-24 Yamaha Motor Co Ltd 自律移動体の制御方法
US6230111B1 (en) * 1998-08-06 2001-05-08 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
US6347261B1 (en) * 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
US6604091B2 (en) * 1999-09-10 2003-08-05 Yamaha Hatsudoki Kabushiki Kaisha Interactive artificial intelligence
US20020023034A1 (en) * 2000-03-31 2002-02-21 Brown Roger G. Method and system for a digital automated exchange
CN1283428C (zh) * 2000-03-31 2006-11-08 索尼公司 机器人设备、控制机器人设备动作的方法
US7106887B2 (en) 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
JP4291963B2 (ja) * 2000-04-13 2009-07-08 富士フイルム株式会社 画像処理方法
WO2001084407A1 (fr) * 2000-04-27 2001-11-08 Nec Corporation Systeme, dispositif et procede de simulation d'informations environnementales et support enregistre
JP2002049385A (ja) * 2000-08-07 2002-02-15 Yamaha Motor Co Ltd 音声合成装置、疑似感情表現装置及び音声合成方法
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
US6774811B2 (en) * 2001-02-02 2004-08-10 International Business Machines Corporation Designation and opportunistic tracking of valuables
US7685059B2 (en) * 2001-03-30 2010-03-23 Roger G. Brown Method and system for a digital automated exchange
US7452268B2 (en) * 2002-08-07 2008-11-18 Sony Computer Entertainment America Inc. System and method for modifying actions of a group of characters via group interactions
JP2005124909A (ja) 2003-10-24 2005-05-19 Sony Corp 感情情報提示方法、感情情報表示装置及び情報コンテンツの検索方法
JP4475579B2 (ja) 2004-11-11 2010-06-09 日本電信電話株式会社 映像コミュニケーション装置および映像コミュニケーション装置の制御方法
US20080040110A1 (en) * 2005-08-08 2008-02-14 Nice Systems Ltd. Apparatus and Methods for the Detection of Emotions in Audio Interactions
KR100825719B1 (ko) * 2005-12-09 2008-04-29 한국전자통신연구원 복수의 감정 생성 로봇 및 로봇에서 복수의 감정 생성 방법
TWI311067B (en) * 2005-12-27 2009-06-21 Ind Tech Res Inst Method and apparatus of interactive gaming with emotion perception ability
JP2007213324A (ja) * 2006-02-09 2007-08-23 Nissan Motor Co Ltd 運転評価サポートシステムおよび運転評価データ算出方法
EP2008199A4 (en) * 2006-03-31 2011-06-29 Imagini Holdings Ltd SYSTEM AND METHOD FOR SEGMENTING AND IDENTIFICATION OF DATA RECORDS ON THE BASIS OF PROFILE MATCH BY MEANS OF MULTIMEDIA QUESTION
JP2008015585A (ja) 2006-07-03 2008-01-24 National Institute Of Information & Communication Technology 生活タスク支援システム
KR100850352B1 (ko) * 2006-09-26 2008-08-04 한국전자통신연구원 상태 정보를 이용하여 감성을 표현하기 위한 지능형 로봇의감성 표현 장치 및 그 방법
JP4963640B2 (ja) * 2006-10-10 2012-06-27 キヤノン株式会社 物体情報取得装置及び方法
EP1956528B1 (en) * 2007-02-08 2018-10-03 Samsung Electronics Co., Ltd. Apparatus and method for expressing behavior of software robot
US20090006242A1 (en) * 2007-06-29 2009-01-01 Conopco Inc, D/B/A Unilever Automated auctioning method for market evaluation
US8442832B2 (en) * 2008-12-08 2013-05-14 Electronics And Telecommunications Research Institute Apparatus for context awareness and method using the same
JP4985722B2 (ja) * 2009-07-23 2012-07-25 三菱電機株式会社 空気調和機
US20110047076A1 (en) * 2009-08-24 2011-02-24 Mark Carlson Alias reputation interaction system
US20110161218A1 (en) * 2009-09-22 2011-06-30 Cortera, Inc. Credit reporting interface
US20130246097A1 (en) * 2010-03-17 2013-09-19 Howard M. Kenney Medical Information Systems and Medical Data Processing Methods
FR2959208B1 (fr) 2010-04-22 2012-05-25 Eurl Jmdtheque Engin gyropendulaire a propulsion compensatoire et collimation de gradient fluidique multi-milieux multimodal a decollage et atterrissage vertical
US20120011007A1 (en) * 2010-07-07 2012-01-12 At&T Intellectual Property I, L.P. Mobile Payment Using DTMF Signaling
BR112013007260A2 (pt) * 2010-09-30 2019-09-24 Affectiva Inc "método implantado por computador, produto de progama de computador incorporado a um meio legível or computador e sistema para análise de tráfego de aplicação habilitada para estados de web"
US8380607B2 (en) * 2010-12-17 2013-02-19 Indiana University Research And Technology Corporation Predicting economic trends via network communication mood tracking
JP5658597B2 (ja) * 2011-03-03 2015-01-28 大阪瓦斯株式会社 省エネ行動評価システム
US9317860B2 (en) * 2011-03-08 2016-04-19 Bank Of America Corporation Collective network of augmented reality users
US8768812B2 (en) * 2011-05-02 2014-07-01 The Boeing Company System, method and computer-readable storage medium for valuing a performance option
US20120284154A1 (en) * 2011-05-04 2012-11-08 Jeffrey Creighton Articles Of Manufacture, Education Billing Management Methods, Education Billing Management Systems, Education Enrollment Systems, And Education Enrollment Methods
US20120290470A1 (en) * 2011-05-11 2012-11-15 Samsung Electro-Mechanics Company, Ltd. Payment systems and methods for providing wireless power transfer
US20120311032A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Emotion-based user identification for online experiences
US20130006806A1 (en) * 2011-07-01 2013-01-03 Stoneware, Inc. Method and apparatus for application costing for service provisioning
US8719277B2 (en) * 2011-08-08 2014-05-06 Google Inc. Sentimental information associated with an object within a media
US9772270B2 (en) * 2011-08-16 2017-09-26 Elwha Llc Devices and methods for recording information on a subject's body
US20130046555A1 (en) * 2011-08-16 2013-02-21 Roderick A. Hyde Devices and methods for recording information on a subject's body
US20130060624A1 (en) * 2011-09-07 2013-03-07 Elwha LLC, a limited liability company of the State of Delaware Computational systems and methods for regulating information flow during interactions
US20130085954A1 (en) * 2011-09-29 2013-04-04 The Boeing Company System and method for identifying a qualified candidate
WO2013111144A2 (en) * 2011-11-04 2013-08-01 Vserv Digital Services Pvt.Ltd. System for inserting services in a software application
DE102011056940A1 (de) * 2011-12-22 2013-06-27 Bauhaus Universität Weimar Verfahren zum Betrieb einer mehrfachberührungsfähigen Anzeige und Vorrichtung mit einer mehrfachberührungsfähigen Anzeige
BR112014015950A8 (pt) * 2011-12-29 2017-07-04 Intel Corp método e sistema para comércio móvel com suporte de compra em tempo real
KR20130084543A (ko) * 2012-01-17 2013-07-25 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
US20130238471A1 (en) * 2012-03-06 2013-09-12 Nintendo Of America Inc. Systems and/or methods involving linked manufacturer serial numbers and unique identifiers applied to products
US20130246192A1 (en) * 2012-03-13 2013-09-19 Nokia Corporation System for enabling and incentivizing advertisements in crowdsourced video services
US20130275320A1 (en) * 2012-04-16 2013-10-17 Google Inc. Identifying Prospective Employee Candidates via Employee Connections
US9424721B2 (en) * 2012-04-18 2016-08-23 Square, Inc. Point-of-sale system
US20130325706A1 (en) * 2012-06-01 2013-12-05 Dadesystems, Llp System, method, apparatus, and computer program product for improved payment processing
US20130332201A1 (en) * 2012-06-12 2013-12-12 Peter L. Hagelstein Data acquisition apparatus configured to acquire data for insurance purposes, and related systems and methods
JP2015533559A (ja) * 2012-09-28 2015-11-26 ザ レジェンツ オブ ザ ユニヴァーシティー オブ カリフォルニア 知覚および認知プロファイリングのためのシステムおよび方法
US9721263B2 (en) * 2012-10-26 2017-08-01 Nbcuniversal Media, Llc Continuously evolving symmetrical object profiles for online advertisement targeting
US20140172677A1 (en) * 2012-12-13 2014-06-19 Creditera, LLC Providing combined access to business and personal credit information
US8606599B1 (en) * 2013-01-03 2013-12-10 Medidata Solutions, Inc. Apparatus and method for executing tasks
US20140222526A1 (en) * 2013-02-07 2014-08-07 Augmedix, Inc. System and method for augmenting healthcare-provider performance
EP2988275A4 (en) * 2013-04-16 2016-11-30 Sony Corp INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD, DISPLAY DEVICE AND DISPLAY METHOD AND INFORMATION PROCESSING SYSTEM
JP5617971B2 (ja) 2013-08-01 2014-11-05 株式会社日立製作所 組織コミュニケーション可視化システム
US9993386B2 (en) * 2013-11-29 2018-06-12 Louis G. RACETTE Instrumentation absolute value differential amplifier circuit and applications
US9799159B2 (en) * 2014-02-14 2017-10-24 Igt Canada Solutions Ulc Object detection and interaction for gaming systems
US10150043B2 (en) * 2014-03-11 2018-12-11 Microsoft Technology Licensing, Llc Interactive smart beads
US20150348200A1 (en) * 2014-06-03 2015-12-03 Christopher T. Fair Systems and methods for facilitating communication and investment
CN104071342B (zh) 2014-07-03 2016-01-27 国家电网公司 带电清除异物无人机防护罩
KR20160015972A (ko) * 2014-08-01 2016-02-15 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11940170B2 (en) * 2014-11-07 2024-03-26 Sony Corporation Control system, control method, and storage medium

Also Published As

Publication number Publication date
US20230230053A1 (en) 2023-07-20
US11640589B2 (en) 2023-05-02
CN107111359A (zh) 2017-08-29
JP2019204529A (ja) 2019-11-28
US20170330160A1 (en) 2017-11-16
JP2021061053A (ja) 2021-04-15
US11010726B2 (en) 2021-05-18
JP6561996B2 (ja) 2019-08-21
CN107111359B (zh) 2022-02-11
US20210233042A1 (en) 2021-07-29
JPWO2016072117A1 (ja) 2017-08-17
WO2016072117A1 (ja) 2016-05-12
JP7001181B2 (ja) 2022-01-19
JP6822527B2 (ja) 2021-01-27
EP3217349A1 (en) 2017-09-13
EP3217349A4 (en) 2018-03-28

Similar Documents

Publication Publication Date Title
CN107111359B (zh) 信息处理系统、控制方法和计算机可读存储介质
US10546229B2 (en) System and method for predictive curation, production infrastructure, and personal content assistant
US20230300420A1 (en) Superimposing a viewer-chosen private ad on a tv celebrity triggering an automatic payment to the celebrity and the viewer
US20190220933A1 (en) Presence Granularity with Augmented Reality
US10032233B2 (en) Social context in augmented reality
EP2687998B1 (en) Information terminal, information providing server, and control program
CN104756514B (zh) 通过社交网络共享电视和视频节目
CN109154979A (zh) 用于分析图像和提供反馈的可佩戴设备和方法
US20200004291A1 (en) Wearable apparatus and methods for processing audio signals
WO2017160370A1 (en) Visualization of image themes based on image content
US20110246561A1 (en) Server apparatus, client apparatus, content recommendation method, and program
US20180316900A1 (en) Continuous Capture with Augmented Reality
CN103760968A (zh) 数字标牌显示内容选择方法和装置
CN105339969A (zh) 链接的广告
US20140108529A1 (en) Person Filtering in Augmented Reality
Fedotov et al. Towards real-time contextual touristic emotion and satisfaction estimation with wearable devices
CN110809489B (zh) 信息处理装置、信息处理方法和存储介质
CN110598088A (zh) 一种基于环境信息的搜索方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination