CN107683499B - 信息处理装置、信息处理方法和非暂态计算机可读介质 - Google Patents

信息处理装置、信息处理方法和非暂态计算机可读介质 Download PDF

Info

Publication number
CN107683499B
CN107683499B CN201680030482.2A CN201680030482A CN107683499B CN 107683499 B CN107683499 B CN 107683499B CN 201680030482 A CN201680030482 A CN 201680030482A CN 107683499 B CN107683499 B CN 107683499B
Authority
CN
China
Prior art keywords
user
information
observation information
observation
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680030482.2A
Other languages
English (en)
Other versions
CN107683499A (zh
Inventor
永田政晴
松井康浩
吉川清士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107683499A publication Critical patent/CN107683499A/zh
Application granted granted Critical
Publication of CN107683499B publication Critical patent/CN107683499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/20Individual registration on entry or exit involving the use of a pass
    • G07C9/22Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/257Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种信息处理装置,包括电路,该电路被配置成从传感器获得与用户的至少一个特征有关的第一观测信息和第二观测信息,基于第一观测信息与第二观测信息之间的相关性来识别用户,以及启动与所识别的用户相关联的执行功能。

Description

信息处理装置、信息处理方法和非暂态计算机可读介质
相关申请的交叉引用
本申请要求于2015年6月3日提交的日本优先权专利申请JP 2015-113048的权益,其全部内容通过引用包括在本文中。
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
以面部识别技术为代表的用户识别技术近年来得到广泛应用。例如,已经开发了以下用于服务的技术,这些技术很可能被多个用户使用以识别用户并且提供与所识别的用户相对应的服务。
例如,下述PTL 1公开了在电视会议系统中识别位于远程位置处的与会者并且视觉地显示与会者的属性信息的技术。
引用列表
专利文献
PTL 1:JP 2004-129071A
发明内容
技术问题
在上述专利文献1所公开的与用户识别相关联的服务中,根据用户识别的成功或失败来切换要提供的服务。然而,不便之处在于如果识别与注册信息并不完全相符,则认证不会成功并且因此无法接收服务。
因此,本公开内容提出了新的且改进的信息处理装置、信息处理方法和程序,使得能够更灵活地提供与用户识别相关联的服务。
问题的解决方案
根据本公开内容的实施方式,提供了一种信息处理装置,包括电路,该电路被配置成从传感器获得与用户的至少一个特征有关的第一观测信息和第二观测信息,基于第一观测信息与第二观测信息之间的相关性来识别用户,以及启动与所识别的用户相关联的执行功能。
根据本公开内容的另一实施方式,提供了一种信息处理方法,该方法包括:从传感器获得与用户的至少一个特征有关的第一观测信息和第二观测信息,基于第一观测信息与第二观测信息之间的相关性来识别用户,以及启动与所识别的用户相关联的执行功能。
此外,根据本公开内容的另一实施方式,提供了一种其上包含有程序的非暂态计算机可读介质,当计算机执行该程序时使得计算机执行一种方法,该方法包括:从传感器获得与用户的至少一个特征有关的第一观测信息和第二观测信息,基于第一观测信息与第二观测信息之间的相关性来识别用户,以及启动与所识别的用户相关联的执行功能。
发明的有益效果
根据本公开内容的上述实施方式,可以更灵活地提供与用户识别相关联的服务。注意,上述效果不一定是限制性的,连同或替代上述效果,还可以呈现本说明书中公开的任何效果,或根据本说明书能够理解的其他效果。
附图说明
图1是示出了根据实施方式的信息处理系统的概况的图。
图2是示出了根据本实施方式的信息处理系统的逻辑配置的示例的框图。
图3是示出了根据实施方式的观测设备的布置的示例的图。
图4是用于描述由根据实施方式的信息处理系统提供的服务的示例的图。
图5是示出了由根据实施方式的服务器执行的DB更新处理的流程的示例的流程图。
图6是示出了由根据实施方式的服务器执行的识别处理的流程的示例的流程图。
图7是示出了由根据实施方式的服务器执行的信息提供处理的流程的示例的流程图。
图8是用于描述根据实施方式的信息处理系统的具体示例的说明图。
图9是用于描述根据实施方式的信息处理系统的具体示例的说明图。
图10是用于描述根据实施方式的信息处理系统的具体示例的说明图。
图11是用于描述根据实施方式的信息处理系统的具体示例的说明图。
图12是用于描述根据实施方式的信息处理系统的具体示例的说明图。
图13是用于描述根据实施方式的信息处理系统的具体示例的说明图。
图14是用于描述根据实施方式的信息处理系统的具体示例的说明图。
图15是示出了由根据实施方式的服务器执行的每日处理的流程的示例的流程图。
图16是示出了由根据实施方式的服务器执行的每日处理的流程的示例的流程图。
图17是示出了由根据实施方式的服务器执行的识别结果历史修改处理的示例的流程图。
图18是示出了根据实施方式的信息处理设备的硬件配置的示例的框图。
具体实施方式
在下文中,将参照附图来详细描述本公开内容的实施方式。注意,在本说明书和附图中,使用相同的参考标记来表示具有大致相同功能和结构的结构元件,并且省略对这些结构元件的重复说明。
此外,在本说明书和附图中,存在通过给相同的参考标记赋予字母后缀来区分具有大致相同功能配置的组成元件的情况。例如,在需要时可以如终端设备100A、终端设备100B和终端设备100C这样,对具有大致相同功能配置的多个组成元件进行区分。然而,在不需要特别区分具有大致相同功能配置的多个组成元件时,将仅赋予相同的参考标记。例如,当不需要特别区分终端设备100A、终端设备100B和终端设备100C时,将终端设备100A、终端设备100B和终端设备100C简称为终端设备100。
注意,将按以下顺序提供描述。
1.概况
2.第一实施方式
2.1.配置示例
2.2技术特征
2.3.处理流程
2.4.具体示例
3.硬件配置示例
4.结论
1.概况
首先,将参照图1来描述根据本公开内容的实施方式的信息处理系统的概况。
图1是用于描述根据实施方式的信息处理系统的概况的示意图。如图1所示,终端设备100是挂在天花板上并且在桌子10的上表面上显示(换言之,投影)信息的设备。终端设备100根据用户针对在桌子10上显示的信息的操作向用户提供服务。这种在桌子10的上表面上输出信息的形式被称为桌上画面。
终端设备100包括未在图1中示出的诸如图像传感器、深度传感器和麦克风的观测单元(图2所示的观测单元110),以观测与用户有关的信息。例如,终端设备100在桌子10上设定区域作为观测区域20,并且对观测区域20内的对象执行观测。在图1所示的示例中,终端设备100可以观测:在用户的手部或用户的衣服位于观测区域20内时,用户手部的位置、用户手部或衣服的形状以及手部的运动;用户的指尖是否与桌子10接触等。
终端设备100包括未在图1中示出的诸如投影仪和扬声器的输出单元(图2所示的输出单元120),以向用户输出信息。例如,终端设备100在桌子10上设定区域作为显示区域30,并且输出应用画面等。注意,观测区域20和显示区域30可以不重合。
已经被广泛用作用户识别技术的面部识别技术难以在如图1所示的仅观测到用户手部的情况下使用。此外,存在下面这种情况:尽管可以观测到面部,但是由于面部表情的变化、身体条件的变化、用户是否佩戴眼镜等使得仅使用面部识别技术难以识别用户。因此,期望提供基于面部之外的因素来识别用户的技术。
此外,存在下面这种情况,例如即使用户的体形、发型、衣服等被用于用户识别,然而尤其是衣服可以每天变化或甚至在一天中变化,因此难以准确地识别用户。
因此,针对上述情况创建了根据本公开内容的实施方式的信息处理系统。根据实施方式的信息处理系统可以更灵活地提供与用户识别相关联的服务。这里总结了对根据实施方式的信息处理系统的概况的描述。
2.第一实施方式
接下来,将参照图2和图3来描述根据实施方式的信息处理系统的配置示例。
2.1.配置示例
图2是示出了根据实施方式的信息处理系统1的逻辑配置的示例的框图。如图2所示,信息处理系统1包括终端设备100、观测设备200和服务器300。
(1)终端设备100
如图2所示,终端设备100包括观测单元110和输出单元120。
观测单元110具有用于获取表示与用户有关的观测结果的信息(以下也称为观测信息)的功能。例如,观测单元110包括图像传感器、深度传感器、麦克风等,以基于图像信息、深度信息、声音信息等来获取观测信息。此外,可以基于从任意传感器设备获取的信息来获取观测信息比如生物信息、位置信息或加速度信息。
输出单元120具有向用户输出信息的功能。例如,输出单元120包括投影仪、显示器、触摸板、振动设备、扬声器等,以执行图像显示、声音输出、振动、灯光闪烁等。
终端设备100将观测单元110所获取的观测信息发送至服务器300,并且通过输出单元120输出从服务器300接收的信息。
(2)观测设备200
如图2所示,观测设备200包括观测单元210。由于观测单元210的功能与观测单元110的功能相同,因此这里省略对观测单元210的功能的详细描述。
在这里,信息处理系统1可以包括多个观测设备200。将参照图3来描述这一点。
图3是用于描述根据实施方式的观测设备200的布置的示例的说明图。在图3所示的示例中,将多个观测设备200(即观测设备200A、观测设备200B和观测设备200C)置于一个家庭中。具体地,观测设备200A被置于浴室的镜子上方,并且可以观测(例如,拍摄)已经起床的用户的全身。观测设备200B被置于前门入口的镜子上方,并且可以拍摄准备上班的用户的全身。观测设备200C是智能电话,并且可以在用户使用该设备拍摄他或她自己时拍摄用户的面部或全身。同时,终端设备100被置于例如客厅,并且可以拍摄例如用户的手部。以这种方式,观测设备200可以将终端设备100难以观测的例如用户的面部等作为观测对象。
在这里,当观测设备被设置在镜子附近时,如观测设备200A和观测设备200B那样,设备可以从前方拍摄用户的面部和用户的全身一直到用户的上身。因此,服务器300可以准确地识别由观测设备200A或观测设备200B观测的用户。此外,用户的个人观测设备200例如观测设备200C可以获取用户姓名和相关联的图像,因此减少了施加在服务器300上的识别负担。此外,观测设备200可以是监视摄像装置、内部通信联络系统的摄像装置等,在这种情况下,可以有效地使用现有设备。
注意,尽管在图3所示的示例中,观测设备200被实现为能够拍摄图像的摄像装置,然而本技术不限于此。例如,观测设备200可以被实现为各种设备比如麦克风、生物传感器、惯性传感器(例如陀螺仪传感器或加速度传感器)、光传感器等。
如观测设备200那样,信息处理系统1可以包括多个终端设备100,并且多个终端设备100可以被置于例如一个家庭中。
(3)服务器300
如图2所示,服务器300包括获取单元310、识别单元320、存储控制单元330和输出控制单元340。注意,服务器300还可以包括这些组成元件之外的组成元件。换言之,服务器300可以执行这些组成元件的操作之外的操作。以下将详细描述获取单元310、识别单元320、存储控制单元330和输出控制单元340的功能。
(4)数据库(DB)400
DB 400用作临时或永久存储各种类型的数据的存储单元。例如,DB 400存储通过终端设备100或观测设备200观测到的观测信息。
以上描述了根据实施方式的信息处理系统的配置示例。接下来,将描述根据实施方式的信息处理系统1的技术特征。
2.2.技术特征
(1)概况
信息处理系统1识别用户并且提供与所识别的用户相对应的服务。下面将描述信息处理系统1的基本处理的概况。
(a)观测信息的累积
服务器300(例如,获取单元310)获取由终端设备100或观测设备200观测到的观测信息。然后,服务器300(例如,存储控制单元330)使得所获取的观测信息以与通过下面要描述的识别处理而识别出的用户相关联的方式存储在DB 400中。从而,每个用户的观测信息在DB 400中累积。此外,当通过下面要描述的识别处理识别出用户的变化时,服务器300使得用户的变化被存储在DB 400中。因此,存储在DB 400中的信息反映了用户的最新情况。
(b)识别处理
服务器300(例如,获取单元310)获取由终端设备100或观测设备200观测到的观测信息。此外,服务器300(例如,存储控制单元330)获取存储在DB 400中的观测信息。在这里,要实时观测和获取的观测信息还称为第一观测信息,以及在DB 400中累积的过去的观测信息还称为第二观测信息。此外,当不需要特别区分所述信息时,第一观测信息和第二观测信息被统称为观测信息。
服务器300(例如,识别单元320)识别用户和该用户的变化。具体地,服务器300通过比较所获取的第一观测信息与存储在DB 400中的第二观测信息的至少一部分来识别用户和该用户的变化。例如,当第一观测信息中与该第二观测信息一致的信息的比率高时,服务器300确定与第一观测信息有关的用户是与该第二观测信息相关联的用户。然后,服务器300将第一观测信息中与该第二观测信息不一致的信息识别作为用户的变化。
将在图3所示的布置示例的假设下描述识别处理。例如,服务器300通过比较终端设备100所拍摄的用户的手部部分的拍摄图像(第一观测信息)与观测设备200所拍摄的用户的全身的拍摄图像的手部部分(第二观测信息)来识别用户。此外,服务器300通过比较观测设备200B所拍摄的上班前用户的全身的拍摄图像(第一观测信息)与观测设备200A所拍摄的刚起床的用户的全身的拍摄图像(第二观测信息)来识别用户已更换了衣服。以这种方式,服务器300可以在第一观测信息与第二观测信息彼此部分一致同时彼此有部分不同时识别出用户和该用户的变化。
作为示例,将进一步描述衣服的变化。服务器300可以对动作例如更换衣服或者穿上或脱掉夹克进行追踪,并且在每次执行动作时更新DB400。因此,即使使用难以识别面部的小图像或未拍摄到面部的图像,服务器300也可以识别更换衣服后的用户。
(c)服务的提供
服务器300(例如,输出控制单元340)根据识别结果来控制输出。例如,服务器300使得终端设备100根据对用户的识别结果和对该用户的变化的识别结果来输出内容。内容可以包括应用的画面、图像(静态图像或动态图像)、声音例如背景音乐等。下面将参照图4来描述由信息处理系统1提供的服务的示例。
图4是用于描述由根据实施方式的信息处理系统1提供的服务的示例的说明图。在图4中,示出了根据用户的每日动作而提供的服务的示例。假设用户在准备过程中使用观测设备200C拍摄了他或她自己的面部并且执行了用户注册。例如,服务器300通过使DB 400以与用户的面部图像相关联地方式存储新给予用户的标识信息来执行用户注册。在这种情况下,可以通过用户输入来注册属性信息例如用户的姓名。
例如,服务器300基于观测设备200A所观测的已经起床并且正在洗他或她的脸的用户的拍摄图像来识别该用户和该用户的衣服的特征,并且使得表示该用户的衣服的特征的信息被存储在DB 400中。服务器300可以基于用户的衣服来识别刚起床的用户。然后,服务器300使得终端设备100针对正在桌子10上吃早餐41的用户自动地显示新闻应用的画面42。
此外,服务器300基于观测设备200B所观测的对已经完成他或她的工作并且回到家里的用户的拍摄图像来识别该用户和该用户的衣服的特征,并且使得表示该用户的衣服的特征的信息被存储在DB 400中。服务器300可以通过用户的衣服来识别已经下班回家的用户。然后,服务器300使得终端设备100针对正在桌子10上吃晚餐43的用户自动地显示示出次日日程表的日程表应用的画面44。
注意,在本说明书中,信息处理系统1进行的信息输出和终端设备100进行的信息输出与通过服务器300从终端设备100进行的信息输出具有相同的意义。
(2)观测信息
(a)内容
可以考虑各种观测信息。观测信息可以包括表示以下示例的信息中的至少任意信息。
表示与用户身体有关的特征的信息
观测信息可以包括例如以下示出的表示与用户的身体有关的特征的信息。可以使用例如生物传感器来获取观测信息或基于任意信息例如拍摄的图像或采集的声音来识别观测信息。
·面部特征
·身体特征
做手势时手部的形状
体形
体重
年龄
性别
脉搏
体味
呼吸的速度和深度
体温
声音
步长
主导手
肤色
与用户的动作有关的特征
观测信息可以包括例如以下示出的表示与用户的动作有关的特征的信息。可以使用例如惯性传感器来获取观测信息或基于任意信息例如拍摄的图像或采集的声音来识别观测信息。
·动作
运动
位置
·偏好
经常观看的内容
首先按下的按钮
·习惯
脚无意识晃动的频率
哼唱
对强光的反应(表达惊奇的特征方式,例如眨眼)
对设备振动的反应
对蚊子声音的反应
因故意造成的等待时间而心烦的用户的反应
被提供动物或食物的照片时的反应
关门的方式
站立时摆动身体的方式
交叉手臂的方式
用手臂(或手指)指向的方式
挠头的方式
说出词尾的方式
握筷的方式
握笔的方式
笔迹
在桌子等的上表面上绘制的图形(圆形、正方形等)的特征(尺寸、形状等)
脚步声
上车的位置
与用户的生活有关的特征
观测信息可以包括例如以下示出的表示与用户的生活有关的特征的信息。可以基于任意信息例如拍摄的图像、采集的声音、通过网络获取的信息等来识别观测信息。
·生活环境
用户经常坐的位置
用户进入视角的方向(例如,母亲通常从厨房侧进入视角等)
睡觉位置
开门和关门的历史
餐具(用户自己的杯、筷等)
·生活节奏
起床时间
桌子旁的就座顺序
进餐速度
进餐顺序
角色(清空垃圾桶、洗衣服)
·人际关系
社交媒体中的信息
与用户穿戴或携带的物体有关的特征
观测信息可以包括例如以下示出的表示与用户穿戴或携带的物体有关的特征的信息。可以基于任意信息例如拍摄的图像、使用红外传感器获取的信息、存储在DB 400中的表示用户的所有物的信息来识别观测信息。
·配件
头部:帽子、假发、发色
面部:眼镜、耳环
颈部:丝巾、项链
腕部:腕表、戒指、手套、指甲油
身体:领带夹、钥匙扣、领带、衣服(颜色、图案、品牌的标识等)
腿部:裤子、短裙、鞋子、拖鞋、袜子
·存储信息的配件
其上使用IR反射涂料印制了图案的戒指或手镯
(b)获取处理
如上所述,观测信息是表示用户的特征的信息。终端设备100或观测设备200通过对从各种传感器设备获得的原始数据执行识别处理来获取观测信息,并且将观测信息发送至服务器300。注意,可以将原始数据发送至服务器300,以及可以通过服务器300来获得观测信息。
(3)用户识别的确定度
服务器300(例如,识别单元320)通过比较所获取的第一观测信息与存储在DB 400中的第二观测信息的至少一部分来识别用户和该用户的变化。
在这里,存在如下情况:即使在一部分观测信息一致的情况下,例如当用户的衣服与另一用户的衣服一致时,也难以可靠地识别用户。为此,服务器300使用开放概率(准确度)来执行用户识别。以下还将用户识别的概率称为确定度。例如将使用面部识别技术而获得的识别结果的确定度设置成最高,然后确定度按照身体特征和习惯的顺序逐渐地减小。可以基于错误识别率来设置该顺序。此外,关于衣服,例如可以将基于单一颜色的衣服的识别结果的确定度设置成低,并且将基于具有多个图案(例如,大量特征)的衣服的识别结果的确定度设置成高。
服务器300可以执行用于提高用户识别的确定度的处理。例如,服务器300可以通过结合多种观测信息来执行用户识别。具体地,服务器300可以通过将手部形状的一致性与衣服的一致性相结合来提高用户识别的概率。以这种方式,通过结合多种观测信息来执行用户识别提高了识别的健壮性,并且防止了使用衣服进行的假冒。此外,服务器300可以通过结合从另一终端设备100或终端设备100之外的观测设备200获得的观测信息来提高用户识别的确定度。
(4)根据确定度的输出
服务器300(例如,输出控制单元340)可以根据确定度来控制输出。例如,服务器300可以根据确定度以不同的形式执行输出,例如服务器使得在确定度低时输出一般信息,并且使得随着确定度的增加输出对用户而言更加定制的信息。因此,例如,即使当用户识别不确定时,也可以实现服务的灵活提供,其中,可以向用户提供至少一些种类的信息。
例如,服务器300可以使得输出表示确定度的信息。例如,服务器300可以如指示器那样根据确定度来改变要显示的显示对象的颜色、深度等,并且可以使得指示确定度的仪表上升或下降。此外,服务器300可以使得确定度的幅度以声音的方式被输出。因此,用户可以了解用户识别的概率。下面将参照图9来详细描述该特征。
例如,服务器300可以根据确定度来控制是否可以输出与所识别的用户的隐私有关的信息。例如,服务器300使得在确定度不超过阈值时不输出与用户的隐私有关的信息,以及使得在确定度超过阈值时输出该信息。可以将确定度的阈值的数量设置成多个,并且可以使得要通过服务器300输出的信息的范围可以随着确定度的增加而增加。通过这种控制,可以根据确定度进行分级输出,并且恰当地保护用户的隐私。注意,在仅家庭成员使用终端设备100的情况下,可以将确定度的阈值设置成宽松的。下面将参照图8来详细描述该特征。
服务器300可以例如使得输出表示与是否要输出信息有关的确定度的阈值的信息。因此,用户可以理解之所以没有输出期望的信息是因为确定度不够,从而可以执行用于提高确定度的动作例如使用密码登录等。
此外,服务器300可以使得输出提示用户执行用于提高确定度的动作的信息。换言之,服务器300可以使得输出提示用户执行增加第一观测信息的动作的信息(例如,指示要执行的动作的信息)。如果用户根据该信息执行了动作,则服务器300可以进一步提高用户识别的确定度。此外,服务器300可以使得输出以下信息:该信息表示输出信息是提示用户执行用于提高确定度的动作的信息。下面将参照图13来详细描述该特征。
例如,服务器300可以根据确定度来控制信息的输出目的地。例如,服务器300可以使得在该用户附近、或在桌子中心处等输出用于以高确定度被识别的用户的信息。另一方面,服务器300可以使得在默认显示位置、或在多个用户的中心处等输出用于以低确定度被识别的用户的信息。
(5)时间序列学习
(a)DB 400的信息更新
服务器300(例如,存储控制单元330)根据识别结果来更新存储在DB 400中的第二观测信息。因此,存储在DB 400中的信息反映了用户的最新情况,因此可以进一步提高用户识别的准确度。
服务器300通过例如将与用户的变化有关的第一观测信息添加至与所识别的用户相关联的第二观测信息或使用与用户的变化有关的第一观测信息来替换与所识别的用户相关联的第二观测信息,来执行更新。将参照表1所示的存储在DB 400中的第二观测信息的示例来描述这一点。
[表1]
Figure GDA0002942768580000141
如上面表1所示,DB 400可以针对每个类别存储关于“当前”的信息以及关于“历史”的信息。例如,服务器300通过比较观测信息与存储在DB 400中的关于“当前”的信息来执行识别处理。在这里,当观测信息与存储在DB 400中的关于“当前”的信息不一致时,服务器300可以通过比较观测信息与关于“历史”的信息来执行识别处理。当识别到变化时,服务器300更新关于“当前”的信息并且当与该变化相对应的信息不在“历史”中时,服务器更新关于“历史”的信息。
例如,当用户更换了衣服时,服务器300用表示更换的衣服的信息来替换表示“用户正穿着的衣服”的信息。此外,当用户正穿着未包括在历史中的新衣服时,服务器300将表示该新衣服的信息添加至“用户拥有的衣服”。以这种方式,用反映用户的最新情况的信息更新存储在DB 400中的第二观测信息。注意,就衣服而言,因为可以基于更换之前的衣服来识别用户,所以当观测到用户更换了他或她的衣服的情况时,服务器300可以更容易地更新DB 400。
除了由终端设备100或观测设备200所获取的信息之外,服务器300还可以基于各种信息来更新存储在DB 400中的信息。例如,服务器300可以基于用户的购买历史来更新第二观测信息。例如,当用户在网上购买了新衣服时,服务器300获取关于该网购的信息,并且将表示购买的新衣服的信息添加至表1所示的“用户拥有的衣服”。因此,即使在用户穿着新衣服时服务器300也可以通过比较历史来识别用户,从而可以降低错误识别的概率。
(b)DB 400的信息修改
服务器300可以修改存储在DB 400中的信息。例如,服务器300向用户提供表示识别结果的信息并且基于用户指示来执行修改。
具体地,服务器300(输出控制单元340)使得表示识别结果的历史的信息被输出给所识别的用户。例如,服务器300使得显示表示对用户的每日识别结果的历史(例如,表示在什么位置识别出用户和通过什么动作和衣服识别出用户的信息的历史)的信息。因此,用户可以回想他或她的一天。此外,服务器300(存储控制单元330)根据用户针对表示识别结果的历史的输出信息的操作来更新存储在DB 400中的第二观测信息。因此,用户可以修改错误识别结果。下面将参照图14至图17来详细描述该特征。
以上,描述了根据实施方式的信息处理系统1的技术特征。接下来,将参照图5至图7来描述由根据实施方式的信息处理系统1执行的处理的流程。
2.3.处理流程
(1)DB更新处理
图5是示出了根据实施方式的由服务器300执行的对DB 400的更新处理的流程的示例的流程图。
如图5所示,获取单元310从终端设备100或观测设备200获取观测信息(步骤S102)。接下来,识别单元320识别用户和该用户的变化(步骤S104)。例如,识别单元320基于获取单元310所获取的用户的拍摄图像,使用面部识别技术来识别用户和衣服的变化。注意,下面将参照图6来更详细地描述这种情况的处理。
接下来,存储控制单元330确定所识别的用户是否已经在DB 400中注册(步骤S106)。当确定用户还未注册时(步骤S106中为否),存储控制单元330向所识别的用户给予用户ID以执行用户注册(步骤S108)。
然后,存储控制单元330确定该用户是否存在变化(步骤S110)。当确定该用户存在变化时(步骤S110中为是),存储控制单元330更新存储在DB 400中的信息(步骤S112)。针对未注册的用户,存储控制单元330使得所获取的观测信息以与新给予的用户ID相关联地方式被存储在DB 400中。
通过以上步骤,服务器300结束DB更新处理。
(2)识别处理
图6是示出了根据实施方式的由服务器300执行的识别处理的流程的示例的流程图。该流程的处理对应于图5所示的步骤S104。
如图6所示,首先,识别单元320通过比较终端设备100或观测设备200所获取的第一观测信息与存储在DB 400中的至少一部分第二观测信息来识别用户(步骤S202)。例如,当拍摄图像(第一观测信息)中仅包括部分身体时,识别单元320针对该部分身体是否与存储在DB 400中的第二观测信息一致来执行比较。注意,识别单元320可以使用运动检测处理、背景差分检测处理等将用户的身体从背景中分离以区分身体和背景。然后,识别单元320识别与第一观测信息有关的用户为存储在DB 400中的多个人中与一致度最高的第二识别信息相关联的用户。
接下来,识别单元320确定用户识别的确定度是否等于或高于阈值(步骤S204)。
当确定度被确定为等于或高于阈值时(步骤S204中为是),识别单元320确定所识别的用户是已注册的用户(步骤S206)。然后,识别单元320提取用户的变化(步骤S208)。例如,识别单元320提取第一观测信息与第二观测信息的差分作为用户的变化。
另一方面,当确定度被确定为低于阈值时(步骤S204中为否),识别单元320确定作为第一观测信息的观测目标的用户是未注册的用户。
由此,服务器300完成识别处理。
(3)信息提供处理
图7是示出了根据实施方式的由服务器300执行的信息提供处理的流程的示例的流程图。
如图7所示,首先,获取单元310从终端设备100或观测设备200获取观测信息(步骤S302)。然后,识别单元320识别用户和该用户的变化(步骤S304)。该处理如上文参照图6所述。然后,输出控制单元340使得终端设备100向所识别的用户输出信息(步骤S306)。
由此,服务器300完成信息提供处理。
2.4.具体示例
接下来,将参照图8至图17来描述具体示例。
(1)基于衣服的用户识别
首先,将描述基于衣服而进行的对上面参照图1描述的桌上画面的用户识别。
使用面部识别技术进行的用户识别难以用于图1所示的终端设备100,这是因为设备是从上方对观测区域20进行观测(例如对观测区域20执行拍摄),因此面部未进入摄像装置的视角。
为此,服务器300可以使用已进入观测区域20的手部的尺寸、形状等来识别用户。此外,服务器300可以基于已进入观测区域20的衣服袖子来识别用户。例如,服务器300以与基于另一观测设备200获得的用户的全身图像,使用面部识别技术提前所识别的用户相关联地的方式存储与衣服的颜色和图案有关的衣服特征量。然后,服务器300通过比较已进入观测区域20的衣服袖子的特征量与存储的衣服袖子的特征量来识别用户。通过结合信息,服务器300可以提高用户识别的确定度。
即使当用户识别难以使用面部识别技术时,也可以以该方式识别用户以及提供针对该用户而定制的内容。例如,信息处理系统1可以在桌子10的中心处显示所识别的用户经常观看的内容,或在靠近用户的位置处显示日程表。
此外,信息处理系统1可以根据确定度来控制输出。例如,当基于手部尺寸和衣服二者来识别用户时,信息处理系统1显示包括涉及该用户的隐私的信息的内容。另一方面,当仅基于手部尺寸或衣服二者中的一个来识别用户时,信息处理系统1显示一般内容。将参照图8来描述这一点。
图8是用于描述根据实施方式的信息处理系统1的具体示例的说明图。例如,当仅基于手部尺寸来执行用户识别并且确定度为低时,信息处理系统1显示新闻应用的画面51,画面51不包括涉及该用户的隐私的信息。然后,当基于衣服袖子来执行用户识别并且确定度为高时,信息处理系统1显示日程表应用的画面52,画面52包括涉及该用户的隐私的信息。
作为内容的示例,信息处理系统1可以提供关于衣服的建议。例如,服务器300可以例如在参照所识别的用户的日程表所识别的用户将要长时间在外时,使得输出建议换成长袖衬衣以为下午的降温做准备的信息。此外,当用户在工作日未穿套装时,服务器300识别用户可能在休假,并且如果用户体温高则使得输出附近医院的信息,或者如果用户的体温正常则使得输出游戏内容。
此外,信息处理系统1可以显示表示确定度的信息。将参照图9来描述这一点。
图9是用于描述与根据实施方式的信息处理系统1有关的具体示例的示意图。例如,当确定度为低时,信息处理系统1显示如参考标记53所指示的浅色的指示器。另一方面,当确定度为高时,信息处理系统1显示如参考标记54所指示的深色的指示器。
(2)基于配件的用户识别
接下来,将参照图10描述基于配件而进行的对图1所示的桌上画面的用户识别。
图10是用于描述与根据实施方式的信息处理系统1有关的具体示例的说明图。例如,在图10所示的示例中,用户佩戴戒指61,在戒指61上使用IR反射涂料印制了信息码(例如条形码、二维码等)62。信息码62存储有例如用户识别信息等。终端设备100使用红外摄像装置等观测已进入观测区域20的信息码62。从而,服务器300可以容易地识别该用户。
除此之外,就使用红外摄像装置的观测而言,考虑使用含有IR反射材料的指甲油、印制有IR反射图案的印章等。
(3)基于生物信息的用户识别
接下来,将参照图11来描述基于生物信息而进行的对图1所示的桌上画面的用户识别。
图11是用于描述与根据实施方式的信息处理系统1有关的具体示例的说明图。图11所示的椅子63在座位64和脚65中设置有压力传感器。椅子63被放置在例如桌子10的附近,并在用户坐在椅子63上时观测用户的体重。服务器300基于从例如安装在浴室的摄像装置和体重计获得的观测信息,提前以与用户的重量相关联的方式存储用户,并且通过与经由椅子63所观测到的重量进行比较来识别用户。从而,服务器300可以识别用户。可以在椅子63中安装用于检测其他生物信息例如脉搏、体温、体味、呼吸等的传感器,以及服务器300可以通过结合信息来提高用户识别的确定度。
(4)基于声音的用户识别
接下来,将参照图12来描述基于声音而进行的对图1所示的桌上画面的用户识别。
图12是用于描述根据实施方式的信息处理系统1的具体示例的说明图。门66连接厨房和其中设置有终端设备100的客厅。门67连接前入口和其中设置有终端设备100的客厅。服务器300提前存储有门打开声音和门关闭声音的倾向,例如父亲倾向于大声地开门和关门而母亲倾向于悄悄地开门和关门,通过执行与门66或门67的打开声和关闭声的比较来识别用户。从而,服务器300可以识别用户。服务器300可以通过将一个声音与诸如脚步、哼唱等的另一声音结合来提高用户识别的确定度。替代开门声和关门声,可以通过安装在门中的传感器来观测开门和关门的力度以用于用户识别。此外,服务器300可以通过添加其他倾向来识别用户,所述其他倾向例如是母亲通过门66进出的频率和父亲通过门67进出的频率。
(5)基于习惯的用户识别
接下来,将描述基于习惯而进行的对图1所示的桌上画面的用户识别。
例如,服务器300可以提前存储用户的习惯例如无意识抖脚的频率,以基于观测到的无意识抖脚的频率来识别用户。从而,服务器300可以识别用户。此外,服务器300可以通过将习惯与其他观测信息例如衣服相结合来提高用户识别的确定度。注意,期望的是在预期登录操作例如通过输入密码来执行登录的状态下(换言之,在已经可靠地识别出用户的状态下)存储用户的习惯。这么做的原因是为了防止错误识别。
以相同的方式,可以基于与用户的动作和生活有关的其他特征来执行识别处理。通常在家庭中,桌子旁的就座位置是决定好的,因此服务器300可以提前存储桌子旁的就座位置并且基于就座位置来识别用户。
服务器30可以使得向用户输出提示执行用于提高确定度的动作的信息。将参照图13来描述这一点。
图13是用于描述与根据实施方式的信息处理系统1有关的具体示例的说明图。在图13中,示出了用于引起“因故意造成的等待时间而心烦的用户的反应”作为用户习惯的信息的显示示例。具体地,终端设备100延迟在应用画面71上的滚动操作的滚动。此外,终端设备100显示指示滚动处理正在进行中的图标72。由于滚动的延迟造成了等待时间,因此引起“因故意造成的等待时间而心烦的用户的反应”。此外,终端设备100显示信息73,信息73表示应用画面71上的滚动处理的延迟是由于向用户提示执行用于提高确定度的动作而引起的。因此,用户可以区分滚动是简单地延迟还是滚动是为了提高确定度而延迟。
(6)提供对用户的每日动作的识别结果的历史
接下来,将参照图14至图17来描述在图1所示的桌上画面上提供的表示用户的每日动作的历史的信息。
(a)用户的动作的示例
假设用户执行例如下表2中所示的动作。
[表2]
时间 动作
7:15a.m. 洗脸
7:30a.m. 吃早餐+读新闻
8:00a.m. 更换成套装(海军蓝)
8:15a.m. 离开家
9:30a.m. 到达AAA公司
12:30p.m. 在SNS上张贴拍摄的午餐
3:00p.m. 在智能电话上读新闻
7:00p.m. 回家
(b)UI的示例
图14是用于描述与根据实施方式的信息处理系统1有关的具体示例的说明图。终端设备100显示动作检查按钮81,并且当用户触摸动作检查按钮81时,设备显示识别历史信息82,识别历史信息82表示对用户的每日动作的识别结果的历史。识别历史信息82包括在上表2中所示的用户的每日动作的识别结果。在这里,当对表2与识别历史信息82进行对比时,发现错误地识别了在10:00a.m.更换成红色衣服。这例如是另一用户的识别结果。当存在这种错误识别时,用户通过触摸错误识别的项来使得显示删除窗口83,从而可以删除错误识别的项,DB 400基于该删除而更新。
(c)处理流程
图15和图16是示出了由根据实施方式的服务器300执行的每日处理的流程的示例的流程图。
如图15所示,首先,服务器300基于浴室中的摄像装置(观测设备200)所拍摄的面部图像来识别用户(步骤S402),然后针对衣服来更新DB 400(步骤S404)。
接下来,服务器300基于餐桌的摄像装置(终端设备100)所拍摄的衣服(例如袖子)的图像来识别用户(步骤S406),并且使得显示所识别的用户偏好的新闻(步骤S408)。
接下来,服务器300基于用户房间的监视摄像装置(观测设备200)所拍摄的他或她的面部和衣服的图像来识别用户(步骤S410),并进一步识别用户已更换成套装,然后针对该衣服来更新DB 400(步骤S412)。
接下来,服务器300基于前入口的监视摄像装置(观测设备200)所拍摄的他或她的面部和衣服的图像来识别用户(步骤S414),并进一步识别用户正要出去,然后针对该动作更新DB 400(步骤S416)。
接下来,如图16所示,服务器300通过GNSS识别用户已到达他或她的公司,然后针对他或她的当前位置来更新DB(步骤S418)。
接下来,服务器300基于衣帽间的监视摄像装置所拍摄的他或她的面部和衣服的图像来识别用户(步骤S420),并进一步识别用户已更换成红色衣服,然后针对该衣服更新DB 400(步骤S422)。事实上,如上所述用户并未更换成红色衣服,因此该识别是错误的。
接下来,服务器300识别用户已经在SNS上上传了他或她的午餐的图片,然后针对该动作来更新DB 400(步骤S424)。
接下来,服务器300识别用户已经在他或她的智能电话上阅读了新闻,然后针对阅读历史来更新DB 400(步骤S426)。
接下来,服务器300基于前入口的摄像装置所拍摄的他或她的面部和衣服的图像来识别用户(步骤S428),并进一步识别用户已经回家,然后针对该动作更新DB 400(步骤S430)。由此,处理结束。
图17是示出了由根据实施方式的服务器300执行的识别结果历史修改处理的流程的示例的流程图。
如图17所示,首先,服务器300使得显示识别的历史信息(步骤S502)。接下来,服务器300根据用户操作从DB 400删除错误信息(步骤S504),并进一步根据用户操作使用正确的信息来更新DB 400(步骤S506)。针对图14所示的示例,服务器300例如从DB 400删除表示用户已更换成红色衣服的信息。由此,处理结束。
3.硬件配置示例
最后,将参照图18来描述根据实施方式的信息处理设备的硬件配置。图18是示出了根据实施方式的信息处理设备的硬件配置的示例的框图。注意,图18所示的信息处理设备900可以实现例如图2所示的终端设备100、观测设备200、服务器300或DB 400。由根据实施方式的终端设备100、观测设备200、服务器300或DB 400执行的信息处理可以用下述软件和硬件协同实现。
如图18所示,信息处理设备900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外,信息处理设备900包括桥接器904、外部总线904b、接口905、输入设备906、输出设备907、存储设备908、驱动器909、连接端口911和通信设备913。替代或除了CPU901之外,信息处理设备900可以包括处理电路例如DSP或ASIC。
CPU 901用作算术处理单元和控制设备,并且根据各种程序来控制信息处理设备900的整体操作。此外,CPU 901可以是微处理器。ROM 902存储有由CPU 901使用的程序、计算参数等。RAM 903临时地存储在CPU 901运行时使用的程序和在运行中适当改变的参数。CPU 901可以构成例如图2所示的获取单元310、识别单元320、存储控制单元330和输出控制单元340。此外,CPU 901可以构成例如图2所示的观测单元110和观测单元210的一部分,以及例如通过对原始传感器数据执行识别处理来获取观测信息。
CPU 901、ROM 902和RAM 903通过包括CPU总线的主机总线904a彼此连接。主机总线904a通过桥接器904连接至诸如外围设备互连/接口(PCI)总线之类的外部总线904b。此外,不需要单独配置主机总线904a、桥接器904和外部总线904b,而是可以在一个总线内实现这些功能。
输入设备906由用户输入信息的设备例如鼠标、键盘、触摸面板、按钮、麦克风、开关和操作杆来实现。此外,输入设备906可以是例如使用红外线或其他无线电波的远程控制设备,或者可以是响应于信息处理设备900的操纵的诸如移动电话或PDA之类的外部连接设备。此外,输入设备906可以包括输入控制电路,该输入控制电路基于用户使用例如上述输入设备所输入的信息来生成输入信号,并且向CPU 901输出信号。信息处理设备900的用户可以通过操纵输入设备906向信息处理设备900输入各种类型的数据或指示处理操作。
此外,输入设备906可以由用于感测用户信息的传感器构成。例如,输入设备906可以包括各种类型的传感器例如图像传感器(例如摄像装置)、深度传感器(例如立体摄像装置)、加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、声音传感器、距离测量传感器或力传感器。此外,输入设备906可以获取关于信息处理设备900本身的状态的信息例如信息处理设备900的姿势或移动速度或关于信息处理设备900的周围环境的信息例如信息处理设备900周围的亮度或噪声。此外,输入设备906可以包括全球导航卫星系统(GNSS)模块,该模块通过从GNSS的卫星接收GNSS信号(例如来自全球定位系统(GPS)卫星的GPS信号)来测量设备的纬度、经度和高度。
输入设备906可以构成例如图2所示的观测单元110和观测单元210的一部分,然后接收例如原始传感器数据的输入。
输出设备907被构造成能够视觉地或听觉地将获取的信息通知给用户的设备。这种设备包括显示设备、音频输出设备或打印机设备等,所述显示设备例如投影仪、CRT显示设备、液晶显示设备、等离子体显示设备、EL显示设备、激光投影仪、LED投影仪和灯,所述音频输出设备例如扬声器、头戴式耳机。输出设备907输出通过例如信息处理设备900执行的各种处理而获得的结果。具体地,显示设备以诸如文本、图像、表格或图之类的各种形式视觉地显示通过信息处理设备900执行的各种处理而获得的结果。另一方面,音频输出设备将再现的音频数据或声音数据的音频信号转换为模拟信号,并且可听地输出结果。显示设备和音频输出设备可以构成例如图2所示的输出单元120。
存储设备908是用于数据存储的设备,其被构造为信息处理系统900的存储单元的示例。存储设备908由例如诸如HDD、半导体存储设备、光学存储设备、或磁光存储设备之类的磁性存储设备来实现。存储设备908可以包括存储介质、被配置成将数据记录在存储介质中的记录设备、被配置成从存储介质中读取数据的读取设备以及被配置成删除存储介质中存储的数据的删除设备。存储设备908存储由CPU 901执行的程序和各种类型的数据以及从外部获取的各种类型的数据。存储设备908可以形成例如图2所示的DB 400。
驱动器909是用于存储介质的读写器并且被内置于信息处理设备900中或外部附接于信息处理设备900。驱动器909读取可移除存储介质例如安装的磁盘、光盘、磁光盘或半导体存储器中存储的信息,并且将信息输出至RAM 903。此外,驱动器909可以将信息写入可移除存储介质。
连接端口911是连接至外部设备的接口并且是能够通过例如通用串行总线(USB)发送数据的外部设备的连接端口。
通信设备913是形成在通信设备中的通信接口,用于与例如网络920连接。通信设备913是用于例如有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡。此外,通信设备913可以是用于光学通信的路由器、用于非对称数字用户线路(ADSL)的路由器或用于各种类型的通信的调制解调器。通信设备913可以遵照预定的协议例如TCP/IP通过例如因特网或与其他通信设备发送和接收信号等。在实施方式中,终端设备100、观测设备200、服务器300和DB 400中的每一个都包括通信设备913,使得能够双向发送和接收数据。
此外,网络920是从连接至网路920的设备发送的信息的无线或有线发送路径。例如,网络920可以包括公共网络例如因特网、电话线网络和卫星通信网络、包括以太网(注册商标)在内的各种类型的局域网(LAN)以及广域网(WAN)。此外,网络920可以包括专用线路网络例如因特网协议-虚拟专用网络(IP-VPN)。
以上描述了可以实现根据实施方式的信息处理设备900的功能的示例性硬件配置。以上描述的各部件可以使用通用构件来实现或者可以通过专用于各部件的功能的硬件来实现。因此,在实现实施方式时可以根据技术水平适当地改变要使用的硬件配置。
注意,可以在PC等中准备和安装用于实现根据实施方式的信息处理设备900的上述各功能的计算机程序。此外,可以提供其中存储有这种计算机程序的计算机可读记录介质。记录介质包括例如磁盘、光盘、磁光盘和闪存。此外,可以通过例如网络而不使用记录介质来传输计算机程序。
4.结论
以上参照图1至图18详细描述了本公开内容的实施方式。服务器300获取表示针对用户的观测结果的第一观测信息,通过比较所获取的第一观测信息与存储的第二观测信息的至少一部分来识别用户和该用户的变化,以及根据上述结果控制输出。由于服务器300不仅可以识别用户还可以识别用户的变化,因此可以更灵活地提供与用户识别相关联的服务。
服务器300根据例如用户识别的确定度来提供服务。因此,即使当用户识别不可靠时,也可以实现灵活地提供例如可以向用户提供至少一些信息的服务。
此外,服务器300根据识别结果来更新存储在DB 400中的第二观测信息。因此,存储在DB 400中的信息反映了用户的最新情况,因此可以进一步提高对用户和该用户的变化的识别的准确度。
本领域技术人员应当理解,可以根据设计要求和其他因素进行各种修改、组合、子组合和变更,只要它们在所附权利要求或其等同物的范围内即可。
例如,尽管在上述实施方式中示出了终端设备100被实现为桌上画面设备的示例,然而本技术不限于此。例如,终端设备100可以被实现为各种类型的设备例如智能电话、平板式终端、PC、空间安装的终端比如数字标牌、或汽车导航系统。
此外,尽管在以上的实施方式中描述了信息处理系统1包括彼此分离形成的终端设备100、观测设备200、服务器300和DB 400的示例,但是本技术不限于此。例如,服务器300和DB 400可以被包括在终端100和观测设备200中。在这种情况下,终端设备100和观测设备200可以作为单个单元来识别用户和提供服务。期望终端设备100和观测设备200彼此共享观测信息。
注意,本说明书中参照流程图描述的处理不需要以流程图中所示的顺序执行。可以并行地执行一些处理步骤。此外,可以采用一些附加步骤或省略一些处理步骤。
此外,本说明书中描述的效果仅是示例性和说明性的,而非限制性的。换言之,连同和替代基于本说明书的效果,根据本公开内容的实施方式的技术可以呈现对本领域技术人员明显的其他效果。
此外,本技术也可配置如下。
(1)
一种信息处理装置,包括:
电路,所述电路被配置成
从传感器获得与用户的至少一个特征有关的第一观测信息和第二观测信息,
基于所述第一观测信息与所述第二观测信息之间的相关性来识别所述用户,以及
启动与所识别的用户相关联的执行功能。
(2)
根据(1)所述的信息处理装置,其中,所述传感器包括多个至少一种类型的传感器。
(3)
根据(1)或(2)所述的信息处理装置,其中,所述电路还被配置成通过比较所述第一观测信息与所述第二观测信息的至少一部分来确定所述用户的变化。
(4)
根据(1)至(3)中任一项所述的信息处理装置,其中,当确定了所述用户的变化时,将所述第二观测信息存储在计算机可读介质中。
(5)
根据(1)至(4)中任一项所述的信息处理装置,其中,所述电路还被配置成基于所述识别的确定度来控制与所识别的用户相关联的执行功能的启动。
(6)
根据(1)至(5)中任一项所述的信息处理装置,其中,所述电路还被配置成:当所述确定度低于阈值时,启动与所识别的用户相关联的一般执行功能。
(7)
根据(1)至(6)中任一项所述的信息处理装置,其中,所述电路还被配置成:当所述确定度高于阈值时,启动与所识别的用户相关联的定制执行功能。
(8)
根据(1)至(7)中任一项所述的信息处理装置,其中,所述电路还被配置成基于一致的结果是通过使用面部识别、物理特征检测还是使用习惯检测而获得的来确定所述确定度。
(9)
根据(1)至(8)中任一项所述的信息处理装置,其中,通过结合多种类型的观测信息来提高所述确定度。
(10)
根据(1)至(9)中任一项所述的信息处理装置,其中,所述执行功能涉及显示或处理与所识别的用户的隐私有关的信息。
(11)
根据(1)至(10)中任一项所述的信息处理装置,其中,所述电路在所述确定度低于阈值时启动所述执行功能。
(12)
根据(1)至(11)中任一项所述的信息处理装置,其中,所述电路在所述确定度高于阈值时启动所述执行功能。
(13)
根据(1)至(12)中任一项所述的信息处理装置,其中,所述电路还被配置成基于对用户的识别来显示识别结果。
(14)
根据(1)至(13)中任一项所述的信息处理装置,其中,所述电路还被配置成启动用于使所述用户能够操纵所述识别结果的接口的显示。
(15)
根据(1)至(14)中任一项所述的信息处理装置,其中,所述传感器包括从包含图像传感器、深度传感器、压力传感器和麦克风的组中选择的至少一个。
(16)
根据(1)至(15)中任一项所述的信息处理装置,其中,经由从包括投影仪、显示器、触摸板、振动设备和扬声器的组中选择的至少一个来提供所述执行功能。
(17)
根据(1)至(16)中任一项所述的信息处理装置,其中,所述电路还被配置成启动在存储有所述第二观测信息的计算机可读介质中对所述第一观测信息的存储以替代所述第二观测信息。
(18)
根据(1)至(17)中任一项所述的信息处理装置,其中,所述第一观测信息被实时地获取。
(19)
一种信息处理方法,所述的信息处理方法经由具有电路的处理器执行,所述方法包括:
从传感器获得与用户的至少一个特征有关的第一观测信息和第二观测信息;
基于所述第一观测信息与所述第二观测信息之间的相关性来识别所述用户;以及
启动与所识别的用户相关联的执行功能。
(20)
一种非暂态计算机可读介质,所述非暂态计算机可读介质上包含有程序,所述程序当由计算机执行时使得所述计算机执行方法,所述方法包括:
从传感器获得与用户的至少一个特征有关的第一观测信息和第二观测信息;
基于所述第一观测信息与所述第二观测信息之间的相关性来识别所述用户;以及
启动与所识别的用户相关联的执行功能。
(21)
一种信息处理设备,包括:
获取单元,被配置成获取表示针对用户的观测结果的第一观测信息;
识别单元,被配置成通过比较所述获取单元所获取的所述第一观测信息与存储在存储单元中的第二观测信息的至少一部分来识别所述用户和所述用户的变化;以及
输出控制单元,被配置成根据所述识别单元所获得的识别结果来控制输出。
(22)
根据(21)所述的信息处理设备,其中,所述输出控制单元根据确定度来控制输出,所述确定度指示用户识别的概率。
(23)
根据(22)所述的信息处理设备,其中,所述输出控制单元使得输出表示所述确定度的信息。
(24)
根据(22)或(23)所述的信息处理设备,其中,所述输出控制单元根据所述确定度来控制是否输出与所识别的用户的隐私有关的信息。
(25)
根据(24)所述的信息处理设备,其中,所述输出控制单元使得输出表示与是否执行输出有关的确定度的阈值的信息。
(26)
根据(22)至(25)中任一项所述的信息处理设备,其中,所述输出控制单元使得输出向用户提示执行用于提高确定度的动作的信息。
(27)
根据(22)至(26)中任一项所述的信息处理设备,其中,所述输出控制单元根据所述确定度来控制信息的输出目的地。
(28)
根据(21)至(27)中任一项所述的信息处理设备,还包括:
存储控制单元,被配置成根据所述识别结果来更新存储在所述存储单元中的所述第二观测信息。
(29)
根据(28)所述的信息处理设备,其中,所述存储控制单元将与所述变化有关的所述第一观测信息添加至与所识别的用户相关联的所述第二观测信息,或者使用与所述变化有关的第一观测信息来替换与所识别的用户相关联的所述第二观测信息。
(30)
根据(28)或(29)所述的信息处理设备,其中,所述输出控制单元使得针对所识别的用户输出表示所述识别结果的历史的信息。
(31)
根据(30)所述的信息处理设备,其中,所述存储控制单元根据用户针对表示所述识别结果的历史的信息的操作来更新存储在所述存储单元中的所述第二观测信息。
(32)
根据(28)至(31)中任一项所述的信息处理设备,其中,所述存储控制单元基于所述用户的购买历史来更新所述第二观测信息。
(33)
根据(21)至(32)中任一项所述的信息处理设备,其中,所述第一观测信息和所述第二观测信息包括表示与用户的身体有关的特征的信息、表示与用户的动作有关的特征的信息、表示与用户的生活有关的特征的信息和表示与用户佩戴或携带的对象有关的特征的信息中的至少一个。
(34)
一种信息处理方法,包括:
获取表示针对用户的观测结果的第一观测信息;
使用处理器通过比较所获取的所述第一观测信息与存储在存储单元中的第二观测信息的至少一部分来识别所述用户和所述用户的变化;以及
根据识别结果来控制输出。
(35)
一种程序,所述程序使计算机用作:
获取单元,被配置成获取表示针对用户的观测结果的第一观测信息;
识别单元,被配置成通过比较所述获取单元所获取的所述第一观测信息与存储在存储单元中的第二观测信息的至少一部分来识别所述用户和所述用户的变化;以及
输出控制单元,被配置成根据所述识别单元所获得的识别结果来控制输出。
[参考标记列表]
1 信息处理系统
10 桌子
20 观测区域
30 显示区域
100 终端设备
110 观测单元
120 输出单元
200 观测设备
210 观测单元
300 服务器
310 获取单元
320 识别单元
330 存储控制单元
340 输出控制单元
400 数据库(DB)

Claims (19)

1.一种信息处理装置,包括:
电路,所述电路被配置成
从传感器获得与用户的至少一个特征有关的第一观测信息;
通过将所述第一观测信息与存储在计算机可读介质中的与所述用户的至少一个特征有关的第二观测信息的至少一部分进行比较,来识别所述用户以及关于所述用户的变化;以及
启动与所识别的用户或所述用户的变化相关联的执行功能,
其中,所述计算机可读介质中存储的所述第二观测信息包括第二观测信息的历史和最新第二观测信息,所述电路被配置为将所述第一观测信息与最新第二观测信息进行比较,并且在所述第一观测信息与所述最新第二观测信息不一致时,将所述第一观测信息与第二观测信息的历史进行比较来执行所述识别。
2.根据权利要求1所述的信息处理装置,其中,所述传感器包括多个至少一种类型的传感器。
3.根据权利要求1所述的信息处理装置,其中,当识别出所述用户的变化时,更新存储在所述计算机可读介质中的所述第二观测信息。
4.根据权利要求1所述的信息处理装置,其中,所述电路还被配置成基于所述识别的确定度来控制与所识别的用户相关联的执行功能的启动。
5.根据权利要求4所述的信息处理装置,其中,所述电路还被配置成:当所述确定度低于阈值时,启动与所识别的用户相关联的一般执行功能。
6.根据权利要求4所述的信息处理装置,其中,所述电路还被配置成:当所述确定度高于阈值时,启动与所识别的用户相关联的定制执行功能。
7.根据权利要求4所述的信息处理装置,其中,所述电路还被配置成基于一致性结果是通过使用面部识别、物理特征检测还是使用习惯检测而获得的来确定所述确定度。
8.根据权利要求7所述的信息处理装置,其中,通过结合多种类型的观测信息来提高所述确定度。
9.根据权利要求4所述的信息处理装置,其中,所述执行功能涉及显示或处理与所识别的用户的隐私有关的信息。
10.根据权利要求9所述的信息处理装置,其中,所述电路在所述确定度低于阈值时不启动所述执行功能。
11.根据权利要求9所述的信息处理装置,其中,所述电路在所述确定度高于阈值时启动所述执行功能。
12.根据权利要求1所述的信息处理装置,其中,所述电路还被配置成基于对所述用户的识别来启动识别结果的显示。
13.根据权利要求12所述的信息处理装置,其中,所述电路还被配置成启动用于使所述用户能够操纵所述识别结果的接口的显示。
14.根据权利要求1所述的信息处理装置,其中,所述传感器包括从包含图像传感器、深度传感器、压力传感器和麦克风的组中选择的至少一个。
15.根据权利要求1所述的信息处理装置,其中,经由从包括投影仪、显示器、触摸板、振动设备和扬声器的组中选择的至少一个来提供所述执行功能。
16.根据权利要求1所述的信息处理装置,其中,所述电路还被配置成启动在存储有所述第二观测信息的所述计算机可读介质中对所述第一观测信息的存储以替代所述最新第二观测信息。
17.根据权利要求1所述的信息处理装置,其中,所述第一观测信息被实时地获取。
18.一种信息处理方法,所述的信息处理方法经由具有电路的处理器执行,所述方法包括:
从传感器获得与用户的至少一个特征有关的第一观测信息;
通过将所述第一观测信息与存储在计算机可读介质中的与所述用户的至少一个特征有关的第二观测信息的至少一部分进行比较,来识别所述用户以及关于所述用户的变化;以及
启动与所识别的用户或所述用户的变化相关联的执行功能,
其中,所述计算机可读介质中存储的所述第二观测信息包括第二观测信息的历史和最新第二观测信息,在执行所述识别时,将所述第一观测信息与最新第二观测信息进行比较,并且在所述第一观测信息与所述最新第二观测信息不一致时,将所述第一观测信息与第二观测信息的历史进行比较。
19.一种非暂态计算机可读介质,所述非暂态计算机可读介质上包含有程序,所述程序当由计算机执行时使得所述计算机执行方法,所述方法包括:
从传感器获得与用户的至少一个特征有关的第一观测信息;
通过将所述第一观测信息与存储在计算机可读介质中的与所述用户的至少一个特征有关的第二观测信息的至少一部分进行比较,来识别所述用户以及关于所述用户的变化;以及
启动与所识别的用户或所述用户的变化相关联的执行功能,
其中,所述计算机可读介质中存储的所述第二观测信息包括第二观测信息的历史和最新第二观测信息,在执行所述识别时,将所述第一观测信息与最新第二观测信息进行比较,并且在所述第一观测信息与所述最新第二观测信息不一致时,将所述第一观测信息与第二观测信息的历史进行比较。
CN201680030482.2A 2015-06-03 2016-04-11 信息处理装置、信息处理方法和非暂态计算机可读介质 Active CN107683499B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-113048 2015-06-03
JP2015113048A JP6572629B2 (ja) 2015-06-03 2015-06-03 情報処理装置、情報処理方法及びプログラム
PCT/JP2016/001976 WO2016194282A1 (en) 2015-06-03 2016-04-11 Data processing device, method and program for recognising a user based on observations and executing a function dependent thereon

Publications (2)

Publication Number Publication Date
CN107683499A CN107683499A (zh) 2018-02-09
CN107683499B true CN107683499B (zh) 2021-07-20

Family

ID=55953343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680030482.2A Active CN107683499B (zh) 2015-06-03 2016-04-11 信息处理装置、信息处理方法和非暂态计算机可读介质

Country Status (5)

Country Link
US (1) US10607427B2 (zh)
EP (1) EP3304449A1 (zh)
JP (1) JP6572629B2 (zh)
CN (1) CN107683499B (zh)
WO (1) WO2016194282A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7056194B2 (ja) 2018-02-06 2022-04-19 日本電気株式会社 情報処理装置
CN111106865B (zh) * 2018-10-25 2021-12-14 华为技术有限公司 基于卫星网络的通信方法、装置及系统
JP7037618B2 (ja) 2020-11-18 2022-03-16 綜合警備保障株式会社 警備システム、管理装置及び警備方法
CN112634505A (zh) * 2020-12-30 2021-04-09 重庆赤木科技有限公司 一种特殊人群安全监控系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037157A (zh) * 2011-09-28 2013-04-10 卡西欧计算机株式会社 图像处理装置以及图像处理方法
JP2013097760A (ja) * 2011-11-07 2013-05-20 Toshiba Corp 認証システム、端末装置、認証プログラム、認証方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2276017A1 (en) 1998-06-25 1999-12-25 Mr. Payroll Corporation Pinless cash advances
JP4055539B2 (ja) 2002-10-04 2008-03-05 ソニー株式会社 双方向コミュニケーションシステム
EP1521161A3 (en) * 2003-09-25 2006-03-15 Matsushita Electric Industrial Co., Ltd. An apparatus and a method for preventing unauthorized use and a device with a function of preventing unauthorized use
JP4231762B2 (ja) * 2003-09-30 2009-03-04 株式会社リコー ワードローブ提供方法及びワードローブ提供プログラム
US7856558B2 (en) * 2004-10-21 2010-12-21 Honeywell International Inc. Biometric verification and duress detection system and method
US20090091798A1 (en) * 2007-10-05 2009-04-09 Lawther Joel S Apparel as event marker
JP2010015418A (ja) * 2008-07-04 2010-01-21 Panasonic Corp サービス制御システム、サービス制御方法、およびそのプログラム
EP2507759A2 (en) * 2009-12-01 2012-10-10 France Telecom Behavior and attention targeted notification system and method of operation thereof
US8475367B1 (en) * 2011-01-09 2013-07-02 Fitbit, Inc. Biometric monitoring device having a body weight sensor, and methods of operating same
JP5691745B2 (ja) * 2011-03-31 2015-04-01 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP2012256214A (ja) * 2011-06-09 2012-12-27 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US9083687B2 (en) * 2011-09-24 2015-07-14 Elwha Llc Multi-device behavioral fingerprinting
US8966613B2 (en) * 2011-09-30 2015-02-24 Microsoft Technology Licensing, Llc Multi-frame depth image information identification
US20130152002A1 (en) * 2011-12-11 2013-06-13 Memphis Technologies Inc. Data collection and analysis for adaptive user interfaces
US8806610B2 (en) * 2012-01-31 2014-08-12 Dell Products L.P. Multilevel passcode authentication
WO2013133791A1 (en) * 2012-03-05 2013-09-12 Intel Corporation User identification and personalized vehicle settings management system
JP5959093B2 (ja) * 2012-03-06 2016-08-02 学校法人東京電機大学 人物検索システム
JP2013200793A (ja) * 2012-03-26 2013-10-03 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013205969A (ja) * 2012-03-27 2013-10-07 Nikon Corp 電子機器
US9721086B2 (en) * 2013-03-15 2017-08-01 Advanced Elemental Technologies, Inc. Methods and systems for secure and reliable identity-based computing
WO2014182787A2 (en) * 2013-05-08 2014-11-13 Jpmorgan Chase Bank, N.A. Systems and methods for high fidelity multi-modal out-of-band biometric authentication
US9391986B2 (en) * 2013-05-31 2016-07-12 Verizon Patent And Licensing Inc. Method and apparatus for providing multi-sensor multi-factor identity verification
US9286482B1 (en) * 2013-06-10 2016-03-15 Amazon Technologies, Inc. Privacy control based on user recognition
CN104077563B (zh) * 2014-05-30 2018-02-02 小米科技有限责任公司 人脸识别方法和装置
US9674184B2 (en) * 2014-08-13 2017-06-06 Qualcomm Incorporated Systems and methods to generate authorization data based on biometric data and non-biometric data
US20160089033A1 (en) * 2014-09-29 2016-03-31 Microsoft Corporation Determining timing and context for cardiovascular measurements
CN104408404B (zh) * 2014-10-31 2018-04-27 小米科技有限责任公司 人脸识别方法及装置
US20170050201A1 (en) * 2015-08-17 2017-02-23 Sridhar Deivasigamani Smart shower head

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037157A (zh) * 2011-09-28 2013-04-10 卡西欧计算机株式会社 图像处理装置以及图像处理方法
JP2013097760A (ja) * 2011-11-07 2013-05-20 Toshiba Corp 認証システム、端末装置、認証プログラム、認証方法

Also Published As

Publication number Publication date
CN107683499A (zh) 2018-02-09
WO2016194282A1 (en) 2016-12-08
US20180040178A1 (en) 2018-02-08
JP6572629B2 (ja) 2019-09-11
US10607427B2 (en) 2020-03-31
JP2016225938A (ja) 2016-12-28
EP3304449A1 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
US11763580B2 (en) Information processing apparatus, information processing method, and program
US9973510B2 (en) Contextual device locking/unlocking
JP6490023B2 (ja) 生体情報通信装置、サーバ、生体情報通信方法及び生体情報通信プログラム
EP3278197B1 (en) Information processing system, information processing method and program
CN107683499B (zh) 信息处理装置、信息处理方法和非暂态计算机可读介质
WO2015094222A1 (en) User interface based on wearable device interaction
US20110176025A1 (en) Video information processing apparatus, video information processing method, and computer-readable storage medium
US20200301398A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant