CN104685857B - 信息处理装置、显示控制方法 - Google Patents

信息处理装置、显示控制方法 Download PDF

Info

Publication number
CN104685857B
CN104685857B CN201380049986.5A CN201380049986A CN104685857B CN 104685857 B CN104685857 B CN 104685857B CN 201380049986 A CN201380049986 A CN 201380049986A CN 104685857 B CN104685857 B CN 104685857B
Authority
CN
China
Prior art keywords
user
information
display
action
status
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380049986.5A
Other languages
English (en)
Other versions
CN104685857A (zh
Inventor
山本幸
山本一幸
野田卓郎
宫胁彻行
铃木谦治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104685857A publication Critical patent/CN104685857A/zh
Application granted granted Critical
Publication of CN104685857B publication Critical patent/CN104685857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H04M1/72472—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons wherein the items are sorted according to specific criteria, e.g. frequency of use
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Automatic Cycles, And Cycles In General (AREA)
  • Control Of El Displays (AREA)
  • Telephone Function (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种设备，包括：用户行动状态获得电路，其被配置成获得用户的行动状态；以及显示控制电路，其被配置成控制显示器以基于行动状态修改显示信息。

Description

信息处理装置、显示控制方法
技术领域
本公开内容涉及信息处理装置、显示控制方法和被编码在非暂态计算机可读介质上的程序。本公开内容包含与2012年10月1日提交于日本专利局的日本优先权专利申请JP2012-219450相关的主题，该专利申请的全部内容通过引用并入本文中。
背景技术
近来，由于信息装置便携性的极大改进，用户正在花费更多时间来观看由信息装置提供的信息。例如，用户在通勤上班或上学时从智能电话获取信息。导航装置向正在开车或骑自行车的用户提供信息。可穿戴装置例如头戴式显示器(HMD)即使在用户进行任意特定活动时也能够向用户提供信息。例如，以下专利文献1提出了根据外界条件在可穿戴装置的屏幕上显示不同的信息，以便向用户提供在情景上合适或感兴趣的信息。这里，外界条件可以包括诸如环境光水平、温度、湿度和气压、至拍摄对象的距离、拍摄对象是否是生物以及当前位置和日期/时间等因素。
[引用列表]
[专利文献]
PTL 1：JP 2008-83290A
发明内容
[技术问题]
日常提供给用户的信息的类型涵盖宽广范围。然而，如果向用户同时提供很多信息，则存在该用户将反而漏看非常必要的信息的风险。具体地，在试图在用户正在从事一些活动时提供信息的情况下，用户难以逐个检查种类繁多的信息。因此，期望以使得用户能够可靠地注意到与活动匹配的 信息的格式来提供信息。
[问题的解决方案]
本发明广泛地包括设备、方法和编码有用于执行该方法的程序的非暂态计算机可读介质。在一种实施方式中，该设备包括：用户行动状态获得电路，被配置成获得用户的行动状态；以及显示控制电路，被配置成控制显示器以根据行动状态来修改显示信息。
[发明的有益效果]
根据按照本公开内容的技术，能够降低当用户从事一些活动时用户漏看非常必要的信息的风险。
附图说明
图1是示出信息处理装置的外观的第一示例的说明图。
图2是示出信息处理装置的外观的第二示例的说明图。
图3是示出信息处理装置的外观的第三示例的说明图。
图4是示出根据实施方式的信息处理装置的硬件配置示例的框图。
图5是示出根据实施方式的图像处理装置的逻辑功能配置示例的框图。
图6A是示出行动识别过程的流程的第一示例的流程图。
图6B是示出行动识别过程的流程的第二示例的流程图。
图6C是示出行动识别过程的流程的第三示例的流程图。
图7是用于说明根据用户的行动状态来设置优先级的第一示例的说明图。
图8是用于说明根据用户的行动状态来设置优先级的第二示例的说明图。
图9A是用于说明用于调节优先级的第一技术的说明图。
图9B是用于说明用于调节优先级的第二技术的说明图。
图10是示出根据实施方式的显示控制过程的流程示例的流程图。
图11A是示出项目的显示的第一示例的说明图。
图11B是示出项目的显示的第二示例的说明图。
图11C是示出项目的显示的第三示例的说明图。
图11D是示出项目的显示的第四示例的说明图。
图11E是示出项目的显示的第五示例的说明图。
图12是用于说明将信息处理装置与外部装置链接的示例的说明图。
图13是示出在将信息处理装置与外部装置链接时项目显示的示例的说明图。
图14是用于说明基于对外部装置的识别的显示控制的说明图。
具体实施方式
在下文中，将参照附图来详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，用相同的附图标记来表示具有基本相同功能和结构的结构元件，并且省略对这些结构元件的重复说明。
将按照以下顺序进行描述。
1.概述
2.根据实施方式的装置的配置
2-1.硬件配置
2-2.功能配置
2-3.处理流程
3.显示示例
4.与外部装置的链接
5.结论
<1.概述>
根据本公开内容的技术可适用于各种形式的信息处理装置，例如包括诸如平板个人计算机(PC)、移动PC、智能电话、游戏控制台或便携式导航装置(PND)等便携式装置，以及诸如头戴式装置(HMD)等可穿戴装置。这些信息处理装置的屏幕可以被设置成使得在用户从事活动时连续地呈现在用户的视野中。
图1是示出可以应用根据本公开内容的技术的信息处理装置的外观的第一示例的说明图。在第一示例中，信息处理装置100a是戴在用户的头部的眼镜式可穿戴装置。信息处理装置100a配备有一对屏幕SCa和SCb、外壳HS、成像镜头LN以及触摸表面TS。屏幕SCa和SCb分别是设置在用户的左眼和右眼前面的透明或非透明屏幕。外壳HS包括支持屏幕SCa和SCb的框架，以及位于用户的头的侧面的所谓的镜腿。在镜腿内存储有用于信息处理的各种模块。成像镜头LN被设置成使得光轴与用户的视线大致平行，并且用于拍摄图像。触摸表面TS是检测用户的触摸的表面，并且用于信息处理装置100a接收用户输入。
图2是示出可以应用根据本公开内容的技术的信息处理装置的外观的第二示例的说明图。在第二示例中，信息处理装置100b是用户所携带的移动客户端。信息处理装置100b配备有触摸表面TS和屏幕SC以及按钮BT，其中触摸表面TS和屏幕SC一体构成为触摸面板显示器。在给定的使用情景中，屏幕SC保持在用户的前面，并且连续地呈现在用户的视野中。信息处理装置100b的成像镜头可以被设置在屏幕SC的背面。触摸表面TS与按钮BT用于信息处理装置100b接收用户输入。
图3是示出可以应用根据本公开内容的技术的信息处理装置的外观的第三示例的说明图。在第三示例中，信息处理装置100c是附接至用户乘坐的车辆VH的导航装置。信息处理装置100c可以是专用导航装置，或者通用装置例如具有导航功能的智能电话。信息处理装置100c配备有屏幕SC和按钮BT。在用户乘坐车辆VH时，屏幕SC连续地呈现在用户的视野中。按钮BT用于信息处理装置100c接收用户输入。
这些信息处理装置由活动的用户携带，并且向用户提供各种信息。即使在用户从事活动时也可以提供诸如广告信息、社交信息(如社交网络服务(SNS)帖子、博客帖子或电子邮件)、新闻信息和交通信息等各种信息。然而，如果向用户同时提供很多信息，则存在用户将反而漏看非常必要的信息的风险。具体地，在试图在用户从事一些活动时提供信息的情况下，用户而言难以逐个检查种类繁多的信息。因此，在下一节中详细描述的实施方式中，使用根据用户行动识别结果适应性地设置的优先级来控制信息的提供，使得用户将可靠地注意到被推断为对用户非常必要的信息。
<2.根据实施方式的装置的配置>
在以下描述中，当不彼此区分信息处理装置100a、100b和100c时，通过在附图标记中省略结尾的字母将这些装置统称为信息处理装置100。
<2-1.硬件配置>
图4是示出根据实施方式的信息处理装置100的硬件配置示例的框图。参照图4，信息处理装置100配备有成像单元102、传感器单元104、输入单元106、存储装置108、显示器110、通信单元112、总线116以及控制器118。
(1)成像单元
成像单元102是拍摄图像的摄像机模块。成像单元102包括如图1中的示例所示的镜头LN，CCD、CMOS或者其他图像传感器，以及成像电路。成像单元102生成描绘真实空间的拍摄图像。由成像单元102生成的一系列拍摄图像可以构成视频。
(2)传感器单元
传感器单元104可以包括诸如定位传感器、加速度传感器和陀螺仪传感器等各种传感器。定位传感器可以例如是接收全球定位系统(GPS)信号并且测量装置的纬度、经度和高度的GPS传感器。另外，定位传感器可以是基于从无线接入点接收的无线信号的强度来执行定位的传感器。加速度传感器测量给予信息处理装置100的3轴加速度。陀螺传感器测量信息处理装置100的倾斜角。传感器单元104将指示从这些传感器输出的测量结果的传感器数据输出至控制器118。
(3)输入单元
输入单元106是用于用户操作信息处理装置100或者向信息处理装置100输入信息的输入接口。例如，输入单元106经由图1中例示的触摸表面TS或者图2和图3中例示的按钮BT来接收用户输入。替代触摸传感器或按钮(或者除了触摸传感器或按钮之外)，输入单元106也可以包括其他类型的输入接口，例如开关、拨号盘、小键盘、键盘或语音输入接口。输入单元106可以另外包括检测用户的视线方向的视线检测接口。
(4)存储装置
存储装置108由诸如半导体存储器或硬盘等存储介质来实现，并且存储由信息处理装置100执行的处理中所使用的程序和数据。例如，由存储装置108存储的数据可以包括拍摄图像数据和传感器数据、以及随后将要描述的数据库中的数据、以及映射表。注意，除了被存储在存储装置108中之外，本说明书中描述的程序和数据还可以从外部数据源(例如数据服务器、网络存储装置，或者例如外部附接的存储器)获取。
(5)显示器
显示器110为显示模块，其包括：图1中例示的一对屏幕SCa和SCb、图2中例示的屏幕SC或图3中例示的屏幕SC，以及显示电路。显示器110显示由随后描述的显示控制器180生成的屏幕上输出图像。
(6)通信单元
通信单元112是在信息处理装置100与其他装置之间传达通信的通信接口。通信单元112支持任意无线通信协议或有线通信协议，并且建立与另外的装置的通信连接。
(7)总线
总线116将成像单元102、传感器单元104、输入单元106、存储装置108、显示器110、通信单元112和控制器118彼此连接。
(8)控制器
控制器118对应于诸如中央处理单元(CPU)或数字信号处理器(DSP)等处理器。控制器118使得随后描述的信息处理装置100的各种功能能够通过执行在存储装置108或另外的存储介质中存储的程序来工作。
<2-2.功能配置>
图5是示出通过图4中所示的信息处理装置100的存储装置108和控制器118实现的逻辑功能的示例配置的框图。参照图5，信息处理装置100配备有环境识别单元120、行为识别单元130、用户数据库(DB)140、信息获取单元150、优先级设置单元160、关注确定单元170以及显示控制器180。
(1)环境识别单元
环境识别单元120识别其中用户处于活动状态的实际空间的环境。例如，环境识别单元120可以识别当前日期和时间。环境识别单元120还可以使用所建立的对象识别技术例如模式匹配来识别从成像单元102输入的拍摄图像中呈现的对象。环境识别单元120也可以使用所建立的人脸图像识别技术来识别从成像单元102输入的拍摄图像中呈现的人。环境识别单元120将环境识别结果输出至行动识别单元130和信息获取单元150。
(2)行动识别单元
行动识别单元130识别用户的行动状态。通常，当显示项目被显示在 显示器110的屏幕上时，行动识别单元130执行对用户的行动状态的识别。作为示例，行动识别单元130可以识别与用户的移动速度有关的行动状态。例如，与移动速度有关的行动状态可以包括状态“坐着不动/站着不动”、“步行/跑步”以及“乘坐车辆”中的至少一种。行动识别单元130也可以识别与用户正在使用的交通工具有关的行动状态。例如，与交通工具有关的行动状态可以包括“乘坐火车”、“乘坐汽车”和“骑自行车”中的至少一种。例如，日本未审查专利申请公开第2006-345269号描述了基于来自加速度传感器和陀螺仪传感器的传感器数据来识别上述行动状态的技术。行动识别单元130可以使用这种基于传感器的技术或者另外的已建立的技术来识别用户的行动状态。此外，作为更简单的技术，行动识别单元130也可以提示用户经由用户界面来明确选择当前操作状态。
行动识别单元130对行动状态的识别不限于上述示例。例如，行动识别单元130也可以通过另外使用从定位传感器输入的定位数据来识别更详细的行动状态。例如，通过基于定位数据来确定用户是否是在特定位置例如办公室或家，上述行动状态“坐着不动/站着不动”可以进一步分成“工作”和“休息”这两种行动状态。此外，可以通过基于定位数据来确定用户是在火车站或者在火车线路上来识别出上述行动状态“乘坐火车”。
行动识别单元130也可以识别与伴随用户的活动的人(下文中所指定的同伴)有关的行动状态。例如，行动识别单元130可以根据环境识别单元120进行的人识别的结果来确定同伴。另外，行动识别单元130也可以通过经由通信单元112查询管理多个用户的当前位置的位置数据服务器来确定同伴。行动识别单元130也可以通过将请求诸如用户ID或装置ID等标识信息的请求信号发送至附近装置、接收对请求信号的响应信号、以及将所接收的标识信息与事先登记的现有标识信息进行交叉参照来确定同伴。通过确定同伴是用户的朋友、家人还是同事，上述行动状态“坐着不动/站着不动”可以进一步分成“工作”和“休息”这两种行动状态。
在下文中，将使用流程图来描述可以由行动识别单元130执行的行动识别过程的三个示例。
图6A是示出行动识别过程的流程的第一示例的流程图。参照图6A，首先，行动识别单元130获取由传感器单元104生成的传感器数据(步骤S30)。此时获取的传感器数据可以包括指示当前用户位置的定位数据，以及指示施加于信息处理装置100的加速度的加速度数据。也可以根据用户位置的随时间的改变或加速度的积分来计算用户的当前速度。
接下来，行动识别单元130确定用户是否已经停止了特定时段(例如从几秒钟到几分钟)(步骤S31)。这里，“停止”不仅指用户的速度完全为零的情况，而是也包括用户的速度下降到预定第一阈值以下的情况。在用户已停止了特定时段的情况下，行动识别单元130确定用户的行动状态为“坐着不动/站着不动”状态ST1(步骤S37)。
在步骤S31中确定用户没有停止的情况下，行动识别单元130还确定是否以超过预定第二阈值(其大于上述第一阈值，并且例如可以为30千米/小时)的速度移动了特定时段(步骤S35)。在用户以超过第二阈值的速度移动了特定时段的情况下，行动识别单元130确定用户的行动状态为“乘坐车辆”状态ST2(步骤S38)。否则，行动识别单元130确定用户的行动状态为“步行/跑步”状态ST3(步骤S39)。
图6B是示出行动识别过程的流程的第二示例的流程图。参照图6B，首先，行动识别单元130获取由传感器单元104生成的传感器数据(步骤S30)。此时获取的传感器数据可以包括定位数据和加速度数据，并且还可以计算出用户的当前速度。
接下来，行动识别单元130确定用户是否已停止了特定时段(步骤S31)。在用户已停止了特定时段的情况下，行动识别单元130另外确定用户所在的地方是否为办公室(步骤S32)。注意，用户工作的办公室(或一些其他工作场所)的位置数据被预先登记在用户数据库140中。然后，在用户所在的地方是办公室的情况下，行动识别单元130确定用户的行动状态是“工作”状态ST1a(步骤S37a)。另外，在用户所在的地方不是办公室的情况下，行动识别单元130确定用户的行动状态是“休息”状态ST1b(步骤S37b)。
在步骤S31中确定用户没有停止的情况下，行动识别单元130另外确定是否以超过预定第二阈值的速度移动了特定时段(步骤S35)。在用户以超过第二阈值的速度移动了特定时段的情况下，行动识别单元130另外确定用户所在的地方是否为火车站或者在火车线路上(步骤S36)。然后，在用户所在的地方是火车站或者在火车线路上的情况下，行动识别单元130确定用户的行动状态是“乘坐火车”状态ST2a(步骤S38a)。另外，在用户所在的地方既不是火车站也不在火车线路上的情况下，行动识别单元130确定用户的行动状态是“乘坐汽车”状态ST2b(步骤S38b)。此外，在用户未以超过第二阈值的速度移动了特定时段的情况下，行动识别单元130确定用户的行动状态是“步行/跑步”状态ST3(步骤S39)。
图6C是示出行动识别过程的流程的第三例的流程图。参照图6C，首先，行动识别单元130获取由传感器单元104生成的传感器数据(步骤S30)。此时获取的传感器数据可以包括定位数据和加速度数据，并且还可以计算出用户的当前速度。
接下来，行动识别单元130确定用户是否已停止了特定时段(步骤S31)。在用户已停止了特定时段的情况下，行动识别单元130通过向位置数据服务器发送查询或者通过向附近装置发送请求标识信息的请求信号来获取标识信息(步骤S33)。接下来，行动识别单元130通过将来自附近装置的标识信息与预先在用户DB 140中登记的现有标识信息进行交叉参照来确定用户是否与同事在一起(步骤S34)。在用户与同事在一起的情况下，行动识别单元130确定用户的行动状态是“工作”状态ST1a(步骤S37a)。另外，在用户没有与同事在一起(或者与朋友或家属在一起)的情况下，行动识别单元130确定用户的行动状态是“休息”状态ST1b(步骤S37b)。
在步骤S31中确定用户没有停止的情况下，行动识别单元130另外确定是否以超过预定第二阈值的速度移动了特定时段(步骤S35)。在用户以超过第二阈值的速度移动了特定时段的情况下，行动识别单元130确定用户的行动状态是“乘坐车辆”状态ST2(步骤S38)。否则，行动识别单元130确定用户的行动状态是“步行/跑步”状态ST3(步骤S39)。
行动识别单元130将以此方式识别的关于用户的行动状态的标识符输出至信息获取单元150、优先级设置单元160和显示控制器180。
(3)用户DB
用户DB 140是存储与信息处理装置100的用户有关的数据库。用户DB 140也可以例如存储用户的办公室和家的位置数据，以及用户的同事、家人和朋友所拥有的装置的标识信息，以帮助识别用户的行动状态。当信息获取单元150如稍后讨论地获取信息时，用户DB 140也可以存储关于所利用的数据服务器的登录信息。用户DB 140也可以存储表示用户偏好的偏好信息。例如，可以从用户的内容观看/播放历史或电子邮件历史自动采集偏好信息，或者经由用户界面由用户自己登记偏好信息。
(4)信息获取单元
信息获取单元150获取信息以提供给用户。例如，信息获取单元150经由通信单元112访问数据服务器，并且从数据服务器获取信息。由信息 获取单元150获取的信息可以包括不同类别的信息，例如广告信息、社交信息、新闻信息以及交通信息。信息获取单元150也可以按照固定周期定期地从数据服务器获取最新信息，或者响应于触发例如对信息提供应用程序的激活，从数据服务器获取信息。信息获取单元150也可以使用从传感器单元104输入的定位数据来获取特定于位置的信息。信息获取单元150也可以获取与环境识别单元120所识别的拍摄图像中出现的物体或人相关联的附加信息。附加信息可以包括诸如物体或人的名称和属性、相关消息或相关广告等信息。信息获取单元150将所所取的信息输出至显示控制器180。
(5)优先级设置单元
优先级设置单元160根据由行动识别单元130识别的行动状态来确定多个显示项目的优先级。在本说明书中，显示项目指的是经由屏幕提供给用户的各条信息。每个显示项目是根据信息的类型进行分类的。优先级设置单元160可以例如将属于与行动识别单元130所识别的行动状态相关联的类别的显示项目的优先级设置成高于属于另一类别的显示项目的优先级。作为示例，新闻信息可以与“工作”状态ST1a相关联，社交信息可以与“休息”状态ST1b相关联，交通信息与“乘坐车辆”状态ST2相关联。例如，可以使用图7中例示的映射表165来预定义这种关联模式。也可以经由用户界面由用户来编辑关联模式。优先级设置单元160也可以取决于显示显示项目的装置的类型来使用不同的关联模式。
图7是用于说明根据用户的行动状态来设置优先级的第一示例的说明图。图7示出了第一示例中的映射表165的内容。映射表的每一行表示特定类别的信息项目。映射表的每一列表示特定的行动状态。注意，这里将三种类型的行动状态假定为潜在可识别的：“坐着不动/站着不动”状态ST1、“乘坐车辆”状态ST2和“步行/跑步”状态ST3，这与图6A中的示例类似。在图7的示例中，优先级值是从1到5范围内的数值。值越小，表示优先级越高。在用户的行动状态是状态ST1的情况下，广告信息的优先级被设置为“3”，社交信息和新闻信息的优先级被设置为“1”，交通信息的优先级被设置为“5”。在用户的行动状态是状态ST2的情况下，广告信息的优先级被设置为“5”，社交信息和新闻信息的优先级被设置为“3”，交通信息的优先级被设置为“1”。在用户的行动状态是状态ST3的情况下，广告信息的优先级被设置为“3”，社交信息和新闻信息的优先级被设置为“5”，交通信息的优先级被设置为“1”。
图8是用于说明根据用户的行动状态来设置优先级的第二例的说明图。图8示出了第二示例中的映射表165的内容。映射表的每一行表示特定子类别的信息项目。映射表的每一列表示特定的行动状态。注意，这里将五种类型的行动状态假定为潜在可识别的：“工作”状态ST1a、“休息”状态ST1b、“乘坐火车”状态ST2a，“乘坐汽车”状态ST2b和“步行/跑步”状态ST3，与图6B中的示例类似。在图8的示例中，优先级值同样是从1到5范围内的数值。值越小，表示优先级越高。在用户的行动状态是状态ST1a的情况下，广告信息中的音乐广告的优先级被设置为“3”，社交信息中的简短帖子的优先级被设置为“5”，新闻信息中的经济新闻的优先级被设置为“1”，交通信息中的火车时刻表信息的优先级被设置为“3”，交通信息中的导航信息的优先级被设置为“5”。在用户的行动状态是状态ST1b的情况下，广告信息中的音乐广告的优先级被设置为“3”，社交信息的简短帖子的优先级被设置为“1”，新闻信息中的经济新闻的优先级被设置为“3”，交通信息中的火车时刻表信息的优先级被设置为“3”，交通信息中的导航信息的优先级被设置为“5”。在用户的行动状态是状态ST2a的情况下，广告信息中的音乐广告的优先级被设置为“3”，社交信息中的简短帖子的优先级被设置为“3”，新闻信息中的经济新闻的优先级被设置为“3”，交通信息中的火车时刻表信息的优先级被设置为“1”，交通信息中的导航信息的优先级被设置为“5”。在用户的行动状态是状态ST2b的情况下，广告信息中的音乐广告的优先级被设置为“5”，社交信息中的简短帖子的优先级被设置为“5”，新闻信息中的经济新闻的优先级被设置为“3”，交通信息中的火车时刻表信息的优先级被设置为“5”，交通信息中的导航信息的优先级被设置为“1”。在用户的行动状态是状态ST3的情况下，广告信息中的音乐广告的优先级被设置为“5”，社交信息中的简短帖子的优先级被设置为“3”，新闻信息中的经济新闻的优先级被设置为“3”，交通信息中的火车时刻表信息的优先级被设置为“3”，交通信息中的导航信息的优先级被设置为“3”。
优先级设置单元160也可以取决于对每个显示项目的关注度来调节根据用户的行动状态设置的优先级。可以由后面描述的关注确定单元170根据诸如用户的偏好、用户的当前位置、或者显示项目实际上被观看的次数等参数来确定对每个显示项目的关注度。
图9A是用于说明用于调节优先级的第一技术的说明图。图9A示出了属于被称为“社交信息”的类别的项目ID分别为“IT11”、“IT12”和“IT13”的三个显示项目，以及属于被称为“新闻信息”的类别的项目 ID分别为“IT21”和“IT22”的两个显示项目。例如，根据如上所述的映射表165，显示项目IT11、IT12和IT13的基本优先级被设置为“3”。显示项目IT21和IT22的基本优先级也被设置为“3”。
利用第一技术，优先级设置单元160根据基于用户的偏好确定的关注度来调节这些基本优先级(调节前的优先级)。例如，可以以关键字列表格式表示用户的偏好，其中关键字是从用户观看或播放的帖子内容的历史记录或者从电子邮件历史提取的。例如，在日本未审查专利申请公开第2003-178075号描述了从用户的电子邮件历史提取关键字列表的技术。在图9A的示例中，关键字列表格式中的偏好信息142包括两个关键词：“汽车”和“摄像机”。此外，这些关键字中的至少一个关键字分别被包括在显示项目IT11和IT21的信息内容中。因此，优先级设置单元160通过向基本优先级“3”施加偏移量“-1”将针对显示项目IT11和IT21设置的优先级值调节为“2”。替代表示用户的偏好的关键词(或除了表示用户的偏好的关键词之外)，还可以使用对应于用户的当前位置的局部区域名称、设施名称、或者商店名称，以便调节优先级。
图9B是用于说明用于调节优先级的第二技术的说明图。图9B再次示出了属于被称为“社交信息”的类别的三个显示项目IT11、IT12和IT13，以及属于被称为“新闻信息”的类别的两个显示项目IT21和IT22。利用第二技术，优先级设置单元160根据基于用户的视线方向确定的关注度来调节这些显示项目的优先级。例如，用户的视线指向每个显示项目的次数越多，对该显示项目的关注度越大。在图9B的示例中，在当用户的视线指向显示项目IT12的时间T1处，由于向显示项目IT12的基本优先级“3”施加偏移量“－0.5”，所以显示项目IT12的优先级值变为“2.5”。此外，在当用户的视线指向显示项目IT12的时间T2处，由于进一步向显示项目IT12的优先级施加偏移量“－0.5”，所以显示项目IT12的优先级值变更为“2”。
(6)关注确定单元
关注确定单元170确定对每个显示项目的关注度。例如，关注确定单元170可以确定对具有这样的信息内容的显示项目的关注度为高：该信息内容与可以从用户DB 140获取的偏好信息高度相关。关注确定单元170也可以确定具有如下信息内容的显示项目的关注度为高：该信息内容与从传感器单元104输入的定位数据指示的当前位置高度相关。此外，通过检测用户的视线方向，关注确定单元170也可以确定对用户已实际观看多次 的显示项目的较高关注度。代替用户观看显示项目的次数，也可以使用用户的视线指向显示项目的时间的长度来确定关注度。关注确定单元170将以此方式确定的对每个显示项目的关注度输出至优先级设置单元160。
(7)显示控制器
显示控制器180根据由优先级设置单元160设置的优先级来控制对用于向用户提供从信息获取单元150输入的信息的显示项目的显示。例如，显示控制器180可以使显示器110将设置有相对较高的优先级的显示项目突出显示在屏幕上。更具体地，显示控制器180可以将设置有较高优先级的显示项目设置成较接近屏幕的中心。显示控制器180也可以针对设置有较高优先级的显示项目设置较大的屏幕显示尺寸。显示控制器180也可以针对设置有较高优先级的显示项目设置较高亮度、较低透明度、较高对比度或较高清晰度。显示控制器180也可以将设置有超过阈值的优先级的显示项目的颜色设置成特定颜色。此外，在显示器110支持三维(3D)显示的情况下，显示控制器180也可以针对设置有较高优先级的显示项目设置较浅的深度。显示控制器180也可以仅在屏幕上显示设置有相对较高的优先级的显示项目。
显示控制器180也可以根据由行动识别单元130识别的行动状态来确定用户所要感知的真实空间中的物体或人，并且控制显示项目的显示，使得显示项目不会使所确定的物体或人模糊。例如，当用户正在驾驶汽车或骑自行车时，要被用户视觉感知的物体或人可以包括交通标志和行人。此外，当用户在工作时，要被用户感知的物体可以包括信息装置的屏幕。例如，显示控制器180可以控制显示项目的在屏幕上的位置、大小、形状、亮度或透明度中的至少一个，使得显示项目不会使所要感知的物体或人模糊。
注意，在显示器110的屏幕包括根据可变透射率来透射外部光的滤光器的情况下，显示控制器180能够通过改变滤光器的透射率来使得用户清楚地感知显示项目。然而，如果信息处理装置100的电池电平达到零，则滤光器的透射率可能会变得不可改变。因此，显示控制器180可以将过滤器透射率设置成最大值，并且可以在信息处理装置100的电池电平低于特定阈值时保持最大透射率。因此，可以预先避免由于在屏幕处于黑暗状态下透射率不可改变而使得用户的行动被妨碍的情况。
在显示器110的屏幕是非透明屏幕的情况下，显示控制器180通过将分别具有确定的显示属性的显示项目的图像叠加到拍摄图像来生成输出 图像，并且将所生成的输出图像输出至显示器110。另外，在显示器110的屏幕是透明屏的情况下，显示控制器180将分别具有确定的显示属性的显示项目的各个图像输出至显示器110。后面将另外描述由显示控制器180控制项目显示的若干示例。
<2-3.处理流程>
图10是示出可以由根据实施方式的信息处理装置100执行的显示控制过程的流程的示例的流程图。图10中所示的过程可以按照固定周期进行周期性重复。
参照图10，首先，经由成像单元102、传感器单元104和通信单元112来采集输入数据例如拍摄图像数据、传感器数据和日期/时间数据(步骤S110)。环境识别单元120使用所采集的输入数据来识别其中用户处于活动状态的真实空间的环境(步骤S120)。
接下来，信息获取单元150获取各种类别的信息，以提供给用户(步骤S130)。信息获取单元150也可以获取特定于位置的信息，或者获取与出现在拍摄图像中的物体或人相关联的附加信息。
此外，行动识别单元130执行行动识别过程(步骤S140)。此时执行的行动识别过程可以是使用图6A至图6C描述的过程中的任意过程，或者是类似于在日本未审查专利申请公开第2006-345269号中描述的过程。
接下来，根据由行动识别单元130识别的行动状态，优先级设置单元160针对分别表示由信息获取单元150获取的信息的显示项目来设置优先级(步骤S150)。优先级设置单元160还根据由关注确定单元170确定的对每个显示项目的关注度来调节显示项目的优先级(步骤S160)。
接下来，显示控制器180根据由优先级设置单元160设置的优先级来确定显示项目的显示属性(步骤S170)。这里，显示属性可以例如是诸如显示项目的位置、尺寸、形状、亮度、透明度、颜色和深度等因素。此外，显示控制器180使得每个显示项目以所确定的显示属性显示在屏幕上(步骤S180)。
<3.显示示例>
图11A至图11E示出了由信息处理装置100执行的项目显示的五个示例。在这些示例中，信息处理装置100是在图1中例示的可穿戴装置。
(1)第一示例
在图11A的第一示例中，用户的行动状态是“休息”状态ST1b。在信息处理装置100的屏幕上正在显示四个显示项目IT01、IT11、IT23和IT31。显示IT01的类别为广告信息。显示IT11的类别是社交信息。显示IT23的类别是新闻信息。显示IT31的类别是交通信息。在第一示例中，与“休息”状态ST1b相关联的属于社交信息的显示项目IT11以最大尺寸显示在屏幕的中心。因此，在家里休息的用户能够容易地注意到由显示项目IT11表示的朋友的短帖子。另外，属于交通信息的显示项目IT31以较小尺寸显示在屏幕的边缘处。因此，用户不会被在当前行动状态下不是很重要的交通信息的存在分散注意力。
(2)第二示例
在图11B的第二示例中，用户的行动状态是“乘坐火车”状态ST2a。在信息处理装置100的屏幕上正在显示四个显示项目IT01、IT11、IT23和IT31。在第二示例中，与“乘坐火车”状态ST2a相关联的属于火车时刻表信息的显示项目IT31以最浅的深度(或者换句话说，在最前面)显示在屏幕的中心。因此，乘坐火车的用户能够通过观看显示项目IT31可靠地确定某铁路线路已停止。另外，属于音乐广告信息的显示项目IT01以最深深度并以小尺寸显示。因此，用户不会被不是很重要的音乐广告信息的存在分散注意力。
(3)第三示例
在图11C的第三示例中，用户的行动状态是“休息”状态ST1b。在图11C的上部示出的屏幕上，显示项目IT01以小尺寸显示在屏幕的边缘处。图11C中示出的星形代表由输入单元106检测到的用户的视线的位置。用户的视线指向显示项目IT01。在这种情况下，关注确定单元170增大用户的视线下的显示项目IT01的关注度。接下来，优先级设置单元160将显示项目IT01的优先级改变为较大值。作为结果，在图11C的左下部分示出的屏幕上，显示项目IT01的位置靠近屏幕的中心。此外，由于用户持续注视显示项目IT01，在图11C的右下部分示出的屏幕上，显示项目IT01的位置进一步靠近屏幕的中心，并且显示项目IT01的尺寸被放大。通过以此方式调节优先级，用户能够在不执行特殊操作的情况下更清楚地观看引起他或她的兴趣的信息。
(4)第四示例
在图11D的第四示例中，用户的行动状态是“乘坐汽车”状态ST2b。 在信息处理装置100的屏幕上正在显示四个显示项目IT01、IT11、IT23和IT31。此外，在用户的视野中呈现的真实空间中存在交通标志TS。环境识别单元120在拍摄图像中识别这样的交通标志TS。显示控制器180对显示项目IT01、IT11、IT23和IT31进行设置使得这些显示项目不会使所识别的交通标志TS模糊。通过以此方式显示项目，可以避免由于在屏幕上提供信息而干扰用户的适当行动(例如安全地驾驶汽车)的情况。
(5)第五示例
在图11E的第五示例中，用户的行动状态是“步行/跑步”状态ST3。在信息处理装置100的屏幕上正在显示三个显示项目IT01、IT23和IT31。在这些显示项目中，包含表示用户的偏好的与关键字“汽车”相关的信息内容的显示项目IT31以与其他显示项目相比较大的尺寸显示。
此外，人PE1与PE2在用户的视野中所呈现的真实空间中步行。显示项目IT01被设置在屏幕上，以便追踪用户的视野中的这些人PE1和PE2的移动。人的位置可以由环境识别单元120使用拍摄图像来识别，或者可以通过向外部数据服务器发送查询来识别。例如，这些人PE1和PE2是参与提供预先在广告信息服务器中登记的广告信息的人。作为用户观看显示项目IT01的结果，还可以由广告信息服务业务向人PE1和PE2支付奖励。这样的系统使得能够实现一种吸引用户的兴趣的新型广告信息服务。注意，在低精度位置识别的情况下，显示项目IT01同样不会显示在与人重叠的位置。
<4.与外部装置连接>
以上讨论的信息处理装置100功能也可以由多个装置的连接来实现。图12示出了在图1中例示的信息处理装置100a，以及外部装置ED。外部装置ED是移动客户端，例如智能电话或移动个人计算机。信息处理装置100a使用诸如无线局域网络(LAN)、蓝牙(注册商标)或Zigbee等任意无线通信协议以无线方式与外部装置ED通信。此外，可以在外部装置ED中执行图5中示出的信息处理装置100a的各种逻辑功能中的一个或更多个逻辑功能。
图13是示出当将信息处理装置与外部装置连接时项目显示的示例的说明图。参照图13，显示项目IT41显示在信息处理装置100a的屏幕上。显示项目IT41是表示与出现在拍摄图像中的人PE3相关联的附加信息(例如人PE3的姓名和属性)的项目。人PE3由环境识别单元120来识 别。可以由信息获取单元150从数据服务器或外部装置ED内的数据库获取附加信息。通常，人识别是需要相对较高的处理器性能的过程，并且可以包括诸如交叉参照面部图像等过程。附加信息的数据库可能会占用相对较大比例的内存资源。因此，通过在外部装置ED上实施人识别过程或附加信息的数据库并且将信息处理装置100a与外部装置ED连接，变得能够将信息处理装置100a实现为低成本、轻量且小型的装置。此外，用户能够在头戴式显示器上而不是在外部装置ED的屏幕上观看显示项目IT41。因此，在用户正面对一个人的情况下，用户能够确定与这个人有关的信息，而不会由于用户将对他或她的视线转移到外部装置ED的屏幕上而使那个人不舒服。注意，也可以在外部装置ED上实施不同于人识别的处理(例如目标识别、文字识别、行动识别和优先级设置)。
图14是用于说明基于对外部装置的识别的显示控制的说明图。在图14的示例中，显示项目IT41同样显示在信息处理装置100a的屏幕上。显示项目IT41是表示与人PE3相关联的附加信息的项目。此外，外部装置ED存在于出现在用户的视野中的真实空间中。环境识别单元120在拍摄图像中识别这样的外部装置ED。显示控制器180对显示项目IT41进行布置使得显示项目IT41不会使所识别的外部装置ED模糊。在图14中，与图13相比，显示项目IT41向上移动了。因此，在用户试图观看外部装置ED上的屏幕的情况下，可以避免该行动被项目的显示妨碍的情况。
<5.结论>
因此，以上使用图1至图14详细描述了根据本公开内容的技术的实施方式。根据前述实施方式，在显示项目被显示在屏幕上时根据用户的行动状态设置多个显示项目的优先级，并且根据所设置的优先级来控制显示项目的显示。因此，用户能够可靠地注意到与用户自己的行为匹配的信息，而无需单独检查屏幕上所显示的种类繁多的信息。
根据一种实施方式，用户的行动状态可以包括与用户的移动速度有关的状态。因此，可以根据诸如用户正在乘坐车辆的状态、步行的状态、跑步的状态、站着不动的状态和坐着的状态等各种用户行动状态以合适格式向用户提供信息。
此外，根据一种实施方式，用户的行动状态包括与用户正在使用的交通工具有关的状态。因此，在提供信息可能影响安全的状况下，例如在用户正在驾驶汽车或骑自行车的状态下，可以以较安全的格式向用户提供有关信息。
此外，根据一种实施方式，用户的行动状态包括与伴随用户的活动的人有关的状态。因此，可以确定在某一时刻哪种信息例如正式信息和私人信息对于用户而言是期望的之后，向用户优先提供较期望的信息。
此外，根据一种实施方式，可以基于诸如用户的偏好、用户的当前位置或用户的视线方向等参数来调节显示项目的优先级。因此，即使在属于例如共享类别的信息中，也可以向用户优先提供用户期望的信息。
此外，根据一种实施方式，在所设置的屏幕上对显示项目进行显示，以便当用户进行活动时连续地呈现在用户的视野中。在这种情况下，在屏幕上显示种类繁多的信息可能分散用户的注意力并且妨碍用户的活动，同时还增加用户漏看非常必要的信息的风险。然而，根据按照本公开内容的技术，与用户的活动匹配的信息相对突出或单独显示，从而在不会在很大程度上妨碍用户的活动的情况下有效地降低了用户漏看非常必要的信息的风险。
注意，由在本说明书中描述的每个装置执行的一系列过程可以以任何软件、硬件以及软件和硬件的组合来实现。例如，构成软件的程序预先存储在以内部或外部方式向每个装置提供的非暂态介质中。例如，每个程序随后在运行时被加载到随机存取存储器(RAM)中，并且通过诸如CPU等处理器来执行。
本领域的技术人员应当理解，取决于设计要求和其他因素，可以发生各种修改、组合、子组合以及变化，只要这些修改、组合、子组合以及变化落在所附权利要求及其等效方案的范围内即可。
此外，本技术还可以被配置如下。
(1)一种设备，包括：
用户行动状态获得电路，被配置成获得用户的行动状态；以及
显示控制电路，被配置成控制显示器以基于所述行动状态修改显示信息。
(2)根据(1)所述的设备，其中，所述显示控制电路基于所述行动状态修改所述显示信息的属性。
(3)根据(2)所述的设备，其中，所述显示电路基于所述行动状态修改所述显示信息的字体大小和位置中的至少之一。
(4)根据(1)至(3)所述的设备，还包括：
优先级设置电路，被配置成基于所述行动状态设置至少一个信息类别的优先级。
(5)根据(4)所述的设备，其中，所述优先级设置电路基于所述行动状态设置多个信息类别的优先级。
(6)根据(5)所述的设备，其中，所述优先级设置电路设置包括广告信息、社交信息、信息和交通信息的多个信息类别的优先级。
(7)根据(1)至(6)所述的设备，其中，所述用户行动状态获得电路将所述用户的所述行动状态获得为工作、休息、乘坐火车、乘坐汽车、骑自行车、步行和跑步之一。
(8)根据(7)所述的设备，其中，所述用户行动状态获得电路基于位置数据确定所述用户的所述行动状态。
(9)根据(7)所述的设备，其中，所述用户行动状态获得电路基于来自加速度传感器和陀螺仪传感器的数据确定所述用户的所述行动状态。
(10)根据(4)所述的设备，其中，所述优先级设置电路在所述行动状态改变时改变至少一个信息类别的优先级。
(11)根据(4)所述的设备，还包括：
关注确定电路，被配置成确定所述用户对信息的关注度，
其中，所述优先级设置电路被配置成基于所述关注度设置所述信息的优先级。
(12)根据(4)所述的设备，其中，所述优先级设置电路被配置成基于所述至少一个信息类别中的信息被所述用户观看的次数来设置所述至少一个信息类别的优先级。
(13)根据(4)所述的设备，其中，所述优先级设置电路被配置成基于所述用户的位置来设置所述至少一个信息类别的优先级。
(14)根据(1)至(13)所述的设备，其中，所述显示控制电路被配置成控制所述显示器以显示从外部源接收到的其他信息。
(15)根据(14)所述的设备，其中，所述显示控制电路被配置成控制所述显示器以显示包括广告信息的所述其他信息。
(16)根据(1)至(15)所述的设备，还包括：
眼镜框架，其上安装有所述显示控制电路和所述用户行动状态获得电 路；
显示器，其安装在所述眼镜框架中并且被配置成显示由所述显示控制电路生成的图像；
成像装置，其安装在所述眼镜框架上并且被配置成生成图像；以及
对象识别电路，被配置成识别由所述成像装置生成的图像中的对象。
(17)根据(16)所述的设备，其中，所述显示控制电路修改所述信息的显示，使得所述信息不与所述图像中的所述对象交叠。
(18)根据(16)所述的设备，其中，所述显示控制电路修改所述信息的显示，使得所述信息与所述图像中的所述对象之一相关联。
(19)一种方法，包括：
获得用户的行动状态；以及
使用处理器来控制显示器以基于所述行动状态修改显示信息。
(20)一种编码有计算机可读指令的非暂态计算机可读介质，所述计算机可读指令在由处理器执行时使所述处理器执行根据(19)所述的方法。
此外，本技术还可以被配置如下。
(1)一种信息处理装置，包括：
识别单元，其元在显示项目被显示在屏幕上时识别用户的行动状态；
设置单元，其根据由所述识别单元识别的所述行动状态来设置多个显示项目的优先级；以及
显示控制器，其根据由所述设置单元设置的所述优先级来控制所述显示项目的显示。
(2)根据(1)所述的信息处理装置，其中，
所述行动状态包括与所述用户的移动速度有关的状态。
(3)根据(1)或(2)所述的信息处理装置，其中，
所述行动状态包括与所述用户正在利用的交通工具有关的状态。
(4)根据(1)至(3)中任一项所述的信息处理装置，其中，
所述行动状态包括与伴随所述用户的活动的人有关的状态。
(5)根据(1)至(4)中任一项所述的信息处理装置，还包括：
确定单元，其确定对每个显示项目的关注度，
其中，所述设置单元根据由所述确定单元确定的所述关注度来调节所述多个显示项目的所述优先级。
(6)根据(5)所述的信息处理装置，其中，
所述确定单元基于所述用户的偏好来确定对每个显示项目的所述关注度。
(7)根据(5)所述的信息处理装置，其中，
所述确定单元基于所述用户的当前位置来确定对每个显示项目的所述关注度。
(8)根据(5)所述的信息处理装置，其中，
所述确定单元通过检测所述用户的视线方向来确定对每个显示项目的所述关注度。
(9)根据(1)至(8)中任一项所述的信息处理装置，
其中，所述多个显示项目中的每个显示项目被根据信息类型分类，并且
其中，所述设置单元将属于与所述识别单元识别的所述行动状态相关联的类别的显示项目的优先级设置成高于属于另一类别的显示项目的优先级。
(10)根据(1)至(9)中任一项所述的信息处理装置，其中，
所述显示控制器突出显示设置有相对较高的优先级的所述显示项目。
(11)根据(1)至(9)中任一项所述的信息处理装置，其中，
所述显示控制器在屏幕上仅显示设置有相对较高的优先级的所述显示项目。
(12)根据(1)至(11)中任一项所述的信息处理装置，还包括：
显示器，其包括屏幕，所述屏幕被设置成当所述用户从事活动时连续地进入所述用户的视场。
(13)根据(12)所述的信息处理装置，其中，
所述显示器是由所述用户佩戴的装置。
(14)根据(1)至(13)中任一项所述的信息处理装置，还包括：
成像单元，其拍摄真实空间，
其中，所述显示控制器根据由所述识别单元识别的所述行动状态来确定要由所述用户视觉感知的所述真实空间中的物体或人，并且所述显示控制器以显示项目不使所确定的物体或人模糊的方式来控制所述显示项目的显示。
(15)根据(14)所述的信息处理装置，其中，
所述显示控制器以所述显示项目不使所确定的物体或人模糊的方式来控制每个显示项目的位置、大小、形状、亮度或透明度中的至少之一。
(16)根据(1)至(15)中任一项所述的信息处理装置，
其中，所述多个显示项目中的至少之一是表示与出现在拍摄图像中的物体或人相关联的附加信息的项目，并且
其中，所述信息处理装置还包括：
获取单元，其从外部装置获取所述附加信息。
(17)根据(16)所述的信息处理装置，还包括：
由所述用户佩戴的显示器，所述显示器包括屏幕，所述屏幕被设置成进入所述用户的视场；
其中，所述外部装置是与所述信息处理装置通信的移动客户端。
(18)根据(16)所述的信息处理装置，
其中，所述附加信息为广告信息，并且
其中，所述外部装置为数据服务器，所述数据服务器包括与参与提供所述广告信息的人相关联的数据。
(19)一种由信息处理装置的控制器执行的显示控制方法，包括：
当显示项目被显示在屏幕上时，识别用户的行动状态；
根据所识别的行动状态来设置多个显示项目的优先级；以及
根据所设置的优先级来控制所述显示项目的显示。
(20)一种程序，用于使控制信息处理装置的计算机用作：
识别单元，其在显示项目被显示在屏幕上时识别用户的行动状态；
设置单元，其根据由所述识别单元识别的所述行动状态来设置多个显 示项目的优先级；以及
显示控制器，其根据由所述设置单元设置的所述优先级来控制所述显示项目的显示。
[附图标记列表]
100(100a、100b、100c) 信息处理装置
120 环境识别单元
130 行动识别单元
150 信息获取单元
160 优先级设置单元
170 关注确定单元
180 显示控制器

Claims (17)

1.一种信息处理设备，包括：
用户行动状态获得电路，被配置成获得用户的行动状态；
优先级设置电路，被配置成基于所述行动状态设置多个信息类别的优先级；以及
显示控制电路，被配置成控制显示器以基于所述行动状态修改显示信息，以及通过调整显示项目的尺寸、形状、亮度、透明度、颜色和深度中的至少之一，来相对于设置有相对较低优先级的显示项目突出显示设置有相对较高优先级的显示项目。
2.根据权利要求1所述的信息处理设备，其中，所述显示控制电路基于所述行动状态修改所述显示信息的属性。
3.根据权利要求2所述的信息处理设备，其中，所述显示电路基于所述行动状态修改所述显示信息的字体大小和位置中的至少之一。
4.根据权利要求1所述的信息处理设备，其中，所述优先级设置电路设置包括广告信息、社交信息、信息和交通信息的多个信息类别的优先级。
5.根据权利要求1所述的信息处理设备，其中，所述用户行动状态获得电路将所述用户的所述行动状态获得为工作、休息、乘坐火车、乘坐汽车、骑自行车、步行和跑步之一。
6.根据权利要求5所述的信息处理设备，其中，所述用户行动状态获得电路基于位置数据确定所述用户的所述行动状态。
7.根据权利要求5所述的信息处理设备，其中，所述用户行动状态获得电路基于来自加速度传感器和陀螺仪传感器的数据确定所述用户的所述行动状态。
8.根据权利要求1所述的信息处理设备，其中，所述优先级设置电路在所述行动状态改变时改变至少一个信息类别的优先级。
9.根据权利要求1所述的信息处理设备，还包括：
关注确定电路，被配置成根据所述用户的偏好、所述用户的当前位置、或者显示项目被所述用户观看的次数或时长来确定所述用户对信息的关注度，
其中，所述优先级设置电路被配置成基于所述关注度设置所述信息的优先级。
10.根据权利要求1所述的信息处理设备，其中，所述优先级设置电路被配置成基于通过检测所述用户的视线方向而确定的所述多个信息类别中的信息被所述用户观看的次数来设置所述多个信息类别的优先级。
11.根据权利要求1所述的信息处理设备，其中，所述优先级设置电路被配置成基于所述用户的位置来设置所述多个信息类别的优先级。
12.根据权利要求1所述的信息处理设备，其中，所述显示控制电路被配置成控制所述显示器以显示从外部源接收到的其他信息。
13.根据权利要求12所述的信息处理设备，其中，所述显示控制电路被配置成控制所述显示器以显示包括广告信息的所述其他信息。
14.根据权利要求1所述的信息处理设备，还包括：
眼镜框架，其上安装有所述显示控制电路和所述用户行动状态获得电路；
所述显示器，其安装在所述眼镜框架中并且被配置成显示由所述显示控制电路生成的图像；
成像装置，其安装在所述眼镜框架上并且被配置成生成图像；以及
对象识别电路，被配置成识别由所述成像装置生成的图像中的对象。
15.根据权利要求14所述的信息处理设备，其中，所述显示控制电路修改所述信息的显示，使得所述信息不与所述图像中的所述对象交叠。
16.根据权利要求14所述的信息处理设备，其中，所述显示控制电路修改所述信息的显示，使得所述信息与所述图像中的所述对象之一相关联。
17.一种显示控制方法，包括：
获得用户的行动状态；
基于所述行动状态设置多个信息类别的优先级；以及
使用处理器来控制显示器以基于所述行动状态修改显示信息，以及通过调整显示项目的尺寸、形状、亮度、透明度、颜色和深度中的至少之一，来相对于设置有相对较低优先级的显示项目突出显示设置有相对较高优先级的显示项目。
CN201380049986.5A 2012-10-01 2013-08-20 信息处理装置、显示控制方法 Active CN104685857B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012219450A JP5935640B2 (ja) 2012-10-01 2012-10-01 情報処理装置、表示制御方法及びプログラム
JP2012-219450 2012-10-01
PCT/JP2013/004916 WO2014054210A2 (en) 2012-10-01 2013-08-20 Information processing device, display control method, and program

Publications (2)

Publication Number Publication Date
CN104685857A CN104685857A (zh) 2015-06-03
CN104685857B true CN104685857B (zh) 2017-03-29

Family

ID=49115552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380049986.5A Active CN104685857B (zh) 2012-10-01 2013-08-20 信息处理装置、显示控制方法

Country Status (8)

Country Link
US (2) US9678342B2 (zh)
EP (1) EP2904767A2 (zh)
JP (1) JP5935640B2 (zh)
CN (1) CN104685857B (zh)
BR (1) BR112015004100A2 (zh)
IN (1) IN2015DN02386A (zh)
RU (1) RU2015110684A (zh)
WO (1) WO2014054210A2 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102160650B1 (ko) * 2013-08-26 2020-09-28 삼성전자주식회사 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법
US10133548B2 (en) * 2014-01-27 2018-11-20 Roadwarez Inc. System and method for providing mobile personal security platform
JP2015210580A (ja) * 2014-04-24 2015-11-24 エイディシーテクノロジー株式会社 表示システム及びウェアラブル機器
KR101430614B1 (ko) * 2014-05-30 2014-08-18 주식회사 모리아타운 웨어러블 안경을 이용한 디스플레이 장치 및 그 동작 방법
EP2958074A1 (en) 2014-06-17 2015-12-23 Thomson Licensing A method and a display device with pixel repartition optimization
KR102433291B1 (ko) * 2014-07-31 2022-08-17 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법
WO2016017997A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable glasses and method of providing content using the same
JP6187413B2 (ja) * 2014-08-19 2017-08-30 株式会社デンソー 車両用情報提示方法、車両用情報提示システム、車載装置
JP5989725B2 (ja) * 2014-08-29 2016-09-07 京セラドキュメントソリューションズ株式会社 電子機器及び情報表示プログラム
JP5955360B2 (ja) * 2014-08-29 2016-07-20 ヤフー株式会社 配信装置、配信方法、配信プログラム、端末装置、表示方法、及び表示プログラム
JP2016057814A (ja) * 2014-09-09 2016-04-21 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム
US10452137B2 (en) 2014-12-17 2019-10-22 Sony Corporation Information processing apparatus and information processing method
US10255713B2 (en) * 2014-12-29 2019-04-09 Google Llc System and method for dynamically adjusting rendering parameters based on user movements
JP2016143310A (ja) * 2015-02-04 2016-08-08 ソニー株式会社 情報処理装置、画像処理方法及びプログラム
JP2016177240A (ja) * 2015-03-23 2016-10-06 カシオ計算機株式会社 表示装置、表示制御方法、及びプログラム
US20160342327A1 (en) * 2015-05-22 2016-11-24 Lg Electronics Inc. Watch-type mobile terminal and method of controlling therefor
WO2016194844A1 (ja) * 2015-05-29 2016-12-08 京セラ株式会社 ウェアラブル装置
US10134368B2 (en) 2015-06-04 2018-11-20 Paypal, Inc. Movement based graphical user interface
JP6265174B2 (ja) * 2015-06-29 2018-01-24 カシオ計算機株式会社 携帯型電子装置、ディスプレイ制御システム、ディスプレイ制御方法及びディスプレイ制御プログラム
JP6608199B2 (ja) * 2015-07-07 2019-11-20 クラリオン株式会社 情報システムおよびコンテンツ開始方法
JP5961736B1 (ja) 2015-08-17 2016-08-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
JP6598575B2 (ja) * 2015-08-17 2019-10-30 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
JP6433862B2 (ja) * 2015-08-18 2018-12-05 株式会社コロプラ ヘッドマウントディスプレイシステム制御プログラム、コンピュータ及び方法
US10523991B2 (en) * 2015-08-31 2019-12-31 Orcam Technologies Ltd. Systems and methods for determining an emotional environment from facial expressions
CN108027662B (zh) * 2015-09-30 2022-01-11 索尼公司 信息处理装置、信息处理方法以及计算机可读记录介质
JP2017068594A (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN105416439B (zh) * 2015-11-24 2018-03-30 大连楼兰科技股份有限公司 基于智能眼镜的车辆拆解与组装方法
US10198233B2 (en) 2016-03-01 2019-02-05 Microsoft Technology Licensing, Llc Updating displays based on attention tracking data
JP5996138B1 (ja) * 2016-03-18 2016-09-21 株式会社コロプラ ゲームプログラム、方法およびゲームシステム
JP6345206B2 (ja) * 2016-06-14 2018-06-20 ヤフー株式会社 配信装置、配信方法、配信プログラム、端末装置、表示方法、及び表示プログラム
JP6694637B2 (ja) 2016-08-30 2020-05-20 株式会社アルファコード 注目対象物に関する情報提供システムおよび情報提供方法
US10204264B1 (en) * 2016-12-05 2019-02-12 Google Llc Systems and methods for dynamically scoring implicit user interaction
US10769438B2 (en) 2017-05-23 2020-09-08 Samsung Electronics Company, Ltd. Augmented reality
GB2565302B (en) * 2017-08-08 2022-04-13 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
CN110020119A (zh) * 2017-10-09 2019-07-16 北京嘀嘀无限科技发展有限公司 信息显示方法、系统及终端
JP2019101743A (ja) * 2017-12-01 2019-06-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10818086B2 (en) * 2018-02-09 2020-10-27 Lenovo (Singapore) Pte. Ltd. Augmented reality content characteristic adjustment
US10877969B2 (en) * 2018-03-16 2020-12-29 International Business Machines Corporation Augmenting structured data
CN108509593A (zh) * 2018-03-30 2018-09-07 联想(北京)有限公司 一种显示方法及电子设备、存储介质
JP6917340B2 (ja) * 2018-05-17 2021-08-11 グリー株式会社 データ処理プログラム、データ処理方法、および、データ処理装置
CN110696712B (zh) * 2018-07-10 2021-02-09 广州汽车集团股份有限公司 汽车后视镜自动调节方法、装置、计算机存储介质与汽车
JP2019021347A (ja) * 2018-11-07 2019-02-07 株式会社コロプラ ヘッドマウントディスプレイシステム制御プログラム
JP6892960B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、情報処理システム、制御方法及びプログラム
US11507246B2 (en) * 2020-10-07 2022-11-22 Htc Corporation Method for dynamically showing virtual boundary, electronic device and computer readable storage medium thereof
US11914835B2 (en) 2020-11-16 2024-02-27 Samsung Electronics Co., Ltd. Method for displaying user interface and electronic device therefor
KR20220066578A (ko) * 2020-11-16 2022-05-24 삼성전자주식회사 유저 인터페이스를 표시하는 방법 및 이를 지원하는 전자 장치
JP2022110509A (ja) * 2021-01-18 2022-07-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
EP4318453A1 (en) * 2021-03-30 2024-02-07 Sony Group Corporation Information processing device, information processing method, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2444306A (en) * 2006-11-28 2008-06-04 Inst Information Industry Managing Menu Structures in Mobile Electronic Apparatus.
CN101963887A (zh) * 2010-09-26 2011-02-02 百度在线网络技术（北京）有限公司 一种基于滑动操作改变移动设备中显示对象的方法与设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2940896B2 (ja) * 1993-03-30 1999-08-25 三菱電機株式会社 多重放送受信機
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US5956035A (en) * 1997-05-15 1999-09-21 Sony Corporation Menu selection with menu stem and submenu size enlargement
JP4088950B2 (ja) * 2001-12-13 2008-05-21 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7280096B2 (en) * 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
GB0422500D0 (en) * 2004-10-09 2004-11-10 Ibm Method and system for re-arranging a display
JP2006205930A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
JP4507992B2 (ja) 2005-06-09 2010-07-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5119636B2 (ja) 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP2008102860A (ja) * 2006-10-20 2008-05-01 Nec Corp 小型電子機器およびメニュー表示プログラム
US20080254837A1 (en) * 2007-04-10 2008-10-16 Sony Ericsson Mobile Communication Ab Adjustment of screen text size
US8631358B2 (en) * 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
JP2010016432A (ja) * 2008-07-01 2010-01-21 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
KR101524616B1 (ko) * 2008-07-07 2015-06-02 엘지전자 주식회사 자이로센서를 구비한 휴대 단말기 및 그 제어방법
JP5232733B2 (ja) * 2008-08-11 2013-07-10 シャープ株式会社 問題出題装置及び問題出題方法
JP4982715B2 (ja) * 2008-08-21 2012-07-25 学校法人関西学院 情報提供方法及び情報提供システム
KR20110019861A (ko) * 2009-08-21 2011-03-02 삼성전자주식회사 휴대 단말기의 화면 구성 방법 및 이를 이용하는 휴대 단말기
US20120194551A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
JP4922436B2 (ja) * 2010-06-07 2012-04-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置及びオブジェクト表示方法
US9167991B2 (en) * 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2444306A (en) * 2006-11-28 2008-06-04 Inst Information Industry Managing Menu Structures in Mobile Electronic Apparatus.
CN101963887A (zh) * 2010-09-26 2011-02-02 百度在线网络技术（北京）有限公司 一种基于滑动操作改变移动设备中显示对象的方法与设备

Also Published As

Publication number Publication date
RU2015110684A (ru) 2016-10-27
CN104685857A (zh) 2015-06-03
US9678342B2 (en) 2017-06-13
JP5935640B2 (ja) 2016-06-15
EP2904767A2 (en) 2015-08-12
IN2015DN02386A (zh) 2015-09-04
US20170255010A1 (en) 2017-09-07
BR112015004100A2 (pt) 2017-07-04
WO2014054210A2 (en) 2014-04-10
JP2014071811A (ja) 2014-04-21
WO2014054210A3 (en) 2014-05-22
US10209516B2 (en) 2019-02-19
US20150153570A1 (en) 2015-06-04

Similar Documents

Publication Publication Date Title
CN104685857B (zh) 信息处理装置、显示控制方法
US10839605B2 (en) Sharing links in an augmented reality environment
US9798143B2 (en) Head mounted display, information system, control method for head mounted display, and computer program
US9418481B2 (en) Visual overlay for augmenting reality
US20210200423A1 (en) Information processing apparatus, method, and non-transitory computer readable medium that controls a representation of a user object in a virtual space
US10019962B2 (en) Context adaptive user interface for augmented reality display
CN105190484B (zh) 个人全息告示牌
CN104159022B (zh) 信息处理设备，部件生成和使用方法，及程序
US20170103440A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
CN105264548B (zh) 用于生成增强现实体验的难以察觉的标签
US9418293B2 (en) Information processing apparatus, content providing method, and computer program
US20230362586A1 (en) Social media systems and methods and mobile devices therefor
KR101894021B1 (ko) Vr 공간에서 컨텐트를 제공하는 방법, 디바이스 및 기록매체
WO2017104198A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20220277525A1 (en) User-exhibit distance based collaborative interaction method and system for augmented reality museum
WO2018127782A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US20220327747A1 (en) Information processing device, information processing method, and program
CN109842790A (zh) 影像信息显示方法与显示器
JP2017156514A (ja) 電子看板システム
WO2018122709A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US20230298247A1 (en) Sharing received objects with co-located users
US20160042474A1 (en) Information processing device, information processing method, and program
WO2017008749A1 (zh) 一种具备隐藏视像屏及多种传感器的耳机
JP6305173B2 (ja) 移動体用通信装置および移動体通信システム
KR20190012504A (ko) 단말기

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant