CN114730209A - 显示装置以及显示方法 - Google Patents

Abstract

在显示装置(100)中，拍摄部(12)对显示装置(100)的周围进行拍摄，识别部(16)根据该拍摄到的结果识别时钟(300)，即与时刻或日期相关的实际物体。当通过识别部(16)识别出时钟(300)时，日程取得部(11)取得日程信息，显示控制部(17)按照时钟(300)的位置来显示输出该日程信息。在该情况下，在显示装置(100)中，按照时钟(300)的位置来显示日程信息，因此能够与实际环境联系起来显示日程信息，能够以更容易识别日程信息的形式输出日程信息。

Description

显示装置以及显示方法

技术领域

本发明涉及显示装置和显示方法。

背景技术

目前具有利用了增强现实的头戴式显示器，并具有使用该头戴式显示器来显示日程信息的技术(例如，专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2017-120556号公报

发明内容

发明所要解决的课题

在上述专利文献1所公开的技术中，当佩戴头戴式显示器的用户观察时钟时，头戴式显示器与此对应地显示日程信息。希望与实际环境联系起来显示这样的日程信息。即，与实体融合来进行显示能够提供对于用户来说更有益的信息。

本发明的目的在于与实际环境联系起来显示日程信息。

根据本说明书的记载以及附图，本发明的上述以及其他的目的和新的特征将变得清楚。

用于解决课题的手段

作为用于解决上述课题的手段，使用保护范围中记载的技术。

作为一个例子，是一种显示日程信息且用户能够佩戴的显示装置，其包含：日程取得部，其取得日程信息；拍摄部，其拍摄显示装置的周围；识别部，其根据拍摄部拍摄得到的结果，识别与时刻或日期相关的实际物体；以及显示控制部，其在由识别部识别出与时刻或日期相关的实际物体时，按照与时刻或日期相关的实际物体的位置，显示输出由日程取得部取得的日程信息。

发明效果

通过使用本发明的技术，能够与实际环境联系起来显示日程信息。

附图说明

图1说明本实施方式的显示装置的硬件结构。

图2是本实施方式的显示装置的功能框图。

图3说明佩戴了显示装置的用户参照实际物体的时钟的情况。

图4说明日程信息的显示例。

图5是说明按照时钟的位置显示日程信息的处理步骤的流程图。

图6表示包含AR显示的时钟的显示例。

图7表示数字的手表的显示例。

具体实施方式

以下，使用附图对本发明的实施方式的例子进行说明。

首先，使用图1对显示装置100的硬件结构进行说明。图1说明显示装置100的硬件结构。该显示装置100是用户能够佩戴的装置，具体而言，是头戴式显示装置。该头戴式显示器在用户将其佩戴在头部的状态下，以用户能够视觉识别的方式对用户显示并执行各种应用(例如，输出日程信息的应用)。显示装置100也可以是眼镜型的头戴式显示器。

显示装置100具有主控制部101，经由总线102控制各部。该主控制部101是CPU(Central Processing Unit：中央处理单元)等。另外，显示装置100具有RAM103、存储器110、操作输入部120、图像处理部130、传感器部150、通信处理部160以及扩展I/F部170。

操作输入部120具有操作键121、触摸传感器122以及触摸面板123。图像处理部130具有显示部131、图像信号处理部132、第一图像输入部133以及第二图像输入部134。

主控制部101是通过执行存储器110中存储的各种信息处理程序来执行各种功能的运算处理装置。RAM103成为执行各种程序时的工作区域。存储器110是存储主控制部101通过第一图像输入部133、第二图像输入部134拍摄到的图像、各种信息的部分。存储器110是Flash ROM或EEPROM等非易失性存储介质。

操作输入部120是接受操作输入的用户操作I/F。操作键121是设置在显示装置100的预定位置的物理键(例如，电源键、音量键、主页键等)。触摸传感器122是在显示装置100的壳体等设置的输入用传感器。触摸面板123是显示装置100所具有的。

图像处理部130由图像(视频)处理器等来实现。在为透视型(透射型)的显示装置时，显示部131以透射方式在实际影像上重叠显示对象。另外，在为非透射的显示装置时，显示部131以非透射的方式在照相机直通图像上重叠显示对象。

图像信号处理部132是图像信号处理器，是对第一图像输入部133或第二图像输入部134的图像进行解析，并向主控制部101等输出该解析结果的部分。

第一图像输入部133是拍摄外界的部分。第二图像输入部134是拍摄用户眼睛的部分。

传感器部150取得用于确定显示装置100的位置以及方向的信息。传感器部150具有GPS接收部151、陀螺仪传感器152、地磁传感器153、加速度传感器154和深度传感器155。

GPS接收部151取得接收GPS信号而得到的GPS信息。陀螺仪传感器152具有检测显示装置100的移动方位的功能，取得陀螺仪信息，该陀螺仪信息表示与显示装置100的方向变化相伴的角速度数据。地磁传感器153是方位检测装置的一种，其基于地磁来检测表示显示装置100的绝对方位的角度。作为这样的角度，例如可举出方位角。加速度传感器154具有检测显示装置100的加速度和倾斜角中的至少一方的功能。传感器部150还可以具有接近传感器、照度传感器等。深度传感器155是所谓的3D传感器，是使用面状地测距得到的距离信息，能够立体地捕捉人或物体等对象物的形状的传感器。

通信处理部160是控制无线通信的通信处理器。通信处理部160通过LAN等与外部的装置收发信息。扩展I/F部170是用于与周边设备连接的接口。

接着，使用图2对显示装置100的功能进行说明。图2是显示装置100的功能框图。显示装置100具有日程取得部11、拍摄部12、位置信息取得部13、移动状态判断部14、视线检测部15、识别部16以及显示控制部17。这些功能通过执行存储器110中存储的各种程序等来实现。另外，显示装置100还具有图2所示的功能以外的功能。

日程取得部11是取得日程信息的部分。日程取得部11例如在预定的定时取得预先存储在存储器110中的日程信息。作为该定时，存在由后述的识别部16识别出时钟等实际物体的情况。

在此，日程信息至少包含日程内容(例如，与出差、预约相关的信息等)以及与执行该日程的时刻相关的信息(日程的开始时刻、日程的结束时刻等)。另外，也可以将类别与该日程信息对应起来。在此，类别是指显示该日程信息的场所(例如家、会议室等)。

日程取得部11还可以取得基于显示装置100的内置时钟的当前时刻以后的日程信息。

拍摄部12是对显示装置100的周围进行拍摄的部分。拍摄部12在预定定时开始拍摄。拍摄部12例如通过第一图像输入部133等实现。拍摄部12在预定定时拍摄显示装置100的周围，并将拍摄到的结果(拍摄结果)向识别部16发送。

位置信息取得部13是取得与显示装置100的位置相关的信息即位置信息的部分。位置信息取得部13例如通过GPS接收部151等实现。位置信息取得部13将取得的信号向移动状态判断部14、显示控制部17发送。

移动状态判断部14基于位置信息取得部13取得的位置信息的变化来判断用户是否正在移动。移动状态判断部14例如通过主控制部101等来实现。移动状态判断部14从位置信息取得部13取得位置信息，在取得的位置信息的变化超过预定的基准而变化的情况下，判断为正在移动。另外，移动状态判断部14也可以基于位置信息取得部13取得的位置信息，在通过与预先保持的地图信息中包含的设施位置信息进行对照等公知技术确定的设施存在变化时，判断为正在移动。

不只是根据位置信息，移动状态判断部14还可以基于其他信息(例如，由传感器部150的其他传感器得到的结果)通过自主导航定位等公知的技术，判断用户是否正在移动。

视线检测部15是检测用户视线的部分。视线检测部15例如由第二图像输入部134以及图像信号处理部132等实现。具体而言，图像信号处理部132根据第二图像输入部134拍摄到的用户眼睛的状态，通过利用了角膜反射的眼追踪等公知技术来确定用户的视线目标。视线检测部15向显示控制部17送出表示确定出的用户视线目标的信息。

识别部16根据拍摄部12拍摄到的结果来识别与时刻或日期相关的实际物体。识别部16例如由主控制部101来实现。识别部16在从拍摄部12取得了拍摄结果时，对该拍摄结果进行图像解析，通过图像识别的公知技术判断是否包含与时刻或日期相关的实际物体。

在此，与时刻或日期相关的实际物体是指位于房间中的时钟、用户佩戴的手表、位于房间中的日历等。

在拍摄结果中包含与时刻或日期相关的实际物体的情况下，识别部16基于该拍摄结果来确定实际物体的位置。另外，在该实际物体为时钟的情况下，识别部16通过图像识别的公知技术，还识别该时钟所表示的时刻。另外，识别部16基于拍摄结果，同样地通过图像识别的公知技术来识别实际物体的位置(例如，相对于用户正面的相对位置)。

在包含实际物体的情况下，识别部16向显示控制部17通知该实际物体的位置以及时刻(实际物体为时钟时)。

在由识别部16识别出与时刻或者日期相关的实际物体的情况下，显示控制部17按照与时刻或者日期相关的实际物体的位置来显示输出由日程取得部11取得的日程信息。显示控制部17例如由主控制部101来实现。

显示控制部17从识别部16取得实际物体的位置和时刻，从日程取得部11取得日程信息。显示控制部17按照识别部16识别出的实际物体的位置来显示输出日程信息。在此，使用图3以及图4对显示控制例进行说明。

图3说明佩戴了显示装置100的用户500参照实际物体即时钟300的情况。如图3所示，当佩戴了显示装置100的用户500观察时钟300时，时钟300进入摄像范围，因此识别部16识别时钟300。另外，识别部16还识别该时钟300的时刻。

当由识别部16识别出时钟300时，显示控制部17从日程取得部11取得日程信息。显示控制部17按照由识别部16识别出的时钟300的位置，显示由日程取得部11取得的日程信息。

图4说明日程信息的显示例。如图4所示，显示控制部17按照时钟300的位置来显示输出日程信息的内容401a以及日程信息的内容401b。

在图4所示的例子的情况下，示出了在4点左右具有会议的日程，并且示出了在5点左右具有商量的日程。

显示控制部17将显示装置100管理的时刻(所谓的内置时钟)与识别部16识别出的时刻进行比较，作为比较的结果在存在差异时，可以输出表示该情况的信息。例如，作为将识别部16识别出的时刻与显示装置100管理的时刻进行比较的结果，在相差了预定的允许误差时间(例如10分钟)以上时，显示控制部17显示输出表示不同的信息。另外，显示控制部17也可以显示相差何种程度(例如，延迟15分钟等)，来作为表示不同的信息。

如上所述，将显示装置100管理的时刻与识别部16识别出的时刻进行比较，在不同的情况下显示该情况，由此能够提醒用户注意。由此，显示装置100能够避免以下的情况：按照具有时差的当地时钟、未调整的时钟等来显示日程信息，从而产生对于用户而言不良的事态(迟到等)。

另外，显示控制部17还可以显示输出与位置信息取得部13取得的位置信息对应的类别信息的日程信息。

例如，显示控制部17基于位置信息取得部13取得的位置信息，使用预先保持的地图信息等，利用基于数据库的匹配等公知技术来判断位于哪个设施。显示控制部17提取与该设施所对应的类别对应起来的日程信息，显示提取出的日程信息。

例如，显示控制部17在基于位置信息取得部13取得的位置信息而判断为在家中时，显示私人用类别的日程信息。另外，显示控制部17在判断为位于公司等的会议室时，在识别出该会议室的时钟时，显示表示该会议室的使用预定的日程信息。这样，通过根据用户所处的位置来改变所显示的日程，能够集中显示用户所希望的日程。

另外，显示控制部17在视线检测部15检测出的视线与识别部16识别出的实际物体的位置对应的情况下，可以按照识别部16识别出的实际物体的位置来显示输出日程信息。关于判断视线检测部15检测出的视线是否与识别部16识别出的实际物体的位置对应的方法，例如能够通过利用了角膜反射的眼跟踪等公知技术来实现。

这样，显示装置100以检测到用户将视线对准实际物体为条件，显示输出日程信息，由此能够在合适的定时显示日程信息。

另外，显示控制部17可以提取由识别部16识别出的实际物体所表示的时刻以后的日程信息，并进行显示输出。由此，显示装置100能够集中显示输出对用户来说必需的日程信息。

接着，使用图5来说明按照时钟的位置来显示日程信息的处理步骤。图5是说明按照时钟的位置来显示日程信息的处理步骤的流程图。

首先，显示装置100的拍摄部12在预定的定时对显示装置100的周围进行拍摄(步骤S1)。

识别部16对拍摄部12拍摄到的结果进行图像处理，判断有无时钟(步骤S2)。识别部16在通过上述图像处理判断为没有时钟的情况下(步骤S2：否)，进入步骤S1。

识别部16在通过上述图像处理判断为存在时钟的情况下(步骤S2：是)，日程取得部11取得日程信息(步骤S3)。然后，显示控制部17按照时钟的位置来显示输出日程信息(步骤S4)。

在上述实施例中，虽然没有特别叙述，但日程取得部11可以与外部的服务器装置等进行通信来取得日程信息。

在上述实施例中，虽未特别叙述，但显示控制部17在时钟上显示日程信息时，在显示对象的日程为12小时以上的情况下，可以在Z轴方向(深度方向)上螺旋状地进行显示。另外，显示控制部17可以超过24小时来显示下一日的日程信息。另外，显示控制部17也可以根据时间(例如，内部时钟所表示的当前时刻)，集中显示上午部分或下午部分的日程信息。

在上述实施例中，虽然没有特别叙述，但显示控制部17在时钟上显示日程信息时，可以在XY上涡旋状地显示。

另外，在上述实施例中，作为实际物体对识别时钟的例子进行了叙述，但也可以识别日历。

另外，在上述实施例中，对于按照模拟时钟的形状圆状地显示日程信息的例子进行了叙述，但也可以对时钟进行AR显示，并在该AR显示的时钟上显示日程信息。

在此，使用图6来说明包含AR显示的时钟的显示例。图6表示还包含AR显示的时钟的显示例。

如图6所示，显示控制部17在时钟300的位置的正下方显示将当前时刻作为开始时刻的日程信息的内容401a，并显示表示该日程信息的内容401a的结束时刻的AR时钟402a。另外，显示控制部17显示将该AR时钟402a的时刻作为开始时刻的日程信息的内容401b、表示该日程信息的内容401b的结束时刻的AR时钟402b。

另外，在上述实施例中，说明了显示装置100在模拟的时钟的周围显示日程信息的例子，但也可以在用户的数字的手表周围显示日程信息。在此，使用图7来说明在数字的手表的周围显示日程信息的例子。图7表示数字的手表的显示例。

图7的(a)是显示控制部17在手表的时钟部分310的周围显示了日程的内容401c以及日程的内容401d的例子。图7的(b)是显示控制部17在手表的时钟部分310的周围显示了日程的内容401e以及日程的内容401f的例子。在日程的内容401e以及日程的内容401f中还包含开始时刻的信息。

显示控制部17可以在手表的时钟部分310的周围，在深度方向上重叠显示多日的日程。另外，也可以根据该手表的动作状态来改变所显示的日程。例如，显示控制部17可以在手表被拉近到近前时，优先显示最近的日程信息。

在上述实施例中，虽然没有特别叙述，但显示控制部17可以根据陀螺仪传感器152、地磁传感器153以及加速度传感器154的测量结果，变更显示中的日程信息的显示位置。由此，即使用户改变了姿势，显示装置100的显示控制部17也能够随着用户姿势的改变来进行控制，使得实际物体与显示的日程信息之间的从视线位置观察的位置关系不发生变化，从而显示日程信息。

显示控制部17可以在由移动状态判断部14判断为用户正在移动的情况下，作为与该正在移动对应的日程转移到详细的日程信息来进行显示输出。

例如，设为存在上位概念的“出差”这样的日程信息和下位概念的出差的详细日程信息。作为出差的详细的日程信息，包括出差的移动中的路径信息。在移动状态判断部14基于位置信息取得部13取得的位置信息判断为在公司时，显示控制部17在识别出时钟等实际物体的情况下，按照时钟的位置来显示“出差”的日程信息。另外，在移动状态判断部14基于位置信息取得部13取得的位置信息而判断为离开了公司时，显示控制部17在识别出时钟等实际物体的情况下，按照时钟的位置来显示出差的详细的日程信息。

这样，显示装置100根据用户的移动状态切换所显示的日程信息，从而能够显示输出与状况相对应的日程信息。

显示控制部17在与日期相关的实际物体是日历的情况下，可以确定该日历中所注视的日期，显示该日期的详细日程。另外，显示控制部17在日历中显示了日程信息时，当检测到用户以一定时间(预定的基准时间，例如5秒)注视了月名之后视线发生了横向移动时，可以显示前后月的日程。作为该前后月的日程的显示目的地，显示控制部17可以在日历的旁边或上下进行显示。

另外，显示控制部17在日历中显示日程信息时，当检测到用户以一定时间(预定的基准时间，例如5秒)注视年之后视线发生了横向移动时，可以显示前后年的同月的日程。作为该前后年的同月的日程的显示目的地，显示控制部17可以在日历的旁边或上下进行显示。

如上所述，在显示装置100中，拍摄部12对显示装置100的周围进行拍摄，识别部16根据该拍摄的结果识别时钟300(与时刻或日期相关的实际物体)。当识别部16识别出时钟300时，日程取得部11取得日程信息，显示控制部17按照时钟300的位置来显示输出该日程信息。

此时，在显示装置100中，按照时钟300的位置来显示日程信息，所以能够与实际环境联系起来显示日程信息，能够以更容易识别日程信息的形式输出日程信息。

另外，显示控制部17将识别部16识别出的时钟300的时刻与内置时钟进行比较，在差异显著的情况下，输出表示该情况的信息。在该情况下，显示装置100能够提醒注意所显示的日程信息与时钟300的时刻有偏差。

关于上述本发明中的功能等的一部分或全部，例如可以通过集成电路进行设计，以硬件来实现。另外，可以由微处理器单元等解释并执行用于实现各个功能等的动作程序，以软件来实现。也可以并用硬件和软件。

另外，图中所示的控制线、信息线表示在说明上需要，并不一定表示产品上的全部的控制线、信息线。实际上可以认为几乎全部的结构相互连接。

附图标记的说明

11…日程取得部，12…拍摄部，13…位置信息取得部，14…移动状态判断部，15…视线检测部，16…识别部，17…显示控制部，100…显示装置，101…主控制部，102…总线，103…RAM，110…存储器，120…操作输入部，121…操作键，122…触摸传感器，123…触摸面板，130…图像处理部，131…显示部，132…图像信号处理部，133…第一图像输入部，134…第二图像输入部，150…传感器部，151…GPS接收部，152…陀螺仪传感器，153…地磁传感器，154…加速度传感器，155…深度传感器，160…通信处理部，170…扩展I/F部。

Claims (6)

1.一种用户能够佩戴的显示装置，其显示日程信息，其特征在于，

所述显示装置具备：

日程取得部，其取得所述日程信息；

拍摄部，其拍摄所述显示装置的周围；

识别部，其根据所述拍摄部拍摄到的结果来识别与时刻或日期相关的实际物体；以及

显示控制部，其在所述识别部识别出所述与时刻或日期相关的实际物体时，按照所述与时刻或日期相关的实际物体的位置，显示输出由所述日程取得部取得的日程信息。

2.根据权利要求1所述的显示装置，其特征在于，

所述实际物体为时钟，

所述识别部进一步识别所述时钟的时刻，

所述显示控制部将所述识别部识别出的时刻与所述显示装置管理的时刻进行比较，在比较的结果为存在差异的情况下，输出表示该情况的信息。

3.根据权利要求1所述的显示装置，其特征在于，

所述显示装置还包含位置信息取得部，该位置信息取得部取得与所述显示装置的位置有关的信息即位置信息，

将所述日程信息与类别信息对应起来，

所述显示控制部显示输出与所述位置信息取得部取得的位置信息对应的类别信息的日程信息。

4.根据权利要求3所述的显示装置，其特征在于，

所述显示装置还包含移动状态判断部，该移动状态判断部基于所述位置信息取得部取得的位置信息的变化，判断所述用户是否正在移动，

所述显示控制部在由所述移动状态判断部判断为所述用户正在移动时，作为与该正在移动对应的日程，转移到详细的日程信息来显示输出。

5.根据权利要求1所述的显示装置，其特征在于，

所述显示装置还包含检测所述用户的视线的视线检测部，

在所述视线检测部检测出的视线对应于所述识别部识别出的实际物体的位置时，所述显示控制部按照所述与时刻或日期相关的实际物体的位置，显示输出由所述日程取得部取得的日程信息。

6.一种用户能够佩戴的显示装置执行的显示方法，该显示装置显示日程信息，其特征在于，

所述显示方法包含：

取得所述日程信息的日程取得步骤；

拍摄所述显示装置的周围的拍摄步骤；

根据在所述拍摄步骤中拍摄到的结果，识别与时刻或日期相关的实际物体的识别步骤；以及

在所述识别步骤中识别出所述与时刻或日期相关的实际物体时，按照所述与时刻或日期相关的实际物体的位置，显示输出在所述日程取得步骤取得的日程信息的显示控制步骤。

Images