CN102844795A

CN102844795A - 图像处理装置、图像处理方法和程序

Info

Publication number: CN102844795A
Application number: CN201180018880XA
Authority: CN
Inventors: 松田晃一; 福地正树
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-04-19
Filing date: 2011-04-06
Publication date: 2012-12-26
Also published as: KR20130073871A; TWI448958B; JP5418386B2; RU2012143718A; US20130027430A1; TW201207717A; BR112012026250A2; JP2011227644A; WO2011132373A1; EP2561483A1

Abstract

提供了一种用于在时间测量对象上叠加日程数据的方法。该方法包括：接收用于表示输入图像的图像数据。该方法还包括：根据在图像数据中检测到的时间测量对象的特征来检测输入图像中的时间测量对象的存在。该方法还包括：响应于检测到所述输入图像中的所述时间测量对象的存在，提供用于叠加在时间测量对象的用户视图上的日程数据。

Description

图像处理装置、图像处理方法和程序

技术领域

本公开涉及图像处理装置、图像处理方法和程序。

背景技术

用于辅助个人日程管理任务的电子设备已经被广泛使用，而与其是否用于商业用途或个人用途无关。例如，常用的PDA（个人数字助理）和智能电话通常配备有用于日程管理的某些种类的应用。存在许多这样的情况，其中，在PC（个人计算机）上使用用于管理日程的应用。

许多类型的上述电子设备除了日程管理功能之外还配备有通信功能。因此，用户向其他用户的设备发送日程数据，使得他/她可以与其他用户共享日程或协调日程。而且，作为用于在用户之间共享或交换日程的技术的示例，下面的专利文献1和2中描述的技术是已知的。

引用列表

专利文献

PTL 1：日本专利申请公开第2005-004307号

PTL 2：日本专利申请公开第2005-196493号

发明内容

技术问题

然而，在上述现有技术中，在电子设备的屏幕上显示日程。因为这个原因，多个用户不容易在使用便携式或小型设备时参考同一日历（根据情形指向它）以协调日程。而且，存在下述问题：当使用投影仪将图像投影在屏幕上时，其他用户不仅看到要共享的日程，而且甚至看到私人日程。另一方面，用于使用物理日历来管理日程而不用电子设备辅助的方法具有免于对电子设备的屏幕施加的限制的优点，但是伴随有如下困难：需要在日历上书写日程并且改变日程或共享信息麻烦。

因此，期望提供一种新颖和改进的图像处理装置、图像处理方法和程序，其允许多个用户容易地使用物理日历来共享或协调日程。

对问题的解决方案

因此，提供了一种用于将日程数据叠加在时间测量对象上的设备。该设备包括：接收单元，用于接收用于表示输入图像的图像数据。该设备还包括：检测单元，用于根据在图像数据中检测到的时间测量对象的特征来检测输入图像中的时间测量对象的存在。该设备还包括：输出装置，用于响应于检测到输入图像中的时间测量对象的存在，输出用于叠加在时间测量对象的用户视图上的日程数据。

在另一方面，提供了一种用于将日程数据叠加在时间测量对象上的方法。该方法包括：接收用于表示输入图像的图像数据。该方法还包括：根据在图像数据中检测到的时间测量对象的特征来检测输入图像中的时间测量对象的存在。该方法还包括：响应于检测到输入图像中的时间测量对象的存在，提供用于叠加在所述时间测量对象的用户视图上的日程数据。

在另一方面，提供了一种有形地实现的非暂时性计算机可读存储介质，其包含指令，该指令当被处理器执行时使得计算机执行用于将日程数据叠加在时间测量对象上的方法。该方法包括：接收用于表示输入图像的图像数据。该方法还包括：根据在图像数据中检测到的时间测量对象的特征来检测输入图像中的时间测量对象的存在。该方法还包括：响应于检测到输入图像中的时间测量对象的存在，提供用于叠加在所述时间测量对象的用户视图上的日程数据。

在另一方面，提供了一种用于将日程数据叠加在时间测量对象上的设备。该设备包括：第一接收单元，用于接收用于表示输入图像的图像数据，该输入图像包括时间测量对象。该设备还包括：第二接收单元，用于接收用于叠加在时间测量对象的用户视图上的日程数据。该设备还包括：生成单元，用于生成显示信息，该显示信息用于显示所接收到的叠加在时间测量对象的用户视图上的日程数据。

在另一方面，提供了一种系统。该系统包括图像处理单元，其被配置为获得用于表示输入图像的图像数据，并且生成叠加在时间测量对象的用户视图上的日程数据的显示信息。该系统还包括检测单元，其被配置为根据图像数据中的时间测量对象的特征来检测输入图像中的时间测量对象的存在，并且响应于检测到输入图像中的时间测量对象的存在，向图像处理设备输出用于叠加在时间测量对象的用户视图上的日程数据。

发明的有益效果

如上所述，根据特定的公开的实施例的图像处理装置、图像处理方法和程序允许多个用户容易地使用物理日历来共享或协调日程。

附图说明

图1是图示根据一个实施例的图像处理系统的概要的示意图。

图2是图示根据一个实施例的图像处理装置的配置的一个示例的框图。

图3是图示根据一个实施例的学习装置的配置的一个示例的框图。

图4是示出根据一个实施例的学习处理的说明性视图。

图5是示出日历共有的特征量的一个示例的说明性视图。

图6是示出输入图像的一个示例的说明性视图。

图7是示出与眼睛方向对应的特征量集合的一个示例的说明性视图。

图8是示出日历的检测结果的一个示例的说明性视图。

图9是示出日程数据的一个示例的说明性视图。

图10是示出根据一个实施例的输出图像的第一示例的说明性视图。

图11是示出根据一个实施例的输出图像的第二示例的说明性视图。

图12是示出根据一个实施例的手势识别处理的说明性视图。

图13是图示根据一个实施例的图像处理流程的一个示例的流程图。

图14是图示根据一个实施例的手势识别处理流程的一个示例的流程图。

具体实施方式

在下文中，将参考附图详细描述实施例。注意，在本说明书和附图中，使用相同的附图标号表示具有基本上相同的功能和结构的结构元件，并且省略这些结构元件的重复说明。

而且，将根据下面的顺序描述“实施例的说明”。

1．系统的概要

2．图像处理装置的配置示例

3．图像处理流程

4．总结

<1.系统的概要>

首先，将参考图1描述根据一个实施例的图像处理装置的概要。图1是图示根据一个实施例的图像处理系统1的概要的示意图。参考图1，图像处理系统1包括由用户Ua使用的图像处理装置100a和由用户Ub使用的图像处理装置100b。

例如，图像处理装置100a与安装在用户Ua的头上的成像装置102a和头戴式显示器（HMD）104a连接。成像装置102a指向用户Ua的眼睛方向，对真实世界进行成像并且向图像处理装置100a输出一系列输入图像。HMD 104a向用户Ua显示从图像处理装置100a输入的图像。由HMD104a显示的图像是由图像处理装置100a生成的输出图像。HMD 104a可以是透视型显示器或非透视型显示器。

例如，图像处理装置100b与安装在用户Ub的头上的成像装置102b和头戴式显示器（HMD）104b连接。成像装置102b指向用户Ub的眼睛方向，对真实世界进行成像并且向图像处理装置100b输出一系列输入图像。HMD 104b向用户Ub显示从图像处理装置100b输入的图像。由HMD104b显示的图像是由图像处理装置100b生成的输出图像。HMD 104b可以是透视型显示器或非透视型显示器。

图像处理装置100a和100b可以经由有线通信连接或无线电通信连接彼此进行通信。图像处理装置100a与图像处理装置100b之间的通信可以经由例如P2P（对等）方法直接进行，或者经由诸如路由器或服务器（未示出）的其他装置间接进行。

在图1的示例中，在用户Ua与用户Ub之间图示存在于真实世界中的日历3（即时间测量对象）。如稍后将详细描述的，图像处理装置100a生成这样的输出图像，该输出图像是通过将有关用户Ua拥有的日程的信息元素叠加在日历3上而获得的。应当明白，在特定的实施例中，可以取代日历3而使用不同的时间测量对象。例如，时间测量对象可以包括时钟、计时器（例如，手表）、时刻表或用于时间测量的其他这样的对象。类似地，图像处理装置100b生成这样的输出图像，该输出图像是通过将有关用户Ub拥有的日历的信息元素叠加在日历3上而获得的。而且，在本实施例中，如稍后将详细描述的，引入了用于在图像处理装置100a与图像处理装置100b之间交换日程数据的简单接口。

另外，图像处理装置100a和图像处理装置100b不限于图1中所示的示例。例如，可以使用具有摄像机的移动终端来实现图像处理装置100a或100b。在该情况下，具有摄像机的移动终端对真实世界进行成像，并且由该终端来执行图像处理，然后在该终端的屏幕上显示输出图像。而且，图像处理装置100a或100b可以是其他类型的装置，包括PC（个人计算机）或游戏终端。例如，在特定实施例中，图像处理装置100a或100b可以是连接到诸如因特网的网络的远程服务器。远程服务器可以执行如下步骤：经由网络接收图像数据，并且在该图像数据中检测日历3。例如，远程服务器然后可以向成像装置102b或HMD 104b提供日程数据。

在本说明书的下面的说明中，当不需要区分图像处理装置100a和图像处理装置100b时，通过省略作为最后符号的字母表字母，图像处理装置100a和100b被统称为图像处理装置100。而且，同样的将适用于成像装置102a和102b（成像装置102）、HMD 104a和104b（HMD 104）和其他元件。可以参与图像处理系统1的图像处理装置100的数量不限于图1中的示例中图示的数量，而是可以是3或更多。即，例如，由第三用户使用的第三图像处理装置100还可以包括在图像处理系统1中。

<2.图像处理装置的配置示例>

接下来，将参考图2至图12描述根据本实施例的图像处理系统100的配置。图2是图示根据本实施例的图像处理装置100的配置的一个示例的框图。参考图2，图像处理装置100包括存储单元110、输入图像获得单元130（即，接收单元）、日历检测单元140、分析单元150、输出图像生成单元160（即，输出装置或输出终端）、显示单元170、手势识别单元180和通信单元190。在此使用的术语“单元”可以是软件模块、硬件模块、或软件模块和硬件模块的组合。另外，在特定实施例中，可以以一个或更多个装置或服务器实现图像处理装置100的各个单元。例如，可以以不同的装置实现日历检测单元140、分析单元150或输出图像生成单元160。

（存储单元）

存储单元110使用诸如硬盘或半导体存储器的存储器介质来存储用于由图像处理装置100执行的图像处理的程序或数据。例如，由存储单元110存储的数据包括日历112共有的特征量，其指示多个日历共有的外形特征。通过使用日历图像和非日历图像作为教师图像的预先学习处理，获得日历共有的特征量。而且，由存储单元110存储的数据包括以标有日期的信息的列表的形式的日程数据116。稍后将参考图9描述日程数据的一个示例。

（日历共有的特征量）

图3是图示学习装置120的配置的一个示例的框图，该学习装置120用于获得由存储单元110预先存储的日历112共有的特征量。图4是示出由学习装置120执行的学习处理的说明性视图。图5是示出作为学习处理的结果获得的日历112共有的特征量的一个示例的说明性视图。

参考图3，学习装置120包括用于学习的存储器122和学习单元128。学习装置120可以是图像处理装置100的一部分或与图像处理装置100不同的装置。

用于学习的存储器122预先存储教师数据组124。教师数据124包括：多个日历图像，其中每个日历图像示出真实世界的日历；以及，多个非日历图像，其中每个非日历图像示出除日历以外的对象。当学习装置120执行学习处理时，用于学习的存储器122向学习单元128输出该教师数据组124。

学习单元128是诸如SVM（支持向量机）或神经网络的公知教师，并且根据学习算法确定日历112共有的特征量，其指示多个日历共有的外形特征。由学习单元128输入的用于学习处理的数据输入是在上述教师数据组124的每个中设定的特征量。更具体地，学习单元128在教师图像的每个中设定多个特征点，并且将特征点的坐标用作教师图像中的每个的特征量的至少一部分。作为学习处理的结果输出的数据包括在抽象日历的外形（即，许多日历共有的外形）上设定的多个特征点的坐标。

图4中图示由学习单元128执行的学习处理流程的概要。在图4中的左上处，图示包括在教师数据组124中的多个日历图像124a。首先，学习单元128在多个日历图像124a的每个中设定多个特征点。设置特征点的方法可以是任意方法，例如，使用已知Harris算子或Moravec算子的方法或FAST特征检测方法。随后，学习单元128根据设定的特征点来确定每个日历图像126的特征量。除了每个特征点的坐标之外，每个日历图像126a的特征量还可以包括附加的参数值，例如每个特征点的亮度、对比度和方向。通过将由David G.Lowe在“Distinctive Image Features fromScale-Invariant Keypoints”（the International Journal of Computer Vision,2004）中描述的独特的不变特征用作特征量，将实现在稍后描述的日历检测处理期间的针对图像噪声、大小变化、旋转和照明变化的高健壮性。在图4中的左下侧，图示包括在教师数据组124中的多个非日历图像124b。学习单元128在这样的多个非日历图像124b中设定特征点，并且以相同的方式确定每个非日历图像126b的特征量。随后，学习单元128在学习算法中依次输入每个日历图像126a的特征量和每个非日历图像126b的特征量。作为机器学习的重复的结果，算出日历112共有的特征量，并且获得日历112共有的特征量。

参考图5，概念地图示日历112共有的特征量的内容。通常，许多日历（特别是月历）具有用于指示年和月的标签、星期的日子的标题和每个日期的框。因此，在图5的示例中，日历112共有的特征量包括这样的特征点的坐标，这些特征点分别对应于用于指示月和年的标签的角、星期的日子的标题的角、每个日期的框的角和日历本身的角。另外，这里图示主要用于检测月历的由日历112共有的特征量的示例。然而，可以执行诸如月历、星期日历和示出整个一年的日历的每种类型的日历的学习处理，并且可以获得每种类型的日历的由日历112共有的特征量。

存储单元110预先存储作为这样的学习处理的结果获得的由日历112共有的特征量。然后，当图像处理装置100执行图像处理时，存储单元110向日历检测单元140输出日历112共有的特征量。

（输入图像获得单元）

输入图像获得单元130获得使用成像装置102进行成像的一系列输入图像。图6图示由输入图像获得单元130获得的、作为一个示例的输入图像IM01。在输入图像IM01中示出日历3。输入图像获得单元130向日历检测单元140、分析单元150和手势识别单元180依次输出所获得的这样的输入图像。

（日历检测单元）

日历检测单元140使用由存储单元110存储的上述由日历112共有的特征量，来检测在从输入图像获得单元130输入的输入图像中所示的日历。更具体地，日历检测单元140首先如在上述学习处理中那样确定输入图像的特征量。例如，输入图像的特征量包括在输入图像中设定的多个特征点的坐标。接下来，日历检测单元140将输入图像的特征量与日历112共有的特征量进行核对，作为其结果，日历检测单元140检测输入图像中所示的日历。

例如，日历检测单元140还可以检测输入图像中所示的日历的方向。当检测输入图像中所示的日历的方向时，日历检测单元140使用日历共有的特征量，其包括分别与多个眼睛方向对应的多个特征量集合。

图7是示出与眼睛方向对应的特征量集合的一个示例的说明性视图。在图7的中央，示出用于图示抽象日历的外形的日历C0（基本特征量集合）。假定通过将从前侧进行成像获得的日历图像和非日历图像作为教师图像，使用所学习的特征量来呈现日历C0。日历检测单元140对包括在这样的由日历112共有的特征量中的特征点的坐标进行仿射变换，或者对坐标进行3D旋转，以生成分别与多个眼睛方向对应的多个特征量集合。在图7的示例中，分别图示与眼睛方向阿尔发1至阿尔发8对应的八个特征量集合C1至C8。因此，例如，日历检测单元140将基本的特征量集合C0和多个特征量集合C1至C8中的每个与输入图像的特征量进行核对。在该情况下，如果特征量集合C4匹配输入图像中的特定区域，则日历检测单元140可以识别该区域中示出了日历，并且日历的方向对应于眼睛方向阿尔发4的方向。

图8是示出日历的检测结果的一个示例的说明性视图。参考图8，在输入图像IMO 1内示出日历3的区域R1中图示虚线框。通过从与日历3的前方向不同的眼睛方向对日历3进行成像来获得输入图像IM01。作为将图7中例示的多个特征量集合与输入图像的特征量进行核对的结果，日历检测单元140识别这样的输入图像IM01中的日历3的位置和方向。

（分析单元）

分析单元150分析由日历检测单元140检测到的日历的每个日期位于图像中的何处。更具体地，例如，分析单元150使用OCR（光学字符识别）技术来识别由日历检测单元140检测到的日历所指示的月、星期的日子和日期中的至少之一。例如，分析单元150首先将光学字符识别（OCR）应用于由日历检测单元140检测到的输入图像中的日历的区域（例如，图8中所示的区域R1）。在图8的示例中，通过应用光学字符识别（OCR），可以读取用于指示日历3的年和月“2010年4月”的标签和在每个日期的框中的数字。结果，分析单元150可以识别日历3是2010年4月的日历，并且识别日历3的每个日期的框位于输入图像中何处。

而且，例如，分析单元150可以根据有关每年和每月星期的日子和日期的知识，分析由日历检测单元140检测到的日历的每个日期位于图像中何处。更具体地，例如，已知2010年4月1日是星期四。因此，分析单元150可以根据日历3上的特征点的坐标来识别每个日期的框，并且即使其不使用光学字符识别（OCR）读取每个日期的框中的数字，也可识别“2010年4月1日”位于何处。而且，例如，分析单元150可以根据使用光学字符识别（OCR）而识别的日期的位置来估计年和月。

（输出图像生成单元）

输出图像生成单元160生成通过下述方式获得的输出图像：将包括在以标有日期的信息的列表的形式的日程数据中的一个或更多个信息元素与对应于每个信息元素的日期关联，并且根据分析单元150的分析结果将所关联的信息元素叠加在日历上。在该情况下，输出图像生成单元160可以根据由日历检测单元140检测到的日历的方向，改变包括在输出图像中的日程数据中的信息元素的显示。

（日程数据）

图9图示由存储单元110存储的日程数据119的一个示例。参考图9，日程数据116具有5个字段：“拥有者”、“日期”、“标题”、“类别”和“详情”。

“拥有者”表示生成每个日程项目（日程数据的每条记录）的用户。在图9的示例中，第一至第三日程项目的拥有者是用户Ua。而且，第四日程项目的拥有者是用户Ub。

“日期”表示与每个日程项目对应的日期。例如，第一日程项目指示2010年4月6日的日程。“日期”字段可以指示具有开始日期和结束日期的时间段，而不是单个日期。

通过用于直接指示在每个日程项目中描述的日程内容的字符串来形成“标题”。例如，第一日程项目指示在2010年4月6日举行小组会议。

“类别”是用于指示是否要向除拥有者以外的用户公开每个日程项目的标记。可以根据稍后描述的用户的手势将在“类别”中被指定为“公开”的日程项目发送到其他用户的装置。另一方面，不将在“类别”中被指定为“不公开”的日程项目发送到其他用户的装置。例如，第二日程项目被指定为“不公开”。

“详情”指示每个日程项目的日程内容的详情。例如，可以在“详情”字段中存储可选的信息元素，例如会议的开始时间、为准备该日程“要做”的内容。

输出图像生成单元160从存储单元110读取这样的日程数据，并且将包括在读取的日程数据中的诸如标题或拥有者的信息元素与对应于输出图像中的每个信息元素的日期关联。

（显示单元）

显示单元170使用HMD 104向用户显示由输出图像生成单元160生成的输出图像。

（输出图像的示例）

图10和图11分别显示由输出图像生成单元160生成的输出图像的示例。图10中图示的输出图像IM11是这样的示例，其中，日程项目的显示方向根据由日历检测单元140检测到的日历的方向而倾斜。另一方面，图11中图示的输出图像IM12是不依赖于日历的方向的显示的示例。

参考图10，包括在图9中例示的日程数据116中的四个日程项目以如下状态显示在输出图像IM11中：在该状态中，四个日程项目中的每个与对应的日期关联。例如，在第六天的框中显示第一日程项目的标题、即“小组会议”（参考D1）。另外，在第17天的框中显示第二日程项目的标题、即“生日聚会”（参考D2）。另外，在第19天的框中显示第三日程项目的标题、即“参观公司”（参考D3）。另外，在第28天的框中显示第四日程项目的标题、即“欢迎聚会”和作为该项目的拥有者的用户姓名“Ub”（参考D4）。当它们全部以根据日历3的方向而倾斜的状态显示时，向用户提供用于示出好像在物理日历中书写信息的图像。

参考图11，包括在图9中例示的日程数据116中的四个日程项目以如下状态显示在输出图像IM12中：在该状态中，四个日程项目中的每个以相同的方式与对应的日期关联。在图11中图示的示例中，日程项目中的每个不根据日历3的方向而倾斜，而是使用词气球来显示。

在图10和图11中描述的示例中，假定生成输出图像IM11或IM12的装置是图像处理装置100a。在该情况下，由图像处理装置100a向用户Ua显示上述四个日程项目。另一方面，即使当用户Ua和用户Ub看到相同的物理日历3时，除了要从图像处理装置100a向用户Ub发送的项目之外，图像处理装置100b不显示除用户Ub生成的日程项目以外的项目。因此，共享一个物理日历的用户Ua和用户Ub可以在根据情形确认日程并且指向日历的同时讨论日程，而不会向其他方公开个人的日程。

这里，图9中例示的第一至第三日程项目的拥有者是用户Ua，并且第四日程项目的拥有者是用户Ub。可以通过使用手势的接口或接下来描述的其他用户接口，根据来自用户的指令在图像处理装置100之间交换由与装置本身的用户不同的用户生成的日程项目。

另外，例如，如果HMD 104为透视型，则输出图像生成单元160仅生成要叠加在日历3上的日程项目中的每个的显示D1至D4作为输出图像。另一方面，如果HMD 104为非透视型，则输出图像生成单元160生成通过将日程项目中的每个的显示D1至D4叠加在输入图像上而获得的输出图像。

（手势识别单元）

手势识别单元180识别朝向由日历检测单元140在输入图像中检测到的日历的用户真实世界手势。例如，手势识别单元180可以监控叠加在输入图像中的日历上的手指区域，检测手指区域的大小变化，并且识别已经指定了特定的日程项目。例如，可以通过皮肤颜色、或与预先存储的手指图像进行核对，来检测要叠加在日历上的手指区域。另外，例如，当具有大于预定阈值的大小的手指区域连续地指向同一日期时，手势识别单元180可以在手指区域的大小已经暂时变小的时刻识别用户轻击了日期。手势识别单元180可以附加地识别除轻击手势以外的任意手势，例如以指尖围绕一个日期的周围划出圆圈的手势，或以指尖拖动一个日程项目的手势。这些手势之一被预先设定为用于指示向其他图像处理装置100发送日程项目的命令。例如，其他类型的手势被预先设定为用于指示所指定的日程项目的详细显示的命令。

如果手势识别单元180在输入图像中示出的用户手势中识别被设定为用于指示日程项目的发送的命令的手势，则它请求通信单元190发送指定的日程项目。

（通信单元）

通信单元190向其他图像处理装置100发送由用户在图像处理装置100的用户的日程数据中指定的数据。更具体地，例如，如果手势识别单元180已经识别了用于指示发送日程项目的手势，则时间测量对象通信单元190选择由该手势指定的日程项目，并且向其他图像处理装置100发送所选择的日程项目。

在图12的示例中，在输出图像IM3中示出用户的手指区域F1。另外，尽管在输入图像中示出了手指区域F1，但是在与输出图像IM13不同的输入图像中未示出日程项目D1至D4。另外，例如，手势识别单元180识别轻击4月19日的日期的指示的手势，通信单元190从存储单元110的日程数据116获得与4月19日的日期对应的日程项目。通信单元190还检查所获得的日程项目的“类别”。然后，通信单元190向其他图像处理装置100发送该日程项目，除非所获得的日程项目在“类别”中被指定为“不公开”。

另外，当已经从其他图像处理装置100发送了日程项目时，通信单元190接收该日程项目。然后，通信单元190将所接收到的日程项目存储在存储单元110的日程数据116中。例如，图9中的第四日程项目是在用户Ua的图像处理装置100a中从用户Ub的图像处理装置100b接收到的日程项目。

以这种方式，可以根据朝向由日历检测单元140检测到的日历的用户手势，在多个图像处理装置100之间发送和接收日程数据，因此使得能够容易地共享日程。而且，关于要共享的日程的信息元素被图像处理装置100中的每个叠加在物理日历上，这允许用户容易协调日程，而不用在日历中实际书写字母。

<3.图像处理流程>

随后，将参考图13和图14描述由根据本实施例的图像处理装置100执行的图像处理流程。图13是图示由图像处理装置100执行的图像处理流程的示例的流程图。

参考图13，输入图像获得单元130首先获得由成像装置102进行成像的输入图像（步骤S102）。随后，日历检测单元140在由输入图像获得单元130获得的输入图像中设定多个特征点，并且确定输入图像的特征量（步骤S104）。随后，日历检测单元140将输入图像的特征量与日历共有的特征量进行核对（步骤S106）。如果这里作为核对的结果在输入图像中未检测到日历，则将跳过随后的处理。另一方面，如果在输入图像中检测到日历，则处理将进行到步骤S110（步骤S108）。

如果日历检测单元140已经在输入图像中检测到日历，则分析单元150分析所检测到的日历的日期位于输入图像中何处（步骤S110）。随后，输出图像生成单元160从存储单元110获得日程数据116（步骤S112）。随后，输出图像生成单元160根据作为分析单元150的分析结果的在日历上的日期的位置，来确定包括在日程数据中的每个日程项目显示在何处（步骤S114）。然后，输出图像生成单元160生成通过在所确定的显示位置处叠加每个日程项目而获得的输出图像，并且使得显示单元170显示所生成的输出图像（步骤S116）。

其后，手势识别单元180还将执行手势识别处理（步骤S118）。将参考图14进一步描述由手势识别单元180执行的手势识别处理流程。

将针对由输入图像获得单元130获得的一系列输入图像中的每个，重复在13中所示的图像处理。例如，如果可以重新使用前一个帧中的图像处理的结果，则当输入图像还没有从前一帧改变时，可以省略图13中所示的图像处理的一部分。

图14是图示在由图像处理装置100执行的图像处理中的手势识别处理的详细流程的一个示例的流程图。

参考图14，手势识别单元180首先从输入图像检测手指区域（步骤S202）。然后，手势识别单元180根据所检测到的手指区域的位置来确定用户的手指是否指向日历的任何日期（步骤S204）。如果这里用户的手指未指向日历的任何日期，或者还没有检测到具有大于预定阈值的大小的手指区域，则将跳过随后的处理。另一方面，如果用户的手指指向日历的任何日期，则处理将进行到步骤S206。

然后，手势识别单元180根据多个输入图像上的手指区域中的变化来识别用户的手势（步骤S206）。这里识别的手势可以是上面例示的轻击手势等。随后，手势识别单元180确定所识别的手势是否是与日程发送命令对应的手势（步骤S208）。如果这里识别的手势是与日程发送命令对应的手势，则通信单元190在对应于由手势指定的日期的日程项目中获得可以公开的日程项目。可以公开的日程项目是在日程数据116中的“类别”中被指定为“公开”的项目。如果这里不存在可以公开的日程项目，则将跳过随后的处理（步骤S210）。另一方面，如果存在与由手势指定的日期对应的可以公开的日程项目，则通信单元190向另一个其他图像处理装置100发送该日程项目（步骤S212）。

如果步骤S206中识别的手势不是对应于日程发送命令的手势，则手势识别单元180确定所识别的手势是否是对应于详情显示命令的手势（步骤S214）。如果这里所识别的手势是对应于详情显示命令的手势，则通过输出图像生成单元160和显示单元170显示由手势指定的日程项目的详情（步骤S216）。另一方面，如果所识别的手势不是对应于详情显示命令的手势，则手势识别处理结束。

另外，尽管已经参考图14示出了由用户的手势指示日程项目的发送及其详情的显示的示例，但是可以由手势指示除上述以外的图像处理装置100的操作。图像处理装置100还可以根据输入图像中除手指以外的对象的移动来识别来自用户的指令。图像处理装置100还可以经由诸如小键盘或10键小键盘的附加设置在图像处理装置100中的输入装置来接受来自用户的指令。

<4.总结>

迄今为止，已经参考图1至14描述了根据一个实施例的图像处理系统1和图像处理装置100。根据本实施例，使用用于指示多个日历共有的外形特征的由日历共有的特征量来检测输入图像中所示的日历。另外，分析所检测到的日历的每个日期位于图像中何处，并且包括在日程数据中的信息元素以与对应于该信息元素的日历上的日期关联的状态来显示。因此，用户可以容易地使用物理日历确认日程，而没有施加于电子设备的任何限制。即使当多个用户参考一个物理日历时，他们也可以容易地协调日程，而不用在向每个用户显示个人日程时在日历中实际书写字母。

另外，在本实施例中，图像处理装置100可以向其他图像处理装置100仅发送如下日程项目，该日程项目用于指示在装置本身的用户的日程中的不公开的日程。因此，当用户共享日程时，将不向其他用户公开个人用户的私人日程，这与他们打开写有他们的日程的他们的预约簿的情况不同。

另外，在本实施例中，日历共有的特征量是包括在抽象日历的外形上设定的多个特征点的坐标的特征量。许多通常使用的日历在外形上类似。因为这个原因，即使当预先确定不是单独日历的特征量而是日历共有的特征量时，图像处理装置100也可以通过将日历共有的特征量与输入图像的特征量进行核对，来灵活地检测许多真实世界的各种日历。所以，用户可以确认各种日历上的日程，例如他/她的家中日历、他/她的办公室日历和要参观的公司的日历，从而享受所公开的实施例的优点。

另外，在本实施例中，图像处理装置100使用分别与多个眼睛方向对应的多个特征量集合来检测输入图像中的日历。因此，即使当用户未位于日历前时，图像处理装置100也可以在一定程度上适当地检测日历。

另外，本说明书主要描述了这样的示例，其中，手势识别单元180识别输入图像中所示的用户的手势，以便图像处理装置100可以接受来自用户的指令。然而，图像处理装置100可以经由诸如指点装置或触摸板的、设置在图像处理装置100中的输入部件而不是用户的手势来接受来自用户的指令。

而且，通常可以使用软件来实现本说明书中描述的由图像处理装置100执行的一系列处理。例如，构成实现一系列处理的软件的程序被预先存储在图像处理装置100内部或外部设置的有形地实现的非暂时性存储介质中。例如，每个程序然后在执行期间被读入图像处理装置100的RAM（随机存取存储器）中被当前，并且被诸如CPU（中央处理单元）的处理器执行。

本领域内的技术人员应当明白，可以根据设计要求和其他因素来进行各种修改、组合、子组合和替换，只要它们在所附的权利要求或其等同物的范围内即可。

[附图标记列表]

100 图像处理装置

102 图像处理装置

104 HMD

110 存储单元

112 日历共有的特征量

116 日程数据

130 输入图像获得单元

140 日历检测单元

150 分析单元

160 输出图像生成单元

190 通信单元

Claims

1.一种设备，包括：

接收单元，用于接收用于表示输入图像的图像数据；

检测单元，用于根据在所述图像数据中检测到的时间测量对象的特征来检测所述输入图像中的所述时间测量对象的存在；以及

输出装置，用于响应于检测到所述输入图像中的所述时间测量对象的存在，输出用于叠加在所述时间测量对象的用户视图上的日程数据。

2.根据权利要求1所述的设备，其中，所述时间测量对象是日历对象，并且所述日程数据包括与用户关联的日程数据。

3.根据权利要求2所述的设备，包括：

分析单元，用于分析所述图像数据以检测与存储在存储单元中的日历对象对应的日历特征。

4.根据权利要求3所述的设备，其中，所述日历特征包括与所述用户的多个视角对应的日历特征。

5.根据权利要求4所述的设备，其中，所叠加的日程数据的透视图被选择为对应于所述日历对象的所述用户视图的角度。

6.根据权利要求5所述的设备，其中，根据检测到的日历特征的位置来确定所述日历对象的所述用户视图。

7.根据权利要求2所述的设备，其中，所述用户是第一用户，并且所述设备包括：

通信单元，用于通过向与第二用户关联的接收设备传送所述日程数据来与所述第二用户共享所述数据。

8.根据权利要求7所述的设备，其中，所述通信单元响应于检测到所述第一用户或所述第二用户之一朝向所述日历对象的手势，向所述接收设备传送所述日程数据。

9.一种方法，包括：

接收用于表示输入图像的图像数据；

根据在所述图像数据中检测到的时间测量对象的特征来检测所述输入图像中的所述时间测量对象的存在；以及

响应于检测到所述输入图像中的所述时间测量对象的存在，提供用于叠加在所述时间测量对象的用户视图上的日程数据。

10.一种有形地实现的非暂时性计算机可读存储介质，其存储指令，所述指令当被处理器执行时使得计算机执行方法，所述方法包括：

接收用于表示输入图像的图像数据；

11.一种设备，包括：

第一接收单元，用于接收用于表示输入图像的图像数据，所述输入图像包括时间测量对象；

第二接收单元，用于接收用于叠加在所述时间测量对象的用户视图上的日程数据；以及

生成单元，用于生成显示信息，所述显示信息用于显示所接收到的叠加在所述时间测量对象的所述用户视图上的日程数据。

12.一种系统，包括：

图像处理单元，其被配置为获得用于表示输入图像的图像数据，并且生成叠加在时间测量对象的用户视图上的日程数据的显示信息；以及

检测单元，其被配置为根据所述图像数据中的所述时间测量对象的特征来检测所述输入图像中的所述时间测量对象的存在，以及响应于检测到所述输入图像中的所述时间测量对象的存在，向所述图像处理设备提供用于叠加在所述时间测量对象的所述用户视图上的日程数据。