CN104380717B

CN104380717B - 信息处理装置、信息处理方法、以及计算机可读存储介质

Info

Publication number: CN104380717B
Application number: CN201380029785.9A
Authority: CN
Inventors: 花井裕也
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-06-12
Filing date: 2013-04-24
Publication date: 2018-08-03
Anticipated expiration: 2033-04-24
Also published as: CN104380717A; US20150117831A1; BR112014030582A2; WO2013187131A1; EP2860968A1; EP2860968B1; JP6128123B2; JPWO2013187131A1; EP2860968A4; US9837121B2

Abstract

提供了一种信息处理装置，包括：数据处理部，配置来基于从由成像部的拍摄所获取的拍摄图像中对特征图像的检测来根据特征图像进行回放内容的处理，以及指定部，配置来根据其中对特征图像的检测无法进行的时序来指定恢复点，恢复点是回放所述内容的位置。在对特征图像的检测变得无法进行之后，数据处理部根据特征图像的再次检测来从与恢复点相对应的位置进行所述内容的回放。

Description

信息处理装置、信息处理方法、以及计算机可读存储介质

技术领域

本公开涉及一种信息处理装置、信息处理方法和程序。具体地，本公开涉及一种进行增强现实(AR)显示的信息处理装置、信息处理方法和程序。

背景技术

例如，其中除了拍摄图像以外的虚拟图像被叠加在相机的拍摄图像上的图像被称作增强现实(AR)图像，并且近来已应用于各个领域。

具体地，近年来，诸如具有相机功能和显示器以及通信功能的智能手机已广泛应用，并且将AR图像应用于这种智能手机的应用得到广泛使用。

作为AR图像的使用的一个示例，存在下面的示例。

例如，当通过使用诸如智能手机之类的便携式终端的相机功能来拍摄特定对象时，对象信息例如诸如在拍摄对象上印制的赛博码之类的标记被识别，基于所识别的标记所选择的诸如字符或人之类的虚拟图像被叠加地显示在拍摄图像上，并且声音被输出就像虚拟图像在说话。

存在各种虚拟图像，例如，与拍摄图像相关的虚拟字符的图像、或者预先拍摄的人或景色。关于被输出至便携式终端的虚拟图像或声音的信息通过网络从便携式终端或者与便携式终端连接的服务器的存储部获取。

此外，存在专利文献1(JP2012-58838A)作为公开了生成并显示AR图像的处理的现有技术的示例。

然而，以从拍摄图像识别出标记作为触发器来开始虚拟图像或声音的输出。因此，例如，当用户改变便携式终端的成像部(相机)的方向并且因此标记从拍摄图像偏离时，停止对虚拟图像或声音的输出。

当用户再次改变成像部(相机)的方向并且因此标记被放进拍摄图像中时，从起点回放相同的虚拟图像或声音的输出。

就是说，通过下面两个处理来控制虚拟图像的回放和停止。

(处理1)通过从拍摄图像识别标记来开始对虚拟图像和声音的回放。

(处理2)通过标记从拍摄图像中消失来结束对虚拟图像和声音的回放。

例如，关于其中所要由标记识别回放的内容由大约30秒的图像和声音构成的信息，用户将必需保持标记拍摄状态30秒，而不移动便携式终端，以便观看整个30秒内容。

例如，如果即使在30秒内标记从拍摄图像偏离一次，则对由虚拟图像和声音所构成的内容的回放也在中途停止。如果再次移动至标记拍摄位置，则回放无法从停止位置恢复，并且从内容的开始位置再次执行回放。

在这种情况下，诸如挤满了来来回回的人的地方之类的示例，例如通过将标记设置为街上广告来将信息提供给用户的配置难以将信息转移给用户。就是说，在挤满了来来回回的人的地方，人的移动被包括在拍摄图像中，并且难以允许相机连续地拍摄标记。因此，出现了这样的问题：从内容的开始点重复执行回放并且难以将内容回放至结束。

引文列表

专利文献

专利文献1：JP 2012-58838A

发明内容

技术问题

本公开已经鉴于例如上述问题，并且提供了一种信息处理装置、信息处理方法和程序。根据本公开，在拍摄图像内识别出诸如标记之类的特征图像并且进行内容的回放的配置中，可根据各种情况进行内容回放控制，所述各种情况例如标记从拍摄图像偏离的情形或者标记被再次识别出的情形。

根据本公开的第一方面，提供了一种信息处理装置，包括：

数据处理部，配置来基于从由成像部的拍摄所获取的拍摄图像中对特征图像的检测来根据所述特征图像进行回放内容的处理；以及

指定部，配置来根据其中对所述特征图像的检测无法进行的时序来指定恢复点，所述恢复点是回放所述内容的位置，

其中在对所述特征图像的检测变得无法进行之后，所述数据处理部根据所述特征图像的再次检测来从与所述恢复点相对应的位置进行所述内容的回放。

根据本公开的实施例，提供了一种数据处理部，所述数据处理部在所述内容回放处理中进行将构成内容的图像数据重叠地显示在所述成像部的拍摄图像上的处理。

根据本公开的实施例，所述内容是包括图像和声音的内容。当对所述特征图像的检测变得无法进行时，所述数据处理部停止仅对所述图像的回放，并且持续回放所述声音。

根据本公开的实施例，所述数据处理部对从当对所述特征图像的检测变得无法进行时的时间开始所经过的时间，并且当所经过的时间超过预定阈值时间时停止回放所述声音。

根据本公开的实施例，所述数据处理部以所述特征图像的再次检测为条件从存储器获取所述恢复点，并且从所获取的内容位置来对包括所述图像和所述声音的所述内容进行回放。

根据本公开的实施例，当对所述特征图像的检测变得无法进行时，所述数据处理部进行随着时间的流逝来降低内容输出级别的淡出处理。

根据本公开的实施例，在对所述特征图像进行再次检测时，所述数据处理部进行随着时间的流逝来增大内容输出级别的淡入处理。

根据本公开的实施例，所述数据处理部输入选择(a)从存储器中所存储的所述恢复点来回放所述内容的恢复处理或者(b)从起点回放所述内容的重放处理的指令信息来作为在对所述特征图像进行再次检测时的所述内容回放处理的一个方面，并且根据输入信息对所述内容进行回放。

根据本公开的实施例，所述数据处理部在显示部上显示用户界面，所述用户界面允许输入选择(a)从存储器中所存储的所述恢复点来回放所述内容的恢复处理或者(b)从起点回放所述内容的重放处理的指令信息来作为在对所述特征图像进行再次检测时的所述内容回放处理的一个方面。

根据本公开的实施例，所述特征图像是在所述拍摄图像中所包括的识别标记。

根据本公开的实施例，所述数据处理部根据输入的所述回放内容的场景信息、或者所述信息处理装置的传感器信息、或者所述信息处理装置的来电信息来进行停止回放所述内容的处理，并且进行将所述回放停止所在的内容位置记录在存储器中的处理。

根据本公开的第二方面，提供了一种信息处理装置，包括：

成像部，配置来拍摄图像；

通信部，配置来进行与服务器的通信；以及

数据处理部，配置来从所述成像部的拍摄图像中进行特征图像的检测，并且对从所述服务器所提供的内容进行回放，

其中，当从所述拍摄图像中对所述特征图像的检测变得无法进行时，所述数据处理部停止对从所述服务器接收的所述内容的回放，并且将回放停止位置发送至所述服务器作为恢复点信息，并且以随后对所述特征图像的再次检测为条件来从所述服务器输入所述恢复点信息，并且从所述恢复点位置对所述内容进行回放。

根据本公开的第三方面，提供了一种信息处理装置，包括：

成像部，配置来拍摄图像；

通信部，配置来进行与服务器的通信；以及

数据处理部，配置来通过所述通信部将所述成像部的拍摄图像发送至所述服务器，基于所述拍摄图像来从所述服务器接收特征图像检测信息，并且对从所述服务器所提供的内容进行回放，

其中，当来自所述服务器的所述特征图像检测信息指示出所述特征图像的检测无法进行时，所述数据处理部停止对所述内容的回放，通过所述通信部将所述回放停止的内容位置发送至所述服务器作为恢复点信息，以随后对所述特征图像的再次检测为条件来从与所述恢复点相对应的位置接收来自所述服务器的所述内容，并且回放所接收的内容。

根据本公开的第四方面，提供了一种服务器，包括：

通信部，配置来与客户端进行通信；

存储部，配置来存储所要提供给所述客户端的内容；以及

数据处理部，配置来进行从所述客户端的拍摄图像中对特征图像进行检测的处理，并且进行提供内容的处理，

其中所述数据处理部进行从所述客户端的拍摄图像中对所述特征图像进行检测的处理，并且将特征图像检测信息提供给所述客户端。

根据本公开的第五方面，提供了一种信息处理方法，所述信息处理方法由信息处理装置来进行，所述信息处理方法包括：

基于从由成像部的拍摄所获取的拍摄图像中对特征图像的检测来由数据处理部根据所述特征图像进行回放内容的处理，

其中所述数据处理部进行

根据对所述特征图像的检测无法进行的时序来指定恢复点的处理，所述恢复点是所述内容的回放位置，以及

在对所述特征图像的检测变得无法进行之后，根据所述特征图像的再次检测来从与所述恢复点相对应的位置回放所述内容的处理。

根据本公开的第六方面，提供了一种程序，用于使信息处理装置执行如下信息处理：

基于从由成像部的拍摄所获取的拍摄图像中对特征图像的检测来使数据处理部根据特征图像来进行回放内容的处理，

其中所述程序使所述数据处理部进行

解决问题的方案

注意，根据本公开的程序是能够被提供在存储介质中或者通信介质中的程序，所述程序以例如针对能够执行各种类型的程序代码的信息处理装置或计算机系统的计算机可读形式来提供。以计算机可读形式来提供这种类型的程序使能够实现根据在信息处理装置或计算机系统中的程序的处理。

稍后通过基于本公开的实施例以及附图的更加详细的说明将使本公开的目的、特征和优点变得清晰。此外，本说明书中的系统不限于逻辑上聚集均被包含在同一外壳内的多个装置的配置。

发明的有益效果

根据本公开的一个实施例的配置，在根据诸如标记之类的特征图像的内容回放处理中，在标记消失时以及在再次检测到标记时实现改进的回放控制。

具体地，诸如标记之类的特征图像从成像部的拍摄图像中被检测到，并且根据标记检测来回放内容。在其中无法从拍摄图像检测标记的标记消失时，停止对内容的回放，将内容回放停止位置记录在存储器中，以随后的再次检测到标记为条件从存储器获取内容位置，并且从所获取的内容位置来回放内容。所述内容为包括图像和声音的内容。在标记消失时仅停止对图像的回放，并且继续对声音的回放。当从标记消失时所经过的时间超过预设阈值时间时，停止对声音的回放。

根据这些配置，在根据标记的内容回放处理中，在标记消失时以及在再次检测到标记时实现改进的回放控制。

附图说明

图1是描述本公开的处理的概况的示图。

图2是描述本公开的处理的概况的示图。

图3是描述本公开的信息处理装置的状态转变示例的示图。

图4是示出描述由本公开的信息处理装置所进行的内容回放控制顺序的流程图的示图。

图5是描述由本公开的信息处理装置所进行的内容回放控制顺序的示例的示图。

图6是描述由本公开的信息处理装置所进行的内容回放控制顺序的示例的示图。

图7是描述本公开的信息处理装置的配置示例的示图。

图8是描述本公开的信息处理装置的配置示例的示图。

图9是描述在本公开的信息处理装置的显示部上显示的用户界面(UI) 的示例的示图。

图10是描述在本公开的信息处理装置的显示部上显示的用户界面(UI) 的示例的示图。

图11是描述本公开的信息处理装置的配置示例的示图。

图12是描述本公开的信息处理装置的配置示例的示图。

具体实施方式

在下文中，将参照附图对根据本公开的信息处理装置、信息处理方法以及程序进行详细描述。注意，描述将按照以下顺序来提供。

1、本公开的处理的概况

2、本公开的内容回放控制中的状态转变

3、由信息处理装置进行的内容回放控制处理的顺序

4、信息处理装置的配置示例

5、其它实施例

6、本公开的配置的摘要

[1、本公开的处理的概况]

首先，下文参照图1对本公开的处理的概况进行描述。

图1是示出使用本公开的处理的一个示例的示图。用户21通过使用诸如具有相机功能的智能手机之类的信息处理装置(便携式终端)30来拍摄包括海报10的图像。附带地，拍摄图像例如是运动图像。

例如，在海报10上印有标记(识别符)，例如赛博码(二维码)。

在下文的实施例中，将对一示例进行描述，在该示例中，诸如赛博码(二维码)之类的标记(识别符)作为所要识别的被摄体。然而，在本公开的配置中，各种特征图像，例如下文的特征图像，均可以是所要识别的被摄体。

●二维条形码(赛博码)

●用于特定对象识别的被摄体，例如特定人的脸部或特定对象(书皮)

●一般对象识别的被摄体，例如车辆、笔或狗

信息处理装置30通过通信部将包括标记信息的拍摄信息发送至服务器。服务器基于从信息处理装置(客户端)30接收到的拍摄信息来识别出信息处理装置(客户端)30拍摄包括海报10的图像，获取在服务器中的内容数据库中所存储的内容，例如由通过对在海报10上印制的人进行拍摄所生成的声音和运动图像所构成的内容，并且将所获取的内容发送至信息处理装置30。

信息处理装置30对从服务器接收到的内容进行回放。图像重叠地显示在被拍摄的图像上。图1中示出了回放虚拟图像31。此外，声音通过扬声器输出。图1中示出了回放声音32。

如图1中所示，信息处理装置30将由信息处理装置30的成像部(相机) 所实际拍摄的拍摄图像与从服务器接收到的虚拟图像一起显示。这种图像称作增强现实(AR)图像。

此外，从服务器接收到的声音信息与虚拟图像的回放共同输出。

在信息处理装置30上显示的回放虚拟图像31是在用户所处的位置中不实际存在的人的图像。

然而，在信息处理装置30的显示部的屏幕上显示虚拟图像，就像该人站在用户21所处的位置中一样。

信息处理装置30能够记录包括虚拟图像31和声音的内容。

在上文描述中，尽管已经对提供来自服务器的、由虚拟图像和声音所构成的内容的处理示例进行了描述，然而其可以被配置，使得内容被存储在信息处理装置30的存储部中，并且基于所拍摄的识别符(标记)来回放通过搜寻基于标记的内容而获取的内容。

当标记11被从信息处理装置30的拍摄图像中识别出时，信息处理装置 30开始对内容进行回放。

然而，如上所述，在通过标记识别作为触发器来进行内容的回放的很多装置中，通常，当标记未被识别出时，内容的回放停止，并且此后，当标记再次被识别出时，从起点回放相同的内容。

在本公开的配置中，在该情形中，以与现有技术的处理不同的方式来进行处理控制。将参照图2对一个示例进行描述。

图2中示出了两种状态作为在由用户所持有的信息处理装置30中拍摄图像的状态。

(A)标记识别状态

(B)标记暂时消失状态

(A)标记识别状态是这样的状态：在通过由用户所持有的信息处理装置30的成像部(相机)所拍摄的拍摄图像中拾取标记11，并且能够进行标记识别。

在所述状态中，基于标记识别来进行内容差异(content difference)，回放虚拟照片图像31显示在显示部上，并且回放声音32从扬声器输出。

另一方面，(B)标记暂时消失状态是这样的状态：在该状态中，标记11 从通过由用户所持有的图像处理装置30的拍摄部(相机)所拍摄的拍摄图像中消失，并且暂时无法进行标记识别。

在本公开的处理中，即使在标记暂时消失的状态中，仍继续回放声音。

由于这种内容回放控制，所以即使当标记从拍摄图像瞬间消失，用户也不会错过听到诸如广告信息之类的内容。

此外，在本公开的配置中，在返回到能够进行标记识别的状态即图2(A) 的状态的情形中，继续连续的回放处理，而不是从内容的起点进行回放。

在下文中，将对本公开的内容回放控制处理进行详细描述。

[2、本公开的内容回放控制中的状态转变]

接下来，将对本公开的内容回放控制中的状态转变进行描述。

图3是描述本公开的信息处理装置被设置成的多个状态以及每个状态的转变处理的示图。

本公开的信息处理装置被设置成下面四种状态中的任何一种。

(a)标记识别成功状态

(b)标记跟踪状态

(c)标记暂时消失状态

(d)标记完全消失状态

本公开的信息处理装置被设置成四种状态(a)至(d)中的任何一种。

(a)标记识别成功状态是这样的状态：从无法在拍摄图像中识别出标记的“完全消失状态”以来第一次识别出标记。

(b)标记跟踪状态是这样的状态：已识别出的标记被跟踪。

(c)标记暂时消失状态是这样的状态：在“标记跟踪状态”中所跟踪的标记消失，并且从消失时所经过的时间小于或等于预设阈值时间Δt。

(d)标记完全消失状态是这样的状态：“标记跟踪状态”中所跟踪的标记消失，并且从消失时所经过的时间超过预设阈值时间Δt。

当作为执行本公开的处理的程序的应用开始时，首先，初始状态被设置成“(d)标记完全消失状态”。之后，当从拍摄图像中识别出标记时，根据图 3中所示的转变线(S1)，状态转变至“(a)标记识别成功状态”。

紧接着在转变至“(a)标记识别成功状态”之后，根据转变线(S2)，状态转变至“(b)标记跟踪状态”。

当在“(b)标记跟踪状态”中从拍摄图像检测标记时，状态保持在“(b) 标记跟踪状态”。

在“(b)标记跟踪状态”中，当标记从拍摄图像中消失时，根据转变线(S3)，状态转变至“(c)标记暂时消失状态”。

在“(c)标记暂时消失状态”中，对从该状态的开始时所经过的时间进行测量，并且确定所测量的时间是否超过预设阈值时间Δt。

在“(c)标记暂时消失状态”中，当在预设阈值时间Δt内从拍摄图像中检测到标记时，根据转变线(S4)，标记转变至“(b)标记跟踪状态”。

另一方面，在“(c)标记暂时消失状态”中，当在预设阈值时间Δt内没有从拍摄图像中检测到标记并且所测量的时间超过预设阈值时间Δt时，根据转变线(S5)，状态转变至“(d)标记完全消失状态”。

在“(d)标记完全消失状态”中，当从拍摄图像中识别出标记时，根据图 3中所示的转变线(S1)，状态转变至“(a)标记识别成功状态”。

在“(d)标记完全消失状态”中，当未从拍摄图像中识别出标记时，状态保持在“(d)标记完全消失状态”。

本公开的信息处理装置进行这些状态转变。

此外，如图3中所示，

(a)标记识别成功状态

(b)标记跟踪状态

在这两种状态中，进行对由图像和声音所构成的内容的回放。

就是说，如同在图2(A)中所示的标记识别状态中，回放虚拟图像31 显示在信息处理装置30的显示部上，同时被叠加在拍摄图像上，并且通过扬声器输出回放声音32。

此外，

在(c)标记暂时消失状态中，

仅对声音进行回放。

就是说，如同在图2(B)中所示的标记暂时消失状态中，回放声音32 通过信息处理装置30的扬声器输出。回放虚拟图像31并不叠加地显示在显示部上。

此外，

在(d)标记完全消失状态中，

停止对图像和声音的回放。

[3、由信息处理装置进行的内容回放控制处理的顺序]

接下来，将对由本公开的信息处理装置所进行的内容回放控制处理的顺序进行描述。

附带地，图4的流程图中所示的处理根据例如在信息处理装置的存储部中所存储的程序(应用)在信息处理装置的数据处理部的控制下进行，所述数据处理部即具有CPU等的、拥有程序执行功能的数据处理部。

在下文中，将按顺序对各个步骤的处理的细节进行描述。

(步骤S101)

首先，在步骤S101，信息处理装置开始应用并且通过信息处理装置的成像部(相机)来拍摄图像。例如，如图1中所示的具有标记的海报被拍摄。

在开始增强拍摄之后，信息处理装置的数据处理部继续进行确定在拍摄图像中是否包括标记的标记搜寻处理。

如上所述，信息处理装置的初始状态是“标记完全消失状态”，并且当从拍摄图像中检测到标记时转变至“标记识别成功状态”。

此外，例如，如参照图1所描述的，可将赛博码之类的编码信息用作标记。此外，代替使用这种编码信息，例如，海报本身的图像信息可被用作标记，或者诸如海报上印制的数字之类的各种信息可被用作标记。

(步骤S102)

随后，在步骤S102，确定状态是否为未从拍摄图像中检测到标记的“标记完全消失状态”。

如上所述，初始状态是“标记完全消失状态”。

当确定出处于“标记完全消失状态”时，处理进入步骤S103。

当状态不是“标记完全消失状态”时，即，当已经检测到标记时，处理进入步骤S109，并且进行标记跟踪处理。就是说，进行图3(b)中所示的标记跟踪状态中的标记跟踪处理。

(步骤S103)

在步骤S102中，确定出处于“标记完全消失状态”，处理进入步骤S103，并且进行从拍摄图像中检测标记的处理。

(步骤S104)

在步骤S104，确定步骤S103的标记检测处理是否成功。

当标记检测处理成功时，状态转变至“标记识别成功状态”，并且处理进入步骤S105。

另一方面，当标记检测处理不成功时，处理返回至步骤S101的相机图像获得处理，并且重复步骤S101和后续步骤的处理。

(步骤S105)

当在步骤S104标记检测处理成功时，状态转变至“标记识别成功状态”，并且处理进入步骤S105。

在步骤S105中，确定回放位置信息是否记录在信息处理装置的存储器 (存储部)中。

回放位置信息是在之前的内容回放处理中的回放停止位置信息。

此外，回放位置信息的存储目的地可以是信息处理装置的存储器(存储部)，或者可以是通过信息处理装置的通信部来进行通信的服务器内部的存储部。在使用服务器的配置中，进行图4中所示的流程，同时进行与服务器通信的处理。

尽管下文所述，基于诸如标记消失之类的预定条件，当在回放信息处理装置的内容中间停止内容回放时，信息处理装置将内容回放停止位置记录在信息处理装置或服务器的存储器(存储部)中。

在下文的描述中，将对不使用服务器的配置示例进行描述。

在步骤S105，内容回放在中间停止，并且确定回放位置信息是否被记录在信息处理装置的存储器(存储部)中。

当回放位置信息被记录时，处理进入步骤S106。

当回放位置信息未被记录时，处理进入步骤S107。

(步骤S106)

在步骤S106，当在步骤S105中确定出前一内容回放处理中的回放停止位置信息被记录在信息处理装置的存储器(存储部)中时，信息处理装置从该存储器获取回放停止位置信息，并且以所获取的内容回放停止位置作为内容回放开始位置来进行搜寻回放开始位置的回放位置搜寻处理。

(步骤S107)

在步骤S107，信息处理装置开始从由步骤S106的搜寻处理所检测到的内容回放开始位置来回放内容。

此外，当在步骤S105中确定出在前一内容回放处理中回放停止位置信息未被记录在信息处理装置的存储器(存储部)中时，在步骤S107从内容的开始部分开始对内容的回放。

附带地，回放内容是由参照图1所描述的回放虚拟图像31和回放声音32构成的内容。内容从信息处理装置的存储部来获取。替代地，在使用服务器的配置中，内容可以从处于通信中的服务器来获取。

在下文的描述中，将对在信息处理装置的存储部中所存储的内容进行回放的处理示例进行描述。

(步骤S108)

在步骤S108，确定诸如内容回放结束或应用结束之类的预定结束条件是否发生，并且当结束条件发生时结束处理。

当结束条件不发生时，处理返回至步骤S101，并且继续进行步骤S101 和后续步骤的处理。

(步骤S109)

如上所述，步骤S109是当状态不是“标记完全消失状态”时即当在步骤 S102的处理中已经检测到标记时的转变处理步骤，所述步骤S102即确定状态是否为从拍摄图像中未检测到标记的“标记完全消失状态”的处理。

在步骤S109中，对所检测到的标记进行跟踪。就是说，进行图3(b) 中所示的标记跟踪状态中的标记跟踪处理。

(步骤S110)

在步骤S110，确定在标记跟踪期间的标记的跟踪是否成功。

当成功时，处理进入步骤S107，从而继续回放内容。

当在标记跟踪期间的标记的跟踪失败时，即当标记消失时，处理进入步骤S111。在该情形中，状态转变至图3中所示的“(c)标记暂时消失状态”。

(步骤S111)

在步骤S111，开始对从标记消失时所经过的时间进行测量。

(步骤S112)

在步骤S112，确定在步骤S111中开始被测量的、从发生标记消失所经过的时间(消失时间)是否超过预定阈值时间Δt。

消失时间＞阈值时间Δt

当满足上述确定方程式时，处理进入步骤S114。在行动进入步骤S114 的时候，状态转变至图3中所示的“(d)标记完全消失状态”。

当从发生标记消失所经过的时间(消失时间)不超过预定阈值时间Δt并且上述确定方程式不满足时，处理进入步骤S113。

(步骤S113)

步骤S113是当从发生标记消失所经过的时间(消失时间)不超过预定阈值时间Δt时的处理。就是说，步骤S113是图3中所示的“(c)标记暂时消失状态”中的处理。在步骤S113，对内容中的图像的回放停止，就是说，停止将虚拟图像重叠地显示在拍摄图像上的处理。然而，仅继续对声音的输出。

具体地，仅继续对与图2(B)中所示的标记暂时消失状态相对应的声音进行内容回放。

(步骤S114)

步骤S114是当从发生标记消失所经过的时间(消失时间)超过预定阈值时间Δt时的处理。就是说，步骤S114是在转变至图3中所示的“(d)标记完全消失状态”的情形中的处理。

在步骤S114，停止对图像和声音二者的回放。就是说，将虚拟图像重叠地显示在拍摄图像上的处理和回放声音的处理二者均被停止。

(步骤S115)

在步骤S114中停止回放内容之后，在步骤S115，将内容回放停止位置信息记录在存储器中。

此外，在内容中，预先停止对图像的回放，仅继续对声音进行回放，并且之后，进行停止回放声音的处理。然而，在存储器中存储的回放停止位置是图像回放停止位置或声音回放停止位置二者之一的设置。

内容的图像和声音被同步回放。在步骤S113，仅输出回放内容的声音，并且不对图像进行显示。然而，根据声音的回放来更新内容回放位置。

在步骤S115，将在步骤S114中的与图像回放停止位置或声音回放停止位置相对应的回放位置信息记录在存储器中。

上文所述的在步骤S105中从存储器中搜寻回放位置信息的处理是从存储器中提取回放位置信息的处理。

当在步骤S105中从存储器中获得回放位置信息成功时，在步骤S107中确定回放开始位置，并且在步骤S107中恢复对内容的回放，图像和声音开始从步骤S114中的图像或声音停止的停止位置一起被回放。

将参照图5中所示的顺序图对停止内容的回放，然后恢复内容的回放的处理示例进行描述。

回放内容是由回放位置＝T0至T5所构成的内容，以回放开始位置＝T0并且回放结束位置＝T5作为内容回放位置。图像和声音包括在所述内容中。

图像对应于图1和图2中所示的回放虚拟图像31，并且所述图像是重叠地显示在诸如拍摄图像之类的基础图像上的图像。

声音例如对应于与图1和图2中所示的图像一起同步回放的回放声音32。

在图5中，

(A)第一标记识别时的回放处理

(B)第二标记识别时的回放处理

分别示出这些回放处理。

首先，(A)将对在第一标记识别时的回放处理进行描述。当开始应用并且从拍摄图像中检测到标记时，图像和声音二者开始从内容开始位置进行回放(T0)。

在内容回放位置的时间点(T1)，发生标记消失，即从拍摄图像中检测标记失败。

从所述时间点，开始测量消失时间。就是说，对附图中所示的从T1所经过的时间进行测量。

在发生标记消失时，停止对内容中的图像的回放。

就是说，内容回放时间(T1)是图像回放停止位置，并且图像回放停止位置被记录在存储器中。

附带地，在本处理示例中，图像回放停止位置是在存储器中存储的回放位置信息。

图像的回放停止在内容回放位置(T1)处，但是继续进行对声音的回放。就是说，在图3中所示的“(c)标记暂时消失状态”中仅继续进行对声音的回放。

声音回放处理与仅对图5中所示的内容回放位置(T1至T2)处的声音进行回放的处理相对应。

在内容回放位置(T1)处，当发生标记消失时，开始测量消失时间，并且继续标记消失状态直到所经过的时间已经经过预设阈值时间Δt为止，状态转变至标记完全消失状态，并且对声音的回放停止在所述时间点。就是说，如图5中所示，对声音的回放停止在内容回放位置(T2)处。

之后，当从拍摄图像继续进行标记检测处理并且该标记检测成功时，进行在图5(B)中所示的第二标记识别时的回放处理。

在(B)第二标记识别时的内容回放处理中，从第一回放处理的停止位置进行回放。

(A)在第一标记识别时的内容回放中，内容回放时间(T1)是图像回放停止位置，并且图像回放停止位置被记录在存储器中。

(B)在第二标记识别时的内容回放处理中，获取在存储器中存储的回放位置信息(T1)，并且从内容回放位置(T1)开始图像和声音的回放。

通过所述处理，用户能够从回放停止位置而非起点来观看内容。

此外，图5示出了在(B)第二标记识别时的内容回放处理中当在内容回放位置(T3)处发生标记消失时的处理。

然而，附图中所示的内容回放位置(T3至T4)的示例是当在从发生标记消失所经过的时间超过预设阈值时间Δt之前再次检测到标记时的处理示例。

就是说，其是当在从发生标记消失所经过的时间超过预设阈值时间Δt之前在内容回放位置(T4)的时间点再次检测到标记的处理。

在该情形中，状态转变如下。

在T3之前，状态转变至标记跟踪状态。

在T3至T4，状态转变至标记暂时消失状态。

在T4，状态转变至标记识别成功状态。

在T4之后，状态再次转变至标记跟踪状态。

在T3，当发生标记消失时，停止对图像的回放。然而继续对声音的回放。

之后，当在T4再次检测到标记时，照原样继续对声音的回放，并且还从与声音同步的回放位置开始对图像的回放。

在本公开的处理中，当发生标记消失时，由于回放停止位置被记录并且在恢复回放时从回放停止位置开始回放，所以不进行重复从起点回放内容的不必要的处理。

此外，即使当发生标记消失时，声音的回放仍继续预定的时间。因此，例如，以这样的方式来恢复对图像的回放：用户在那段时间进行将相机对准标记位置的处理，因此，能够进行对内容的继续回放。

附带地，在图5中所示的内容回放控制处理中，在停止和恢复对内容的回放时进行对内容的回放的开/关切换，然而在停止对内容的回放时可进行逐渐降低声音级别的淡出处理，并且在恢复对内容的回放时可进行逐渐增大声音级别的淡入处理。

图6中示出了回放控制处理示例。

在图6中，与图5相似

(A)第一标记识别时的回放处理

(B)第二标记识别时的回放处理

分别示出这些回放处理。

回放内容和标记消失或再次检测的定时(timing)与图5相同。

就是说，内容是由回放位置＝T0至T5所构成的内容。图像和声音包括在所述内容中。

(A)在第一标记识别时的回放处理中所示的处理是当在回放位置(T1) 处发生标记消失并且照这样已经经过了阈值时间(Δt)时的处理。

在所述处理示例中，在发生标记消失的时间(T1)，停止对内容中的图像的回放，并且将图像回放停止位置记录在存储器中。

尽管图像的回放停止在内容回放位置(T1)处，然而继续进行对声音的回放。然而，在本处理示例中，在从内容回放位置(T1)对声音的回放的处理中，进行逐渐降低声音的级别的淡出处理。

在图6(A)中所示的内容回放位置(T1至T2)处在仅对声音进行回放的处理时进行淡出声音回放处理。

之后，当从拍摄图像中继续进行标记检测处理并且该标记检测成功时，进行图6(B)中所示的第二标记识别时的回放处理。

(B)在第二标记识别时的内容回放处理中，从第一回放处理的停止位置进行回放。

(A)在第一标记识别时的内容回放中，内容回放时间(T1)是图像回放停止位置，并且将图像回放停止位置记录在存储器中。

(B)在第二标记识别时的内容回放处理中，获取在存储器中存储的回放位置信息(T1)，并且从内容回放位置(T1)恢复对图像和声音的回放。

在本处理示例中，在存储器中存储的回放位置信息(T1)之前的位置被设置作为回放开始位置，并且进行从所述回放开始位置逐渐增大图像和声音的级别的淡入回放处理。

此外，与图5(B)相似，图6(B)示出了当在内容回放位置(T3)处发生标记消失并且在超过预设阈值时间Δt之前再次检测标记时的处理示例。

当在内容回放位置(T3)处发生标记消失时，停止对图像的回放，但是不停止而是继续对声音的回放。然而，在本处理示例中，进行逐渐降低回放声音的级别的淡出处理。

此外，当在从发生标记消失所经过的时间超过预设阈值时间Δt之前的内容回放位置(T4)的时间点再次检测标记时，通过逐渐增大图像和声音的回放级别来恢复回放，就是说，通过进行淡入处理来恢复对内容的回放。

[4、信息处理装置的配置示例]

接下来，将参照图7对进行上述处理的信息处理装置的配置示例进行说明。

如图7中所示，信息处理装置100包括数据处理部110、存储部12、成像部(相机)130、显示部140以及扬声器150。

数据处理部110包括标记识别跟踪部111、回放控制部112、图像显示处理部113以及声音回放处理部114。

内容121和回放位置信息122被记录在存储部120中。

结合上文图4中所示的流程图的各个步骤的上述处理对由图7中所示的各个部所进行的处理进行描述。

成像部(相机)130进行图4中所示的流程的步骤S101的处理，即拍摄相机图像的处理。

标记识别跟踪部111进行图4的流程的步骤S103或步骤S109的处理。就是说，从成像部(相机)130的拍摄图像中检测标记，并且进行对所检测到的标记的跟踪处理。

如上所述，可将各种信息例如诸如赛博码之类的编码信息或具体的图像信息用作标记。

回放控制部112进行图4中所示的流程的步骤S104至S107以及步骤 S110至S115的处理。

就是说，通过从标记识别跟踪部111输入标记识别结果信息来进行内容回放控制。

在内容回放控制中，进行上文参照图3所述的状态转变，并且在上文参照图5或图6所述的回放控制之后，即在对图像的回放停止之后，进行继续回放声音的处理。

此外，在停止回放的情形中，进行将与回放停止位置相对应的回放位置信息122记录在存储部120中的处理。在恢复回放时，进行获取在存储部120 中存储的回放位置信息122以及从该位置恢复回放处理的处理。

附带地，回放内容是存储部120的内容121，并且是包括图像信息和声音信息的内容。

图像显示处理部113将内容121的图像数据重叠在拍摄图像上，并且将所重叠的图像输出至显示部140。

声音回放处理部114通过扬声器150输出内容121的声音数据。

当进行上文参照图6所述的淡入处理和淡出处理时，图像显示处理部113 和声音回放处理部114根据回放控制部112的指令来进行对输出数据的级别控制。

此外，作为具体的硬件配置，数据处理部110能够由具有CPU等的控制单元来配置，并且存储部120能够由诸如RAM、ROM或硬盘之类的各种存储部件来配置。

由CPU等配置的数据处理部110通过执行在存储部120中存储的程序(应用)根据上文附图中所示的流程来进行上文所述的处理。

图8示出了另一信息处理装置200的配置示例。

与图7的信息处理装置100的不同在于包括了输入部160。

在停止回放内容之后恢复对内容的回放的处理时，输入部160例如通过输入用户输入来通知回放控制部112，以便确定处理方面。

回放控制部112进行与用户输入信息相对应的处理。

例如，

(1)恢复从在前述实施例中所描述的回放停止位置进行中途回放的处理

(2)从起点而非回放停止位置进行对内容的回放的重放处理

根据用户输入能够选择性地回放(1)和(2)之一。

具体地，输入部160能够被实现为在显示部140上显示的用户界面(IF)。

图9中示出了用户界面的显示示例。

在图9中，作为UI信息，

(A)一示例，在该示例中显示有指示从起点回放的图标251[重放]

(B)一示例，在该示例中显示有指示从起点回放的图标251[重放]以及指示从停止位置回放的图标252[恢复]

示出了这两个UI显示示例。

例如，当在标记消失之后重新检测到标记时，将这些UI显示在显示部 140上。

例如，在图9(A)中所示的、其中仅显示指示从起点回放的图标251[重放]的配置中，当该图标被触碰时，从起点回放内容。就是说，并不从之前的回放停止位置进行回放，而是从起点进行内容的回放。

当在预定时间中未检测到图9(A)中所示的、与指示从起点回放的图标 251[重放]相对应的触摸输入时，进行前述实施例中所述的处理，即从之前的回放停止位置的回放。

所述回放控制由回放控制部112来进行。

例如，在图9(B)中所示的、其中显示有指示从起点回放的图标251[重放]以及指示从停止位置回放的图标252[恢复]的配置中，当所述图标之一被触碰时，进行与被触碰的图标相对应的处理。

就是说，当检测到指示回放的图标251[重放]的触摸输入时，从起点回放内容。

另一方面，当检测到指示从停止位置回放的图标252[恢复]的触摸输入时，从之前的回放停止位置进行回放。

所述回放控制由回放控制部112来进行。

此外，如图10中所示，可以进行配置，使得在之前的回放停止位置的回放图像显示在显示部上。图10中示出了停止位置的回放图像253。

用户能够检查图像并且从回放停止位置回放或从起点回放。

图8中所示的信息处理装置200是能够进行与这种用户输入相对应的控制的信息处理装置。

此外，图11中所示的信息处理装置30是一配置示例，在该配置示例中，内容401和回放位置信息402存储在服务器400中。

信息处理装置300通过通信部115来进行与服务器400的通信，并且通过获取内容401以及发送和接收回放位置信息402来进行回放控制。

在该情形中，回放控制是与基于图4的流程的上述处理相同的处理。

然而，通过经由通信部115来与服务器400通信来进行获取内容或者存储或提取回放位置信息的处理。

信息处理装置300的数据处理部110作为客户端通过从成像部130的拍摄图像中进行标记检测、在其中无法检测标记的标记消失时停止对从服务器 400接收到的内容的回放、将回放停止位置信息发送至服务器以及以随后的标记再次检测为条件从服务器输入回放停止位置信息来从与回放停止位置相对应的位置进行内容回放。

此外，与图11中所示的配置相似，图12中所示的信息处理装置500具有这样的配置：内容401和回放位置信息402存储在服务器400中，并且标记识别跟踪部403也安装在服务器400中。

信息处理装置500通过通信部115与服务器400进行通信，并且将成像部(相机)130的拍摄图像501提供给服务器400的标记识别跟踪部403。

服务器400的标记识别跟踪部403从拍摄图像中对标记进行识别，并且给信息处理装置500提供作为标记识别结果的标记识别信息502。

信息处理装置500的回放控制部112从服务器400接收内容，接收标记识别信息501，并且通过使用所接收到的标记识别信息501进行与基于图4 中所示的流程的上述处理相同的处理。

在本配置中，信息处理装置500的数据处理部110作为客户端通过通信部115将成像部130的拍摄图像501发送至服务器400，基于来自服务器400 的拍摄图像来接收标记识别信息502，并且对从服务器400提供的内容进行回放。

当来自服务器的标记检测信息指示代表无法检测标记的标记消失时，数据处理部110停止对内容的回放，通过通信部115将内容回放停止位置发送至服务器400，以随后的标记再次检测为条件从服务器400获取之前紧接被发送至服务器400的内容位置信息，并且从与所述位置相对应的位置回放内容。

所述处理配置极大地减少了信息处理装置500的处理负载。

[5、其它实施例]

在上文所述的实施例中，信息处理装置根据标记消失，即从拍摄图像中对标记的出现或不出现进行检测来进行内容回放控制。

具体地，上述实施例是这样的处理示例：根据指示是否检测到标记的信息以及从标记消失所经过的时间来进行内容回放控制。

触发在信息处理装置中的内容回放控制的信息可以是除了标记以外的信息。

具体地，例如，下面的信息可以用作内容回放控制的触发。

(a)回放内容的场景信息

(b)信息处理装置的传感器信息

(c)信息处理装置的来电信息

例如，信息处理装置的回放控制部可被配置为通过输入这种信息来进行内容回放控制。

对触发各个信息的内容回放控制处理的具体示例进行描述。

(a)在使用回放内容的场景信息的情形中，信息处理装置的回放控制部输入所附的并被设置为回放内容的元数据(属性信息)。

例如，当元数据是指示内容的分隔符的元数据时，进行停止内容的处理以及将停止位置记录在存储器中的处理。

在恢复回放的时间点，执行控制使得从回放被停止的内容的分隔符位置恢复内容。

此外，(b)在使用信息处理装置的传感器信息的情形中，信息处理装置的回放控制部输入信息处理装置的传感器信息，例如加速度传感器信息，当突然检测到信息处理装置的移动时停止对内容的回放，并且将回放停止位置信息记录在存储器中。例如，当用户进行将信息处理装置放入口袋中的处理时进行所述处理。

在恢复回放的时间点，进行控制使得从内容回放停止位置恢复内容。

此外，(c)在使用信息处理装置的来电信息的情形中，信息处理装置的回放控制部输入信息处理装置的来电信息，当存在来电时停止对内容的回放，并且将回放停止位置信息记录在存储器中。例如，当在来电之后进行通话并且在通话结束之后恢复回放时，所述处理是能够从内容回放停止位置恢复内容的控制。

[6、本公开的配置的摘要]

已经参照具体实施例对本公开的实施例进行了详细描述。然而，显而易见的是，在不脱离本公开的范围的情况下，本领域技术人员可对所述实施例进行修改和替换。就是说，本发明以示例的形式公开，并且不应解释为受限于此。本公开的范围应当参照所附权利要求来确定。

此外，本技术还可以被配置如下。

(1)

一种信息处理装置，包括：

(2)

根据(1)的信息处理装置，

其中所述数据处理部在所述内容回放处理中进行将构成内容的图像数据重叠地显示在所述成像部的拍摄图像上的的处理。

(3)

根据(1)或(2)的信息处理装置，

其中所述内容是包括图像和声音的内容，并且

其中当对所述特征图像的检测变得无法进行时，所述数据处理部停止仅对所述图像的回放，并且持续回放所述声音。

(4)

根据(1)至(3)中任一项的信息处理装置，

其中所述数据处理部对从当对所述特征图像的检测变得无法进行时的时间开始所经过的时间进行测量，并且当所经过的时间超过预定阈值时间时停止回放所述声音。

(5)

根据(1)至(4)中任一项的信息处理装置，

其中所述数据处理部以所述特征图像的再次检测为条件从存储器获取所述恢复点，并且从所获取的内容位置来对包括所述图像和所述声音的所述内容进行回放。

根据(1)至(6)中任一项的信息处理装置，

其中，当对所述特征图像的检测变得无法进行时，所述数据处理部进行随着时间的流逝来降低内容输出级别的淡出处理。

(7)

根据(1)至(6)中任一项的信息处理装置，

其中在对所述特征图像进行再次检测时，所述数据处理部进行随着时间的流逝来增大内容输出级别的淡入处理。

(8)

根据(1)至(7)中任一项的信息处理装置，

其中所述数据处理部输入选择(a)从存储器中所存储的所述恢复点来回放所述内容的恢复处理或者(b)从起点回放所述内容的重放处理的指令信息来作为在对所述特征图像进行再次检测时的所述内容回放处理的一个方面，并且根据输入信息对所述内容进行回放。

(9)

根据(1)至(8)中任一项的信息处理装置，

其中所述数据处理部在显示部上显示用户界面，所述用户界面允许输入选择(a)从存储器中所存储的所述恢复点来回放所述内容的恢复处理或者(b) 从起点回放所述内容的重放处理的指令信息来作为在对所述特征图像进行再次检测时的所述内容回放处理的一个方面。

(10)

根据(1)至(9)中任一项的信息处理装置，

其中所述特征图像是在所述拍摄图像中所包括的识别标记。

(11)

根据(1)至(10)中任一项的信息处理装置，

其中所述数据处理部根据输入的所述回放内容的场景信息、或者所述信息处理装置的传感器信息、或者所述信息处理装置的来电信息来进行停止回放所述内容的处理，并且进行将所述回放停止所在的内容位置记录在存储器中的处理。

(12)

一种信息处理装置，包括：

成像部，配置来拍摄图像；

通信部，配置来进行与服务器的通信；以及

(13)

一种信息处理装置，包括：

成像部，配置来拍摄图像；

通信部，配置来进行与服务器的通信；以及

其中，当来自所述服务器的所述特征图像检测信息指示出所述特征图像的检测无法进行时，所述数据处理部停止对所述内容的回放，通过所述通信部将所述回放停止所在的内容位置发送至所述服务器作为恢复点信息，以随后对所述特征图像的再次检测为条件来从与所述恢复点相对应的位置接收来自所述服务器的所述内容，并且回放所接收的内容。

(14)

一种服务器，包括：

通信部，配置来与客户端进行通信；

存储部，配置来存储所要提供给所述客户端的内容；以及

此外，在上文所述的装置和系统中进行的处理的方法，或者用于进行所述处理的程序也包括在本公开的配置中。

此外，例如，在选择(1)中所描述的配置可以是用户一侧的终端的配置，然而也可以是与用户终端通信的服务器的配置。

此外，在说明书中说明的处理顺序可以由硬件、由软件以及由结合硬件与软件的配置来实现。在处理由软件实现的情形中，可以将其中处理顺序被编码的程序安装在被包含在专用硬件中的计算机内的存储器中并且可以执行所述程序。还可以将程序安装在能够进行各种类型的处理的通用计算机中并且可以执行所述程序。例如，所述程序能够预先安装在存储介质中。除了从存储介质安装在计算机中以外，还可通过诸如局域网(LAN)或因特网之类的网络来接收程序，并且可将程序安装在诸如构建在计算机中的硬盘等之类的存储介质中。

注意，在本说明书中描述的各种类型的处理不仅可以以已经描述的时间顺序来进行，而且还可以根据进行处理的装置的处理能力或根据需要来并行或独立地进行。此外，本说明书中的系统不限于逻辑上聚集均被包含在同一外壳内的多个装置的配置。

工业应用性

如上所述，根据本公开的一个实施例的配置，在根据诸如标记之类的特征图像的内容回放处理中，在标记消失时以及在再次检测到标记时实现改进的回放控制。

根据这些配置，在根据标记的内容回放处理中，在标记消失以及再次检测到标记时来实现改进的回放控制。

参考符号列表

10 海报

11 标记

21 用户

30 信息处理装置(便携式终端)

31 回放虚拟图像

32 回放声音

100 信息处理装置

110 数据处理部

111 标记识别跟踪部

112 回放控制部

113 图像显示处理部

114 声音回放处理部

120 存储部

121 内容

122 回放位置信息

130 成像部(相机)

140 显示部

150 扬声器

160 输入部

200 信息处理装置

300 信息处理装置

400 服务器

401 内容

402 回放位置信息

403 标记识别跟踪部

500 信息处理装置

Claims

1.一种信息处理装置，包括：

2.根据权利要求1所述的信息处理装置，

其中所述数据处理部在所述内容回放处理中进行将构成内容的图像数据重叠地显示在所述成像部的拍摄图像上的处理。

3.根据权利要求1所述的信息处理装置，

其中所述内容是包括图像和声音的内容，并且

4.根据权利要求3所述的信息处理装置，

5.根据权利要求3所述的信息处理装置，

6.根据权利要求1所述的信息处理装置，

7.根据权利要求1所述的信息处理装置，

其中在对所述特征图像进行再次检测时，所述数据处理部进行随着时间的流逝来增加内容输出级别的淡入处理。

8.根据权利要求1所述的信息处理装置，

9.根据权利要求1所述的信息处理装置，

其中所述数据处理部在显示部上显示用户界面，所述用户界面允许输入选择(a)从存储器中所存储的所述恢复点来回放所述内容的恢复处理或者(b)从起点回放所述内容的重放处理的指令信息来作为在对所述特征图像进行再次检测时的所述内容回放处理的一个方面。

10.根据权利要求1所述的信息处理装置，

其中所述特征图像是在所述拍摄图像中所包括的识别标记。

11.根据权利要求1所述的信息处理装置，

12.一种信息处理装置，包括：

成像部，配置来拍摄图像；

通信部，配置来进行与服务器的通信；以及

13.一种信息处理装置，包括：

成像部，配置来拍摄图像；

通信部，配置来进行与服务器的通信；以及

其中，当来自所述服务器的所述特征图像检测信息指示所述特征图像的检测无法进行时，所述数据处理部停止对所述内容的回放，通过所述通信部将所述回放停止所在的内容位置发送至所述服务器作为恢复点信息，以随后对所述特征图像的再次检测为条件来从与所述恢复点相对应的位置接收来自所述服务器的所述内容，并且回放所接收的内容。

14.一种服务器，包括：

通信部，配置来与客户端进行通信；

存储部，配置来存储所要提供给所述客户端的内容；以及

15.一种信息处理方法，所述信息处理方法由信息处理装置来进行，所述信息处理方法包括：

其中所述数据处理部进行

16.一种计算机可读存储介质，其上存储有程序，并且当由处理器执行所述程序时执行如下信息处理：

其中所述程序使所述数据处理部进行