CN108027694B - 记录介质、内容提供装置以及控制方法 - Google Patents

Abstract

本发明提供一种使计算机执行以下处理的程序：检测书籍正被阅览，该书籍是印刷有特定故事的内容的用于读书的书籍，且已预先登录；对检测到正被阅览的对象书籍，指定该书籍所对应的故事的阅览中的进展位置；以及开始呈现与所指定的阅览中的进展位置建立了关联的双眼立体视觉内容。

Description

记录介质、内容提供装置以及控制方法

技术领域

本发明涉及一种程序、记录介质、内容提供装置以及控制方法，尤其涉及实现双眼立体视觉内容的用户体验的技术。

背景技术

近年来，随着LCD等显示装置的小型化及高分辨率化(像素密度的提高)、或具有能够实现高精细图形的实时再现的运算能力的信息处理装置的普及，HMD等能够提供双眼立体视觉内容的显示装置的利用成为现实。

HMD大致分为所谓的透过型(透视型)及非透过型，透过型即利用相机等拍摄外界的视觉信息，并将内容重叠在所获得的图像上而呈现，非透过型即所呈现的全部信息都不依赖于外界的视觉信息。在专利文献1中，公开了如下呈现方法：通过经由透过型HMD将所需的电子出版物重叠在附带标记的专用电子出版物阅览用书籍而呈现，由此使用户能够阅览电子出版物。

现有技术文献

专利文献

专利文献1：日本专利第3993423号公报

发明内容

[发明要解决的课题]

可是，像专利文献1那样通过配戴透过型HMD之后才能阅览电子出版物的构成会让用户觉得麻烦。例如，通常情况下，用户能够将纸质书籍拿在手中，一边翻页一边阅览该书籍(读书)，但如果是专利文献1的电子出版物阅览用书籍，用户只能做标记地观看。即，专利文献1的电子出版物阅览用书籍必须配戴HMD才能用于读书，会限制用户的读书体验。

尤其是在专利文献1的呈现方法中，重叠在电子出版物阅览用书籍而显示的图像只是构成电子出版物的页面的图像，配戴HMD的读书可能对用户不具有吸引力。

本发明的至少一个实施方式是鉴于所述问题而成的，目的在于提供一种在用户阅览用于读书的书籍时，提供更好的用户体验的程序、记录介质、内容提供装置以及控制方法。

[解决课题的技术手段]

为了达成所述目的，本发明的至少一个实施方式的程序使计算机执行以下处理：检测书籍正被阅览，该书籍是印刷有特定故事的内容的用于读书的书籍，且已预先登录；对检测到正被阅览的对象书籍，指定该书籍所对应的故事的阅览中的进展位置；以及开始呈现与所指定的阅览中的进展位置建立了关联的双眼立体视觉内容。

[发明的效果]

通过这种构成，根据本发明的至少一个实施方式，能够在用户阅览用于读书的书籍时，提供进一步的用户体验。

本发明的其它特征以及优点是通过参照附图的以下说明而变得明确。另外，在附图中，对相同或同样的构成标注相同的参照编号。

附图说明

附图包含在说明书中构成说明书的一部分，用于表示本发明的实施方式，并和实施方式的描述一起来说明本发明的原理。

图1是表示本发明的实施方式的内容提供系统的构成例的图。

图2是表示本发明的实施方式的PC100的功能构成的框图。

图3是例示本发明的实施方式的PC100中所执行的内容提供处理的流程图。

图4是用来对本发明的实施方式的内容提供开始前的导入演出形态进行说明的图。

图5A、图5B、图5C、图5D是用来对本发明的实施方式的双眼立体视觉内容的构成例进行说明的图。

图6A、图6B是对本发明的实施方式的双眼立体视觉内容的构成例进行说明的另一图。

具体实施方式

[实施方式]

以下，参照附图对本发明的例示性实施方式进行详细说明。另外，以下所说明的一实施方式是对将本发明应用于内容提供系统的例子进行说明，该内容提供系统包含的内容提供装置为内容提供装置的一例，在阅览用于读书的书籍时向用户提供双眼立体视觉内容。但是，本发明能够应用于能够在阅览用于读书的书籍时向用户提供双眼立体视觉内容的任意设备。

《内容提供系统的构成》

图1是表示本实施方式的内容提供系统的构成的系统图。

如图1所示，在本实施方式的内容提供系统中，为了在阅览书籍时向用户400提供与书籍300关联的双眼立体视觉内容，使用了头戴式显示器(HMD：Head Mounted Display)200。HMD200构成为显示利用配置在与配戴者(用户400)的各眼球对应的位置的相机210所拍摄的图像，作为所谓透视方式的HMD发挥功能。由此，实现了如下状态：即使在配戴有HMD200的状态下，用户400也能够阅读书籍300。

另外，在本实施方式中，阅览书籍300时，为了扩展基于该书籍中印刷的二维图像的通常用户体验，而经由HMD200呈现能够向用户400提供三维视觉以及听觉体验的内容。因此，HMD200具有未图示的显示装置220，该未图示的显示装置220在用户的左眼以及右眼分别显示不同的图像、即存在具有视差的关系的图像，且HMD200采用通过该显示形态向用户呈现双眼立体视觉带来的立体感的方式。然而，为了提供比通常的读书扩展了在视觉上从书籍中获得的信息的用户体验，HMD200并非必须为能够实现双眼立体视觉的构成。例如，在以通过基于视点移动的运动视差来呈现立体感的方式构成内容等情况下，HMD也可以为对两个眼球呈现相同图像的构成。

而且，在本实施方式中，为了使用户容易理解基于阅览中的书籍300内容的开始提供的控制，而采用透视方式的HMD200。其原因在于：根据关于用户400拿在手中的实物即书籍300的读书体验，有效地演出对提供内容所引起的经扩展的用户体验的导入。演出通过如下方式实现：从将利用相机210所拍摄的图像显示在显示装置220的状态切换到在该图像上与书籍300对应的区域重叠有附加性图像要素的图像的显示，并且以最终仅显示与提供内容相关的图像(遮挡外界的视觉信息)的方式进行转变。在本实施方式中，采用利用拍摄图像的HMD200作为透视方式的内容呈现装置，也可以为HUD(Head-Up Display，抬头显示器)等。然而，为了进一步向用户呈现与提供内容相关的沉浸感，优选使用能够以遮挡外界视觉信息的方式切换是否呈现拍摄图像的HMD200。

而且，为了呈现高沉浸感，在HMD200中内置未图示的传感器230。为了检测配戴着HMD200的用户400的包含视线方向(基本上为用户400的脸部朝向的方向)的姿势或移动(位置)(所谓头部跟踪)，传感器230例如可以包含方位传感器、加速度传感器、陀螺仪传感器等。为了严格地检测用户400的视线方向、即正在注视的方向，传感器230也可以具有检测瞳孔位置或角膜上的反射等的构成。而且，相机210也可以作为一部分传感器230发挥功能，在该情况下，可以构成为能够通过对利用相机210连续拍摄的图像检测光流或外部配置的标记而检测用户400的头部移动。

由传感器230检测出的视线方向的信息是在PC100中描绘双眼立体视觉内容的显示图像时予以考虑。而且，也可以考虑进由扬声器240播放的声音内容中的音像移动表现。视线方向的信息例如可以通过利用设置在HMD200内的未图示的转换器对传感器230的输出进行解析、运算而获得，也可以通过在PC100中对传感器230的输出进行解析、运算而获得。

另外，在本实施方式中，对使用HMD200本身所具备的传感器230检测HMD200的用户400的视线方向或头部位置的情况进行说明，但容易理解本发明的实施并不限于此。例如，当然也可以通过从使用HMD200的环境中所配置的外部相机的拍摄图像中检测标注在HMD200的标记来检测所述信息。而且，如下所述，在本实施方式中，对使用由相机210拍摄的图像来识别书籍300本身、或用户400正阅览的书籍300的页面或图像的情况进行说明，但这些检测中使用的图像也可以为来自使用环境中的其它相机的输出图像或合成图像。

PC100生成显示在HMD200所具有的显示装置220的显示图像并进行显示控制。在本实施方式中，PC100识别书籍300，根据传感器230的输出实时地描绘与该书籍300的阅览中的页面相应的双眼立体视觉内容并显示在220。通过这种方式，向用户400呈现与阅览中的页面对应的双眼立体视觉内容。

在本实施方式中，PC100是作为与HMD200分离地构成的装置进行说明，但本发明的实施并不限于此。即，不言而喻，HMD200与PC100可以为一体，也可以利用单独的HMD200进行书籍的识别以及显示图像的描绘或显示控制。

而且，在本实施方式的内容提供系统中，对为了提高沉浸感而使用以覆盖用户400的眼球的方式呈现双眼立体视觉内容的HMD200的情况进行说明。然而，也可以使用其它装置呈现双眼立体视觉内容，这些装置能够通过向用户400的左右各眼球提供存在具有视差的关系的图像来实现双眼立体视觉。

＜书籍＞

这里，对本实施方式的内容提供系统中成为内容提供对象的书籍300进行说明。

在本实施方式中，书籍为所谓漫画(comic)或绘本等实体物理性地存在(并非电子介质)的刊物，由印刷有特定故事的图像(可以包含文字)的页面构成。书籍为，例如可由纸介质构成，即使不使用本实施方式的内容提供系统，也能单独使阅览者理解所述故事内容的用于读书的普通实物书籍。

更详细地说，在本实施方式的内容提供系统中，为了提供与通常的书籍的读书体验不同的用户体验，书籍是作为理解其故事内容时需要进行翻页动作的能够触知的介质而非电子介质进行说明。即，并非触发电子书籍阅读器之类的经由显示装置提供通常的读书体验的电子介质，而是触发纸介质之类的不经由显示装置地提供通常的读书体验的物理性介质。所述情况是通过经由像HMD那样的显示装置在阅览同介质时提供性质不同(经扩展)的用户体验来实现。然而，本发明的实施中，容易理解作为触发内容提供的书籍，无需排除电子介质。

＜PC100的构成＞

图2是表示本发明的实施方式的PC100的功能构成的框图。

控制部101例如为CPU，控制PC100所具有的各单元的动作。控制部101通过读出存储在记录介质102的各单元的动作程序并在存储器103中展开执行来控制各单元的动作。

记录介质102为非易失性记录装置，例如包含PC100所具有的能够覆写的内置ROM、或者能够经由HDD或光驱读取的光碟。记录介质102不仅记录各单元的动作程序，而且记录各单元的动作中所需要的各种参数等信息。存储器103例如为易失性存储器，不仅用作各单元的动作程序的展开区域，而且用作暂时存储各单元的动作程序中输出的中间数据等的储存区域。

书籍DB104为本实施方式的内容提供系统中的数据库，对能够提供对应的双眼立体视觉内容的书籍信息进行管理。在书籍DB104中，关于各书籍的所管理的信息(书籍信息)包含书籍的至少部分页面的图像或页面内的部分图像。这些图像是用于如下用途，即，基于利用相机210所拍摄的图像(拍摄图像)，判断阅览中的书籍300属于哪本书籍、或者是否属于登录在书籍DB104的书籍，或者辨别书籍内的页面或漫画的场面或插图等的部分图像。而且，对书籍DB104中所管理的各图像关联与对应的书籍的故事相关的该故事方面的进展阶段信息。

以下，为了方便而以如下形式进行说明，即，本实施方式的内容提供系统中累积在书籍DB104的图像为漫画的场面所对应的图像(以下称为场面图像)，能够提供双眼立体视觉内容的书籍为漫画。另外，虽然可以利用场面图像判断书籍为哪本，但为了效率化，在本实施方式的内容提供系统中例如通过识别封面图像或页面内的其它字串或条形码之类的图形图案等来进行判断。此外，也可以基于用户的操作输入来判断书籍为哪本。

书籍检测部105基于拍摄图像进行与检测登录在书籍DB104的书籍是否正处于阅览中相关的处理。例如，当拍摄图像中包含推定为书籍300的封面的图像时，书籍检测部105通过将提取对应区域并应用比较用途的特定的变形处理所得的图像与书籍DB104所管理的书籍的封面图像群进行比较，而判断书籍300是否为能够提供双眼立体视觉内容的书籍，并且在为能够提供的书籍时判断是哪本书籍。

进展位置指定部106基于拍摄图像所包含的对应于书籍300的区域的图像，指定目前的用户400处于阅览中的书籍的故事中的哪个阶段(进展位置)。在本实施方式的内容提供系统中，当对用户400正阅览的书籍300检测到登录在书籍DB104的场面图像时，基于与该场面图像建立了关联的故事方面的进展阶段信息指定进展位置。

近年来，例如对同一故事的作品出版多种书籍(或影像作品)的所谓媒体组合的提供形态日益增加。更详细地说，对于同一故事的作品，以基于同一进展的副线故事或派生作品的漫画、由动画化的该作品的框格图像构成场面的漫画、单行本化之前的登载杂志(漫画杂志等)、以及加入了插图的小说等各种形态提供书籍，而不限于1种漫画。考虑到这种出版背景、或对应的双眼立体视觉内容的制作成本等，将故事方面的进展位置与双眼立体视觉内容建立关联具有如下方面的优点：能对图样、页面构成、描写顺序(编写书籍时在演出方面对故事时间序列进行变更后的顺序)可能分别不同的多种书籍，在阅览与同一进展位置相关的各自的页面或场面时提供共用的双眼立体视觉内容。

内容DB107对书籍DB104所管理的各书籍管理对应的双眼立体视觉内容。各书籍所对应的双眼立体视觉内容为基于书籍的故事控制进展的内容，对书籍准备至少1种以上。例如，在像本实施方式中所例示那样书籍为漫画的情况下，对预先登录的多个场面图像的每一个，管理与场面图像的故事(场面图像所表现的故事以及/或到场面图像为止的故事)同样地进展的双眼立体视觉内容。对1本书籍的多个场面图像的每一个所管理的双眼立体视觉内容可以分别表现不同的故事范围，也可以将所表现的至少一部分的故事范围共用。

而且，内容DB107所管理的双眼立体视觉内容可以对除了进行描绘的视点的位置或方向(视线方向)的变更以外的要素进行动态变更。另一方面，因为该双眼立体视觉内容提供与读书相关的经扩展的用户体验，所以优选基本上根据书籍的故事来预先确定场面转换或角色的动作以及言行。然而，在本发明的实施中，书籍与提供的双眼立体视觉内容的关联性只要基于触发提供开始的书籍记载的内容，则并不限定于此。

状态检测部108以特定的时间间隔检测HMD200的姿势或位置等HMD200目前的状态。状态检测部108经由下述通讯部111接收相机210或传感器230的输出，并对HMD200目前的状态进行检测而以状态信息的形式储存在存储器103。在本实施方式中，PC100中的状态检测部108是作为进行与指定HMD200的姿势或位置相关的解析或运算的部件进行说明。然而，可以是如下构成，即，像上文那样在PC100中接收在HMD200上进行这些运算所得的运算结果，且状态检测部108进行状态检测，也可以是如下构成，即，PC100接收来自HMD200以外的装置的输出或HMD200以外的装置中的运算结果，且状态检测部108进行状态检测。

描绘部109基于利用状态检测部108储存在存储器103的状态信息，生成显示在HMD200的显示装置220的左眼用以及右眼用显示图像。在本实施方式的内容提供系统中，显示图像的构成在书籍300所对应的双眼立体视觉内容开始前后有所不同。双眼立体视觉内容开始前，显示装置220显示利用相机210所拍摄的拍摄图像以使用户400能够实现书籍300的读书体验。在本实施方式的内容提供系统中，为了能够在不产生不适感的情况下演出阅览书籍300时的显示图像到双眼立体视觉内容的转变，显示图像并非在HMD200内将相机210的输出直接显示(throughput)在显示装置220，拍摄图像先被输出到PC100，且利用描绘部109将构成为显示图像的图像显示在显示装置220。即，为了演出用户进入阅览中的书籍300所记载的故事的世界的体验，拍摄图像以双眼立体视觉内容相关的要素能够重叠的方式经由PC100输出为显示图像。

为了用户400容易识别内容的开始且加以关注，例如以如下方式演出从书籍300的阅览到双眼立体视觉内容的转变即可，即，通过特定的重叠显示呈现触发提供开始的场面图像而使其能够识别之后，该场面图像一面以覆盖用户400的视野的方式扩大图像，一面转变为双眼立体视觉内容的观赏。此外，关于与内容提供开始相关的演出形态，在下述内容提供处理中进一步举例而详细叙述。

双眼立体视觉内容开始后，为了提高对该故事世界的沉浸感，描绘部109不使用拍摄图像，而是将基于内容DB107所管理的对应的双眼立体视觉内容的信息描绘的左眼用以及右眼用画面进行连结，构成1个显示图像。左眼用以及右眼用画面是通过如下方式生成：在描绘对象的三维场景内，将基于状态信息而在该场景内确定的位置作为基准，隔开对应于眼间距离的量而定义视点位置，并对该视点位置描绘该场景。而且，控制部101以基于状态信息设定与用户400的头部移动相应的视线方向或位置的视点而描绘场景的方式来控制描绘部109，由此能将用户400进一步沉浸到内容中。

声音生成部110生成经由扬声器240分别呈现在用户400的左耳以及右耳的声音内容，以便提供双眼立体视觉内容时用户400能够进行音响定位。在本实施方式的内容提供系统中，所提供的双眼立体视觉内容为根据书籍300的故事预先确定了进展的内容，所以声音生成部110是通过根据预先定义的该声音内容的产生源与根据状态信息确定的视点位置的位置关系进行加工而生成对该内容准备的声音内容。

通讯部111为PC100所具有的与外部设备的通讯接口。在本实施方式中，通讯部111具有：输出用接口，进行对HMD200的显示装置220的显示画面输出、以及对扬声器240的声音信号输出；以及输入用接口，以输入的形式接受利用相机210所拍摄的拍摄图像以及传感器230的传感输出。另外，在本实施方式中，对将PC100与HMD200有线连接的情况进行说明，但PC100与HMD200也可以通过特定的通讯方式进行无线连接，或者经由其它装置进行连接。

而且，在本实施方式中，对PC100具有书籍DB104以及内容DB107的情况进行了说明，但这些数据库并非必须作为PC100的构成要素而内置。即，因为书籍DB104或内容DB107所管理的信息为检测书籍300或对用户400提供双眼立体视觉内容时需要的信息，所以书籍DB104或内容DB107也可以为经由通讯部111连接的外部装置。在该情况下，书籍检测部105、进展位置指定部106、描绘部109、声音生成部110只要构成为在对用户400提供服务时经由通讯部111向这些数据库请求必需信息即可。

《内容提供处理》

对于利用具有这种构成的本实施方式的PC100执行的内容提供处理，使用图3的流程图对具体处理进行说明。该流程图所对应的处理能够通过如下方式实现，即，控制部101读出例如存储在记录介质102的对应的处理程序并在存储器103中展开执行。另外，本内容提供处理例如是在确立了PC100与HMD200的连接并发出启动与本内容提供处理相关的应用程序的指示时开始进行。

S301中，控制部101开始经由通讯部111从HMD200获取利用相机210所拍摄的左眼用以及右眼用拍摄图像。所获取的拍摄图像储存在存储器103。

S302中，书籍检测部105判断目前阅览中的书籍是否为预先登录的书籍。即，书籍检测部105判断拍摄图像内是否包含表示书籍的图像(书籍图像)，且由该书籍图像获得的书籍识别用信息是否表示预先登录的书籍。进行本步骤的判断时，书籍检测部105从书籍DB104对预先登录的书籍获取各书籍的识别用信息，并与从书籍图像获得的书籍识别用信息进行比较，由此指定阅览中的书籍为哪一本。书籍检测部105在判断目前阅览中的书籍为预先登录的书籍时，将识别该书籍(对象书籍)的信息(对象书籍ID)储存在存储器103并将处理转向S303。而且，书籍检测部105在判断目前阅览中的书籍并非预先登录的书籍时将处理转向S309。

S303中，进展位置指定部106判断用户400目前正阅览的场面图像是否是作为开始提供双眼立体视觉内容的图像而预先登录的场面图像。进展位置指定部106与对象书籍ID建立关联而获取书籍DB104所管理的书籍信息(对象书籍信息)，并判断书籍图像中推定为目前正阅览的场面图像是否与该书籍信息所包含的场面图像一致。另外，推定为目前正阅览的场面图像可为利用任何方法推定的图像，例如配置在拍摄图像的中央位置的场面图像，当能够指定拍摄图像中的注视点时为配置在注视点的场面图像等。进展位置指定部106在判断目前正阅览的场面图像为作为开始提供双眼立体视觉内容的图像而预先登录的场面图像时将处理转向S304，在判断并非预先登录的场面图像时将处理转向S310。

S304中，进展位置指定部106对于目前正阅览的场面图像所对应的故事方面的进展位置，基于对象书籍信息中与该场面图像建立关联的进展阶段信息进行指定。另外，可以构成为对1个场面图像指定进展位置之后，在S303中判断同一场面图像正被阅览期间不执行本步骤的处理。

S305中，控制部101判断是否满足所指定的进展位置的双眼立体视觉内容的开始条件。双眼立体视觉内容的开始条件可以为基于用户400已理解对象场面图像的内容的判断而确定的条件，例如对象场面图像的阅览时间已经达到该场面图像的读书或内容理解所需的预先确定的时间，或者用户400的阅览对象从对象场面图像变为下一场面图像等。控制部101在判断满足开始条件时将处理转向S306，在判断不满足时将处理转向S310。

S306中，描绘部109在控制部101的控制下生成显示在显示装置220的显示图像并输出，以便在开始提供所指定的进展位置的相关双眼立体视觉内容前进行与导入演出相关的显示控制。在基于指定场面图像提供双眼立体视觉内容时，为了向目前为止都在阅读书籍300的用户400明确表示开始提供，优选进行像上文那样呈现触发提供开始的场面图像使其能够识别的导入演出。因此，在本步骤中，描绘部109进行以下处理：一边使导入演出相关的要素依次转变，一边对各左眼用以及右眼用视点进行描绘，构成重叠在各拍摄图像的显示图像。

＜内容提供开始前的导入演出形态＞

作为导入演出的形态，上文已经对如下形态进行了叙述，即，通过特定的重叠显示使触发提供开始的场面图像能够识别后，该场面图像一面以遮盖用户400的视野的方式扩大一面转变为双眼立体视觉内容，以下，对于开始提供双眼立体视觉内容前进行的导入演出的形态揭示其它例子或更具体的例子。

在导入演出的一形态中，可以将由单色印刷的页面构成的书籍300的场面图像替换为彩色的场面图像而进行显示。或者也可以将场面图像替换为动画而进行显示，该动画表示该场面图像所表现的内容、或例如提供预定的双眼立体视觉内容的开头部分所对应的内容等。

而且，在另一形态中可以并非像二维内容而是像所谓AR(Augmented Reality，增强现实)内容一样，例如与场面图像相关的场景像所谓的立体绘本一样在书籍300上重叠显示所描绘的要素以便三维地感知。而且，在另一形态中，可以在书籍300的故事的出场角色存在于书籍300的页面上时重叠显示所描绘的要素以便三维感知，而与对象场面图像无关。

在又一形态中，可以用提醒用户400的姿势变更的方式进行导入演出。一般来说，使头前倾的状态等读书的姿势随用户而不同。基于这种观点，从对双眼立体视觉内容的观赏所确定的基准视线方向(例如描绘有对象场面图像的方向、或故事进展所决定的注视角色的方向)开始提供双眼立体视觉内容时，用户400能够观赏的方向会受到限定。即，例如在使头前倾的状态下从基准视线方向开始观赏双眼立体视觉内容时，用户400通过使头后仰，能观赏与内容相关的场景内的基准视线方向的更上方，但对于下方，头部运动受到限制，因此会难以观赏。因此，可以在导入演出开始时，基于针对HMD200获得的状态信息，引导用户400的姿势直到成为适合基准视线方向的姿势、例如予以注视，以这种方式进行使替换后的场面图像如图4般移动的导入演出。

而且，当内容提供系统为在具有用户400能够步行的特定宽度的环境中提供呈现内容随移动而变化的双眼立体视觉内容的系统时，例如也可以用如下方式进行导入演出，即，将阅览中的书籍300的页面图像显示成用户400的等身大小，用户400自己步入对象场面图像内，由此提供与故事相应的双眼立体视觉内容。

此外，也可以通过提醒用户400的特定手势、或对设置在HMD200或特定的操作输入设备的操作输入，而开始提供双眼立体视觉内容。

导入演出结束后，描绘部109在控制部101的控制下在S307中开始提供所指定的进展位置相关的双眼立体视觉内容。双眼立体视觉内容的提供是通过如下方式进行：像上文那样从内容DB107获取对进展位置预先确定的双眼立体视觉内容的进展控制的信息，基于控制部101根据该进展控制进行的运算等，描绘部109依次描绘呈现在显示装置220的显示图像并输出。显示图像的描绘是与导入演出同样地以所描绘的内容随用户400的头部运动变化的方式，对基于状态信息变更了位置或视线方向的各左眼用以及右眼用视点进行。另外，提供双眼立体视觉内容时，声音生成部110也基于双眼立体视觉内容的进展控制相关的信息及状态信息，生成由扬声器240播放的声音信号并输出。

S308中，控制部101判断所指定的进展位置相关的双眼立体视觉内容的提供是否已结束。控制部101在判断所指定的进展位置的双眼立体视觉内容的提供已结束时使处理返回到S303，在判断未结束时重复进行本步骤的处理。

另一方面，当S302中判断目前阅览中的书籍并非预先登录的书籍时，在S309中，描绘部109在控制部101的控制下生成显示图像并输出到显示装置220，该显示图像是将从相机210输出的拍摄图像配置在左眼用以及右眼用的各区域而成。同样，当S303中判断目前阅览中的场面图像并非为了开始提供双眼立体视觉内容而登录的场面图像时，以及S305中判断不满足内容提供开始条件时，在S310中，描绘部109在控制部101的控制下生成显示图像并输出到显示装置220，该显示图像是将从相机210输出的拍摄图像配置在左眼用以及右眼用的各区域而成。即，以向用户400提供即使配戴着HMD200也相当于未配戴的状态的视觉信息的方式，在显示装置220呈现基于相机210输出的显示图像。

通过这种方式，在本实施方式的内容提供系统中，在阅读发行的书籍时，能对应于与读书的进展状况相关的进展位置适当向用户呈现与该书籍相关的双眼立体视觉内容。

《双眼立体视觉内容的提供例》

接下来，列举多个例子对本实施方式的内容提供系统中所提供的双眼立体视觉内容的提供形态进行说明。如上所述，满足开始条件(预先登录的场面图像的检测)而呈现给书籍300的读者即用户400的双眼立体视觉内容基本上是基于书籍中记载的故事来控制进展。即，所提供的双眼立体视觉内容的进展是基于关于用户400阅览至满足开始条件的场面图像的书籍300的内容所理解的故事。

＜内容构成例＞

以下，对与书籍对应地提供的双眼立体视觉内容的构成进行例示。

(1)追随体验型内容

不仅限于漫画，书籍中也至少有各种角色出场。通常，在阅读书籍时，读者时常对这些角色进行自我投射，一边想象角色所处的状况一边理解内容(尤其是像小说这样插图少、通过文章来描写状况的书籍等)。在本实施方式的系统中，为了能具有临场感地体验故事中这种角色所处的状况，可以提供以提供任一角色的视界而呈现故事进展的方式构成的双眼立体视觉内容。提供视界的角色可以是故事的主人公或与进展密切相关的主要角色，例如可以构成为能够选择是否根据读者的喜好对任一角色进行故事的追随体验。而且，在漫画等中，在每一场面中，主要描写的角色或讲述主观感受的角色发生变化，因此也可以与触发提供开始的场面图像为止的场面所描写的内容对应地随时变化进行追随体验的角色，以此方式进行进展控制。

(2)旁观型内容

所述追随体验型内容实际上是通过对用户400赋予故事中的角色的视界，使用户400能够作为角色对故事进行追随体验。另一方面，作为角色进行追随体验时，对于自身分配到的视界的角色，可能难以在内容中进行观赏。即，例如在主人公的角色的视界呈现在显示装置220而提供双眼立体视觉内容时，用户400在观赏中无法观看主人公的角色。

因此，例如也可以根据书籍而对配置在供故事展开的三维场景内的视点位置提供能对角色进行旁观的内容，而不是以角色视界提供内容。即，书籍所表现的故事是对演出方面预先确定的视点所描写的故事，但在旁观型内容中，能向用户追加呈现其它角色在未描写的范围内采取了何种行动等。

例如，对于所谓悬疑或恐怖类内容的书籍，如果以能在来自监视摄影机或隐蔽处等分散设置的基准位置的视点而非角色视点注视全体角色或指定角色在故事中的举动的方式构成双眼立体视觉内容，则能合适地进行演出。

一般来说，因为能进行旁观之类的视点包含在能够观赏到比对角色设定视点时更多的信息的范围，且设计者在提供双眼立体视觉内容时应构筑的三维场景的范围或细节会膨胀，所以优选用户400能移动头部进行观赏的视线方向的范围对旁观视点进行限制。从这种观点出发，合适的也是如下演出，即，将尤其是像监视摄影机一样普遍预先限制了能获得视线方向的范围的设备作为与内容提供相关的视点而进行的演出。即，每次提供双眼立体视觉内容时需要制作或下载等的数据量能因提供视点的限制而减少。

另外，分散设置的各视点的基准位置例如可以构成为能够由用户400任意选择，由此，能够使用户400从多个视点位置观赏故事。这里所说的关于能够选择的视点的「基准位置」这一表述允许在各位置上根据用户400头部的移动或视线方向的回旋而在预先确定的范围内进行视点变更，因此表示用来规定该范围的基准的座标。

而且，当像这样在分散设置的基准位置间进行视点变更时，根据变更前后的基准位置间的距离或视线方向的不同，如产生呈现给用户的双眼立体视觉内容的显示内容不存在关联性等急剧的变化，结果用户失去方向感等，会给合适的观赏带来障碍。为了避免这种情况，例如视点变更只要以如下方式构成即可，即，根据用户400头部的回旋，将目前选择的基准位置变更为配置在回旋方向的位置关系的基准位置。

例如，在如图5A所示的位置关系中，当在配置有角色505以及树木506的场景内设定4种视点基准位置时，如果用户400头部的回旋方向(偏摆方向：将铅垂轴作为旋转轴的旋转)为顺时针方向，只要按…→视点503→视点502→视点501→视点504→视点501→…的顺序变更视点基准位置即可，如果回旋方向为逆时针方向，只要按…→视点503→视点504→视点501→视点502→视点503→…的顺序变更视点基准位置即可。该视点基准位置的变更的基础在于：在例如根据用户400头部的回旋而顺时针地进行视线方向的回旋时，回旋至对视点503提供的横向视野513右端(图5B的箭头511)之后，自对下一视点502提供的横向视野514左端回旋(箭头512)，由此能够保证视线方向的变更的连续性。通过这种方式，一面能具有观赏内容的关联性，一面切换成存在于回旋的视线方向的视点，因此能减少用户失去方向感之类的情况的产生。

而且，切换回旋中的视点基准位置时，也可以通过如下方式明确表示进行了切换：像图5C所示那样生成将对切换前后的视点所描绘的图像隔开配置在各眼球而成的显示图像，或者有意地设置显示在暗转的显示图像的头部角度。即，也可以通过强行展示视点基准位置在切换前后的不连续性，使用户400意识到视点的切换。

在图5C的例中，对视点503提供的视野513与对视点504提供的视野514在各眼球用显示图像中被中央部的黑色区域分离，能使用户400识别出产生了视点的变更。更详细地说，如图5D所示，在用户400的头部周围定义有描绘视野513以及/或视野514的视线方向的范围，当如图所示对用户400的视线方向确定的描绘范围541包含不属于任一视野的区域541时，生成像图5C那样的在中央部具有黑色区域的各眼球用显示图像。

另一方面，如果无需特别限制双眼立体视觉内容的数据量，则也可以构成为在允许用户400以配戴着HMD200的状态步行的环境中，例如能在以双眼立体视觉内容的形式表现的三维场景内自由移动。在该情况下，因为还可能漏看故事内的事件等，所以也可以构成为例如对事件的内容理解确定重要性，对于具有特定重要性的事件，即使在三维场景内的任一位置均有视点，也通过插入等强制地进行事件体验。

而且，无需提供进入故事所表现的世界的形式的体验作为双眼立体视觉内容。例如，也可以用出场角色作为演员出场之类的舞台或摄影棚等的讲桌上的「演技」的形式来表现故事所表现的内容，且以从配置在该讲桌周围的观众席对故事进行旁观的形式构成双眼立体视觉内容。

(3)书籍中未记载的内容的提供

上文叙述的例子是在观赏双眼立体视觉内容时，通过用户400的头部移动或任意视点位置的选择，向用户提供书籍所记载的场景中的未描写的区域使之能够观赏，由此扩展用户体验。然而，由内容提供系统向用户400提供的双眼立体视觉内容并不限于此，例如也可以是角色的心情、或副线故事等，发生副线故事的地点为发生与故事相同的事态的世界，但与书籍中描写的地点不同。即，所提供的双眼立体视觉内容也可以是与触发提供开始的场面图像的故事相关且关于书籍中未描写或记载的内容进展的内容。

另外，上文叙述了旁观型内容中关于视点基准位置的切换的描绘控制，但在追随体验型内容中切换提供视界的角色时，也可以同样地根据用户400头部的回旋动作来进行描绘控制。例如，如图6A所示，2个角色(601、602)正对而座的情况下，用户400可以通过进行来回摆动的动作来切换提供视界的角色。图6A这样对称地配置背景物体及角色的位置关系的场景中，尤其是像图6B一样以相对于角色间的分界线603呈线对称的方式构成存在于各角色侧面的背景物体604的质地时，能在进行切换的头部方向上保证质地的连续性。因此，即使不呈现图5C那样的强行分开切换前后的2个视点的描绘图像、使用户意识到不连续性的显示图像，也能顺利地转变视点切换时的显示图像。即，生成呈现在与视点切换相关的各眼球的显示图像时，通过利用将切换前后的2个视点的描绘图像连结而成的图像构成显示图像，能在视线方向以及基准位置不同的视点间顺利进行显示转变。

像以上所说明那样，根据本实施方式的内容提供装置，在用户阅览用于读书的书籍时，能提供进一步的用户体验。

[变形例1]

可是，对于已经读完的书籍，再次读书时有时未必从书籍的开头开始阅览，而是仅阅览例如印象特别深刻的场景等的一部分。另一方面，像所述实施方式那样播放直到场面图像所对应的进展位置的预先相关联的双眼立体视觉内容而予以呈现时，关于双眼立体视觉内容的提供会在需求与供给间产生差异，如该内容中不包含用户希望观赏的故事的范围，或者反而从用户不希望观赏的范围开始等。

因此，例如为了规定所提供的双眼立体视觉内容包含的故事的范围，可以将未确定双眼立体视觉内容的提供开始的场面图像也登录在书籍DB104。此时，只要为如下情况即可：进展位置指定部106累积对书籍检测部105检测到的场面图像指定的进展位置的信息，直到检测到确定了提供开始的进展位置的场面图像，且控制部101基于提供开始时累积的进展位置的信息，决定作为双眼立体视觉内容提供的故事的范围。而且，也可以构成为使用户400能够选择是否开始提供双眼立体视觉内容，做出开始提供的选择时，基于目前所累积的进展位置的信息决定播放的双眼立体视觉内容的范围。

[变形例2]

在实施方式以及变形例1中，对基于由进展位置指定部106对阅览中的场面图像指定的进展位置来决定所提供的双眼立体视觉内容的情况进行了说明。然而，本发明的内容提供系统中提供的双眼立体视觉内容并不限于与阅览中的书籍的故事的进展位置相关联地进行管理的内容。例如，也可以设为如下构成：对于描写动作场景的1个场面图像，仅将该场面图像所描写的内容提供为双眼立体视觉内容等情况下，即使不指定进展位置，也播放预先与场面图像建立关联的双眼立体视觉内容。

[变形例3]

以上，对书籍为由印刷有特定故事的图像的页面构成的刊物的情况进行了说明，但本发明的对象书籍并不限于此。即，可以构成为即使页面不包含像漫画一样的描写故事的世界的图案，像小说一样仅利用文章记载的世界观也通过检测这些文章而提供双眼立体视觉内容。而且，在小说等情况下，用户也可能喜欢以文章的形式表现的内容，因此所提供的双眼立体视觉内容可以为在仅表现风景等世界观的三维场景中将文章的字串作为对象而呈现的内容、或能够在这种三维场景内倾听所朗读的文章的内容。

而且，触发内容提供的介质并不限于为了销售而出版的书籍，也可以是为了促进销售而出版的所谓样书或广告(传单、海报)等促销品。这种促销品通常在店面等限定性环境中提供，因此可能并非如图1所示的能够使用PC100或HMD200之类的设备材料的环境。所以，可以通过使用智能手机等具有摄像装置以及显示装置的便携式通讯终端经由印在促销品的例如二维码等接收必要数据，而提供双眼立体视觉内容。此时，可以另外提供例如组装式简易版HMD(显示器为便携式通讯终端的显示装置)，该简易版HMD具有树脂制菲涅耳透镜，能够通过组合所述便携式通讯终端而实现双眼立体视觉，或者所提供的促销品本身构成简易版HMD，使用户能够在店面内欣赏内容。另外，基于促销品的内容提供可以检测印刷在促销品的场面图像或图案而播放对应故事的内容，也可以播放为了促销品用途准备的指定内容。

[变形例4]

作为实施方式以及变形例1～3，对在预先登录的进展位置相关的图像或字串包含在阅览中的书籍时开始提供与该进展位置建立了关联的1个双眼立体视觉内容的情况进行了说明，但本发明的实施并不限于此。书籍所记载的故事在演出方面存在颠倒地构成时间序列的情况，例如将已发生事件的详情作为回忆在后文叙述等。在这种情况下，可能会根据用户400头部的移动使用户400观赏到未描写的场景。即，导致事前判明比阅览中的页面更早记载的故事，会妨碍舒畅的读书体验。所以，例如以用户400读完了书籍、或者根据该书籍的阅览次数提供不同种类的双眼立体视觉内容的方式进行控制。

[其它实施方式]

本发明并不限制于所述实施方式，能够在不脱离本发明的精神以及范围的情况下进行各种变更以及变形。而且，本发明的内容提供装置也能够通过使1台以上的计算机作为该内容提供装置发挥功能的程序来实现。该程序能通过记录在计算机可读取记录介质或者通过电气通讯线路而提供/散布。因此，为了公开本发明的范围，附上以下权利要求。

Claims (13)

1.一种计算机可读取的记录介质，其记录有使计算机执行以下处理的程序：

检测处理，检测预先登录的书籍正在被阅览，该书籍是印刷有规定的故事内容的供读书用的书籍；

指定处理，对于检测到正被阅览的对象书籍，指定该对象书籍所对应的故事的阅览中的进展位置；

姿势检测处理，检测对所述对象书籍阅览中的用户的姿势；以及

开始处理，开始呈现与所指定的所述阅览中的进展位置建立了关联的双眼立体视觉内容；

其中，针对所述双眼立体视觉内容确定适于观赏的姿势，

对所述预先登录的各书籍确定该书籍所对应的故事中的多个进展位置，

在所述开始处理中，

基于所述多个进展位置中的在所述指定处理中指定的进展位置，确定作为所述双眼立体视觉内容呈现的所述对象书籍所对应的故事的范围，开始呈现该双眼立体视觉内容，

在所述姿势检测处理中检测出的所述的阅览中的用户的姿势与所述的适于观赏的姿势不同的情况下，移动所述双眼立体视觉内容的呈现位置，从而引导用户成为所述的适于观赏的姿势。

2.根据权利要求1所述的记录介质，所述程序使所述计算机进一步执行以下处理：拍摄由作为所述双眼立体视觉内容的呈现对象的用户阅览的书籍，获取拍摄图像，且

基于所获取的所述拍摄图像进行所述检测处理以及所述指定处理。

3.根据权利要求2所述的记录介质，其中所述预先登录的书籍包含印刷有显示规定的故事内容的图像的页面，且

在所述指定处理中，基于所述拍摄图像中的所述对象书籍的图像指定所述阅览中的进展位置。

4.根据权利要求2所述的记录介质，其中所述预先登录的书籍包含漫画，该漫画具有含有至少1个场面的页面，且

在所述指定处理中，通过识别所述拍摄图像中所包含的所述对象书籍的场面来指定所述阅览中的进展位置。

5.根据权利要求1所述的记录介质，其中，根据同一进展位置被指定为所述阅览中的进展位置的次数，变更所述开始处理中呈现的所述双眼立体视觉内容。

6.根据权利要求1所述的记录介质，其中，开始的所述双眼立体视觉内容为基于所述对象书籍所对应的故事控制呈现内容的进展的内容，且包含与所述阅览中的进展位置相关的呈现内容。

7.根据权利要求6所述的记录介质，所述程序使所述计算机进一步执行以下变更处理：对于根据所述对象书籍所对应的故事进行进展控制的所述双眼立体视觉内容，变更进行描绘的视点的基准位置。

8.根据权利要求7所述的记录介质，所述程序使所述计算机进一步执行以下处理：根据作为所述双眼立体视觉内容的呈现对象的用户观察该内容的方向，控制描绘该内容的视线方向，且

在所述变更处理中，基于观察方向的旋转变更所述视点的基准位置。

9.根据权利要求1所述的记录介质，其中，开始的所述双眼立体视觉内容为如下内容：关于所述对象书籍所对应的故事，包含所述对象书籍所印刷的内容中不包括的内容。

10.根据权利要求1所述的记录介质，其中，开始的所述双眼立体视觉内容为提供所述对象书籍所对应的故事的追随体验的内容。

11.根据权利要求1所述的记录介质，其中，所述程序使所述计算机进一步执行以下累积的处理：对在所述指定处理中指定的进展位置的信息进行累积，

在所述开始处理中，根据所述累积的处理中所累积的所述进展位置的信息，变更所述故事的范围。

12.一种内容提供装置，具有：

检测单元，检测预先登录的书籍正在被阅览，该书籍是印刷有规定的故事内容的供读书用的书籍；

指定单元，对利用所述检测单元检测到正被阅览的对象书籍，指定该对象书籍所对应的故事的阅览中的进展位置；

姿势检测单元，检测对所述对象书籍阅览中的用户的姿势；以及

控制单元，开始呈现与利用所述指定单元指定的所述阅览中的进展位置建立了关联的双眼立体视觉内容；

针对所述双眼立体视觉内容确定适于观赏的姿势，

对所述预先登录的各书籍确定该书籍所对应的故事中的多个进展位置，

所述控制单元基于所述多个进展位置中的由所述指定单元指定的进展位置，确定作为所述双眼立体视觉内容呈现的所述对象书籍所对应的故事的范围，开始呈现该双眼立体视觉内容，并且，

在由所述姿势检测单元检测出的所述的阅览中的用户的姿势与所述的适于观赏的姿势不同的情况下，移动所述双眼立体视觉内容的呈现位置，从而引导用户成为所述的适于观赏的姿势。

13.一种内容提供装置的控制方法，具有：

检测步骤，检测预先登录的书籍正在被阅览，该书籍是印刷有规定的故事内容的供读书用的书籍；

指定步骤，对于在所述检测步骤中检测到正被阅览的对象书籍，指定该对象书籍所对应的故事的阅览中的进展位置；

姿势检测步骤，检测对所述对象书籍阅览中的用户的姿势；以及

控制步骤，开始呈现与所述指定步骤中指定的所述阅览中的进展位置建立了关联的双眼立体视觉内容；

针对所述双眼立体视觉内容确定适于观赏的姿势，对所述预先登录的各书籍确定该书籍所对应的故事中的多个进展位置，

在所述控制步骤中，

基于所述多个进展位置中的在所述指定步骤中指定的进展位置，确定作为所述双眼立体视觉内容呈现的所述对象书籍所对应的故事的范围，开始呈现该双眼立体视觉内容，

在所述姿势检测步骤中检测出的所述的阅览中的用户的姿势与所述的适于观赏的姿势不同的情况下，移动所述双眼立体视觉内容的呈现位置，从而引导用户成为所述的适于观赏的姿势。

Images