CN102652322A - 显示处理装置、显示方法和程序 - Google Patents

Abstract

显示处理装置从拍摄了书（10）的页的图像（摄影图像）内提取标记图像。然后，根据提取出的标记图像生成表示页的弯曲程度的曲面（170）。然后，在摄影图像上重叠根据曲面（170）对虚拟物体（180）进行变形后的虚拟图像，在HMD（20）中显示该重叠后的图像。

Description

显示处理装置、显示方法和程序

技术领域

本发明涉及增强现实技术。

背景技术

增强现实（AR：Augmented Reality）技术是指在现实世界的图像上重叠虚拟物体使用户观看的技术。

为了实现对用户造成的不舒适感较少的增强现实感，需要根据现实世界的图像在适当位置显示适当种类的虚拟物体。

关于这点，在非专利文献1中，使用搭载了照相机的HMD（HeadMounted Display/头戴式显示器）作为显示器件，利用由该照相机拍摄的标记的位置或标记独自的图案，进行应该在HMD中显示的虚拟物体的处理。

现有技术文献

专利文献

专利文献1：日本专利3993423号公报

非专利文献

非专利文献1：加藤博一ら著「マ一カ一追跡に基づく拡張現実感システムとそのキヤリブレ一シヨン」日本VR学会論文誌Vol4、No4、pp60(1999)

发明内容

发明要解决的课题

本发明人研讨了针对佩戴HMD进行读书的用户显示与书页对应的虚拟物体的技术。例如，如果在印刷了背景画的儿童书的页中显示作为虚拟物体的人物的图像，则能够给用户带来跃动感。

但是，正在读书的用户打开的书的页有时会弯曲，所以，为了不给用户带来不舒适感，需要考虑现实世界中的这种弯曲来显示虚拟物体。

本发明是鉴于这种问题而完成的，在拍摄了书页的摄影图像（现实世界的图像）上重叠显示虚拟物体时，显示结合了页的弯曲程度的适当形态的虚拟物体。

用于解决课题的手段

本发明的显示处理装置在拍摄了现实世界的摄影图像上重叠显示虚拟物体，其特征在于，该显示处理装置具有：取得单元，取得拍摄了书页的摄影图像；提取单元，从所取得的摄影图像中提取1个以上的标记图像；生成单元，根据所述标记图像生成表示所拍摄的页的弯曲程度的曲面；以及显示处理单元，根据所述曲面对虚拟物体进行变形，在所述摄影图像上重叠显示变形后的虚拟物体。

发明效果

根据本发明的显示处理装置，能够有助于以结合了页的弯曲程度的适当形态显示虚拟物体。

附图说明

图1是示出读书系统1的概要的图。

图2是示出打开的书10的外观的图。

图3是嵌入标记2L、2R中的标记内部信息的例子。

图4是HMD20的功能框图。

图5是示出与重叠显示有关的处理的流程图。

图6是示出曲面计算处理的流程图。

图7是示出3个坐标系的图。

图8是示出曲面计算处理的流程的一例的图。

图9是示出曲面计算处理的流程的一例的图。

图10是示出重叠显示的例子的图。

图11是嵌入标记2L、2R中的标记内部信息的例子。

图12是HMD21的功能框图。

图13是示出重叠显示的例子的图。

图14是示出与重叠显示有关的处理的流程图。

图15是示出曲面计算处理的流程图。

图16是示出设定附近点的例子的图。

图17是HMD20的功能框图。

图18是示出与重叠显示有关的处理的流程图。

具体实施方式

下面，参照附图对实施方式进行说明。

（实施方式1）

<结构>

图1是示出读书系统的概要的图。

如图1所示，读书系统1构成为包括书10和用户佩戴的HMD20。

HMD20生成拍摄了打开的书10的两页的图像（现实世界的图像），在该图像上重叠显示与各页对应的虚拟物体，从而充实或补充书10的内容。

在重叠显示时，为了不给用户带来不舒适感，优选以虚拟物体正好存在于纸页上的方式进行显示。

但是，纸制的书10的页有时会弯曲，所以，在将虚拟物体贴在完全平坦的平面上进行显示的情况下，可能给用户带来虚拟物体向页的上下方向或页的前后方向偏移这样的不舒适感。

因此，在本实施方式的读书系统1中，生成结合了页的实际弯曲程度的曲面，以与所生成的曲面对应的适当形态重叠显示虚拟物体。

图2是示出打开的书10的外观的图。

如图2（a）所示，在书10的左页的左下和右下部分印刷有标记2L、2R。右页也同样印刷有4L、4R。这样，左右页的结构相同，所以，下面，以与左页的重叠显示有关的部分为中心进行说明。

并且，在书10的左页中，将页与脊（spine）相接的部分称为喉部（gutter）15，将除去该喉部15以外的三个边称为小口16a～16c（在图2中由虚拟的双点划线示出。）。特别地，将上方的边即小口16a称为“上边”，将下方的边即小口16c称为“下边”。

参照图2（b）对标记2L进行说明。另外，其他标记2R、4L、4R的结构与标记2L相同。

标记2L在四个角具有切出符号2a～2d，其余部分为黑白图案。切出符号2a～2d的黑与白的长度之比为黑：白：黑：白：黑=1：1：3：1：1，该比用于检测标记2L的位置和大小。

这样，标记2L与作为二维码之一的QR（Quick Response）码类似，但是，QR码在三个角具有切出符号，与此相对，标记2L在四个角具有切出符号，这点与QR码不同。

并且，与QR码同样，能够利用黑白图案在标记2L中嵌入最大几KB程度的信息。下面，将嵌入标记2L、2R中的信息称为“标记内部信息”。

图3示出标记内部信息的例子。

如图3（a）所示，标记内部信息包括表示印刷有标记的书页的“页”20a、页的“纸面尺寸”20b、“标记坐标”20c、“标记尺寸”20d这4个项目。上述“标记坐标”20c表示在标记的4个顶点中、位于远离页中央的一侧且在上下方向中位于“下”方向侧的点的坐标。

图3（b）是根据图3（a）的标记内部信息而得到的信息的图。特别地，根据两个标记2L、2R的坐标（50、750）、（450、750），标记间的距离为400。

图4是HMD20的功能框图。

HMD20具有照相机22、取得部23、标记提取部24、坐标信息存储部26、标记读取部28、内部信息存储部30、虚拟物体取得部32、曲线计算部38、曲面生成部40、曲面信息存储部42、显示引擎44、显示器46。

照相机22具有通过拍摄而生成图像的功能。例如是像素数为几百万像素的CMOS（Complementary Metal Oxide Semiconductor/互补金属氧化物半导体）照相机，朝向与佩戴HMD20的用户的视线一致的方向而安装在HMD20的筐体上。

取得部23取得由照相机拍摄的图像。

标记提取部24从由取得部23取得的图像中检测四个角的切出符号2a～2d，从而提取标记图像的区域。

在本说明书中，将现实中印刷在页上的标记简称为“标记”，将从摄影图像中提取出的标记称为“标记图像”，对两者进行区分。

然后，将表示提取出的标记图像的区域的坐标的坐标信息存储在坐标信息存储部26中。

标记读取部28从由标记提取部24提取出的标记图像的区域内读取标记内部信息，将读取出的内部信息存储在内部信息存储部30中。该读取方法可以使用在QR码中利用的手法。

虚拟物体取得部32具有虚拟物体确定部34和虚拟物体存储部36。

虚拟物体存储部36与页码相关联地存储多个虚拟物体。

虚拟物体确定部34根据在内部信息存储部30中存储的内部信息的页码，从在虚拟物体存储部36中存储的多个虚拟物体中确定与该页码对应的虚拟物体。

列举一例时，如图3（a）所示，如果“页”13a的项目为35页，则虚拟物体确定部34从在虚拟物体存储部36中存储的多个虚拟物体中，确定与该35页对应的虚拟物体。

曲线计算部38根据坐标信息存储部26的坐标信息和内部信息存储部30的内部信息，计算表示照相机22拍摄的打开的书10的页的弯曲的程度的曲线。

曲面生成部40根据曲线计算部38计算出的曲线，计算曲面，并将其存储在曲面信息存储部42中。

显示引擎44根据在曲面信息存储部42中存储的曲面对由虚拟物体确定部34确定的虚拟物体进行变形（加工），在显示器46中重叠显示变形后的虚拟物体。

<动作>

接着，使用图5～图10对HMD20中的与重叠显示有关的处理进行说明。

首先，取得部23从照相机22取得摄入了打开的书10的两页的摄影图像（图5：S51）。

然后，标记提取部24从该摄影图像中提取（切出）与标记2L、2R对应的区域作为标记图像，将提取出的标记图像的坐标信息存储在坐标信息存储部26中（S52）。

标记读取部28将由标记提取部24提取出的各个标记图像12L、12R的区域作为对象，读取标记内部信息，将读取出的标记内部信息存储在内部信息存储部30中（S53）。

然后，虚拟物体确定部34从虚拟物体存储部36的虚拟物体中确定作为重叠显示对象的虚拟物体（S54）。

接着，转移到图6的计算曲面的处理（S55）。

另外，在进入图6的处理的说明之前，对在本实施方式中处理的3个坐标系进行说明。但是，这3个坐标系在AR技术领域中是广泛公知的，所以，只做简单介绍。

（1）现实世界坐标系…是用于在现实世界的空间中表示物体位置的坐标系。在AR技术领域中，有时也称为“世界坐标系”或“全局坐标系”。

（2）照相机坐标系…是以照相机为中心的坐标系。

（3）屏幕坐标系…是对现实世界的图像进行拍摄（投影）的坐标系。

图7示出现实世界坐标系511、照相机坐标系512、屏幕坐标系521的图。

从照相机22拍摄的图像中提取出的坐标信息由该（3）屏幕坐标系表现，但是，在求解实际的现实世界中的页的弯曲程度时，需要转换为由（1）现实世界坐标系表现的坐标。

因此，在本实施方式中，对（3）屏幕坐标系进行（3）屏幕坐标系→（2）照相机坐标系的转换，进而，进行（2）照相机坐标系→（1）现实世界坐标系的转换。

前者的从（3）屏幕坐标系向（2）照相机坐标系的转换方法例如可以使用非专利文献1中记载的手法。

关于后者的（2）照相机坐标系→（1）现实世界坐标系的转换，首先，在HMD20侧，根据大小已知的标记估计标记的3维坐标（估计方法的详细情况参照非专利文献1）。接着，根据估计出的3维坐标计算坐标转换用的矩阵，从而能够进行转换。

使用示出处理流程的一例的图8～图9对图6的处理进行说明。

曲线计算部38根据在坐标信息存储部26中存储的坐标信息和内部信息存储部30的标记内部信息，计算两个标记图像12L、12R（标记2L、2R）在现实世界坐标系中的坐标（S61）。具体而言，如图8（a）所示，曲线计算部38计算标记图像12L的顶点121L～124L和标记图像12R的顶点121R～124R的坐标。

接着，曲线计算部38根据两个标记图像12L、12R的边计算矢量（S62）。如图8（b）所示，曲线计算部38计算通过标记12L的下边的矢量125L和通过页的左边的矢量126L。同样，计算通过标记图像12R的下边的矢量125R和通过标记图像12R的右边的126R。

然后，曲线计算部38计算分别延长标记图像12L的下边的矢量和标记图像12R的下边的矢量的直线的交点（S63）。如图8（c）所示，曲线计算部38求出延长矢量125L和矢量125R的直线的交点130。这里，实际印刷的标记图像12L、12R位于同一纸面上，所以，假设矢量125L和矢量125R也存在于同一平面上（（Xb、Yb）平面）。

另外，当两个矢量的位置关系为处于扭曲位置而无法利用上述手法求出交点时，设交点130的（Xb、Yb）分量为两个矢量125L、125R的（Xb、Yb）分量的矢量的交点A。并且，关于交点130的Zb分量，也可以求出以下交点：

（1）与通过该交点A的Zb轴平行的矢量和矢量125L的交点B；以及

（2）与通过该交点A的Zb轴平行的矢量和矢量125R的交点C，求出两个交点B、C的中间点（（B+C）/2），从而进行计算。

接着，曲线计算部38在交点130的前后设定第1附近点131和第2附近点132（S64、图8（d））。第1附近点131和第2附近点132是从交点130向矢量126L、126R的矢量和方向（对应于页的“上”方向）移动一定距离的点。

然后，曲线计算部38计算以下3条曲线140～142（S65、图9（e））：

（1）从左侧的标记图像12L的下边起通过交点130到达右侧的标记图像12R的下边的曲线140；

（2）从左侧的标记图像12L的下边起通过第1附近点131到达右侧的标记图像12R的下边的曲线141；以及

（3）从左侧的标记图像12L的下边起通过第2附近点132到达右侧的标记图像12R的下边的曲线142。

关于该曲线的计算，计算连接左侧下边的顶点121L和顶点122L这2个点、中央的交点130的1个点以及右侧下边的顶点122R和顶点121R这2个点的合计5个点的样条曲线，能够求出曲线140。同样，通过将中央的点分别变更为第1附近点131或第2附近132，分别求出曲线141、曲线142。

在计算出3条曲线后，曲线计算部38将最接近根据标记内部信息计算出的标记间距离的曲线确定为最终曲线（S66）。

如使用图3说明的那样，曲线计算部38根据两个标记图像12L、12R的坐标（50、750）、（450、750）求出标记间的距离为400。然后，求出曲线140～142中最接近该距离400的曲线（在图9（f）的例子中，设曲线141最近。）。

接着，曲面生成部40求出使所确定的曲线141从交点130向矢量126L、126R的矢量和方向（对应于页的“上”方向）平行移动后的曲线151（S67、图9（f））。

然后，曲面生成部40生成包围平行移动前的曲线141和平行移动后的曲线151的曲面（S68）。

具体而言，如图9（g）所示，曲面生成部40包围曲线141上的点121L和122L、以及使该点121L和122L向“上”方向平行移动后的点161L和162L的合计4个点，而生成较小的曲面141。

然后，同样，曲面生成部40生成包围点122L、点143、点162L、点163这4个点的较小的曲面172，进而，生成较小的曲面173～175，连接所生成的较小的曲面171～175而生成曲面170（图9（h））。该曲面170是表示打开的书10的左页的弯曲程度的曲面。

另外，在图9（g）的例子中，在曲线141上设定6个点，但是不限于此，也可以设为任意个数。如果细致地设定点，则能够生成更加精致的曲面，但是，处理负荷增大。

在曲面计算处理（图5：S55）结束后，结合曲面对虚拟物体进行变形，重叠显示在显示器46上（S56）。

图10示出重叠显示的例子。

在图10中，在HMD20中显示如下的图像（重叠图像）：该图像是在所拍摄的图像（摄影图像）上重叠了结合曲面170对虚拟物体180进行变形后的图像（虚拟图像）而得到的。

另外，该虚拟物体180的变形使用在曲面170上粘贴虚拟物体180的纹理贴图的手法。

在HMD20中显示的示出太阳和星星的虚拟物体180结合曲面170而变形，所以，能够使用户观看到在用手打开的书10的左页上正好描绘太阳和星星。

并且，能够防止观看到虚拟物体180向页的上下方向偏移，进而，能够防止观看到由于虚拟物体180向页的前后方向偏移而从页上浮起或埋没在页中的不自然的样子。

如以上说明的那样，根据本实施方式，通过在页上印刷的2个标记，能够计算与页的弯曲程度对应的曲面。不需要为了计算曲面而准备大量的标记，能够进行较轻的处理，所以，特别优选应用于HMD。

（实施方式2）

在实施方式2中，在描绘有地图的书的图像上重叠显示表示当前地点的记号作为虚拟物体。基本结构与实施方式1相同，所以，以不同的部分为中心进行说明。

图11示出嵌入标记2L、2R中的标记内部信息的例子。

标记内部信息基本上与图3相同，但是，“位置信息”13e的项目不同。该“位置信息”13e表示印刷有标记2L、2R的页的地图所覆盖的纬度/经度的范围。

图12是HMD21的功能框图。对与图4相同的功能块标注相同标号并省略说明。

位置信息接收部50由一般的GPS（Global Positioning System）单元构成，经由GPS天线51接收位置信息。

显示引擎44沿着在曲面信息存储部42中存储的曲面对在虚拟物体存储部36中存储的表示当前地点的记号进行变形。

并且，根据在内部信息存储部30中存储的标记内部信息的位置信息，在上述曲面中设定坐标系，在位置信息接收部50所示的位置重叠显示表示当前地点的记号。

图13示出重叠显示的例子。

如图13的虚拟图像所示，显示引擎44将标记内部信息的“位置信息”13e（参照图11）的（34.7、135.5）设定为页左上的点A，将（34.8、135.6）设定为页右下的点B。

然后，显示引擎44沿着曲面190对表示当前地点的记号200进行变形，将变形后的记号配置在位置信息接收部50所示的位置（34.74、135.55）上。

在图13的重叠图像中，在页中印刷的地图上显示表示当前地点的记号，佩戴HMD21的用户能够确认当前地点。

根据本实施方式2，在用户阅览印刷有地图的纸书时，通过重叠表示当前地点的信息，能够有助于提高便利性。并且，该重叠显示也可以不使用网络通信手段来进行。

并且，记号200根据曲面190而变形，且重叠显示在与曲面190对应的位置上，所以，能够防止记号在页上、特别是沿上下方向偏移。特别是在地图细致而错综复杂的情况下，通过防止上下的偏移，能够更加准确地表示当前地点。

（实施方式3）

上述重叠显示需要实时进行，而且，多数情况下，HMD与通用PC等相比，处理能力并不擅长。

因此，在实施方式3中，减轻了标记内部信息的读取处理（图14）和曲面计算处理（图15）。

如图14所示，标记提取部24从摄影图像中提取标记图像后（S52），对上次的标记图像和本次的标记图像的标记坐标进行比较。如果相同，则跳过标记内部信息的读取等处理（S53、S54）（S141：相同），再次利用上次读取出的标记内部信息。

在实时的重叠显示中，照相机22例如以60fps捕获图像，有时标记坐标在标记图像间几乎没有变化。通过进行这种处理，能够减轻标记内部信息的读取所需要的处理。

并且，如图15所示，在曲面计算处理中，如果本次的图像的标记坐标与上次相比没有变化（S151：否），则曲线计算部38将上次的最终曲线的中央点（交点或附近点）设定为本次的交点（S152）。这样，能够跳过步骤S61～S63，能够减轻处理。

<补充1>

以上对本实施方式进行了说明，但是，本发明不限于上述内容，能够在用于实现本发明的目的和与其相关联或附带的目的的各种方式中实施本发明，例如，也可以如下所述。

（1）附近点的生成方法

在实施方式中，如图8（d）所示，使交点130向页的“上”方向移动而生成附近点131、132，但是不限于此，如图16所示，也可以在沿Zb轴方向（是与页的前后方向对应的方向。）延伸的直线上设定附近点133、134。

并且，在图8（d）中，生成2个附近点，但是，在处理负荷存在余量的情况下等，也可以增加该个数。

（2）曲线的生成方法

在实施方式中，生成图9（e）所示的样条曲线，但是，生成曲线的手法不限于此。

可以使用贝塞尔曲线、贝塞尔/样条曲线（例如，按照每个划分而生成贝塞尔曲线，连接所生成的贝塞尔曲线而得到样条曲线。）等的手法。

并且，在希望缩短计算曲线距离的计算时间的情况下，也可以使用如下的折线的距离作为曲线的距离，该折线是由使在样条曲线计算中使用的5个点（例如点121L、122L、点130、点122R、点121R）中相邻各点彼此连接的线段构成的。

（3）页的材质

在实施方式中，设书10的页为纸制，但是不限于纸，也可以是柔性显示器等产生弯曲的材质。

（4）虚拟物体

在实施方式中，在HMD20的虚拟物体存储部36内存储作为显示对象的虚拟物体，但是，也可以不存储而从外部取得。

例如，作为标记的标记内部信息，也可以包含URL（UniformResource Locator/统一资源定位符）作为识别虚拟物体的信息，在HMD20中，经由网络从该URL所示的场所（Locator）取得虚拟物体。

并且，虚拟物体不限于平面图像（2D图像），也可以是立体图像（3D图像）。

例如，在显示在曲面上滚动的人物作为立体图像的情况下，考虑将曲面生成部40生成的曲面用于与人物之间的冲突判定，或者对该曲面设定摩擦系数。

（5）照相机

在实施方式中，HMD20具有照相机22，但是，照相机不是必须的，也可以采用不具有照相机的HMD的结构。该情况下，例如，也可以利用通信电缆连接HMD和作为外部装置的照相机，在HMD的取得部中从照相机取得其摄影图像。

（6）曲面的生成方法

在实施方式中，在计算出曲线后，根据计算出的曲线而生成曲面，但是不限于此，也可以采用不经由曲线而直接生成曲面的手法。

依据该（5）、（6），图17示出HMD20的主要部分20a。

（7）程序

用于使各种信息处理装置的处理器和与该处理器连接的各种电路执行上述实施方式所示的动作等的由程序码构成的控制程序可以记录在记录介质中，或者经由各种通信路流通和颁布。

在这种记录介质中，存在IC卡、硬盘、光盘、软盘、ROM等的非临时（not-transitory）的记录介质。

流通、颁布的控制程序被存储在处理器可读出的存储器等中以供利用，该处理器执行该控制程序，从而实现实施方式所示的各种功能。

（8）LSI

附图所示的各功能块可以是集成电路即LSI。它们可以单独单片化，也可以包含一部分或全部而单片化。这里设为LSI，但是，由于集成度的差异，有时也称为IC、系统LSI、超级LSI、特级LSI。

并且，集成电路化的手法不限于LSI，也可以通过专用电路或通用处理器来实现。也可以利用能够在LSI制造后进行编程的FPGA（Field Programmable Gate Array/现场可编程门阵列）、或者能够重构LSI内部的细胞电路的连接和设定的可重构处理器。进而，如果出现了通过半导体技术的进步或派生的其他技术置换LSI的集成电路化的技术，则当然也可以使用该技术来进行功能块的集成化。

<补充2>

本实施方式包含以下方式。

（1）实施方式的显示处理装置在拍摄了现实世界的摄影图像上重叠显示虚拟物体，其中，该显示处理装置具有：取得单元，取得拍摄了书页的摄影图像；提取单元，从所取得的摄影图像中提取1个以上的标记图像；生成单元，根据所述标记图像生成表示所拍摄的页的弯曲程度的曲面；以及显示处理单元，根据所述曲面对虚拟物体进行变形，在所述摄影图像上重叠显示变形后的虚拟物体。

（2）并且，也可以是，所述提取单元提取第1标记图像和第2标记图像，所述生成单元根据所述第1标记图像和所述第2标记图像，计算表示所拍摄的页的弯曲程度的曲线，根据该曲线生成所述曲面。

（3）并且，也可以是，在所述页的上下方向中，与所述第1标记图像和第2标记图像相当的印画部分的一方印刷在页左侧，另一方印刷在页右侧，两者均具有沿页的左右方向延伸的边，所述生成单元计算的所述曲线是通过所述第1标记图像的边和所述第2标记图像的边的曲线，所述生成单元通过使所述曲线沿所述摄影图像内的页的上下方向平行移动，生成所述曲面。

（4）也可以是，所述显示处理装置具有：读取单元，分别从提取出的所述第1标记图像和所述第2标记图像中，读取表示所述页中的与各标记相当的印画部分的坐标的信息；以及计算单元，计算所读取出的坐标间的距离，所述生成单元根据计算出的所述距离计算所述曲线。

（5）也可以是，所述生成单元求出延长所述第1标记图像的边后的直线与延长所述第2标记图像的边后的直线的两条直线的交点，生成以下曲线：（a）从所述第1标记图像的边起通过所述交点到达所述第2标记图像的边的1条曲线；以及（b）从所述第1标记图像的边起通过位于所述交点的邻近位置的附近点且通过所述第2标记图像的边的1条以上的曲线，计算所生成的所有曲线中、其距离最接近所述计算出的距离的曲线作为最终曲线。

（6）也可以是，所述附近点是使所述交点向所述摄影图像内的页的上下方向或进深方向移动的点。

（7）也可以是，所述读取单元从提取出的所述第1标记图像和所述第2标记图像的至少一方中读取识别虚拟物体的信息，所述显示处理单元将通过所述读取而识别的虚拟物体作为所述重叠显示的对象。

（8）也可以是，在所述页上印刷有地图，所述读取单元从提取出的所述第1标记图像和所述第2标记图像的至少一方中读取坐标信息，该坐标信息表示在范围内包含该页的地图的坐标的范围，所述显示处理装置具有接收表示当前地点的位置信息的接收单元，所述显示处理单元根据所述曲面对表示当前地点的记号作为所述虚拟物体进行变形，在所述摄影图像内的页上的、基于所述坐标信息所示的坐标的范围的所述位置信息的位置，重叠显示变形后的记号。

（9）也可以是，与所述第1标记图像和第2标记图像相当的印画部分呈矩形的形状，该矩形具有沿所述页的左右方向延伸的边和沿页的上下方向延伸的边，所述生成单元根据所述提取出的所述第1标记图像或第2标记图像的沿所述上下方向延伸的边，向所述上下方向平行移动。

（10）也可以是，所述取得单元定期反复取得摄影图像，所述提取单元在所述提取之前，对上次取得的摄影图像和本次取得的摄影图像的同一性进行比较，当判定为相同时，不进行所述提取，输出从上次取得的摄影图像中提取出的第1标记图像和第2标记图像作为本次的提取结果。

（11）也可以是，所述第1标记图像和第2标记图像是二维码的图像。

（12）也可以是，所述摄影图像是拍摄了书的打开页的图像。

（13）实施方式的显示方法在现实世界的图像上重叠显示虚拟物体，其中，该方法包括以下步骤：取得步骤，取得拍摄了书页的摄影图像；提取步骤，从所取得的摄影图像中提取1个以上的标记图像；生成步骤，根据所述标记图像生成表示所拍摄的页的弯曲程度的曲面；以及显示处理步骤，根据所述曲面对虚拟物体进行变形，在所述摄影图像上重叠显示变形后的虚拟物体。

该取得步骤、提取步骤、生成步骤和显示处理步骤分别例示为图18的步骤S181～S184。

（14）实施方式的程序用于使显示处理装置执行在现实世界的图像上重叠显示虚拟物体的显示处理，其中，所述显示处理包括以下各步骤：取得步骤，取得拍摄了书页的摄影图像；提取步骤，从所取得的摄影图像中提取1个以上的标记图像；生成步骤，根据所述标记图像生成表示所拍摄的页的弯曲程度的曲面；以及显示处理步骤，根据所述曲面对虚拟物体进行变形，在所述摄影图像上重叠显示变形后的虚拟物体。

产业上的可利用性

根据本发明的显示处理装置，能够有助于实现对用户造成的不舒适感较少的增强现实感，是有用的。

标号说明

1：读书系统；2L、2R、4L、4R：标记（与标记图像相当的印画部分）；10：书；12L、12R、14L、14R：标记图像；20、21：HMD（显示处理装置的一例）；20a：HMD的主要部分；22：照相机；23：取得部；24：标记提取部；26：坐标信息存储部；28：标记读取部；30：内部信息存储部；32：虚拟物体取得部；34：虚拟物体确定部；36：虚拟物体存储部；38：曲线计算部；40：曲面生成部；42：曲面信息存储部；44：显示引擎（显示处理单元的一例）；46：显示器；50：位置信息接收部；51：GPS天线；140、141、142：曲线；170：曲面；180：虚拟物体；190：曲面；200：记号（虚拟物体的一例）。

Claims (14)

1.一种显示处理装置，在拍摄了现实世界的摄影图像上重叠显示虚拟物体，其特征在于，该显示处理装置具有：

取得单元，取得拍摄了书页的摄影图像；

提取单元，从所取得的摄影图像中提取1个以上的标记图像；

生成单元，根据所述标记图像生成表示所拍摄的页的弯曲程度的曲面；以及

显示处理单元，根据所述曲面对虚拟物体进行变形，在所述摄影图像上重叠显示变形后的虚拟物体。

2.如权利要求1所述的显示处理装置，其特征在于，

所述提取单元提取第1标记图像和第2标记图像，

所述生成单元根据所述第1标记图像和所述第2标记图像，计算表示所拍摄的页的弯曲程度的曲线，根据该曲线生成所述曲面。

3.如权利要求2所述的显示处理装置，其特征在于，

在所述页的上下方向中，与所述第1标记图像和第2标记图像相当的印画部分的一方印刷在页左侧，另一方印刷在页右侧，两者均具有沿页的左右方向延伸的边，

所述生成单元计算的所述曲线是通过所述第1标记图像的边和所述第2标记图像的边的曲线，

所述生成单元通过使所述曲线沿所述摄影图像内的页的上下方向平行移动，生成所述曲面。

4.如权利要求3所述的显示处理装置，其特征在于，

所述显示处理装置具有：

读取单元，分别从提取出的所述第1标记图像和所述第2标记图像中，读取表示所述页中的与各标记相当的印画部分的坐标的信息；以及

计算单元，计算所读取出的坐标间的距离，

所述生成单元根据计算出的所述距离计算所述曲线。

5.如权利要求4所述的显示处理装置，其特征在于，

所述生成单元求出延长所述第1标记图像的边后的直线与延长所述第2标记图像的边后的直线的两条直线的交点，

生成以下曲线：

（a）从所述第1标记图像的边起通过所述交点到达所述第2标记图像的边的1条曲线；以及

（b）从所述第1标记图像的边起通过位于所述交点的邻近位置的附近点且通过所述第2标记图像的边的1条以上的曲线，

计算所生成的所有曲线中、其距离最接近所述计算出的距离的曲线作为最终曲线。

6.如权利要求5所述的显示处理装置，其特征在于，

所述附近点是使所述交点向所述摄影图像内的页的上下方向或进深方向移动的点。

7.如权利要求4所述的显示处理装置，其特征在于，

所述读取单元从提取出的所述第1标记图像和所述第2标记图像的至少一方中读取识别虚拟物体的信息，

所述显示处理单元将通过所述读取而识别的虚拟物体作为所述重叠显示的对象。

8.如权利要求4所述的显示处理装置，其特征在于，

在所述页上印刷有地图，

所述读取单元从提取出的所述第1标记图像和所述第2标记图像的至少一方中读取坐标信息，该坐标信息表示在范围内包含该页的地图的坐标的范围，

所述显示处理装置具有接收表示当前地点的位置信息的接收单元，

所述显示处理单元根据所述曲面对表示当前地点的记号作为所述虚拟物体进行变形，在所述摄影图像内的页上的、基于所述坐标信息所示的坐标的范围的所述位置信息的位置，重叠显示变形后的记号。

9.如权利要求3所述的显示处理装置，其特征在于，

与所述第1标记图像和第2标记图像相当的印画部分呈矩形的形状，该矩形具有沿所述页的左右方向延伸的边和沿页的上下方向延伸的边，

所述生成单元根据所述提取出的所述第1标记图像或第2标记图像的沿所述上下方向延伸的边，向所述上下方向平行移动。

10.如权利要求2所述的显示处理装置，其特征在于，

所述取得单元定期反复取得摄影图像，

所述提取单元在所述提取之前，对上次取得的摄影图像和本次取得的摄影图像的同一性进行比较，当判定为相同时，不进行所述提取，输出从上次取得的摄影图像中提取出的第1标记图像和第2标记图像作为本次的提取结果。

11.如权利要求2所述的显示处理装置，其特征在于，

所述第1标记图像和第2标记图像是二维码的图像。

12.如权利要求2所述的显示处理装置，其特征在于，

所述摄影图像是拍摄了书的打开页的图像。

13.一种显示方法，在现实世界的图像上重叠显示虚拟物体，其中，该方法包括以下步骤：

取得步骤，取得拍摄了书页的摄影图像；

提取步骤，从所取得的摄影图像中提取1个以上的标记图像；

生成步骤，根据所述标记图像生成表示所拍摄的页的弯曲程度的曲面；以及

显示处理步骤，根据所述曲面对虚拟物体进行变形，在所述摄影图像上重叠显示变形后的虚拟物体。

14.一种程序，用于使显示处理装置执行在现实世界的图像上重叠显示虚拟物体的显示处理，其中，

所述显示处理包括以下各步骤：

取得步骤，取得拍摄了书页的摄影图像；

提取步骤，从所取得的摄影图像中提取1个以上的标记图像；

生成步骤，根据所述标记图像生成表示所拍摄的页的弯曲程度的曲面；以及

显示处理步骤，根据所述曲面对虚拟物体进行变形，在所述摄影图像上重叠显示变形后的虚拟物体。

Images