CN102750118B - 显示控制设备、显示控制方法和计算机可读介质 - Google Patents

Abstract

显示控制设备、显示控制方法和计算机可读介质。该显示控制设备包括：确定单元，被配置成基于真实空间的图像确定真实空间中的真实物体的定向以及真实物体的主平面；控制单元，被配置成基于真实物体的定向在虚拟物体的第一定向和第二定向之间进行选择以将虚拟物体与真实物体的定向对准，以及基于所选择的定向输出虚拟物体的图像以显示在相关联的显示设备上。当真实物体的主平面与真实空间的图像的光轴之间的角度小于预定阈值时，将虚拟物体添加到与真实物体的主平面相同或平行的平面上以使虚拟物体具有第一定向，而当角度大于或等于预定阈值时，将虚拟物体添加到与真实物体的主平面不同的平面上以使虚拟物体具有第二定向。

Description

显示控制设备、显示控制方法和计算机可读介质

相关申请

本公开包括2011年4月8日提交日本专利局的日本优先权专利申请JP 2011-086679中公开的主题相关的主题，其全部内容通过引用而合并于此。

技术领域

本公开涉及一种显示控制设备、显示控制方法和程序。

背景技术

近来，图像识别技术变得更加先进，使得能够识别包含在来自成像设备的输入图像中的真实物体(例如，如招牌或者建筑物的物体)的姿态或位置。已知AR(增强现实)应用作为该物体识别的一种应用示例。根据AR应用，将与真实物体相关联的虚拟物体(例如，广告信息、导航信息或游戏的信息)叠加到包含在真实空间图像中的真实物体上是可能的。要注意的是，例如，在日本未审查专利申请公开第2010-49158号中公开了AR应用。

然而，虚拟物体趋向于以相对于真实物体统一的姿态被添加到真实物体。因此，虚拟物体的可视性在根据真实物体的姿态的一些情况中被削弱。

发明内容

针对上述情况，本公开提出一种新颖的和改进的显示控制设备、显示控制方法和程序，其使得能够改进虚拟物体的可视性。

本发明的方面包括一种显示控制设备，其包括：确定单元，被配置成基于真实空间的图像确定在真实空间中的真实物体的定向以及真实物体的主平面；控制单元，被配置成基于真实物体的定向在虚拟物体的第一定向和第二定向之间进行选择以将虚拟物体与真实物体的定向对准，以及基于所选择的定向输出虚拟物体的图像以显示在相关联的显示设备上。将虚拟物体与真实物体的定向对准进一步包括：当真实物体的主平面与真实空间的图像的光轴之间的角度小于预定阈值时，将虚拟物体添加到与真实物体的主平面相同或平行的平面上以使虚拟物体具有第一定向，而当角度大于或等于预定阈值时，将虚拟物体添加到与真实物体的主平面不同的平面上以使虚拟物体具有第二定向。

本发明的方面还包括一种方法，其包括：基于真实空间的图像确定在真实空间中的真实物体的定向以及真实物体的主平面；基于真实物体的定向在虚拟物体的第一定向和第二定向之间进行选择，以将虚拟物体与真实物体的定向对准；以及基于所选择的定向输出虚拟物体的图像以显示在相关联的显示设备上。将虚拟物体与真实物体的定向对准进一步包括：当真实物体的主平面与真实空间的图像的光轴之间的角度小于预定阈值时，将虚拟物体添加到与真实物体的主平面相同或平行的平面上以使虚拟物体具有第一定向，而当角度大于或等于预定阈值时，将虚拟物体添加到与真实物体的主平面不同的平面上以使虚拟物体具有所述第二定向。

本发明的方面还包括存储下述指令的有形呈现的非暂态计算机可读介质，所述指令当由处理器执行时执行下述方法，该方法包括：基于真实空间的图像确定在真实空间中的真实物体的定向以及真实物体的主平面；基于真实物体的定向在虚拟物体的第一定向和第二定向之间进行选择，以将虚拟物体与真实物体的定向对准；以及基于所选择的定向输出虚拟物体的图像以显示在相关联的显示设备上。将虚拟物体与真实物体的定向对准进一步包括：当真实物体的主平面与真实空间的图像的光轴之间的角度小于预定阈值时，将虚拟物体添加到与真实物体的主平面相同或平行的平面上以使虚拟物体具有第一定向，而当角度大于或等于预定阈值时，将虚拟物体添加到与真实物体的主平面不同的平面上以使虚拟物体具有所述第二定向。

附图说明

图1是示出根据本公开的AR系统的配置的说明图；

图2是示出添加有虚拟物体的真实空间图像的具体示例的说明图；

图3是示出本公开的比较示例的说明图；

图4是示出移动终端的硬件配置的说明图；

图5是示出根据第一实施例的移动终端的配置的方框图；

图6是示出真实物体的正面面对状态的说明图；

图7是示出真实物体的平面围绕y轴线旋转的状态的视图；

图8是示出将标签图形添加到根据第一实施例的真实空间图像的示例的视图；

图9是示出将标签图形添加到根据第一实施例的真实空间图像的另一示例的视图；

图10是示出当存在多个真实物体时添加标签图形的视图；

图11是示出真实物体的平面围绕x轴线旋转的状态的视图；

图12是示出将标签图形添加到根据第一实施例的真实空间图像的示例的视图；

图13是示出根据第一实施例的移动终端的操作的流程图；

图14是示出根据本公开的第二实施例的AR系统的配置的视图；

图15是示出根据本公开的第二实施例的移动终端的配置的方框图；

图16是示出将标签图形添加到根据第二实施例的真实空间图像的示例的视图；

图17是示出将标签图形添加到根据第二实施例的另一真实空间图像的示例的视图；

图18是示出将标签图形添加到根据第二实施例的替选示例的真实空间图像的示例的视图；以及

图19是示出根据本公开的第三实施例的AR系统的配置的视图。

具体实施方式

此后，将通过参考附图来详细说明本公开的实施例。注意的是，在该说明书和附图中，具有基本上相同功能和结构的结构元件以相同的附图标记来表示，并且省略这些结构元件的重复说明。

在该说明书和附图中，在一些情况中，通过将不同的字母附于相同的附图标记来区分具有基本上相同功能的多个结构元件的每一个。然而，当不特别需要在具有基本上相同的功能的多个结构元件之间进行区分时，其仅以相同的附图标记来表示。

此外，将以下述顺序提供“实施例的描述”。

1.AR系统的概述

2.实施例的描述

2-1.第一实施例

2-2.第二实施例

2-3.第三实施例

3.总结

1.AR系统的概述

作为说明，根据本公开的AR系统可以以如在“2-1.第一实施例”到“2-3.第三实施例”中详细地说明的多种实施例中来实施。此外，组成根据每个实施例的AR系统的显示控制设备(移动终端20，AR服务器30)可以包括：

A.控制单元(241、242)，可以控制与包含在真实空间图像中的真实物体对应的虚拟物体的显示，以及

B.控制单元可以根据在真实空间图像中的真实物体的姿态改变相对于真实物体的虚拟物体的姿态(或等同地，“定向”)，

此后，首先通过参考图1和2说明每个实施例共有的、AR系统的基本配置。

图1是示出根据本公开的AR系统的配置的视图。如图1所示，根据本公开的AR系统可以包括具有成像功能的移动终端20。移动终端20可以捕获真实空间图像，将与包含在真实空间图像中的真实物体对应的虚拟物体添加到真实空间图像，并且将添加有虚拟物体的真实空间图像显示在显示器26上。

例如，当由移动终端20捕获的真实物体是如在图1中示出的、示出列车时刻的时刻表40A时，移动终端20可以在显示器26上显示添加有相应于时刻表40A的虚拟物体的真实空间图像。此后，参考图2具体说明添加有虚拟物体的真实空间图像。

图2是示出添加有虚拟物体的真实空间图像的示例的视图。如示出在图2中，真实空间图像P包含作为真实物体的时刻表40A和作为添加到时刻表40A的虚拟物体的标签图形50A。如示出在图2中，例如，标签图形50A可以添加在与时刻表40A相同的平面上。通过查看添加有虚拟物体的真实空间图像，可以向用户通知无法直接地从真实空间中获取的信息(在图2的情况中，例如，指示真实物体是时刻表的信息)。

此外，用户可以通过在显示屏上实施操作来改变包含在真实空间图像中的虚拟物体的显示。例如，当多个虚拟物体与一个真实物体相关联时，移动终端20可以根据例如用户操作而在多个虚拟物体中切换要显示的虚拟物体。更具体的是，当示出区域地图的虚拟物体和标签图形50A与时刻表40A相关联时，移动终端20可以根据用户操作将示出区域地图的虚拟物体叠加到时刻表40A的显示上。

注意，当如上面说明，多个虚拟物体与一个真实物体相关联时，移动终端20可以将例如标识相关联的虚拟物体的标签图形(如标记图形)添加到真实物体。例如，除了标签图形50A之外，移动终端20可以将包含文本信息“区域地图”的标记图形添加到时刻表40A。

尽管上面说明贴在墙上的时刻表40A作为真实物体的示例，但是在图1中示出的放置在地板上的出口指示40B可以以相同的方式视为真实物体。此外，真实物体可以是如招牌、建筑物、车辆、食品或者玩具的物体或如QR码或者AR标记的标识图案。

此外，尽管在图1中智能电话被示为移动终端20的示例，但是移动终端20不限于智能电话。例如，移动终端20可以是PDA(个人数字助理)、移动电话、便携式音乐播放设备、便携式视频处理设备、或便携式游戏机或者具有显示能力的多种其他适当设备。此外，移动终端20仅是显示控制设备的示例，并且显示控制设备可以是安装在网络侧的服务器。

附带地，当上面说明的标签图形50添加在与真实物体40相同的平面上时，标签图形50的可视性和可操作性在一些情况中被削弱。例如，在形成时刻表40A的平面和真实空间图像的成像光轴之间的角度很小的情况中，当将标签图形50’添加在与时刻表40A相同的平面上时，标签图形50’的显示由于大的倾斜而很小，这使得可视性劣化。此外，当标签图形50’包括接受用户操作的区域时，如果标签图形50’的显示很小，则操作确定区域显著减小。

根据本公开的实施例，改进虚拟物体的可视性和可操作性是可能的。此后，按照参考图4对移动终端20的硬件配置的描述，详细地顺序说明本公开的实施例。

(移动终端的硬件配置)

图4是示出移动终端20的硬件配置的视图。如在图3中示出，移动终端20可以包括CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203、输入设备208、输出设备210、存储设备211、驱动器212、成像设备213和通信设备215。

CPU 201充当处理设备和控制设备，并且其根据多种程序控制在移动终端20中的总体操作。CPU 201可以是微处理器。ROM202存储要由CPU 201所使用的程序、处理参数等。RAM203暂时地存储要使用在CPU201上的执行中的程序、在执行期间变化的参数等。CPU201、ROM202和RAM203通过可以是CPU总线等的主机总线连接。

例如，输入设备208可以由用于用户输入信息的输入装置(如鼠标、键盘、触摸板、按钮、麦克风、开关或者操作杆)和基于用于输入来生成输入信号并且将其输出到CPU 201的输入控制电路组成。移动终端20的用户可以操控输入设备208，由此输入多种数据或者指导对移动终端20的处理操作。

输出设备210可以包括如LCD(液晶显示器)设备、OLED(有机发光二极管)设备或者灯的显示设备。此外，输出设备210可以包括如扬声器或耳机的声音输出设备。例如，显示设备显示所捕获的图像、所生成的图像等。另一方面，声音输出设备可以将声音数据等转换成声音并且输出该声音。

存储设备211可以包括配置为根据实施例的移动终端20的存储单元的示例的、用于数据存储的设备。存储设备211可以包括存储介质、将数据记录到存储介质中的记录设备、从存储介质中读取数据的读取设备、删除记录在存储介质中的数据的删除设备等。存储设备211存储要由CPU201执行的程序和多种数据。

驱动器212可以包括用于存储介质的读写器，并且其可以置于移动终端20中或者在外部附接到移动终端20。驱动器212读取记录在附接到驱动器212的、如磁盘、光盘、磁光盘或者半导体存储器的可拆卸存储介质24上的信息，并且将信息输出给RAM203。此外，驱动器212可以将信息写入到可拆卸存储介质24中。

成像设备213可以包括如聚集光的取像镜头或者变焦镜头的成像光学系统以及如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)的信号转换器。成像光学系统聚集从对象发射的光并且在信号转换器上形成对象图像，并且信号转换器将形成的对象图像转换成电图像信号。

例如，通信设备215可以包括由通信设备等组成的通信接口以与网络12形成连接。通信设备215可以是与无线LAN(局域网)兼容的通信设备、与LTE(长期演进)兼容的通信设备、或者是进行有线通信的有线通信设备。

注意，网络12可以包括信息的有线或者无线传输通道，该信息从与网络12连接的设备传输。例如，网络12可以包括如因特网、电话线网络或者卫星通信网络的公共网络、包括以太网(注册商标)的多种LAN(局域网)、WAN(广域网)等。此外，网络12可以包括如IP-VPN(因特网协议-虚拟专用网络)的租用专线网。

2.实施例的描述

上面，通过参考附图1至4说明了根据本公开的AR系统的基本配置。此后，参考附图5至19详细说明本公开的第一实施例至第三实施例。

2-1.第一实施例

移动终端的配置

图5是示出根据第一实施例的移动终端20-1的配置的方框图。如在图5中示出，根据第一实施例的移动终端20-1可以包括显示器26、触摸板27、成像设备213、特征值DB 220，图像识别单元224(或者，等同地，“确定单元”)、虚拟物体DB 228、虚拟物体获取单元232和控制单元241。

显示器26可以包括由LCD、OLED等组成的显示模块。显示器26根据控制单元241的控制显示各种画面。例如，显示器26显示由成像设备213所捕获的真实空间图像和相应于真实物体所添加的虚拟物体。

此外，尽管在图5中示出其中将显示器26安装为移动终端20-1的一部分的示例，但是显示器26可以为与移动终端20-1分开的构件。替选地，显示器26可以包括安装在用户头部上的HMD(头戴显示器)。

触摸板27可以包括安装到显示器26上的操作检测单元。触摸板27可以检测如用户手指或者触摸笔的操作体的接近或者接触。注意，触摸板27仅是操作检测单元的示例，并且移动终端20-1可以包括如键盘和按钮的其他操作部件。

如上面参考图4说明的，成像设备213可以包括成像光学系统和信号转换器，并且根据控制单元241的控制来捕获真实空间图像(移动图像或者静止图像)。注意，成像设备213可以分别包括用于对移动图像成像的部件和用于对静止图像成像的部件。

特征值DB 220可以包括存储真实物体图像的特征值数据的数据库。具体地，在特征值DB 220中，用于标识每个真实物体的标识信息和每个真实物体的特征值数据彼此关联。特征值数据可以为从使用例如SIFT或者随机蕨算法(Random Ferns)学习真实物体的图像而确定的一组特征值。

图像识别单元224可以识别包含在由成像设备213所捕获的真实空间图像中的真实物体以及在真实空间图像中的真实物体的位置和姿态。例如，图像识别单元224通过相对于存储在特征值DB 220中的每个真实物体的特征值来检查从真实空间图像确定的特征值，识别包含在真实空间图像中的真实物体。具体地，图像识别单元224根据如SIFT或者随机蕨算法的特征值确定方法来确定在真实空间图像中的真实物体的特征值，并且相对于存储在数据库220中的每个真实物体的特征值来检查所确定的特征值。然后，图像识别单元224识别与特征值相关联的真实物体的标识信息，并且可以确定或者识别在真实空间图像中的真实物体的位置和姿态，其中该特征值与真实空间图像中的真实物体的特征值匹配。

注意，图像识别单元224可以识别如已知图形或者符号、人工标记(例如条形码或者QR码)或者自然标记的真实物体，并且基于在真实空间图像中的真实物体的大小和形状识别真实物体的位置和姿态。

此外，尽管上面说明了其中通过图像处理来识别包含在真实空间图像中的真实物体的示例，但是识别真实物体的方法不限于图像处理。例如，可行的是，检测成像设备213所指向的方向和移动终端20-1的当前位置，并且基于检测结果估计包含在真实空间图像中的真实物体和真实空间图像中的真实物体的位置和姿态。

虚拟物体DB 228可以包括存储要添加到真实物体的虚拟物体的数据库。具体地，在虚拟物体DB 228中，虚拟物体的标识信息、真实物体的标识信息、指示相对于真实物体的显示位置的设定信息、和要呈现给用户的虚拟物体彼此相关联。例如，虚拟物体是如之前参考图2所说明的标签图形50；然而，标签图形50仅是虚拟物体的示例。虚拟物体可以为文本格式或者图像格式。

虚拟物体获取单元232可以获取相应于由图像识别单元224所识别的真实物体的设定信息和虚拟物体。例如，虚拟物体获取单元232从虚拟物体DB 228获取与图像识别单元224所识别的真实物体的标识信息相关联的设定信息和虚拟物体。

控制单元241可以控制移动终端20-1的总体操作。例如，控制单元241将虚拟物体获取单元232所获取的虚拟物体添加到真实空间图像并且将添加有虚拟物体的真实空间图像显示在显示器26上。

控制单元241可以根据在真实空间图像中的真实物体的姿态来相对于真实物体改变虚拟物体的姿态(或者等同地，“定向”)。例如，根据真实物体的平面围绕着与真实空间图像的成像光轴相交的轴线的旋转角度，控制单元241将虚拟物体添加到与真实物体平面相同的平面(其包括平坦平面和弯曲的平面；同样适用于下面的词“平面”)、平行于真实物体平面的平面、与真实物体平面成给定关系的平面、不同于真实物体平面的平面等。

具体地，在参照真实物体的正面面对状态的、上面说明的围绕轴线的旋转角度小于一定值的情况中，控制单元241可以将虚拟物体添加到与真实物体平面相同或平行的平面上。另一方面，在参照正面面对状态的、上面说明的围绕轴线的旋转角度大于或者等于该值的情况中，控制单元241可以将虚拟物体添加到不同于真实物体平面的平面上。下面详细地说明控制单元241的这种功能。

(正面面对状态)

首先，参考图6说明真实物体的正面面对状态。图6是示出真实物体的正面面对状态的视图。注意，在该说明书中使用的z轴线是真实空间图像的成像光轴，x轴线是沿着真实空间图像的水平方向的轴线，y轴线是沿着真实空间图像的垂直方向的轴线，并且x轴线、y轴线和z轴线彼此正交。

如在图6中示出，正面面对状态是真实物体40的平面正交于作为成像光轴的z轴线的状态。注意，在图6中示出的真实物体40的平面可以不同于真实物体40的实际平面，并且其可以是事先为真实物体40定义的平面。在下文讨论参照正面面对状态的、真实物体40的平面的旋转轴线。然而，充当用于旋转轴线的基准的状态不限制于正面面对状态，并且真实物体的其他姿态可以视为基准状态。

(围绕y轴线的旋转角度α)

图7是示出真实物体40的平面围绕着y轴线旋转的状态的视图。在该说明书中，如在图7中示出，参照正面面对状态的、围绕着y轴线的真实物体40的平面的旋转角度称作α。

在旋转角度α小于一定值的情况中，控制单元241可以将作为虚拟物体的标签图形添加到与真实物体平面相同或平行的平面上。另一方面，在旋转角度α大于或等于该值的情况中，控制单元241可以将标签图形添加到不同于真实物体平面的平面上。此后，这具体地通过参考图8至10来说明。

图8是示出将标签图形添加到根据第一实施例的真实空间图像的示例的视图。如在图8中示出，当时刻表40A的旋转角度α等于或者大于一定值时，控制单元241可以将标签图形50A添加到正交于时刻表40A的平面上(即关于在x-z平面上的时刻表40A以90度或者270度定向的平面)。在该配置中，可以减小相对于正面面对状态的倾角以及增加标签图形50A的显示区域，并且因此可以增加标签图形50A的可视性。

此外，通过如在图8中示出的、将如标签图形50A的虚拟物体添加到与真实物体没有交叠的位置，可以增加真实物体的可视性。

注意，当由于真实物体的旋转角度α变得大于一定值，控制单元241改变标签图形50A的相对姿态时，控制单元241可以使用动画表示姿态的改变过程，使得用户可以识别该改变。

图9是示出将标签图形添加到根据第一实施例的真实空间图像的另一示例的视图。如在图9中示出，当时刻表40A的旋转角度α等于或者大于一定值时，控制单元241可以将标签图形50A添加到与作为成像光轴的z轴线正交的平面(即x-y平面)上。还在该配置中，可以增加标签图形50A的可视性。

注意，当如在图10中示出在真实空间图像中包含多个真实物体40L、40M和40N时，控制单元241可以添加分别相应于真实物体40标签图形50L、50M和50N，使得标签图形50没有交叠。在该配置中，可以增加标签图形50的可视性。

尽管在上面参考图7至10说明了在真实物体40的平面围绕着y轴线旋转的情况中的显示控制，但是在真实物体40的平面围绕着x轴线旋转的情况中，也可以以相同的方式执行显示控制。

(围绕x轴线的旋转角度β)

图11是示出真实物体40的平面围绕着x轴线旋转的状态的视图。在该说明书中，如在图11中示出，参照正面面对状态的围绕着x轴线的真实物体40的平面的旋转角度称作β。

(基于旋转角度β的显示控制)

在旋转角度β小于一定值(该值可以与对于旋转角α的值相同或不同)的情况中，控制单元241可以将标签图形添加到与真实物体平面相同或平行的平面上。另一方面，在旋转角度β等于或者大于该值的情况中，控制单元241可以将标签图形添加到不同于真实物体平面的平面上。此后，这具体地通过参考图12来说明。

图12是示出将标签图形添加到根据第一实施例的真实空间图像的示例的视图。如在图12中示出，当出口指示40B的旋转角度β等于或者大于一定值时，控制单元241可以将标签图形50B添加到与作为成像光轴的z轴线正交的平面(即x-y平面)上。在该配置中，显示在正面面对状态的标签图形50B以及增加标签图形50B的显示区域是可能的，并且因此可以增加标签图形50B的可视性。

注意，当出口指示40B的旋转角度β等于或者大于一定值时，控制单元241可以将标签图形50B添加到正交于出口指示40B的平面上(即相对于在y-z平面上的出口指示40B以90度或者270度定向的平面)。还在该配置中，可以增加标签图形50B的可视性。

可以存在已经在真实空间图像中可识别的真实物体由于与移动终端20-1的位置关系的改变而变得不可识别的情况。例如，当在图8中示出的真实物体40A的平面进一步围绕着y轴线以逆时针方向旋转时，真实物体40A的平面可以不再包含在真实空间图像中，并且因此图像识别单元224无法再识别真实物体40A。因此，标签图形从屏幕中消失。

然而，要考虑的是，随着显示在真实空间图像上的真实物体的识别变得更加困难，通知用户关于真实物体的信息的重要性更高。因此，当已经可识别的真实物体变得不可识别时，控制单元241可以基于之前的识别结果保持相应于真实物体的标签图形。例如，控制单元241可以将标签图形在一段时间内保持在与紧挨在真实物体变得不可识别之前的真实物体的位置和姿态对应的位置和姿态。在该配置中，通知用户关于很难在真实空间图像中观察的真实物体的信息是可能的。

控制单元关注的旋转角度

尽管上面说明了其中当围绕着y轴线的旋转角度α和围绕着x轴线的旋转角度β的任一等于或者大于一定值时，控制单元241改变相对于真实物体的标签图形的姿态的示例，但是本技术不限制于此。存在如下情况：在所添加的标签图形的某个位置或定向，甚至当围绕着特定坐标轴线的旋转角度较大时，施加于标签图形的可视性和可操作性的影响也很小。例如，如在图2中示出，在标签图形50A添加在沿着真实物体40A的y轴线方向的侧的情况中，围绕着x轴线的真实物体40A的旋转角度对于标签图形50A的可视性的影响相对小。

因此，当真实物体的平面处于正面面对状态时，控制单元241可以关注沿着添加有标签图形的侧的方向的坐标轴线，并且根据围绕着该坐标轴线的旋转角度是否等于或者大于一定值来控制标签图形的姿态。例如，因为当出口指示40B的平面处于正面面对状态时，将在图12中示出的标签图形50B添加到沿着x轴线方向的侧，因此控制单元241可以仅关注用于标签图形50B的姿态控制的、围绕x轴线的旋转角度。注意，可以由如围绕着x轴线的旋转角度、围绕着y轴线的旋转角度和围绕着z轴线的旋转角度的每个分量来表示真实物体40A的姿态。

移动终端的操作

在上面通过参考图5至12说明了根据第一实施例的移动终端20-1的配置。此后，通过参考图13说明根据第一实施例的移动终端20-1的操作。

图13是示出根据第一实施例的移动终端20-1的操作的流程图。如在图13中示出，当通过成像设备213捕获真实空间图像时，图像识别单元224标识包含在真实空间图像中的真实物体并且识别真实物体的位置、姿态、比例等(S310)。

接下来，虚拟物体获取单元232基于图像识别单元224的识别结果来获取相应于真实物体的虚拟物体(S320)。

之后，控制单元241确定参照由图像识别单元224所识别的真实物体的正面面对状态的旋转角度是否等于或者大于一定值(S330)。当旋转角度小于该值时(在S330中为否)，控制单元241将虚拟物体添加到与真实物体平面相同或平行的平面上(S340)。

另一方面，当旋转角度等于或者大于该值时(在S330中为是)，控制单元241将虚拟物体添加到不同于真实物体平面的平面上(S350)。例如，当旋转角度等于或者大于该值时(在S330中为是)，控制单元241可以将虚拟物体添加到正交于作为成像光轴的z轴线的平面上。在该配置中，可以以正面面对状态显示虚拟物体，并且因此改进标签图形50B的可视性是可能的。

2-2.第二实施例

上面通过参考图5至13说明了本公开的第一实施例。此后，通过参考图14至18说明本公开的第二实施例。在本公开的第二实施例中，提出在真实物体具有多个平面的情况中的虚拟物体的显示方法。

(根据第二实施例的AR系统)

图14是示出根据本公开的第二实施例的AR系统的配置的视图。根据第二实施例的AR系统包括移动终端20-2，并且其应用于移动终端20-2捕获如在图14中示出的牛奶盒40C的、具有多个平面的真实物体的图像的情况。在图14中示出的牛奶盒40C具有其上印刷有商品名称的第一平面42和其上印刷有配料的第二平面44作为多个平面。

(根据第二实施例的移动终端的配置)

图15是示出根据第二实施例的移动终端20-2的配置的方框图。如在图15中示出，根据第二实施例的移动终端20-2包括显示器26、触摸板27、成像设备213、特征值DB 220，图像识别单元224、虚拟物体DB 228、虚拟物体获取单元232和控制单元242。显示器26、触摸板27、成像设备213、特征值DB 220、图像识别单元224、虚拟物体DB 228以及虚拟物体获取单元232的功能与在第一实施例中说明的这些一样，并且下面主要说明不同于第一实施例中的元件。

除了根据第一实施例的控制单元241的功能的全部或者一些之外，控制单元242具有主平面确定单元250的功能和根据主平面确定单元250的确定结果添加一定姿态的虚拟物体的功能。

当包含在真实空间图像中的真实物体具有多个平面时，主平面确定单元250在多个平面中确定主平面。例如，主平面确定单元250可以在多个平面中将图像识别单元224所识别的具有最大识别面积的平面确定为主平面。替选地，主平面确定单元250可以在多个平面中将具有相对于作为成像光轴的z轴线的最高正交性的平面(最接近正面面对状态的平面)确定为主平面。此外，事先可以为每个真实物体定义主平面。

控制单元242将相应于真实物体的标签图形(虚拟物体)添加到由主平面确定单元250所确定的主平面。此后，这具体地通过参考图16来说明。

图16是示出将标签图形添加到根据第二实施例的真实空间图像的示例的视图。在图16中示出的真实空间图像中，牛奶盒40C的第一平面42具有大于第二平面44的识别面积并且更接近于正面面对状态。因此，主平面确定单元250在牛奶盒40C的第一平面42和第二平面44中将第一平面42确定为主平面。

因此，控制单元242将标签图形50C添加到主平面确定单元250确定为主平面的第一平面42。注意的是，尽管在图16的示例中标签图形50C为价格显示，但是标签图形50C不限于价格显示。例如，标签图形50C可以是包括过期日期信息、优惠券信息和广告信息的、与牛奶盒40C相关联的任何信息。

图17是示出将标签图形添加到根据第二实施例的另一真实空间图像的示例的视图。在图17中示出的真实空间图像中，牛奶盒40C的第二平面44具有大于第一平面42的识别面积并且更接近于正面面对状态。因此，主平面确定单元250在牛奶盒40C的第一平面42和第二平面44中将第二平面44确定为主平面。

因此，控制单元242将标签图形50C添加到由主平面确定单元250确定为主平面的第二平面44。注意，如在图16和17中示出，相对于牛奶盒40C的标签图形50C的姿态根据添加有标签图形50C的平面而改变。

尽管上面说明了其中无论哪个平面是主平面都添加相同的标签图形的示例，但是实施例不限制于此。作为另一示例，在虚拟物体DB 228中标签图形可以与真实物体的每个平面相关联，并且，在该情况中，如在图18中示出，控制单元242可以根据主平面来添加不同的标签图形。

图18是示出将标签图形添加到根据第二实施例的替选示例的真实空间图像的示例的视图。如在图18中示出，当第二平面44为主平面时，控制单元242可以将表示过期日期的标签图形50C’添加到第二平面44，其中该标签图形50C’不同于当第一平面42为主平面时所添加的标签图形50C。在该配置中，可以根据对真实物体进行成像的角度来呈现给用户多种信息。

为了达到相同的效果，控制单元242可以将相应于每个平面的标签图形添加到多个平面的全部，此外，控制单元242可以根据添加有标签图形50C的平面的旋转角度来改变相对于牛奶盒40C的标签图形50C的姿态。

2-3.第三实施例

上面说明了本公开的第二实施例。此后，说明本公开的第三实施例。尽管在第一和第二实施例中说明了单个移动终端构成AR的示例，但是移动终端和安装在网络侧的服务器可以组合构成AR作为本公开的第三实施例。

图19是示出根据第三实施例的AR系统的配置的视图。如在图19中示出，根据第三实施例的AR系统包括移动终端20-3、网络12和AR服务器30。

根据第三实施例，可以通过将用于AR的一些功能并入到AR服务器30中来实施云计算。例如，虚拟物体DB和虚拟物体获取单元的功能可以并入到AR服务器30中。在该情况中，移动终端20-3可以通过将真实物体的识别结果作为虚拟物体的获取请求传送到AR服务器30，从AR服务器30中接收相应于真实物体的虚拟物体。

此外，图像识别单元和特征值DB的功能也可以并入到AR服务器30中。在该情况中，移动终端20-3可以将由成像设备213所捕获的图像传送给AR服务器30，并且AR服务器30可以执行真实物体的识别和虚拟物体的获取并然后将虚拟物体传送到移动终端20-3。

此外，将虚拟物体添加到真实空间图像的功能可以并入到AR服务器30中。在该情况中，移动终端20-3可以将由成像设备213所捕获的真实空间图像传送到AR服务器30，并且AR服务器30可以执行真实物体的识别、虚拟物体的获取和虚拟物体的添加，并且然后将添加有虚拟物体的真实空间图像传送到移动终端20-3。在将虚拟物体添加到真实空间图像的功能并入到AR服务器30中的情况中，AR服务器30充当显示控制设备。

3.总结

如上面说明的，根据本公开的实施例的移动终端20根据在真实空间图像中的真实物体的姿态，将标签图形添加到与真实物体平面相同的平面或者不同于真实物体平面的平面。在该配置中，改进标签图形的可视性和可操作性是可能的。

尽管上面参考附图说明了本公开的优选实施例，然而本公开不限制于此。应该理解的是，在所附权利要求或者等同方案的范围之内，根据设计要求和其他的因素，本领域的技术人员可以做出多种修改、组合、子组合和变更。

例如，不需要总是按根据在流程图中示出的序列的时间先后顺序执行本说明书中的的移动终端20的处理中的步骤。例如，在移动终端20的处理中的步骤可以以不同于示出在流程图中的序列的序列来处理或者并行地来处理。

此外，可行的是，创建计算机程序，其使得例如CPU、ROM和RAM的硬件并入到移动终端20或者AR服务器30中以执行与上面说明的AR服务器30或移动终端20的元件的等同的功能。此外，还可以提供其中存储有这种计算机程序的存储介质。

此外，本技术还可以如下配置。

(1)一种显示控制设备，包括：

控制单元，其控制相应于包含在真实空间图像中的真实物体的虚拟物体的显示，

其中控制单元根据在真实空间图像中的真实物体的姿态来改变相对于真实物体的虚拟物体的姿态。

(2)根据(1)所述的显示控制设备，

其中控制单元根据在真实空间图像中的真实物体的姿态，将虚拟物体添加到与真实物体平面相同的平面、平行于真实物体平面的平面、与真实物体平面成给定关系的平面、或者不同于真实物体平面的平面。

(3)根据(1)或(2)所述的显示控制设备，

其中控制单元以根据围绕着与真实空间图像的成像光轴相交的轴线的、真实物体平面的旋转角度的相对姿态，将虚拟物体添加到真实物体平面。

(4)根据(3)所述的显示控制设备，

其中当参照真实物体平面正交于成像光轴的正面面对状态的、围绕着相交轴线的旋转角度小于预定值时，控制单元将虚拟物体添加到与真实物体平面相同或平行的平面，并且当参照正面面对状态的、围绕着相交轴线的旋转角度等于或者大于预定值时，将虚拟物体添加到不同于真实物体平面的平面。

(5)根据(4)所述的显示控制设备，

其中当参照正面面对状态的、围绕着相交轴线的旋转角度等于或者大于预定值时，控制单元将虚拟物体添加到正交于真实物体平面的平面或正交于成像光轴的平面。

(6)根据(3)至(5)中的任一所述的显示控制设备，

其中添加虚拟物体以相应于组成真实物体平面的任意侧，并且

其中当真实物体平面在正面面对状态时，相交轴线是沿着添加有虚拟物体的侧的方向的轴线。

(7)根据(1)至(6)中的任一所述的显示控制设备，

其中控制单元将虚拟物体添加到与真实物体没有交叠的位置。

(8)根据(1)至(7)中的任一所述的显示控制设备，

其中当在真实空间图像中包含多个真实物体时，控制单元添加每个虚拟物体，以使得分别相应于多个真实物体的虚拟物体没有交叠。

(9)根据(1)至(8)中的任一所述的显示控制设备，

其中当控制单元改变虚拟物体的相对姿态时，控制单元将改变的过程显示在显示设备上。

(10)根据(1)至(9)中的任一所述的显示控制设备，

其中当从真实物体中删除多个平面时，控制单元将虚拟物体添加到多个平面中的主平面。

(11)根据(10)所述的显示控制设备，

其中控制单元根据充当主平面的平面将不同的虚拟物体添加到主平面。

(12)根据(10)所述的显示控制设备，

其中主平面是在多个平面中具有相对于成像光轴的最高正交性的平面。

(13)根据(10)所述的显示控制设备，

其中主平面是在多个平面中具有在真实空间图像中的最大的识别面积的平面。

(14)根据(10)所述的显示控制设备，

其中主平面是在多个平面中事先定义的平面。

(15)一种显示控制方法，包括：

根据在真实空间图像中的真实物体的姿态，相对于真实物体改变相应于包含在真实空间图像中的真实物体的虚拟物体的姿态。

(16)一种使得计算机用作如下单元的程序:

控制单元，控制相应于包含在真实空间图像中的真实物体的虚拟物体的显示，并且根据在真实空间图像中的真实物体的姿态，相对于真实物体改变虚拟物体的姿态。

(17)根据(16)所述的程序，

其中控制单元根据在真实空间图像中的真实物体的姿态，将虚拟物体添加到与真实物体平面相同的平面、平行于真实物体平面的平面、与真实物体平面成给定关系的平面、或不同于真实物体平面的平面。

(18)根据(16)或(17)所述的程序，

其中控制单元以根据围绕着与真实空间图像的成像光轴相交的轴线的真实物体平面的旋转角度的相对姿态，将虚拟物体添加到真实物体平面。

(19)根据(18)所述的程序，

其中当参照真实物体平面正交于成像光轴的正面面对状态的、围绕着相交轴线的旋转角度小于预定值时，控制单元将虚拟物体添加到与真实物体平面相同或平行的平面，并且当参照正面面对状态的、围绕着相交轴线的旋转角度等于或者大于预定值时，将虚拟物体添加到不同于真实物体平面的平面。

(20)根据(16)至(19)中的任一所述的程序，

其中当从真实物体中删除多个平面时，控制单元将虚拟物体添加到多个平面中的主平面。

本公开包括与2011年4月8日提交日本专利局的日本优先权专利申请JP 2011-086679中公开的主题相关的主题，其全部内容通过引用而合并于此。

Claims (17)

1.一种显示控制设备，包括：

确定单元，被配置成基于真实空间的图像确定在所述真实空间中的真实物体的定向以及所述真实物体的主平面；

控制单元，被配置成：

基于所述真实物体的定向在虚拟物体的第一定向和第二定向之间进行选择，以将所述虚拟物体与所述真实物体的定向对准；以及

基于所选择的定向输出所述虚拟物体的图像以显示在相关联的显示设备上，

其中，将所述虚拟物体与所述真实物体的定向对准进一步包括：当所述真实物体的主平面与所述真实空间的图像的光轴之间的角度小于预定阈值时，将所述虚拟物体添加到与所述真实物体的主平面相同或平行的平面上以使所述虚拟物体具有所述第一定向，而当所述角度大于或等于所述预定阈值时，将所述虚拟物体添加到与所述真实物体的主平面不同的平面上以使所述虚拟物体具有所述第二定向。

2.根据权利要求1所述的设备，其中所述主平面为下述中的至少一个：

相对于所述真实物体的表面成一定角度定向；

相对于所述真实物体的所述表面弯曲；

平行于所述真实物体的所述表面；或者

与所述真实物体的所述表面共面。

3.根据权利要求1所述的设备，进一步被配置成至少部分地基于在所述主平面和所述真实空间的图像的光轴之间的角度，从与所述真实物体相关联的多个平面中选择所述主平面。

4.根据权利要求1所述的设备，其中所述第一定向将所述虚拟物体与所述主平面对准，并且所述主平面平行于所述真实物体的表面。

5.根据权利要求4所述的设备，其中所述第二定向将所述虚拟物体与正交于所述真实物体的所述表面或者正交于所述光轴的第二平面对准。

6.根据权利要求1所述的设备，其中所述显示设备显示沿着所述真实物体的平行于所述主平面的侧的所述虚拟物体的图像。

7.根据权利要求1所述的设备，其中所述显示设备显示所述虚拟物体的图像，使得所述虚拟物体的图像不与在所述真实空间的图像中的所述真实物体交叠。

8.根据权利要求1所述的设备，其中：

所述真实物体包括第一真实物体和第二真实物体；

所述虚拟物体包括第一标签图形和第二标签图形，

所述第一标签图形与在所述真实空间的图像中的所述第一真实物体相关联；

所述第二标签图形与在所述真实空间的图像中的所述第二真实物体相关联；并且

所述第一标签图形被定位成使得所述第一标签图形不与所述第二标签图形交叠。

9.根据权利要求1所述的设备，其中输出所述虚拟物体的图像包括输出从所述第一定向到所述第二定向的转变的动画。

10.根据权利要求1所述的设备，进一步被配置成从与所述真实物体相关联的多个平面中选择所述主平面。

11.根据权利要求10所述的设备，其中所述虚拟物体包括标签图形。

12.根据权利要求11所述的设备，其中基于所述主平面的选择来挑选所述标签图形的内容。

13.根据权利要求10所述的设备，其中所述主平面是在所述多个平面中的相对于所述真实空间的图像的光轴的定向最接近正交的平面。

14.根据权利要求10所述的设备，其中所述主平面是在所述多个平面中与所述虚拟物体的对准会导致最大的图像识别面积的平面。

15.根据权利要求10所述的设备，其中基于所述真实物体的类型选择所述主平面。

16.一种显示控制方法，包括：

基于真实空间的图像确定在所述真实空间中的真实物体的定向以及所述真实物体的主平面；

基于所述真实物体的定向在虚拟物体的第一定向和第二定向之间进行选择，以将所述虚拟物体与所述真实物体的定向对准；以及

基于所选择的定向输出所述虚拟物体的图像以显示在相关联的显示设备上，

其中，将所述虚拟物体与所述真实物体的定向对准进一步包括：当所述真实物体的主平面与所述真实空间的图像的光轴之间的角度小于预定阈值时，将所述虚拟物体添加到与所述真实物体的主平面相同或平行的平面上以使所述虚拟物体具有所述第一定向，而当所述角度大于或等于所述预定阈值时，将所述虚拟物体添加到与所述真实物体的主平面不同的平面上以使所述虚拟物体具有所述第二定向。

17.一种有形呈现的非暂态计算机可读介质，其存储指令，所述指令当由处理器执行时执行以下方法，所述方法包括：

基于真实空间的图像确定在所述真实空间中的真实物体的定向以及所述真实物体的主平面；

基于所述真实物体的定向在虚拟物体的第一定向和第二定向之间进行选择，以将所述虚拟物体与所述真实物体的定向对准；以及

基于所选择的定向输出所述虚拟物体的图像以显示在相关联的显示设备上，

其中，将所述虚拟物体与所述真实物体的定向对准进一步包括：当所述真实物体的主平面与所述真实空间的图像的光轴之间的角度小于预定阈值时，将所述虚拟物体添加到与所述真实物体的主平面相同或平行的平面上以使所述虚拟物体具有所述第一定向，而当所述角度大于或等于所述预定阈值时，将所述虚拟物体添加到与所述真实物体的主平面不同的平面上以使所述虚拟物体具有所述第二定向。