CN104243952A - 图像处理设备、图像处理方法、程序、印刷介质和印刷介质套件 - Google Patents

Abstract

本发明涉及图像处理设备、图像处理方法、程序、印刷介质和印刷介质套件。一种图像处理设备，所述图像处理设备包括：图像获取单元，被配置成获取示出真实对象的图像，所述真实对象包括主识别目标和次识别目标；以及控制单元，被配置成基于所述主识别目标的图像识别，设置与所述图像关联的增强真实空间，并且被配置成根据基于所述主识别目标的图像识别而识别的所述次识别目标，决定在所述增强真实空间中将布置的增强真实对象。

Description

图像处理设备、图像处理方法、程序、印刷介质和印刷介质套件

相关申请的交叉引用

本申请要求2013年6月17日的日本优先权专利申请JP 2013-126616的权益，该申请的全部内容以引用方式并入本文。

技术领域

本公开涉及图像处理设备、图像处理方法、程序、印刷介质和印刷介质套件。

背景技术

近年来受人关注的增强现实(AR)技术布置与其中示出真实空间的图像关联的AR空间中的虚拟对象(AR对象)，并且致使布置有AR对象的图像和真实空间的图像一起在屏幕上显示。因此，在屏幕上，用户被提供以下体验：用户感觉AR对象好像存在于真实空间中。将要显示的AR对象预先被固定地限定或者根据被成像的真实对象的种类进行选择。

例如，JP 2013-092964A公开了一种AR应用，其用于当对示出动物的图画书进行成像时在AR空间中布置代表所拍摄图像上示出的动物的AR对象。在该AR应用中，与各个AR对象对应的动物的已知图像的特征量被预先注册在数据库中。随后，作为将所拍摄图像的特征量与已知图像的特征量进行匹配的结果，决定在所拍摄图像中示出的是哪种动物以及显示哪种动物的AR对象。

发明内容

所显示的AR对象越多变，AR应用越有吸引力。然而，为了增强AR对象的多样性，必须识别许多种类的真实对象。因此，要进行匹配的特征数据增加，处理成本一定大。为此原因，在现有方法中，对处理资源的限制防止AR对象的多样性增加。

期望提供一种抑制处理成本增加并且可增强能显示的AR对象的多样性的机制。

根据本公开的实施例，提供了一种图像处理设备，所述图像处理设备包括：图像获取单元，被配置成获取示出真实对象的图像，所述真实对象包括主识别目标和次识别目标；以及控制单元，被配置成基于所述主识别目标的图像识别，设置与所述图像关联的增强真实空间，并且被配置成根据基于所述主识别目标的图像识别而识别的所述次识别目标，决定在所述增强真实空间中将布置的增强真实对象。

根据本公开的实施例，提供了一种图像处理方法，所述图像处理方法包括：获取示出包括主识别目标和次识别目标的真实对象的图像；基于所述主识别目标的图像识别，设置与所述图像关联的增强真实空间；以及根据基于所述主识别目标的图像识别而识别的所述次识别目标，决定在所设置的增强真实空间中将布置的增强真实对象。

根据本公开的实施例，提供了一种致使控制图像处理设备的计算机用作以下部分的程序：图像获取单元，被配置成获取示出真实对象的图像，所述真实对象包括主识别目标和次识别目标；以及控制单元，被配置成基于所述主识别目标的图像识别，设置与所述图像关联的增强真实空间，并且被配置成根据基于所述主识别目标的图像识别而识别的所述次识别目标，决定在所述增强真实空间中将布置的增强真实对象。

根据本公开的实施例，提供了一种包括印刷表面的印刷介质，所述印刷介质包括：主识别目标，被印刷到所述印刷表面上并且用于将示出所述印刷介质的图像与增强真实空间关联；以及次识别目标和用于次识别目标的编辑区中的一个，被印刷到所述印刷表面上并且用于决定在增强真实空间中将布置的增强真实对象。

根据本公开的实施例，提供了一种印刷介质套件，所述套件包括多个印刷介质。所述印刷介质中的两个或更多个分别包括具有同样外观的主识别目标和其中编码有不同值的次识别目标。

根据本公开的实施例，可抑制处理成本的增加，并且可增强能显示的AR对象的多样性。

附图说明

图1是示出根据实施例的图像处理系统的概况的说明性示图；

图2A是示出一对主识别目标和次识别目标的第一实例的第一说明性示图；

图2B是示出一对主识别目标和次识别目标的第一实例的第二说明性示图；

图3A是示出一对主识别目标和次识别目标的第二实例的第一说明性示图；

图3B是示出一对主识别目标和次识别目标的第二实例的第二说明性示图；

图4A是示出用户对次识别目标执行编辑的第一实例的说明性示图；

图4B是示出用户对次识别目标执行编辑的第二实例的说明性示图；

图5是示出复合次识别目标的实例的说明性示图；

图6是示出根据实施例的图像处理设备的硬件构造实例的框图；

图7是示出根据实施例的图像处理设备的逻辑功能的配置实例的框图；

图8A是示出识别字典数据的配置的第一实例的说明性示图；

图8B是示出识别字典数据的配置的第二实例的说明性示图；

图8C是示出识别字典数据的配置的第三实例的说明性示图；

图9是示出识别字典数据的数据项的含义的说明性示图；

图10是示出对象数据的配置实例的说明性示图；

图11A是示出主识别目标的识别实例的说明性示图；

图11B是示出次识别目标的识别实例的说明性示图；

图11C是示出AR对象的决定和布置的实例的说明性示图；

图12是示出推荐改变视角的显示对象的实例的说明性示图；

图13是将识别状态通知用户的显示对象的实例的说明性示图；

图14是示出根据实施例的图像处理流程的实例的流程图；

图15是示出具有刮层的印刷介质的实例的说明性示图；

图16是示出图像处理设备的修改的说明性示图；以及

图17是示出多个设备的协作的说明性示图。

具体实施方式

下文中，将参照附图详细描述本公开的优选实施例。注意的是，在本说明书和附图中，用相同的参考标号表示具有基本相同功能和结构的结构元件，省去对这些结构元件的重复说明。

注意的是，将按以下次序提供描述。

1.概况

1-1.系统的立体图

1-2.识别目标的实例

2.图像处理设备的构造实例

2-1.硬件配置

2-2.功能配置

2-3.处理流程

3.应用实例

3-1.真实对象的实例

3-2.HMD的使用

3-3.多个设备的协作

4.结论

<1.概况>

首先，通过使用图1至图5，将说明根据本公开的实施例的图像处理系统的概况。

[1.1系统的立体图]

图1是示出根据本公开的实施例的图像处理系统的概况的说明性示图。参照图1，示出用户Ua持有的图像处理设备100。图像处理设备100包括相机102和显示器110，相机102对真实空间1进行成像。如图1的实例中所示，在真实空间1中存在桌子11、咖啡杯12、卡片集13和书14。图像处理设备100的相机102对这种真实空间1进行成像并且产生构成表现真实空间1中的真实对象的视频图像的系列图像。随后，图像处理设备100使用相机102产生的拍摄图像作为输入图像执行图像处理，并且产生输出图像。在这个实施例中，输出图像通常是通过将AR对象覆盖在输入图像上产生的。图像处理设备100的显示器110顺序地显示所产生的输出图像。注意的是，图1中示出的真实空间1只是实例。图像处理设备100可处理表现任何真实对象的图像。

图1示出作为图像处理设备100实例的智能电话。然而，图像处理设备100不限于此。例如，图像处理设备100可以是移动装置，诸如平板计算机、笔记本、便携式游戏控制台、便携式导航装置(PND)或数码相机。图像处理设备100也可以是诸如头戴显示器(HMD)装置的可穿戴装置。

[1-2.识别目标的实例]

在本公开的实施例中，表现具有主识别目标和次识别目标的真实对象的图像被获取作为用于AR应用的输入图像。图像处理设备100识别主识别目标，以计算真实对象相对于成像表面的相对布置。在本说明书中，术语“布置”包括关于二维或三维坐标系的位置(平行位移)、姿势(旋转)和尺寸(缩放)中的至少一个。基于主识别目标的图像识别，与输入图像关联地设置AR空间。图像处理设备100基于主识别目标的图像识别来识别次识别目标。根据识别的次识别目标决定将要布置在AR空间中的AR对象。

(1)第一实例

图2A和图2B是示出一对主识别目标和次识别目标的第一实例的说明性示图。在第一实例中，主识别目标是起标记作用的设计(所谓的天然标记)。次识别目标是可见代码。主识别目标和次识别目标被印刷到卡(真实对象)的印刷表面上。预先固定地限定次识别目标相对于主识别目标的相对布置。

在图2A的左手侧，示出包括在卡片集13中的卡13a。主识别目标G1a和次识别目标G2a被印刷到卡13a的印刷表面上。主识别目标G1a是呈现机器人型符号的外观的设计。次识别目标G2a是具有三个矩形区域的可见代码。在图2A的实例中，三个区域都是空白的。例如，图像处理设备100将从表现卡13a的输入图像中提取的多个特征点与主识别目标G1a的已知图像的特征点集合进行匹配。因此，图像处理设备100可识别主识别目标G1a在输入图像中是如何布置和示出的。另外，图像处理设备100对次识别目标G2a执行识别处理，并且识别次识别目标G2a的代码值。接着，图像处理设备100将与识别的代码值对应的AR对象布置在AR空间中。在图2A的实例中，符号31a被决定为将要布置在AR空间中的AR对象。

在图2B的左手侧，示出包括在卡片集13中的卡13b。主识别目标G1a和次识别目标G2b被印刷到卡13b的印刷表面上。由于对于卡13a和卡13b而言主识别目标G1a具有同样的外观，因此图像处理设备100可通过使用特征点的单个集合识别卡13a在输入图像中的布置，并且还可通过使用该特征点的单个集合识别卡13b在输入图像中的布置。如同图2A中示出的次识别目标G2b一样，次识别目标G2b是具有三个矩形区域的可见代码。在图2B的实例中，三个区域中有两个是被填满的。图像处理设备100对次识别目标G2b执行识别处理，并且识别次识别目标G2b的代码值。接着，图像处理设备100将与识别的代码值对应的AR对象布置在AR空间中。在图2B的实例中，符号31b被决定为将要布置在AR空间中的AR对象。

(2)第二实例

图3A和图3B是示出一对主识别目标和次识别目标的第二实例的说明性示图。在第二实例中，主识别目标是图案化图(所谓的人工标记)。次识别目标是可见代码。主识别目标和次识别目标被印刷到书(真实对象)的印刷表面上。预先固定地限定次识别目标相对于主识别目标的相对布置。

在图3A的左手侧，示出书14的书页14a。主识别目标G3a和次识别目标G4a被印刷到书页14a的印刷表面上。主识别目标G3a是包围其中画上狮子的设计16a的框。次识别目标G4a是条形码。例如，图像处理设备100可在表现书页14a的输入图像中检测关于主识别目标G3a的已知图案，并且可基于检测到的图案的形状和尺寸来识别主识别目标G3a在输入图像中是如何布置和示出的。另外，图像处理设备100对次识别目标G4a执行识别处理(换句话讲，扫描条形码)，并且识别次识别目标G4a的代码值。接着，图像处理设备100将与识别的代码值对应的AR对象布置在AR空间中。在图3A的实例中，符号32a被决定为将要布置在AR空间中的AR对象。

在图3B的左手侧，示出书14的书页14b。主识别目标G3a和次识别目标G4a被印刷到书页14b的印刷表面上。由于对于书页14a和书页14b而言主识别目标G3a具有同样的外观，因此图像处理设备100可通过使用单个已知图案识别书页14a在输入图像中的布置，并且还可通过使用该单个已知图案识别书页14b在输入图像中的布置。如同图3A中示出的次识别目标G4a一样，次识别目标G4b是条形码。图像处理设备100对次识别目标G4b执行识别处理(换句话讲，扫描条形码)，并且识别次识别目标G4b的代码值。接着，图像处理设备100将与识别的代码值对应的AR对象布置在AR空间中。在图3B的实例中，符号32b被决定为将要布置在AR空间中的AR对象。

用作主识别目标的标记不限于图2A至图3B中示出的实例。标记可以是任何图、符号、字符串或设计、或它们的组合。例如，可使用诸如CyberCode(注册商标)的二维代码作为主识别目标。

(3)用于对次识别目标执行编辑

用户能编辑次识别目标的代码。图4A是示出用户对次识别目标执行编辑的第一实例的说明性示图。图4A再次示出图2A的卡13a。在第一实例中，用户Ua使用笔填充次识别目标G2a的区域，并且重写次识别目标G2a的代码值。

图4B是示出用户对次识别目标执行编辑的第二实例的说明性示图。图4B再次示出图2A的卡13a。在第二实例中，用户Ua将张贴物17置于次识别目标G2a的区域上，并且重写次识别目标G2a的代码值。

关于图4A和图4B的实例，当对经编辑的次识别目标G2a执行识别处理时，根据如何编辑次识别目标G2a来识别不同代码值。响应于识别，布置在AR空间中的AR对象改变。例如，在次识别目标具有三个区域的情况下(区域各自是黑或白)，可识别8(＝2³)个不同的AR对象。区域的数量可以是任何数量，只要该数量大于或等于1即可。这些区域可具有三种或更多种颜色。另一方面，对于这两个实例，卡13a的主识别目标G1a是同样的。因此，图像处理设备100只将主识别目标G1a的特征点的单个集合与从输入图像中提取的特征点匹配，以计算输入图像中示出的卡13a的布置。

(4)复合次识别目标

单个真实对象可包括由多个部分构成的复合次识别目标。图5是示出复合次识别目标的实例的说明性示图。参照图5，真实对象14c包括主识别目标G5、次识别目标G6和用于次识别目标的编辑区G7。主识别目标G5是起人工标记作用的框。在该框中，可印刷任何种类的内容。次识别目标G6是其中预先编码了给定代码值的条形码。编辑区G7可根据用户执行的编辑而包括不同代码值。预先限定次识别目标G6和编辑区G7相对于主识别目标G5的相对布置。图像处理设备100可基于主识别目标G5的图像识别来设置AR空间，并且可根据从次识别目标G6识别的代码值和从经编辑的编辑区G7识别的代码值的组合，确定将要布置在AR空间中的AR对象。

根据在这个部分中说明的机制，抑制了设置AR空间所需的图像识别的处理成本的增加，并且可增强将要显示的各种AR对象。在下一部分中，将说明实现这种机制的图像处理设备100的具体构造的实例。

<2.图像处理设备的构造实例>

[2-1.硬件配置]

图6是示出根据实施例的图像处理设备100的硬件配置实例的框图。参照图6，图像处理设备100包括相机102、传感器104、输入接口106、存储器108、显示器110、通信接口112、总线116和处理器118。

(1)相机

相机102是拍摄图像的相机模块。相机102使用诸如电荷耦合器件(CCD)或互补型金属氧化物半导体(CMOS)的图像传感器对真实对象进行成像，以产生拍摄图像。相机102产生的一系列拍摄图像构成视频图像。

(2)传感器

传感器104可包括诸如定位传感器、加速度传感器和陀螺传感器的各种传感器。传感器104可测量的图像处理设备100的位置、姿势或移动可用于各种目的，诸如，支持随后描述的相机的位置和姿势的识别，获取指定全球定位的数据，或识别来自用户的指令。注意的是，在图像处理设备100的构造中可省略传感器104。

(3)输入接口

输入接口106是用户用来操作图像处理设备100或将信息输入到图像处理设备100中所使用的输入装置。例如，输入接口106可包括检测用户在显示器110屏幕上进行的触摸的触摸传感器。另外，输入接口106可包括诸如键盘、键区、按钮或开关的输入装置。输入接口106还可包括用于语音输入和语音识别模块的麦克风。

(4)存储器

存储器108是诸如半导体存储器或硬盘驱动器的存储介质。存储器108存储用于图像处理设备100执行的处理的程序和数据。例如，存储器108存储的数据可包括随后描述的拍摄图像数据、传感器数据和各种数据库(DB)中的数据。注意的是，作为被存储在存储器108中的替代，可从外部数据源(例如，数据服务器、网络存储器或外部存储器)获取本说明书中描述的程序和数据中的一些。

(5)显示器

显示器110是包括表现图像的显示器的显示模块。例如，显示器110可以是液晶显示器(LCD)、有机发光二极管(OLED)、阴极射线管(CRT)等。例如，显示器110显示覆盖有AR对象的输出图像，AR对象是由图像处理设备100产生的。

(6)通信接口

通信接口112是用作图像处理设备100与另一设备的通信的中介装置的通信接口。通信接口112支持任意的无线通信协议或有线通信协议并且创建与其它设备的通信连接。

(7)总线

总线116将相机102、传感器104、输入接口106、存储器108、显示器110、通信接口112和处理器118相互连接。

(8)处理器

处理器118对应于诸如中央处理单元(CPU)或数字信号处理器(DSP)的处理器。通过执行存储器108或另一存储介质中存储的程序，控制单元118致使图像处理设备100以随后描述的各种方式工作。

[2-2.功能配置]

图7是示出通过图6中示出的图像处理设备100的存储器108和处理器118实现的逻辑功能配置的实例的框图。如图7中所示，图像处理设备100包括图像获取单元140、识别数据库(DB)150、识别单元160、对象数据库170和控制单元180。

(1)图像获取单元

图像获取单元140获取相机102拍摄的图像作为输入图像。通常，输入图像是构成视频的一系列帧中的各帧。在这个实施例中，输入图像是其中表现包括主识别目标和次识别目标的真实对象的图像。随后，图像获取单元140将获取的输入图像输出到识别单元160和控制单元180。

(2)识别数据库

识别数据库150是随后描述的存储识别单元160使用的识别字典数据的数据库。例如，识别字典数据包括针对每个或多个主识别目标定义主识别目标的特征的特征数据。识别字典数据还包括定义次识别目标相对于主识别目标的相对布置的布置数据。

图8A是示出可存储在识别数据库150中的识别字典数据的配置的第一实例的说明性示图。如图8A中所示，识别字典数据151a包括主代码ID152、特征数据153和次代码布置数据154a。次代码布置数据154a包括代码类型155、位置偏移156、旋转157和尺寸158。参照图9，以下将描述识别字典数据151a中的各数据项的含义。

主代码ID152是用于唯一标识主识别目标的标识符。特征数据153定义各主识别目标的已知特征。在主识别目标是图2A和图2B中示出的设计的情况下，特征数据153可预先定义从设计的已知图像中提取的特征点的集合。例如，特征点的集合可包括特征点的位置坐标和亮度，位置坐标是真实对象的印刷表面上二维坐标系中多个特征点中的每个的位置坐标。参照图9，星星代表二维坐标系C_ref中包括特征点FP1的多个特征点的位置。在主识别目标是如图3A和图3B中示出的图案化图的情况下，特征数据153可限定已知图案的形状和尺寸。

代码类型155定义次识别目标的类型。参照图9，示出两种代码类型T1和T2。代码类型T1表明次识别目标是包括彼此并列的三个矩形区域的代码。代码类型T2表明次识别目标是条形码。这两种代码都是可见代码。位置偏移156定义从主识别目标的参考位置(例如，二维坐标系C_ref的原点)到次识别目标的参考位置的偏移。在图9中，位置偏移156等于位置坐标OF1，位置坐标OF1代表环绕次识别目标的限位框的左上顶点。旋转157定义次识别目标围绕参考位置的旋转量(例如，印刷表面上真实对象的旋转量)。在图9的实例中，因为次识别目标不旋转，所以可省略旋转157。尺寸158定义二维坐标系C_ref中的次识别目标的尺寸。图9的实例中，尺寸158指示围绕次识别目标的限位框的宽度W1和高度H1。

图8B是示出可存储在识别数据库150中的识别字典数据的第二实例的说明性示图。如图8B中所示，识别字典数据151b包括主代码ID152、特征数据153和次代码布置数据154b。次代码布置数据154b只包括位置偏移156。例如，在只有单个类型的次识别目标并且次识别目标不旋转并且次识别目标的尺寸固定的情况下，可如本文描述地简单地定义次识别目标的相对布置。

图8C是示出可存储在识别数据库150中的识别字典数据的配置的第三实例的说明性示图。如图8C中所示，识别字典数据151c包括主代码ID152、特征数据153和次代码布置数据154c。次代码布置数据154c包括代码数字159和代码数字159所指示的数字的布置数据集合。布置数据的第一集合包括代码类型155a、位置偏移156a和尺寸158a。布置数据的第二集合包括代码类型155b、位置偏移156b和尺寸158b。在如图5中所示地使用复合次识别目标的情况下，可通过使用这种数据格式定义单个次识别目标的类型和布置。

(3)识别单元

识别单元160通过对主识别目标执行图像识别，识别主识别目标在输入图像中的布置。例如，识别单元160可通过将从输入图像中提取的图像特征量与识别数据库150中存储的已知特征量集合进行匹配，识别输入图像中示出的主识别目标。另一方面，识别单元160可通过将输入图像中包括的图案与识别数据库150中存储的已知图案进行匹配，识别输入图像中示出的主识别目标。另外，识别单元160基于检测到的特征点之间的位置关系或检测到的图案的形状和尺寸，识别主识别目标在输入图像中如何布置和示出。

图11A是示出主识别目标的识别实例的说明性示图。图11的左手侧示出用户Ua将图像处理设备100保持在卡13b上方的情景。图像获取单元140获取拍摄卡13b的输入图像IM11。在输入图像IM11中，示出从上方倾斜成像的主识别目标G1a。识别单元160根据诸如Harris法或Moravec法的公知角点检测法，从输入图像IM11中提取特征点(处理P1)。图11A中的星星指示从输入图像IM11中提取的多个特征点。识别单元160通过将包括特征点的位置坐标的特征量与预先记录在识别数据库150中的主识别目标G1a的特征量的集合进行匹配，识别到在输入图像IM11中示出主识别目标G1a。识别单元160还识别主识别目标G1a的三维布置。例如，可用与成像表面对应的三维屏幕坐标系C_SC中的齐次变换矩阵W_PR和成像表面的深度代表识别的三维布置(处理P2)。齐次变换矩阵W_PR基本上代表拍摄输入图像的相机102相对于真实对象13b的相对布置。以此方式，图像识别单元将与识别的主识别目标的标识符(主卡ID)对应的齐次变换矩阵输出到控制单元180。

基于主识别目标的上述图像识别，图像识别单元160还识别次识别目标。例如，识别单元160对从输入图像获取的次识别目标的部分图像执行识别处理。通过使用主识别目标的图像识别的结果和上述布置数据，确定其中示出次识别目标的部分。在次识别目标的类型存在两种或更多种候选者的情况下，将要识别的次识别目标的类型也通过上述布置数据来定义，并且可参照定义选择将要执行的识别处理。在如图2A和图2B中所示次识别目标包括多个区域的情况下，识别单元160从部分图像中读取参数(诸如，各区域的亮度或颜色)，并且决定与读取的参数的组合对应的代码值。在如图3A和图3B中所示次识别目标是条形码的情况下，识别单元160执行通用条形码读取处理并且对代码值进行解码。

图11B是示出次识别目标的识别实例的说明性示图。图11B的左手侧再次示出参照图11A说明的输入图像IM11。当输入图像IM11经历使用齐次变换矩阵W_PR的逆矩阵W_PR ^-1进行的逆变换时，产生转换图像IM12(处理P3)，转换图像IM12以真实对象13b的印刷表面面对成像表面的方式变换。根据识别字典数据中包括的次代码布置数据，基于主识别目标G1a的布置确定次识别目标G2b在转换图像IM12中的布置(处理P4)。识别单元160对以此方式确定的次识别目标G2b的部分图像执行与次识别目标G2b的类型对应的识别处理。随后，识别单元160将作为识别处理结果而识别的代码值输出到控制单元180。

(4)对象数据库

对象数据库170是用于存储随后描述的控制单元180使用的对象数据的数据库。对象数据定义AR空间中布置的各个AR对象和对应于次识别目标的代码值之间的映射。可通过主识别目标的各个候选者定义对象数据。

图10是示出可存储在对象数据库170中的对象数据的配置实例的说明性示图。如图10中所示，对象数据171包括主代码ID172、次代码值173、对象ID174、位置175、姿势176和图形数据177。主代码ID172是用于标识主识别目标的各个候选者的标识符。次代码值173指示次识别目标可识别的代码值的候选者。对象ID174是用于唯一标识AR对象的标识符。位置175定义在AR空间中布置的AR对象的三维位置。姿势176定义在AR空间中布置的AR对象的三维姿势。例如，基于与对应主识别目标的相对关系，定义AR对象在AR空间中的位置和姿势。图形数据177是用于产生AR对象图像的数据，图形数据177可定义例如多边形、纹理、动画和其它显示属性。

(5)控制单元

控制单元180基于识别单元160对主识别目标执行的图像识别的结果，设置与输入图像关联的AR空间。例如，控制单元180可将输入图像中真实对象的印刷表面设置为AR空间中的水平面，该水平面被用作AR对象的姿势或移动的基础。印刷表面关于图像表面的相对姿势可通过识别单元160输入的齐次变换矩阵W_PR来表达。另一方面，控制单元180还可将输入图像中主识别目标的位置设置为在AR空间中布置AR对象的参考位置。主识别目标在AR空间中的位置也可通过齐次变换矩阵W_PR来表达。

控制单元还根据识别单元160识别的次识别目标的代码值，决定哪个对象布置在AR空间中。例如，控制单元180使用识别数据库150中存储的布置数据，并且根据识别单元160识别的主识别目标的布置，确定在同一真实对象上将要识别的次识别目标的布置。在用布置数据定义次识别目标的类型的情况下，控制单元180可基于用布置数据定义的次识别目标的类型(代码类型)选择识别单元160将要执行的识别处理。控制单元180致使识别单元160对输入图像中示出的次识别目标执行识别处理。接着，当从识别单元160输入通过识别处理识别的次识别目标的代码值时，控制单元180决定映射至对象数据177中的代码值的AR对象作为将要布置在AR空间中的AR对象。在主识别目标存在多个候选者的情况下，控制单元180使用多个候选者之中与识别单元160识别的主识别目标对应的对象数据来决定AR对象。

当参照对象数据决定将要布置的AR对象时，控制单元180按照对象数据中的定义将AR对象布置在AR空间中。另外，控制单元180基于识别单元160进行图像识别的结果，产生从相机102的角度看到的AR对象的图像。随后，通过将AR对象的图像覆盖在输入图像上，控制单元180产生输出图像并且致使产生的输出图像显示在显示器110的屏幕上。

图11C是示出AR对象的决定和布置的实例的说明性示图。图11C的左手侧再次示出参照图11B说明的转换图像IM12。例如，在转换图像IM12中示出的主识别目标G1a的主代码ID是“PC1”。通过对转换图像IM12中示出的次识别目标G2b执行识别处理而读取的次识别目标G2b的代码值是例如“101”。控制单元180参照对象数据171中的与主代码ID“PC1”对应的子集中的具有次代码值“101”的记录，然后决定将具有对象ID“AR15”的AR对象31b布置在AR空间中(处理P5)。另外，控制单元180将AR对象31b布置在输入图像中的主识别目标G1a的位置上，好像AR对象31b在真实对象13b的印刷表面上一样，并且布置的AR对象31b的图像覆盖在输入图像上(处理P6)。

例如，控制单元180可根据使用布置数据确定的次识别目标的布置，确定将要识别的次识别目标是否在输入图像中充分示出。在次识别目标的主要部分存在于输入图像外部的情况下，控制单元180确定次识别目标没有在输入图像中充分示出。在控制单元180确定次识别目标没有在输入图像中充分示出的情况下，控制单元180可致使在屏幕上显示推荐改变视角的显示对象。例如，如图12中所示，显示对象AL1和AL2覆盖在图像IM21上。在图像IM21中，示出真实对象13b。然而，真实对象13b的次识别目标G2b的一个或多个区域在右侧部分超出图像IM21的视角。显示对象AL1是文本框，用于显示推荐用户改变视角的消息。显示对象AL2是指示移动视角的方向的三角形图标。按照显示对象AL1和AL2，用户向右移动视角(或通过缩小来加宽视角)，并且对整个次识别目标进行成像，以成功地显示AR对象。

控制单元180会致使在显示器110的屏幕上显示主识别目标的识别状态和次识别目标的识别状态中的至少一个。例如，如图13中所示，显示对象AL3和AL4覆盖在图像IM22上。显示对象AL3是围绕被成功识别的主识别目标的框。作为围绕主识别目标的框的替代(或除了该框之外)，可显示指示从图像IM22中提取的特征点的图标。显示对象AL4是识别状态的指示符。在图13中示出的实例中，指示符示出百分之五十的进度。这表明，成功进行了对主识别目标的识别，但没有完成对次识别目标的识别。通过看到这种识别状态，用户可实时得知AR应用的状态。在对次识别目标的识别完成之后，可自动地隐藏识别状态的显示，以不干扰AR应用的可视性。

2-3.处理的流程

图14是示出根据实施例的图像处理设备100执行的图像处理流程的实例的流程图。针对相机102拍摄的一系列输入图像中的每个，重复进行图14中示出的处理。

参照图14，首先，图像获取单元140从相机102获取示出具有主识别目标和次识别目标的真实对象的输入图像(步骤S102)。随后，图像获取单元140将获取的输入图像输出到识别单元160和控制单元180。

接着，识别单元160使用识别数据库150中存储的识别字典数据对主识别目标执行图像识别(步骤S104)。在这个实施例中，识别字典数据包括主识别目标的特征数据，主识别目标的数量少于可显示的AR对象的数量。因此，这里执行的图像识别的处理成本降至低水平。

随后，识别单元160确定是否识别到任何主识别目标(步骤S106)。在没有识别到主识别目标的情况下，处理返回到步骤S102并且获取下一个图像。在识别到主识别目标的情况下，识别单元160计算向相机102指示主识别目标(或真实对象)的三维布置的变换矩阵(例如，齐次变换矩阵)(步骤S108)。接着，识别单元160将识别到的主识别目标的标识符和计算出的变换矩阵输出到控制单元180。

控制单元180通过使用从识别单元160输入的变换矩阵的逆矩阵，对输入图像执行逆变换，并且产生以主识别目标和次识别目标面对成像表面的方式变换的经变换图像(步骤S110)。接着，控制单元180通过使用包括在识别字典数据中的布置数据，确定经变换图像中的次识别目标的布置(步骤S112)。

随后，基于决定的次识别目标的布置，控制单元180确定次识别目标是否在输入图像中充分示出(步骤S114)。在确定次识别目标没有在输入图像中充分示出的情况下，控制单元180致使在屏幕上显示推荐改变视角的显示对象(步骤S116)。此后，处理返回到步骤S102。另一方面，在确定次识别目标在输入图像中充分示出的情况下，控制单元180基于通过布置数据定义的次识别目标的代码类型选择识别单元160要执行的识别处理(S118)。接着，控制单元180致使识别单元160对输入图像中示出的次识别目标执行所选择的识别处理(步骤S120)。识别单元160将作为识别处理结果识别到的代码值输出到控制单元180。

接着，控制单元180通过使用识别单元160识别的代码值(主识别目标的标识符)，参照对象数据库170中存储的对象，并且决定要显示的AR对象(步骤S122)。注意的是，控制单元180还可参照经由通信接口112连接的数据服务器(而非对象数据库170)上的对象数据。随后，控制单元180基于主识别目标的图像识别的结果，产生决定的AR对象的图像(步骤S124)。接着，控制单元180致使输出图像在显示器110的屏幕上显示，输出图像是通过将AR对象的图像覆盖在输入图像上产生的(步骤S126)。

<3.应用实例>

[3-1.真实对象的实例]

本公开的实施例中使用的真实对象可以是在其表面上具有识别目标的任何种类的真实对象。例如，诸如海报、广告牌、宣传单、杂质、报纸、书、集换卡的各种印刷介质可通过将主识别目标和次识别目标或用于次识别目标的编辑区印刷到每个印刷介质的印刷表面上来用作本公开的实施例的真实对象。在印刷表面上，可印刷指南，指南引导用户将与AR应用协作的成像设备(例如，图像处理设备100的相机102)保持在印刷介质上方。

印刷介质的一个目的是用于卡牌游戏的集换卡。例如，在多个卡上印刷具有同样外观的主识别目标(例如，游戏人物的设计)，在卡上分别印刷其中编码有不同代码值的次识别目标。主识别目标用于将AR空间与示出印刷介质的图像关联。次识别目标用于决定在AR空间中将布置的AR对象。在印刷表面中，次识别目标相对于主识别目标的相对布置是固定的。购买卡的用户将图像处理设备100的相机102保持在所购买卡的上方。因此，在屏幕上显示与卡上印刷的人物关联的AR对象。每个AR对象包括根据从次识别目标识别的代码值而不同的属性。这里，属性可以是与AR对象的外观关联的属性、或者影响游戏进程的另一属性(例如，人物的级别)。当实现这种集换卡时，可以增强AR对象的多样性并且激发用户的购买意图或收集欲望，而没有增加图像识别的处理成本。在卡上印刷次识别目标的编辑区而非次识别目标时，用户可通过在得到卡之后编辑次识别目标来改变将要显示的AR对象的属性。因此，可防止卡牌游戏的单调化。集换卡可被一次一张地分给各用户，或者作为一组分给各用户。

印刷介质的另一个目的是广告海报。例如，在多个海报上印刷具有同样外观的主识别目标(例如，产品的照片)，在海报上分别印刷其中编码有不同代码值的次识别目标。用户在诸如购物中心或车站的地方发现海报，将图像处理设备100的相机102保持在所发现的海报上方。因此，在屏幕上显示与海报上印刷的产品对应的AR对象。AR对象中的每个包括根据从次识别目标识别的代码值而不同的属性。可以根据海报的位置改变代码值，为到访该地方的各用户提供包括适于该地方的属性的AR对象。当实现这种广告海报时，图像识别的处理成本没有增加，AR对象的多样性增强，引起用户对产品的注意，广告效果增加。广告海报可被一次一张地提供给各商业运营者，或者可被作为一组提供给各商业运营者。

至于集换卡或任何其它目的，印刷介质还可包括在印刷表面上的覆盖次识别目标的位置上形成的刮层。图15是示出具有刮层的印刷介质的实例的说明性示图。图15示出作为实例的集换卡15。集换卡15包括印刷在印刷表面上的主识别目标G7和层合在印刷表面上的刮层SC1。刮层SC1形成在覆盖次识别目标的位置。当用户刮开刮层SC1时，次识别目标被暴露并且变得可见。例如，在次识别目标G8a被暴露的情况下，AR应用的输出图像示出AR对象33a。在次识别目标G8b被暴露的情况下，AR应用的输出图像示出AR对象33b。在次识别目标G8c被暴露的情况下，AR应用的输出图像示出AR对象33c。当实现这种刮型集换卡时，图像识别的处理成本没有增加，使AR对象变得难以预知，用户的好奇度增加。

[3-2.HMD的使用]

如上所述，本公开的实施例可被实现为HMD装置。图16是示出图像处理设备的修改形式的说明性示图。在图16的实例中，图像处理设备200是安装在用户头上的眼镜型HMD装置。图像处理设备200包括主框架201、相机202、接触表面206、一对屏幕210a和210b。主框架201包括支承屏幕210a和210b的框架和设置在用户头部侧面的所谓镜脚。在镜脚中，包含包括用于图像处理的处理器和存储器的许多模块。这些模块包括与图7中示出的图像处理设备100的各种逻辑功能类似的功能。相机202被布置成使得镜片的光学轴基本上平行于用户的视线，并且相机202用于拍摄图像。接触表面206是用于检测用户执行的触摸的表面，并且用于致使图像处理设备200接收用户输入。屏幕210a和屏幕210b是透视型显示器或非透视型显示器，并且被分别布置在用户的左眼和右眼前方。

[3-3.多个设备的协作]

可通过彼此协作的多个设备实现本公开的实施例。例如，可通过物理上与图像处理设备100或200不同的设备执行识别单元160和控制单元180的一部分功能。

图17是示出多个设备的协作的说明性示图。图17示出图像处理设备100和与图像处理设备100通信的服务器设备300。服务器设备300可以是在用户附近创建的个人网络或家庭网络，或者可以是诸如互联网的远程网络。图像处理设备100将输入图像发送到服务器设备300，例如(SIG1)。服务器设备300是具有图7中示出的识别单元160和控制单元180的功能的设备。服务器设备300对从图像处理设备100接收的输入图像执行图像识别，并且识别主识别目标和次识别目标。随后，基于识别结果，服务器设备300决定AR空间中将布置的AR对象，并且将所决定的AR对象的图像或图形数据发送到图像处理设备100(SIG2)。通过使用从服务器设备300接收的数据，图像处理设备100在屏幕上显示其中覆盖了AR对象的输出图像。根据这种配置，即使图像处理设备100具有少量处理资源，也可为用户提供AR应用。

<4.结论>

参照图1至图17，以上已经详细描述了本公开的实施例。根据这些实施例，对输入图像中示出的真实对象的主识别目标执行图像识别，基于图像识别进一步识别同一真实对象的次识别目标。随后，基于主识别目标的图像识别设置AR空间。根据次识别目标，决定布置在AR空间中的AR对象。因此，抑制了重量级处理(诸如，用于设置AR空间的特征数据匹配)的处理成本的增加，次识别目标的多样性增加，将要显示的AR对象的多样性增加。

此外，根据实施例，次识别目标相对于主识别目标的相对布置被固定地限定，可基于输入图像中的主识别目标的布置，决定将要识别的次识别目标的布置。根据这种配置，不必执行在输入图像中搜索其布置预先未知的次识别目标的处理。因此，识别次识别目标的处理成本急剧降低。

此外，根据实施例，可通过对根据布置数据获取的部分图像执行识别处理，识别次识别目标。可通过利用通用识别模块(诸如，条形码读取器模块)以小开发成本实现上述机制。在提供定义次识别目标类型的数据和可通过使用该数据切换次识别目标的识别处理的情况下，变得可以根据AR应用的目的灵活地选择次识别目标的形式。因此，通过使用同样的机制，AR应用可被应用于广泛用途，诸如，广告、游戏和教育。

此外，根据实施例，次识别目标包括用户可编辑的可视代码，AR对象可被映射至从经编辑的次识别目标读取的代码。在这种情况下，可根据用户如何编辑次识别目标来显示不同的AR对象。因此，可防止AR应用单调化并且可保持用户对AR应用的关注。

通常可用软件实现本说明书中描述的各设备执行的一系列处理。构成实现这一系列处理的这种软件的程序可被预先存储在例如设置在设备内部或外部的存储介质(非暂态介质)上。在执行期间，这种程序被写入随机存取存储器(RAM)并且由诸如CPU的处理器执行。

注意的是，本说明书中参照流程图描述的处理不一定按流程图中示出的次序执行。一些处理步骤可并行地执行。另外，可采用一些额外步骤，或者可省略一些处理步骤。

本领域的技术人员应该理解，根据设计要求和其它因素，可想到组合形式、子组合形式和替代形式，达到这些形式在所附权利要求书或其等同物的范围内。

另外，还可如下地配置本技术。

(1)一种图像处理设备，所述图像处理设备包括：

图像获取单元，被配置成获取示出真实对象的图像，所述真实对象包括主识别目标和次识别目标；以及

控制单元，被配置成基于所述主识别目标的图像识别，设置与所述图像关联的增强真实空间，并且被配置成根据基于所述主识别目标的图像识别而识别的所述次识别目标，决定在所述增强真实空间中将布置的增强真实对象。

(2)根据(1)所述的图像处理设备，其中，根据所述主识别目标在所述图像中的布置，所述控制单元通过使用定义所述次识别目标相对于所述主识别目标的相对布置的布置数据，确定将要识别的所述次识别目标的布置。

(3)根据(2)所述的图像处理设备，其中，在根据所述次识别目标的布置确定所述次识别目标没有在所述图像中充分示出的情况下，所述控制单元致使在屏幕上显示推荐改变视角的显示对象。

(4)根据(2)或(3)所述的图像处理设备，其中，通过对按照所述次识别目标的布置而获取的部分图像执行识别处理来识别所述次识别目标。

(5)根据(4)所述的图像处理设备，其中，所述布置数据还定义所述次识别目标的类型，以及基于通过使用所述布置数据确定的所述次识别目标的类型，选择用于识别所述次识别目标的识别处理。

(6)根据(1)至(5)中的任一项所述的图像处理设备，其中，所述次识别目标包括由用户编辑的可视代码，以及通过使用其中用于识别所述次识别目标的代码被映射至对应的增强真实对象的对象数据，所述控制单元决定将在增强真实空间中布置的增强真实对象。

(7)根据(6)所述的图像处理设备，其中，针对所述主识别目标的多个候选者中的每个，定义所述对象数据，以及为了决定增强真实对象，所述控制单元使用与从所述多个候选者之中识别的主识别目标对应的对象数据。

(8)根据(1)至(7)中的任一项所述的图像处理设备，其中，所述主识别目标是已知图像或已知图案，以及所述图像处理设备还包括识别单元，所述识别单元通过将所述图像与一个或多个已知图像或已知图案的特征数据匹配来执行图像识别。

(9)根据(1)至(8)中的任一项所述的图像处理设备，其中，所述控制单元致使在屏幕上显示所述主识别目标的识别状态和所述次识别目标的识别状态中的至少一个。

(10)根据(2)至(5)中的任一项所述的图像处理设备，其中，所述布置包括识别目标的位置、姿势和尺寸中的至少一个。

(11)一种图像处理方法，所述图像处理方法包括：

获取示出包括主识别目标和次识别目标的真实对象的图像；

基于所述主识别目标的图像识别，设置与所述图像关联的增强真实空间；以及

根据基于所述主识别目标的图像识别而识别的所述次识别目标，决定在所设置的增强真实空间中将布置的增强真实对象。

(12)一种致使控制图像处理设备的计算机用作以下部分的程序：

图像获取单元，被配置成获取示出真实对象的图像，所述真实对象包括主识别目标和次识别目标；以及

控制单元，被配置成基于所述主识别目标的图像识别，设置与所述图像关联的增强真实空间，并且被配置成根据基于所述主识别目标的图像识别而识别的所述次识别目标，决定在所述增强真实空间中将布置的增强真实对象。

(13)一种包括印刷表面的印刷介质，所述印刷介质包括：

主识别目标，被印刷到所述印刷表面上并且用于将示出所述印刷介质的图像与增强真实空间关联；以及

次识别目标和用于次识别目标的编辑区中的一个，被印刷到所述印刷表面上并且用于决定在增强真实空间中将布置的增强真实对象。

(14)一种印刷介质套件，所述套件包括：

多个根据(13)所述的印刷介质，

其中，所述印刷介质中的两个或更多个分别包括具有同样外观的主识别目标和其中编码有不同值的次识别目标。

(15)根据(14)所述的印刷介质套件，其中，在两个或更多个所述印刷介质的印刷表面上，所述次识别目标相对于所述主识别目标的相对布置是固定的。

(16)根据(13)所述的印刷介质套件，还包括：

所述次识别目标；

刮层，形成在所述印刷表面上的覆盖所述次识别目标的位置处。

Claims (16)

1.一种图像处理设备，包括：

图像获取单元，被配置成获取示出真实对象的图像，所述真实对象包括主识别目标和次识别目标；以及

控制单元，被配置成基于所述主识别目标的图像识别，设置与所述图像关联的增强真实空间，并且被配置成根据基于所述主识别目标的图像识别而识别的所述次识别目标，决定在所述增强真实空间中将布置的增强真实对象。

2.根据权利要求1所述的图像处理设备，其中，根据所述主识别目标在所述图像中的布置，所述控制单元通过使用定义所述次识别目标相对于所述主识别目标的相对布置的布置数据，确定将要识别的所述次识别目标的布置。

3.根据权利要求2所述的图像处理设备，其中，在根据所述次识别目标的布置确定所述次识别目标没有在所述图像中充分示出的情况下，所述控制单元致使在屏幕上显示推荐改变视角的显示对象。

4.根据权利要求2所述的图像处理设备，其中，通过对按照所述次识别目标的布置而获取的部分图像执行识别处理来识别所述次识别目标。

5.根据权利要求4所述的图像处理设备，其中，所述布置数据还定义所述次识别目标的类型，以及

基于通过使用所述布置数据确定的所述次识别目标的类型，选择用于识别所述次识别目标的识别处理。

6.根据权利要求1所述的图像处理设备，其中，所述次识别目标包括由用户编辑的可视代码，以及

通过使用其中用于识别所述次识别目标的代码被映射至对应的增强真实对象的对象数据，所述控制单元决定将在增强真实空间中布置的增强真实对象。

7.根据权利要求6所述的图像处理设备，其中，针对所述主识别目标的多个候选者中的每个，定义所述对象数据，以及

为了决定增强真实对象，所述控制单元使用与从所述多个候选者之中识别的主识别目标对应的对象数据。

8.根据权利要求1所述的图像处理设备，其中，所述主识别目标是已知图像或已知图案，以及

所述图像处理设备还包括识别单元，所述识别单元通过将所述图像与一个或多个已知图像或已知图案的特征数据匹配来执行图像识别。

9.根据权利要求1所述的图像处理设备，其中，所述控制单元致使在屏幕上显示所述主识别目标的识别状态和所述次识别目标的识别状态中的至少一个。

10.根据权利要求2所述的图像处理设备，其中，所述布置包括识别目标的位置、姿势和尺寸中的至少一个。

11.一种图像处理方法，包括：

获取示出包括主识别目标和次识别目标的真实对象的图像；

基于所述主识别目标的图像识别，设置与所述图像关联的增强真实空间；以及

根据基于所述主识别目标的图像识别而识别的所述次识别目标，决定在所设置的增强真实空间中将布置的增强真实对象。

12.一种致使控制图像处理设备的计算机用作以下单元的程序：

图像获取单元，被配置成获取示出真实对象的图像，所述真实对象包括主识别目标和次识别目标；以及

控制单元，被配置成基于所述主识别目标的图像识别，设置与所述图像关联的增强真实空间，并且被配置成根据基于所述主识别目标的图像识别而识别的所述次识别目标，决定在所述增强真实空间中将布置的增强真实对象。

13.一种包括印刷表面的印刷介质，所述印刷介质包括：

主识别目标，被印刷到所述印刷表面上并且用于将示出所述印刷介质的图像与增强真实空间关联；以及

次识别目标和用于次识别目标的编辑区中的一个，被印刷到所述印刷表面上并且用于决定在增强真实空间中将布置的增强真实对象。

14.一种印刷介质套件，所述套件包括：

多个根据权利要求13所述的印刷介质，

其中，所述印刷介质中的两个或更多个分别包括具有同样外观的主识别目标和其中编码有不同值的次识别目标。

15.根据权利要求14所述的印刷介质套件，其中，在两个或更多个所述印刷介质的印刷表面上，所述次识别目标相对于所述主识别目标的相对布置是固定的。

16.根据权利要求14所述的印刷介质，还包括：

所述次识别目标；以及

刮层，形成在所述印刷表面上的覆盖所述次识别目标的位置处。