CN102122392B

CN102122392B - 信息处理设备、信息处理系统和信息处理方法

Info

Publication number: CN102122392B
Application number: CN201010624881.6A
Authority: CN
Inventors: 铃木和弘; 宫下朗; 石毛广行
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-01-08
Filing date: 2010-12-31
Publication date: 2015-01-14
Anticipated expiration: 2030-12-31
Also published as: US8749583B2; JP2011141828A; JP5423406B2; TW201142745A; US20110169861A1; KR20110081759A; CN102122392A

Abstract

本发明公开了信息处理设备、信息处理系统和信息处理方法。第一图像拍摄装置拍摄现实空间的图像，从而获得第一背景图像。第一位置关系估计单元在第一背景图像包括第一标记图像的情况中基于第一标记图像来估计第一位置关系，在第一背景图像不包括第一标记图像的情况中基于从第一背景图像提取出的特征点的位移来估计第一位置关系，第一标记图像是预先登记的并且位于所述现实空间中的标记的图像，第一位置关系是第一图像拍摄装置相对所述标记的空间位置关系。图像生成单元基于第一位置关系生成第一附加图像，并且将第一附加图像和第一背景图像进行合成，从而生成合成图像。

Description

信息处理设备、信息处理系统和信息处理方法

技术领域

本发明涉及将现实环境的图像和与该现实环境相对应的图像进行合成来显示的信息处理设备、信息处理系统和信息处理方法。

背景技术

已知一种称为增强现实(AR)的技术，其中，与现实环境相对应的图像被添加到现实环境的图像中。在AR中，现实环境的图像通过相机之类获得，并且与现实环境相对应的添加图像(以下称为附加图像)与所获得的现实环境的图像合成，从而被显示在显示画面上。用户观看现实环境的图像和附加图像被合成的图像，从而认为好像在现实环境中存在被显示作为附加图像的对象或图像。

在AR中，准确地建立所获得的现实环境的图像和附加图像之间的对应关系(即，将附加图像的位置、大小、角度等等与现实环境相匹配)是重要的。在对应关系没有被准确建立的情况中，所显示的附加图像的位置、大小、角度等等相对于现实环境变得不自然。

例如，日本的虚拟现实社会刊物(Journal of The Virtual Reality Societyof Japan)1999年第4卷No.4 http://intron.kz.tsukuba.ac.jp/tvrsj/4.4/kato/p-99_VRSJ4_4.pdf中Hirokazu Kato，Mark Billinghurst，Koichi Asano和Keihachiro Tachibana的“An Augmented Reality System and its Calibrationbased on Marker Tracking”(以下称为非专利文献1)描述了一种利用标记的AR系统。在此系统中，有关标记(具有预定大小的着色的正方形)的图像信息被预先登记。在现实环境的图像包括此标记的图像的情况中，在现实环境的图像中检测该标记，并且基于有关大小、角度等等的信息来计算相机相对此标记的空间位置关系。基于此位置关系，虚拟对象被显示在与相机的相对位置固定的HDM上，从而用户能够看到与现实环境一起的虚拟对象。

此外，AR不仅能够与附加图像相关联地显示现实环境，而且能够根据用户的输入来改变附加图像。例如，当用户在观看添加了附加图像的现实环境的同时将指示器瞄准现实环境时，能够进行改变与所指示的现实环境的位置相对应的附加图像的操作。日本专利申请早期公开No.2007-75213第0086段、图7(以下称为专利文献1)描述了一种能够进行这样的操作的信息处理程序。

专利文献1描述了一种设备，该设备包括两个标记(红外线光源)和控制器，这两个标记设置在监视器的外缘上并且被分开，控制器具有能够拍摄这些标记的图像的图像拍摄装置。当用户在监视器处瞄准控制器的同时操作该控制器时，该控制器相对于监视器的空间位置关系基于由图像拍摄装置拍摄的这两个标记的距离、角度等等而被计算出，并且用户的操作被输入该设备中。

发明内容

然而，根据专利文献1和非专利文献1的技术，记号(标记)应当被包括在图像拍摄装置的图像拍摄区域中。因此，合成有附加图像的图像仅被显示在其中图像拍摄装置拍摄了此标记的区域中。

鉴于上述情形，希望提供一种即使在图像拍摄区域中不包括标记的情况中也能够显示与现实环境相对应的附加图像的信息处理设备，信息处理系统和信息处理方法。

为了达到上述目的，根据本发明一个方面的一种信息处理设备包括第一图像拍摄装置、第一位置关系估计单元、图像生成单元和显示装置。

第一图像拍摄装置拍摄现实空间的图像，从而获得第一背景图像。

第一位置关系估计单元在第一背景图像包括第一标记图像的情况中基于第一标记图像来估计第一位置关系，在第一背景图像不包括第一标记图像的情况中基于从第一背景图像提取出的特征点的位移来估计第一位置关系，所述第一标记图像是预先登记的并且位于所述现实空间中的标记的图像，所述第一位置关系是第一图像拍摄装置相对所述标记的空间位置关系。

图像生成单元基于第一位置关系生成第一附加图像，并且将第一附加图像和第一背景图像进行合成，从而生成合成图像。

显示装置显示合成图像。

在第一背景图像包括第一标记图像的情况中，第一位置关系估计单元能够通过比较第一标记图像和在第一位置关系估计单元中预先登记的有关所述标记的信息来估计第一位置关系。同时，在第一背景图像不包括第一标记图像的情况中，第一位置关系估计单元能够基于从由第一图像拍摄装置预先拍摄的包括标记图像的背景图像提取出的特征点以及从第一背景图象提取出的特征点的位移来估计第一位置关系。图像生成单元通过利用第一位置关系确定与第一背景图像匹配的第一附加图像的位置、方向、大小等等，以将第一附加图像与第一背景图像进行合成。因为第一附加图像是根据第一位置关系生成的，即，根据第一图像拍摄装置相对现实空间中的标记的位置和方向生成的，所以用户认为好像在现实空间中存在虚拟对象。即使在第一背景图像不包括第一标记图像的情况中，即，第一图像拍摄装置的图像拍摄区域不包括标记的情况中，该信息处理设备也能够显示其中合成了与第一背景图像相匹配的第一附加图像的合成图像。

该信息处理设备还可以包括接收单元，接收从包括第二图像拍摄装置和第二位置关系估计单元的设备发送的第二位置关系。

第二图像拍摄装置可以拍摄现实空间的图像，从而获得第二背景图像。

第二位置关系估计单元可以在第二背景图像包括第二标记图像的情况中基于第二标记图像来估计第二位置关系，在第二背景图像不包括第二标记图像的情况中基于从第二背景图像提取出的特征点的位移来估计第二位置关系，第二标记图像是所述标记的图像，第二位置关系是第二图像拍摄装置相对所述标记的空间位置关系。

图像生成单元可以基于第一位置关系和所接收的第二位置关系生成第一附加图像，并且将该第一附加图像和第一背景图像进行合成，从而生成合成图像。

根据这种结构，除了第一位置关系以外，图像生成单元还获得了作为第二图像拍摄装置的位置关系的第二位置关系，并且图像生成单元能够基于第一位置关系和第二位置关系来改变第一附加图像。因此，能够改变第一附加图像，就好像对虚拟对象做出与第二位置关系相对应的改变。

为了达到上述目的，根据本发明一个方面的信息处理系统包括第一信息处理设备和第二信息处理设备。

第一信息处理设备包括第一图像拍摄装置和第一位置关系估计单元。

第一位置关系估计单元在第一背景图像包括第一标记图像的情况中基于第一标记图像来估计第一位置关系，在第一背景图像不包括第一标记图像的情况中基于从第一背景图像提取出的特征点的位移来估计第一位置关系，所述第一标记图像是预先登记的并且位于所述现实空间中标记的图像，所述第一位置关系是第一图像拍摄装置相对所述标记的空间位置关系。

第二信息处理设备包括第二图像拍摄装置、第二位置关系估计单元和发送单元。

第二图像拍摄装置拍摄现实空间的图像，从而获得第二背景图像。

第二位置关系估计单元在第二背景图像包括第二标记图像的情况中基于第二标记图像来估计第二位置关系，并且在第二背景图像不包括第二标记图像的情况中基于从第二背景图像提取出的特征点的位移来估计第二位置关系，第二标记图像是所述标记的图像，所述第二位置关系是第二图像拍摄装置相对所述标记的空间位置关系。

发送单元将第二位置关系发送给第一信息处理设备。

第一信息处理设备还包括接收单元、图像生成单元和显示装置。

接收单元接收从第二信息处理设备发送的第二位置关系。

图像生成单元基于第一位置关系和所接收的第二位置关系生成第一附加图像，并且将该第一附加图像和第一背景图像进行合成，从而生成合成图像。

显示装置显示合成图像。

第一图像拍摄装置和第二图像拍摄装置中的每个拍摄现实空间的图像。例如，第一图像拍摄装置是设置在设备本体上的相机，并且第二图像拍摄装置是设置在控制器上的相机。因为第一图像拍摄装置和第二图像拍摄装置的空间位置的差异，第一背景图像和第二背景图像是彼此不同的。在第一图像拍摄装置中，如上所述，第一位置关系估计单元估计第一位置关系。在第二图像拍摄装置中，如上所述，第二位置关系估计单元通过比较第二标记图像和在第二位置关系估计单元中预先登记的有关标记的信息来估计第二位置关系，或者基于从由第二图像拍摄装置预先拍摄的包括标记图像的背景图像提取出的特征点以及从第二背景图像提取出的特征点的位移来估计第二位置关系。因此，图像生成单元能够基于第一位置关系和第二位置关系来对第一附加图像进行改变。因此，能够改变第一附加图像就好像对虚拟对象做出与第二位置关系相对应的改变。

第二信息处理设备还可以包括允许用户的输入操作的输入单元。

图像生成单元根据通过输入单元输入的指令来改变第一附加图像。

根据这种结构，此信息处理系统能够显示在用户输入指令时根据第二位置关系而改变的第一附加图像。

图像生成单元可以基于第一位置关系和第二位置系来计算第三位置关系，还基于第三位置关系来生成添加到背景图像的第二附加图像，并且将第一附加图像、背景图像和第二附加图像进行合成，从而生成合成图像，第三位置关系是第二图像拍摄装置相对第一图像拍摄装置的空间位置关系。

该信息处理系统能够根据第二图像拍摄装置相对第一图像拍摄装置的空间位置关系来将第二附加图像和现实图像进行合成。例如，在第一图像拍摄装置的图像拍摄区域包括第二图像拍摄装置的情况中，该信息处理系统能够显示与第二图像拍摄图像相对第一图像拍摄装置的空间位置关系(即，第三位置关系)相对应的、表示第二图像拍摄装置的图像。

为了达到上述目的，根据本发明一个方面的程序使得计算机用作第一位置关系估计单元和图像生成单元。

第一位置关系估计单元在由第一图像拍摄装置拍摄的第一背景图像包括第一标记图像的情况中基于第一标记图像来估计第一位置关系，在第一背景图像不包括第一标记图像的情况中基于从第一背景图像提取出的特征点的位移来估计第一位置关系，第一标记图像是预先登记的并且位于所述现实空间中的标记的图像，第一位置关系是第一图像拍摄装置相对所述标记的空间位置关系。

为了达到上述目的，根据本发明一个方面的信息处理方法，第一图像拍摄装置拍摄现实空间的图像从而获得第一背景图像。

第一位置关系估计单元在第一背景图像包括第一标记图像的情况中基于第一标记图像来估计第一位置关系，并且在第一背景图像不包括第一标记图像的情况中基于从第一背景图像提取出的特征点的位移来估计第一位置关系，第一标记图像是预先登记的并且位于所述现实空间中的标记的图像，第一位置关系是第一图像拍摄装置相对所述标记的空间位置关系。

图像生成单元基于第一位置关系生成第一附加图像，并且将第一附加图像和第一背景图像进行合成，以生成合成图像。

显示装置显示合成图像。

如上所述，根据本发明，能够提供一种信息处理设备、信息处理系统和信息处理方法，它们即使在图像拍摄区域不包括标记的情况下也能够显示与现实环境相对应的附加图像。

根据下面如附图中所图示出的对本发明的最佳模式的实施例的详细描述，本发明的这些和其他目的、特征以及优点将变得很明显。

附图说明

图1是示出根据第一实施例的信息处理设备的外观的透视图；

图2是示出该信息处理设备的结构的框图；

图3A和3B是例示由该信息处理设备生成增强现实图像的概要的示意图；

图4是示出该信息处理设备的功能结构的框图；

图5是详细示出该信息处理设备的位置关系估计单元的框图；

图6A-6C是示出标记的示意图；

图7A-7C是示出如何设置特征点的示意图；

图8是示出根据第一实施例的信息处理设备的操作的流程图；

图9A-9F是示出由该信息处理设备生成/拍摄的现实图像和增强现实图像的示意图；

图10是示出根据第二实施例的信息处理系统的外观的透视图；

图11是示出该信息处理系统的AR控制器的透视图；

图12是示出该信息处理系统的结构的框图；

图13A-13C是例示由该信息处理系统生成增强现实图像的概要的示意图；

图14是示出该信息处理系统的功能结构的框图；

图15是示出该信息处理系统的操作的流程图；以及

图16A-16C是例示由根据第三实施例的信息处理系统生成增强现实图像的概要的示意图。

具体实施方式

下面将参考附图来描述本发明的实施例。

(第一实施例)

将描述根据本发明的第一实施例。

图1是示出根据本发明的第一实施例的信息处理设备1的外观的透视图。

作为信息处理设备1的示例，将描述便携信息终端。

如图1所示，信息处理设备1包括本体2、显示器3和相机4(第一图像拍摄装置)。诸如按压按钮开关之类的输入单元5设置在本体2上。显示器3可以是使用能够被制造得较轻薄的显示元件的显示器，诸如液晶显示器、等离子显示器以及有机EL(电致发光)显示器。相机4可以是通过使用诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)之类的图像拍摄装置构成的相机。相机4被设置在本体2上，以使得图像拍摄方向与用户的视线方向相同，即，与显示器3的显示面侧相反。如上所述，在该AR(增强现实)系统中，相机4用作用户的视觉。

图2是示出信息处理设备1的结构的框图。

如图2所示，信息处理设备1还包括CPU(中央处理单元)10、存储器11、显示器接口12和相机接口13。显示器3被连接到显示器接口12，并且相机4被连接到相机接口13。CPU 10、存储器11、显示器接口12、相机接口13和输入单元5通过总线15彼此连接。注意，信息处理设备1的结构不限于这里所示出的。

图3A和3B是例示由信息处理设备1生成AR图像(增强现实图像)的概要的示意图。这里，作为位于现实空间中的现实对象，“桌子”被引述作为示例。标记M安置在桌子上。如图3A所示，信息处理设备1的相机4拍摄现实空间的图像(以下称为现实图像)，该现实图像显示在显示器3上。现实图像包括标记M的图像。当用户给予信息处理设备1AR图像生成指令时，如图3B所示，AR图像被显示显示器3上，在AR图像中，现实图像被与对象的图像(以下称为对象图像)J合成，即，AR图像就好像在现实空间存在虚拟对象。注意，在图3A和3B的示例中，对象被假设为是虚拟三维(立体)对象，但是也可以是虚拟二维(平面)对象。下面详细描述AR图像的生成处理。

图4是示出此信息处理设备1的功能结构的框图。

如图4所示，作为功能结构，除了上述显示器3、相机4、输入单元5以外，此信息处理设备1还包括位置关系估计单元20(第一位置关系估计单元)、对象数据存储单元21和图像数据生成单元22(图像生成单元)。注意，位置关系估计单元20、对象数据存储单元21和图像数据生成单元22是通过CPU 10、存储器11等实现的。

相机4拍摄现实空间的图像，并且将所拍摄的现实空间的图像数据(以下称为现实图像数据)提供给位置关系估计单元20和图像数据生成单元22。

位置关系估计单元20基于从相机4提供的现实图像数据来估计相机4相对现实空间中的标记M的空间位置关系。空间位置关系是指在现实空间中的坐标和方向。具体地，位置关系估计单元20生成空间坐标变换矩阵，以将针对现实空间中的标记M的坐标系统(以下称为标记坐标系统)变换成针对现实空间中的相机4的坐标系统(以下称为相机坐标系统)。位置关系估计单元20将空间坐标变换矩阵提供给图像数据生成单元22。位置关系估计单元20在下面详细描述。

对象数据存储单元21预先存储用于绘制对象的数据(以下称为对象数据)。存储在对象数据存储单元21中的对象数据可以是三维对象数据或二维对象数据。此外，此对象数据可以是一条虚拟对象数据或多条虚拟对象数据。

图像数据生成单元22基于从对象数据存储单元21提供的相机坐标系统以及从位置关系估计单元20提供的空间坐标变换矩阵来计算对象图像数据。经由输入单元5接收到用户的指令时，图像数据生成单元22将对象图像数据和现实图像数据进行合成，从而生成AR图像数据。CPU 10将如上所述生成的AR图像数据提供给显示器3。

显示器3将所提供的AR图像数据作为AR图像显示。

如上所述，AR图像被显示在显示器3上。注意，此一系列的处理是通过一个帧(例如，1/30秒)或通过比一个帧短的时间执行的。因此，此时间导向的连续AR图像作为运动画面被显示在显示器3上。在相机4相对标记M被移动的情况中，对象图像J也因此被改变。

下面将详细描述位置关系估计单元20。

图5是详细示出位置关系估计单元20的功能结构的框图。

如图5所示，位置关系估计单元20包括标记检测单元23、位移量计算单元24和变换矩阵计算单元25。

由相机4拍摄的现实图像数据被提供给标记检测单元23和位移量计算单元24。

将描述标记检测单元23。

标记信息预先被登记在标记检测单元23中。例如，在标记是如图6A中所示的正方形的情况中，标记信息是在垂直方向上在预定距离处拍摄的标记的图像的每边的长度等等。注意，通过预先在标记检测单元23中登记有关现实空间中存在的对象的信息，能够使用该对象作为标记。

标记检测单元23通过使用阈值将现实图像数据二值化，并且借助连接区域(相同值的连续区域)计算面积和外接长方形。例如，在图6A-6C中，对于作为连接区域的具有“黑色”值的一个或多个连续区域，面积和外接长方型被计算。随后，标记检测单元23基于外接长方形信息排除具有比阈值大的面积值的作为大区域的区域以及具有比另一阈值小的面积值的作为小区域的区域，并且还排除位于图像外缘中的连接的区域。

标记检测单元23还对剩余的连接区域的轮廓进行追踪，并且存储此轮廓上的所有像素位置。接着，标记检测单元23对此轮廓进行近似以获得由连接直线构成的多边形线，并且检测作为近似结果的连接区域作为用于标记M的候选。这里，因为具有预定大小的黑色正方形被登记作为标记，所以具有由4条连接线(每条近似地具有相同的长度)构成的轮廓的连接区域作为标记M的候选。图6B是示出拍摄的作为用于标记M的候选的连接区域的图像的概观图，并且图6C示出在由上述针对图像的处理生成多边形线近似之后的轮廓L。标记检测单元23存储构成检测到的作为标记M候选的连接区域的轮廓的直线的交点(在图6C中示出为点P)在现实图像中的像素位置。

接着，标记检测单元23将标记M候选的连接区域正规化，即，将此连接区域变换成在垂直方向看到的形状。在本示例中，因为正方形被采用作为标记，所以标记检测单元23生成平面坐标变换矩阵，并且通过使用该平面坐标变换矩阵来对作为标记M候选的连接区域的图像执行坐标变换，对于上述平面坐标变换矩阵，四个交点P的像素位置是该正方形的四个顶点。随后，标记检测单元23对执行了坐标变换的连接区域的图像执行与所登记的标记的图案匹配。标记检测单元23将作为图案匹配的结果的被确定为与所登记的标记具有最高相似度的连接区域认为是标记M。标记检测单元23将被认为是标记M的连接区域的四个交点P的像素位置(以下称为标记像素位置)提供给变换矩阵计算单元25。在没有检测到标记M的情况中，标记检测单元23向变换矩阵计算单元25提供对此的指令。标记检测单元23没有检测到标记M的情况是所有连接区域作为上述大区域或小区域而都被排除的情况，相似度等于或小于阈值的情况，等等。

接着，将描述位移量计算单元24进行的估计处理。

首先，位移量计算单元24从自相机4提供的特定帧的现实图像(以下称为第一帧图像)提取特征点。特征点是位移量计算单元24能够稳定进行检测的点。具体地，特征点可以是能够通过使用Moravec运算符检测到的、显示在现实图像上的对象的拐角等等。位移量计算单元24将特征点设置到现实图像中离散的多个像素位置上。图7A是示出在图3A中例示的现实图像中设置的特征点的示意图。图7A示出第一帧图像的特征点为点Q1、Q2、Q3和Q4。注意，实际上，更多数量的特征点被设置。

位移量计算单元24还提取有关作为中心的特征点的多个像素的信息作为模板(template)。位移量计算单元24将特征点的像素位置和与像素位置有关的模板进行存储。

当下一帧的现实图像(以下称为第二帧图像)的图像数据被提供给位移量计算单元24时，位移量计算单元24通过使用上述模板来针对第二帧图像执行模板匹配。具体地，首先，位移量计算单元24通过利用序贯相似度检测算法将平方错误用作评估尺度来执行粗略搜索。位移量计算单元24通过使用缩小的图像来执行粗略搜索，并且以较大的间隔来执行模板匹配。接着，位移量计算单元24通过使用具有最高匹配相关性的位置附近的正规化互相关性执行精确搜索。位移量计算单元24如上所述在第二帧图像中设定与第一帧图像中的特征点相对应的特征点。图7B是示出在第二帧图像中作为特征点的点R3和R4。点R3对应于点Q3，并且点R4对应于点Q4。

接着，位移量计算单元24获得第一帧图像和第二帧图像中的对应的特征点之间(即，Q3和R3之间，以及Q4和R4之间)的像素位置位移量(位移矢量)。图7C示出由位移量计算单元24获得的位移矢量。位移量计算单元24将如上所述获得的每对应的特征点的像素位置的位移量(以下称为像素位置位移量)提供给变换矩阵计算单元25。

接着，将描述变换矩阵计算单元25。

将描述标记检测单元23向变换矩阵计算单元25提供标记像素位置的情况。

变换矩阵计算单元25基于标记像素位置获得彼此面对的两个边的直线(即，四个交点P的像素位置)的方程式。因为标记M的两个边位于现实空间中的同一平面上，所以用于将现实图像平面变换到现实空间平面的旋转变换分量被获得。此外，通过使用四个交点P的像素位置和旋转变换分量，现实空间平面中的平行移动分量被获得。变换矩阵计算单元25基于这些旋转变换分量和平行移动分量来计算空间坐标变换矩阵，以提供给图像数据生成单元22。

将描述标记检测单元23向变换矩阵计算单元25提供没有检测到标记M的指令的情况。

变换矩阵计算单元25将从位移量计算单元24提供的像素位置位移量应用到在提供没有检测到标记M的指令的帧前一帧的帧中计算出的空间坐标变换矩阵。具体地，变换矩阵计算单元25生成用于将在前帧的特征点的像素位置变换成当前帧的特征点的像素位置的空间坐标变换矩阵，并且将此空间坐标变换矩阵乘以在在前帧中计算出的空间坐标变换矩阵。因此，即使在图像拍摄区域不包括标记M的情况中，也能够估计空间坐标变换矩阵。

将参考流程图来描述信息处理设备1的一连串操作。图8是示出信息处理设备1的操作的流程图。当在现实图像数据中检测到标记M时，下面的操作开始。

相机4拍摄现实空间的图像，以获得现实图像数据(St101)。接着，标记检测单元23执行在现实图像中检测标记M的处理(St102)。在检测到标记M(是)的情况中，标记检测单元23将标记像素位置提供给变换矩阵计算单元25(St103)。在没有检测到标记M(否)的情况中，位移量计算单元24将像素位置位移量提供给变换矩阵计算单元25(St104)。接着，变换矩阵计算单元25基于标记像素位置或像素位置位移量来计算空间坐标变换矩阵(St105)。随后，图像数据生成单元22基于空间坐标变换矩阵计算对象图像数据，并且将对象图像数据和现实图像数据进行合成以生成AR图像数据(St106)。然后，显示器3将AR图像数据作为AR图像显示在显示画面上(St107)。之后，将在下一帧中重复地执行从拍摄现实图像的图像到显示AR图像的处理。

图9A-9F是示出由信息处理设备1拍摄的现实图像和所生成的AR图像的示例。假设相机4在相对现实空间移动的同时拍摄现实空间的图像。图9A、9B和9C示出按此顺序拍摄的现实图像。图9D是示出针对在图9A中所示的现实图像所生成的AR图像。图9E是示出针对在图9B中所示的现实图像所生成的AR图像。图9F是示出针对在图9C中所示的现实图像所生成的AR图像。

如图9A所示，在图像拍摄区域包括标记M的情况中，信息处理设备1基于现实图像中的标记像素位置合成出对象图像J，从而生成了图9D中所示的AR图像。接着，如图9B所示，在相机4移动后的图像拍摄区域仍包括标记M的情况中，信息处理设备1基于在相机4移动后的现实图像中的标记像素位置合成出对象图像J，从而生成了图9E中所示的AR图像。此外，如图9C所示，在相机4移动后的图像拍摄区域不包括标记M的情况中，信息处理设备1基于图9B中所示的现实图像和图9C中所示的现实图像之间的像素位移量合成出对象图像J，从而生成了图9F中所示的AR图像。

如上所述，根据本实施例的信息处理设备能够通过使用标记检测和特征点位移二者来估计相机4相对标记M的空间位置关系。结果，当相机4在捕获图像拍摄区域中的标记时，即使图像拍摄区域不包括标记，信息处理设备1之后也能够生成AR图像。

(第二实施例)

将描述根据本发明的第二实施例。

在第二实施例中，与在第一实施例中相同的那些结构被附于相同的标号，并且对它们的描述将被省略。注意，第一实施例中的相机4、输入单元5、位置关系估计单元20分别对应于本实施例中的第一相机4、第一输入单元5和第一位置关系估计单元20。

图10是示出根据本发明的第二实施例的信息处理系统200的外观的透视图。如图10所示，信息处理系统200包括AR查看器201(第一信息处理设备)和AR控制器202(第二信息处理设备)。AR查看器201具有与第一实施例的信息处理设备1相同的结构。即，显示器3、第一相机4和第一输入单元5被设置在本体2上。AR查看器201和AR控制器202通过线缆203连接。注意，此连接可以是无线连接。

图11是示出AR控制器202的透视图。如图11所示，AR控制器202具有例如类似“手枪”的形状，并且包括第二输入单元204(输入单元)，如触发器的开关。此外，第二相机205(第二图像拍摄装置)被设置在AR控制器202的前端。注意，AR控制器202的形状不限于这里示出的形状，而是可以是包括第二相机205和第二输入单元204的任何形状。

图12是示出信息处理系统200的结构的框图。

如图12所示，除了与第一实施例的信息处理设备1的结构以外，AR查看器201还包括连接到总线15的通信接口210(接收单元)。线缆203被连接到通信接口210。

AR控制器202还包括CPU 211、存储器212、相机接口213和通信接口214(发送单元)。第二相机205被连接到相机接口213。线缆203被连接到通信接口214。CPU 211、存储器212、相机接口213、第二输入单元204和通信接口214通过总线215彼此连接。注意，AR控制器202的结构不限于这里所示的结构。

图13A-13C是例示信息处理系统200生成AR图像的概要的示意图。如图13A-13C所示，用户将AR控制器202指向现实空间。相机4拍摄现实图像，现实图像被显示在显示器3上。在显示器3上，由用户把持的AR控制器202被显示为现实图像。当用户给予信息处理系统200AR图像生成指令时，如图13B所示，现实图像与对象图像J被合成的AR图像被显示在显示器3上。到目前为止，这些操作与第一实施例的信息处理设备1的那些操作是相同的。

当用户在观看显示在显示器3上的AR图像的同时将AR控制器202瞄准显示为对象图像J的虚拟对象并且操作第二输入单元204时，如图13C所示，对象图像J被改变。在图13C中，叠加了示出就好像子弹直接击中对象图像J的效果。下面将详细描述信息处理系统200的这些操作。

图14是示出信息处理系统200的功能结构的框图。

如图14所示，除了第一实施例的信息处理设备1的结构以外，信息处理系统200的功能结构还包括上述第二相机205、第二输入单元204和第二位置关系估计单元221。此外，信息处理系统200还包括图像数据生成单元220以替代第一实施例的图像数据生成单元22。注意，第二位置关系估计单元221是通过CPU 211、存储器212等等实现的。

第二相机205拍摄现实空间的图像，并且将现实图像数据提供给第二位置关系估计单元221。因为第二相机205的空间位置与第一相机4的不同，所以由第二相机205拍摄的现实图像与由第一相机4拍摄的不同。以下，由第一相机4拍摄的现实图像被称为“第一现实图像”，第一现实图像的数据被称为“第一现实图像数据”，由第二相机205拍摄的现实图像被称为“第二现实图像”，并且第二现实图像的数据被称为“第二现实图像数据”。

第二位置关系估计单元221基于从第二相机205提供的第二现实图像数据生成用于将针对标记M的标记坐标系统变换成针对第二相机205的第二相机坐标系统的空间坐标变换矩阵。第二位置关系估计单元221将此空间坐标变换矩阵提供给图像数据生成单元220。下面将详细描述第二位置关系估计单元221。

与第一实施例类似，图像数据生成单元220基于从对象数据存储单元21提供的对象数据以及从第一位置关系估计单元20提供的第一空间坐标变换矩阵来在针对第一相机4的第一相机坐标系统中生成对象图像数据。

此外，图像数据生成单元220基于从对象数据存储单元21提供的对象数据和从第二位置关系估计单元221提供的第二空间坐标变换矩阵来判断在AR控制器202和虚拟对象之间是否建立起预定的位置关系。预定的位置关系例如是虚拟对象被假设处于AR控制器202的轴向中的位置关系。在确定建立起预定的位置关系的情况中，图像数据生成单元220在第一相机坐标系统中对上述对象图像数据做出改变。这里，此改变例如是添加示出子弹直接击中对象图像数据的等效果。同时，在确定没有建立起预定的位置关系的情况中，图像数据生成单元220可以做出示出AR控制器202不瞄准虚拟对象的改变或者可以根本不做改变。

图像数据生成单元220合成通过使用第一空间坐标变换矩阵计算出的对象图像数据或者对第一现实图像数据如上改变后的对象图像数据，以生成AR图像。CPU 10将如上生成的AR图像数据提供给显示器3。

将详细描述第二位置关系估计单元221。

第二位置关系估计单元221具有与图5中所示的第一实施例的位置关系估计单元20以及本实施例的第一位置关系估计单元20相同的结构。也就是说，第二位置关系估计单元221包括标记检测单元23、位移量计算单元24和变换矩阵计算单元25。然而，第一位置关系估计单元20从由第一相机4拍摄的第一现实图像数据生成第一变换矩阵，第二位置关系估计单元221从由第二相机205拍摄的第二现实图像数据生成第二变换矩阵。

将参考附图描述信息处理系统200的一系列处理。图15是示出信息处理系统200的操作的流程图。当检测到第一现实图像数据并且在第一现实图像中检测到标记M时，下面的操作开始。

St201-205的操作与第一实施例的信息处理设备1的那些操作相同。也就是，第一相机4拍摄现实空间的图像，以获得第一现实图像数据(St201)。接着，标记检测单元23执行在第一现实图像中检测标记M的处理(St202)。在检测到标记M(是)的情况中，标记检测单元23将标记像素位置提供给变换矩阵计算单元25(St203)。在没有检测到标记M(否)的情况中，位移量计算单元24将像素位置位移量提供给变换矩阵计算单元25(St204)。接着，变换矩阵计算单元25基于标记像素位置或像素位置位移量来计算空间坐标变换矩阵(St205)。

与第一相机4拍摄现实空间的图像以获得第一现实图像数据的同时，第二相机205也拍摄现实空间的图像，以获得第二现实图像数据(St206)。接着，标记检测单元23执行在第二现实图像中检测标记M的处理(St207)。在检测到标记M(是)的情况中，标记检测单元23将标记像素位置提供给变换矩阵计算单元25(St208)。在没有检测到标记M(否)的情况中，位移量计算单元24将像素位置位移量提供给变换矩阵计算单元25(St209)。接着，变换矩阵计算单元25基于标记像素位置或像素位置位移量来计算第二空间坐标变换矩阵(St210)。

接着，图像数据生成单元220基于第一空间坐标变换矩阵提取对象图像数据，以与第一现实图像数据合成，或者将基于第二空间坐标变换矩阵改变了的对象图像数据与现实图像数据合成，从而生成AR图像数据(St211)。显示器3将AR图像数据作为AR图像显示在显示画面上(St212)。之后，将重复地执行从拍摄现实图像的图像到显示AR图像的处理。

如上所述，根据本实施例的信息处理系统200能够通过使用标记检测和特征点位移二者来估计第一相机4和第二相机205相对标记M的空间位置关系。因此，该信息处理系统200能够判断在AR控制器202和虚拟对象之间是否建立起预定的位置关系，以及根据用户的输入操作来改变对象图像J。

作为本实施例的另一示例，在被显示作为对象图像J的虚拟对象与AR控制器202之间建立起预定的位置关系的情况中，信息处理系统200可以通过改变虚拟对象J的颜色或者通过使虚拟对象J闪烁来做出改变，从而向用户示出在AR控制器202和虚拟对象之间建立起预定的位置关系。此外，假定AR控制器202是光源，则对象图像J可以被显示为好像AR控制器202用光照亮虚拟对象。

(第三实施例)

将描述根据本发明的第三实施例。

在第三实施例中，与在第一实施例和第二实施例中相同的那些结构被附于相同的标号，并且对它们的描述将被省略。根据本实施例的信息处理系统的外观和结构与根据第二实施例的信息处理系统200的相同，但是图像数据生成单元220的功能结构是不同的。

图16A-16C是例示由根据本实施例的信息处理系统生成AR图像的概要的示意图。如图16A所示，用户将AR控制器202指向现实空间。第一相机4拍摄包括AR控制器202的现实图像，并且包括AR控制器202的现实图像被显示在显示器3上。当用户通过设置在AR查看器201上的第一输入单元5或者设置在AR控制器202上的第二输入单元204给出AR图像生成指令时，如图16B所示，对象图像J以及和AR控制器202相应的图像C(以下称为控制器图像)与现实图像被合成的AR图像被显示在显示器3上。这里，示出了“剑”的图像被用作控制器图像C的情况。此外，当用户将AR控制器202相对标记M的空间位置关系从图16B所示的状态改变时，如图16C所示，控制器图像C也相应地被改变。

下面，将详细描述上述操作。

与第一实施例和第二实施例类似，本实施例的图像数据生成单元220基于从对象数据存储单元21提供的对象数据和从位置关系估计单元20提供的第一空间坐标变换矩阵来在针对第一相机4的第一相机坐标系统中计算对象图像数据。

此外，图像数据生成单元220基于从第一位置关系估计单元20提供的第一空间坐标变换矩阵和从第二位置关系估计单元221提供的第二空间坐标变换矩阵来计算第三空间坐标变换矩阵。第三空间坐标变换矩阵是用于将针对第二相机205的第二相机坐标系统变换成针对第一相机4的第一相机坐标系统的空间坐标变换矩阵。例如，第三空间坐标变换矩阵可以通过用第一空间坐标变换矩阵除以第二空间坐标变换矩阵等方法被计算出。

图像数据生成单元220基于存储在对象数据存储单元21中的表示AR控制器202的对象数据(以下称为控制器对象数据)和第三空间坐标变换矩阵来在第一相机坐标系统中计算控制器图像数据。这里，控制器对象数据可以是三维数据或者二维数据。

如上所述，图像数据生成单元220通过使用第一空间坐标变换矩阵将标记坐标系统变换成第一相机坐标系统来计算对象图像数据，并且通过使用第三空间坐标变换矩阵将第二相机坐标系统变换成第一相机坐标系统来计算控制器图像数据。

图像数据生成单元220将对象图像数据和控制器图像数据与现实图像进行合成，从而生成AR图像数据。显示器3将对象图像J和控制器图像C被与现实图像合成的AR图像显示在显示器3上。因为控制器图像数据是基于用于将第二相机坐标系统变换成第一相机坐标系统的第三空间坐标变换矩阵而计算出的，所以控制器图像C是与AR控制器202相对应的图像。注意，“相对应”是指控制器图像C被显示为好像控制器对象具有与AR控制器202相同的空间位置关系。

此外，本实施例的图像数据生成单元220能够基于第二空间坐标变换矩阵或第三空间坐标变换矩阵来判断在AR控制器202和被显示为对象图像J的虚拟对象之间是否建立起预定的位置关系。预定的位置关系例如是其中虚拟对象被假设在AR控制器202的轴向中的位置关系，或者其中控制器图像C被叠加在对象图像J上的位置关系。图像数据生成单元220可以在这样的预定的位置关系被建立或没有被建立的情况中改变对象图像J。

根据本实施例的信息处理系统通过使用标记检测和特征点位移二者来估计第一相机4和第二相机205相对标记M的空间位置关系，并且基于此空间位置关系来计算第二相机205相对第一相机4的空间位置关系。因此，该信息处理设备能够生成其中合成了与AR控制器202相对应的图像的AR图像。

作为本实施例的另一示例，此信息处理系统可以将在现实空间中移动的AR控制器202的轨迹在显示器3上显示为“线”。因此，该信息处理系统能够在显示器3上显示线就好像用户在现实空间中三维地划线那样。此外，根据本实施例的信息处理系统能够被用来查看控制器图像。例如，通过将示出“飞机”的外观的三维数据作为控制器对象数据，此信息处理系统能够通过改变AR控制器202的空间位置关系来显示飞机就好像其在飞一样。

本领域的技术人员应当理解，依据设计要求和其他因素可以有多种修改、组合、子组合和变更，只要他们在所附权利要求及其等同物的范围内即可。

在上述实施例中，AR控制器生成第二空间坐标变换矩阵。但并非限于此，由AR控制器的相机拍摄的图像可以被发送给AR查看器，从而AR查看器可以生成第二空间坐标变换矩阵。

在上述实施例中，AR查看器通过使用第一空间坐标变换矩阵或第二空间坐标变换矩阵来生成AR图像。但并非限于此，例如，设置在AR查看器上的通信装置可以将第一空间坐标变换矩阵和第二空间坐标变换矩阵发送给另一信息处理设备，从而该信息处理设备生成AR图像。

在上述实施例中，一个AR查看器伴随有一个AR控制器。但并非限于此，一个AR查看器可以伴随有两个或更多个AR控制器。因此，例如，可以使能其中用户分别用左右手把持两个AR控制器并且通过将虚拟对象夹在两手之间来拍摄虚拟对象的处理。

通过用多个AR查看器的第一相机拍摄一个标记的图像，多个用户能够共享相对标记的虚拟空间。例如，一个虚拟对象作为对象图像分别以不同角度被显示在位置彼此不同的多个AR查看器上。通过接口连接多个AR查看器，每个AR查看器能够掌握其他AR查看器的空间位置关系。例如，AR查看器能够显示表示另外的AR查看器位置处的另外的用户的对象图像。

在上述实施例中，描述了用于将其中通过第一相机拍摄的现实图像被与对象图像合成的AR图像显示在显示器上的视频透视型AR系统。然而，本发明可以应用于光学透视型AR系统，利用该系统，对象图像不与现实图像合成，但是独立地被显示在透射式显示器上。

本申请包含与2010年1月8日向日本专利局提交的日本优先专利申请JP 2010-003140中所公开的主题有关的主题，该申请的全部内容通过引用被结合于此。

Claims

1.一种信息处理设备，包括：

第一图像拍摄装置，用于拍摄现实空间的图像，从而获得第一背景图像；

第一位置关系估计单元，用于在所述第一背景图像包括第一标记图像的情况中基于所述第一标记图像来估计第一位置关系，在所述第一背景图像不包括所述第一标记图像的情况中基于从所述第一背景图像提取出的特征点的位移来估计所述第一位置关系，其中所述第一标记图像是预先登记的并且位于所述现实空间中的标记的图像，所述第一位置关系是所述第一图像拍摄装置相对所述标记的空间位置关系，所述特征点不同于所述第一标记图像；

图像生成单元，用于基于所述第一位置关系来生成第一附加图像，并且将所述第一附加图像和所述第一背景图像进行合成，从而生成合成图像；

显示装置，用于显示所述合成图像，以及

第一标记检测单元，用于通过使用预定阈值将现实图像数据二值化以生成所述第一标记图像，所述第一标记图像是排除位于所述第一背景图像外缘中的连接的区域的图像。

2.根据权利要求1所述的信息处理设备，还包括：

接收单元，用于接收从如下设备发送的第二位置关系，所述设备包括：

第二图像拍摄装置，用于拍摄现实空间的图像，从而获得第二背景图像；以及

第二位置关系估计单元，用于在所述第二背景图像包括第二标记图像的情况中基于所述第二标记图像来估计第二位置关系，在所述第二背景图像不包括所述第二标记图像的情况中基于从所述第二背景图像提取出的特征点的位移估计所述第二位置关系，其中所述第二标记图像是所述标记的图像，所述第二位置关系是所述第二图像拍摄装置相对所述标记的空间位置关系，从所述第二标记图像提取的所述特征点不同于所述第二标记图像，以及

第二标记检测单元，用于通过使用预定阈值将现实图像数据二值化以生成所述第二标记图像，所述第二标记图像是排除位于所述第二背景图像外缘中的连接的区域的图像，

其中，所述图像生成单元基于所述第一位置关系和所接收的第二位置关系来生成第一附加图像，并且将该第一附加图像和所述第一背景图像进行合成，从而生成合成图像。

3.一种信息处理系统，包括第一信息处理设备和第二信息处理设备，

其中，所述第一信息处理设备包括

第一标记检测单元，用于通过使用预定阈值将现实图像数据二值化以生成所述第一标记图像，所述第一标记图像是排除位于所述第一背景图像外缘中的连接的区域的图像，

其中，所述第二信息处理设备包括

第二图像拍摄装置，用于拍摄现实空间的图像，从而获得第二背景图像；

第二位置关系估计单元，用于在所述第二背景图像包括第二标记图像的情况中基于所述第二标记图像来估计第二位置关系，并且在所述第二背景图像不包括所述第二标记图像的情况中基于从所述第二背景图像提取出的特征点的位移来估计所述第二位置关系，其中所述第二标记图像是所述标记的图像，所述第二位置关系是所述第二图像拍摄装置相对所述标记的空间位置关系，所述特征点不同于所述第二标记图像，以及

发送单元，用于将所述第二位置关系发送给所述第一信息处理设备，

第二标记检测单元，用于通过使用预定阈值将现实图像数据二值化以生成所述第二标记图像，所述第二标记图像是排除位于所述第二背景图像外缘中的连接的区域的图像；并且

其中，所述第一信息处理设备还包括

接收单元，用于接收从所述第二信息处理设备发送的所述第二位置关系，

图像生成单元，用于基于所述第一位置关系和所接收的第二位置关系生成第一附加图像，并且将该第一附加图像和所述第一背景图像进行合成，从而生成合成图像，以及

显示装置，用于显示所述合成图像。

4.根据权利要求3所述的信息处理系统，

其中，所述第二信息处理设备还包括允许用户的输入操作的输入单元，并且

其中，所述图像生成单元根据通过所述输入单元输入的指令来改变所述第一附加图像。

5.根据权利要求4所述的信息处理系统，

其中，所述图像生成单元基于所述第一位置关系和所述第二位置系来计算第三位置关系，还基于所述第三位置关系来生成添加到所述背景图像上的第二附加图像，并且将所述第一附加图像、所述背景图像和所述第二附加图像进行合成，从而生成合成图像，其中所述第三位置关系是所述第二图像拍摄装置相对所述第一图像拍摄装置的空间位置关系。

6.一种信息处理方法，包括：

通过第一图像拍摄装置拍摄现实空间的图像，从而获得第一背景图像；

通过使用预定阈值将现实图像数据二值化以生成第一标记图像，所述第一标记图像是排除位于所述第一背景图像外缘中的连接的区域的图像；

通过第一位置关系估计单元在所述第一背景图像包括第一标记图像的情况中基于所述第一标记图像来估计第一位置关系，并且在所述第一背景图像不包括所述第一标记图像的情况中基于从所述第一背景图像提取出的特征点的位移来估计所述第一位置关系，其中所述第一标记图像是预先登记的并且位于所述现实空间中的标记的图像，所述第一位置关系是所述第一图像拍摄装置相对所述标记的空间位置关系，所述特征点不同于所述第一标记图像；

通过图像生成单元基于所述第一位置关系生成第一附加图像，并且将所述第一附加图像和所述第一背景图像进行合成，从而生成合成图像；并且

通过显示装置显示所述合成图像。