CN104243951A - 图像处理设备、图像处理系统以及图像处理方法 - Google Patents

Abstract

一种图像处理设备包括：图像获取器，其获取通过摄像机拍摄获得的拍摄图像的数据；深度图像获取器，其获取通过将沿着深度方向被摄物相对于摄像机的距离表示成像素值获得的深度图像；以及第一对象检测器，其从拍摄图像或深度图像中检测第一对象的图像的区域。该图像处理设备进一步包括第二对象检测器，其根据第一对象的图像的区域和深度图像中的像素值检测第二对象的图像的区域；裁剪区判定器，其判定至少包括第一和第二对象的图像的区域的裁剪区；以及显示图像生成器，其通过使用裁剪区生成显示图像。

Description

图像处理设备、图像处理系统以及图像处理方法

技术领域

本公开涉及根据拍摄的图像进行处理的图像处理设备、图像处理系统、以及由这种图像处理设备执行的图像处理方法。

背景技术

近年来，将摄像机装在个人计算机、游戏机等上，将用户的外形成像以便以各种形式利用成像的外形正变得常见。例如，像可视电话和视频聊天那样，经由网络按原样将用户的图像发送给另一方的系统，以及通过图像分析识别用户的运动和将运动用作游戏或信息处理的输入信息的技术已投入实际使用中(参照，例如，国际专利公告第WO2007/050885A2)。而且，近年来，通过精确检测对象在包括深度方向的三维空间中的运动，使实现更加感觉到处在现实世界中的游戏和图像表达正成为可能。

发明内容

在拍摄存在多种对象，从图像中只确定所希望对象和跟踪其运动的空间时存在各种问题。例如，处理结果可能由于像光源那样的拍摄环境的变化而受到影响。而且，如果以提高的时间分辨率和空间分辨率进行对象检测处理以提高精度，则会使处理负担增加。结果是，从被摄物的拍摄到处理结果的输出会花费很长时间，对被摄物的运动的响应性会降低。

需要本公开提供在使用对象的位置信息的图像处理中使位置检测容易高精度实现的技术。

按照本公开的一个实施例，提供了一种图像处理设备。这种图像处理设备包括图像获取器，其被配置成获取通过摄像机拍摄获得的拍摄图像的数据；深度图像获取器，其被配置成获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像；以及第一对象检测器，其被配置成根据形状或特征从拍摄图像或深度图像中检测第一对象的图像的区域。该图像处理设备进一步包括第二对象检测器，其被配置成根据深度图像中的第一对象的图像的区域和像素值检测第二对象的图像的区域；裁剪区判定器，其被配置成判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及显示图像生成器，其被配置成通过与其它区域分开地使用拍摄图像中的裁剪区生成显示图像。

按照本公开的另一个实施例，提供了一种图像处理系统。这种图像处理系统包括成像设备，其被配置成拍摄带有标记的被摄物的运动图像；以及图像处理设备，其被配置成根据拍摄运动图像的图像帧中标记的位置生成依据被摄物的运动而变化的显示图像。该成像设备作为运动图像按预定比率轮流拍摄在适合显示的拍摄条件下拍摄的用于显示的图像帧、和在适合图像处理设备检测标记的拍摄条件下拍摄的用于标记检测的图像帧。该图像处理设备含有标记检测器，其通过使用用于标记检测的图像帧检测标记；以及显示图像生成器，其通过使用用于显示的图像帧根据检测标记的位置进行图像处理生成显示图像。

按照本公开的又一个实施例，提供了一种图像处理设备通过使用通过摄像机拍摄获得的拍摄图像生成显示图像的图像处理方法。该图像处理方法包括获取拍摄图像的数据，并将拍摄图像的数据存储在存储设备中；获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像的数据，并将深度图像的数据存储在存储设备中；以及从存储设备中读出拍摄图像或深度图像的数据，并根据形状或特征从读取图像中检测第一对象的图像的区域。该图像处理方法进一步含有从存储设备中读出深度图像的数据，并根据第一对象的图像的区域和像素值从深度图像中检测第二对象的图像的区域；判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及从存储设备中读出拍摄图像的数据，并与其它区域分开地使用裁剪区来生成显示图像，并将显示图像输出到显示设备。

按照本公开的另一个实施例，提供了一种计算机程序。这种用于计算机的计算机程序包括获取通过摄像机拍摄获得的拍摄图像的数据；获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像；根据形状或特征从拍摄图像或深度图像中检测第一对象的图像的区域；根据深度图像中的第一对象的图像的区域和像素值检测第二对象的图像的区域；判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及通过与其它区域分开地使用拍摄图像中的裁剪区生成显示图像。

按照本公开的另一个实施例，提供了一种计算机可读记录介质。这种记录计算机程序、该计算机程序用于计算机的计算机可读记录介质包括获取通过摄像机拍摄获得的拍摄图像的数据；获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像；根据形状或特征从拍摄图像或深度图像中检测第一对象的图像的区域；根据深度图像中的第一对象的图像的区域和像素值检测第二对象的图像的区域；判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及通过与其它区域分开地使用拍摄图像中的裁剪区生成显示图像。

通过在方法、设备、系统、计算机程序、和记录计算机程序的记录介质当中转换本公开的上述组成元件和表达的任何组合获得的东西也可有效地作为本公开的实施例。

按照本公开的实施例，可以容易地高精度实现利用拍摄图像的图像显示。

附图说明

图1是示出可以应用本公开的实施例的信息处理系统的配置例子的图；

图2是示出本公开的实施例中的信息处理设备的内部电路配置的图；

图3是示出本公开的实施例中的成像设备和信息处理设备的功能配置的图；

图4是示出本公开的实施例中成像设备拍摄和信息处理设备获取的拍摄图像的例子的图；

图5是示出本公开的实施例中成像设备的第一摄像机和第二摄像机拍摄的图像帧的时间变化的图；

图6是说明立体图像中的视差与被摄物沿着深度方向的位置之间的关系的图；

图7是说明本公开的实施例中拍摄空间中深度方向的轴的图；

图8是示意性地示出本公开的实施例中深度图像获取器通过立体图像方法获取的深度图像的图；

图9是示意性地示出本公开的实施例中位置信息获取器检测的各自图像的区域和裁剪区判定器判定的裁剪区的图；

图10是示出本公开的实施例中显示图像生成器使用裁剪区生成的显示图像的一个例子的图；

图11是示出本公开的实施例中显示图像生成器生成的显示图像的另一个例子的图；

图12是示出本公开的实施例中显示图像生成器生成的显示图像的又一个例子的图；以及

图13是示出本公开的实施例中信息处理系统按照用户的运动显示图像的处理过程的流程图。

具体实施方式

图1示出了可以应用本公开的实施例的信息处理系统的配置例子。信息处理系统2包括装有两台摄像机拍摄像用户那样的对象1的成像设备12、根据拍摄图像按照用户的请求进行信息处理的信息处理设备10、和输出作为信息处理设备10的处理结果获得的图像数据的显示设备16。可以允许信息处理设备16与像因特网那样的网络连接。

信息处理设备10、成像设备12、和显示设备16可以通过有线电缆连接，或可以通过无线局域网(LAN)等无线连接。可以组合和整体安装信息处理设备10、成像设备12、和显示设备16的任何两种或所有三种。成像设备12不一定需要设置在显示设备16上。对被摄物的数量和类型没有限制。

成像设备12具有将每一台包括，例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的成像元件的两台数字摄像机以已知间隔布置在左右侧的配置。两台数字摄像机的每一台以预定帧速率从左右位置的各自一个拍摄存在于相同空间中的被摄物。在下文中，以这种方式拍摄的帧对也被称为“立体图像”。

信息处理设备10使用立体图像识别被摄物在包括图像面和沿着深度方向相对于摄像机的位置的三维空间中的位置信息。而且，信息处理设备10根据形状、颜色、特征等从至少一个立体图像中检测所希望对象的图像。另外，通过利用这几个信息，信息处理设备10按照对象的运动进行信息处理，并生成反映它的显示图像。

例如，信息处理设备10将所拍摄用户的图像与通过计算机图形绘制的虚拟世界融合，并绘制对用户的运动作出响应的对象。而且，不仅生成这样的显示图像，信息处理设备10还可以进行手势识别，并且可以将用户的运动转换成进行游戏或信息处理的命令。如上所述，对在本实施例中获得的信息的用途没有特别限制。显示设备16显示信息处理设备10生成的图像。显示设备16可以是含有输出图像的显示器和输出声音的扬声器的电视机，其例子包括液晶电视机、等离子电视机、和PC显示器。

图2示出了信息处理设备10的内部电路配置。信息处理设备10包括中央处理单元(CPU)22、图形处理单元(GPU)24、和主存储器26。CPU22根据操作系统、应用程序等的程序控制信息处理设备10内部的组成元件中的处理和信号传输。GPU24进行图像数据。主存储器26由随机访问存储器(RAM)形成，存储处理所需的程序和数据。

这些各自单元经由总线30相互连接。进一步将输入/输出接口28与总线30连接。如下部分与输入/输出接口28连接：由通用串行总线(USB)、IEEE1394等外围装置接口和有线或无线LAN的网络接口形成的通信部分32；像硬盘驱动器或非易失性存储器那样的存储部分34；将数据输出到像显示设备16和扬声器那样的输出设备的输出部分36；从像键盘、鼠标、成像设备12、和麦克风那样的输入设备输入数据的输入部分38；以及驱动像磁盘、光盘、或半导体存储器那样的可换式记录介质的记录介质驱动器40。

CPU22通过运行存储在存储部分34中的操作系统控制整个信息处理设备10。而且，CPU22运行从记录介质驱动器40驱动的可换式记录介质和存储部分34读出装载到主存储器26中或经由通信部分32下载的各种类型程序。

GPU24具有几何引擎的功能和再现处理器的功能。它依照来自CPU22的绘制命令进行绘制处理，并将显示图像存储在帧缓冲器(未示出)中。然后，GPU24将存储在帧缓冲器中的显示图像转换成视频信号，并将其输出到输出部分36等。

图3示出了成像设备12和信息处理设备10的功能配置。在硬件方面，显示在图3中的各自功能块可以通过显示在图2中的CPU、GPU、RAM和各种类型处理器的配置来实现。在软件方面，它们通过从存储部分34和记录介质装载到主存储器26中的程序来实现，并发挥像数据输入功能、数据保持功能、图像分析功能、和绘制图像那样的功能。因此，本领域的普通技术人员应当明白，这些功能块可以只通过硬件，只通过软件，或它们的组合，以各种方式实现，它们不局限于任何一种。

成像设备12包括第一摄像机13a和第二摄像机13b。每台摄像机以预定帧速率，从跨越已知宽度设置的左右位置的各自一个拍摄被摄物的立体图像。如果像发光器那样的标记被作为被摄物的用户握着或安装在对象上以便用于检测运动，则成像设备12中的第一摄像机13a以预定周期为标记检测拍摄图像。

具有特定大小、颜色、形状、亮度等的标记使得易于从房间中检测作为图像捕获的人物、对象等，通过将标记的颜色设置成不同的，也可以容易地作出多个标记之间的辨别。但是，与人直观接触的情况不同，取决于像环境亮度、周围是否存在对象、和环境颜色那样的拍摄环境、和像曝光时间、F数、和焦点的深度那样的拍摄条件，如何在图像中捕获标记差异很大。

在拍摄包括用户和房间的广角图像的情况下，一般说来，与拍摄环境匹配地自动调整像白平衡和曝光时间那样的拍摄条件，从而获取总体平衡的图像。但是，在检测图像中的标记的情况下，以这种方式按照环境改变拍摄条件导致如何捕获标记，即，其图像的颜色、大小、形状、亮度等的改变。这可能成为检测处理的障碍。

例如，在使用发光的标记的情况下，如果按照房间的亮度判定的曝光时间太长，则标记的发光部分的RGB可能达到饱和，与发光器件的颜色无关地获得带有模糊轮廓的刻板白色图像。而且，如果标记以相对高速运动，则其图像可能模糊。

因此，可能无法精确获取标记的位置，或当用户通过颜色辨别时，不可能作出辨别。因此，第一摄像机13a在标准拍摄条件下拍摄图像(在下文中，称为“标准图像”)作为立体图像之一，并且还在适合检测标记的拍摄条件下拍摄图像(在下文中，称为“标记检测图像”)。具体地说，例如，在第一摄像机13a拍摄作为运动图像的一系列图像帧中，在某些时步(time step)中拍摄标准图像，在其它某些时步中拍摄标记检测图像。这样，将拍摄时段时分地切换拍摄条件，并且每次以预定帧速率拍摄两者。

如果不使用标记，则可以只拍摄标准图像。可以允许按照用户输入的指令或要进行的信息处理的内容切换是否使用标记。响应来自信息处理设备10的请求，如一般方法所需将第一摄像机13a和第二摄像机13b拍摄的图像的数据发送给信息处理设备10。

信息处理设备10包括获取用户输入的指令的输入信息获取器42、依照输入的指令进行预定信息处理的信息处理器44、和获取来自成像设备12的立体图像的图像获取器46。信息处理设备10进一步包括根据拍摄图像获取与对象的位置有关的信息的位置信息获取器50，根据信息处理的结果和与对象的位置有关的信息进行图像处理的图像处理器58，和存储从成像设备21输入的立体图像、位置信息获取器50生成的深度图像等的图像存储体48。

输入信息获取器42通过测量而不是成像设备12的拍摄接受处理的开始和结束以及用户输入的指令，并依照接受的信息将处理请求信号发送给信息处理器44。输入信息获取器42通过像按钮、键盘、鼠标、跟踪球、和触摸面板那样的一般输入设备和解释对输入设备所作的操作的内容的CPU22等的协作来实现，生成处理请求信号。

信息处理器44通过CPU22等实现。依照来自输入信息获取器42的请求，启动用户指定的信息处理，并控制其它功能块。如上所述，除了生成包括拍摄对象的图像的显示图像之外，本公开的实施例的信息处理设备10可以进行像推进游戏和建立与其它设备的通信那样的一般信息处理。但是，对信息处理的内容没有特别限制。信息处理器44依照用户的指定进行这样的信息处理，在其过程中，按照需要将处理请求发给图像获取器46、位置信息获取器50、和图像处理器58。

图像获取器46通过CPU22、通信部分32等实现，依照来自信息处理设备44的请求从成像设备12获取拍摄图像的数据，以便将其存储在图像存储体48中。取决于要进行的信息处理的内容或要生成的显示图像，所获图像可能是各种各样的。例如，可以与其中是否包括标记检测图像无关地获取拍摄图像的所有数据。另外，可能存在只获取一台摄像机拍摄的图像的定时。具体地说，例如，在第一台摄像机13a拍摄标记检测图像的时步中，不允许图像获取器46获取第二台摄像机13b同时拍摄的标准图像。也就是说，第一台摄像机13a拍摄的图像和第二台摄像机13b拍摄的图像的获取速率可以独立设置。

位置信息获取器50通过CPU22、GPU24等实现，根据存储在图像存储体48中的拍摄图像依次获取与对象的位置有关的信息。位置信息获取器50包括深度图像获取器52、目标区检测器54、和标记检测器56。深度图像获取器52使用立体图像来生成代表有关存在于成像设备12的视场中的被摄物的沿着深度方向的位置的分布的深度图像。有关被摄物的沿着深度方向的位置的分布是通过像立体图像方法那样的一般技术获得的。立体图像方法是联系立体图像中的特征点和从它们之间的视差中计算沿着深度方向的被摄物的位置的一般技术。深度图像是将沿着深度方向各自被摄物相对于摄像机的距离映射在图像面的二维坐标上并表示成像素值的图像。

因此，在深度图像中，有关像椅子和桌子那样存在于拍摄目标空间中的各种类型对象以及像人那样的主要被摄物的沿着深度方向的位置可以与其形状相联系地表示。成像设备12可以配有生成深度图像的功能。可替代地，可以另外配备像红外光那样的参考光的照射机构、参考光传感器、和摄像机，可以通过分析来自被摄物的反射的时间和感测图像生成深度图像。在这样的情况下，图像获取器46从这些设备获取深度图像的数据，并将其存储在图像存储体48中。然后，深度图像获取器52读出它。

目标区检测器54包括第一对象检测器55a和第二对象检测器55b。第一对象检测器55a根据其形状、大小、特征等检测拍摄图像或深度图像中预定对象的图像。如果该对象是人的头部，则第一对象检测器55a通过使用准备成与头部形状相对应和具有垂直长椭形状的模板图像进行与拍摄图像或深度图像的模板匹配，从而识别图像中头部的图像的区域。此时，可以通过根据脸部的特征对拍摄图像进行脸部检测处理提高头部区域的检测精度。头部的图像的区域可以只从脸部检测处理中识别。与实际头部的大小相对应的图像可以通过按照深度图像所表示的沿着深度方向的位置缩放模板图像来检测。

关于匹配处理，可以应用通过块匹配为每个块计算匹配估计值的一般技术。通过切换准备的模板图像和特征的图样，可以检测具有各种形状的对象作为第一对象检测器55a检测的对象。模板图像和有关特征的图样的信息存储在第一对象检测器55a可访问的内部存储器等中。

第二对象检测器55b根据深度图像的像素值检测对象的图像的区域。从位置的角度来看估计深度图像中具有相同像素值或在可以认为像素值等效的预定范围内的像素值的连续区是一个对象的图像。因此，在这样的连续区当中，检测估计是对象的图像的区域。这里检测的对象可以与第一对象检测器55a检测的对象相同或可以与其不同。但是，通过理清与第一对象检测器55a检测的对象的位置关系，第二对象检测器55b可以利用第一对象检测器55a的检测结果从深度图像中识别对象的图像的区域。

例如，在第一对象检测器55a检测头部的图像的区域的模式下，第二对象检测器55b从深度图像中提取包括头部或身体的一部分的用户的身体的图像的区域。这是因为，如果头部的图像的区域是清楚的，则可以估计深度图像中具有与这个头部区域相同的像素值或相邻像素值的连续区域代表用户的身体的图像。在下文中，将第一对象检测器55a检测人头的图像的区域和第二对象检测器55b提取身体的图像的区域的模式作为例子加以描述。

标记检测器56从存储在图像存储体48中的标记检测图像中检测标记的图像的区域。通过由具有已知颜色和形状的发光二极管等形成标记，可以通过像图像搜索那样的一般方法检测其图像。在本实施例中，如上所述地使用在适合标记检测的拍摄条件下拍摄的图像。因此，所捕获标记的颜色和光的状态是稳定的，使得检测精度可以保持良好。通过根据一次检测的标记的位置估计下一个时步中标记的位置，可以在时间上逐步跟踪标记。在这种情况下，可以应用一般跟踪技术。

图像处理器58通过CPU22、GPU24等实现，根据位置信息获取器50获取的、与对象的位置有关的信息生成显示图像。这里生成的显示图像取决于信息处理设备10进行的信息处理，可以是各种各样的。在下文中，尤其，对从拍摄图像中裁剪对象的图像的区域并与另一个图像融合的模式加以描述。为此目的，图像处理器58包括裁剪区判定器60和显示图像生成器62。

裁剪区判定器60根据位置信息获取器50获取的、与对象的位置有关的信息判定要从拍摄图像中裁剪的区域。具体地说，裁剪区判定器60将包括目标区检测器54检测的头部的图像的区域和身体的图像的区域的预定范围中的一个区域指定成裁剪区。在利用标记的情况下，裁剪区判定器60进一步将也包括标记检测器56检测的标记的图像的区域的预定范围中的一个区域指定成裁剪区。

显示图像生成器62从拍摄图像中切出(分离)裁剪区判定器60判定的区域，并将它与，例如，另一个图像组合，以生成显示图像的数据。可替代地，可以在拍摄图像中除了裁剪区之外的其它区域中绘制或组合另一个图像。将作为处理结果生成的显示图像的数据输出到显示设备16加以显示。可替代地，可以经由网络发送给另一个设备。如后所述，图像处理器58可以将裁剪区的数据发送给另一个设备以及从另一个设备接收显示图像的数据。可替代地，图像处理器58可以接收从另一个设备发送的裁剪区的数据，并生成显示图像的数据以便将其发送给另一个设备。

图4示出了通过成像设备12拍摄获得和通过信息处理设备10获取的拍摄图像的例子。如图所示，拍摄图像70是通过拍摄两个用户坐在沙发上的状态获得的。用户分别握着像游戏控制器那样的输入设备72a和72b。标记74a和74b分别配备在输入设备72a和72b的前表面上。标记74a和74b由，例如，发出颜色相互不同的光的发光二极管形成。但是，标记74a和74b无需发光，以及对它们的形式没有限制，只要它们具有已知的颜色、形状、和大小以及可以用作检测目标即可。

输入设备72a和72b按照信息处理设备10进行的信息处理的内容包括像各种类型的按钮和操纵杆那样的必须输入措施。可替代地，输入设备72a和72b可以配置成只有标记74a和74b。可替代地，与包括像按钮那样的措施的输入设备72a和72b分开，可以将标记74a和74b安装在用户的身体等上。此时，对标记的数量没有特别限制。

图5示出了当显示在图4中的状态被成像设备12的第一摄像机13a和第二摄像机13b拍摄成运动图像时图像帧的时间变化，垂直方向被定义成时间轴。时间t0，t1，t2，t3，......代表通过拍摄帧速率定义的各自图像帧的拍摄定时，即，时步。首先，在时间t0上，第一摄像机13a拍摄图像76a，第二摄像机13b拍摄图像76b。图像76a和76b两者都是可以用于显示等的标准图像，除了在两者之间形成视差之外，是相似图像。

在下一个时间t1上第一摄像机13a拍摄的图像78a是在适合标记检测的拍摄条件下拍摄的标记检测图像。在这种图像的情况下，与，例如，在时间t0拍摄的标准图像相比，曝光时间较短，焦点的深度较浅(F数较小)，因为焦点在标记上。通过在这样的条件下的拍摄，获得图像78a作为标记的发光部分的颜色、形状、大小、和亮度与实际接近的图像，但图像总的说来较暗，以及其它对象是模糊的。作为拍摄标记检测图像的条件，可以只改变曝光时间和F数的至少一个或可以改变另一个参数。

另一方面，在时间t1上第二摄像机13b拍摄的图像78b可以是与时间t0类似的标准图像。随后，在时间t2上第一摄像机13a拍摄的图像80a和第二摄像机13b拍摄的图像80b两者都是与时间t0类似的标准图像。在时间t3上第一摄像机13a拍摄的图像82a和第二摄像机13b拍摄的图像82b是与时间t1类似的标记检测图像和标准图像的组合。

通过继续这样的拍摄，可以在相同拍摄时间轴以细小的时间差获得通过组合同时拍摄的标准图像形成的立体图像和标记检测图像。因此，在从立体图像或深度图像的任何一个检测的头部的图像、从深度图像中提取的身体的图像、和从标记检测图像中检测的标记的图像中几乎不会引起时间差。其结果是，即使用户的运动是快速的和大幅度的，在这些图像的区域信息中几乎不会引起时间偏移，可以在各自时步中精确识别用户的图像。

在图5的例子中，第一摄像机13a交替地拍摄标准图像和标记检测图像。但是，各自图像的拍摄频率不局限此。具体地说，例如，可以按照从各自图像中获得的信息的重要程度，以任意自然数m和n设置每拍摄标准图像m次就拍摄标记检测图像n次的规则。第一摄像机13a和第二摄像机13b不一定需要以相同帧速率进行拍摄。例如，第二摄像机13b可以在第一摄像机13a拍摄标记检测图像的时候跳过拍摄。

如果两台摄像机如图5所示以相同帧速率进行拍摄，则也可以使用在时间t1和t3上，当第一摄像机13a拍摄标记检测图像时，第二摄像机13b拍摄的标准图像，以便获取脸部检测、脸部识别等的辅助信息。在任何情况下，都可以通过综合几乎在相同时间上获得的多种类型的位置信息，以及根据综合信息从相同时间的标准图像中判定裁剪区，高精度地切出和处理用户的图像。

两台摄像机在时间t0和t2上拍摄立体图像的拍摄条件可以相同也可以不同。取决于希望从拍摄图像中获取的信息，可以独立设置拍摄条件。例如，可以在即使在通过另一种措施获取深度图像或从立体图像中生成深度图像的情况下，也可以提取特征点的范围内独立调整曝光时间等。据此，可以在适合又一种类型的检测处理的拍摄条件下拍摄立体图像的至少一个。

在成像设备12中，事先存储与拍摄条件切换模式有关的信息，该拍摄条件切换模式定义是否切换拍摄条件以及在切换条件的情况下以什么速率切换条件。而且，信息处理装置10将控制信号发送给成像设备12，以便取决于是否使用标记和要处理的信息处理的内容地选择任何模式。因此，利用所选的模式开始拍摄。

一般立体图像方法都可以应用于使用立体图像导出被摄物相对于摄像机的距离的技术，例如，该距离按如下计算。图6是说明立体图像中的视差与被摄物沿着深度方向的位置之间的关系的图。假设这里将长度单位统一成米，除非另有所述。第一摄像机13a和第二摄像机13b被设置成具有相距L的平行光轴。假设被摄物存在于沿着深度方向与这些立体摄像机相距Z的右端箭头的位置中。

用各自摄像机拍摄的图像的一个像素表示的实际空间中的宽度Δx与距离Z成比例，表达如下：

Δx＝Z×w/W    (1)

在这个表达式中，W表示摄像机沿着水平方向的像素的数量，w表示距离Z是1时，实际空间沿着水平方向的视场的范围，通过视角确定。

相隔距离L的摄像机拍摄的相同被摄物在其图像上具有基本上可以用下式表示的以像素的数量为单位的视差D：

D＝L/ΔX＝L×(W/w)×(1/Z)＝C/Z    (2)

在这个表达式中，C是由摄像机及其设置决定的数值，在操作时可以当作常数。当假设距离Z是1时的视差D_at1(个像素)已知时，可以针对任意视差D(像素)按如下获得沿着深度方向的距离Z：

Z＝D_at1/D    (3)

图7是说明拍摄空间中深度方向的轴的图。这个图的上侧是从上面观看拍摄空间获得的示意图48a，下侧是横向观看时获得的示意图84b。作为被摄物的用户58和59存在于第一摄像机13a和第二摄像机13b的视场中。

假设如图7所示，第一摄像机13a和第二摄像机13b的光轴是平行的，在垂直方向不存在偏差。尽管实际上在一些情况下会引起偏差，但假设通过一般技术可以将在这样的环境下拍摄的图像校正到无偏差状态。在该图中，虚线表示等视差平面。等视差平面是视差在该平面上的所有点上都相等的平面。因此，根据表达式(2)，这是相等地计算相对于摄像机的距离Z的平面。因此，沿着深度方向的距离Z如图所示，通过在与等视差平面垂直的轴(光轴)上相对于摄像机的拍摄平面(传感器表面)的距离来定义。

图8示意性地示出了深度图像获取器52根据在图5中的时间t0和t2上拍摄的立体图像的假设通过上述立体图像方法获取的深度图像。这种情况的深度图像表示，当像素值较大时，沿着深度方向的距离Z较短，即，位置较接近摄像机。但是，这无意使深度图像的数据格式局限于此。当这样的深度图像被显示成图像时，较接近摄像机的被摄物具有较高的亮度。在图8的深度图像90中，图像显示中的亮度差通过在具有较大像素值的区域中将影线的密度设置得较低来表示。

如本图所示，在深度图像90中，按照沿着深度方向的位置，将沙发的图像92和作为被摄物图像的两个用户的图像94表示成大概区域。通过利用这样的深度图像，可以与实际拍摄空间中的细微结构、颜色变化等无关地从宏观角度识别各自被摄物的图像的整个区域。

因此，如果通过如上所述的匹配处理或脸部检测处理事先分开识别头部的图像的区域，则可以将从头部的区域延续出来的和具有在预定范围内的像素值的区域估计成用户的身体的图像的区域。要提取的像素值的范围可以按照包括在深度图像中的误差和对身体的厚度和不规则性有影响的像素值的分布范围来判定。

图9示意性地示出了对于图5的拍摄图像，位置信息获取器50检测的各自图像的区域和裁剪区判定器60判定的裁剪区。图像96a和96b是，例如，第一摄像机13a拍摄的标准图像，这些标准图像被裁剪成也用于生成显示图像。也就是说，位置信息获取器50获取第一摄像机13a的视场中各自图像的区域，并且将裁剪目标合并成第一摄像机13a拍摄的标准图像中的被摄物。

这防止了由于例如牵涉到视差的第二摄像机13b拍摄的图像中位置信息的混淆，在显示图像中生成与视差相对应的任何偏移。因为标记检测使用标记检测图像来进行，所以优选的是，由相同第一摄像机13a拍摄标记检测图像和用于生成显示图像的图像。

上侧的图像96a代表位置信息获取器50获取的各自图像的区域。图像96a中的点划线所指的区域100是目标区检测器54的第一对象检测器55a检测的用户的头部的图像的区域，通过图8的深度图像90或标准图像与头部的模板图像之间的匹配、标准图像中的脸部检测处理、或其它方法来检测。粗实线所指的区域98是目标区检测器54的第二对象检测器55a根据像素值从图8的深度图像90中提取的用户的身体的图像的区域。

虚线所指的区域102是标记检测器56检测的标记的图像的区域，通过标记检测图像中的搜索或跟踪来检测。另一方面，下侧的图像96b中实线所指的区域104代表裁剪区判定器60根据显示在图96a中的各自图像的区域判定的裁剪区。如图像96a所示，位置信息获取器50获取的三种类型图像的区域每一种都是根据各自准则获得的。因此，它们之间的包括关系和位置关系可以随拍摄状态、计算精度等有各种各样变化。

因此，裁剪区判定器60将包括所有这些区域以及进一步包括预定边界区的区域104判定为裁剪区。例如，将至少包括三种类型区域的任何一种的像素的区域(并集)向外扩展预定个像素或预定宽度获得的区域判定为裁剪区。可替代地，可以将包括通过每一个给予这些区域的各自一个的权重扩展三种类型区域获得的区域的区域判定为裁剪区。

而且，可以赋予区域扩展以方向性，尤其有关第二对象检测器55b从深度图像中提取的身体的图像的区域。例如，当除了沿着深度方向的位置几乎彼此相等的上身之外，也希望裁剪在坐着的状态下与摄像机较接近的腿部时，在图像面中将沿着向下方向的扩展量设置成大于沿着其它方向的扩展量。方向和扩展量之间的对应关系事先按照用户采取的姿势设定。通过设置，例如，如果三种类型区域的任何一种在图像面中分开预定数量或更大，则这个区域不用于判定裁剪区的规则，可以防止错误检测反映在显示结果中。

图10示出了显示图像生成器62使用裁剪区生成的显示图像的一个例子。实际上，通过让显示图像经过镜像反转处理使裁剪区水平反转，有助于观看显示它的显示设备6的用户理解用户与图像之间的对应关系。但是，在图10中，裁剪区按原样示出以便理清与裁剪区的对应性。这也同样适用于随后的图形。图像106是通过将从第一摄像机13a拍摄的标准图像裁剪下来的区域104与通过计算机图形绘制的图像组合，将用户的实际图像与虚拟世界融合的图像。

在图像106中，通过使接近边界的区域108半透明并且与，例如，虚拟世界的图像α混合使裁剪区104的边界不易觉察。可以将边界隐藏起来，以及通过将看起来发光的图形叠加在边界附近的区域108上，可以犹如用户发光似地加以表现。与裁剪区组合的图像不局限于计算机图形，而可以是，例如，分开拍摄的风景、房间等的静止图像或运动图像，这样的图像可以与通过计算机图形绘制的图像组合。

不仅以这种方式将裁剪区与另一个图像组合，显示图像生成器62还可以根据位置信息获取器50获取的信息进行各种类型的处理。例如，以叠加方式在标记检测器56检测的标记的位置上绘制发光体110、武器等。因此，将用户实际握着的输入设备等隐藏起来，将图像表达成犹如用户握着适合虚拟世界的物体似的。在使标记的颜色随用户而不同的情况下，标记检测器56可以根据每种颜色检测标记的图像。而且，据此，显示图像生成器62可以根据每个用户改变对象110的颜色，将图像表达成犹如用户拥有不同武器似的。这样的处理和后面要描述的对象绘制也可以类似地根据拍摄图像中各自图像的区域来进行。因此，显示图像生成器62可以不进行裁剪处理地直接对拍摄图像进行处理和绘制来形成显示图像。

在以与拍摄图像中相同大小和在相同的位置上在显示图像106中组合用户的裁剪图像的情况下，位置信息获取器50获取的拍摄图像中的标记的位置可以直接作为标记在显示图像中的位置。另一方面，在缩放图像或改变组合图像的位置之后进行镜像反转处理或组合裁剪图像的情况下，按照这些类型的处理转换标记的位置坐标，并获取显示图像上的位置坐标。这也同样适用于对其它图像的处理。

根据目标区检测器54检测的头部的图像的区域，可以以叠加方式在每个用户的头上绘制帽子112。此时，每个用户拥有的标记的颜色可以根据头部和标记的相对位置来识别，帽子的颜色可以与标记的颜色匹配地加以判定。可以以半透明的方式将标记的颜色不仅加以帽子中而且加入，例如，每个用户的整个图像和外围区域中。例如，当信息处理器44正在执行像射击游戏那样实时获取得分的游戏时，可以在用户的头部上方显示各自得分(在图中未示出)。这种模式可以通过根据与用户握着的控制器相对应计数的当前定时的得分、和配备在这个控制器中的标记和头部的相对位置，将得分与得分和头部的图像的区域相联系来实现。

而且，在虚拟世界中移动的对象114a和114b也可以绘制成当移动到用户的背后时被用户的图像隐藏起来，以便可以对用户赋予更加感觉到处在现实世界中。具体地说，对于通过裁剪组合和表示用户的图像的区域，给出虚拟世界的摄像机坐标系中作为沿着深度方向的位置的预定Z值。这个Z值也反映在虚拟世界中用户的图像的位置中。而且，在绘制运动对象114a和114b时，与一般隐藏表面消除处理类似地通过将每个时步中这个对象的Z值与用户的图像的Z值相比，根据每个像素判定是否绘制对象。

犹如它们响应，例如，用户对输入设备的预定操作而出现似地开始绘制运动对象114a和114b。此时，如果它们被绘制成从标记所在的用户的手部附近出现，则可以犹如它们响应该操作而出现似地加以表现。此外，显示图像生成器62从位置信息获取器50获取使对象出现在裁剪区中的与用户的身体的图像的区域有关的信息。然后，根据显示图像面中这个身体的图像的区域，显示图像生成器62判定对象的运动路线和行为，并绘制各自图像帧。取决于那时的路线，适当进行上述隐藏表面消除处理。这使得允许表达对象围绕使其出现的用户飞行，对象保持在用户身上，或对象将东西抛给用户的状态。

在图10的例子中，将裁剪区与虚拟世界的图像组合。但是，可以将不进行裁剪和组合处理地在拍摄图像上绘制对象所得的图像用作显示图像。此外，在这种情况下，通过利用位置信息获取器50获取的用户的身体的图像的区域信息，显示图像生成器62可以通过与上述处理类似的处理表示按照用户的位置和运动而移动的对象。取决于该情况，可以进一步利用与头部和标记的图像的区域有关的信息。作为用于隐藏表面消除处理、沿着深度方向的用户的身体的图像的位置(Z值)，可以按原样利用深度图像获取器52获取的深度图像中的像素值。

此外，可以取决于信息处理器44进行的处理地放大图像106中头部的位置或标记的位置。在这种情况下，当成像设备12拍摄的标准图像具有足以用于放大显示的分辨率时，在缩小显示图像106中的显示区的同时提高裁剪区的图像的显示分辨率。

当在成像设备12的拍摄中有必要放大时，首先，位置信息获取器50将头部和标记的所获图像的位置通知信息处理器44。对此作出响应，信息处理器44请求成像设备12经由，例如，图像获取器46放大相关区域。因此，成像设备12放大地拍摄指定区域。为此目的，使成像设备12配有，例如，电子摇头/倾斜机构，以便可以从信息处理设备10控制成像设备12的视场。

使用以这种方式拍摄的放大图像生成显示图像的处理与至此所述的例子中的处理类似。由于这个原因，可以按照信息处理的内容对显示图像加以改变。此外，可以获取像脸部识别、脸部表情识别、和标记的细小移动那样的更详细信息，并且也可以增加信息处理的内容本身的变化。

图11示出了显示图像生成器62生成的显示图像的另一个例子。在图像116中，与图10中的图像106类似地将从拍摄图像中裁剪下来的用户的图像118与通过计算机图形绘制的图像组合。而且，在本例中，绘制了以与用户握着的标记的移动相对应的方式移动的对象120a和120b。在本图的例子中，将通过从用户的手部附近发出的光上浮在空中的字符表示成对象。当用户改变标记的位置和方向时，光和字符的对象与之相关联地移动。

为此目的，标记检测器56使用标记检测图像为每个时步识别标记的位置和取向。如果标记被赋予细长形状或由多个发光器的阵列形成，使得在拍摄图像中其图像的形状可以随相对于摄像机的取向而变，则标记的取向也可以从拍摄图像中检测。可替代地，可以将陀螺仪传感器、加速度传感器等安装在配有标记的输入设备的内部，可以从传感器的检测值中识别输入设备的取向，以便据此计算标记的取向。

通过以这种方式显示对用户的运动作出反应的对象120a和120b，除了允许用户的图像存在于虚拟世界中之外，可以表现虚拟世界中对象与用户之间的交互。而且，也可以通过将武器或齿轮用作对象实现匹配型游戏和虚拟体育运动。在本例中，对象的显示位置和形式随标记的位置和取向而变。但是，根据位置信息获取器50获取的另一个信息，即，头部或身体的位置信息，可以将对象显示成对头部或身体的运动作出反应。

图12是说明显示图像生成器62生成的显示图像的又一个例子的图。在本例中，存在于不同地方的用户被各自设备拍摄，将拍摄图像组合成犹如用户出现在一个地方似地生成图像。图像122和124是分别拍摄第一用户126a和第二用户126b获得的图像。尽管至少拍摄第一用户126a的成像设备12与至此所作的描述类似地拍摄立体图像，但在这个图中只示出了一个拍摄图像。

在第一用户126a侧的信息处理设备10如上所述根据头部的图像的区域、身体的图像的区域、和标记的图像的区域判定裁剪区。然后，信息处理设备10从作为标准图像的图像122中切出这个裁剪区(S10)，并将其数据发送给第二用户126b侧的信息处理设备10(S12)。因为拍摄图像是运动图像，所以对于每个图像帧依次重复这种图像发送处理。可以将一般技术用于与建立两个信息处理设备10之间的通信和发送和接收数据有关的处理过程。

第二用户126b侧的信息处理设备10将裁剪区的发送数据与拍摄第二用户126b获得的标准图像组合以生成显示图像128(S14)。如果位置信息获取器50与至此所述的例子类似地获取第二用户126b的图像的位置，可以与其相邻地布置第一用户126a的发送图像。可以在拍摄开始之前调整摄像机的视场，以便可以在考虑到图像组合设置的适当位置上捕获第二用户126b。以预定速率发送第一用户126a的图像的数据，因此对要显示的每个图像帧重复组合处理。

将生成的显示图像128显示在第二用户126b侧的显示设备16上。同时，将其数据发送给第一用户126a侧的信息处理设备10，从而在第一用户126a侧也显示相同图像。如果通过现有技术同时相互发送它们的音频数据，则可以实现允许用户以犹如他们处在相同房间中似的表现，享受交谈的聊天应用。在图12的例子中，将第一用户126a的图像与第二用户126b侧的拍摄图像组合。但是，可以从原始拍摄图像中切出任一个用户的图像，将其与示范在图10或11中的虚拟世界等的图像或分开拍摄的房间等的图像组合。

接着，将说明利用至此所述的配置实现的信息处理设备的操作。图13是示出信息处理系统2按照用户的运动显示图像的处理过程的流程图。首先，用户指示输入信息获取器42开始处理。与此一起，成像设备12响应经由信息处理器44和图像获取器46发送的拍摄开始请求开始拍摄被摄物。作为拍摄的预处理，成像设备12按照实际拍摄空间的环境获取适合显示的标准拍摄条件和适合标记检测的拍摄条件(S18)。例如，通过调整曝光时间、F数等实际拍摄测试图像，并获取这些参数的最佳条件。

此后，开始用户的运动图像拍摄。将在这种拍摄开始定时的图像帧号设置成N＝0(S20)，成像设备12首先在标准拍摄条件下拍摄立体图像(S22，S24的“是”)。将立体图像的数据从成像设备12发送到图像获取器46以便存储在图像存储体48中。位置信息获取器50的深度图像获取器52从图像存储体48中读出立体图像的数据，通过立体图像方法等生成深度图像(S26)。

深度图像可以使用将立体图像缩小预定比例因子获得的图像的组合生成。这允许以与沿着深度方向的计算精度匹配的粒度进行处理，因此提供高效。而且，可以抑制由以不必要高的详细程度进行处理而产生的噪声。如果成像设备12包括生成深度图像的功能，则将这种深度图像的数据存储在图像存储体48中。因此，深度图像获取器52在S26中读出这种数据而不是生成深度图像。在任何情况下，都与第一摄像机13a拍摄的图像的视场有关地生成深度图像。

接着，目标区检测器54的第一对象检测器55a检测头部的图像的区域(S28)。具体地说，从图像存储体48中读出立体图像当中第一摄像机13a拍摄的图像，并进行脸部检测。可替代地，利用在S26中生成的深度图像进行头部的模板匹配。接着，通过将在S28中检测的头部的图像的区域应用于深度图像，目标区检测器54的第二对象检测器55b从头部的区域的像素值中检测与头部连续和具有在预定范围内的像素值的区域作为身体的图像的区域(S30)。

将图像帧号加1(S32)。然后，在拍摄下一个图像帧(N＝1)的时步中，成像设备12的第一摄像机13a切换拍摄条件，并拍摄用于标记检测的图像(S22，S34的“否”)。将这种图像的数据从成像设备12发送到图像获取器46以便存储在图像存储体48中。位置信息获取器50的标记检测器56从图像存储体48中读出标记检测图像的数据，并通过搜索图像检测标记的图像的区域(S36)。

接着，图像处理器58的裁剪区判定器60根据分别通过S28、S30和S36检测的头部的图像的区域、身体的图像的区域、和标记的图像的区域判定裁剪区(S38)。然后，显示图像生成器62切出这个裁剪区，并将其与分开绘制或准备的图像组合或在除了裁剪区之外的其它区域中绘制图像，例如，以便生成显示图像并将其输出到显示设备16(S40)。

在由于用户命令结束处理或游戏结束而无需结束处理的时段期间(S42的“否”)，将图像帧号N加1(S32)，如果N是偶数(S22的“是”)则进行S24到S30的处理，如果N是奇数(S22的“否”)则进行S34到S40的处理。可以通过针对除了N＝1的帧之外的奇数帧的跟踪技术在时间上逐步跟踪标记。通过上述处理，可以实时显示虚拟空间中的用户在移动的同时操作虚拟对象和与其交互的运动图像。在出现需要结束处理的时候，结束与拍摄和显示有关的处理(S42的“是”)。

当在图12等的聊天应用的模式中无需利用标记时，不执行S22的分支确定和S34和S36中与标记检测有关的处理。在这种情况下，对所有图像帧或以预定间隔选择的图像帧进行S24到S30中检测头部的图像和检测身体的图像的处理，并显示通过S38和S40中的裁剪和组合处理生成的图像。而且，如上所述无需交替地对图像帧执行S22的分支。在图12的聊天应用的模式的情况下，S40包括向/从对侧的信息处理设备发送/接收裁剪区的数据和发送/接收所生成显示图像的数据的处理。

按照上述的本实施例，在拍摄用户的运动和使用它实时生成显示图像的系统中，以预定频率轮流拍摄在标准拍摄条件下获得的立体图像和在适合标记检测的拍摄条件下获得的标记检测图像。然后，使用脸部检测技术等检测头部的图像的区域，并且从自立体图像中生成的深度图像中提取用户的身体的图像的区域。此外，还通过搜索标记检测图像或利用这个图像进行跟踪检测标记的图像的区域。然后，将包括这些图像的区域的在预定范围中的区域判定为用户的图像。

通过应用这种，与使用为显示拍摄的图像进行标记检测的情况相比，即使拍摄环境、用户的衣服的颜色等发生变化，也可以减小对检测精度的影响。这样的状态变化也可能影响深度图像的精度。但是，通过分别识别头部区域、身体区域、和标记区域，并以互补方式组合它们来判定一个区域，可以吸收深度图像的精度的变化。其结果是，实现了健壮抵抗拍摄状态的变化的显示图像生成。

而且，裁剪并与虚拟世界或另一个图像组合以这种方式判定的用户的图像。取决于情况，通过再次利用所检测头部、身体和标记的位置信息，可以实现虚拟对象对用户的移动作出反应或移动到用户的背后来被隐藏的表现。可以如上所述与拍摄状态的变化无关地保持使用的位置信息的精度，因此可以将虚拟世界中的对象绘制在精确位置上。此外，因为用于显示的图像和用于标记检测的图像由一台摄像机以时分方式拍摄，所以也没有偏移地获得显示图像中标记的位置，以及可以精确地绘制对标记的移动作出反应的对象。

上面根据实施例对本公开作了说明。本领域的普通技术人员应该明白，上述实施例是示范性的，通过组合各自组成元件及其各自处理过程可以得出各种修改例，这样的修改例也在本公开的范围之内。

本公开包含与公开在2013年6月7日向日本专利局提交的日本优先权专利申请JP2013-121242中的主题有关的主题，特此通过引用并入其全部内容。

Claims (12)

1.一种图像处理设备，包含：

图像获取器，其被配置成获取通过摄像机拍摄获得的拍摄图像的数据；

深度图像获取器，其被配置成获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像；

第一对象检测器，其被配置成根据形状或特征从拍摄图像或深度图像中检测第一对象的图像的区域；

第二对象检测器，其被配置成根据深度图像中的第一对象的图像的区域和像素值检测第二对象的图像的区域；

裁剪区判定器，其被配置成判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及

显示图像生成器，其被配置成通过与其它区域分开地使用拍摄图像中的裁剪区生成显示图像。

2.按照权利要求1所述的图像处理设备，进一步包含：

标记检测器，其被配置成从拍摄图像中检测被摄物带有的标记的图像的区域，

其中该裁剪区判定器以裁剪区除了第一对象的图像的区域和第二对象的图像的区域之外，还包括标记的图像的区域的方式判定裁剪区。

3.按照权利要求2所述的图像处理设备，其中

该图像获取器在每个图像帧的基础上获取摄像机拍摄的运动图像的数据作为拍摄图像，

该图像帧周期性地包括在适合通过标记检测器检测标记的图像的区域的拍摄条件下拍摄的用于标记检测的图像帧，以及

该标记检测器通过使用用于标记检测的图像帧检测标记的图像的区域。

4.按照权利要求3所述的图像处理设备，进一步包含：

信息处理器，其被配置成判定是否拍摄用于标记检测的图像帧和拍摄用于标记检测的图像帧的周期，并控制摄像机中的拍摄条件。

5.按照权利要求2和3的任何一项所述的图像处理设备，其中

该显示图像生成器通过将裁剪区与另一个图像组合以及将预定对象绘制在与第一对象、第二对象、和标记的至少任一个相对应的位置上，生成显示图像。

6.按照权利要求1到3的任何一项所述的图像处理设备，其中

该第一对象检测器通过对拍摄图像的脸部检测处理检测人的头部的图像的区域，以及

该第二对象检测器检测深度图像中从头部的图像的区域延伸和具有落在预定范围内的像素值的区域作为人的身体的区域。

7.按照权利要求1到5的任何一项所述的图像处理设备，其中

该显示图像生成器通过对裁剪区赋予虚拟空间中相对于摄像机的深度值将裁剪区与其中绘制虚拟空间中的对象的图像组合，并通过比较裁剪区与对象之间的深度值进行隐藏表面消除处理。

8.按照权利要求1到7的任何一项所述的图像处理设备，其中

该显示图像生成器将裁剪区与另一个图像组合，并生成如下的运动图像作为显示图像，该用户对图像处理设备进行预定操作时预定对象出现，并且该对象随着根据裁剪区中与已经进行操作的用户相对应的第二对象的图像的区域判定的移动而移动。

9.一种图像处理系统，包含：

成像设备，其被配置成拍摄带有标记的被摄物的运动图像；以及

图像处理设备，其被配置成根据拍摄的运动图像的图像帧中的标记的位置，生成依据被摄物的运动而变化的显示图像，

其中该成像设备作为运动图像按预定比率轮流拍摄在适合显示的拍摄条件下拍摄的用于显示的图像帧、和在适合图像处理设备检测标记的拍摄条件下拍摄的用于标记检测的图像帧，

该图像处理设备包括

标记检测器，其通过使用用于标记检测的图像帧检测标记；以及

显示图像生成器，其通过使用用于显示的图像帧根据检测标记的位置进行图像处理生成显示图像。

10.一种图像处理设备通过使用摄像机拍摄获得的拍摄图像生成显示图像的图像处理方法，该图像处理方法包含：

获取拍摄图像的数据，并将拍摄图像的数据存储在存储设备中；

获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像的数据，并将深度图像的数据存储在存储设备中；以及

从存储设备中读出拍摄图像或深度图像的数据，并根据形状或特征从读取图像中检测第一对象的图像的区域；

从存储设备中读出深度图像的数据，并根据第一对象的图像的区域和像素值从深度图像中检测第二对象的图像的区域；

判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及

从存储设备中读出拍摄图像的数据，并与其它区域分开地使用裁剪区来生成显示图像，并将显示图像输出到显示设备。

11.一种用于计算机的计算机程序，包含：

获取通过摄像机拍摄获得的拍摄图像的数据；

获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像；

根据形状或特征从拍摄图像或深度图像中检测第一对象的图像的区域；

根据深度图像中的第一对象的图像的区域和像素值检测第二对象的图像的区域；

判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及

通过与其它区域分开地使用拍摄图像中的裁剪区生成显示图像。

12.一种记录计算机程序的计算机可读记录介质，该计算机程序用于计算机，其包含：

获取通过摄像机拍摄获得的拍摄图像的数据；

获取通过将沿着深度方向被摄物相对于摄像机的距离表示成图像面上的像素值获得的深度图像；

根据形状或特征从拍摄图像或深度图像中检测第一对象的图像的区域；

根据深度图像中的第一对象的图像的区域和像素值检测第二对象的图像的区域；

判定至少包括第一对象的图像的区域和第二对象的图像的区域的裁剪区；以及

通过与其它区域分开地使用拍摄图像中的裁剪区生成显示图像。