CN102959941B - 信息处理系统、信息处理装置及信息处理方法 - Google Patents

Abstract

信息处理装置（14）的输入信息取得部（22）接收来自用户的指示输入。拍摄条件控制部（24）以基于用户的指示或所拍摄的图像的解析结果而决定的拍摄条件使拍摄开始。拍摄条件存储部（26）存储使目标功能与拍摄条件建立了对应的拍摄条件表。第1图像解析部（32）及第2图像解析部（34）分别取得拍摄装置（12）所装设的第1摄像头（28）、第2摄像头（30）所拍摄的图像，并进行必要的图像解析。信息统合部（36）统合一对摄像头所拍摄的图像、解析结果。图像数据生成部（38）生成作为处理的结果而输出的图像的数据。

Description

信息处理系统、信息处理装置及信息处理方法

技术领域

本发明涉及基于所拍摄的图像而依次显示输出图像的信息处理系统、该系统所包含的信息处理装置，以及该系统所使用的信息处理方法。

背景技术

近年，在个人计算机或游戏机等上安装摄像头，拍摄用户并以各种形式利用的事情逐渐普遍起来。例如电视电话、视频聊天等将用户的图像介由网络如实地传送给对方的应用、通过解析图像来识别用户的运动并将其作为游戏和信息处理的输入信息的应用等已被实用化了（例如参照专利文献1）。

〔在先技术文献〕

〔专利文献〕

〔专利文献1〕WO2007／050885A2公报

发明内容

〔发明所要解决的课题〕

为利用所拍摄的图像响应性良好地、高精度地实现各种处理，要求与该处理的内容相应的拍摄条件。但因制造成本、图像的传输频带、从拍摄到输出的响应性等，仅通过提高摄像头的性能或图像质量来使信息处理装置的功能充实化是困难的。

本发明是鉴于这样的课题而研发的，其目的在于提供一种能廉价且高效地使利用了所拍摄的图像的信息处理装置的功能充实化的技术。

〔用于解决课题的手段〕

本发明的一个方案涉及信息处理系统。该信息处理系统是拍摄被摄物体，依次取得其图像数据并生成输出图像数据的信息处理系统，其特征在于，包括：由具有相同构造的第1摄像头及第2摄像头构成的一对摄像头，分别以为取得关于同一被摄物体的个别的信息而设定的不同的拍摄条件拍摄对象物；以及信息统合部，统合一对摄像头各自拍摄得到的两系统的图像数据中所包含的个别的信息，生成一系统的输出图像数据。

在此，“被摄物体”不限定于作为拍摄对象而被明确地定位了的人等，还包括进入摄像头视野的房屋、人、物、动物等。因此，所谓“关于被摄物体的个别的信息”，不限定于关于同一个体的个别的信息，可以是关于被摄物体所包含的多个个体的任一者的信息，也可以是关于其它个体的个别的信息。

本发明的另一方案涉及信息处理装置。该信息处理装置是依次取得拍摄有被摄物体的图像数据并生成输出图像数据的信息处理装置，其特征在于，包括：拍摄条件控制部，控制所连接的具有相同构造的一对摄像头，使之以为得到关于同一被摄物体的个别的信息而分别设定的不同的拍摄条件进行拍摄；以及信息统合部，取得一对摄像头各自拍摄得到的两系统的图像数据，统合各图像数据所包含的个别的信息，生成一系统的输出图像数据。

本发明的另一方案涉及信息处理方法。该信息处理方法是一种依次取得拍摄有被摄物体的图像数据并输出与其相应的输出图像数据的信息处理方法，其特征在于，包括：由具有相同构造的一对摄像头以为得到关于同一被摄物体的个别的信息而分别设定的不同的拍摄条件进行拍摄的步骤；取得一对摄像头各自拍摄得到的两系统的图像数据，统合各图像数据所包含的个别的信息，生成一系统的输出图像数据的步骤；以及将输出图像数据输出到显示装置的步骤。

此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机程序等间变换后的实施方式，作为本发明的方案也是有效的。

〔发明效果〕

基于本发明，能够廉价地实现利用所拍摄的图像的各种功能。

附图说明

图1是表示能够适用本实施方式的信息处理系统的构成例的图。

图2是详细地表示本实施方式的摄像装置及信息处理装置的构成的图。

图3是用于说明本实施方式所设想的拍摄状况例的图。

图4是表示本实施方式的使视场角的大小和分辨率不同的方案中的摄像装置所拍摄的图像和利用其而得到的输出图像的例子的图。

图5是表示本实施方式的使视场角的大小和分辨率不同的方案中的信息处理的处理步骤的流程图。

图6是表示本实施方式的使视场角的大小和分辨率不同的方案的变形例的图。

图7是表示本实施方式的使视场角的大小和分辨率不同的方案的变形例的图。

图8是表示本实施方式的使视场角的大小和帧率不同的方案中的摄像装置所拍摄的图像和利用其而得到的输出图像的例子的图。

图9是表示本实施方式的使视场角的大小和帧率不同的方案中的信息处理的处理步骤的流程图。

图10是用于说明本实施方式的使视场角的大小和帧率不同的方案中的图像的扫描时间的图。

图11是表示本实施方式的使视场角的大小和帧率不同的方案中的摄像装置所拍摄的图像和利用其而得到的输出图像的例子的图。

图12是表示本实施方式的使曝光时间／光圈值不同的方案中的摄像装置所拍摄的图像和利用其而得到的输出图像的例子的图。

图13是表示本实施方式的使曝光时间／光圈值不同的方案中的信息处理的处理步骤的流程图。

具体实施方式

实施方式1

图1表示能够适用本实施方式的信息处理系统的构成例。信息处理系统10包含设有拍摄用户1a、1b等对象物的两个摄像头的摄像装置12，基于所拍摄的图像进行与用户的请求相应的信息处理的信息处理装置14，以及输出信息处理装置14处理后所得的图像数据的显示装置16。此外，信息处理装置14能与因特网等网络18连接。

信息处理装置14与摄像装置12、显示装置16、网络18可以以有线电缆相连接，也可以通过无线LAN（LocalAreaNetwork：局域网）等进行无线连接。还可以一体地具备摄像装置12、信息处理装置14、显示装置16中的任意两个或它们的全部。此外，摄像装置12也可以不设置在显示装置16上。此外，用户1a、1b可以不是人，其数量不被限定。

摄像装置12以具有同样构造的一对摄像头拍摄存在于同一空间中的对象物。作为摄像装置12，可以使用为取得对象物的深度信息而已被实用化的立体摄像机等。即，可以是通过并排设置而能得到几乎相同视野的、分别具有镜头的一对摄像头。另一方面，如果已知摄像头的间距、能够通过校正视差而至少推导出一部分视野的对应关系，则两个摄像头的间距和相对位置不被限定。此外，还可以将镜头定为一个，通过将该镜头所捕捉的图像在摄像装置12内部进行分光而实质上实现两个摄像头。

两个摄像头的至少一者具备电子变焦功能、电子云台（PanTilter），或相当于它们的图像剪切功能，使得能够通过信息处理装置14的控制来使视野独立地变化。此外，使得能够由信息处理装置14对两个摄像头分别独立地控制拍摄条件、例如白平衡（whitebalance）、帧率、曝光时间、光圈值。

摄像装置12以信息处理装置14所指定的拍摄条件将包含用户1a、1b等的图像的数据作为动图像或静图像而取得。所取得的图像数据被输入到信息处理装置14。信息处理装置14基于从摄像装置12取得的图像数据决定之后的拍摄条件，并将该拍摄条件反馈到摄像装置12。信息处理装置14还基于从摄像装置12取得的图像数据来进行与用户所指定的功能相应的信息处理，生成用于输出的图像数据。

所生成的图像数据输出到显示装置16或发送到介由网络18连接的其它信息处理装置。显示装置16可以是具有输出图像的显示器及输出声音的扬声器的电视。

图2详细地表示了摄像装置12及信息处理装置14的构成。信息处理装置14包括：输入信息取得部22，接受来自用户的指示输入；拍摄条件控制部24，以基于用户的指示或所拍摄的图像的解析结果而决定的拍摄条件，使拍摄开始进行；拍摄条件存储部26，存储使目标功能和拍摄条件建立了对应的拍摄条件表；第1图像解析部32及第2图像解析部34，分别取得摄像装置12所装设的的第1摄像头28、第2摄像头30拍摄的图像，并进行必要的图像解析；信息统合部36，统合一对摄像头所拍摄的图像和解析结果；以及图像数据生成部38，生成作为处理的结果而要输出的图像的数据。

在图2中，作为进行各种处理的功能块而叙述的各要素从硬件上来讲，能够由CPU、存储器、其它LSI来构成，从软件上来讲，由进行图像处理的程序等实现。因此，本领域技术人员当理解这些功能块能够仅由硬件、仅由软件、或由它们的组合以各种形式实现，并不限定于某一种。

输入信息取得部22是接受用户对信息处理装置14进行的指示输入的接口，能够由指示设备、鼠标、键盘、触摸面板、游戏控制器、按钮等一般的输入装置实现。输入信息取得部22可以是具有不同于信息处理装置14主体的壳体的、以无线或有线连接的装置。用户的指示输入包括用于选择信息处理装置14的某个可执行功能的输入、用于移动或选择显示装置16所显示的光标或框的输入。输入信息取得部22所取得的信息被适时地通知到拍摄条件控制部24、第1图像解析部32、第2图像解析部34、信息统合部36。关于信息处理装置14可执行的功能的例子，在后面进行叙述。

拍摄条件控制部24根据用户向输入信息取得部22输入的指示输入来决定第1摄像头28及第2摄像头30的拍摄条件，并向该两个摄像头中的至少一个发送拍摄请求信号，由此使以所决定的条件进行的拍摄开始。通过基于用户所指示的功能，参照拍摄条件存储部26所存储的拍摄条件表，来得到拍摄条件的初始值。此外，拍摄条件控制部24基于对第1摄像头28、第2摄像头30中的至少一个所拍摄的图像进行解析的结果，进一步决定拍摄条件，并至少使两个摄像头的其中一个以该条件开始拍摄。

第1图像解析部32取得第1摄像头28所拍摄的图像，第2图像解析部34取得第2摄像头30所拍摄的图像，并都进行与客户所选择的功能相应的图像解析。但因用户所选择的功能不同，也存在不需要图像解析的情况，此时，可以将图像数据原样送出到信息统合部36等。因此，第1图像解析部32及第2图像解析部34从输入信息取得部22取得与用户所选择的功能相关的信息后执行处理。第1图像解析部32、第2图像解析部34的解析结果被发送到拍摄条件控制部24，被用于决定进一步的拍摄条件，或被发送到信息统合部36。

信息统合部36统合第1图像解析部32及第2图像解析部34所解析的结果或分别发送来的图像数据。关于进行什么样的统合，根据用户所选择的功能而不同。因此，信息统合部36从输入信息取得部22取得与用户所选择的功能相关的信息之后，执行处理。图像数据生成部38生成用于将信息统合部36统合的结果作为图像而输出的图像数据，输出到显示装置16或网络18。

接下来说明信息处理系统10所实现的功能的具体例子。图3是用于说明本实施方式所设想的拍摄状况例的图。在该图的例子中，用第1摄像头28、第2摄像头30拍摄两个用户1a、1b坐到桌子前交谈等的状况。拍摄对象不限于用户1a、1b等人，也可以是用户所持的图画2等物体。所拍摄的图像例如通过网络18依次发送到其它信息处理系统，由此被显示于该其它信息处理系统的显示装置。

由此，能够远程地观看用户1a、1b交谈的情景。此外，通过两个信息处理系统10相互地执行同样的处理，能够实现视频聊天或电视电话的功能。此外，关于用于发挥这样的功能的网络的建立和用于传送数据的手续等，可以采用一般的技术，在此省略其说明。此外，还可以是如下应用方式，即，通过不仅介由网络发送图像数据，还将作为处理结果的图像显示于作为拍摄对象的用户1a、1b所观看的显示装置16上，用户1a、1b来享受游戏。

在这样的状况下，本实施方式中的信息处理系统10通过使用两个摄像头、以不同的条件拍摄同一对象物，而使拍摄图像具有附加价值地作为输出信息。在图3的例子中，第1摄像头28以广角对对象物整体的区域40进行拍摄，第2摄像头30以窄角仅拍摄用户1b的脸的区域42。此时，使第2摄像头30所拍摄的图像与第1摄像头28所拍摄的图像的像素大小相同。

作为结果，第2摄像头30所拍摄的图像将比第1摄像头28所拍摄的图像的分辨率高。由此，能够取得第1摄像头28拍摄的图像是一般的分辨率且广角、第2摄像头30拍摄的图像是高分辨率且窄角这样的性质互不相同的图像。在本实施方式中，通过像这样使条件不同地同时拍摄同一被摄物体或空间，并统合分别拍摄而得的信息，从而能够进行各种各样的处理。

下面，针对信息处理系统10所实现的功能的例子具体进行说明。此外，这些功能仅是例示，信息处理系统10只要能够实现这些功能中的任一个或两个以上的组合即可，无需具备所有功能。

（1）使视场角的大小和分辨率不同的方案

本方案如在图3中已说明的那样，使两个摄像头进行拍摄的视场角不同。此时，如上述的那样，若2个摄像头以相同的像素大小拍摄，则视场角越小、分辨率越高。然后，通过合成并输出这些图像，能够详细地仅显示人脸等关注区的图像。

图4表示在本方案中由第1摄像头28及第2摄像头30拍摄的图像和利用它而得到的输出图像的例子。在该图中，第1摄像头28所拍摄的图像是图3中的区域40的广角图像44，第2摄像头30所拍摄的图像是图3中的区域42的狭角图像46。

狭角图像46的区域面积是广角图像44的区域面积的纵横1／3时，若使像素大小相同，则狭角图像46的分辨率成为广角图像44的纵横3倍。此外，不需要这样地严密地统一像素大小和图像的纵横比，首先，预先考虑处理能力等地规定好图像数据大小的许可范围，在该范围内妥当地决定视场角与分辨率的关系即可。

为决定狭角图像46的视场角，首先拍摄广角图像44，通过进行脸识别处理而检测出能够成为狭角拍摄的目标的区域。然后，将在该广角图像44上表示出目标候选区域的图像显示到显示装置16上，接受用户的选择。此时，存储好广角图像44中的被选择的目标的区域的位置。然后，将狭角图像46合成在广角图像44上对应的区域进行输出。其结果，能够显示仅广角图像44中用户选择的目标的区域50有较高分辨率的合成图像48。

图5是表示该方案中的信息处理的处理步骤的流程图。在图5及后述图9、图13的流程图中，将各部的处理步骤以表示步骤的S（Step的首字母）和数字的组合来表示。图5的流程图于用户对输入信息取得部22进行了开始拍摄及图像数据的输出的指示输入时开始。

首先，用户向输入信息取得部22进行用于选择功能的指示输入（S10）。例如用户选择显示装置16所显示的菜单画面中的视频聊天等利用了上述处理的功能。于是，该信息被通知给拍摄条件控制部24、第1图像解析部32、第2图像解析部34、信息统合部36。随着第1图像解析部32、第2图像解析部34、信息统合部36接受该通知，与所选择的功能相应的处理的流程被设定。该处理实际上可以是脚本文件或程序的选择。以后的例子也是一样。

然后，拍摄条件控制部24以标准的视场角及分辨率使第1摄像头28开始拍摄（S12）。此时的拍摄条件能够通过参照拍摄条件存储部26所存储的拍摄条件表、取得针对所选择的功能而设定的拍摄条件来决定。在此所拍摄的图像是图4所示的广角图像44那样的图像。拍摄开始时，第1摄像头28可以使用已有的技术来自动调整针对实际拍摄环境最合适的白平衡及光圈值。

第1摄像头28所拍摄的图像的数据被送到第1图像解析部32。第1图像解析部32解析该图像的数据，检测出人脸等可成为狭角图像的目标的候选区域。然后，图像数据生成部38生成以矩形包围该区域的图像数据并将其输出到显示装置16（S14）。

作为第1图像解析部32所进行的图像解析，使用基于特征点抽取的人脸检测、或基于模式匹配的预定对象物检测等已有的检测技术。关于应作为目标的对象，可以是用户从脸、手、特定的标记物等可检测的物体的列表中选择等，并可以根据所选择的对象物而妥当地决定检测方法。进行人脸检测时，作为S14所表示的图像，例如是在显示图3的区域40的图像的基础上，使用于表示区域42的边界的框重合于用户1a、1b双方的脸部区域后的图像。

此时，同时显示指示某个框的光标，使得用户能够介由输入信息取得部22进行光标移动、决定的输入。可以通过框的颜色来表示选择对象。然后，用户一边观看显示装置16，一边选择目标（S16）。与此相应地，拍摄条件控制部24使第2摄像头30拍摄包围有所选择的目标的框的区域，从而开始由第1摄像头28及第2摄像头30进行的广角图像、狭角图像的同时拍摄（S18）。此时，拍摄条件控制部24通过控制第2摄像头30的电子变焦及电子云台，而使所选择的区域被拍摄。此外，如上述的那样，表示狭角图像是广角图像的哪个区域的图像的相对位置信息被从输入信息取得部22通知到信息统合部36。

然后，两台摄像头所拍摄的广角图像、狭角图像的数据分别介由第1图像解析部32及第2图像解析部34而依次提供给信息统合部36。信息统合部36发送双方的相对位置信息和两个图像数据，并指示图像数据生成部38进行合成，由此，图像数据生成部38生成并输出合成图像（S20）。由此，能够例如在视频聊天等中使详细地捕捉到用户1b的表情的图像显示于对方的显示装置。

此时，由于成为高分辨率的是整体图像的一部分，故能够满足既不因图像数据的增大而压迫传输频带、又能详细地观看想要看的区域这样的要求。此外，由于摄像头本身只要具有一般的性能即可，故制造成本不会增加。

图6、图7表示该方案的变形例。图6表示了以用户所持的图画2为目标时的拍摄图像和输出图像的例子。此时，预先在处于图画2的四角中的对角上的两个角等处附加具有预定颜色、形状的标记物53。由此，第1图像解析部32能够在图5的S14中通过模式匹配等检测出标记物，由此将图画区域作为目标候选检测出来。

并且，若在S16中用户将该图画选为目标，则第1摄像头28拍摄的图像是广角图像52，第2摄像头30拍摄的图像是图画区域的狭角图像54。与上述的一样，由于狭角图像54是高分辨率图像，故图画上所记述的文字等与广角图像52相比被清晰地显示。

合成这些图像，显示合成图像56。在这个例子中，通过显示与广角图像52内的图画的面积相比、将表示对应区域的狭角图像54放大了的图像58，从而使得文字等更容易看到。像这样即使是同一个视野内的对象物，也能够在进行与对象物相应的加工的基础上显示合成图像。

图7表示了由第1摄像头28及第2摄像头30两者拍摄狭角图像时的拍摄图像和输出图像的例子。此时，在图4的S16中从用户接受两个目标的选择。然后在S18中以第1摄像头28拍摄一个目标的狭角图像60，以第2摄像头30拍摄另一个目标的狭角图像62。在该图的例子中，用户1a的脸、用户1b的脸的区域被选为目标。

此时，由于不存在拍摄广角图像的摄像头，故作为合成图像64中的广角图像，是将在图4的S16中选择了目标时第1摄像头28所拍摄的图像的任意一帧作为静图像来显示的。其结果，合成图像64中只有目标区域66及68高分辨率地运动，其它区域可以显示静图像的图像。由此，在想详细看的区域被限定、其它区域的运动不是很重要的情况下，能够按摄像头的数量对应地增加目标的数量。

此外，作为合成图像，也可以仅将两个狭角图像60、62根据显示装置16的画面的大小而放大并并排地显示。此外，也可以切换这样的图像和图7的合成图像64。此外，在目标有较大运动的情况下，可以通过使第1摄像头28拍摄广角图像，第1图像解析部32基于已有的技术追踪目标，拍摄条件控制部24与此相应地使用电子云台调整各摄像头的视野，来使狭角图像内总是包含目标。这一点在上述的任意一种情况下都是一样的。

（2）使视场角的大小和帧率不同的方案

本方案使两个摄像头中拍摄时的帧率不同。具体来讲，一个摄像头以标准的帧率来拍摄整体图像，另一个摄像头以高帧率拍摄目标的狭角图像。以高帧率拍摄的图像用于追踪目标或目标所包含的部位。由此，能够不增加数据大小地针对应关注的区域实施高效且精度高的追踪。

图8表示了在本方案中由第1摄像头28及第2摄像头30拍摄的图像和利用它而得到的输出图像的例子。在该图中，第1摄像头28所拍摄的图像是图3中的区域40的广角图像70。第2摄像头30所拍摄的图像是目标区域的狭角高帧率图像72。使n1＜n2时，在第1摄像头28对广角图像70进行n1帧拍摄的期间，第2摄像头30对狭角高帧率图像72进行n2帧拍摄。

并且，第2图像解析部34以已有的方法针对狭角高帧率图像72进行对象物追踪。以脸为目标时，例如通过追踪眼睛和嘴等脸的部位来识别表情的变化。或以头、手等作为目标时，通过追踪其轮廓来识别其姿势（gesture）。在该情况下，输出的图像74成为对广角图像70施行了与追踪的结果相应的加工的图像等。在图8的例子中，识别到成为目标的脸正在笑，添加与之对应的动画76。

近年，通过拍摄、追踪对象物的运动来识别表情和姿势，并将其作为输入信息而使游戏进展或进行信息处理的技术已经被实用化。为高精度地进行追踪，希望以高帧率进行拍摄，使得相对于运动的时间分辨率变高。但是，若以高帧率拍摄而取得的图像数据变大，则在信息处理装置14内部存在压迫总线带宽或存储区域的可能性。

在本方案中，首先通过广角图像来锁定目标后，只用高帧率拍摄该区域来进行追踪，故能够抑制图像数据的增大。此外，即使在目标剧烈地变位等时也能够在广角图像中取得目标整体的运动的信息，故能够高效地锁定目标的位置。此外，通过使用以标准帧率拍摄的图像作为最终要输出的图像，能实现适合于显示的、噪声少的图像显示。

图9是表示该方案中的信息处理的处理步骤的流程图。图9的流程图于用户对输入信息取得部22进行了开始拍摄及输出图像数据的指示输入时开始。首先，与图5一样，用户向输入信息取得部22进行选择功能的指示输入（S22），拍摄条件控制部24使第1摄像头28依照针对所选择的功能而设定的拍摄条件、以标准的视场角及帧率来开始拍摄（S24）。

第1摄像头28所拍摄的图像的数据被第1图像解析部32取得并进行图像解析，由此，使预先规定的对象物例如人脸、手、头等作为目标被检测出来（S26）。此时，与图5所说明的一样，可以通过将检测出的目标候选用框圈起来显示，来让用户选择。此外，作为目标的检测手法，也与在图5中所说明的一样，可以使用模式匹配等已有的检测技术。例如，可以是这样的方法：先通过人脸识别处理检测出人脸，从与其相对的位置推测出手、头的轮廓的位置后，进行模式匹配来确定目标。

所检测出的目标的信息被通知给拍摄条件控制部24。然后，拍摄条件控制部24使第2摄像头30以高帧率拍摄被选择的目标的区域，由此开始第1摄像头28及第2摄像头30的广角图像、狭角高帧率图像的同时拍摄（S28）。此时，预先将成为追踪对象的目标的位置信息通知给信息统合部36。

然后，第2图像解析部34针对第2摄像头所拍摄的狭角高帧率图像进行目标追踪处理（S30）。进行追踪时，可以预先将在S26中检测到目标时所得到的目标的实际形状作为样板图像来保存，然后通过其与高帧率图像的匹配来追查目标的位置。然后，根据追踪结果所得到的目标的位置变化来检测到进行了预定的姿势（S32）。例如，将使目标的位置变化的模式和姿势建立了对应的表预先保存到未图示的存储器等中，通过参照它来进行姿势的判断。

这样的姿势识别手法可以采用通过游戏等已被实用化了的手法。在此，一般来讲，“姿势（gesture）”除了人作为姿势而进行的动作以外，还可以是脸的表情的变化等任意的方式，只要是能进行定义的形态变化即可。

姿势识别结果和第1摄像头28所拍摄的广角图像的数据被依次提供给信息统合部36。信息统合部36根据姿势，将所准备的动画或图像加工处理的内容，与要施加加工的位置的信息及图像数据一起发送给图像数据生成部38，并指示其进行图像加工，由此，图像数据生成部38生成并输出加工图像（S34）。

此外，在本方案中，通过姿势识别而进行的处理不被特别限定。例如，除附加图8所示那样的单纯的动画外，还可以是在表现虚拟世界的图像中合成广角图像中的用户的身姿，并根据用户的姿势而使虚拟世界发生某种变化等更加复杂的表现。即，可以根据游戏的内容或信息处理的目的来和已有的图像处理技术进行各种组合地生成通过追踪和姿势识别而输出的图像。

此外，根据处理的内容，没有必要一直同时地拍摄广角图像和狭角高帧率图像，可以根据需要取得图像的期间启动/关闭两个摄像头中的任一个。例如可以想到如下这样的方案：在以图像表现棒球游戏的情况下，一直拍摄广角图像，显示将用户的身姿和棒球场的风景合成后的图像，并仅在作为击球员的用户挥击的期间以狭角高帧率来拍摄用户胳膊的动作，根据挥击的角度和速度来动画显示击球。

相反地，在不将广角图像作为输出图像来使用、只将姿势识别的结果用于输出信息时等，可以仅在狭角高帧率图像中丢失了目标时拍摄广角图像，使得能够在广范围内搜索目标。通过像这样随机应变地设定广角图像的拍摄期间和狭角高帧率图像的拍摄期间，能够根据处理内容调整资源的消費量。

另一方面，如果并行地执行在限定的空间中提高了时间轴分辨率的信息的取得和广空间的整体信息的取得，则例如将追踪的结果反馈到广角图像而追踪整体的运动，或根据整体的运动而进行限定范围内的高精度的追踪，像这样相互补充信息，能实现范围广的应用。

此外，与图7所说明的一样，也可以先通过第1摄像头28所拍摄的广角图像检测出目标，然后用两个摄像头拍摄两个目标的狭角高帧图像。由此，能够独立地识别两个目标的姿势，故能够表现虚拟空间中的对战游戏等。

此外，狭角高帧率图像也可以与方案（1）一样，以与广角图像相同的像素大小进行拍摄，成为高分辨率，也可以使其分辨率与广角图像的一样。至于采用什么样的分辨率，只要根据所要求的追踪的精度和信息处理装置的处理能力、数据传输时的总线带宽等预先决定即可。

在上述的例子中，第2摄像头是以高帧率拍摄狭角图像的，但也可以反过来，以低帧率进行拍摄。在低帧率下，用于取得图像的扫描速度变慢，故一帧所包含的运动的信息量变多。图10是用于说明该方案中的图像的扫描时间的图。该图示意性地表示了以横轴为时间轴时，在矩形86所示的摄像头传感区域中被扫描的扫描线的时间变位（实线）。

在下方所示的低速扫描时，与上方所示的标准扫描速度相比，从传感区域上方扫描到传感区域下方的时间较长，因此，虽然在同一期间中能够取得的帧的数量少，但从完成一个帧图像的取得到开始下一个帧图像的取得的盲区（blind）期间的发生频率变低。因此，能够取得针对运动的对象物时间分辨率高的信息。此外，由于一帧中包含较长期间的信息，故处理负荷轻、能够进行滞后（latency）少的姿势识别。

图11表示了以第1摄像头28拍摄广角图像、以第2摄像头30拍摄狭角的低帧率图像时的各拍摄图像和利用其得到的输出图像的例子。在该图中，第1摄像头28所拍摄的图像与上述一样，是以标准的帧率拍摄的广角图像80。第2摄像头30所拍摄的图像是目标的区域的狭角低帧率图像82。使n1＞n2时，在第1摄像头28拍摄n1帧广角图像80的期间，第2摄像头30拍摄n2帧狭角低帧率图像82。

在此例中，假设将拍摄对象人物的手作为目标而检测出来，并拍摄该区域的狭角低帧率图像。在此，假设拍摄对象人物挥手，在狭角低帧率图像82中，该手的左右运动如图示的那样表示。即，在手左右挥动着的状况下，扫描由扫描线的上方向下方推进，故能够取得使左右往返运动沿纵向延伸了那样的手颜色的形状。

第2图像解析部34取得该狭角低帧率图像82，从手的左右方向的变位和上下方向的扫描速度得出手的速度的变化。基于此信息，参照预先准备的使运动模式与姿势建立了对应的表，来判断姿势是否已被进行。然后，与上述的例子一样，通过对广角图像80施加与姿势相应的预定加工，来生成输出图像84。在该图的例子中，附加了拍摄对象说“再见”的对白框。

（3）使曝光时间／光圈值不同的方案

本方案用两个摄像头使拍摄时的曝光时间、光圈值中的某一个或两者不同。近年，已提出了如下技术：使用户携带或佩戴发光体等标记物，通过拍摄它来检测出用户的运动，作为对游戏等的输入信息。该技术在如下前提下成立，即，总是能够从作为图像而捕捉到的房屋、人、物等中检测出具有特定的大小、颜色、形状、亮度等的标记物。但是，与人的目视不同的是，图像内的标记物的映像状况会因周围的明亮程度、有无物体、周围的颜色等拍摄环境、曝光时间、焦深等拍摄条件而有很大程度地变化。

拍摄包含用户、房屋的广角图像时，一般来讲，白平衡、曝光时间等拍摄条件会配合其拍摄环境地自动调整，由此，取得整体上得到了平衡的图像。但是，在该图像中检测标记物时，若像这样使拍摄条件根据环境而变化，则有可能导致标记物的映像状况、即图像的颜色、大小、形状、亮度等发生变化，使检测处理受到影响。

可以想到例如使用发光的标记物时，若根据房屋的明亮程度而决定的曝光时间过长，则标记物的发光部分的RGB值会饱和，无论发光体的颜色如何都会成为全白且轮廓模糊的图像。此外，可以想到标记物较高速地运动时，其像会变虚。

因此，有可能出现不能正确地取得包含深度方向的标记物位置、在要根据发光体的颜色来识别用户时变得不能识别的情况。因此，在本方案中，一个摄像头以标准曝光时间、光圈值拍摄整体图像，另一个摄像头以将曝光时间、光圈值的其中一个或两者调整为最适合标记物的值来拍摄标记物。由此，能够既确保取得了平衡的适合观赏的用于最终显示的图像，又能够在任何拍摄环境下都精度良好地进行标记物检测。

图12表示本方案中的第1摄像头28及第2摄像头30所拍摄的图像和利用其而得到的输出图像的例子。该图中的第1摄像头28所拍摄的图像是以针对图像整体最合适的曝光时间、光圈值拍摄握持顶端球体发光的标记物92的用户的一般图像90。在该图像中，如上述的那样，标记物92的发光体可能不论实际颜色如何都被拍成全白。此外，标记物的形状并不限定于该图所示的物体，只要是已知颜色、形状、大小、亮度等且能够成为检测对象的标记物即可。此外，也可以不是发光体。

另一方面，第2摄像头30所拍摄的图像是以对标记物92的发光体以最合适的曝光时间、光圈值拍摄的拍摄条件调整图像94。该图像例如是与一般图像90相比曝光时间短、焦点对准了标记物92的焦深较浅（光圈值小）的图像。曝光时间由电子快门的快门速度进行调整。通过提高快门速度，曝光时间变短。

通过这样的调整，拍摄条件调整图像94成为整体上较暗、图中的其它物体模糊，但标记物92的发光体部分颜色、形状、大小、亮度接近实际的图像。此外，拍摄条件调整图像94也可以是仅拍摄了标记物的部分的狭角图像。此时，可以根据标记物检测所要求的精度、信息处理装置的处理能力等来组合方案（1）和（2）地进行标记物92的位置检测及追踪。

第2图像解析部34利用拍摄条件调整图像94取得标记物的位置，识别用户的运动。然后，通过对一般图像90施加与运动相应的加工来生成输出图像98。在图12的例子中表示了识别到用户将标记物92往下放，与此相应地使输出图像中的虚拟世界中的用户所持的刀100的长度变长。

图13是表示该方案中的信息处理的处理步骤的流程图。图13的流程图于用户对输入信息取得部22进行了开始拍摄及图像数据的输出的指示输入时开始。首先，与图5、图9一样，用户向输入信息取得部22进行用于选择功能的指示输入（S40）。于是，拍摄条件控制部24使第1摄像头28以针对视野整体最合适的曝光时间、光圈值，使第2摄像头30以针对标记物的发光体最合适的曝光时间、光圈值来开始拍摄（S42）。

第1摄像头28的拍摄条件可以通过通常的校准（calibration）方法而根据当时的环境来设定。可以将按标记物的颜色、亮度等标记物的特性分别取得的最合适的值预先记述在拍摄条件表中，基于实际的标记物的特性来选择第2摄像头30的拍摄条件。或者也可以在处理开始时进行校准而寻求最合适的条件。此外，在使第2摄像头30的图像为狭角图像时，可以与图9的S24、S26同样地、通过广角图像检测出标记物的大概位置，由此来决定狭角图像的视野。

然后，第2图像解析部34对第2摄像头所拍摄的拍摄条件调整图像进行标记物检测处理（S44），根据其运动来识别用户的运动（S46）。运动识别结果和第1摄像头28所拍摄的广角图像的数据被依次提供给信息统合部36。通过信息统合部36将被与运动相应地准备的动画或图像加工处理的内容、以及要施加加工的位置的信息，与图像数据一并发送到图像数据生成部38，并指示进行图像加工，由此，图像数据生成部38生成并输出加工图像（S48）。

此外，与方案（2）一样，通过运动识别而进行的处理不特别限定，可以根据游戏的内容或信息处理的目的而与已有的图像处理技术进行各种组合。此外，与图7所说明的一样，可以用两个摄像头拍摄分别针对两个标记物而调整了拍摄条件的2个狭角图像。由此，能够独立地识别两个标记物的运动，故能够表现虚拟空间中的对战游戏等。

通过以上所述的本实施方式，用两个摄像头以不同的条件拍摄同一个空间。由此，能够互补地取得各自特殊化的信息，能通过它们的组合而发挥各种功能。此时，通过将分辨率、帧率高的图像作为狭角图像，能够防止数据尺寸的庞大化，能使得不影响信息处理装置内部的数据传输和介由网络的图像数据的传输等。此外，由于本实施方式能够直接利用一般流通的一对摄像头来作为立体摄影机，故能够容易地不增加成本地充实功能。

实施方式2

在实施方式1中，通过使用具有相同构造的一对摄像头、使拍摄条件不同而互补其各自所持有的信息，实现想要的功能。在本实施方式中，使用构造的至少一部分不同的1对摄像头。能够适用本实施方式的信息处理系统的构成和摄像装置12及信息处理装置14的构成与实施方式1所说明的一样，但第1摄像头28和第2摄像头30的硬件构成的至少一部分不同。在此，不同的结构可以是传感器大小等各摄像头中的固有结构，也可以是焦距等可调整的拍摄条件值的可变区域。在后者的情况下，可变区域的一部分可以重叠。之后，分项目地说明这样的摄像头的结构的不同，但也可以同时使两个以上的项目不同。

（1）分辨率（传感器大小）不同的两个摄像头

例如将第1摄像头28定为具有标准的、或比其低的分辨率的摄像头，将第2摄像头30定为具有比第1摄像头28的分辨率高的摄像头。由这样的摄像头实现与实施方式1的“（1）使视场角的大小和分辨率不同的方案”一样的方案。但是，由于摄像头的分辨率原本就不同，故不一定需要同时调整视场角。在此情况下，例如与图4所示的一样，能够通过以第1摄像头28拍摄整体的图像，以第2摄像头30仅拍摄目标的区域，来输出合成了低分辨率图像和高分辨率图像的图像。处理步骤与图5所示的一样。

如上述的那样，在这种情况下，由于与实施方式1相比，视场角的相对关系更加自由，故不需要必须将低分辨率的第1摄像头28限定为广角、将高分辨率的第2摄像头30限定为狭角。此外，能够通过原本就有的分辨率的相对值对要合成的图像的分辨率更清楚地施加区分。参照图6、图7来说明的方案也一样能够实现。但是，如图7那样，在需要几乎相同的区域大小、分辨率相同的2个狭角图像60、62时，需例如必须以低分辨率的第1摄像头28拍摄狭角图像60，并从第2摄像头28所拍摄的广范围的图像中剪切出对应的区域这样的处理。

（2）帧率不同的两个摄像头

例如将第1摄像头28定为具有标准的、或比其低的帧率的摄像头，将第2摄像头30定为具有比第1摄像头28的帧率高的摄像头。由这样的摄像头实现与实施方式1的“（2）使视场角的大小和帧率不同的方案”一样的方案。在此情况下，不一定需要调整视场角。并且，例如与图8所示的一样，用第1摄像头28拍摄整体的图像，用第2摄像头30以高帧率仅拍摄目标的区域。并使用第2摄像头30拍摄的图像高精度地进行对象物的追踪，并根据其结果对第1摄像头28拍摄的整体的图像施加加工。处理步骤与图9所示的一样。

在此情况下，通过在第1摄像头28拍摄的整体的图像中检测出目标，用第2摄像头30以高帧率仅拍摄目标的区域，能够高效地进行追踪处理。此时，可以从由第2摄像头30拍摄的图像中仅剪切出目标的区域后再进行追踪处理。此外，为进一步提高追踪的精度，可以使具有高帧率的摄像头的分辨率低于具有低帧率摄像头的分辨率，提高其灵敏度。通过这样利用帧率不同的两个摄像头，能够在取得输出图像的同时，实现精度更高的追踪。

作为变形例，可以对用低帧率摄像头拍摄的图像施加脸部识别处理而检测出脸部，并通过距检测出的脸部的相对位置推测出手、被握持的标记物等的位置，将其作为目标，以高帧率摄像头来拍摄。通过使帧率低于标准值，能够容易地得到脸部等大运动少的对象物的鲜明图像，提高脸部识别的精度。因此，通过以低帧率拍摄整体的图像，能够精度良好地检测出脸部、进而检测出目标的位置。

（3）快门速度不同的两个摄像头

例如将第1摄像头28定为具有标准的快门速度的摄像头，将第2摄像头30定为比第1摄像头28的快门速度快的摄像头。由这样的摄像头实现与实施方式1的“（3）使曝光时间／光圈值不同的方案”一样的方案。然后，例如与图12所示的一样，用第1摄像头28拍摄一般图像，用第2摄像头30以高速快门缩短曝光时间地拍摄同一区域。然后，使用第2摄像头30所拍摄的图像来精度良好地进行标记物的追踪，并根据其结果来对第1摄像头28所拍摄的一般图像进行加工、输出。处理步骤与图13所示的一样。通过这样利用快门速度不同的两个摄像头，能够在取得输出图像的同时，实现精度更高的标记物检测。

（4）焦距不同的两个摄像头

例如将第1摄像头28定为具有标准的焦距的摄像头，将第2摄像头30定为比第1摄像头28的焦距短的摄像头。由这样的摄像头实现与实施方式1的“（3）使曝光时间／光圈值不同的方案”一样的方案。然后，例如与图12所示的一样，用第1摄像头28拍摄一般图像，用第2摄像头30以短焦距拍摄同一区域。然后，使用第2摄像头30所拍摄的图像来精度良好地进行标记物的追踪，并根据其结果来对第1摄像头28所拍摄的一般图像进行加工、输出。处理步骤与图13所示的一样。通过这样利用焦距不同的两个摄像头，能够在取得输出图像的同时，实现精度更高的标记物检测。

（5）分别拍摄彩色（RGB）图像和单色图像的两个摄像头

例如将第1摄像头28定为拍摄一般的彩色图像的摄像头，将第2摄像头30定为拍摄单色图像的摄像头。单色图像与彩色图像相比，能够灵敏度更高地被拍摄。因此，即使在较暗的室内等一般彩色图像中被摄物体容易被拍摄得模糊的环境中，也能够较容易地捕捉轮廓，有利于追踪处理。因此，例如与图12所示的一样，用第1摄像头28拍摄彩色图像，用第2摄像头30拍摄同一区域的单色图像。然后，使用单色图像来精度良好地进行标记物的追踪，并根据其结果对第1摄像头28所拍摄的彩色图像进行加工、输出。此情况的处理步骤也与图13所示的一样。通过将单色图像不限定于标记物地用于对象物的追踪，能够实现图8所示的方案。此外，除利用拍摄彩色图像和单色图像的摄像头外，利用拍摄彩色图像的摄像头和红外线摄像头也能够以相同的方案实现同样的效果。

在以上所述的本实施方式中，用构造的至少一部分不同的两个摄像头拍摄同一个空间。由此，能够互补地取得各自所特殊化的信息，并通过它们的组合而发挥各种功能。此外，通过使构造原本就不同，能较大程度地区分各摄像头所拍摄的图像，容易进行与追踪的对象物的性质相应的应对方案。

以上基于实施方式对本发明进行了说明。本领域技术人员当理解上述的实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，且该变形例同样包括在本发明的范围内。

例如可以使用实施方式2所说明的构造的至少一部分不同的两个摄像头，进行与以往的立体摄影机同样的处理。例如在使用帧率不同的两个摄像头时，从高帧率图像中抽取出与低帧率图像相同时刻（timing）的帧，并基于各时刻的2幅图像，利用三角测量的原理来导出对象物的深度方向的位置、例如位于摄像头前的人物中距摄像头最近的部位的位置。同时，若按照实施方式2那样实施使用了高帧率图像的胳膊、标记物等的追踪，则能够生成被施加了基于人物的两个部位的绝对位置及相对位置的加工的输出图像。

同样地，如果在用分辨率不同的两个摄像头所拍摄的图像中，将高分辨率图像的分辨率按低分辨率图像的分辨率进行分辨率变换，则能够进行与立体摄影机同样的处理。通过像这样同时实现立体摄影机的功能和能由构造不同的两个摄像头实现的上述功能，作为结果而能输出的信息成倍地增加。

此外，可以仅对两个摄像头中的一者设置变焦距机构、电子云台等能够电子地调整视场角的机构的任一者或其组合。通过这样做，能够利用视场角被固定了的摄像头所拍摄的整体图像检测出目标，用可调整视场角的摄像头仅拍摄该目标的区域。作为结果，能够实现如图3所示的那样将拉近（zoomup）拍摄的人物图像与整体图像合成等的方案。也可以将该机构的差异与实施方式2中所述的其它构成的差异相组合。

〔标号说明〕

10信息处理系统、12拍摄装置、14信息处理装置、16显示装置、18网络、22输入信息取得部、24拍摄条件控制部、26拍摄条件存储部、28第1摄像头、30第2摄像头、32第1图像解析部、34第2图像解析部、36信息统合部、38图像数据生成部。

〔工业可利用性〕

如上述的那样，本发明能够适用于计算机、图像处理装置、游戏机、摄影装置等信息处理装置。

Claims (8)

1.一种信息处理系统，拍摄被摄物体，依次取得其图像数据并生成输出图像数据，其特征在于，包括：

由具有相同构造的第1摄像头及第2摄像头构成的一对摄像头，分别以为取得关于同一被摄物体的个别的信息而设定的不同的拍摄条件拍摄对象物，以及

信息统合部，统合上述一对摄像头各自拍摄而得到的两系统的图像数据中所包含的上述个别的信息，生成一系统的输出图像数据，

上述第2摄像头以比上述第1摄像头拍摄时的帧率小的帧率进行拍摄；

该信息处理系统还包括图像解析部，通过根据上述第2摄像头拍摄的图像帧中的预定目标的变位和图像取得时的扫描速度取得上述目标的速度变化，来识别上述目标的运动；

上述信息统合部生成对上述第1摄像头拍摄得到的包含上述目标的图像施加了与上述目标的运动模式对应地设定的加工后的图像数据，作为上述输出图像数据。

2.如权利要求1所述的信息处理系统，其特征在于，

上述第2摄像头以为取得被摄物体所包含的预定目标的位置信息而设定的拍摄条件进行拍摄；

上述信息统合部生成对上述第1摄像头拍摄得到的图像赋予了与上述目标的位置信息相应的变化的图像数据，作为上述输出图像数据。

3.如权利要求1所述的信息处理系统，其特征在于，

上述第2摄像头以根据被摄物体中包含的目标所装备的标记物的形态而设定的拍摄条件进行拍摄；

上述图像解析部通过对上述第2摄像头所拍摄的图像进行标记物检测处理，来识别上述目标的运动。

4.如权利要求1至3的任一项所述的信息处理系统，其特征在于，

上述第2摄像头以比上述第1摄像头拍摄时的曝光时间短的曝光时间进行拍摄。

5.如权利要求1至3的任一项所述的信息处理系统，其特征在于，

上述第2摄像头以比上述第1摄像头拍摄时的光圈值小的光圈值进行拍摄。

6.如权利要求1所述的信息处理系统，其特征在于，

上述第2摄像头以为追踪被摄物体所包含的目标而设定的拍摄条件进行拍摄；

上述图像解析部通过对上述第2摄像头拍摄的图像进行上述目标的追踪，来识别上述目标的运动。

7.如权利要求1所述的信息处理系统，其特征在于，

基于上述第1摄像头拍摄得到的图像数据所包含的信息来决定上述第2摄像头的拍摄条件；

生成将上述第1摄像头拍摄得到的图像和上述第2摄像头拍摄得到的图像合成后的图像数据，作为上述输出图像数据。

8.如权利要求1所述的信息处理系统，其特征在于，

上述图像解析部通过解析上述第1摄像头拍摄得到的图像数据，来检测被摄物体所包含的预定目标的位置；

上述第2摄像头基于上述目标的位置信息，以比上述第1摄像头拍摄的图像小的视场角且高的分辨率，拍摄包含上述目标的区域；

上述信息统合部生成在上述第1摄像头拍摄的图像中的上述目标的区域合成上述第2摄像头拍摄的图像而得到的图像数据，作为上述输出图像数据。