CN103797790B - 移动图像捕获设备、信息处理系统、信息处理设备、以及图像数据处理方法 - Google Patents

Abstract

一种配备了立体照相机的捕获设备，其生成其中逐步缩小了左右帧图像的多个不同大小的去马赛克图像。另外，通过根据一个预定的规则遍布图像行的像素行循环产生一个所连接的流，生成一个包括所述多个去马赛克图像的虚拟合成图像（222），其中，所述各行的像素行为经历了一轮连接的像素行。主机终端向捕获设备发送一个指出合成图像中沿长度方向具有一个共享范围的多个区域的数据请求信号。捕获设备显露出所指定的区域，并且向主机终端发送一个仅包含所显露出的区域的新合成图像（240）的流。主机终端将其分割成独立的图像，这些独立的图像被扩展为主存（42）中的连续的地址。

Description

移动图像捕获设备、信息处理系统、信息处理设备、以及图像数据处理方法

技术领域

本发明涉及根据对象的移动进行信息处理的技术。

背景技术

在相关技术中，这样的游戏已为人们所熟悉：其中，通过摄像机捕获用户身体的一部分（例如，头部）的图像，从所述图像抽取一个预定的区域（例如，一个包括眼睛、嘴、手等的图像的区域），使用另一个图像取代所述区域，以将其显示在显示器上（例如，参见专利文献1）。一种接收作为操作应用的指令的摄像机所捕获的嘴或者手的移动的用户接口也为人们所熟悉。

［相关技术列表］

［专利文献］

［专利文献1］申请号为0999518的欧洲专利申请。

发明内容

［本发明所解决的问题］

在诸如以上所描述的技术中，为了抽取一个预定的区域（例如，一个包括用户的嘴、手等的区域），请求一个高分辨率图像。然而，随着摄像机的成像部件性能的提高，图像数据的量也在增加。因此，存在着增加数据采掘处理（例如，过滤、规模放大与缩小、显露等）的成本的问题，其中，所述数据采掘处理按适当的规模提供了用于传送的压缩/扩展处理、识别处理、检测处理、测量处理等所需的信息。另外，还存在着增加了从照相机输入的时间到处理的每一次输出的时间的等待时间的问题。把照相机用作用户接口引发了这样一个问题：等待时间的增加明显地降低了可用性。如所描述的，即使当提高了摄像机成像部件的性能时，也可能降低整个系统的性能。

本发明解决了以上所提到的问题，其一个目的旨在提供能够使用其数据，同时使用高性能成像部件抑制从图像捕获时间到图像显示时间的等待时间。

［解决问题的方法］

本发明的一个实施例涉及一种移动图像捕获设备。所述移动图像捕获设备包括：图像数据生成单元，被配置为根据通过捕获目标对象的图像所获得的移动图像的每帧图像生成多个图像数据段，并且配置为针对每个单一水平像素行顺序地输出作为流的图像数据；图像合成单元，被配置为针对每个单一水平像素行或者针对范围小于单一水平行的每个像素行循环地连接从图像数据生成单元所输出的所述多个图像数据段，并且配置为输出作为流的结果数据，以生成包括所述多个图像的虚拟合成图像，并且其中，在连接循环完成时所导致的像素行被定义为水平像素行；以及图像传输单元，被配置为从所连接的主机终端接收请求以传输指定虚拟合成图像中具有公共垂直范围的多个矩形区域的数据，配置为针对图像合成单元所输出的虚拟合成图像的每一个像素行显露出相应于矩形区域的范围，配置为连接所述范围，以及配置为作为流传输到主机终端。

本发明的另一个实施例涉及一种信息处理系统。所述信息处理系统包括：移动图像捕获设备，被配置为捕获目标对象的图像，并且生成移动图像数据；以及主机终端，被配置为从移动图像捕获设备获取一部分移动图像数据、配置为通过使用所述一部分移动数据执行预定的图像处理、并且配置为显示图像。所述移动图像捕获设备包括：图像数据生成单元，被配置为根据移动图像的每帧图像生成多个图像数据段，并且配置为针对每个单一水平像素行顺序地输出作为流的图像数据；图像合成单元，被配置为针对每个单一水平像素行或者针对范围小于单一水平行的每个像素行循环地连接从图像数据生成单元输出的所述多个图像数据段，并且配置为输出作为流的结果数据，以生成包括所述多个图像的虚拟合成图像，并且其中，在连接循环完成时所导致的像素行被定义为水平像素行；以及图像传输单元，被配置为从所连接的主机终端接收请求以传输指定虚拟合成图像中具有公共垂直范围的多个矩形区域的数据，配置为针对图像合成单元所输出的虚拟合成图像的每一个像素行显露出相应于矩形区域的范围，配置为连接所述范围，以及配置为作为流传输到主机终端。主机终端包括：数据请求单元，被配置为通过设置用于所述矩形区域的公共垂直范围来指定虚拟合成图像中的多个矩形区域以请求数据的传输，所述矩形区域对应于包括在移动图像捕获设备中所生成的多个图像数据段中的至少两段图像数据；以及数据部署单元，被配置为基于每一个所指定的矩形区域的水平长度把从移动图像捕获设备所传输的流分割为单个图像数据段，并且配置为把数据作为二维图像部署在存储器中。

本发明的另一个实施例涉及一种信息处理设备。所述信息处理设备包括：数据请求单元，被配置为通过指定合成图像中的多个矩形区域同时设置用于所述矩形区域的公共垂直范围来请求从移动图像捕获设备传输数据，所述移动图像捕获设备生成其中在预定举行区域布置有根据通过捕获目标对象的图像所获得的移动图像的每帧图像所生成的多个图像的合成图像，所述矩形区域对应于至少两段图像数据；以及数据部署单元，被配置为响应所述请求，基于每一个所指定的矩形区域的水平长度，把按流格式从移动图像捕获设备传输来的图像数据分离成一段或多段单个图像数据，并且配置为把数据作为二维图像部署在存储器中，其中，针对每一个像素行循环地连接所指定的多个矩形区域的像素值；以及，数据处理单元，被配置为使用二维图像执行预定的图像处理，并且配置为显示图像。

本发明的另一个实施例涉及一种图像数据处理方法。由一个移动图像捕获设备所执行的这一图像数据处理方法包括：根据通过捕获目标对象的图像所获得的移动图像的每帧图像生成多个图像数据段，并且针对每个单一水平像素行，顺序地输出作为流的图像数据；针对每个单一水平像素行或者针对范围小于单一水平行的每个像素行循环地连接所输出的所述多个图像数据段，并且输出作为流的结果数据，以生成包括所述多个图像并且其中在连接循环完成时导致的像素行被定义为水平像素行的虚拟合成图像；以及从所连接的主机终端接收传输指定虚拟合成图像中多个具有公共垂直范围的矩形区域的数据的请求，针对虚拟合成图像的每个像素行显露出相应于矩形区域的范围，连接所述范围，以及作为新的流传输到主机终端。

也可以把以上所提到的构成部件的可选的组合以及本发明的实现按方法、装置、系统、计算机程序、以及存储计算机程序的记录媒体的形式作为本发明的其它模式加以实践。

［本发明的优点］

根据本发明，能够使用其数据，抑制从图像捕获时间到图像显示时间的等待时间。

附图说明

图1描述了可以把本实施例施用于其的信息处理系统的一个示范性配置；

图2描述了根据本实施例的主机终端和成像设备的一个配置；

图3描述了根据本实施例的成像设备的第一照相机的一个详细配置；

图4描述了根据本实施例的图像合成单元和图像传输单元的详细配置；

图5示意性地描述了根据本实施例的成像设备和主机终端中数据形式的一个基本转换；

图6为说明了来自根据本实施例的棱锥过滤单元的1/4去马赛克图像、1/16去马赛克图像、以及1/64去马赛克图像的各像素值的输入定时的一个时间图；

图7示意性地描述了根据本实施例的一个其中图像合成单元连接多个图像的像素行的数据段的状态；

图8描述了在针对从第一照相机输出的或者从第二照相机输出的每一段图像数据交替地重复参照图7时所解释的一个过程的情况下所生成的一个合成图像；

图9示意性地描述了响应来自根据本实施例的主机终端的一个请求的过程中图像数据的流程；

图10描述了根据本实施例的、在配有滚动快门的第一照相机和第二照相机按不同帧率捕获图像的情况下图像合成单元所生成的一个合成图像的转换；

图11描述了在图10中所说明的图像捕获条件下显露单元通过显露出图像所生成的新合成的图像以及存储在主机终端的主存中的图像；

图12描述了在满足图10中所示图像捕获条件的具体条件之一下、在把第二照相机的快门速度减小至1/4以致第二照相机能够捕获一个帧，而第一照相机能够捕获4个帧的情况下合成图像的转换；

图13描述了在图12中所说明的图像捕获条件下显露单元通过显露出图像所生成的新合成的图像以及存储在主机终端的主存中的图像；

图14描述了在第一照相机以比第二照相机的视角窄的视角捕获，而且帧率高于第二照相机的帧率的图像的情况下合成图像的转换；

图15描述了在图14中所说明的图像捕获条件下显露单元通过显露出图像所生成的新合成的图像以及存储在主机终端的主存中的图像；以及

图16描述了说明根据本实施例的、其中主机终端和成像设备互相协作显示图像的处理规程的一个实例的流程图。

具体实施方式

图1描述了可以把本实施例施用于其的信息处理系统的一个示范性配置。信息处理系统10包括一个在其上安装了两个照相机的捕获诸如用户1等的目标对象的成像设备12、依据所捕获的图像根据用户请求处理信息的主机终端20、以及一个输出作为主机终端20的处理结果所获得的图像数据的显示设备16。主机终端20的配置旨在能够与诸如Internet等的网络18相连接。

可以通过电缆把主机终端20连接于成像设备12、显示设备16、以及网络18，也可以经由无线局域网（LAN）等无线把主机终端20连接于成像设备12、显示设备16、以及网络18。通过按集成方式加以组合，可以装备成像设备12、主机终端20、以及网络18中的任何两个或者全部。不必把成像设备12安装在显示设备16上。用户1可以不为人类，而且并未限制其数目。

把成像设备12配置为按其间已知的距离把两个数字摄像机（即，第一照相机22a和第二照相机22b）排列在右与左侧。第一照相机22a和第二照相机22b分别包含一个诸如电荷耦合器件（CCD）、互补金属氧化物半导体（CMOS）等的成像部件。两个数字摄像机按相同的帧率或者不同的帧率分别从右与左位置捕获存在于同一空间中的目标对象。成像设备12使用作为捕获的结果所获得的图像生成多种类型的图像。

按以下将描述的流格式，把成像设备12所捕获和所生成的图像的数据传输于主机终端20。主机终端20使用所传输的图像数据进行必要的信息处理，并且生成一个输出图像。未对主机终端20所执行的处理的类型特别加以限制，而是根据用户所请求的功能或者应用适当地加以设置。

例如，在玩一个其中出现一个把作为目标对象的用户1的移动反映于其的人物的游戏的情况下，或者在执行把用户1的移动转换为命令输入的信息处理过程的情况下，主机终端20在与从成像设备12所获取的时刻相同的时刻、根据有关右与左图像的数据执行立体匹配。通过针对照相机的视场，按预定的速率识别高度、宽度以及深度三维空间中目标对象的位置的坐标，主机终端20获取位置坐标的时间变化。根据其结果，主机终端20对所捕获的图像执行一个预定的过程与/或把结果反映于一个预先准备的图像，以生成输出图像。

在视频聊天应用的情况下，经由网络18把用户1的图像实时地传输于聊天中的另一个用户。在这一情况下，主机终端20可以执行一个面部检测过程，并且可以处理图像，例如，通过仅以高分辨率描绘作为面部检测过程的结果所获得的用户1的面部区域。除了这样的图像处理之外，主机终端20还可以对诸如用于执行各种应用的菜单或者光标的对象图像进行合成。

当需要时，作为图像，显示设备16显示主机终端20所执行的处理的结果。显示设备16可以为配有用于输出图像的显示器或者用于输出声音的扬声器的电视机，因而，例如，可以为液晶电视、等离子电视、PC显示器等。

如上所述，使用成像设备12所捕获的移动图像，可以把各种类型的处理用作信息处理系统10中所执行的处理，并未对处理的类型加以限制。在执行这些过程之一的任何一种情况下，根据本实施例，成像设备12不仅捕获移动图像，而且还使用所捕获的移动图像生成多种类型的图像数据。仅高效地传输主机终端20所指定的图像数据，可以实现这样一个信息处理系统：对于从捕获图像到显示图像的过程，具有低等待时间，并且能够进行复杂的处理。也可以根据应用等适当地确定成像设备12所生成的图像的类型。然而，以下将针对生成使用其按多个分辨率表示移动图像的每一个帧的图像的数据的情况进行解释。

图2描述了主机终端20和成像设备12的配置。在以下将加以描述的图2、图3以及4中，可以通过诸如中央处理器（CPU）、随机存取存储器（RAM）、只读存储器（ROM）、绘制电路等的构成部件，按硬件实现各功能模块中所示的部件，也可以通过提供诸如数据输入功能、数据存储功能、图像分析功能、绘制功能等的程序，按软件实现各功能模块中所示的部件。因此，本领域技术人员将会明显意识到：可以仅按硬件、仅按软件、或者通过它们的组合，按各种方式实现各功能块。

主机终端20包括指令输入单元36、信息处理单元38、图像处理单元40、主存42、以及通信单元44。指令输入单元36获取从用户那里输入的指令。信息处理单元38按统一的方式控制主机终端20和成像设备12，并且根据某一目的进行信息处理。主存42存储从成像设备12提供的数据。通信单元44为一个向成像设备12请求图像数据，并且从成像设备12获取图像数据的接口。

指令输入单元36接收从用户那里输入的指令、根据所述指令生成一个请求某一过程的信号、并且把所述信号传输于信息处理单元38。通过通常使用的输入设备（例如，按钮、键盘、鼠标器、跟踪球、触摸面板等）和解释输入于输入设备并且生成一个请求某一过程的信号的处理器等之间的协作，实现指令输入单元36。

根据从指令输入单元36所获取的请求某一过程的信号，信息处理单元38向成像设备12发布一个对图像数据的请求、向图像处理单元40等发布一个对图像处理的请求。信息处理单元38把从成像设备12所传输的图像数据部署在以下将加以描述的主存42中。另外，当需要时，取决于信息处理系统10所执行的过程，信息处理单元38使用从成像设备12所传输的图像数据进行图像分析（例如，立体匹配、目标对象的跟踪、面部检测、姿态检测等）。

图像处理单元40使用部署在主存42中的图像，根据从信息处理单元38所发送的请求进行图像处理，并且生成显示图像。把所生成的显示图像存储在帧存储器（未在图中加以显示）中，并且在信息处理单元38的控制下，顺序地将其显示在显示设备16上。通信单元44从成像设备12获取一个请求图像数据的信号，即由信息处理单元38所生成的信号，并且将该信号传输于成像设备12。另外，通信单元44还响应所述信号获取从成像设备12所传输的图像数据，并且把图像数据传输于信息处理单元38。

成像设备12包括第一照相机22a和第二照相机22b、图像合成单元30、图像传输单元32、以及通信单元34。第一照相机22a和第二照相机22b捕获移动图像，并且生成多种类型的图像数据。图像合成单元30把多种类型的图像数据加以集成。图像传输单元32抽取主机终端20所请求的图像数据，并且对图像数据进行打包。通信单元34为一个从主机终端20接收请求图像数据的信号，并且传输图像数据的接口。

第一照相机22a和第二照相机22b从右与左观察点捕获同一目标对象的移动图像。然后，第一照相机22a和第二照相机22b把所捕获的帧图像的大小缩小至多个大小，以生成不同分辨率的多个图像数据段。图像合成单元30把第一照相机22a和第二照相机22b所生成的图像数据加以集成，并且生成一个以下将加以描述的虚拟合成图像。

图像传输单元32从第一照相机22a和第二照相机22b所捕获的RAM图像以及从图像合成单元30所生成的虚拟合成图像抽取图像传输单元32所请求的图像数据，并且对所抽取的图像数据进行打包。在这一过程中，在请求包括在虚拟合成图像中的图像数据的情况下，显露处理剪辑图像。

通信单元34接收从主机终端20所发送的请求图像数据的信号。然后，通信单元34向图像传输单元32通知所述信号，并且获取图像传输单元32所生成的图像数据的数据包，然后把数据包传输于主机终端20。通信单元34根据预定的通信协议，例如，根据USB1.0/2.0/3.0等，把数据包传输于主机终端20。与主机终端20的相互通信并不局限于有线通信，也可以为无线通信，例如，无线LAN通信（例如，IEEE802.11a/b/g等）或者红外通信（例如，IrDA等）。

主要针对图像的每一水平像素行执行成像设备12所执行的过程，并且把所处理的数据提供于下一个针对每一水平像素行的功能块。于是，仅一个最小行缓冲器作为提供在成像设备12的每一个功能块中的存储器足以，而且能够以低等待时间执行从图像捕获到图像传输的各个过程。

图3详细地描述了成像设备12的第一照相机22a的配置。第二照相机22b也具有类似的配置。第一照相机22a包含图像获取单元102a、去马赛克单元104a、以及棱锥过滤单元135a。图像获取单元102a按一个预定的帧率读取暴露于诸如CCD或者CMOS的成像部件的图像。在以下的解释中，假设所述图像沿水平方向具有“W”个像素的宽度，沿垂直方向具有“H”个像素的宽度。所述图像为所谓的RAM图像。每次针对RAW图像的单一水平行完成曝光时，图像获取单元102a把所述RAM图像传输于去马赛克单元104a和图像传输单元32。

去马赛克单元104a具有容量为W个像素的先进先出（FIFO）缓冲器105以及简单的去马赛克处理单元106。把RAW图像的单一水平像素行信息输入和存储在FIFO缓冲器105中，直至把针对下一个水平行的像素输入于去马赛克单元104a。当针对2个水平行接收像素时，简单的去马赛克处理单元106使用所接收的像素，针对每一个像素，根据其周围的像素，执行一个补色信息的去马赛克过程，然后创建一个全色图像。

如技术人员所知，就所述去马赛克过程而言，存在着许多方法。然而，在这一情况下，一种仅使用针对2个水平行的像素的简单的去马赛克过程足以。例如，当将针对其计算相应YCbCr值的像素仅具有G值时，通过取右与左相邻像素的各R值的平均值，分别使用本像素的G值和上或者下相邻像素的B值，获得RGB值，然后将其代入一个预定的转换方程，以计算YCbCr值。由于这样的去马赛克过程已为人们所熟悉，因此省略了对其的进一步的详细解释。去马赛克单元104a所生成的或者相继过程中的图像数据的颜色空间并不局限于YCbCr。

之所以简单去马赛克过程就足够了的其原因是因为当需要高质量图像时，可以使用RAM图像。在简单的去马赛克过程的一个变体中，可以使用形成4个RGB像素中的一个单像素的YCbCr值的方法。在这一情况下，可以获得RAM像素1/4大小的去马赛克图像。于是，以下所描述的第一过滤器110a是非必要的。

如图中所示，例如，简单的去马赛克处理单元106把为2个水平像素×2个垂直像素的4个像素的RGB转换为YCbCr颜色信号。把由这4个像素构成的一个块作为一个1/1去马赛克图像传送于图像合成单元30，而且也将其传输于棱锥过滤单元135a。

棱锥过滤单元135a具有把某一给定图像层次化为多个分辨率，并且生成层次化的图像的功能。通常，为棱锥过滤器配备其数目符合所需分辨率水平的1/4缩小过滤器。在本实施例中，棱锥过滤器包括3级过滤器：第一过滤器110a～第三过滤器130a。每一个过滤器执行互相相邻的4个像素的一个双线性插值的过程，然后计算4个像素的平均像素值。因此，所述过程之后所获得的图像大小变为所述过程之前图像的1/4大小。本领域技术人员将很容易地意识到，即使使用不同于3级过滤器的其它过滤器也可以达到同样效果。

在第一过滤器110a之前，为Y、Cb、以及Cr信号分别相应提供一个针对W个像素的单FIFO缓冲器112。在从简单的去马赛克处理单元106输出针对下一水平行的像素之前，这些FIFO缓冲器112均具有存储针对单一水平行的YCbCr像素的作用。根据成像部件的行扫描速度确定像素的存储时间。当输入了针对2个水平行的像素时，第一过滤器110a针对2个水平像素×2个垂直像素的4个像素平均Y、Cb、以及Cr像素值。通过重复这一过程，1/1去马赛克图像的长度沿垂直和水平方向均变为1/2，从而把整个图像转换为具有1/4的大小。把所转换的1/4去马赛克图像传输于图像合成单元30，并且也将其传送于相继第二过滤器120a。

在第二过滤器120a之前，为Y、Cb、以及Cr信号分别相应提供了一个针对W/2个像素的单FIFO缓冲器122。在从第一过滤器110a输出针对下一水平行的像素之前，这些FIFO缓冲器122也分别具有存储针对单一水平行的YCbCr像素的作用。当输入了针对2个水平行的像素时，第二过滤器120a针对2个水平像素×2个垂直像素的4个像素平均Y、Cb、以及Cr像素值。通过重复这一过程，1/4去马赛克图像的长度沿垂直和水平方向均变为1/2，从而把整个图像转换为具有1/16的大小。把所转换的1/16去马赛克图像传输于图像合成单元30，并且也将其传送于第三过滤器130a。

在第三过滤器130a的前方，提供了针对W/4个像素的FIFO缓冲器132。除此之外，重复与以上所描述的过程相同的过程。然后把1/64大小的去马赛克图像传输于图像合成单元30。由于诸如以上所描述的棱锥过滤器的棱锥过滤器已为人们所熟悉，如专利文献1中所描述的，所以在本说明书中省略了对其的进一步的解释。

如所描述的，把已经逐一缩小至1/4的像素的输出从棱锥过滤单元135a的各过滤器输入于图像合成单元30。由此可以明显看出，由于棱锥过滤单元135a中通带滤波器的数目变大，每一个过滤器之前所需的FIFO缓冲器的大小变小。过滤器的数目并不局限于3个，也可以依据所需分辨率范围适当地加以确定。

由于按与第一照相机22a的方式类似的方式配置第二照相机22b，所以省略了对其的说明。然而，在以下的解释中，将通过参照数字称谓第二照相机22b的图像获取单元、去马赛克单元、棱锥过滤单元、第一过滤器、第二过滤器、以及第三过滤器，即，将它们称为图像获取单元102b、去马赛克单元104b、棱锥过滤单元135b、第一过滤器110b、第二过滤器120b、以及第三过滤器130b。

图4描述了图像合成单元30和图像传输单元32的详细配置。图像合成单元30包括输出定时调整单元140、FIFO缓冲器172a、174a、176a、170b、172b、174b、以及176b。输出定时调整单元140调整从第一照相机22a或者第二照相机22b所传输的、并且输出于图像传输单元32的每一大小的图像数据的输出定时。FIFO缓冲器172a、174a、176a、170b、172b、174b、以及176b用于调整输出定时。尽管分别表示了有关Y、Cb、Cr的每一段数据，以及针对图3针对每一段数据表示了针对数据的输入/输出的箭头，但为了防止图变得复杂，以下将把这些元素表示为一个集合。

FIFO缓冲器172a、174a、176a分别存储从第一照相机22a的第一过滤器110a、第二过滤器120a、以及第三过滤器130a发送的1/4、1/16、以及1/64去马赛克图像的单一水平行中的YCbCr像素值。因此，FIFO缓冲器172a、174a、以及176a为分别存储W/2、W/4、以及W/8个像素的像素值的缓冲器。

FIFO缓冲器170b、172b、174b以及176b分别存储从第二照相机22b的第一过滤器110b、第二过滤器120b、以及第三过滤器130b发送的1/1、1/4、1/16、以及1/64去马赛克图像的单一水平行中的YCbCr像素值。因此，FIFO缓冲器170b、172b、174b、以及176b为分别存储W、W/2、W/4、以及W/8个像素的像素值的缓冲器。

在把从第一照相机22a的去马赛克单元104a所发送的针对1/1去马赛克图像的单一水平像素行值输出于图像传输单元32之后，输出定时调整单元140输出第二照相机22b的针对1/1去马赛克图像的单一水平像素行值，即已经存储在FIFO缓冲器170b中的像素值。接下来，通过根据以下将详细描述的规则输出一行针对单一水平像素行值或者一行针对小于单一水平行的一个区域的像素值，输出定时调整单元140调整输出定时，以能够生成新的像素行，其中，针对Y、Cb、以及Cr的各像素值循环地连接1/1、1/4、1/16、以及1/64去马赛克图像。

如上所述，按其中开始点位于图像的左上方，并且向下从左到右重复一个过程的屏面次序，执行根据本实施例的成像设备12所执行的过程，其中，所述过程的基本单位为像素的一个单一水平行，并且基本上按其中从顶部顺序连接针对每一单一水平像素行值的流格式执行从每一照相机向图像传输单元32的图像数据的输入/输出以及图像数据向主机终端20的传输。

从图像合成单元30输出的数据也为相继的像素值的流，包含其中分别按4个分辨率表示右与左帧图像的去马赛克图像的像素行的混合。因此，精确地讲，不把连接8个去马赛克图像的结果生成为2个二维图像。然而，如以下将加以描述的，对于从图像合成单元30所输出的流，如果把各去马赛克图像的连接向后循环至其开始点时的像素的像素行的数目定义为针对一个图像的单一水平像素行的数目，则相继的过程将类似于RAM图像的过程，而且不涉及图像合成单元30。因此，图像合成单元30实质上生成为1/4、1/16、以及1/64去马赛克图像的一个合成的图像。以下，把这一虚拟图像称为“合成图像”。

图像传输单元32包括控制单元142、数据选择单元144、以及打包单元146。根据来自主机终端20的请求信号，控制单元142指示数据选择单元144把各种类型的图像数据中的哪种图像数据作为数据包加以传输。控制单元142还从主机终端20接收请求图像捕获的开始或者结束的信号、指出图像捕获条件的信号等，并且把其信息适当地提供于第一照相机22a和第二照相机22b的图像获取单元102a、102b等。然而，将省略关于其的详细解释，因为可以把通常使用的技术施用于其。

数据选择单元144定义了以下输入数据：有关从第一照相机22a的图像获取单元102a以及第二照相机22b的图像获取单元102b输入的右与左RAM图像的像素行的数据；以及有关从图像合成单元30的输入的合成图像的像素行的数据。然后，数据选择单元144选择和抽取控制单元142所指示的数据，并且把所述数据发送于打包单元146。

数据选择单元144包括流选择单元148和显露单元150。流选择单元148从右与左RAM图像和合成图像的流中选择所请求的流。在主机终端20请求去马赛克图像之一的情况下，显露单元150从流选择单元148获取合成图像的流，并且从包括在所述流中的去马赛克图像的像素行显露所请求的行。

在请求多个去马赛克图像的情况下，显露单元150并行显露相应于所述多个图像的像素行。通过连接所显露的像素行的各段数据，显露单元150能够重新构造一个流，并且把所述流发送于打包单元146。在主机终端20请求RAM图像的情况下，流选择单元148把RAM图像流直接发送于打包单元146。

针对符合通信单元34的协议的每一大小，打包单元146对已经从数据选择单元144输入的流进行打包，并且把所打包的流写入一个内部数据包缓冲器（未在图中加以显示）。例如，在USB的情况下，打包单元146针对结束点的每一个大小对流进行打包。通信单元108根据一个预定的通信协议把数据包缓冲器中的数据包传输于主机终端20。

图5示意性地说明了成像设备12和主机终端20中数据形式的一个基本转换。在这一情况下，例如，考虑了这样一种情况：其中，把水平方向具有“W”个像素宽度以及垂直方向具有“H”个像素宽度的整个帧图像200的数据从成像设备12传输于主机终端20。如上所述，在本实施例中，按像素的屏面次序执行图像数据的生成、选择、以及传输，分别针对单一水平行顺序地连接像素行，并且按流格式加以处理。

在这样的情况下，数据选择单元144所输出的数据为一个流202。在此图中，流202的水平轴表示时间的逝去，构成流202的矩形L1、L2、…、以及LH表示帧图像202的第一行的像素、第二行的像素、…、以及第H行的像素的相应数据段。当假设单像素的数据大小为d字节时，每一个矩形的数据大小为W*d个字节。

打包单元146针对每一预定的大小对流202进行分组和打包，并且生成数据包P1、P2、P3、P4、P5、…。接下来，按P1、P2、P3、P4、P5、…的次序把数据包从成像设备12发送于主机终端20。当经由通信单元44接收到数据包P1、P2、P3、P4、P5、…时，在信息处理单元38的控制下，主机终端20把各数据包的数据存储在主存42中。

在这一过程中，按屏面次序把各数据包的数据排列在主存42中，以把原始帧图像200的水平方向的像素的数目W设置为宽度。通过在W*d*H个字节的连续的地址中部署数据，生成为帧图像200的一个重构的图像204。图中构成图像204的矩形表示各数据包的数据。图像处理单元40通过对已经部署在主存42中的图像204进行处理、通过把图像204与另一个图像加以合成等提交一个将被显示在显示设备16上的图像。

以下，将解释图像合成单元30使用其对不同分辨率的去马赛克图像进行合成的方法。尽管图6和7中表示了1/1、1/4、以及1/16的3种类型的去马赛克图像，然而同样的原理也适用于其中添加了1/64或者更小的去马赛克图像的情况。图6为说明了将从棱锥过滤单元135a的各过滤器输入的1/1去马赛克图像、1/4去马赛克图像、以及1/16去马赛克图像的图像的各像素值的输入定时的一个时间图。图中的时间步长S1、S2、S3、S4、…分别表示一个其中输入1/1去马赛克图像的第一行、第二行、第三行、第四行、…的像素值的周期。

如在以上所说明的1/1去马赛克图像的情况下，在棱锥过滤单元135a中，包括在合成图像中的图像中具有最高分辨率的图像拥有最高数据生成率。因此，把其中输入针对具有最高分辨率的图像的单一水平像素行值的周期设置为参照时间步长，把时间步长与针对合成图像的单一水平像素行行相关联。换句话说，作为参照周期，在其中输入针对具有最高分辨率的图像的单一水平像素行值的周期期间生成针对合成图像的单一水平行的数据。

图的上行、中行、以及下行分别描述了1/1去马赛克图像的输入定时、1/4去马赛克图像的输入定时、以及1/16去马赛克图像的输入定时，一个单矩形相应于针对一个单像素的输入。首先，在时间步长S1中，从左像素开始输入1/1去马赛克图像的第一行的像素行L_(1/1)1的像素值。在这一时间步长中，不生成1/4去马赛克图像和1/16去马赛克图像，因此不输入1/4去马赛克图像和1/16去马赛克图像。

接下来，在时间步长S2中，从左像素开始输入1/1去马赛克图像的第二行的像素行L_(1/1)2的像素值。此时，使用1/1去马赛克图像的第一行的像素行L_(1/1)1的像素值和第二行的像素行L_(1/1)2的像素值，在棱锥过滤单元135a中生成1/4去马赛克图像的第一行的像素行L_(1/4)1。于是，在时间步长S2中，也输入所述像素行的像素值。

例如，使用1/1去马赛克图像的第一行的像素行L_(1/1)1中的周期206中输入的2个像素的像素值以及第二行的像素行L_(1/1)2中的周期208中输入的2个像素的像素值，在1/4去马赛克图像的第一行的像素行L_(1/4)1的左端生成在周期210中输入的像素值。因此，在时间步长S2中，与像素行L_(1/1)2的相应像素的像素值的输入定时相比，把像素行L_(1/4)1的像素值的输入定时延迟了至少2个像素。

在时间步长S3中，输入1/1去马赛克图像的第三行的像素行L_(1/1)3的像素值。在这一时间步长中，不生成1/4去马赛克图像的第二行的像素值，也不生成1/16去马赛克图像的第二行的像素值。于是，也不输入它们。在时间步长S4中，即，在其中输入1/1去马赛克图像的第四行的像素行L_(1/1)4的像素值的周期中，也输入1/4去马赛克图像的第二行的像素行L_(1/1)4的像素值，如在时间步长S2的情况下。

另外，使用1/4去马赛克图像的第一行的像素行L_(1/4)1的像素值和第二行的像素行L_(1/4)2的像素值，在棱锥过滤单元135a中生成1/16去马赛克图像的第一行的像素行L_(1/16)1。于是，在时间步长S4中也输入该像素行的像素值。例如，使用1/4去马赛克图像的第一行的像素行L_(1/4)1中的周期210和212中输入的2个像素的像素值以及第二行的像素行L_(1/4)2的周期214和216中输入的2个像素的像素值生成1/16去马赛克图像的第一行的像素行L_(1/16)1中的第一周期218中输入的像素值。

因此，在时间步长S4中，与像素行L_(1/4)2的相应像素的像素值的输入定时相比，像素行L_(1/16)1的输入定时变为延迟了至少2个像素。接下来，通过按同样的方式重复各图像的像素值的输入，把1/1去马赛克图像、1/4去马赛克图像、以及1/16去马赛克图像的全部像素值输入于图像合成单元30。

如上所述，从第一照相机22a的棱锥过滤单元135a、第二照相机22b的棱锥过滤单元135b的相应过滤器按单个流的屏面次序输入各图像的像素值。图像合成单元30连接这些流，以形成一个单一的流，并且把该流输出于图像传输单元32。最简单的可行方式是，按输入时间的次序连接像素值的相应数据段，而不管原始图像如何。在这一情况下，尽管合成过程本身容易，但必须针对相继过程中的每一个图像对每一单行的数据段进行分类和抽取针，因此所述过程变得复杂。

也能够针对每一时间步长收集针对每一个图像的像素值，以形成像素行，然后串行连接这些像素行。在这一情况下，尽管时间步长S1和S3中所输入的像素值仅为1/1去马赛克图像的数据，然而，例如，在步长S4中，所输入的为3种图像的数据：1/1去马赛克图像、1/4去马赛克图像、以及1/16去马赛克图像的数据。如所描述的，所输出的数据的长度很大程度地取决于时间步长。因此，对于具有其间不输入数据的时间步长的图像，使用所述时间步长输出最最近输入的某些像素值，以使每一时间步长中所输出数据的长度几乎相等。

图7示意性地描述了一个其中图像合成单元30连接多个图像的像素行的各数据段的状态。尽管为了有助于理解该图表示了一个其中连接图6中所示的3种类型的去马赛克图像的状态，然而实际上是交替地连接来自右与左照相机的图像数据，如以下将加以描述的。在该图中，步长S0、S1、S2、S3、…为类似于图6中所示时间步长的时间步长，并且在每一个周期中输入1/1去马赛克图像的单行的像素值。

该图按针对每一图像的不同的加阴影的矩形描述了每一时间步长中针对其输出数据的像素行。如参照图6所解释的，在时间步长S1中，仅输入1/1去马赛克图像的第一行的像素行L_(1/1)1的像素值，因此图像合成单元30直接输出像素值。当把水平方向的原始RAM图像的像素值设置为W时，针对1/1去马赛克图像的单行的像素的数目也为W，如该图中所示。

在随后时间步长S2中，在图6中所示的定时、并行地输入1/1去马赛克图像的第二行的像素行L_(1/1)2的像素值与1/4去马赛克图像的第一行的像素行L_(1/4)1的像素值。在这些像素值中，图像合成单元30首先把1/4去马赛克图像的第一行的像素行L_(1/4)1的像素值临时存储在FIFO缓冲器172a中，并且顺序地输出1/1去马赛克图像的第二行的像素行L_(1/1)2的像素值。

当完成了1/1去马赛克图像的第二行的像素行L_(1/1)2的所有像素值的输出时，图像合成单元30接着从FIFO缓冲器172a读取1/4去马赛克图像的第一行的像素行L_(1/4)1，并且输出像素行L_(1/4)1。此时，考虑到将在相继的时间步长S3中输出的像素值的量，图像合成单元30仅输出1/4去马赛克图像的第一行的像素行L_(1/4)1的所有像素的前一半（图像平面中的左半部）的像素值，并且继续在FIFO缓冲器172a中存储其余部分。

在随后时间步长S3中，仅输入1/1去马赛克图像的第三行的像素行L_(1/1)3的像素值。图像合成单元30直接输出像素行的像素值。接下来，图像合成单元30从FIFO缓冲器172a读取1/4去马赛克图像的第一行的像素行L(1/4)1的尚未输出的后一半（图像平面中的右半部）的像素值，并且输出像素值。

在接下来的时间步长S4中，在图6中所示的定时、并行地输入1/1去马赛克图像的第四行的像素行L_(1/1)4的像素值与1/4去马赛克图像的第二行的像素行L_(1/4)2的像素值。在这些像素值中，图像合成单元30首先把1/4去马赛克图像的第二行的像素行L_(1/4)2的像素值和1/16去马赛克图像的第一行的像素行L_(1/16)1的像素值分别临时存储在FIFO缓冲器172a和174a中，并且顺序地输出1/1去马赛克图像的第四行的像素行L_(1/1)4的像素值。

当完成了1/1去马赛克图像的第四行的像素行L_(1/1)4的所有像素值的输出时，图像合成单元30接着从FIFO缓冲器172a读取1/4去马赛克图像的第二行的像素行L_(1/4)2的前一半，并且输出像素行L_(1/4)2的前一半。然后，图像合成单元30输出1/16去马赛克图像的第一行的像素行L_(1/16)1。此时，考虑到将在接下来的时间步长S5、S6、以及S7中输出的像素值的量，图像合成单元30把1/16去马赛克图像的第一行的像素行L_(1/16)1划分为4份，并且仅输出第一份的像素值。图像合成单元30把其余部分存储在174a中。

在相继的时间步长S5中，仅输入1/1去马赛克图像的第五行的像素行L_(1/1)5的像素值。图像合成单元30直接输出像素行的像素值。接下来，图像合成单元30从FIFO缓冲器172a读取1/4去马赛克图像的第二行的像素行L_(1/4)2的尚未输出的后一半的像素值，并且输出像素值。而且，图像合成单元30还输出1/16去马赛克图像的第一行的像素行L_(1/16)1的尚未输出并且已经被划分为4份的数据的第二份的像素值。

相类似，在接下来的时间步长S6中，图像合成单元30输出1/1去马赛克图像的第六行的像素行L_(1/1)6的像素值、1/4去马赛克图像的第三行的像素行L_(1/4)3的像素值、以及1/16去马赛克图像的第一行的像素行L_(1/16)1的尚未输出并且已经被划分为4份的数据的第三份的数据的像素值。在相继的时间步长S7中，图像合成单元30输出1/1去马赛克图像的第七行的像素行L_(1/1)7的像素值、1/4去马赛克图像的第三行的像素行L_(1/4)3的后一半的像素值、以及1/16去马赛克图像的第一行的像素行L_(1/16)1的已经被划分为4份的数据的最后一份的数据的像素值。

换句话说，在2个时间步长S2和S3中，分别输出1/4去马赛克图像的第一行的像素行L_(1/4)1的一半。在4个时间步长S4、S5、S6、以及S7中，分别输出1/16去马赛克图像的第一行的像素行L_(1/16)1的四分之一。当水平方向RAM图像的像素的数目为W时，1/4去马赛克图像的单一水平像素行的数目和1/16去马赛克图像的单一水平像素行的数目分别为W/2和W/4。于是，如该图中所示，每时间步长均分别输出针对(W/2)/2个像素的数据和针对(W/4)/4个像素的数据。

重复上述输出过程，直至各像素的相应的底行。在这一情况下，在输出针对1/1去马赛克图像的底像素行的数据时，尚未输出针对1/4去马赛克图像的底像素行的后一半的数据和针对1/16去马赛克图像的底行像素的其余四分之三的数据。于是，在紧接着的时间步长S(H+1)中，图像合成单元30输出针对1/4去马赛克图像的底像素行的后一半的数据和针对1/16去马赛克图像的已经被划分为4份的底像素行的第二份的数据。

此时，图像合成单元30首先输出无效数据，即，作为针对至此已经针对其输出了1/1去马赛克图像的数据的W个像素的数据，然后输出1/4去马赛克图像的数据和1/16去马赛克图像的数据。在接下来的2个时间步长S(H+2)和S(H+3)中，图像合成单元30首先输出无效数据，即，作为针对至此已经针对其输出了1/4去马赛克图像的数据的W+(W/2)/2个像素的数据，然后输出1/16去马赛克图像的已经被划分为4份的底像素行的第三和第四份的相应数据段。

如图所示，如上所述，当执行输出时，在除前3个时间步长和后3个时间步长之外的所有的时间步长输出用于[W+(W/2)/2+(W/4)/4=21W/16]个像素的数据。为了输出针对单行的像素值，需要1个针对1/1去马赛克图像的时间步长、2个针对1/4去马赛克图像的时间步长、以及4个针对1/16去马赛克图像的时间步长。于是，输出针对单帧的图像数据所需时间步长的数目与针对所有帧所需时间步长的数目相等，即，H=(H/2)*2=(H/4)*4。因此，输出代表单帧的3种图像的数据所需时间步长的数目为H+3。

如上所述，图像合成单元30所输出的数据为一行像素值。通过预先把相应于每一时间步长的像素的数目（即，21W/16）提供为单一水平像素行的数目，图像传输单元32把每一个时间步长中所输出的数据作为针对单行图像的数据加以处理，如在RAM图像的情况下。

因此，通过沿垂直方向把每一个时间步长映像于图像的像素，输出过程变为等同于图7中一个完整矩形区域所表示的合成图像220的生成过程。通过固定每一个时间步长中所输出的像素行中针对每一个图像的数据所占据的范围，如上所述，1/1去马赛克图像的数据、1/4去马赛克图像的数据、以及1/16去马赛克图像的数据在合成图像220中分别形成一个矩形块区域。因此，能够使用局部化，容易地执行逐图像对数据的分段。

图8描述了在针对有关从第一照相机22a以及第二照相机22b输出的每一图像的数据交替地重复参照图7时所解释的过程时所生成的一个合成图像。合成图像222包含第一照相机22a的1/1去马赛克图像224、第二照相机22b的1/1去马赛克图像226、第一照相机22a的1/4去马赛克图像228、第二照相机22b的1/4去马赛克图像230、第一照相机22a的1/16去马赛克图像232、第二照相机22b的1/16去马赛克图像234、第一照相机22a的1/64去马赛克图像236、以及第二照相机22b的1/64去马赛克图像238。

分别在该图中的1/1去马赛克图像224和226中表示从右和从左所捕获的用户1的面部。其它去马赛克图像（即，1/4去马赛克图像228和230、1/16去马赛克图像232和234、以及1/64去马赛克图像236和238）为通过以下操作所生成的图像：将它们的1/1去马赛克图像分别缩小至1/4、1/16、以及1/64；把单一水平行中的像素行分别划分为2、4、以及8段；并且沿垂直方向排列所划分的像素行。

因此，针对1/1去马赛克图像224和226的单一水平像素行的区域相应于合成图像222中针对1/4去马赛克图像228和230中的2个水平行的像素的区域、针对1/16去马赛克图像232和230中的4个水平行的像素的区域、针对1/64去马赛克图像236和238中的8个水平行的像素的区域，如各图像顶部的加阴影的区域所示。在该图中，为了有助于解释，说明了宽于实际图像的单像素行宽度的单像素行的宽度。因此，能够通过一个宽区域说明针对无效数据的区域。然而，根据使用图7所解释的原理，实际上，就其最大值而言，针对无效数据的区域相应于7行像素，并且相应于合成图像222的整个区域的1%或者不足1%。

图像传输单元32的显露单元150从合成图像222中仅显露主机终端20所请求的图像数据。显露单元150所执行的过程类似于剪辑图像中所指定的一个矩形区域，并且消除不需要的区域的通常所使用的显露处理。根据本实施例，不针对每一个图像平面，而针对像素的每一水平行执行显露处理。然而，如果预先给定针对合成图像的单一水平像素行的数目的信息，则很容易把图像平面的二维坐标映像于流的一维坐标。因此，能够按类似的方式标识加以剪辑的像素。

在本实施例中，把有关1/1去马赛克图像、1/4去马赛克图像、1/16去马赛克图像、以及1/64去马赛克图像的右与左图像数据收集于诸如图8中所示合成图像的合成图像上的矩形区域中。于是，所述显露处理能够容易地对图像进行分段。

图9示意性地描述了响应来自主机终端20的一个请求的过程中图像数据的流程。首先，主机终端20向成像设备12传输一个指出合成图像中的一个区域的请求数据的信号。例如，在这一情况下，指出合成图像222中垂直方向的像素范围和水平方向的像素范围。

在图9中所示的实例中，指出了4个区域。由（最小值，最大值）=（Ys，Ye）表示4个区域的垂直（y-轴）范围，由（最小值，最大值）=（Xs1，Xe1）、（Xs2，Xe2）、（Xs3，Xe3）、以及（Xs4，Xe4）分别表示4个区域的水平（x-轴）范围。范围（Xs1，Xe1）和（Xs2，Xe2）中的图像为包括右与左照相机的1/1去马赛克图像的面部和周边的区域。（Xs3，Xe3）中的图像为照相机之一的整个1/4去马赛克图像。（Xs4，Xe4）中的图像为照相机之一的整个1/16去马赛克图像。

显露单元150把图像合成单元30已经针对单一水平行中的每一个像素行输入的合成图像显露于所指定的区域中。更具体地讲，显露单元150从位于位置Ys的像素行挖掉范围（Xs1，Xe1）、（Xs2，Xe2）、（Xs3，Xe3）、以及（Xs4，Xe4）中的像素行，并且将所挖的像素串行地传输于打包单元146。接下来，显露单元150按类似的方式从位于位置Ys+1的像素行、从位于位置Ys+2的像素行、…挖掉相同范围中的像素行，并且将所挖的像素串行地传输于打包单元146。打包单元146连接所显露的像素行，以形成一个流，并且顺序地对所述流进行打包。

因此，主机终端20所接收的图像数据为仅由所显露的区域组成的新合成图像240的一个流。主机终端20中的信息处理单元38把所述流分割为单个的图像，并且将图像部署在主存42中的连续的地址上。于是，存储在主存42中的是：包括在右与左1/1去马赛克图像中的面部的图像242和244以及周边、1/4去马赛克图像的整个图像246、以及1/16去马赛克图像的整个图像248。作为选择，信息处理单元38也可以直接把合成图像240部署在主存42中，而且当使用用于图像处理等的图像时，能够区分图像。

在这一方式下，主机终端20可以通过指出合成图像中的区域并行地请求多种类型的图像和图像中的一个具体的区域。然后，显露单元150并行地显露多个图像数据段，并且通过在针对每一个像素行所指定的范围内抽取像素值，生成一个仅由所请求的图像数据组成的新的流。

在这一模式下，主机终端20为并行指出的多个区域设置一个公共垂直范围。在图9中所示的实例中，把针对所有所指定的4个区域的垂直范围设置为（Ys，Ye）。通过按这一方式设置范围，为所有像素行设置了一个将加以抽取的相同的范围，甚至是在显露单元150单个抽取合成图像中针对每一水平像素行的像素值的情况下。

因此，即使为形成流连接所抽取的像素，所抽取的像素也不随像素行而变化。于是，在新新合成图像240中完整地保留了一个显露的矩形的图像平面。于是，能够根据主机终端20中每一个所请求的区域的水平方向的像素数目很容易把所获取的流部署为单个图像。

以下，将给出按不同方式改变成像设备12中的成像捕获条件时将本实施例施用于其的实例。图10描述了在均配有滚动快门的第一照相机22a和第二照相机22b分别按60fps和15fps帧率捕获图像的情况下图像合成单元30所生成的一个合成图像的转换。图10上方的粗线描述了针对各个具有时间消逝的照相机的扫描线的位置。每次第一照相机22a捕获图像的4个帧时，第二照相机22b捕获图像的1个帧。作为实例，仅描述了这些帧率，以及任何满足每次第一照相机22a捕获预定数目的1个以上的帧时，第二照相机22b捕获图像的1个帧的条件的帧率。

在这一情况下，在其中仅第一照相机22a捕获一个图像的第一拍摄周期（从时间t0至t1）、第二拍摄周期（从时间t1至t2）、以及第三拍摄周期（从时间t2至t3）中，仅把第一照相机22a所捕获的图像的1/1去马赛克图像250、1/4去马赛克图像252、1/16去马赛克图像254、以及1/64去马赛克图像256从图像合成单元30串行地输出，如该图中所描述的。然后，在其中第二照相机22b也捕获一个图像的第四拍摄周期（从时间t3至t4），输出两个照相机所捕获的图像的1/1去马赛克图像258和260、1/4去马赛克图像262和264、1/16去马赛克图像266和268、以及1/64去马赛克图像270和272。

即使在其间不从第二照相机22b的每一个过滤器输入图像数据的周期中，当从第二照相机22b输出数据时，图像合成单元30也按每一去马赛克图像的量把无效数据添加于所述流。接下来，如该图中所示，不针对任何周期改变针对合成图像的单一水平像素行的数目，并且在同一位置排列相同类型的图像。因此，合成图像的图像数据的类型和区域一一对应。于是，可以简化主机终端20对区域的指出。在相继周期中，也重复图像数据的这样的传输。

图11描述了在图10中所说明的图像捕获条件下显露单元150通过显露出图像所生成的新合成的图像以及存储在主机终端20的主存42中的图像。假设，在这一情况下，主机终端20指出图9中所示的区域，并且请求图像数据。垂直轴上所表示的各时刻描述了捕获各原始帧时的时刻，同时把这些时刻与图10中的时刻相关联。省略了显露处理的时间或者把数据存储在主存42中的存储过程以及存储过程之前的过程所需的时间。

从时间t0至t1（即，第一拍摄周期），由于仅把第一照相机22a所捕获的帧图像输入于显露单元150，所以针对每一行抽取包括在所述帧的1/1去马赛克图像中的面部及其周边的一个区域、所述帧的1/4去马赛克图像的整个图像284、以及所述帧的1/16去马赛克图像的整个图像286。在这一过程中，其中将把第二照相机22b所捕获的帧的1/1去马赛克图像的面部以及周边的图像插入在合成图像上的区域，也由主机终端20加以指出，而不管图像数据是否存在。因此，显露单元150抽取一个为原始合成图像中无效数据的部分282。

当以流格式接收这样的图像数据时，主机终端20把图像数据部署在主存42中。在这一过程中，如果遗弃为无效数据的部分，则可以在时间t1完成主存42中图像的存储，其中，所存储的图像为：包括在第一照相机22a所捕获的帧的1/1去马赛克图像中的面部及其周边的一个区域288、所述帧的1/4去马赛克图像的整个图像290、以及所述帧的1/16去马赛克图像的整个图像292。把同样的过程施用于第二拍摄周期（从时间t1至时间t2）以及第三拍摄周期（从时间t2至时间t3）。

从时间t3至t4（即，在第四拍摄周期中）顺序地抽取如下数据：包括两个照相机所捕获的帧的1/1去马赛克图像中的面部及其周边的一个区域的图像294和296、第一照相机22a所捕获的一个帧的1/4去马赛克图像的整个图像298、以及第一照相机22a所捕获的所述帧的1/16去马赛克图像的整个图像300，并且在时间t4完成主存42中图像的部署。

例如，可以把本发明的这一方面用于这样的情况：在显示设备16上显示其中通过使用1/1去马赛克图像，同时通过在主机终端20中每4个帧执行一次立体匹配检查目标对象（即，用户等）的位置增加包括面部的区域的分辨率的1/4去马赛克图像或者1/16去马赛克图像的整个图像。把立体匹配的结果反馈至：从成像设备12请求图像数据时指出一个区域的过程、成像设备12的变焦机制或者摇摄/俯仰控制机制等。于是，可以通过最小图像数据传输，稳定地显示一个其中仅详细显示目标对象及其周边的整个图像，甚至是当目标对象移动时。

作为选择，也可以为两个照相机设置不同的曝光时间，两个照相机可用于不同的目的，从而能够把具有长曝光时间和足够亮度的图像用于显示，并且把具有低亮度和高帧率的图像用于图像分析。

图12描述了取代图10中所示图像捕获条件，在把第二照相机22b的快门速度减小至1/4以致第二照相机22b能够捕获一个帧，而第一照相机22a能够捕获4个帧的情况下合成图像的转换。在这一情况下，在从第一照相机22a输出针对1/1去马赛克图像的4个水平行的数据之前，针对其从第二照相机22b输出数据的1/1去马赛克图像的水平行不改变。按类似的方式，也针对其它分辨率的图像，在一个为从第一照相机22a输出的数据的周期的4倍的周期中从第二照相机22b输出数据。仅作为实例描述了帧率和快门速度，事实上可以采用任何帧率和快门速度，只要帧率和快门速度满足第二照相机22b的帧率和快门速度为第一照相机22a的帧率和快门速度的1/N（N为大于1的正整数）即可。

因此，如该图中所示，第二照相机22b所捕获的一个帧的1/1去马赛克图像302处于被延伸至其中时间的逝去相应于垂直方向中的像素的合成图像中的4倍垂直长度的状态（更具体地讲，为一个具有针对每4个像素行的一个相同像素值的图像）。在该图中，在第一拍摄周期（从时间t0至t1）中，输出包括用户1的头的一个部分，在第二拍摄周期（从时间t1至t2）输出包括眼睛的一个部分，在第三拍摄周期（从时间t2至t3）输出包括嘴的一个部分，在第四拍摄周期（从时间t3至t4）输出包括肩的一个部分，另外，对于每一个拍摄周期，1/4去马赛克图像、1/16去马赛克图像、以及1/64去马赛克图像变为其缩小的图像。

图13描述了在图12中所说明的图像捕获条件下显露单元150通过显露出图像所生成的新合成的图像以及存储在主机终端20的主存42中的图像。以与图11的方式相类似的方式描述了该图。在这一情况下，从时间t0至t1（即，第一拍摄周期），针对每一单行抽取包括在第一照相机22a所捕获的一个帧的1/1去马赛克图像中的面部及其周边的一个区域304、包括在第二照相机22b所捕获的一个帧的1/1去马赛克图像中的面部及其周边的一个区域306、第一照相机22a所捕获的一个帧的1/4去马赛克图像的整个图像308、以及所述帧的1/16去马赛克图像的整个图像310。

主机终端20按与图11中所示方式相类似的方式把图像数据部署在主存42中。然而，主机终端20从包括在从成像设备12所传输的流中的第二照相机22b所捕获的帧的1/1去马赛克图像部分中具有相同像素值的4行数据中丢弃3行的量的数据。因此，在时间t4，当第四拍摄周期结束时，完成了包括在第二照相机22b所捕获的一个帧的1/1去马赛克图像中的面部及其周边的一个图像312的部署。作为主存42中的图像，图11、13、以及15仅描述了部署完成时已经使用其完成部署的图像。然而，实际上，恰在t0之后开始图13中所示的第二照相机22b所捕获的帧的1/1去马赛克图像的存储过程，然后逐渐进行。主存42中的其它图像类似于图11中所示的其它图像。

图14描述了这样一种情况下合成图像的转换：把第二照相机22b的帧率设置为60fps，第一照相机22a采用高于第二照相机22b帧率的240fps帧率以比第二照相机22b的视角窄的视角捕获图像。在该图中所示的实例中，第一照相机22a捕获包括用户1的眼睛的部分4次，而第二照相机22b捕获一个帧。这些值仅示为实例，事实上，当第一照相机22a的视角的垂直长度为第一照相机22a的视角的垂直长度的1/N时，可以通过把第一照相机22a的帧率设置为第二照相机22b的帧率的N倍（N为大于1的正整数），同步化两个照相机，如该图中所示。

因此，在相应于第二照相机22b的各拍摄周期的合成图像中，第一照相机22a的一个帧的1/1去马赛克图像314为一个其中沿垂直方向串行地排列一个包括用户1的眼睛的部分的4个图像的图像，如该图中所示。第一照相机22a的1/4去马赛克图像、1/16去马赛克图像、以及1/64去马赛克图像也变为其针对每一拍摄周期缩小了的图像。

图15描述了在图14中所说明的图像捕获条件下显露单元150通过显露出图像所生成的新合成的图像以及存储在主机终端20的主存42中的图像。以与图11方式相类似的方式描述了该图。然而，在该图的情况下，显露出了一个包括第一照相机22a以高帧率所捕获的眼睛的部分的1/1去马赛克图像316、以及第二照相机所捕获的1/1去马赛克图像318和1/4去马赛克图像320。

因此，在相应于各拍摄周期的结束时刻完成了主机终端20的主存42中图像的部署。例如，可以把本发明的这一方面用于在显示设备16上显示其中通过使用1/1去马赛克图像增加包括面部的区域的分辨率的1/4去马赛克图像的整个图像，而通过使用包括眼睛的部分1/1去马赛克图像、通过跟踪具有高分辨率的眼睛或者眼睑的移动检测面部表情或者姿态的情况。

在这一过程中，可以根据所检测的面部表情或者姿态处理将加以显示的图像。经由网络把图像显示在另一个用户的显示设备上，能够实现其中根据面部表情把装饰与/或动画添加于图像的视频聊天等。尽管在图15中所示的实例中以高分辨率捕获了一个包括眼睛的部分，然而也可以捕获用户的手或者用户所持的标记物，并且可以将其设置为跟踪目标。在这一情况下，可以把手或者标记物用作信息处理的操作输入机制。

图16为描述了说明其中主机终端20和成像设备12互相协作显示图像的处理规程的一个实例的流程图。用户通过主机终端20输入的激活应用的指令启动图16的流程图。尽管为了有助于理解，在其中捕获移动图像的周期，由串行连接的矩形表示各步骤，然而也可以假设针对每个像素行和针对每一个帧并行地执行这些步骤。

首先，主机终端20指示成像设备12开始拍摄，并且通过指出针对应用程序等所设置的初始条件和所需的图像数据，请求从成像设备12的数据的传输（S10）。初始条件指的是成像设备12的两个照相机所捕获的移动图像的分辨率、帧率、快门速度、视角等。在相继的过程，可以通过成像部件改变其自身曝光的条件设置，也可以通过调整（例如，从成像部件所发送的数据的稀释），改变照相机所捕获的移动图像的分辨率与/或帧率。

如上所述，由合成图像中的一个区域指出所需的图像数据。然而，作为初始值，指出被视为包括用户图像的一个区域的1/1去马赛克图像，或者具有任何一个分辨率的整个图像。接收对初始条件的指出和对图像数据的请求的成像设备12的第一照相机22a和第二照相机22b，在初始条件下开始移动图像的捕获（S12）。

去马赛克单元104a和104b以及棱锥过滤单元135a和135b针对每一个像素行处理每一个照相机所捕获的RAM图像。图像合成单元30对针对各时间步长中所输出的相应电平的去马赛克图像进行合成（S14）。接下来，图像传输单元32从合成图像中仅显露出在步骤S10指出的图像数据，以形成一个流、对所述流打包、并且把数据包传输于主机终端20（S16和S18）。在请求了RAM图像的数据的情况下，可以跳过步骤S16的过程。

已经接收到数据的主机终端20的信息处理单元38把所传输的流作为图像部署在主存42中（S20）。信息处理单元38使用所部署的图像、根据正在执行的应用，执行一个过程（S22）。此时，当需要时，信息处理单元38从图像处理单元40请求图像处理，图像处理单元40从主存42读出图像，并且处理或者合成图像。部署在主存42中的图像数据类似于通常所使用的图像数据。因此，也可以把所部署的图像数据作纹理（texture）读出。

在步骤S22中，信息处理单元38可以执行图像分析处理，例如，立体匹配、跟踪、面部检测、姿态检测等，并且可以把其结果反映于将加以显示的图像。在这一方式下，生成将加以显示的图像，然后将其显示在显示设备16上（S24和S26）。另外，在步骤S22中，信息处理单元38还可以通过以上所描述的图像分析标识一个包括目标对象的区域，并且能够改变所请求的图像数据。在这一情况下，当处理一个新图像帧时，成像设备12中的显露单元150根据说明改变将加以显露出的区域。通过重复步骤S14～步骤S26的过程，可以把使用成像设备12所捕获的图像的移动图像显示在显示设备16上。

根据以上所描述的本实施例，在包括用于捕获用户等的移动的照相机以及用于显示使用照相机的图像的主机终端的系统中，把已经捕获的移动图像改变为照相机内具有多个分辨率的数据。然后，把所述数据改变为一个流，其中，针对图像的每一类型和分辨率按像素的屏面次序连接像素值。接下来，根据来自主机终端的请求，传输其一部分，以在主机终端的存储器中构造一个图像。如所描述的，通过在未在照相机内部署作为帧图像的数据的像素行的状态下顺序地执行各过程，能够把提供在照相机中的存储器的大小保持为最小。另外，由于为引发了这样的问题：在图像捕获之后，在向主机终端传输之前，需要等待针对单帧的所有数据准备好，所以作为一个整体的所述系统能够在低等待时间的情况下进行相应于移动的图像显示。

另外，针对单行的每一个像素值，通过连接各段数据，把多个分辨率的图像数据包括在一个单流中。按其生成“针对单行的像素值”的速率随分辨率的变化而变化。因此，在具有其中按低速率生成数据的低分辨率的图像的情况下，进行分配，以使数据均匀地包括在一个流中，甚至是在其中不生成数据的周期期间。于是，每单位时间将加以处理和传输的数据的大小变得相等。因此，对输出之前所需的时间、将加以使用的传输带宽、以及传输所需的时间的估计变得容易，并且降低了因数据大小不可预料的增加所导致的传输带宽损耗的可能性。

在相继的过程中，可以按与仅由单分辨率的图像数据构成的流相同的方式对待所描述的所生成的流。于是，实质上，生成了一个由具有多个分辨率的图像构成的合成图像。通过连接以上所描述的各数据段，将被组合的每一个图像在合成图像中形成一个矩形区域。于是，通过指出合成图像中的一个区域，能够通过称为显露的通常所使用的图像过程容易地分隔共存于单流中的多个图像的相应数据段。

通过显露处理并行地（concurrently）对包括在合成图像中的多个区域进行分段与剪辑，并且在其中共存多个图像数据类型的状态下将它们作为一个流加以传输。在这一过程中，通过设置与多个区域的垂直范围相同的范围，可以执行显露处理，同时维持合成图像中的矩形区域，甚至是在针对每一个像素行执行实际处理的情况下。因此，能够在主机终端容易地区分图像。

由于能够混合以及并行地发送多个图像数据段，所以能够以低等待时间传输各种类型的图像数据，并且能够在无需提供可以并行传输数据段的多通道传输机制的情况下将图像数据用于图像处理。根据与合成图像的原理相类似的原理，根据相应大小的图像数据的图像生成率，也在将加以传输的数据的流中均化包括在流中的各数据段的大小。因此，抑制了因增加比特率所导致的传输延迟。

以上给出的是一个基于实施例的解释。所述实施例仅为说明性的，本领域技术人员将会明显意识到，可以对构成部件和过程的进行多方面的修改，而且这样的修改也属于本发明的范围。

例如，根据本实施例，可以在一个流中混合由为不同分辨率立体图像表示的多个图像数据段，以生成一个虚拟的合成图像。在这一情况下，就可以通过适当地在合成图像中排列具有不同数据生成率的图像均化比特率而言，本实施例特别有效。同时，包括在合成图像中的图像并不局限于以上所描述的图像，而可以为任何图像，只要所述图像为在相应时刻所生成的多种类型的图像即可，并且能够对它们加以合成、显露出、并且能够按类似的方式将它们发送至主机终端。

例如，所述图像可以仅由一个分辨率的一对儿立体图像构成。作为选择，也可以在图像中混合在图像平面上表示深度方向目标对象的位置的深度图像、帧之间的差图像等。在后面一种情况下，在成像设备中提供了用于立体匹配的机制与/或用于帧之间差别处理的机制。作为选择，图像也可以不为立体图像，而为根据单帧图像生成的多种类型的图像。在任何情况下，在合成图像中指出沿垂直方向具有一个公共范围的多个区域，可以由显露处理并行地显露多种类型的图像、将它们混合为一个流、并且将其发送于主机终端。因此，在主机终端中，能够在无需提供传输路径的多个通道的情况下，通过仅指出区域，以低等待时间获取多种类型的图像。

［参照数字的描述］

10信息处理系统，12成像设备，16显示设备，20主机终端，22a第一照相机，22b第二照相机，30图像合成单元，32图像传输单元，34通信单元，36指令输入单元，38信息处理单元，40图像处理单元，42主存，44通信单元，102a图像获取单元，104a去马赛克单元，110a第一过滤器，120a第二过滤器，130a第三过滤器，135a棱锥过滤单元，140输出定时调整单元，142控制单元，144数据选择单元，146打包单元，148流选择单元，以及150显露单元。

［产业上的可利用性］

如上所述，本发明适用于信息处理设备以及诸如计算机、游戏设备、照相机、图像显示设备等的信息处理系统。

Claims (11)

1.一种移动图像捕获设备，包含：

图像数据生成单元，被配置为根据通过捕获目标对象的图像所获得的移动图像的每帧图像生成多个图像数据段，并且配置为针对每个单一水平像素行顺序地输出作为流的图像数据；

图像合成单元，被配置为针对每个单一水平像素行或者针对范围小于单一水平行的每个像素行循环地连接从图像数据生成单元所输出的所述多个图像数据段，并且配置为输出作为流的结果数据，以生成包括所述多个图像的虚拟合成图像，并且其中，在连接循环完成时所导致的像素行被定义为水平像素行；以及

图像传输单元，被配置为从所连接的主机终端接收请求以传输指定虚拟合成图像中具有公共垂直范围的多个矩形区域的数据，配置为针对图像合成单元所输出的虚拟合成图像的每一个像素行显露出相应于矩形区域的范围，配置为连接所述范围，以及配置为作为流传输到主机终端。

2.根据权利要求1所述的移动图像捕获设备，还包含两个照相机，配置为从排列在右与左侧的其间距离已知的观察点捕获目标对象的图像，

其中，图像数据生成单元通过把两个照相机所捕获的右与左帧图像的大小分别缩小至多个大小，生成不同分辨率的多个图像数据段。

3.根据权利要求2所述的移动图像捕获设备，

其中，每次在第一照相机捕获了大于1的预定数目的帧时，两个照相机中的第二照相机以相同的快门速度捕获一个帧，

其中，在其中仅有根据第一照相机所捕获的帧图像生成的图像数据从图像数据生成单元输出的周期中，图像合成单元通过连接无效数据而不是连接根据第二照相机所捕获的帧图像生成的图像数据，把无效数据添加到所述流，以及

其中，图像传输单元显露出所指定的区域，而不管无效数据是否存在。

4.根据权利要求2所述的移动图像捕获设备，

其中，两个照相机中的第二照相机以第一照相机的帧率和快门速度的1/N(N为一个大于1的正整数)的帧率和快门速度捕获图像，以及

其中，针对根据第一照相机所捕获的帧图像所生成的图像数据的各个N 个水平像素行，N次连接根据第二照相机所捕获的帧图像所生成的图像数据的单一水平像素行。

5.根据权利要求2所述的移动图像捕获设备，

其中，两个照相机中的第一照相机以第二照相机的帧率的N倍的帧率捕获其垂直长度为第二照相机的垂直长度的1/N(N为一个大于1的正整数)的视野的图像，以及

其中，图像合成单元分别把用于第一照相机所捕获的N个帧的图像数据的像素行与第二照相机所捕获的1个帧的图像数据的像素行相连接。

6.根据权利要求1～5任何之一所述的移动图像捕获设备，

其中，图像数据生成单元通过把每帧图像的垂直大小和水平大小均缩小至1/2来生成不同分辨率的多个图像数据段，以及

其中，图像合成单元通过循环连接通过把其缩小率为1/2ⁿ(n为整数)的图像的单一水平行除以2ⁿ所生成的各个像素行，连接其缩小率为1/2ⁿ的图像的单一水平像素行。

7.根据权利要求1～5任何之一所述的移动图像捕获设备，

其中，图像数据生成单元通过把单一水平行像素设置为处理单位并行地生成多个图像数据段，并且把图像数据顺序地输出到图像合成单元，以及

图像合成单元顺序地连接从图像数据生成单元输出的图像数据，并且作为流输出图像数据。

8.根据权利要求7所述的移动图像捕获设备，其中，图像合成单元连接图像数据，使得所述多个图像分别被配置为合成图像中的矩形区域。

9.一种信息处理系统，包含：移动图像捕获设备，被配置为捕获目标对象的图像，并且生成移动图像数据；以及主机终端，被配置为从移动图像捕获设备获取一部分移动图像数据、配置为通过使用所述一部分移动数据执行预定的图像处理、并且配置为显示图像，

其中，所述移动图像捕获设备包含：

图像数据生成单元，被配置为根据移动图像的每帧图像生成多个图像数据段，并且配置为针对每个单一水平像素行顺序地输出作为流的图像数据；

图像合成单元，被配置为针对每个单一水平像素行或者针对范围小于单一水平行的每个像素行循环地连接从图像数据生成单元输出的所述 多个图像数据段，并且配置为输出作为流的结果数据，以生成包括所述多个图像的虚拟合成图像，并且其中，在连接循环完成时所导致的像素行被定义为水平像素行；以及

图像传输单元，被配置为从所连接的主机终端接收请求以传输指定虚拟合成图像中具有公共垂直范围的多个矩形区域的数据，配置为针对图像合成单元所输出的虚拟合成图像的每一个像素行显露出相应于矩形区域的范围，配置为连接所述范围，以及配置为作为流传输到主机终端，以及

其中，主机终端，包含：

数据请求单元，被配置为通过设置用于所述矩形区域的公共垂直范围来指定虚拟合成图像中的多个矩形区域以请求数据的传输，所述矩形区域对应于包括在移动图像捕获设备中所生成的多个图像数据段中的至少两段图像数据；以及

数据部署单元，被配置为基于每一个所指定的矩形区域的水平长度把从移动图像捕获设备所传输的流分割为单个图像数据段，并且配置为把数据作为二维图像部署在存储器中。

10.一种信息处理设备，包含：

数据请求单元，被配置为通过指定合成图像中的多个矩形区域同时设置用于所述矩形区域的公共垂直范围来请求从移动图像捕获设备传输数据，所述移动图像捕获设备生成其中在预定矩形区域布置有根据通过捕获目标对象的图像所获得的移动图像的每帧图像所生成的多个图像的合成图像，所述矩形区域对应于至少两段图像数据；以及

数据部署单元，被配置为响应所述请求，基于每一个所指定的矩形区域的水平长度，把按流格式从移动图像捕获设备传输来的图像数据分离成一段或多段单个图像数据，并且配置为把数据作为二维图像部署在存储器中，其中，针对每一个像素行循环地连接所指定的多个矩形区域的像素值；以及，

数据处理单元，被配置为使用二维图像执行预定的图像处理，并且配置为显示图像。

11.一种由移动图像捕获设备所执行的图像数据处理方法，包含：

根据通过捕获目标对象的图像所获得的移动图像的每帧图像生成多个图像数据段，并且针对每个单一水平像素行，顺序地输出作为流的图像数据；

针对每个单一水平像素行或者针对范围小于单一水平行的每个像素行循环地连接所输出的所述多个图像数据段，并且输出作为流的结果数据，以生成包括所述多个图像并且其中在连接循环完成时导致的像素行被定义为水平像素行的虚拟合成图像；以及

从所连接的主机终端接收传输指定虚拟合成图像中多个具有公共垂直范围的矩形区域的数据的请求，针对虚拟合成图像的每个像素行显露出相应于矩形区域的范围，连接所述范围，以及作为新的流传输到主机终端。