CN104145277A - 在处理层和一个或多个更高层之间具有多通道接口的图像处理器 - Google Patents

Abstract

一种图像处理器包括：图像处理电路，实现多个处理层，包括用于接收到的图像数据的预处理层和耦合到预处理层的一个或多个较高处理层。所述图像处理器还包括多通道接口，包括在预处理层和给定较高处理层之间彼此并行布置的至少第一和第二图像数据通道。第一图像数据通道被配置为将得自于所接收到的图像数据的部分深度信息传送到给定的较高处理层，第二图像数据通道被配置成将从预处理层接收到的图像数据的完整的预处理帧传送到给定的较高处理层图像处理电路执行的多个处理层。举例来说，在给定实施例中，部分深度信息包括被确定为具有至少指定等级的可靠性的深度信息。

Description

在处理层和一个或多个更高层之间具有多通道接口的图像处理器

技术领域

本发明一般涉及图像处理，并且更具体地涉及图像的处理，如深度图和其他类型的深度图像。

背景技术

图像处理在各种不同的应用中是很重要的，这样的处理可以包括不同类型的多种图像，包括二维(2D)图像和三维(3D)图像。例如，可以使用基于由各个相机拍摄的多个二维图像的三角测量产生空间场景的3D图像，各个相机布置成使得每个相机具有场景的不同的视图。可替换地，可以直接使用深度成像器，例如结构化的光(SL)相机或飞行时间(ToE)相机来生成3D图像。这些和其他类型的多个图像可以在机器视觉应用中被处理，如姿势识别，特征提取，模式识别，面部检测，识别物体和人或物体的跟踪。

在典型的常规设置中，来自图像传感器的原始图像数据通常受到各种预处理操作。这样的预处理操作可以包括例如对比度增强，直方图均衡化，降噪，边缘高亮和坐标空间变换等等。预处理后的图像数据然后经受实施上面提到的一个或多个机器视觉应用所需的额外处理。

发明内容

在一个实施例中，图像处理器包括图像处理电路，实现多个处理层，包括用于接收到的图像数据的预处理层和耦合到预处理层的一个或多个较高处理层。图像处理器还包括多通道接口，包括在预处理层和给定较高处理层之间彼此并行布置的至少第一和第二图像数据通道。第一图像数据通道被配置为将得自于所接收到的图像数据的部分深度信息传送到给定的较高处理层，第二图像数据通道被配置成将从预处理层接收到的图像数据的完整的预处理帧传送到给定的较高处理层。

仅作为举例，在一个给定的实施例中，部分深度信息包括被确定为具有至少指定等级的可靠性的深度信息。此外，耦合到预处理层的一个或多个较高处理层可以包括耦合到第三处理层的第二处理层，第一和第二图像数据通道被布置为在预处理层和第三处理层之间彼此并行。

本发明的其它实施例包括但不限于方法，装置，系统，处理设备，集成电路，以及在其中使得计算机程序代码实体化的计算机可读存储介质。

附图说明

图1示出了一个实施例中的图像处理系统的框图，其包括预处理层，预处理层具有对一个或多个较高处理层的多通道接口。

图2和3示出了图1的图像处理器的示例性处理层的逐渐更加详细的视图。

图4示出了图像处理系统的另一个实施例，其包括以具有预处理层和第二及第三较高处理层的控制器芯片形式实现的图像处理器。

具体实施方式

本发明的实施例将结合示例性的图像处理系统加以说明，示例性的图像处理系统包括实现预处理层和一个或多个较高处理层之间的多通道接口的图像处理器或其它类型的处理设备。然而，应当理解，本发明的实施例更一般地适用于任何图像处理系统或相关联的设备或技术，其可以从预处理层和一个或多个较高处理层之间的更有效的交互中获益。

图1示出了本发明的一个实施例的图像处理系统100。图像处理系统100包括接收来自一个或多个图像源105的图像并提供处理后的图像到一个或多个图像目的地107的图像处理器102。图像处理器102也可经由网络104与多个处理设备106通信。

虽然图像源(一个或多个)105和图像目的地(一个或多个)107被示为与图1中的处理设备106分开，但是上述源和目的地的至少一个子集可以至少部分地利用一个或多个处理设备106的至少一部分实现。因此，图像可从一个或多个处理设备106通过网络104提供给图像处理器102进行处理。类似地，处理过的图像可以通过网络104由图像处理器102传递到一个或多个处理设备106。这样的处理设备可以因此被看作是图像源或图像目的地的示例。

一个给定的图像源可以包括例如三维成像器，如被配置以产生深度图像的SL相机或ToF相机，或被配置以产生灰度图像、彩色图像、红外图像或其他类型的二维图像的二维成像器。单个成像器或其它图像源可以同时提供深度图像和相应的二维图像(例如灰度图像，彩色图像或红外图像)也是可能的。例如，某些类型的现有三维相机能够产生给定场景的深度图以及同一场景的二维图像。可选的，提供给定场景的深度图的三维成像器可以被布置为接近提供基本相同场景的二维图像的独立的高清晰度视频相机或其它二维成像器。

也可以理解，给定图像源(该术语被广泛使用在本文中)可以表示集成了图像处理器102的至少一部分的成像器的图像传感器部分。例如，一个或多个图像源105中的至少一个可以包括深度传感器，深度传感器作为集成了图像处理器102的SL相机、ToF相机或其它深度成像器的一部分。许多其他布置也是可能的。例如，图像源的另一示例是存储设备或服务器，其提供图像到图像处理器102进行处理。

给定的图像目的地可包括例如计算机或移动电话的人机界面或从图像处理器102接收处理后的图像的至少一个存储设备或服务器的一个或多个显示器屏幕。

因此，尽管该图像源(一个或多个)105和图像目的地(一个或多个)107被示为与图1中的图像处理器102分离，然而图像处理器102可以至少部分地与处于同一处理设备上的一个或多个图像源和一个或多个图像目的地的至少一个子集相结合。因此例如给定的图像源和图像处理器102可以在同一处理设备上被共同实现。类似地，给定图像目的地和图像处理器102可以在同一处理设备上被共同实现。

在本实施例中，图像处理器102包括耦合到表示为110-2、110-3等的多个较高处理层的预处理层110-1。预处理层110-1和较高处理层(如层110-2和110-3)在此统称为处理层110。另外，预处理层110-1被称为层1，分别表示为第二和第三层110-2和110-3的较高处理层被分别称为层2和层3。为了将在下面结合图2和3提供进一步的描述，假设图像处理器102的较高处理层只包括处理层110-2和110-3，但应理解可以在其它实施例中在图像处理器102中提供三个以上的处理层110。此处结合处理层使用的术语“较高”应被理解为包括从预处理层接收输出从而执行这些输出的后续处理操作的任何处理层。

预处理层110-1对从一个或多个图像源105接收的图像数据进行预处理操作。在本实施例中，假定接收到的图像数据包括从深度传感器接收的原始图像数据，但可以在其他实施例中处理其它类型的接收到的图像数据。

图像处理器102还包括多通道接口，其包括在预处理层110-1和较高处理层110-2和110-3的给定一个之间彼此并行设置的至少第一和第二图像数据通道111和112。第一图像数据通道111被配置为将来自于所接收到的图像数据的可靠部分深度信息传送到给定的较高处理层，以及第二图像数据通道112被配置为将从预处理层110-1接收到的图像数据的完整的预处理帧传送到给定的较高处理层。部分深度信息可包括例如在预处理层110中确定的深度信息，其至少具有可靠性的指定水平，然而可在其它实施例中使用其他类型的部分深度信息。第一和第二图像数据通道在本文中也被分别表示为通道1和通道2或在特定附图在表示为CR1和CR2。

如结合在第二图像数据通道112上发送的给定预处理帧所使用的术语“完整”旨在被广义地解释，并且不应当被解释为限于任何特定的帧结构。例如，各种不同类型的不同预处理帧可通过该通道发送。给定的完整的预处理帧可以包括例如预处理层110-1预处理过的深度图像的深度信息的基本上全集，这与通过第一图像数据通道111发送的部分深度信息形成对比。

预处理层110-1和给定的较高处理层之间的多通道接口的图像数据通道的特定数量可以在其他实施例中改变。因此，多通道接口可以包括在其他实施例中相互平行布置的两个以上的图像数据通道。

如示于图2和3，第一和第二图像数据通道111和112被更具体地布置在预处理层110-1和第三处理层110-3之间彼此并行。然而，在其它实施例中，包括多个并行图像数据通道的多通道接口可以被布置在预处理层110-1和附加或可选择的较高处理层之间。预处理层110-1还包括接口114，其具有与经过多通道接口111和112耦合不同的较高处理层。在本实施例中，如在图2和3中所示，接口114被假定为与第二处理层110-2接口。应当注意，在这方面，图中所示为双向的一个或多个接口信号线也可以可选的是单向的，反之亦然。

处理层110可以包括图像处理器102的图像处理电路的不同部分，然而给出的该处理层可以被实现为硬件、固件和软件的组合。因此，本文使用的术语“层”意图被广义地解释，并且可以包括例如专用硬件、处理核心、固件引擎和相关联的固件，或通用处理资源和相关联的在那些资源上执行的软件，以及各种这些和其它类型的图像处理电路的组合。

如本领域的技术人员所理解的，原本是常规的图像处理集成电路或其它类型的图像处理电路可以适当地修改以实现图像处理器102的一个或多个处理层110的至少一部分。可以在本发明的一个或多个实施例中使用的图像处理电路的一个可能的例子是其它常规图形处理器适当地重新配置，以执行与一个或多个处理层110相关联的功能。图形处理器包括图像处理系统的控制器集成电路的这种类型的图像处理电路结构的更详细的范例将结合图4来更详细地说明。

处理设备106可包括例如计算机、移动电话、服务器或存储设备的任何组合。一个或多个这样的设备还可以包括例如显示屏幕或其他用户接口，其被用来呈现由图像处理器102产生的图像。处理设备106可因此包括各种不同的目的地设备，其被配置为从图像处理器102通过网络104接收输出信息的处理后的图像流或其他类型的输出信息，包括例如从图像处理器102接收这样的输出信息的至少一个服务器或存储设备。

虽然被示出与本实施例的处理设备106分离，图像处理器102可以至少部分地与一个或多个处理设备106结合。因此，例如，图像处理器102可以至少部分地使用给定的其中一个处理设备106来实现。例如，计算机或移动电话可以被配置为包括图像处理器102和可能的给定的图像源。图像源(一个或多个)105可因此包括相机或与计算机、移动电话或其它处理设备相关联的其他成像器。如前面所指出的，图像处理器102可以至少部分地与通用处理设备上的一个或多个图像源或图像目的地相结合。

本实施例的图像处理器102被假定为使用至少一个处理设备来实现，并且包括耦合到存储器122的处理器120。

处理器120执行存储在存储器122中的软件代码，以控制图像处理操作的执行。图像处理器102还包括网络接口124，其支持通过网络104的通信。

处理器120可以包括例如微处理器、专用集成电路(ASIC)，现场可编程门阵列(FPGA)，中央处理单元(CPU)，算术逻辑单元(ALU)，数字信号处理器(DSP)，或者其他类似的处理设备组件，以及其它类型和结构的图像处理电路的任意组合。

存储器122存储用于由图像处理器102在图像处理器102的功能性部分中执行的软件代码，例如部分预处理层110-1和较高处理层110-2和110-3。存储软件代码由对应的处理器执行的给定的这样的存储器的例子是更一般地在本文中称为计算机可读介质或使得计算机程序实体化的其它类型的计算机程序产品，并且可以包括例如电子存储器，例如随机存取存储器(RAM)或只读存储器(ROM)，磁存储器，光存储器，或其它类型的存储设备的任意组合。如上面所指出的，该处理器可以包括微处理器，ASIC，FPGA，CPU，ALU，DSP或其他图像处理电路的部分或组合。

很清楚的，本发明实施例的上述描述可以以集成电路的形式来实现，在给定的这种集成电路的实现在，通常在半导体晶片的表面上以重复图案形成相同的管芯。每个管芯包括如本文的图像处理器或其他的图像处理电路，并且可以包括其它结构或电路。单个管芯被从晶片切割或划片，然后封装为集成电路。本领域技术人员将知道如何划片晶圆和封装管芯以生产集成电路。如此制造的集成电路被认为是本发明的实施例。

图1所示的图像处理系统100的特定配置仅仅是示例性的，并且在其他实施例中，除了那些具体示出的元件之外或代替那些具体示出的元件，系统100可以包括其它元件，包括此类系统的常规实现方式在通常可以找到的类型的一个或多个元件。

例如，在一些实施例中，图像处理系统100被实现为处理图像数据流以便识别用户姿势的视频游戏系统或其它类型的基于姿势的系统。所公开的技术可以类似地适用于在要求基于姿势的人机界面的各种其它系统中使用，并且还可以应用到与姿势识别不同的应用，如机器人和其他工业应用中的机器视觉系统。

现在将更加详细地结合图2和图3描述图像处理器102的操作。

首先参照图2，图像处理器102的一部分200包括预处理层110-1和第二和第三较高处理层110-2和110-3，也分别称为层1，层2和层3。预处理层110-1通过第一和第二图像数据通道111和112被耦合到第三处理层110-3，第一和第二图像数据通道111和112被布置为彼此并行，并分别承载可靠的部分深度信息和预处理后的图像帧。

预处理层110-1也经由双向接口114被耦合到第二处理层110-2。此外，如所示的，第二处理层110-2与第三处理层110-3交互。

本实施例中的预处理层110-1包括数据提取模块202，其被配置为将可靠部分深度信息与接收到的原始图像数据的其他深度信息分开，以及原始数据预处理模块204，被配置为产生完整的预处理帧。这些模块具有耦合到接收的原始图像数据的源(在本实施例中，假设包括深度成像器的传感器)的相应输入，并具有通过相应的第一和第二数据通道的111和112耦合到第三处理层110-3的相应输出。

来自传感器的原始图像数据可以包括包含相应的深度图像的帧流，每个这样的深度图像包括多个深度图像像素。例如，给定的深度图像D可以以真实值矩阵的形式被提供给预处理层110-1。每个这样的真实值可以更具体地为深度图像的特定像素提供深度值d_ij，其中i和j表示像素的索引，并且该深度值表示到被成像物体的距离。给定的这种深度图像在本文也被称为深度图。

具有索引i，j的给定像素与深度值d_ij可以被转化为(x，y，z)的三维空间坐标。此外，如果深度对于给定像素是未知的，则预定值u(例如，零)可以用作该像素的深度值。可在其它实施例中使用各种其它类型的图像数据。

在一些实施例中，产生像素的深度值的传感器也可以为这些像素提供对应的可靠性值。例如，该类型的传感器提供的每个像素(i，j)可以包括一对(d_ij，r_ij)，其中0≤r_ij≤1是深度图像像素可靠性指示符或其它类型的可靠性值。可替换地，可靠性值可估计或以其他方式基于该特定类型的传感器的已知特征在预处理层110-1中确定。可靠性值可以是独立的可靠性矩阵的一部分，这将在下面结合图3来说明。许多其它技术可以用于提供与特定像素或深度图像的其他部分相关联的可靠性的指示。这样的确定可以至少部分在预处理层110-1或在其他系统部件中进行。

在本实施例中，第二处理层110-2实现多个低级别图像处理原语，将在下面结合图3更详细地说明特定的例子。还应当指出，这种低级别图像处理原语可以包括从与第二处理层相关联的原语库中选择的一个或多个硬件加速的识别原语，如在图4的实施例中示出的。

在本实施例中，第三处理层110-3实现高级别特定于应用的图像处理，其被假定为包含至少姿势识别(GR)，但可以另外地或可替代地包括其它类型的高级别特定于应用的图像处理，如活动识别，情感识别和视线跟踪。第三处理层110-3更具体地包括第一处理模块206，适用于接收在第一图像数据通道111上承载的可靠的部分深度信息，以及第二处理模块208，适用于接收在第二图像数据通道112上承载的耦合的完整的预处理帧。第一和第二处理模块206和208更具体地包括相应的可靠的数据处理和翻修数据处理模块，其操作将结合图3更详细地描述。

数据组合和处理模块210耦合到第一和第二处理模块206和208，并且配置成组合部分深度信息与完整的预处理帧的至少部分以供后续处理。在本实施例中，后续处理可以在图像处理器102的额外的较高处理层中或在另一个处理设备中实现，其包括至少一个GR应用，该GR应用以成像场景的参数表示的形式利用第三处理层110-3的GR输出。其他类型的处理后的图像数据输出可以被提供给图像处理器102或相关的处理设备106或目的地107的一个或多个应用层。

现在参照图3，更详细地说明图像处理器102的部分200。该图还示出了耦合到第二和第三处理层110-2和110-3的预处理层110-1，其包括预处理层110-1的模块202和204和第三处理层110-3的模块206、208和210。再一次的，层110-1，110-2和110-3都更具体表示为层1，层2和层3。层1和层2的模块202，204，206和208也分别表示为处理块1.1，1.2，3.1和3.2。

处理块3.1被配置为处理经由第一图像数据通道111(在该图中表示为通道1)从预处理层110-1的处理块1.1接收的可靠数据。在本实施例中，处理块3.1包括块3.1.1和块3.1.2，在块3.1.1中基于模型检测对象，在块3.1.2中分割场景，这两者都可以使用公知的常规技术来实现。

处理块3.2被配置为处理经由第二图像数据通道112(在该图中表示为通道2)从预处理层110-1的处理块1.2接收的恢复数据。在本实施例中，处理块3.2包括块3.2.1和块3.2.2，在块3.2.1中确定对象的几何参数(例如质量中心)，并在块3.2.2中确定对象的边缘和大小。再一次的，这两者都可以利用公知的常规技术来实现。

数据组合和处理模块210在图3中更具体地被示出为包括单独的数据组合和处理模块210A和210B，分别记为处理块3.3和3.4。

除了块1.1和1.2，在该实施例中的预处理层110-1包括处理块1.3，1.4，1.5和1.6，被配置分别用于估计像素的可靠性，检测边沿，检测反射，并进行帧间配准。现在将更详细地说明本实施例中的处理层110-1的各种处理块。

1.1提取可靠的数据

该块接收包括深度图像D的原始图像数据，并利用块1.3，1.4和1.5提供的附加信息提取高度可靠的深度信息。所得到的可靠的部分深度信息在多通道接口的通道1上传送到处理层110-3。

1.1.1排除可靠性低的像素

该块从块1.3接收深度图像D和对应的可靠性矩阵，并生成其中每个像素都设有可靠深度值或未知深度值的第一修改深度图像D′＝||d″_ij||。例如，第一修改深度图像的像素可以被计算如下：

$d_{\mathrm{ij}}^{\′}=\left\{\begin{array}{cc}{d}_{\mathrm{ij}}& r_{\mathrm{ij}}\≥\mathrm{reliability}\_\mathrm{threshold}\\ u& \mathrm{otherwise}\end{array}\right.$

其中u是指示未知深度的具体的预定值，例如零值。

1.1.2排除接近物体边缘附近的像素

该块从块1.4接收第一修改深度图像D′和相应的边缘矩阵E，并产生排除接近物体的边缘附近的像素的第二修改深度图像。例如，第二修改深度图像的像素可以被计算如下：

$d_{\mathrm{ij}}^{\′\′}=\left\{\begin{array}{cc}{d}_{\mathrm{ij}}^{\′}& f(E,i,j)\≥\mathrm{closeness}\_\mathrm{threshold}\\ u& \mathrm{otherwise}\end{array}\right.$

其中再一次的，u是上述的指示未知深度的预定值，并且f(E，i，j)是一个函数，它提供了对于在围绕像素(i，j)的区域中的一个或多个对象的接近程度的值。

1.1.3排除与反射相关的像素

该块从块1.5接收第二修改深度图像D″和对应的反射矩阵M，并产生进一步排除与反射相关的像素的第三修改深度图像D″′＝||d″′_ij||。例如，第三修改深度图像的像素可以被计算如下：

$d_{\mathrm{ij}}^{\′\′\′}=\left\{\begin{array}{cc}{d}_{\mathrm{ij}}^{\′\′}& m_{\mathrm{ij}}=0\\ u& m_{\mathrm{ij}}>0\end{array}\right.$

其中再一次的，u是上述的指示未知深度的预定值，以及其中，如果像素(i，j)属于视为反射的区域，则m_ij＞0，否则具有零值。在本实施例中，第三修改深度图像表示在多通道接口的通道1上被传递到第三处理层110-3的可靠的部分深度信息。其他类型的可靠的部分深度信息可在其它实施例中被使用。例如，块1.1.1，1.1.2和1.1.3的仅一个子集(如这些块的仅特定的一个)可以用在其它实施例中。各种替代技术可被用于从给定深度图像识别可靠的深度信息。因此，本文所用术语“部分深度信息”旨在被广义地解释。

1.2原始数据的预处理

该块接收包括深度图像D的原始图像数据并且预处理深度图像，以使用由块1.3，1.4，1.5和1.6提供的附加信息提供相应的预处理的图像帧。所得到的完整的预处理图像帧在多通道接口的通道2上传送到处理层110-3。

1.2.1基于帧内信息去除深度图像中的缺陷

该块接收深度图像D，并产生缺陷已利用帧内信息(如来自块1.3的可靠性矩阵R，来自块1.4的边缘矩阵E，和来自块1.5的反射矩阵M)被去除的深度图像在深度图像D中观察到的对象通常具有表面，即在某个区域A中对于任何i，j其相邻像素具有非常类似的深度值|d_ij-d_i+1，j|＜h和|d_ij-d_i，j+1|＜h，其中h表示缺陷检测阈值。在这样的表面中存在各种类型的缺陷，可能来自噪声和传感器的其他技术或物理特性。阈值h通常被规定为比通常单独通过噪音产生的深度差异更大。块1.2.1被配置为检测导致深度差异超过规定阈值h的缺陷。

通过举例的方式，特定缺陷可以被定义为表面中的“孔”或者更具体的有限的区域，其中深度值与周围区域的深度值显著不同，其中跨越区域边界的深度值的差是突变的，并且区域的相对侧上具有类似的深度值。

现在将描述用于定位和除去深度图像表面中的至少一部分孔的示例性过程。这个过程的操作一次仅使用深度图像的像素的一行，但是可以附加地或另选地例如一次使用深度图像像素的单个列来实现，或一次使用深度图像像素的单个对角线来实现。这种布置的组合可以被用于增强缺陷去除处理的质量。

将要描述的处理利用边缘矩阵E，其在本文中更具体地包括元素列e_k＝(i_k，j_k，d_k，c_k)，其中i_k，j_k，d_k表示对应像素k的索引的位置和深度值，c_k表示对于该像素深度变化的方向。列表E的这些元素也下文中称为候选边界像素。

在该处理中的缺陷检测阈值h具体规定了到孔的底部的最小深度。用于示例性处理的其他输入参数包括：

hole_size-被认为是可除去的最大尺寸的孔；

border_dist_diff-在孔的相对侧上的最大深度差异；和

border_dist_change-每个像素的最大深度变化。

该处理包括以下步骤1至步骤3：

1.使用下面给出的规则填入候选边界像素的列表E。该处理的这一部分被假定为在边缘检测块1.4中进行。用来选择深度图像像素作为候选边界像素的特定规则可以取决于各种因素(如输入数据的质量和需要的选择性)而变化。在本实施例中，使用下面的两个候选边界像素选择规则：

如果一个像素(i，j)使得d_i，j+1-d_ij≥h，那么它是左边边界的候选边界像素。则执行：设置i_k＝i，j_k＝j，d_k＝d_ij和c_k＝0，将e_k＝(i_k，j_k，d_k，c_k)添加到列表E，递增k。

如果一个像素(i，j)使得d_i，j-1-d_ij≥h，那么它是右边边界的候选边界像素。则执行：设置i_k＝i，j_k＝j，d_k＝d_ij和c_k＝1，将e_k＝(i_k，j_k，d_k，c_k)添加到列表E，递增k。

2，从满足孔定义的约束的列表E中过滤掉左右边界对。如上面所指出的，e_k＝(i_k，j_k，d_k，c_k)是列表E的元素k。在本实施例中，如果满足以下约束条件，则假定来自E的两个后续元素对(e_k，e_k+1)形成行i中的孔的边界对：

(a)元素是左右边界：c_k＝0和c_k+1＝1；

(b)元素来自行：i_k＝i_k+1；

(c)孔具有有限的尺寸：j_k+1-j_k＜hole_size；

(d)孔的相对侧具有类似的深度|d_k+1-d_k|＜border_dist_diff；和

(e)孔的相对侧的深度之间的差满足：

如果对于对(e_k，e_k+1)满足了(a)到(e)的所有约束条件，则执行该处理的下一个步骤。

3.通过填充在步骤2中选择的两个边界像素之间的间隙来修复孔。这可能涉及例如任何数量的不同类型插值。作为一个更具体的例子，可以使用下面的线性插值：

$a=\frac{d_{k+1}-d_k}{j_{k+1}-j_k}$

b＝d_k-a·j_k

${\tilde{d}}_{\mathrm{ij}}=a\·j+b$

其中j采用来自j_k和j_k+1的值，而行索引i是固定的。

如前面所指出的，上述的示例性处理一次去除一行的缺陷。它能够以直接的方式进行修改，以一次去除一列的缺陷或一次去除一个对角线的缺陷，或使用行，列和基于直线的实现方式组合。这样的安排可以去除大量各种不同类型的深度图像的缺陷。

作为利用行和列的组合的方法的一个例子，使用V表示对深度图像D的各行应用处理的结果，使用W表示对深度图像D的各列应用处理的结果，并且v_ij，w_ij表示对应矩阵的各元素。

包括元素的组合结果可以以不同的方式由V和W确定，例如其中的最小距离选择方法或者其中的平均方法。最小距离选择方法已被发现在某些典型的应用中实现了比平均方法更好的结果。

在其它实施例中，可修改以上描述的示例性处理从而以其它方式分类缺陷，例如通过深度变化方向和边界类型。例如，通过改变深度方向的分类可以使用孔和峰值，而边界类型的分类可以使用有界的孔和无界的孔。按深度方向变化的分类可通过改变深度轴的方向来改变孔的峰和背面来实现。按边界类型的分类允许识别被归类为边界像素的像素完全包围的间隙以及没有被归类为边界像素的像素完全包围的其它间隙。

应当指出的是，处理参数的选择应确保成像对象内的自然间隙不会被无意地作为缺陷被除去。例如，这样的自然间隙常常在手的手指之间观察到。为了避免无意去除在深度图像中的这些和其它自然间隙，可以至少部分根据来自较高处理层的反馈来调整处理参数。

作为这样的反馈的一个示例，第三处理层110-3可以被配置为为预处理块110-1识别包含特定类型的检测对象(例如手)的一个或多个深度图像区域，该对象已知包括自然间隙。给定的这种区域可以用边界矩形或其他形状进行识别，然后可以从缺陷去除处理中排除，或者可以使用与图像的其他区域不同的一组参数进行处理。

基于帧内上述信息用于缺陷去除的示例性处理是简单的，并且可以对多个行、列或深度图像的像素的其它直线并行执行。然而，在其它实施例中，替代技术可被用于根据帧内信息去除缺陷。

1.2.2基于帧间信息去除深度图中缺陷

该块接收该缺陷已根据帧内信息被去除的多个已处理的深度图像并产生基于帧间信息去除附加缺陷的修改的深度图像例如，可以利用第一和第二处理过的深度图像和其中是对应于当前帧的已处理的深度图像，并且是对应于先前帧(如紧邻的前一帧)的已处理的深度图像。

在该块中接收的额外输入主要包括来自1.6块的帧间配准信息F，并可能进一步包括来自块1.4的边缘矩阵E和来自块1.5的反射矩阵M。

用于基于帧间信息去除缺陷的示例性处理包括以下步骤1至步骤6：

1.执行深度图像和匹配分割，以便识别对应分段的对。这可以另外或可替代地涉及从帧间配准信息F获取分段列表。

对于每一对在步骤1中确定的对应分段，重复步骤2-6：

2.对所述对的段中的深度数据应用等距变换。

3.执行该对的段中变换的深度数据的渲染，以匹配该对的段的坐标格。

4.对于具有未知深度值u的段中的每个像素，如果从渲染的段包含该像素的实际深度值，则使用实际深度值代替未知深度值u。

5.使用插值技术填充所产生的段中任何小的残留间隙。

6.在段的重构和非重构像素之间应用平滑变换。

上述处理步骤，类似于在此所描述的其它处理，只是示范性的，并且可以在其他实施例中使用附加或替换的步骤。例如，步骤5和6可以在上述处理的一个可能的替代实施方案中被略去。

1.2.3平滑和去噪

该块接收深度图像并产生作为其输出的平滑和去噪的深度图像多种不同技术可在该块中被使用。例如，该块可以实现俄罗斯专利申请代理人卷号L12-1843RU1，题为“Image Processor withEdge-Preserving Noise Suppression Functionality”中所公开的一种或多种平滑或去噪技术，其通过引用并入本文。

1.3评估每个像素的可靠性

该块产生上述的可靠性矩阵R。如前所述，某些类型的传感器在其输出处提供可靠性值，并且对于其他类型的传感器，可以估计或者在该块中另行确定可靠性值。块1.3中的可靠性值的这种确定一般涉及使用特定类型传感器的已知的物理特性或其它特性。例如，SL传感器通常具有取决于深度的二次误差增长，而ToF传感器具有取决于深度的线性误差增长。可以附加地或替代地使用基于统计的可靠性估计。例如，给定像素的可靠性值可以基于该像素的深度值和对于指定周边区域的多个像素计算的平均深度值之间的差来估计。

1.4边缘检测

该块以边缘矩阵E的形式提供关于深度图像D的边缘的信息。例如，在一些实施例中，F的元素e_ij指示像素(i，j)是否属于边缘，并可能还提供表征该边缘像素的额外信息。作为更具体的例子，边缘矩阵E可以具有属于边缘的像素列表的形式，具有元素e_k＝(i_k，j_k，d_k，g_k，h_k)，其中i_k，j_k，d_k表示索引位置和列表中像素k的深度值，g_k，h_k代表相应的梯度向量。边缘矩阵E如果是稀疏矩阵则通常是更有用的。

多种边缘检测技术中的任何技术都可被应用以生成边缘矩阵E。以上结合块1.2.1的示例性缺陷去除处理的第1步的情况描述了一种这样的技术。

可以在本发明的实施例应用的边缘检测技术的其它实例公开于例如J.Canny的“A computational approach to edge detection”，IEEE Transactions on Pattern Analysis and Machine Intelligence，卷PAMI-8，第6期，页679-698，1986年11月；R.Kimmel和A.M.Bruckstein的“On regularized Laplacian zero crossings and otheroptimal edge integrators”，International Journal of Computer Vision，53(3)：225-243，2003；和W.K.Pratt，Digital Image Processing，第三版，John Wiley&Sons，2001，其以引用的方式并入本文。在块1.4中应用给定的边缘检测操作时，任何相关联的边缘检测阈值应该被设置得足够低，以确保保留的重要边缘，这是因为将要描述的后续处理将确保拒绝不可靠的边缘。此外，不同类型的边缘检测操作有可能使用不同的边缘检测阈值和其它参数，这些操作可以用于块1.4中的不同类型的输入的原始图像数据。

应当指出的是，术语“边缘矩阵”在本文中旨在被广义地解释，并且在块1.4情况中可以包括例如边缘图，边缘图像或表征检测到的边缘的另一组像素信息。术语“边缘”也意在被广义地解释，以便包括例如在给定图像中的这样的像素集合，该像素集合与成象物体的周围的一部分和图像的其他部分之间的过渡相关联。

在给定边缘矩阵E中，边缘像素可以用特定的二进制像素值表示。因此，作为边缘的一部分的像素在边缘矩阵中具有二进制值“1”，而不是边缘的一部分的另一个像素在边缘矩阵中具有二进制值“0”。术语“白色”和“黑色”也可以在本文中用来表示边缘矩阵的相应的边缘与非边缘像素。如上面所指出的，这样的边缘矩阵也可在本文中称为边缘图或边缘图像。

在块1.4中应用边缘检测技术可涉及诸如拒绝小尺寸的边缘以及各种类型边缘分段的技术。例如，边缘分段可以用于识别多个不同的边缘段，其中给定边缘段的每个像素对应于边缘矩阵的特定像素，并且所有边缘都被假定为1个像素厚。每个这样的边缘段具有起始像素和结束像素，并且可以包括填充或未填充的角落位置，或它们的组合。可以在块1.4中产生许多其他类型的边缘段。例如，在其它实施例中的边缘段的厚度可以大于一个像素。

1.5检测反射

如上所述，反射被表现为深度值的意外变化。例如，在深度图像D的给定区域中的深度值由于有光泽的物体的反射而可能虚假地下降。该块接收输入深度图像D并产生前述的提供关于反射的信息的反射矩阵M。例如反射矩阵M可以被配置为如果像素(i，j)属于被视为反射的区域则使得元素否则为0，其中是用于像素(i，j)的真实深度值的估计。

在块1.5中检测反射的示例性处理类似于用于块1.2.1中去除缺陷的处理。更具体地，该处理的步骤3中计算出的插值的深度值可被用来填充矩阵M中的反射区域中的像素。这两个不同情况之间的差别在于，在块1.2.1中检测的缺陷是孔，或深度虚假增加的区域，而反射是峰，或深度虚假减小的区域。然而，正如先前指出的，通过改变深度轴d的方向：峰可以很容易地变换成孔，反之亦然。作为一个更具体的例子，通过对块1.2.1的输入提供c-d_ij的深度值，可以将在块1.5中确定的峰变换为在块1.2.1中使用的孔，其中c是选定的常数，使得 $c>\underset{\mathrm{ij}}{\max }{d}_{\mathrm{ij}}.$

1.6帧间配准

该块接收对应于输入图像流的两个不同帧的两个深度图像D₁和D₂并输出帧间配准信息F，其表示两个深度图像之间的对应关系。例如，在一个实施例中，帧配准数据为F＝{(A_i，d_i)，i＝1..N_F)，其中每个Ai是3×3的正交变换矩阵，提供三维空间旋转，并且每个d_i是大小为3的实矢量。这样的一对(A_i，d_i)描述了D₁的段的等距变换，使得如果F被应用到D₁的该段，那么它的像素在指定的方面变得接近于D₂的相应段的像素，如渲染的深度图像之间的欧氏距离。

对于块1.6中的帧间配准的示例性处理包括如下步骤1至5：

1.进行深度图像D₁和D₂匹配分段以识别相应的段的配对。这个步骤可以被看作将图像分为多个对象，并且如果图像被假定为只包括一个段则可被跳过。段的列表可以被包括作为帧配准信息F的一部分。

对于每一对相应的段，执行步骤2-5：

2，检测对的D₂段中的特征点

3.使用相关性分析或对于仿射变换和等距变换是不变的其它类型的特征检测，找到在对的D₁段中的特征点上的原型如果对于某些特征点在集合P1中没有找到原型，则该特征点可以从集合P₁被排除。

4.对于集合P₁和P₂求解线性方程的超定系统，以找到定义了等距变换D₁段以最好地适应对应的D₂段的最好的对{A，d}。线性方程系统的解可能涉及使用最小均方技术或其它已知的技术。

5.当应用等距变换{A，d}并且重复步骤4时，从集合P₁和P₂排除不符合指定的阈值的任何离群值。

再一次，这些步骤仅仅是示例性的，并且可以在其他实施例中使用附加或替换的步骤。例如，步骤1和5可以在上述处理的一个可能的替代实施方案中被消除。

在如图3的图像处理器102的部分200的特定处理块的上下文中上述的各种处理可以以直接的方式流水线处理。例如，通常可以在彼此并行地执行给定处理的步骤的至少一部分，从而降低处理的整体延迟，并有利于实现实时图像处理应用中所描述的技术。此外，如图3的特定处理层和块及其互连应因此被视为在一个实施例中这样的元件的一种可能的布置，而其他实施例可以包括处理层和块的附加或替代的布置。

正如在图3所示，本实施例中的处理层110-3的输出被提供给GR应用进行进一步的处理，有可能是以场景参数表示的形式。GR应用可以运行在图像处理器102上或另一处理设备106或图像目的地107上，如前所述。许多其它类型的处理层输出和更高级别的应用可以在图像处理器102的其它实施例中被使用。

因此，可以理解，特定处理模块、块和图2、3的实施例中使用的步骤只是示范性的，而其他实施例可以利用不同类型的图像处理电路和相关的图像处理操作及其不同的布置。

本发明的实施例以有利于较高处理层的后续处理操作的方式提供了用于图像处理器102中的图像预处理的特别有效的技术。例如，与依赖在两个层110-1和110-3之间的单个通道的布置的情形相比，使用预处理层110-1和第三处理层110-3之间的多通道接口允许后续处理层实现更好的结果(如更低的GR错误率)。

如前所述，本文所公开的图像处理器可以使用各种不同类型的图像处理电路来实现。图像处理系统400的另一个示例性实施方式示于图4。在该实施例中，图像处理系统400包括控制器芯片形式的图像处理器402。图像处理器402被耦合到一组图像源405，其包括深度传感器405-0和多个附加传感器405-1至405-N，其包括例如彩色CMOS图像传感器405-1和麦克风阵列405-N。

深度传感器405-0和额外的传感器405-1至405-N的至少一个子集可与图像处理器402组合成为成像器，诸如深度成像器，其产生和处理深度图像和二维彩色图像。

图像处理器402包括预处理层410-1和第二处理层410-2和第三个处理层410-3形式的两个较高处理层，也表示为相应的第一，第二和第三层。

预处理层410-1包括深度图计算模块412，其从深度传感器405-0接收原始图像数据，以及额外的传感器接口414-1至414-N，适于从相应的附加传感器405-1到405-N接收额外的输入传感器数据。

第二处理层410-2包括硬件加速的识别基元库415和多个传感器交互内核416。传感器交互内核提供与深度和视频信息，深度和音频信息以及可能的其他的组合相关的处理。

第三处理层410-3包括用于各种图像处理操作的固件417，包括姿势识别，行为识别，情感识别，视线跟踪等等。也包括在这个层中的是固件执行引擎418，用于执行与固件417相关联的操作。

图像处理器402还包括多个外部接口420，用于与图像处理系统400的其它处理设备的通信，虽然这样的其他处理设备没有明确显示在图中。

深度图计算模块412，传感器接口414，硬件加速的识别基元415，传感器交互内核416，固件417，固件执行引擎418和外部接口420被认为是更一般地在本文中称为图像处理电路的例子。

应当再次强调的是，如本文所描述的本发明的实施例仅是说明性的。例如，本发明的其它实施例可以利用多种与本文中特定实施例中所使用的不同的不同类型的图像处理电路、处理层、处理块、图像数据通道和处理操作及其不同的布置来实现。此外，在描述某些实施例的上下文中所提出的特定假设不需要适用于其它实施例。下面权利要求的保护范围内的这些以及许多其它替代实施例对于本领域技术人员将是清楚的。

Claims (20)

1.一种图像处理器，包括：

图像处理电路，实现多个处理层，包括用于接收到的图像数据的预处理层和耦合到预处理层的一个或多个较高处理层；和

多通道接口，包括在预处理层和给定较高处理层之间彼此并行布置的至少第一和第二图像数据通道；

其中第一图像数据通道被配置为将得自于所接收到的图像数据的部分深度信息传送到给定的较高处理层；和

其中第二图像数据通道被配置成将从预处理层接收到的图像数据的完整的预处理帧传送到给定的较高处理层。

2.根据权利要求1的图像处理器，其中所接收到的图像数据包括从深度传感器接收到的原始图像数据。

3.根据权利要求1的图像处理器，其中部分深度信息包括在预处理层中确定具有至少指定等级的可靠性的深度信息。

4.根据权利要求1的图像处理器，其中所述预处理层包括：

数据提取模块，被配置为从接收到的图像数据的其他深度信息分离所述部分深度信息；和

原始数据预处理模块，被配置为产生完整的预处理帧；

其中所述模块具有耦合到所接收图像数据的源的相应输入和通过相应的第一和第二数据通道耦合到给定的较高处理层的相应输出。

5.根据权利要求1的图像处理器，其中耦合到所述预处理层的一个或多个较高处理层包括耦合到第三处理层的第二处理层，其中第一和第二图像数据通道在所述预处理层和所述第三处理层之间彼此并行布置。

6.根据权利要求5的图像处理器，其中所述第二处理层实现多个低级别图像处理原语。

7.根据权利要求6的图像处理器，其中低级别图像处理原语包括一个或多个硬件加速的识别原语。

8.根据权利要求5的图像处理器，其中所述第三处理层包括：

第一处理模块，适用于接收在第一图像数据通道上传送的部分深度信息；

第二处理模块，适用于接收在第二图像数据通道上传送的耦合的完整预处理帧；和

数据组合模块，其耦合到第一和第二处理模块并且被配置为组合完整的预处理帧与部分深度信息的至少部分以供后续处理。

9.根据权利要求5的图像处理器，其中第三处理层使用至少一个固件执行引擎实现高级别特定于应用的图像处理。

10.根据权利要求9的图像处理器，其中高级别特定于应用的图像处理包括姿势识别，活动识别，情感识别和视线跟踪中的一个或多个。

11.根据权利要求1的图像处理器，其中所述图像处理电路包括至少一个图形处理器集成电路。

12.一种包括权利要求1的图像处理器的集成电路。

13.一种方法，包括：

配置图像处理器的多个处理层，包括用于接收到的图像数据的预处理层和一个或多个较高处理层；和

在多通道接口上从预处理层传送图像数据到给定的较高处理层，多通道接口包括至少第一和第二图像数据通道；

其中第一图像数据通道被配置为将得自于所接收到的图像数据的部分深度信息传送到给定的较高处理层；和

其中第二图像数据通道被配置成将从预处理层接收到的图像数据的完整的预处理帧传送到给定的较高处理层。

14.根据权利要求13的方法，其中所述配置和传送步骤在包括耦合到存储器的处理器的至少一个处理设备中实施。

15.根据权利要求13的方法，其中所述部分深度信息包括在预处理层中确定为具有至少指定等级的可靠性的深度信息。

16.根据权利要求13的方法，还包括：

从深度传感器接收图像数据作为原始图像数据；

将所述部分深度信息与接收到的图像数据的其他深度信息分离；和

从原始图像数据产生完整的预处理帧。

17.一种使得在其中实体化计算机程序代码的计算机可读存储介质，其中当在处理设备中执行所述计算机程序代码时使所述处理设备执行根据权利要求13的方法。

18.一种图像处理系统，包括：

一个或多个图像源，提供图像数据；

一个或多个图像目的地；以及

图像处理器，耦合到所述一个或多个图像源和所述一个或多个图像目的地；

其中所述图像处理器包括：

图像处理电路，实施多个处理层，包括用于接收到的图像数据的预处理层和耦合到预处理层的一个或多个较高处理层；和

多通道接口，包括在预处理层和给定较高处理层之间彼此并行布置的至少第一和第二图像数据通道；

其中第一图像数据通道被配置为将得自于所接收到的图像数据的部分深度信息传送到给定的较高处理层；和

其中第二图像数据通道被配置成将从预处理层接收到的图像数据的完整的预处理帧传送到给定的较高处理层。

19.根据权利要求18的系统，其中一个或多个图像源中的至少其中一个包括深度传感器。

20.根据权利要求19的系统，其中所述深度传感器是集成了图像处理器的深度成像器的一部分。