CN103914821B - 多角度图像对象融合方法及系统 - Google Patents

Abstract

本发明提供了一种多角度图像的对象融合方法和系统。该方法包括：同一所有组件的坐标系；采用所述多个深度摄像机检测和定位该同一时刻该被拍摄场景内的所有被检测对象，以获取被检测对象的列表；读取被拍摄场景的历史密度图；针对每个深度摄像机，根据该深度摄像机相对所获得的被检测对象的空间位置关系以及该被拍摄场景的被检测对象基于所述历史密度图的历史密度指数，计算所获得的被检测对象的置信度；以及使用针对所述列表中的所有被检测对象计算的被检测对象的置信度进行融合处理，并输出融合后的检测对象列表。

Description

多角度图像对象融合方法及系统

技术领域

本发明涉及一种图像处理，更具体而言，涉及一种对多个深度照相机所拍摄的图像进行对象融合的方法和装置。

背景技术

深度摄像机或照相机，通常也称之为双目摄像机，用于对所拍摄图像中的图像进行检测和定位。比如，Michael Harville在2003年发表的文章“Stereo Person Trackingwith Adaptive Plan-View Templates of Height and Occupancy Statistics”中阐述了如何使用双目摄像机进行人的检测和定位的方法。但是，采用单一深度摄像机对图像中的对象定位，存在视角受限而且检测率不够高的问题，如果考虑多台摄像机的结果，就可以增大覆盖区域，更重要的是，可以改善检测精度比较差的问题。但是如何使用多个深度摄像机对图像中的对象进行定位的研究还很少提及。

当存在多个深度摄像机时，如何对不同深度摄像机所产生的检测结果进行融合是一个常见问题。目前，也已经提出了一些对图像检测结果进行融合方法。美国专利US7929017提出了一种图像融合方法或系统。该系统融合普通摄像机、立体摄像机跟踪、RFID和定位系统的结果。该融合方法采用时空约束融合不同传感器的结果，将不同质的传感器信息转化到共同的坐标系统内，具体考虑了位置和距离信息。考虑到不同传感器带来的噪声，该方法在融合时需要考虑不同传感器的噪声和不确定性，且该融合方法基于时空约束，属于一种跟踪策略，比如卡尔曼滤波。

美国专利US20060279630提出了一种跟踪系统，使用一组立体摄像机组成的网络进行检测，跟踪并可视化一个拥挤的环境。在该系统中，一个监控系统以实时立体的模型监控整个区域，动态选择从各个方向采集的多视频流。当一个人在某个摄像机视野内移动时，系统检测他的运动并跟踪其轨迹，当他走出摄像机视野时移交给下一个相应的摄像机。该跟踪系统包括一个跟踪地图浏览器，能显示所有移动的对象以及最近的历史信息。该跟踪方法所融合的是单个相机中的同一个对象，但是没有表述如何判断是同一个对象的规则，且该方法的跟踪视图只用于可视化。

美国专利US5963653提出一种层次化的对象识别分类方法，使用多传感器源得到的特征属性。该专利的系统从至少两个传感器源提取特征属性，使用层次化的特征属性来进行融合，该融合方法决定对象一致性并在将检测对象分为某一类时确保有足够的可信度。该方法提取单个传感器的特征来识别目标对象但单个传感器不能识别出对象，并且该方法中的层次化信息融合是一个基于特征的分类器而本发明使用的是置信度。

而对多个深度摄像机的检测结果进行融合，所采用的融合方法需要考虑检测结果的数据源的特性。这些数据源的特性包含影响定位精度的各种因素，例如，被检测对象和摄像机的距离，被检测对象之间的相互遮挡以及根据历史统计信息给出的概率值等，考虑的各种因素越全面，通常对检测结果融合的效果越好。因此，在图像的检测结果融合方面，人们希望提出一种尽可能全面考虑影响融合效果的因素的融合方法和系统。。

发明内容

为此，本发明提供了一种能提高融合效果的融合方法和系统，该方法和系统能够提高融合后的定位精度。

根据本发明的一个方面，提供了一种一种多角度图像的对象融合方法，包括：将多个深度摄像机的位置以及被拍摄场景的位置统一到同一个坐标系中；采用所述多个深度摄像机从多个角度同时拍摄被拍摄场景的图像，分别检测和定位该同一时刻该被拍摄场景内的所有被检测对象，以获取对应深度摄像机的被检测对象的列表；读取该被拍摄场景的被检测对象的历史密度图；针对每个深度摄像机，根据该深度摄像机相对所获得的被检测对象的空间位置关系以及该被拍摄场景的被检测对象基于所述历史密度图的历史密度指数，计算所获得的被检测对象的置信度；以及使用针对所述列表中的所有被检测对象计算的被检测对象的置信度进行融合处理，并输出融合后的检测对象列表。

根据本发明的多角度图像的对象融合方法，进一步包括当读取该被拍摄场景的被检测对象的历史密度图时如果该历史密度图为空白，则使得该方法进入学习模式，并在计算置信度步骤的最初的一段时间内不基于历史密度指数，否则，使得该方法进入稳定模式。

根据本发明的多角度图像的对象融合方法，其中所述空间位置关系包括各个被检测对象列表中的每个被检测对象与对应深度摄像机之间的距离指数以及遮挡指数。

根据本发明的多角度图像的对象融合方法，其中所述距离指数通过各个被检测对象列表中的每个被检测对象的位置坐标与对应深度摄像机的位置坐标计算获得。

根据本发明的多角度图像的对象融合方法，其中所述遮挡指数通过如下步骤获得：基于所读取的历史密度图，将被检测对象与对应深度摄像机之间的路径划分为多个预定块；以及计算预定块中亮度值小于预定阈值的像素点的数量占该预定块总像素点数量的比率，当该比率小于预定比例阈值时，将该预定块确定为空白块；以及统计所述路径中空白块的数量占所划分的多个预定块的比率，并将该比率作为该被检测对象的遮挡指数输出。

根据本发明的多角度图像的对象融合方法，其中所述历史密度指数通过如下步骤获得：针对所述列表中的被检测对象，以该被检测对象的位置坐标为中心，在所读取的历史密度图中确定一个预定面积的区域；统计该预定区域内像素值大于预定像素值阈值的像素点的数量；以及计算所统计的像素点所长该预定面积的区域的比率，并将该比率作为历史密度指数输出。

根据本发明的多角度图像的对象融合方法，还包括：采用融合后的检测对象列表更新所述历史密度图。

根据本发明的多角度图像的对象融合方法，还包括：在融合后的图像进行回放之前，对所有融合后的检测对象列表进行时域平滑处理。

根据本发明的另一个方面，提供了一种多角度图像的对象融合系统，包括：多个深度摄像机，从多个角度同时拍摄被拍摄场景的图像，分别检测和定位该同一时刻该被拍摄场景内的所有被检测对象，以获取对应深度摄像机的被检测对象的列表；坐标统一单元，将多个深度摄像机的位置以及被拍摄场景的位置统一到同一个坐标系中；存储单元，存储被拍摄场景的被检测对象的历史密度图；置信度计算单元，针对每个深度摄像机，根据该深度摄像机相对所获得的被检测对象的空间位置关系以及该被拍摄场景的被检测对象基于所述历史密度图的历史密度指数，计算所获得的被检测对象的置信度；以及多摄像机结果融合单元，使用针对所述列表中的所有被检测对象计算的被检测对象的置信度进行融合处理，并输出融合后的检测对象列表。

很显然，本发明的融合策略基于置信度，尤其是基于空间位置关系和历史统计来计算置信度，因此检测和定位精度得到显著的提高。

附图说明

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。

图1所示的是采用本发明的融合方法和系统的应用实例的示意图。

图2所示的是根据本发明实施例的融合系统的系统结构示意图。

图3所示的是采用本发明的融合方法对多个深度摄像机的检测和定位结果进行融合的流程图。

图4所示的是本发明中历史密度图更新单元U16基于对象检测结果更新历史密度图的流程图。

图5A所示的是一个示例性初始历史密度图的示意图。

图5B所示的是系统运行一段时间后被反复更新过的历史密度图的示意图。

图5C所示的是表示具体对象与对应摄像机之间的距离指数的示意图。

图5D所示的是用于解释计算遮挡指数的历史密度图的示意图。

图5E所示的是使用历史密度图计算历史概率指数的示意图。

图6所示的是根据本发明置信度计算单元U17计算对象的列表中每个对象的置信度值的流程图。

图7所示的是本发明的置信度计算单元U17使用的S形函数的示意图。

图8所示的是本发明对被检测对象的列表进行融合处理的流程图。

具体实施方式

下面结合附图描述本发明实施例。

图1所示的是采用本发明的融合方法和系统的应用实例的示意图。其中，该系统包含有多个深度摄像机(双目摄像机)。本发明支持两个、三个或三个以上的双目摄像机。但是，为了方便描述，在后面的实施例的描述中以两个深度摄像机为例来描述本发明。每个双目摄像机都具备一个对象检测和跟踪模块10。该对象可以为人或其他动物。从对象检测和跟踪模块10输出的对象检测和跟踪定位结果的列表通过有线或无线方式传送到融合系统11。融合系统11对所接收到的定位结果采用本发明的融合方法进行融合处理，从而输出融合后的检测对象列表12。

图2所示的是根据本发明实施例的融合系统的系统结构示意图。根据本发明的融合系统包括：图像采集设备U10、中央处理器U11、存储器U12、显示设备U13、网络传输协议单元U15、摄像机处理单元U14和融合处理单元U20。图像采集设备U10为多台深度摄像机，也称之为双目摄像机。摄像机处理单元也称之为对象检测和跟踪单元U14，对象可以是人或其他动物。对象检测和跟踪单元U14通过网络传输协议单元U15与融合处理单元U20之间传输数据。融合处理单元U20包括：历史密度图更新单元U16、置信度计算单元U17、多摄像机结果融合单元U18和时域平滑单元U19。

作为支持多深度摄像机结果融合的前提条件，所有的深度摄像机都能将各自的坐标系统一到一个统一的坐标系内，该坐标系的x-z平面与所有深度摄像机所在的场合的地面重合。输出的对象列表都是以统一的世界标系表示。这可以通过现有技术来实现。为简化说明书的内容，在此不对这种坐标系的统一的过程进行详细描述。在Michael Harville在2003年发表的文章“Stereo Person Tracking with Adaptive Plan-View Templates ofHeight and Occupancy Statistics”中阐述和这种坐标系统一的情况。摄像机处理单元U14输出是检测出的人在统一的世界坐标系的位置。摄像机处理单元U14的输出格式定义为：

cam[i]:{(x1,y1,z1),(x2,y2,z2),...,(xn,yn,zn)}, (1)

其中i表示摄像机的编号，每个检测的对象的位置的格式为(x,y,z)，x,z是地面的坐标，而y值是对象的高度。表达式(1)表达了对象的列表数据格式。

图3所示的是采用本发明的融合方法对多个深度摄像机的检测和定位结果进行融合的流程图。首先，在步骤S110处，摄像机处理单元U14处理作为深度摄像机的所有图像采集设备U10在同一时刻所采集的图像，从而获得每一个双目摄像机所检测和跟踪到的对象的列表，并经过网络传输协议单元U15传输到融合处理单元U20。融合处理单元U20在该步骤处判断是否接收到相应的对象的列表。如果没有接收到数据，则停止运行，结束处理过程。如果接收到对象的列表，则融合处理单元U20执行融合处理过程。因此，处理过程前进到步骤S111。在步骤S111处，历史密度图更新单元U16基于融合后的对象检测结果更新历史密度图。需要指出的是，由于本系统存在两种工作模式，即学习阶段模式和稳定更新阶段模式。因此，在学习阶段模式，更新历史密度图单元U16将不运行，不执行该步骤S111。具体如何更形历史密度，将在后面结合附图进行详细描述。

随后，在步骤S112中，置信度计算单元U17计算对象的列表中每个对象的置信度值。具体如何计算置信度值，将在后面详细描述。在获得每个对象的置信度值之后，在步骤S113处，多摄像机结果融合单元U18通过将在对一定范围内的对象的置信度进行累加来融合同一时刻多个对象的列表。随后，在步骤S114处，时域平滑单元U19对融合结果进行时域平滑处理。最后在步骤S115处输出如图1所示的最终的人的检测对象列表12。

图4所示的是本发明中历史密度图更新单元U16基于对象检测结果更新历史密度图的流程图。在描述该流程之前，首先描述一下历史密度图。图5A所示的是一个示例性初始历史密度图的示意图。图5A中两个白色小圈表示在鸟瞰图中两个深度摄像机的位置，而两道梯形的白线表示对应深度摄像机的可拍摄区域。当初次启动系统时，创建初始历史密度图，所有的初始灰度值都为0，在图5A中都表现为黑色。为了创建深度摄像机所在场所的场景(MAP)的历史密度图，即在过去所拍摄的图像中存在对象的密度的历史统计，将之前检测到对象的位置进行标记，从而反复更新历史密度图，为后面的检测和跟踪提供指导。

具体而言，更新过程如图4所示，该流程对所接收的对象列表中的每个对象进行更新。当一个新系统刚启动时，通常历史密度图如图5A所示。此时，系统将处于学习阶段。因此，历史密度图更新单元U16会在步骤S1113处在循环后判定当前的更新阶段，即该系统是出于学习阶段还是稳定更新阶段。可以定义一个规则来判定当前所处的阶段，比如在系统启动的1小时(或者2小时，1天或2天)之内为学习阶段，之后就是稳定更新阶段。在后续的步骤S112中计算置信度时使用了定义的不同阶段。

循环处理中，首先，在步骤S1111处，从接收到的对象的列表中得到下一个对象的地面坐标(x,z)。并判断是否所有的对象都被更新过。如果都被更新过，则结束更新。否则，进入步骤S1112，在该步骤处，使用该地面坐标更新历史密度图对应的位置。所有的人的位置都更新到历史密度图后，循环结束。根据表达式(1)，对象的位置表示为(x,y,z)，因此在步骤S1111和步骤S1112只使用(x,z)，因为历史密度图为鸟瞰图，不包括高度信息。在步骤S1112中，更新规则如表达式所示：

map_t(x,z)＝α*map_t-1(x,z)+(1-α)*P(x,z) (2)

其中map代表历史密度图，(x,z)表示历史密度图中的某个位置，α表示更新率，下标t和t-1表示时间点，t-1是t时刻前一个时间点，(x,z)对应的位置P(x,z)＝1，其他的P＝0。

图5B所示的是系统运行一段时间后被反复更新过的历史密度图的示意图。其中两个深度摄像机的拍摄范围内的白色点状部分中的点表示对象在该位置出现过，越亮的点(灰度值越高的点)表示此处出现的频率越高。

图6所示的是根据本发明置信度计算单元U17计算对象的列表中每个对象的置信度值的流程图。该置信度计算考了对象与对应摄像机的距离，可能被遮挡的可能性以及历史密度值。

具体而言，该置信度计算流程如下。首先，在步骤S1121处，从所接受的对象列表中获取一个对象的场景内的位置(x,z)，并判定是否该列表的所有对象都进行过置信度计算流程。如果是，则结束对该对象列表的处理，否则，则进入步骤S1122。在步骤S1122处，相对于场景(MAP)中的摄像机的位置，计算该对象的场景内的位置(x,z)与所述摄像机的位置的距离指数。距离指数的计算根据下面的表达式(3)计算。该距离指数涉及后面的检测精度，其与摄像机跟对象之间的距离有关。距离指数的计算表达式：

其中i表示摄像机的编号，P表示对象的位置(x,z)，摄像机i的位置是(x_i,z_i)。

图5C所示的是表示具体对象与对应摄像机之间的距离指数的示意图。在该示意图中，五角星的位置标记的是对象的坐标(x,z)。

随后，在步骤S1123处，置信度计算单元U17计算遮挡指数。遮挡指数是指被检测和定位对象被自身和深度摄像机之间的其他对象遮挡的概率。图5D所示的是用于解释计算遮挡指数的历史密度图的示意图。在图5D所示的历史密度图中，高亮度(灰度较高)的部分是历史统计的存在被检测对象概率较高的部分。其中一些高亮度部分连接在一起形成一些路径(Path)，并将场景中明显的路径定义为场景中的主要的路径。图5D中的五角星的位置标记的是被检测对象的坐标(x,z)。通常，这些路径是场景中的对象活动比较频繁的路径，也是对象在场景中经常出现的位置。因此，可以通过比较深度摄像机的拍摄方向和对象的位置，例如摄像机拍摄方向是否朝向某条路径，来确定被检测对象被遮挡的概率。通常，如果拍摄方向对着某条路径，则被检测对象被遮挡的可能性就高。因此，被检测对象与深度摄像机之间遮挡指数如果考虑深度摄像机与路径的角度，那么正对路面时更容易发生遮挡，而当深度摄像机朝向和某路径垂直时，通常对象在被该深度摄像机拍摄比较不容易被遮挡。遮挡指数通过以下表达式计算：

其中i表示摄像机的编号，P表示人的位置(x,z)，在图5D中以距离方式沿着某一高亮路径标出的一些长方形的区域，即长方形的矩形块表示公式(4)中的块。这些区域即是沿着高亮路径被分割成小的块(即公式中的block)，其处于深度摄像机和被检测对象的位置之间。当被检测对象位于这些小块中时，由于被检测对象与深度摄像机之间的其他小块内存在其他被检测对象的可能性较高(因为根据历史统计，这些高亮部分是被检测对象出现概率比较高的位置)，因此，赋予其比较低的遮挡指数(概率)Occ，即在被检测对象与深度摄像机之间的空白块(在图5D中的黑色长方块)所占被检测对象与深度摄像机之间的总的长方块数量的比率越低。对于这些所分割出的长方块，当块区域中的高亮像素点的数量低于某个阈值，比如高亮像素点的数量占该块区域内的像素点的总数的比率低于5％(或者4％、2％、1％)时，公式中的(block＝＝clean)为真，即将该块区域确定为空白块，也就是该块不会对被检测对象造成遮挡。从图5D中所示的五角星与深度摄像机之间的位置看，因为对象的位置从历史密度图中看出是沿着主要道路的方向，所以较多的块区域都不满足(block＝＝clean)，遮挡指数的值比较低，易于被遮挡的可能性比较大。

接着，在步骤S1124中，置信度计算单元U17计算历史概率指数，即从历史统计看，在该位置出现被检测对象的概率。图5E所示的是使用历史密度图计算历史概率指数的示意图。该图中的五角星的位置标记的是被检测对象的坐标(x,z)，圆形区域为以预定半径所作的圆形区域。如果五角星的位置密度较大，对应的历史概率指数较大。该概率值是通过计算历史密度图中某个点附近的密度表示的。具体的计算公式如下：

其中P表示被检测对象的位置(x,z)，area表示图5E中的位置P为中心的圆形区域。当该圆形区域内任意像素点的像素值(即历史统计值，也是灰度值或亮度值)大于某个设定的阈值时，(pixel＝＝1)成立。该阈值例如为125、110、100等，可以根据该系统的使用者的经验来设定。公式(5)表示，如果该圆形区域内的大于某预定阈值的像素点的数量越多，则表示根据历史统计概率，在五角星位置出现被检测对象的概率越高。

最后，基于前面计算的三个因素的概率值，在步骤S1125中，计算被检测位置存在被检测对象的置信度。因此，根据前面的描述，在步骤S1125计算置信度考虑三个因素：距离指数、遮挡指数和历史概率指数。最终的置信度和三个指数之间的关系如下：

CV∝1/Dis(cam[i],P)∝Occ(cam[i],P)∝AP(P) (6)

其中CV表示置信度，Dis表示根据公式(3)计算的距离指数，Occ表示根据公式(4)计算的遮挡指数，AP表示根据公式(5)计算的历史概率指数。

根据表达式(6)，置信度与距离指数成反比，与遮挡指数和历史概率指数成正比。具体的计算公式如下：

CV＝sigmoid(norm(1/Dis(cam[i],P))*norm(Occ(cam[i],P))*AP(P)) (7)

其中sigmoid为S形函数，norm为归一化函数。norm函数表示归一化，目的是让结果在固定的范围内变化。鉴于归一化函数为本领域的基本技术知识，为简化描述，因此不具体展开说明，具体的方法可参考http://en.wikipedia.org/wiki/Normalization_(statistics)。图7所示的是本发明的置信度计算单元U17使用的S形函数的示意图。S形函数的目的是避免输出值过小，S形函数也为本领域的基本技术知识，具体的方法可参考http://en.wikipedia.org/wiki/Sigmoid_function。

在前述的步骤S1113定义了学习阶段和稳定更新阶段，在步骤S112计算置信度时对不同阶段有不同的处理。

如果是稳定更新阶段，根据表达式(7)计算置信度；而当是学习阶段是，则要根据表达式(8)。具体原因是当处于学习阶段，历史密度图并没有生成完整，对应的历史概率指数也不合理，所有该指数在计算中不被考虑。

CV＝sigmoid(norm(1/Dis(cam[i],P))*norm(Occ(cam[i],P)) (8)

图8所示的是本发明对被检测对象的列表进行融合处理的流程图。具体而言，多摄像机结果融合单元U18在步骤S1131累加每个被检测对象的置信度值，步骤S1131累加每个人的置信度值的公式如下：

cv_sum(x,z)+＝cv_i,j,IF|p_i,j-(x,z)|＜ε (9)

其中pij表示摄像机i检测的索引为j的被检测对象的位置，(x,z)是场景上任意一个点的位置，ε是一个很小的距离阈值，一般可以取相邻两个人的物理距离，如20cm，即每个像素对应4cm时取5个像素点的距离。具体而言，就是将整个场景划分成多个同样大小的块，每个块的中心点为(x,z)。针对每个中心点，计算被检测对象列表中每个检测对象与该中心点的位置之间的距离，当这两个位置之间距离小于该距离阈值ε时，就将该被检测对象的置信度值针对该中心点累加起来，直到遍历完所有的被检测对象的列表，获得该中心点的置信度值。这样的计算遍历每个中心点进行。

然后，在步骤S1132中，将每个中心点的置信度和值与一个预定的置信度阈值进行比较，当某个中心点的置信度和值大于该预定置信度阈值时，则将该中心点作为融合的被检测对象位置输出到被检测对象的列表中。

最后，时域平滑单元U19在步骤S114处，将所有被输出的被检测对象的列表在放到对象的列表前进行时域滤波，以防止在回放时出现跳动，以便使得输出结果更加稳定和连续。在此可以采用卡尔曼滤波来实现时域滤波。鉴于该方法属于现有技术，因此不在此进行赘述。

在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。

例如，可以把计算机程序预先存储到作为记录介质的硬盘或者ROM(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。

本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。

Claims (9)

1.一种多角度图像的对象融合方法，包括：

将多个深度摄像机的位置以及被拍摄场景的位置统一到同一个坐标系中；

采用所述多个深度摄像机从多个角度同时拍摄被拍摄场景的图像，分别检测和定位同一时刻该被拍摄场景内的所有被检测对象，以获取对应深度摄像机的被检测对象的列表；

读取该被拍摄场景的被检测对象的历史密度图；

针对每个深度摄像机，根据该深度摄像机相对所获得的被检测对象的空间位置关系以及该被拍摄场景的被检测对象基于所述历史密度图的历史密度指数，计算所获得的被检测对象的置信度；以及

使用针对所述列表中的所有被检测对象计算的被检测对象的置信度进行融合处理，并输出融合后的检测对象列表。

2.如权利要求1所述的多角度图像的对象融合方法，

当读取该被拍摄场景的被检测对象的历史密度图时如果该历史密度图为空白，则使得该方法进入学习模式，并在计算置信度步骤的最初的一段时间内不基于历史密度指数，否则，使得该方法进入稳定模式。

3.如权利要求2所述的多角度图像的对象融合方法，其中所述空间位置关系包括各个被检测对象列表中的每个被检测对象与对应深度摄像机之间的距离指数以及遮挡指数。

4.如权利要求3所述的多角度图像的对象融合方法，其中所述距离指数通过各个被检测对象列表中的每个被检测对象的位置坐标与对应深度摄像机的位置坐标计算获得。

5.如权利要求3-4之一所述的多角度图像的对象融合方法，其中所述遮挡指数通过如下步骤获得：

基于所读取的历史密度图，将被检测对象与对应深度摄像机之间的路径划分为多个预定块；以及

计算预定块中亮度值小于预定阈值的像素点的数量占该预定块总像素点数量的比率，当该比率小于预定比例阈值时，将该预定块确定为空白块；以及

统计所述路径中空白块的数量占所划分的多个预定块的比率，并将该比率作为该被检测对象的遮挡指数输出。

6.如权利要求5所述的多角度图像的对象融合方法，其中所述历史密度指数通过如下步骤获得：

针对所述列表中的被检测对象，以该被检测对象的位置坐标为中心，在所读取的历史密度图中确定一个预定面积的区域；

统计该预定面积的区域内像素值大于预定像素值阈值的像素点的数量；以及

计算所统计的像素点所占该预定面积的区域的比率，并将该比率作为历史密度指数输出。

7.如权利要求6所述的多角度图像的对象融合方法，还包括：

采用融合后的检测对象列表更新所述历史密度图。

8.如权利要求7所述的多角度图像的对象融合方法，还包括：

在融合后的检测对象进行回放之前，对所有融合后的检测对象列表进行时域平滑处理。

9.一种多角度图像的对象融合系统，包括：

多个深度摄像机，从多个角度同时拍摄被拍摄场景的图像，分别检测和定位同一时刻该被拍摄场景内的所有被检测对象，以获取对应深度摄像机的被检测对象的列表；

坐标统一单元，将多个深度摄像机的位置以及被拍摄场景的位置统一到同一个坐标系中；

存储单元，存储被拍摄场景的被检测对象的历史密度图；

置信度计算单元，针对每个深度摄像机，根据该深度摄像机相对所获得的被检测对象的空间位置关系以及该被拍摄场景的被检测对象基于所述历史密度图的历史密度指数，计算所获得的被检测对象的置信度；以及

多摄像机结果融合单元，使用针对所述列表中的所有被检测对象计算的被检测对象的置信度进行融合处理，并输出融合后的检测对象列表。