CN109146916A - 一种运动物体跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种运动物体跟踪方法及装置，涉及图像处理技术的人工智能领域，在本发明实施例中，针对每帧图像的每个子图像，如果该子图像中的目标物体在分割线处，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，当该帧图像的上一帧图像对应的子图像中出现该目标物体时，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体；并跟踪每个运动物体。当子图像的分割线处出现目标物体时，将目标物体确定为运动物体并跟踪，这样就避免了未检测到分割线处的运动物体而导致运动物体跟踪丢失的问题。

Description

一种运动物体跟踪方法及装置

技术领域

本发明涉及图像处理技术的人工智能领域，尤其涉及一种运动物体的检测方法及装置。

背景技术

在安防视频监控领域，随着用户需求逐渐向高清、全景等图像呈现方向的转变，越来越多的摄像机开始支持高清、全景系列图像的处理。全景和高清意味着多sensor(传感器)的图像拼接技术催生的超大视角、超大分辨率和超高像素图像，比如1600万像素和3200万像素图像。而传统的视频图像采集和处理系统多为单sensor和单DSP(Digital SignalProcessing，数字信号处理)的处理，即便是多个sensor的图像经拼接后送给单个DSP处理，单个DSP也难以高效的完成如此大分辨率的图像处理。为了实现单个DSP对大分辨率图像的处理的时效性，通常的做法是将原始图像缩小后再在一个单一的DSP芯片做检测，如8000*4000分辨率的图像，如果做物体检测，通常需要缩小到720p或704*576分辨率的图像，这种方式对于较小分辨率的原始图像来说，缩小后物体的有效像素不会损失太多，而对于大分辨率的图像来说，由于缩小比例较大，缩小后的物体有效像素会显著减少，目标物体细节损失，导致漏检率上升。

因此提出了多DSP的方案，图1为现有技术中多DSP处理的系统结构图，包括电源模块、DSP模块、时钟模块、现场可编程门阵列(Field-Programmable Gate Array，FPGA)模块和紧凑型PCI(Compact Peripheral Component Interconnect，CPCI)桥模块，电源模块为其它各模块供电，时钟模块为DSP模块提供时钟信号，DSP模块、CPCI_J1、CPCI_J2、ZD等模块通过外部总线与FPGA模块连接，CPCI桥模块与FPGA模块连接，多个sensor图像经FPGA模块进行预处理后，拼接融合成为一幅大分辨率图像。图2为现有技术中另一种多DSP处理的系统结构图，如图2所示，图像数据传输到图像预处理模块后，图像预处理模块将图像进行等分，然后传递给图像并行处理模块进行并行处理，处理完成后再通过图像预处理模块将并行处理后的结果发送给图像综合处理模块，由图像综合处理模块进行并行处理后的结果的合并。

图3为现有技术中检测运动物体的示意图，如图3所示，FPGA模块将图像进行分割，得到A、B、C三个子图像，每个DSP模块检测对应的子图像中的运动物体，然后各个DSP模块的检测结果进行合成，得到合成后的图像中的运动物体。但是现有技术中，需要在物体出现后，对之后的至少两帧子图像进行分析，才能确定出运动物体并跟踪。而如果运动物体被分割，如图4所示，运动物体O被分割为O1和O2两部分，假如子图像A中出现物体O后，针对之后的两帧子图像，检测出子图像A中的运动物体O1，在之后的第三帧子图像中，有可能O1在子图像A中消失，而子图像B中刚出现OA2，由于基于至少两帧子图像才能检测出运动物体，因此子图像B中的O2并未检测为运动物体，这样在第三帧图像中就会出现没有运动物体的情况，造成了运动物体跟踪丢失。因此现有技术中存在对分割线处的运动物体无法准确跟踪的问题。

发明内容

本发明实施例提供了一种运动物体跟踪方法及装置，用以解决现有技术中分割线处的运动物体跟踪丢失的问题。

本发明实施例提供了一种运动物体跟踪方法，所述方法包括：

针对连续帧图像中的每帧图像，将该帧图像按照预设的规则划分为至少两个子图像，并确定每相邻两个子图像的分割线；

针对所述每帧图像的每个子图像中的每个目标物体，根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处，如果是，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，当该帧图像的上一帧图像对应的子图像中出现该目标物体时，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体；

跟踪每个运动物体。

进一步地，所述针对所述每帧图像的每个子图像中的每个目标物体，根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处包括：

针对所述每帧图像，将该帧图像的每个子图像，分别发送至对应的数字信号处理DSP；针对每个子图像中的每个目标物体，通过对应的DSP根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处。

进一步地，如果该目标物体不在该子图像的分割线处，所述方法还包括：

基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体是否为运动物体；

如果是，将该目标物体确定为运动物体；并跟踪该运动物体。

进一步地，确定每个运动物体之后，跟踪每个运动物体之前，所述方法还包括：

根据该帧图像的每相邻两个子图像的分割线，确定每相邻两个子图像的分割线序号，根据每相邻两个子图像的分割线序号合并相邻的子图像，并为分割线处的每个运动物体添加分割线序号；其中，相邻两个子图像中的分割线处的运动物体的分割线序号相同；

将分割线序号相同的两个运动物体作为一个运动物体。

进一步地，所述将分割线序号相同的两个运动物体作为一个运动物体之前，所述方法还包括：

针对该帧图像的每相邻两个子图像，判断该相邻两个子图像的分割线序号相同的两个运动物体包含分割线上的相同像素点的数量是否都大于预设的数量阈值，如果是，进行后续步骤。

进一步地，所述将分割线序号相同的两个运动物体作为一个运动物体后，跟踪每个运动物体之前，所述方法还包括：

针对在该帧图像中未被确定为运动物体的每个目标物体，判断该目标物体在该帧图像的上一帧图像和该帧图像的下一帧图像中是否均被确定为运动物体，如果是，在该帧图像中将该目标物体确定为运动物体。

另一方面，本发明实施例提供了一种运动物体跟踪装置，所述装置包括：

划分模块，用于针对连续帧图像中的每帧图像，将该帧图像按照预设的规则划分为至少两个子图像，并确定每相邻两个子图像的分割线；

确定模块，用于针对所述每帧图像的每个子图像中的每个目标物体，根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处，如果是，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，当该帧图像的上一帧图像对应的子图像中出现该目标物体时，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体；

跟踪模块，用于跟踪每个运动物体。

进一步地，所述确定模块，具体用于针对所述每帧图像，将该帧图像的每个子图像，分别发送至对应的数字信号处理DSP；针对每个子图像中的每个目标物体，通过对应的DSP根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处。

进一步地，如果该目标物体不在该子图像的分割线处，所述确定模块，还用于基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体是否为运动物体；如果是，将该目标物体确定为运动物体；并跟踪该运动物体。

进一步地，所述装置还包括：

合并模块，用于根据该帧图像的每相邻两个子图像的分割线，确定每相邻两个子图像的分割线序号，根据每相邻两个子图像的分割线序号合并相邻的子图像，并为分割线处的每个运动物体添加分割线序号；其中，相邻两个子图像中的分割线处的运动物体的分割线序号相同；将分割线序号相同的两个运动物体作为一个运动物体。

进一步地，所述装置还包括：

判断模块，用于针对该帧图像的每相邻两个子图像，判断该相邻两个子图像的分割线序号相同的两个运动物体包含分割线上的相同像素点的数量是否都大于预设的数量阈值，如果是，触发所述合并模块。

进一步地，所述判断模块，还用于针对在该帧图像中未被确定为运动物体的每个目标物体，判断该目标物体在该帧图像的上一帧图像和该帧图像的下一帧图像中是否均被确定为运动物体，如果是，在该帧图像中将该目标物体确定为运动物体。

本发明实施例提供了一种运动物体跟踪方法及装置，所述方法包括：针对连续帧图像中的每帧图像，将该帧图像按照预设的规则划分为至少两个子图像，并确定每相邻两个子图像的分割线；针对所述每帧图像的每个子图像中的每个目标物体，根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处，如果是，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，当该帧图像的上一帧图像对应的子图像中出现该目标物体时，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体；跟踪每个运动物体。

由于在本发明实施例中，针对每帧图像的每个子图像，如果该子图像中的目标物体在分割线处，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，当该帧图像的上一帧图像对应的子图像中出现该目标物体时，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体；并跟踪每个运动物体。当子图像的分割线处出现目标物体时，将目标物体确定为运动物体并跟踪，这样就避免了未检测到分割线处的运动物体而导致运动物体跟踪丢失的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中多DSP处理的系统结构图；

图2为现有技术中另一种多DSP处理的系统结构图；

图3为现有技术中检测运动物体的示意图；

图4为运动物体O被分割为O1和O2两部分示意图；

图5为本发明实施例1提供的运动物体跟踪过程示意图；

图6为本发明实施例1提供的连续两帧图像分别划分后的三个子图像示意图；

图7为本发明实施例4提供的采用子图像A对应的DSP A进行子图像合并的示意图；

图8为本发明实施例4提供的运动物体跟踪过程示意图；

图9为本发明实施例提供的运动物体跟踪装置结构示意图。

具体实施方式

为了解决现有技术中分割线处的运动物体跟踪丢失的问题，本发明实施例提供了一种运动物体跟踪方法及装置。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

图5为本发明实施例提供的运动物体跟踪过程示意图，该过程包括以下步骤：

S101：针对连续帧图像中的每帧图像，将该帧图像按照预设的规则划分为至少两个子图像，并确定每相邻两个子图像的分割线。

本发明实施例提供运动物体跟踪方法应用于电子设备，该电子设备可以是PC、平板电脑等设备，也可以是图像采集设备。

电子设备可以获取连续帧图像，如果电子设备为图像采集设备，则电子设备自身便可直接获取连续帧图像，如果电子设备为PC、平板电脑等设备，则可以接收图像采集设备发送的连续帧图像。

电子设备针对连续帧图像中的每帧图像，可以将该帧图像按照预设的规则划分为至少两个子图像，其中，电子设备可以通过FPGA模块将该帧图像划分为至少两个子图像。例如将该帧图像按照上下顺序划分为至少两个子图像，或者将该帧图像按照左右顺序划分为至少两个子图像。本发明实施例不对划分为至少两个子图像的规则进行限定。

在将图像划分为至少两个子图像后，可以确定出每相邻两个子图像的分割线。例如将图像划分为左中右三个子图像，分别为子图像A，子图像B和子图像C。可以确定子图像A和子图像B的分割线，以及子图像B和子图像C的分割线。

其中，任意两个相邻的子图像的共有的边界线即为该两个相邻的子图像的分割线。分割线可以是曲线，较佳的，分割线可以是直线。

S102：针对所述每帧图像的每个子图像中的每个目标物体，根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处，如果是，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，当该帧图像的上一帧图像对应的子图像中出现该目标物体时，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体。

具体的，针对每帧图像的每个子图像，可以识别出该帧图像的该子图像中的每个目标物体，例如可以采用模板匹配算法识别出每个目标物体。其中，识别图像中的每个目标物体的过程属于现有技术，在此不对该过程进行赘述。

针对每帧图像的每个子图像，在识别出该子图像中的每个目标物体后，针对每个目标物体，根据该目标物体的坐标信息，可以判断该目标物体是否在该子图像的分割线处。在此需要说明的是每个子图像中像素点的坐标信息与原图像中对应像素点的坐标信息一致，而不是每个子图像以自身左上角像素点为原点的坐标信息。

针对每帧图像的每个子图像中的每个目标物体，如果判断该目标物体在该子图像的分割线处，则判断该帧图像的上一帧图像对应的子图像中是否出现了该目标物体，如果未出现，则将该目标物体确定为运动物体。

下面进行举例说明。

图6为连续两帧图像分别划分后的三个子图像。连续两帧图像中前一帧图像的子图像分别为子图像A1，子图像B1和子图像C1，后一帧图像的子图像分别为子图像A2，子图像B2和子图像C2。如图2所示，子图像A1中未识别到目标物体O1，子图像B1中未识别到目标物体O2。而子图像A2中未识别到目标物体O1，子图像B2中未识别到目标物体O2。并且目标物体O1在子图像A2的分割线处，目标物体O2在子图像B2的分割线处。因此在连续两帧图像中后一帧图像中，将子图像A2中的目标物体O1确定为运动物体，将子图像B2中的目标物体O2确定为运动物体。

另外，针对每帧图像的每个子图像中的每个目标物体，如果判断该目标物体在该子图像的分割线处，并且判断该帧图像的上一帧图像对应的子图像中出现了该目标物体时，可以基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体是否为运动物体，如果是，将该目标物体确定为运动物体。其中，运动物体检测算法可以是改进Chan-Vese算法。

具体的，可以先对该子图像和该帧图像的上一帧图像对应的子图像进行高斯滤波处理，然后计算该子图像和该帧图像的上一帧图像对应的子图像的差分图像，得到含有目标物体的二值化图像，再利用改进Chan-Vese算法确定出运动物体。其中，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体是否为运动物体的过程属于现有技术，在此不再对该过程进行赘述。

S103：跟踪每个运动物体。

在确定出每个运动物体后，跟踪每个运动物体。为了便于用户观看，在跟踪运动物体时，可以根据运动物体的坐标信息，生成包含运动物体的跟踪框。

由于在本发明实施例中，针对每帧图像的每个子图像，如果该子图像中的目标物体在分割线处，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，当该帧图像的上一帧图像对应的子图像中出现该目标物体时，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体；并跟踪每个运动物体。当子图像的分割线处出现目标物体时，将目标物体确定为运动物体并跟踪，这样就避免了未检测到分割线处的运动物体而导致运动物体跟踪丢失的问题。

实施例2：

为了提高确定图像中的运动物体的效率，在上述实施例的基础上，在本发明实施例中，所述针对所述每帧图像的每个子图像中的每个目标物体，根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处包括：

针对所述每帧图像，将该帧图像的每个子图像，分别发送至对应的数字信号处理DSP；针对每个子图像中的每个目标物体，通过对应的DSP根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处。

电子设备中包括多个DSP，在将每帧图像按照预设的规则划分为至少两个子图像后，针对每帧图像，将该帧图像的每个子图像分别发送至对应的DSP，每个DSP对自身接收到的子图像进行后续处理。具体的，每个DSP针对自身接收到的子图像中的每个目标物体，根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处，再进行后续的确定运动物体的过程。

例如，电子设备将图像按照预设的规则划分为三个子图像，则将三个子图像分别发送至DSP，也就是采用三个DSP对三个子图像进行处理。

由于在本发明实施例中，采用多个DSP分别对子图像进行处理，因此可以提高对子图像的处理效率，进而提高确定图像中的运动物体的效率。

实施例3：

在上述实施例的基础上，在本发明实施例中，如果该目标物体不在该子图像的分割线处，所述方法还包括：

基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体是否为运动物体；

如果是，将该目标物体确定为运动物体；并跟踪该运动物体。

针对每帧图像的每个子图像中的每个目标物体，如果判断该目标物体不在该子图像的分割线处，则基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体是否为运动物体，如果是，将该目标物体确定为运动物体。其中，运动物体检测算法可以是改进Chan-Vese算法。

具体的，可以先对该子图像和该帧图像的上一帧图像对应的子图像进行高斯滤波处理，然后计算该子图像和该帧图像的上一帧图像对应的子图像的差分图像，得到含有目标物体的二值化图像，再利用改进Chan-Vese算法确定出运动物体。其中，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体是否为运动物体的过程属于现有技术，在此不再对该过程进行赘述。

实施例4：

图像中的一个运动物体有可能被分割为两个物体，为了准确跟踪运动物体，在上述各实施例的基础上，在本发明实施例中，确定每个运动物体之后，跟踪每个运动物体之前，所述方法还包括：

根据该帧图像的每相邻两个子图像的分割线，确定每相邻两个子图像的分割线序号，根据每相邻两个子图像的分割线序号合并相邻的子图像，并为分割线处的每个运动物体添加分割线序号；其中，相邻两个子图像中的分割线处的运动物体的分割线序号相同；

将分割线序号相同的两个运动物体作为一个运动物体。

针对每帧图像的每个子图像，根据该帧图像的每相邻两个子图像的分割线，确定每相邻两个子图像的分割线序号。例如将该帧图像划分为三个子图像，分别为子图像A、子图像B和子图像C，则确定子图像A和子图像B的分割线序号为分割线1，子图像B和子图像C的分割线序号为分割线2。并根据每相邻两个子图像的分割线序号合并相邻的子图像，将子图像A和子图像B，子图像B和子图像C合并，也就是将子图像A、子图像B和子图像C合并为一个图像。并且为分割线处的每个运动物体添加分割线序号，其中，相邻两个子图像中的分割线处的运动物体的分割线序号相同，即子图像A和子图像B的分割线序号相同，子图像B和子图像C的分割线序号相同。然后将分割线序号相同的两个运动物体作为一个运动物体。在跟踪每个运动物体时，针对该一个运动物体的坐标信息，生成包含运动物体的跟踪框。

其中，可以采用DSP A、DSP B和DSPC分别确定子图像A、子图像B、子图像C中的运动物体，在合并子图像A、子图像B和子图像C时，可以采用DSP A、DSP B和DSPC中的任意一个进行合并，例如DSP A和DSP B将检测结果发送至DSP C，由DSP A合并子图像A、子图像B、子图像C中的运动物体。图7示出了采用DSP A进行子图像合并的示意图，如图7所述，在将图像划分为三个子图像A、子图像B、子图像C后，采用DSP A、DSP B和DSPC分别确定子图像A、子图像B、子图像C中的运动物体，然后DSP B和DSPC分别将检测结果发送至DSP A，由DSP A合并子图像A、子图像B、子图像C中的运动物体。

另外，在本发明实施例中，每个被分割的子图像的帧序号与对应的原图像的帧序号相同，在合并子图像时，采用同源匹配出策略进行合并，也就是将帧序号相同的子图像进行合并，从而避免由于各个DSP的处理速度不同而导致的无法准确合并的问题。

图8为本发明实施例提供的运动物体跟踪过程示意图，如图8所示，采用DSP A、DSPB和DSPC分别确定子图像A、子图像B、子图像C中的运动物体，针对每个DSP，识别子图像中的目标物体，然后判断该目标物体是否在该子图像的分割线处，如果是，采用本发明实施例提供的方法进行一帧检测，具体的，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体。如果该目标物体不在该子图像的分割线处，则采用现有的方法进行两帧检测，即基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体是否为运动物体；如果是，将该目标物体确定为运动物体。在确定出运动物体后，为分割线处的每个运动物体添加分割线序号，然后DSP B和DSPC分别将检测结果发送至DSP A，DSP A根据每个子图像中分割线处的每个运动物体的分割线序号和坐标信息，合并子图像A、子图像B、子图像C中的运动物体。

由于在本发明实施例中，为分割线处的每个运动物体添加分割线序号，将分割线序号相同的两个运动物体作为一个运动物体并跟踪，使得跟踪运动物体更准确。

实施例5：

为了进一步准确跟踪运动物体，在上述各实施例的基础上，在本发明实施例中，所述将分割线序号相同的两个运动物体作为一个运动物体之前，所述方法还包括：

针对该帧图像的每相邻两个子图像，判断该相邻两个子图像的分割线序号相同的两个运动物体包含分割线上的相同像素点的数量是否都大于预设的数量阈值，如果是，进行后续步骤。

在将分割线序号相同的两个运动物体作为一个运动物体之前，识别该两个运动物体包含分割线上的相同像素点的数量，电子设备中保存有预设的数量阈值，判断包含分割线上的相同像素点的数量是否都大于预设的数量阈值，如果是，将该两个运动物体作为一个运动物体，否则，不将该两个运动物体作为一个运动物体。预设的数量阈值可以是8、10、15等。

由于在本发明实施例中，在将分割线序号相同的两个运动物体作为一个运动物体之前，判断包含分割线上的相同像素点的数量是否都大于预设的数量阈值，如果是，将该两个运动物体作为一个运动物体，否则，不将该两个运动物体作为一个运动物体。因此使得跟踪目标物体更准确。

实施例6：

为了保证对运动物体的跟踪连续，在上述各实施例的基础上，在本发明实施例中，所述将分割线序号相同的两个运动物体作为一个运动物体后，跟踪每个运动物体之前，所述方法还包括：

针对在该帧图像中未被确定为运动物体的每个目标物体，判断该目标物体在该帧图像的上一帧图像和该帧图像的下一帧图像中是否均被确定为运动物体，如果是，在该帧图像中将该目标物体确定为运动物体。

在检测运动物体时，有可能出现某帧图像漏检的情况，例如某帧图像中的某个目标物体为运动物体，但是并未将其检测为运动物体，也就是出现了检测失误，导致某帧图像不存在运动物体，出现跟踪不连续的情况。为了避免这种情况，在本发明实施例中，通过平滑处理的方式，确定运动物体，具体的，针对每帧图像，识别该帧图像中未被确定为运动物体的每个目标物体，针对每个目标物体，判断该目标物体在该帧图像的上一帧图像和该帧图像的下一帧图像中是否均被确定为运动物体，如果是，则说明该帧图像中的该运动物体漏检，此时在该帧图像中将该目标物体确定为运动物体。这样可以保证在跟踪运动物体时，每帧图像中都存在运动物体，保证对运动物体的跟踪连续。

图9为本发明实施例提供的运动物体跟踪装置结构示意图，该装置包括：

划分模块91，用于针对连续帧图像中的每帧图像，将该帧图像按照预设的规则划分为至少两个子图像，并确定每相邻两个子图像的分割线；

确定模块92，用于针对所述每帧图像的每个子图像中的每个目标物体，根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处，如果是，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，当该帧图像的上一帧图像对应的子图像中出现该目标物体时，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体；

跟踪模块93，用于跟踪每个运动物体。

所述确定模块92，具体用于针对所述每帧图像，将该帧图像的每个子图像，分别发送至对应的数字信号处理DSP；针对每个子图像中的每个目标物体，通过对应的DSP根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处。

如果该目标物体不在该子图像的分割线处，所述确定模块92，还用于基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体是否为运动物体；如果是，将该目标物体确定为运动物体；并跟踪该运动物体。

所述装置还包括：

合并模块94，用于根据该帧图像的每相邻两个子图像的分割线，确定每相邻两个子图像的分割线序号，根据每相邻两个子图像的分割线序号合并相邻的子图像，并为分割线处的每个运动物体添加分割线序号；其中，相邻两个子图像中的分割线处的运动物体的分割线序号相同；将分割线序号相同的两个运动物体作为一个运动物体。

所述装置还包括：

判断模块95，用于针对该帧图像的每相邻两个子图像，判断该相邻两个子图像的分割线序号相同的两个运动物体包含分割线上的相同像素点的数量是否都大于预设的数量阈值，如果是，触发所述合并模块94。

所述判断模块95，还用于针对在该帧图像中未被确定为运动物体的每个目标物体，判断该目标物体在该帧图像的上一帧图像和该帧图像的下一帧图像中是否均被确定为运动物体，如果是，在该帧图像中将该目标物体确定为运动物体。

本发明实施例提供了一种运动物体跟踪方法及装置，所述方法包括：针对连续帧图像中的每帧图像，将该帧图像按照预设的规则划分为至少两个子图像，并确定每相邻两个子图像的分割线；针对所述每帧图像的每个子图像中的每个目标物体，根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处，如果是，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，当该帧图像的上一帧图像对应的子图像中出现该目标物体时，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体；跟踪每个运动物体。

由于在本发明实施例中，针对每帧图像的每个子图像，如果该子图像中的目标物体在分割线处，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，当该帧图像的上一帧图像对应的子图像中出现该目标物体时，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体；并跟踪每个运动物体。当子图像的分割线处出现目标物体时，将目标物体确定为运动物体并跟踪，这样就避免了未检测到分割线处的运动物体而导致运动物体跟踪丢失的问题。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种运动物体跟踪方法，其特征在于，所述方法包括：

针对连续帧图像中的每帧图像，将该帧图像按照预设的规则划分为至少两个子图像，并确定每相邻两个子图像的分割线；

针对所述每帧图像的每个子图像中的每个目标物体，根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处，如果是，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，当该帧图像的上一帧图像对应的子图像中出现该目标物体时，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体；

跟踪每个运动物体。

2.如权利要求1所述的方法，其特征在于，所述针对所述每帧图像的每个子图像中的每个目标物体，根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处包括：

针对所述每帧图像，将该帧图像的每个子图像，分别发送至对应的数字信号处理DSP；针对每个子图像中的每个目标物体，通过对应的DSP根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处。

3.如权利要求1所述的方法，其特征在于，如果该目标物体不在该子图像的分割线处，所述方法还包括：

基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体是否为运动物体；

如果是，将该目标物体确定为运动物体；并跟踪该运动物体。

4.如权利要求1所述的方法，其特征在于，确定每个运动物体之后，跟踪每个运动物体之前，所述方法还包括：

根据该帧图像的每相邻两个子图像的分割线，确定每相邻两个子图像的分割线序号，根据每相邻两个子图像的分割线序号合并相邻的子图像，并为分割线处的每个运动物体添加分割线序号；其中，相邻两个子图像中的分割线处的运动物体的分割线序号相同；

将分割线序号相同的两个运动物体作为一个运动物体。

5.如权利要求4所述的方法，其特征在于，所述将分割线序号相同的两个运动物体作为一个运动物体之前，所述方法还包括：

针对该帧图像的每相邻两个子图像，判断该相邻两个子图像的分割线序号相同的两个运动物体包含分割线上的相同像素点的数量是否都大于预设的数量阈值，如果是，进行后续步骤。

6.如权利要求4所述的方法，其特征在于，所述将分割线序号相同的两个运动物体作为一个运动物体后，跟踪每个运动物体之前，所述方法还包括：

针对在该帧图像中未被确定为运动物体的每个目标物体，判断该目标物体在该帧图像的上一帧图像和该帧图像的下一帧图像中是否均被确定为运动物体，如果是，在该帧图像中将该目标物体确定为运动物体。

7.一种运动物体跟踪装置，其特征在于，所述装置包括：

划分模块，用于针对连续帧图像中的每帧图像，将该帧图像按照预设的规则划分为至少两个子图像，并确定每相邻两个子图像的分割线；

确定模块，用于针对所述每帧图像的每个子图像中的每个目标物体，根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处，如果是，当该帧图像的上一帧图像对应的子图像中未出现该目标物体时，将该目标物体确定为运动物体，或者，当该帧图像的上一帧图像对应的子图像中出现该目标物体时，基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体为运动物体时，将该目标物体确定为运动物体；

跟踪模块，用于跟踪每个运动物体。

8.如权利要求7所述的装置，其特征在于，所述确定模块，具体用于针对所述每帧图像，将该帧图像的每个子图像，分别发送至对应的数字信号处理DSP；针对每个子图像中的每个目标物体，通过对应的DSP根据该目标物体的坐标信息，判断该目标物体是否在该子图像的分割线处。

9.如权利要求7所述的装置，其特征在于，如果该目标物体不在该子图像的分割线处，所述确定模块，还用于基于该子图像和该帧图像的上一帧图像对应的子图像，采用运动物体检测算法，判断该目标物体是否为运动物体；如果是，将该目标物体确定为运动物体；并跟踪该运动物体。

10.如权利要求7所述的装置，其特征在于，所述装置还包括：

合并模块，用于根据该帧图像的每相邻两个子图像的分割线，确定每相邻两个子图像的分割线序号，根据每相邻两个子图像的分割线序号合并相邻的子图像，并为分割线处的每个运动物体添加分割线序号；其中，相邻两个子图像中的分割线处的运动物体的分割线序号相同；将分割线序号相同的两个运动物体作为一个运动物体。

11.如权利要求10所述的装置，其特征在于，所述装置还包括：

判断模块，用于针对该帧图像的每相邻两个子图像，判断该相邻两个子图像的分割线序号相同的两个运动物体包含分割线上的相同像素点的数量是否都大于预设的数量阈值，如果是，触发所述合并模块。

12.如权利要求10所述的装置，其特征在于，所述判断模块，还用于针对在该帧图像中未被确定为运动物体的每个目标物体，判断该目标物体在该帧图像的上一帧图像和该帧图像的下一帧图像中是否均被确定为运动物体，如果是，在该帧图像中将该目标物体确定为运动物体。